KR20120027712A

KR20120027712A - 영상 처리 방법 및 장치

Info

Publication number: KR20120027712A
Application number: KR1020100089463A
Authority: KR
Inventors: 한희철; 에미 아라이; 최양림; 정진구; 이상진
Original assignee: 삼성전자주식회사
Priority date: 2010-09-13
Filing date: 2010-09-13
Publication date: 2012-03-22
Also published as: US8644635B2; KR101663227B1; US20120063697A1

Abstract

N(N은 2 이상의 자연수)개의 라이브뷰 영상 중 최대 망원 영상을 이용하여 블러링 영상을 생성하고, 라이브뷰 영상 중 두 개 이상의 영상을 이용하여 알파 맵을 생성하고, 알파 맵을 이용하여 최대 망원 영상과 블러링 영상을 합성하여 소프트 포커스 영상을 생성하는 영상 처리 방법 및 장치가 개시된다.

Description

영상 처리 방법 및 장치{Method and apparatus for processing image}

본 발명은 영상 처리 방법 및 장치에 대한 것으로, 보다 구체적으로 서로 다른 화각의 라이브뷰 영상을 이용하여 간단하게 소프트 포커스 영상을 획득하는 영상 처리 방법 및 장치에 대한 것이다.

소프트 포커스(soft focus)촬영 기법은 피사체의 배경을 흐리게 하여 인물 등과 같은 피사체를 부각시켜 촬영할 때 이용되는 기법이다. 일반적으로 소프트 포커스 영상을 생성하기 위해서는 조리개 값이 다른 복수의 사진을 촬영하고, 배경은 조리개를 최대 개방한 소프트한 이미지를, 피사체는 조리개를 최대로 조인 이미지를 사용하여 합성한다. 그러나 이 방법은, 복수의 사진 촬영이 끝날 때까지 카메라와 피사체가 움직이지 않아야 한다는 제약이 따르며, 또한, 자동 디지털 카메라나 핸드폰에 구비된 카메라 등과 같이 조리개 수치가 높은 카메라를 이용할 경우 조리개를 최대 개방한 영상과 조리개를 최소 개방한 영상 간 차이가 명확하지 않아 소프트 포커스 영상을 생성하기 어렵다.

본 발명은 서로 다른 화각의 라이브뷰 영상을 이용하여 간단히 소프트 포커스 영상을 생성하는 영상 처리 방법 및 장치를 제공하기 위한 것이다.

상기 과제를 해결하기 위해 발명의 일 측면에 따르면, N(N은 2 이상의 자연수)개의 라이브뷰 영상 중 최대 망원 영상을 이용하여 블러링 영상을 생성하는 단계; 상기 라이브뷰 영상 중 두 개 이상의 영상을 이용하여 알파 맵을 생성하는 단계; 및 상기 알파 맵을 이용하여 상기 최대 망원 영상과 상기 블러링 영상을 합성하여 소프트 포커스 영상을 생성하는 단계를 포함하는 영상 처리 방법을 제공할 수 있다.

바람직한 실시 예에서, 상기 방법은 소프트 포커스 영상 생성 명령을 수신하는 단계; 상기 명령에 상응하여 상기 N개의 라이브뷰 영상을 디스플레이하는 단계; 상기 디스플레이된 N개의 라이브뷰 영상 중 상기 최대 망원 영상을 촬영하는 단계를 더 포함할 수 있다. 또한, 상기 방법은 상기 라이브뷰 영상 위에 최대 망원 영역을 표시하는 단계를 더 포함할 수 있다.

또한, 상기 블러링 영상을 생성하는 단계는 상기 최대 망원 영상을 이용하여 다중 크기 영상들을 생성하는 단계; 상기 다중 크기 영상들 각각을 로우 패스 필터링하는 단계; 상기 로우 패스 필터링된 영상들 각각을 인터폴레이션하는 단계; 및 상기 인터폴레이션된 영상들을 더하여 상기 블러링 영상을 생성하는 단계를 포함할 수 있다.

또한, 상기 N개의 라이브뷰 영상은 화각이 서로 다를 수 있다. 또한, 상기 N개의 라이브뷰 영상은 조리개 값이 서로 다를 수 있다.

또한, 상기 알파 맵을 생성하는 단계는 상기 최대 망원 영상, 및 상기 라이브뷰 영상 중 최대 광각 영상을 이용하여 알파맵을 생성하는 단계를 포함할 수 있다. 또한, 상기 알파 맵을 생성하는 단계는 상기 최대 망원 영상과 상기 최대 광각 영상 간 유사 정도를 블러 값으로 나타내는 블러링 맵을 생성하는 단계를 포함할 수 있다.

또한, 상기 블러링 맵을 생성하는 단계는 상기 최대 광각 영상을 클리핑하여 제1 사이즈 영상을 생성하는 단계; 상기 최대 망원 영상을 상기 제1 사이즈로 리사이징하는 단계; 및 상기 클리핑된 최대 광각 영상과 상기 리사이징된 최대 망원 영상의 유사 정도를 구하는 단계를 포함할 수 있다. 또한, 상기 알파 맵을 생성하는 단계는 상기 최대 망원 영상을 분석하여 가중치 맵을 생성하는 단계; 상기 가중치 맵을 상기 블러링 맵에 적용하여, 가중치 적용 블러링 맵을 생성하는 단계; 및 상기 가중치 적용 블러링 맵에서 전경 영역과 후경 영역을 분리하여 상기 알파 맵을 생성하는 단계를 더 포함할 수 있다.

또한, 상기 가중치 맵은 상기 최대 망원 영상에 대한 얼굴 인식 맵 및 뎁쓰 맵 중 하나 이상을 포함할 수 있다. 또한, 상기 소프트 포커스 영상을 생성하는 단계는 상기 알파 맵을 이용하여 상기 최대 망원 영상의 전경과 상기 블러링 영상의 후경을 합성하여 상기 소프트 포커스 영상을 생성하는 단계를 포함할 수 있다.

또한, 상기 알파 맵의 전경 영역 및 후경 영역은 각각 제1 값 및 제2 값을 갖고, 상기 방법은 상기 전경 영역을 일정 비율로 축소하거나 확장하는 단계; 상기 축소되거나 확장된 영역의 값을 상기 제1 값 및 상기 제2 값 사이 값으로 그라데이션하여 블러링된 알파 맵을 생성하는 단계를 더 포함하고, 상기 소프트 포커스 영상을 생성하는 단계는 상기 블러링된 알파 맵의 값에 따라 상기 블러링 영상과 상기 최대 망원 영상의 픽셀에 α(α는 0보다 크거나 같고 1보다 작거나 같은 유리수) 및 1-α 의 가중치를 부여하고, 상기 가중치가 부여된 픽셀을 합성하는 단계를 포함할 수 있다.

또한, 상기 소프트 포커스 영상을 생성하는 단계는 상기 블러링 영상을 제1 신호 처리하는 단계; 상기 최대 망원 영상을 제2 신호 처리하는 단계; 상기 알파 맵 또는 상기 가중치 적용 블러링 맵 중 하나를 가우시안 블러링하는 단계; 및 상기 가우시간 블러링된 맵을 이용하여 상기 제1 신호 처리된 블러링 영상과, 상기 제2 신호 처리된 최대 망원 영상을 합성하여 소프트 포커스 영상을 생성하는 단계를 포함할 수 있다.

또한, 상기 제1 신호 처리하는 단계는 상기 블러링 영상에 대해 밝기 및 채도 중 하나 이상을 변환하는 단계를 포함하고, 상기 제2 신호 처리하는 단계는 상기 최대 망원 영상에 대해 조명 톤 변환, 디테일 변환, 색감 변환 중 하나 이상을 수행하는 단계를 포함할 수 있다.

또한, 상기 제1 신호 처리하는 단계는 밝기가 어두워지고 콘트라스트가 작아지도록 상기 블러링 영상의 히스토그램을 조절하는 단계를 포함하고, 상기 제2 신호 처리하는 단계는 밝기가 밝아지고 콘트라스트가 커지도록 상기 최대 망원 영상의 히스토그램을 조절하는 단계를 포함할 수 있다.

발명의 다른 측면에 따르면, N(N은 2 이상의 자연수)개의 라이브뷰 영상 중 최대 망원 영상을 이용하여 블러링 영상을 생성하는 블러링 영상 생성부; 상기 라이브뷰 영상 중 두 개 이상의 영상을 이용하여 알파 맵을 생성하는 알파 맵 생성부; 및 상기 알파 맵을 이용하여 상기 최대 망원 영상과 상기 블러링 영상을 합성하여 소프트 포커스 영상을 생성하는 소프트 포커스 영상 생성부를 포함하는 영상 처리 장치를 제공할 수 있다.

발명의 또 다른 측면에 따르면, N(N은 2 이상의 자연수)개의 라이브뷰 영상 중 최대 망원 영상을 이용하여 블러링 영상을 생성하는 단계; 상기 라이브뷰 영상 중 두 개 이상의 영상을 이용하여 알파 맵을 생성하는 단계; 및 상기 알파 맵을 이용하여 상기 최대 망원 영상과 상기 블러링 영상을 합성하여 소프트 포커스 영상을 생성하는 단계를 포함하는 영상 처리 방법을 실행하기 위한 프로그램을 저장한 컴퓨터로 판독 가능한 기록 매체를 제공할 수 있다.

발명의 실시 예에 따르면 서로 다른 화각의 라이브뷰 영상을 이용하여 간단히 소프트 포커스 영상을 생성하는 영상 처리 방법 및 장치를 제공할 수 있다.

도 1은 발명의 일 실시 예에 따른 영상 처리 장치의 블록도이다.
도 2는 도 1의 알파 맵 생성부(110)의 일 실시 예를 도시한 블록도이다.
도 3은 도 1의 블러링 영상 생성부(120)의 일 실시 예를 도시한 블록도이다.
도 4는 발명의 다른 실시 예에 따른 영상 처리 장치의 블록도이다.
도 5는 발명의 또 다른 실시 예에 따른 영상 처리 장치의 블록도이다.
도 6은 발명의 실시 예에 따라 영상 처리 장치(100)의 디스플레이부를 통해 출력되는 라이브뷰 영상을 도시한 도면이다.
도 7은 발명의 일 실시 예에 따른 영상 처리 방법을 도시한 순서도이다.
도 8은 도 7의 단계 710의 일 실시 예를 도시한 순서도이다.
도 9는 도 7의 단계 720의 일 실시 예를 도시한 순서도이다.
도 10은 도 5의 영상 처리 장치(500)가 색감 조절을 수행하는 것을 도시한 순서도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명하기로 한다.

도 1은 발명의 일 실시 예에 따른 영상 처리 장치의 블록도이다. 영상 처리 장치(100)는 영상을 촬영하여 이미지 파일을 생성하는 기기로, 디지털 카메라, 캠코더, 또는 카메라 모듈이 장착된 PDA, PMP, 핸드폰, 스마트폰, 네비게이션등이 될 수 있고, UMPC(Ultra Mobile PC)를 포함한 노트북 등이 될 수도 있다.

도 1을 참조하면, 영상 처리 장치(100)는 알파 맵 생성부(110), 블러링 영상 생성부(120) 및 소프트 포커스 영상 생성부(130)를 포함한다. 도 1에는 도시되어 있지 않지만 영상 처리 장치(100)는 렌즈, 이미지 센서(CCD, CMOS), 라이브뷰 영상을 디스플레이하는 디스플레이부 및 사용자와의 인터페이스를 담당하는 유저 인터페이스를 더 포함할 수 있다.

사용자가 유저 인터페이스를 이용하여 소프트 포커스 영상 생성을 요청하면, 영상 처리 장치(100)는 사용자의 요청에 상응하여 디스플레이부에 순차적으로 N(N은 2 이상의 자연수)개의 라이브뷰 영상을 출력한다.

영상 처리 장치(100)는 렌즈를 통해 상을 이미지 센서에 전달한다. 렌즈를 통해 들어온 상은 이미지 센서에 전달된 후 전기적 신호로 바뀌게 된다. 라이브뷰 영상은 이미지 센서로 들어온 빛이 전자적 처리를 통해 LCD 등의 디스플레이부에 표시되는 영상을 말한다.

발명의 실시 예에서, 영상 처리 장치(100)는 디스플레이부로 라이브뷰 영상을 출력할 때, 라이브뷰 위에 최대 망원 영역이 표시되도록 할 수 있다. 가상 포커스는 최대 망원 영역이 최대 촬영 영역이 되므로 영상 처리 장치(100)는 라이브뷰 영상 위에 최대 망원 영역을 표시함으로써 사용자가 최대 망원 영상 영역을 인지하도록 할 수 있다.

발명의 실시 예로, 영상 처리 장치(100)는 서로 다른 화각을 갖는 N개의 라이브뷰 영상들을 순차적으로 출력할 수 있다. 줌(zoom) 렌즈의 초점 거리가 변하면 영상의 화각이 변하므로, 영상 처리 장치(100)는 줌 렌즈를 이용하여 초점 거리를 연속해서 바꾸어 다양한 화각을 갖는 라이브뷰 영상들을 출력할 수 있다.

다른 실시 예로 영상 처리 장치(100)는 조리개의 열고 닫는 정도를 조절하여 서로 다른 조리개 수치를 갖는 N개의 라이브뷰 영상들을 출력할 수 있다.

또 다른 실시 예로 영상 처리 장치(100)는 줌 렌즈의 초점 거리와 조리개 수치를 함께 변화시켜 서로 다른 화각을 가지면서 서로 다른 조리개 수치를 갖는 N개의 라이브뷰 영상들을 출력할 수 있다.

영상 처리 장치(100)는 N개의 라이브뷰 영상들 중 하나의 영상을 촬영하여 이미지 파일을 생성한다. 발명의 실시 예에서 영상 처리 장치(100)는 N개의 라이브뷰 영상들 중 최대 망원 영상에 대해서 이미지 파일을 생성할 수 있다.

발명의 실시 예에서, 영상 처리 장치(100)는 소프트 포커스 영상을 생성할 때 복수의 이미지 파일들을 생성하여 이용하는 대신 최대 망원 영상에 대한 이미지 파일과 복수의 라이브뷰 영상들을 이용한다. 라이브뷰 영상은 해상도가 낮고 캡쳐 타임이 매우 작으므로, 발명의 실시 예에 의하면 복수의 이미지 파일들을 생성하는 데 소요되는 캡쳐상의 딜레이가 거의 없게 되어 신호 처리의 complexity가 감소하고 신호 처리 속도가 빨라지게 된다. 또한 복수의 촬영이 완료될 때까지 피사체와 카메라가 모두 고정되어야 한다는 제약 또한 없어지게 된다.

최대 망원 영상은 손 떨림이나 화면 떨림 등으로 인한 영상 떨림이 더 일어나는 경향이 있으므로, 발명의 실시 예에서, 영상이 떨려 흐린 경우를 대비하여 영상 처리 장치(100)는 최대 광각 영상으로 최대 망원 영상을 보정하여 이용할 수도 있다.

알파 맵 생성부(110)는 N개의 라이브뷰 영상들 중 두 개 이상의 영상들을 이용하여 알파 맵을 생성한다. 알파 맵 생성부(110)는 N개의 라이브뷰 영상들 중 두 개 이상의 영상들을 비교하여 영상 간 유사 정도를 구하고, 영상 간 유사 정도를 블러(blur) 값으로 나타내는 블러링 맵을 생성한다.

알파 맵 생성부(110)는 N개의 라이브뷰 영상 중 최대 망원 영상을 분석하여 가중치 맵을 생성하고, 블러링 맵과 가중치 맵을 더하여 가중치 적용 블러링 맵을 생성한다. 알파 맵 생성부(110)는 가중치 적용 블러링 맵을 세그멘테이션하여 전경 영역과 후경 영역으로 이분화된 알파 맵을 생성하고, 이를 소프트 포커스 영상 생성부(130)로 보낸다.

블러링 영상 생성부(120)는 N개의 라이브뷰 영상들 중 하나의 영상을 이용하여 블러링(blurring) 영상을 생성한다. N개의 라이브뷰 영상들 중 조리개가 최대 개방이고 화각이 최대 망원인 라이브뷰 영상이 흔들림 내지 흐려짐 정도가 가장 크므로, 발명의 실시 예에서, 블러링 영상 생성부(120)는 N개의 라이브뷰 영상들 중 최대 망원이면서 조리개가 최대 개방된 영상을 이용하여 블러링 영상을 생성할 수 있다.

블러링 영상 생성부(120)는 하나의 라이브뷰 영상을 이용하여 해상도가 다른 다중 크기 영상들을 생성한다. 블러링 영상 생성부(120)는 다중 크기 영상들 각각을 LPF(low pass filter)로 필터링하여 영상의 고주파 성분을 제거한다. 블러링 영상 생성부(120)는 LPF로 필터링된 각각의 영상들을 인터폴레이션(interpolation)하고, 인터폴레이션된 영상들을 합성하여 흐릿한 블러링 영상을 생성한다. 블러링 영상 생성부(120)는 블러링 영상을 소프트 포커스 영상 생성부(130)로 보낸다.

소프트 포커스 영상 생성부(130)는 알파 맵을 이용하여 전경은 선명하고 후경은 흐릿한 소프트 포커스 영상을 생성한다. 소프트 포커스 영상 생성부(130)는 알파 맵을 이용하여 블러링 영상에서 후경을 가져오고, 촬영 영상에서 전경을 가져와 이들을 합성하여 소프트 포커스 영상을 생성한다.

이와 같이 발명의 실시 예에 의하면, 사용자가 라이브뷰 영상을 보면서 간편하게 소프트 포커스 영상을 생성할 수 있다.

또한 발명의 실시 예에 의하면 라이브뷰 영상 위에 최대 망원 영역을 표시함으로써 사용자에게 최대 망원 영역을 인지시킬 수 있다.

또한 발명의 실시 예에 의하면, 줌 렌즈의 초점 거리를 조절하여 최대 광각부터 최대 망원 영상까지 서로 다른 화각을 갖는 라이브뷰 영상들을 이용하여 소프트 포커스 영상을 생성할 수 있다.

또한 발명의 실시 예에 의하면, 소프트 포커스 영상을 생성하기 위해서 영상을 한 번만 촬영하면 되므로 복수의 영상을 촬영이 완료될 때까지 카메라와 피사체가 움직이지 않아야 한다는 제약이 없고 영상 처리 속도가 빨라지게 된다.

도 2는 도 1의 알파 맵 생성부(110)의 일 실시 예를 도시한 블록도이다. 도 2를 참조하면, 알파 맵 생성부(110)는 블러링 맵 생성부(210), 가중치 맵 생성부(220), 가중치 적용 블러링 맵 생성부(230) 및 영역 분리부(240)를 포함한다.

블러링 맵 생성부(210)는 N개의 라이브뷰 영상들 중 두 개 이상의 라이브뷰 영상들을 비교하여 영상 간 유사 정도에 따라 다른 블러 값을 할당하여 블러링 맵을 생성한다.

블러링 맵은 흐린 영상과 선명한 영상의 선명도 차이를 표시하는 맵이다. 블러링 맵 생성부(210)는 N개의 라이브뷰 영상들 중 가장 선명한 영상과 가장 흐린 영상을 비교하여 블러링 맵을 생성하는 것이 바람직하다.

영상은 광각에서 망원으로 갈수록, 조리개가 최소 개방에서 최대 개방으로 갈수록 흐려진다는 점에서, 블러링 맵 생성부(210)는 N개의 라이브뷰 영상들 중 최대 광각 영상과 최대 망원 영상을 비교하여 블러링 맵을 생성하거나, 조리개 수치가 가장 작은 영상과 가장 큰 영상을 비교하여 블러링 맵을 생성하거나, 또는 조리개 최소 개방이면서 최대 광각인 영상과 조리개 최대 개방이면서 최대 망원인 영상을 비교하여 블러링 맵을 생성할 수 있다.

블러링 맵 생성부(210)는 영상 간 유사 정도를 비교할 영상의 사이즈가 다른 경우, 영상들의 사이즈를 조절할 수 있다. 보다 구체적으로 블러링 맵 생성부(210)는 영상에 포함된 피사체의 크기가 같아지도록 영상들의 사이즈를 조절할 수 있다. 실시 예로 블러링 맵 생성부(210)는 최대 광각 영상을 클리핑하여 제1 사이즈 영상을 생성하고, 최대 망원 영상을 제1 사이즈로 리사이징하여 클리핑된 최대 광각 영상과 리사이징된 최대 망원 영상에 포함된 피사체가 동일한 크기를 갖도록 한 후에 두 영상의 유사 정도를 비교할 수 있다.

블러링 맵 생성부(210)는 가우시안 블러(Gaussian Blur)와 같은 필터를 이용하여 영상간 유사 정도에 따라 다른 블러 값이 각 픽셀에 할당되도록 하고, 할당된 블러 값을 무채색 마스크로 표현한다.

발명의 실시 예로, 블러 값의 범위가 제1 값보다 크거나 같고 제2 값보다 작거나 같다고 할 때, 사이즈가 조절된 최대 광각 영상은 피사체와 배경이 모두 선명하고, 최대 망원 영상은 피사체는 선명하고 후경은 흐릿하므로, 블러링 맵 생성부(210)는 최대 광각 영상과 최대 망원 영상을 비교해서 선명도 차이가 없는 피사체 영역의 픽셀들에 대해서는 제1 값을 할당하고, 선명도 차이가 가장 큰 배경 영역의 픽셀들에 대해서는 제2 값을 할당할 수 있다. 또한 블러링 맵 생성부(210)는 영상 간 선명도 차이에 따라 픽셀들에 제1 값과 제2 값 사이의 값들을 할당할 수 있다.

블러링 맵 생성부(210)는 픽셀들에 할당된 블러 값을 이용하여 무채색 마스크인 블러링 맵을 생성한다. 블러링 맵 생성부(210)는 블러 값이 제1 값인 픽셀은 흰색으로, 블러 값이 제2 값인 픽셀은 흑색으로, 또한 블러 값이 제1 값과 제2 값 사이의 값인 픽셀들은 다양한 명도의 회색으로 표현된 블러링 맵을 생성한다.

블러링 맵 생성부(210)는 블러링 맵을 가중치 적용 블러링 맵 생성부(230)로 보낸다.

촬영 영상인 최대 망원 영상에서, 피사체 주위의 배경이 디테일이 없는 경우, 예컨대 배경이 무늬 없이 동일한 색상으로 된 벽인 경우, 블러링 맵 생성부(210)는 최대 망원 영상의 후경이 선명한 것인지 흐릿한 것인지를 잘 구분하지 못해 최대 망원 영상과 최대 광각 영상의 배경이 모두 선명하다고 판단하고 배경 영역의 픽셀들에 제1 값을 할당할 수 있다.

이러한 오류를 막기 위해, 가중치 맵 생성부(220)는 촬영 영상, 즉, 최대 망원 영상을 분석하여 가중치 맵을 생성할 수 있다.

실시 예로 가중치 맵 생성부(220)는 최대 망원 영상을 분석하여 최대 망원 영상에 사람 얼굴이나 몸체가 포함되어 있는 경우, 얼굴 인식을 수행하여 얼굴 경계 및 얼굴에 따른 몸 크기를 예측하고, 얼굴과 몸의 형상과 그 외를 구분하는 얼굴 인식 맵을 생성할 수 있다.

다른 실시 예로, 가중치 맵 생성부(220)는 적외선 AF(auto focus) 기능을 수행하여 AF 지점까지의 거리 값을 취득하고 이를 이용하여 최대 망원 영상에 대한 뎁쓰 맵(depth map)을 생성할 수 있다. AF 기능은 피사체에 대한 초점을 자동으로 조절하는 기능으로, 적외선 AF 기능은 포커싱이 맞추어진 피사체에 적외선을 방출하고, 피사체로부터 반사된 적외선을 이용하여 피사체까지의 거리를 구할 수 있다.

가중치 맵 생성부(220)는 얼굴 인식 맵과 뎁쓰 맵에 웨이트 값을 할당하여 두 맵을 더하여 가중치 맵을 생성하고, 이를 가중치 적용 블러링 맵 생성부(230)로 보낸다.

가중치 적용 블러링 맵 생성부(230)는 가중치 맵을 블러링 맵과 결합하여 가중치 적용 블러링 맵을 생성한다. 가중치 적용 블러링 맵 생성부(230)는 생성된 가중치 적용 블러링 맵을 영역 분리부(240)로 보낸다.

영역 분리부(240)는 가중치 적용 블러링 맵을 전경과 후경으로 세그멘테이션하여 알파 맵을 생성한다. 알파 맵은 영역을 구분하기 위한 마스크로, 흰색과 검은색만으로 표현될 수 있다. 영역 분리부(240)는 전경은 흰색이고 배경은 검은 색을 갖는 알파 맵을 생성할 수 있다.

이와 같이 발명의 실시 예에 의하면, 서로 다른 화각을 갖는 영상들을 비교하여 블러링 맵을 생성할 수 있다.

또한, 발명의 실시 예에 의하면, 최대 망원 영역을 분석하여 가중치 맵을 생성하고 이를 블러링 맵과 결합하여 최종적으로 알파 맵을 생성할 수 있다.

도 3은 도 1의 블러링 영상 생성부(120)의 일 실시 예를 도시한 블록도이다. 도 3을 참조하면, 블러링 영상 생성부(120)는 다중 크기 영상 생성부(310), LPF부(320), 영상 합성부(330)를 포함한다.

다중 크기 영상 생성부(310)는 촬영 영상을 이용하여 다중 크기 영상들을 생성한다. 다중 크기 영상 생성부(310)는 원래의 영상을 리사이징하여 피라미드 형태로 크기 및 해상도가 감소하는 영상들을 생성한다. 예컨대, 촬영 영상이 640*480 픽셀의 크기를 갖는 경우, 다중 크기 영상 생성부(310)는 촬영 영상을 이용하여 320*240픽셀, 160*120픽셀 등의 사이즈를 갖는 영상들을 생성한다. 다중 크기 영상 생성부(310)는 최대 망원 영상과 다중 크기 영상들을 LPF부(320)로 보낸다.

LPF부(320)는 영상을 로우 패스 필터로 필터링한다. 영상에서 저주파 성분은 주변 영역과 색의 차이가 적은 부분이고 고주파 성분은 주변 영역과 색의 차이가 큰 부분이므로, LPF부(320)를 통과한 영상은 디테일한 부분, 즉, 물체의 경계면이나 모서리, 윤곽 부분 등의 고주파 성분이 제거되어 보다 부드럽고 흐릿한 영상이 된다.

LPF부(320)는 다중 크기 영상들을 각각 로우 패스 필터링한다.

영상 합성부(330)는 로우 패스 필터링된 다중 크기 영상들을 각각 인터폴레이션하여 영상들을 원래의 크기로 복원한다. 이 경우 크기가 작은 영상일수록 영상의 디테일이 더 흐려지게 된다. 영상 합성부(330)는 복원된 영상들을 더하여 블러링 영상을 생성한다. 이 경우, 다양한 디테일을 갖는 영상들이 합쳐져 보다 자연스럽고 흐릿한 영상이 생성되게 된다.

이와 같이 발명의 실시 예에 의하면, 최대 망원 영상을 이용하여 다중 크기 영상들을 생성하고, 이들을 이용하여 블러링 영상을 생성할 수 있다.

도 4는 발명의 다른 실시 예에 따른 영상 처리 장치의 블록도이다. 도 4를 참조하면, 영상 처리 장치(400)는 알파 맵 생성부(410), 블러링 영상 생성부(420), 알파 맵 블러링부(430) 및 소프트 포커스 영상 생성부(440)를 포함한다. 도 4의 영상 처리 장치(400)는 알파 맵 블러링부(430)를 더 포함한다는 점에서 도 1의 영상 처리 장치(100)와 구별된다.

알파 맵 생성부(410), 블러링 영상 생성부(420) 및 소프트 포커스 영상 생성부(440)는 도 1의 영상 처리 장치(100)의 알파 맵 생성부(110), 블러링 영상 생성부(120) 및 소프트 포커스 영상 생성부(130)와 수행하는 기능이 동일하므로 이에 대한 상세한 설명은 생략하기로 한다.

알파 맵 생성부(410)는 블러링 맵을 생성하고, 블러링 맵에 가중치 맵을 적용한 후, 전경과 후경을 분리하여 알파 맵을 생성한다.

블러링 영상 생성부(420)는 촬영 영상, 즉, 최대 망원 영상을 이용하여 블러링 영상을 생성한다.

소프트 포커스 영상 생성부(440)는 알파 맵을 이용하여 블러링 영상에서 후경을 가져오고 촬영 영상에서 전경을 가져와 이들을 합성하여 소프트 포커스 영상을 생성한다. 원래 사물은 경계가 그라데이션되어 보이게 된다. 그러나 알파 맵은 전경과 후경을 이분화하여 표현하므로, 소프트 포커스 영상에서 전경과 후경의 경계 부분이 너무 선명하여 부자연스럽게 보일 수가 있다.

이를 막기 위해 발명의 실시 예에서, 알파 맵 블러링부(430)는 전경과 후경의 경계가 보다 자연스럽게 보이도록 알파 맵의 전경과 후경의 경계 영역을 블러링한다.

알파 맵 블러링부(430)는 알파 맵의 전경 영역을 일정 거리만큼 축소시키거나 후경 영역 쪽으로 일정 거리만큼 확장하여 전경 영역이 일정 비율로 크기가 감소되거나 확장된 알파 맵을 생성한다.

알파 맵 블러링부(430)는 감소되거나 확장된 영역을 블러링한다. 보다 구체적으로 알파 맵 블러링부(430)는 감소되거나 확장된 영역을 전경 영역과 후경 영역 사이의 값으로 그라데이션한다. 알파 맵의 전경 영역 및 후경 영역이 각각 제1 값 및 제2 값을 갖는다고 할 때, 알파 맵 블러링부(430)는 감소되거나 확장된 전경 영역을 전경 영역부터 후경 영역 방향으로 제1 값부터 제2 값 사이의 값으로 그라데이션한다. 즉, 알파 맵에서 전경 영역이 흰색이고 후경 영역이 검은색인 경우, 알파 맵 블러링부(430)는 축소되거나 감소된 알파 맵 영역을 전경 영역부터 후경 영역 방향으로 높은 명도부터 낮은 명도의 회색으로 그라데이션한다.

소프트 포커스 영상 생성부(440)는 블러링된 알파 맵을 이용하여 소프트 포커스 영상을 생성한다. 소프트 포커스 영상 생성부(440)는 알파 맵의 색상이 흰색인 영역은 촬영 영상, 즉, 최대 망원 영상만을 가져오고 알파 맵의 색상이 검은색인 영역은 블러링 영상만을 가져온다. 또한 소프트 포커스 영상 생성부(440)는 알파 맵의 색상이 회색인 영역, 즉, 전경과 후경의 경계 영역은 명도에 따라 다른 비율로 가중치를 부여하여 최대 망원 영상과 블러링 영상을 합성한다. 보다 구체적으로 소프트 포커스 영상 생성부(440)는 블러링된 알파 맵의 값에 따라 블러링 영상의 픽셀에 α의 가중치를 부여하고 최대 망원 영상의 픽셀에 1-α의 가중치를 부여하고, 가중치가 부여된 픽셀들을 합성한다. 여기서 α 는 0보다 크거나 같고 1보다 작거나 같은 유리수가 될 수 있다.

이와 같이 발명의 실시 예에 의하면, 알파 맵의 전경과 후경 경계 영역을 블러링하고, 블러링된 알파 맵을 이용하여 블러링 영상과 촬영 영상을 합성함으로써 전경과 후경의 경계 영역이 자연스럽게 보이도록 할 수 있다.

도 5는 발명의 또 다른 실시 예에 따른 영상 처리 장치의 블록도이다. 도 5를 참조하면, 영상 처리 장치(500)는 알파 맵 생성부(510), 블러링 영상 생성부(520), 색 조절부(530) 및 소프트 포커스 영상 생성부(540)를 포함한다. 도 5의 영상 처리 장치(500)는 색 조절부(530)를 더 포함한다는 점에서 도 1의 영상 처리 장치(100)와 구별된다.

알파 맵 생성부(510), 블러링 영상 생성부(520) 및 소프트 포커스 영상 생성부(540)는 도 1의 영상 처리 장치(100)의 알파 맵 생성부(110), 블러링 영상 생성부(120) 및 소프트 포커스 영상 생성부(130)와 수행하는 기능이 동일하므로 이에 대한 상세한 설명은 생략하기로 한다.

영상 처리 장치(500)는 라이브뷰 영상을 디스플레이하는 디스플레이부(미도시) 및 사용자와의 인터페이스를 담당하는 유저 인터페이스(미도시)를 더 포함할 수 있다. 사용자는 유저 인터페이스를 이용하여 색감 조절 기능을 선택할 수 있다. 사용자가 색감 조절 기능을 선택하면 영상 처리 장치(500)는 색 조절부(530)를 활성화시켜 영상의 색감을 조절할 수 있다.

광원에서 거리가 멀어짐에 따라 개체의 밝기는 거리의 제곱에 비례해 어두워지고(Inverse-square law), 개체의 콘트라스트는 공기 중의 입자 등에 의해 거리가 멀수록 낮아지게 된다(Aerial distance). 발명의 실시 예에서, 색 조절부(530)는 물리적 거리에 따라 전경과 후경의 색감이 바뀌는 현상을 영상에 반영하기 위해 전경으로 사용될 최대 망원 영상과 후경으로 사용될 블러링 영상의 색을 각각 조절한다.

색 조절부(530)는 가우시안 블러링 수행부(531), 제1 신호 처리부(533) 및 제2 신호 처리부(535)를 포함한다.

가우시안 블러링 수행부(531)는 알파 맵 생성부(510)에 의해 생성된 알파 맵 또는 알파 맵 생성부(510)가 알파 맵을 생성하기 전에 생성한 가중치 적용 블러링 맵을 가우시안 블러(Gaussian Blur)와 같은 필터로 필터링한다. 가우시안 블러로 필터링을 수행하면 지정한 범위만큼 픽셀이 흐릿하게 퍼지게 되어 이미지가 부드럽게 보이게 된다. 블러는 0~255의 값으로 지정할 수 있으며 수치가 클수록 반경이 넓어진다. 가우시안 블러링 수행부(531)는 가우시안 블러링된 알파 맵 또는 가우시안 블러링된 가중치 적용 블러링 맵을 소프트 포커스 영상 생성부(540)로 보낸다. 가우시간 블러링 수행부(531)에 의해 가우시안 블러링된 알파 맵 또는 가중치 적용 블러링 맵을 이용하여 소프트 포커스 영상을 생성할 경우, 영상이 보다 부드럽게 보이게 된다.

제1 신호 처리부(533)는 블러링 영상 생성부(520)에 의해 생성된 블러링 영상을 신호 처리한다. 블러링 영상은 소프트 포커스 영상의 후경으로 사용되므로 제1 신호 처리부(533)는 블러링 영상이 원래 영상보다 더 어두워지고 흐릿해지도록 블러링 영상의 채도와 밝기, 콘트라스트 중 하나 이상을 변환하는 신호 처리를 수행한다. 제1 신호 처리부(533)는 신호 처리된 블러링 영상을 소프트 포커스 영상 생성부(540)로 보낸다.

제2 신호 처리부(535)는 촬영 영상, 즉, 최대 망원 영상을 신호 처리한다. 최대 망원 영상은 소프트 포커스 영상의 전경으로 사용되므로 제2 신호 처리부(535)는 최대 망원 영상의 조명 톤, 디테일, 색감 중 하나 이상을 처리하여 영상의 왜곡이나 노이즈 등을 제거한다. 보다 구체적으로, 제2 신호 처리부(535)는 R(Red), G(Green), B(Black) 성분으로 구성된 촬영 영상을 색상 성분으로 구성되는 색상층, 조명 성분으로 구성되는 기저층, 반사 성분으로 구성되는 디테일층으로 분리하고, 기저층, 디테일층 및 색상층 각각의 영상 왜곡 성분을 제거한다.

제2 신호 처리부(535)는 암부 영역에서의 휘도 동적 범위의 변화량이 명부 영역에서의 휘도 동적 범위의 변화량보다 더 증가하도록 기저층을 처리하고, 명부 영역에서는 디테일이 선명하게 유지되면서, 암부 영역에서는 노이즈가 제거되도록 디테일층을 처리한 후 신호 처리된 기저층과 디테일층을 이용하여 복원 영상의 휘도 성분을 획득한다. 또한 제2 신호 처리부(535)는 최대 망원 영상의 휘도 성분과 복원 영상에서의 휘도 성분의 비에 기초하여 색상층을 보정하고, 휘도 성분의 변화량에 기초하여 채도를 조절함으로써 자연스러운 색상을 재현한다.

제2 신호 처리부(535)는 왜곡 성분이 제거된 휘도 성분 및 색상 성분을 결합한 후, RGB 성분으로 변환하여 최대 망원 영상을 복원하고 이를 소프트 포커스 영상 생성부(540)로 보낸다.

소프트 포커스 영상 생성부(540)는 가우시안 블러링 수행부(531)로부터 받은 가우시안 블러링된 알파 맵 또는 가중치 적용 블러링 맵을 이용하여, 제1 신호 처리부(533)로부터 받은 신호 처리된 블러링 영상 및 제2 신호 처리부(535)로부터 받은 신호 처리된 최대 망원 영상을 합성한다. 소프트 포커스 영상 생성부(540)는 가우시안 블러링된 맵의 값에 따라, 제1 신호 처리된 블러링 영상과 제2 신호 처리된 최대 망원 영상의 픽셀에 가중치를 부여하여 두 영상을 합성한다.

발명의 다른 실시 예에서, 제1 신호 처리부(533)와 제2 신호 처리부(535)는 각각 블러링 영상과 최대 망원 영상의 히스토그램을 구하고 이를 조절함으로써 보다 간편하게 블러링 영상과 최대 망원 영상의 색감을 조절할 수도 있다. 즉, 제1 신호 처리부(533)와 제2 신호 처리부(535)는 휘도 성분의 분포 특성에 대한 도수분포표의 도수 분포를 조절함으로써 영상의 밝기나 콘트라스트를 조절할 수 있다.

콘트라스트가 낮거나 노출 오버 또는 부족이 발생할 경우 영상의 히스토그램은 도수가 계조도 전역에 퍼져 있지 않고 한 곳에 몰려 있게 된다. 따라서 제2 신호 처리부(535)는 최대 망원 영상의 히스토그램의 도수가 계조도 전역으로 골고루 분포하도록 히스토그램을 확장(stretching)하거나 평활화(equalization)하여 최대 망원 영상의 색감을 조절할 수 있다. 반대로, 제1 신호 처리부(531)는 블러링 영상의 히스토그램의 도수가 한 곳에 몰리도록 히스토그램을 조절함으로써 콘트라스트가 낮아지고 밝기가 어두워지도록 할 수 있다.

이와 같이 발명의 실시 예에 의하면, 제1 신호 처리부(533)와 제2 신호 처리부(535)로 블러링 영상과 최대 망원 영상을 각각 신호 처리한 후 이들 영상들을 합성함으로써, 거리에 따라 전경과 후경의 색감이 변하는 물리적 현상이 반영된 소프트 포커스 영상을 생성할 수 있게 된다.

도 6은 발명의 실시 예에 따라 영상 처리 장치(100)의 디스플레이부를 통해 출력되는 라이브뷰 영상을 도시한 도면이다.

전술한 바와 같이, 조리개가 최대 개방이고 화각이 최대 망원일 때 가장 효과적인 소프트 포커스 영상을 얻을 수 있다. 따라서 발명의 실시 예에서, 영상 처리 장치(100)는 라이브뷰가 최대 망원 영상일 때 그 라이브뷰를 촬영하여 소프트 포커스 영상을 생성한다. 또한 영상 처리 장치(100)는 라이브뷰 영상 위에 최대 망원 영역을 표시함으로써 소프트 포커스 영상으로 획득될 영상을 사용자에게 인지시킬 수 있다.

도 6은 라이브뷰 영상 위에 최대 망원 영역이 다양한 방법으로 표시된 것을 도시한다. 도 6의 (a)는 라이브뷰 영상 위에 점선으로 최대 망원 영역이 표시된 것을 도시한다. 도 6의 (b)는 라이브뷰 영상에서 최대 망원 영역만이 보이도록 최대 망원 영역을 벗어난 영역을 검게 처리한 것을 도시한다. 도 6의 (c)는 영상을 줌(zoom)하여 최대 망원 영역만이 확대되어 보이도록 하는 것을 도시한다.

사용자는 라이브뷰 영상 위에 표시된 최대 망원 영역 표시를 보면서 어떤 영역의 영상이 촬영되어 소프트 포커스 영상이 생성될 것인지를 인지할 수 있게 되어, 영상 처리 장치(100)와 피사체까지의 거리를 조절하거나 피사체와 배경 사이의 거리를 조절하여 원하는 소프트 포커스 영상이 촬영되도록 할 수 있다.

도 7은 발명의 일 실시 예에 따른 영상 처리 방법을 도시한 순서도이다. 영상 처리 장치(100)는 사용자로부터 소프트 포커스 영상 생성을 요청 받으면 라이브뷰 영상을 출력한다. 영상 처리 장치(100)는 디스플레이된 라이브뷰 영상 위에 최대 망원 영역을 표시할 수 있다. 또한 영상 처리 장치(100)는 라이브뷰 영상 중 최대 망원 영상을 촬영하여 이미지 파일을 생성한다.

영상 처리 장치(100)는 라이브뷰 영상 중 최대 망원 영상을 이용하여 블러링 영상을 생성한다(단계 710). 영상 처리 장치(100)는 라이브뷰 영상 중 두 개 이상의 영상을 이용하여 알파 맵을 생성한다(단계 720).

영상 처리 장치(100)는 알파 맵을 이용하여 최대 망원 영상의 전경과 블러링 영상의 후경을 합성하여 소프트 포커스 영상을 생성한다(단계 730).

도 8은 도 7의 단계 710의 일 실시 예를 도시한 순서도이다. 영상 처리 장치(100)는 라이브뷰 영상 중 최대 망원 영상을 이용하여 블러링 영상을 생성한다. 이를 위해 영상 처리 장치(100)는 최대 망원 영상들을 이용하여 다중 크기 영상들을 생성한다(단계 810). 영상 처리 장치(100)는 다중 크기 영상들 각각을 로우 패스 필터링하여 영상에 포함된 고주파 성분들을 제거한다(단계 820).

영상 처리 장치(100)는 로우 패스 필터링된 다중 크기 영상들 각각을 인터폴레이션하여 원래 크기로 복원하고(단계 830), 인터폴레이션된 영상들을 더하여 블러링 영상을 생성한다(단계 840).

도 9는 도 7의 단계 720의 일 실시 예를 도시한 순서도이다. 영상 처리 장치(100)는 라이브뷰 영상 중 두 개 이상의 영상을 이용하여 블러링 맵을 생성한다(단계 910). 발명의 실시 예로, 영상 처리 장치(100)는 라이브뷰 영상 중 최대 망원 영상과 최대 광각 영상을 이용하여 두 영상 간 차이를 블러 값으로 나타내는 블러링 맵을 생성할 수 있다.

영상 처리 장치(100)는 촬영 영상, 즉, 최대 망원 영상을 분석하여 가중치 맵을 생성한다(단계 920). 영상 처리 장치(100)는 최대 망원 영상에 대해 얼굴 인식을 수행하여 얼굴 인식 맵을 생성하거나 AF 기능을 이용하여 피사체까지의 거리를 구하고 이를 이용하여 최대 망원 영상에 대한 뎁쓰 맵을 생성할 수 있다. 영상 처리 장치(100)는 얼굴 인식 맵과 뎁쓰 맵 중 하나 이상을 이용하여 가중치 맵을 생성할 수 있다.

영상 처리 장치(100)는 가중치 맵을 블러링 맵에 결합하여 가중치 적용 블러링 맵을 생성한다(단계 930).

영상 처리 장치(100)는 가중치 적용 블러링 맵에서 전경 영역과 후경 영역을 세그멘테이션하여 흑백의 마스크인 알파 맵을 생성한다(단계 940).

도 10은 도 5의 영상 처리 장치(500)가 색감 조절을 수행하는 것을 도시한 순서도이다. 영상 처리 장치(500)는 블러링 영상을 제1 신호 처리한다(단계 1010). 영상 처리 장치(500)는 블러링 영상의 밝기, 컨트라스트 및 채도 중 하나 이상을 변환할 수 있다.

영상 처리 장치(500)는 최대 망원 영상을 제2 신호 처리한다(단계 1020). 영상 처리 장치(500)는 최대 망원 영상의 조명 톤, 디테일, 색감 중 하나 이상을 변환할 수 있다.

영상 처리 장치(500)는 블러링 영상의 히스토그램을 이용하여 블러링 영상의 밝기가 어두워지고 콘트라스트가 작아지도록 제1 신호 처리하고, 최대 망원 영상의 히스토그램을 이용하여 최대 망원 영상의 밝기가 밝아지고 콘트라스트가 커지도록 제2 신호 처리할 수도 있다.

영상 처리 장치(500)는 알파 맵 또는 가중치 적용 블러링 맵을 가우시안 블러링한다(단계 1030).

영상 처리 장치(500)는 가우시안 블러링된 맵을 이용하여 제1 신호 처리된 블러링 영상과 제2 신호 처리된 최대 망원 영상으로부터 픽셀들을 가져와 전경과 후경의 색이 각각 조절된 소프트 포커스 영상을 생성한다(단계 1040).

이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims

N(N은 2 이상의 자연수)개의 라이브뷰 영상 중 최대 망원 영상을 이용하여 블러링 영상을 생성하는 단계;
상기 라이브뷰 영상 중 두 개 이상의 영상을 이용하여 알파 맵을 생성하는 단계; 및
상기 알파 맵을 이용하여 상기 최대 망원 영상과 상기 블러링 영상을 합성하여 소프트 포커스 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
제1 항에 있어서, 소프트 포커스 영상 생성 명령을 수신하는 단계;
상기 명령에 상응하여 상기 N개의 라이브뷰 영상을 디스플레이하는 단계;
상기 디스플레이된 N개의 라이브뷰 영상 중 상기 최대 망원 영상을 촬영하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
제2 항에 있어서, 상기 라이브뷰 영상 위에 최대 망원 영역을 표시하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
제1 항에 있어서, 상기 블러링 영상을 생성하는 단계는
상기 최대 망원 영상을 이용하여 다중 크기 영상들을 생성하는 단계;
상기 다중 크기 영상들 각각을 로우 패스 필터링하는 단계;
상기 로우 패스 필터링된 영상들 각각을 인터폴레이션하는 단계; 및
상기 인터폴레이션된 영상들을 더하여 상기 블러링 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
제1 항에 있어서, 상기 N개의 라이브뷰 영상은 화각이 서로 다른 것을 특징으로 하는 영상 처리 방법.
제5 항에 있어서, 상기 N개의 라이브뷰 영상은 조리개 값이 서로 다른 것을 특징으로 하는 영상 처리 방법.
제5 항에 있어서, 상기 알파 맵을 생성하는 단계는 상기 최대 망원 영상, 및 상기 라이브뷰 영상 중 최대 광각 영상을 이용하여 알파맵을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
제7 항에 있어서, 상기 알파 맵을 생성하는 단계는 상기 최대 망원 영상과 상기 최대 광각 영상 간 유사 정도를 블러 값으로 나타내는 블러링 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
제8 항에 있어서, 상기 블러링 맵을 생성하는 단계는
상기 최대 광각 영상을 클리핑하여 제1 사이즈 영상을 생성하는 단계;
상기 최대 망원 영상을 상기 제1 사이즈로 리사이징하는 단계; 및
상기 클리핑된 최대 광각 영상과 상기 리사이징된 최대 망원 영상의 유사 정도를 구하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
제8 항에 있어서, 상기 알파 맵을 생성하는 단계는
상기 최대 망원 영상을 분석하여 가중치 맵을 생성하는 단계;
상기 가중치 맵을 상기 블러링 맵에 적용하여, 가중치 적용 블러링 맵을 생성하는 단계; 및
상기 가중치 적용 블러링 맵에서 전경 영역과 후경 영역을 분리하여 상기 알파 맵을 생성하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
제10항에 있어서, 상기 가중치 맵은 상기 최대 망원 영상에 대한 얼굴 인식 맵 및 뎁쓰 맵 중 하나 이상을 포함하는 것을 특징으로 하는 영상 처리 방법.
제10 항에 있어서, 상기 소프트 포커스 영상을 생성하는 단계는 상기 알파 맵을 이용하여 상기 최대 망원 영상의 전경과 상기 블러링 영상의 후경을 합성하여 상기 소프트 포커스 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
제10 항에 있어서, 상기 알파 맵의 전경 영역 및 후경 영역은 각각 제1 값 및 제2 값을 갖고,
상기 방법은 상기 전경 영역을 일정 비율로 축소하거나 확장하는 단계;
상기 축소되거나 확장된 영역의 값을 상기 제1 값 및 상기 제2 값 사이 값으로 그라데이션하여 블러링된 알파 맵을 생성하는 단계를 더 포함하고,
상기 소프트 포커스 영상을 생성하는 단계는 상기 블러링된 알파 맵의 값에 따라 상기 블러링 영상과 상기 최대 망원 영상의 픽셀에 α(α는 0보다 크거나 같고 1보다 작거나 같은 유리수) 및 1-α 의 가중치를 부여하고, 상기 가중치가 부여된 픽셀을 합성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
제10항에 있어서, 상기 소프트 포커스 영상을 생성하는 단계는
상기 블러링 영상을 제1 신호 처리하는 단계;
상기 최대 망원 영상을 제2 신호 처리하는 단계;
상기 알파 맵 또는 상기 가중치 적용 블러링 맵 중 하나를 가우시안 블러링하는 단계; 및
상기 가우시간 블러링된 맵을 이용하여 상기 제1 신호 처리된 블러링 영상과, 상기 제2 신호 처리된 최대 망원 영상을 합성하여 소프트 포커스 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
제14항에 있어서, 상기 제1 신호 처리하는 단계는 상기 블러링 영상에 대해 밝기 및 채도 중 하나 이상을 변환하는 단계를 포함하고,
상기 제2 신호 처리하는 단계는 상기 최대 망원 영상에 대해 조명 톤 변환, 디테일 변환, 색감 변환 중 하나 이상을 수행하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
제14 항에 있어서, 상기 제1 신호 처리하는 단계는 밝기가 어두워지고 콘트라스트가 작아지도록 상기 블러링 영상의 히스토그램을 조절하는 단계를 포함하고,
상기 제2 신호 처리하는 단계는 밝기가 밝아지고 콘트라스트가 커지도록 상기 최대 망원 영상의 히스토그램을 조절하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
N(N은 2 이상의 자연수)개의 라이브뷰 영상 중 최대 망원 영상을 이용하여 블러링 영상을 생성하는 블러링 영상 생성부;
상기 라이브뷰 영상 중 두 개 이상의 영상을 이용하여 알파 맵을 생성하는 알파 맵 생성부; 및
상기 알파 맵을 이용하여 상기 최대 망원 영상과 상기 블러링 영상을 합성하여 소프트 포커스 영상을 생성하는 소프트 포커스 영상 생성부를 포함하는 것을 특징으로 하는 영상 처리 장치.
제17 항에 있어서, 영상 촬영 명령을 수신하는 유저 인터페이스;
상기 영상 촬영 명령에 상응하여 상기 N개의 라이브뷰 영상을 디스플레이하는 디스플레이부; 및
상기 디스플레이된 N개의 라이브뷰 영상 중 상기 최대 망원 영상을 촬영하는 영상 촬영부를 더 포함하는 것을 특징으로 하는 영상 처리 장치.
제18 항에 있어서, 상기 디스플레이부는 상기 라이브뷰 영상 위에 최대 망원 영역을 표시하는 것을 특징으로 하는 영상 처리 장치.
제17 항에 있어서, 상기 블러링 영상 생성부는
상기 최대 망원 영상을 이용하여 다중 크기 영상들을 생성하는 다중 크기 영상 생성부;
상기 다중 크기 영상들 각각을 로우 패스 필터링하는 로우 패스 필터링부; 및
상기 로우 패스 필터링된 영상들 각각을 인터폴레이팅한 후 더하여 상기 블러링 영상을 생성하는 영상 합성부를 포함하는 것을 특징으로 하는 영상 처리 장치.
제17 항에 있어서, 상기 N개의 라이브뷰 영상은 화각이 서로 다른 것을 특징으로 하는 영상 처리 장치.
제21 항에 있어서, 상기 N개의 라이브뷰 영상은 조리개 값이 서로 다른 것을 특징으로 하는 영상 처리 장치.
제21 항에 있어서, 상기 알파 맵 생성부는 상기 최대 망원 영상 및 상기 라이브뷰 영상 중 최대 광각 영상을 이용하여 알파맵을 생성하는 것을 특징으로 하는 영상 처리 장치.
제23 항에 있어서, 상기 알파 맵 생성부는 상기 최대 망원 영상과 상기 최대 광각 영상 간 유사 정도를 블러 값으로 나타내는 블러링 맵을 생성하는 블러링 맵 생성부를 포함하는 것을 특징으로 하는 영상 처리 장치.
제24 항에 있어서, 상기 블러링 맵 생성부는 상기 최대 광각 영상을 클리핑하여 제1 사이즈 영상을 생성하고, 상기 최대 망원 영상을 상기 제1 사이즈로 리사이징하고, 상기 클리핑된 최대 광각 영상과 상기 리사이징된 최대 망원 영상의 유사 정도를 구하는 것을 특징으로 하는 영상 처리 장치.
제24 항에 있어서, 상기 알파 맵 생성부는
상기 최대 망원 영상을 분석하여 가중치 맵을 생성하는 가중치 맵 생성부;
상기 가중치 맵을 상기 블러링 맵에 적용하는 가중치 적용 블러링 맵 생성부; 및
상기 가중치 적용 블러링 맵에서 전경 영역과 후경 영역을 분리하여 상기 알파 맵을 생성하는 영역 분리부를 더 포함하는 것을 특징으로 하는 영상 처리 장치.
제26항에 있어서, 상기 가중치 맵은 상기 최대 망원 영상에 대해 생성된 얼굴 인식 맵 및 뎁쓰 맵 중 하나 이상을 포함하는 것을 특징으로 하는 영상 처리 장치.
제26 항에 있어서, 상기 소프트 포커스 영상 생성부는 상기 알파 맵을 이용하여 상기 최대 망원 영상의 전경과 상기 블러링 영상의 후경을 합성하여 상기 소프트 포커스 영상을 생성하는 것을 특징으로 하는 영상 처리 장치.
제26 항에 있어서, 상기 알파 맵의 전경 영역 및 후경 영역은 각각 제1 값 및 제2 값을 갖고,
상기 알파 맵의 전경 영역을 일정 거리만큼 축소하거나 확장하고, 상기 축소되거나 확장된 영역의 값을 상기 제1 값 및 상기 제2 값 사이 값으로 그라데이션하여 블러링된 알파 맵을 생성하는 알파 맵 블러링부를 더 포함하고,
상기 소프트 포커스 영상 생성부는 상기 블러링된 알파 맵의 값에 따라 상기 블러링 영상과 상기 최대 망원 영상의 픽셀에 α(α는 0보다 크거나 같고 1보다 작거나 같은 유리수) 및 1-α 의 가중치를 부여하고, 상기 가중치가 부여된 픽셀을 합성하는 것을 특징으로 하는 영상 처리 장치.
제26항에 있어서, 상기 소프트 포커스 영상 생성부는
상기 최대 망원 영상을 신호 처리하는 제1 신호 처리부;
상기 블러링 영상을 신호 처리하는 제2 신호 처리부;
상기 알파 맵 또는 상기 가중치 적용 블러링 맵 중 하나를 가우시안 블러링하는 가우시안 블러링 수행부; 및
상기 가우시간 블러링된 맵을 이용하여 상기 제1 신호 처리된 최대 망원 영상과, 상기 제2 신호 처리된 블러링 영상을 합성하여 소프트 포커스 영상을 생성하는 영상 합성부를 포함하는 것을 특징으로 하는 영상 처리 장치.
제30항에 있어서, 상기 제 1 신호 처리부는 상기 최대 망원 영상에 대해 조명 톤 변환, 디테일 변환, 색감 변환 중 하나 이상을 수행하고,
상기 제2 신호 처리부는 상기 블러링 영상에 대해 밝기 및 채도 중 하나 이상을 변환하는 것을 특징으로 하는 영상 처리 장치.
제30 항에 있어서, 상기 제1 신호 처리부는 밝기가 밝아지고 콘트라스트가 커지도록 상기 최대 망원 영상의 히스토그램을 조절하고,
상기 제2 신호 처리부는 밝기가 어두워지고 콘트라스트가 작아지도록 상기 블러링 영상의 히스토그램을 조절하는 것을 특징으로 하는 영상 처리 장치.
N(N은 2 이상의 자연수)개의 라이브뷰 영상 중 최대 망원 영상을 이용하여 블러링 영상을 생성하는 단계;
상기 라이브뷰 영상 중 두 개 이상의 영상을 이용하여 알파 맵을 생성하는 단계; 및
상기 알파 맵을 이용하여 상기 최대 망원 영상과 상기 블러링 영상을 합성하여 소프트 포커스 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법을 실행하기 위한 프로그램을 저장한 컴퓨터로 판독 가능한 기록 매체.