KR101228304B1

KR101228304B1 - 깊이 정보 맵 구성 장치 및 방법, 깊이 정보 맵을 이용한이미지 디스플레이 장치 및 방법

Info

Publication number: KR101228304B1
Application number: KR1020060054568A
Authority: KR
Inventors: 이현정; 정승녕; 김창수
Original assignee: 삼성전자주식회사
Priority date: 2006-06-16
Filing date: 2006-06-16
Publication date: 2013-01-30
Also published as: KR20070119961A

Abstract

깊이 정보 맵 구성 장치 및 방법, 깊이 정보 맵을 이용한 이미지 디스플레이 장치 및 방법을 제공한다. 깊이 정보 맵 구성 장치는 소정 이미지의 단위 영역의 컨트러스트(contrast)를 초점 거리별로 측정하는 산술부와 이미지의 초점 영역의 피사체와 이미지의 단위 영역의 깊이의 차이를 판단하는 제어부 및 판단된 깊이의 차이에 따라 소정의 깊이 정보 값을 단위 영역에 할당하여 깊이 정보 맵을 구성하는 구성부를 포함한다.

사진, 컨트러스트(contrast), AF(Auto Focusing)

Description

깊이 정보 맵 구성 장치 및 방법, 깊이 정보 맵을 이용한 이미지 디스플레이 장치 및 방법{Apparatus and method for composing of depth information map, apparatus and method for displaying images by using depth information map}

도 1은 종래 디지털 카메라의 컨트러스트를 이용한 초점 거리 조절 방법을 도시한다.

도 2는 본 발명의 일 실시예에 따른 깊이 정보 맵 구성 장치의 블록도이다.

도 3은 본 발명의 일 실시예에 따른 사진 촬영의 순서도이다.

도 4 및 도 5는 본 발명의 일 실시예에 따른 소정 단위 영역의 초점 거리별 컨트러스트의 변화를 도시한다.

도 6은 본 발명의 일 실시예에 따른 깊이 정보 맵(map)의 일 예를 도시한다.

도 7은 상기 도 2를 이용하여 깊이 정보 맵을 구성하는 순서도이다.

도 8은 본 발명의 일 실시예에 따른 단위 영역 설정의 일 예들을 도시한다.

도 9는 본 발명의 일 실시예에 따른 깊이 정보 맵을 이용한 이미지 디스플레이 장치의 블록도이다.

도 10은 상기 도 9를 이용하여 원본 이미지에 소정의 효과를 적용하는 순서도이다.

도 11는 본 발명의 일 실시예에 따른 깊이 정보 맵을 이용한 원본 이미지에 적용된 다양한 효과의 일 예들을 도시한다.

도 12는 본 발명의 일 실시예에 따른 카메라의 디스플레이 화면을 도시한다.

<도면의 주요 부분에 관한 부호의 설명>

200: 깊이 정보 맵 구성 장치

210: 서치부 220: 저장부

230: 산술부 240: 분석부

250: 제어부 260: 구성부

900: 이미지 디스플레이 장치

910: 출력부 920: 인터페이스부

930: 셋팅부 940: 효과부

본 발명은 깊이 정보 맵 구성 장치 및 방법, 깊이 정보 맵을 이용한 이미지 디스플레이 장치 및 방법에 관한 것으로서, 더욱 상세하게는 깊이 정보 맵을 이용하여 원본 이미지에 다양한 효과를 적용한 시뮬레이션 이미지를 사용자에게 제공하는 깊이 정보 맵 구성 장치 및 방법, 깊이 정보 맵을 이용한 이미지 디스플레이 장치 및 방법에 관한 것이다.

사용자가 카메라로 피사체를 촬영할 때, 반셔터를 누르면(반누름) 자동으로 초점 찾기가 실행된다. 상기 자동으로 초점을 찾는 AF(Auto Focusing) 기능은, 초 점을 맞추길 원하는 피사체를 기준으로 카메라의 렌즈(lens) 위치를 조절하면서 이루어진다. 즉, AF는 AF 서치(search)를 통해 카메라의 렌즈 위치에 따라 피사체의 초점 영역의 컨트러스트(contrast)를 계산하여 컨트러스트의 값이 가장 큰 경우의 렌즈 위치를 촬영 값으로 사용한다.

AF 서치에 있어서, 카메라는 초기 초점 영역 1의 컨트러스트를 측정하고, 렌즈를 소정 거리로 이동시킨다. 카메라는 다시 초점 영역 2의 컨트러스트를 측정한다. 초점 영역 2는 초점 영역 1과 비교할 때 상기 컨트러스트가 더 크며, 카메라는 다시 렌즈를 이동시킨다. 상술한 원리를 이용하여 다음 스텝(step)에서, 초점 영역 3은 초점 영역 2와 비교할 때 컨트러스트가 더 크며, 카메라는 다시 렌즈를 이동시킨다. 초점 영역 4는 초점 영역 3과 비교할 때 상기 컨트러스트가 더 작으며, 따라서 카메라는 최대 컨트러스트의 초점 영역 전(before)에 도달하였으며, 현재 렌즈가 이미 최대 컨트러스트를 패스(pass)했음을 인지하게 된다. 상기와 같은 과정을 거쳐, 최대 컨트러스트 값을 가진 초점 거리(이하 촬영 포커스라고도 함)로 초점 거리가 자동 셋팅(setting)된다(10).

한편, 원본 이미지의 특정 영역을 추출하여 다양한 효과를 적용한 시뮬레이션 이미지를 사용자에게 미리 제공할 필요성이 제기된다.

본 발명은 깊이 정보 맵 구성 장치 및 방법, 깊이 정보 맵을 이용한 이미지 디스플레이 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해되어질 수 있을 것이다.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 깊이 정보 맵 구성 장치는 소정 이미지의 단위 영역의 컨트러스트(contrast)를 초점 거리별로 측정하는 산술부와 이미지의 초점 영역의 피사체와 이미지의 단위 영역의 깊이의 차이를 판단하는 제어부 및 판단된 깊이의 차이에 따라 소정의 깊이 정보 값을 단위 영역에 할당하여 깊이 정보 맵을 구성하는 구성부를 포함한다.

본 발명의 실시예에 따른 깊이 정보 맵을 이용한 이미지 디스플레이 장치는 원본 이미지에 소정 효과를 적용한 시뮬레이션(simulation) 이미지 및 소정의 기능을 선택할 수 있는 기능 메뉴 중 적어도 어느 하나를 화면에 출력하는 출력부 및 시뮬레이션 이미지를 생성하거나, 시뮬레이션 이미지 중 사용자가 선택한 이미지에 적용된 효과를 원본 이미지에 적용시키는 효과부를 포함한다.

본 발명의 실시예에 따른 깊이 정보 맵 구성 방법은 소정 이미지의 단위 영역의 컨트러스트(contrast)를 초점 거리별로 측정하는 단계와 이미지의 초점 영역의 피사체와 이미지의 단위 영역의 깊이의 차이를 판단하는 단계 및 판단된 깊이의 차이에 따라 소정의 깊이 정보 값을 단위 영역에 할당하여 깊이 정보 맵을 구성하는 단계를 포함한다.

본 발명의 실시예에 따른 깊이 정보 맵을 이용한 이미지 디스플레이 방법은 원본 이미지에 소정 효과를 적용한 시뮬레이션(simulation) 이미지 및 소정의 기능을 선택할 수 있는 기능 메뉴 중 적어도 어느 하나를 화면에 출력하는 단계 및 시뮬레이션 이미지를 생성하거나, 시뮬레이션 이미지 중 사용자가 선택한 이미지에 적용된 효과를 원본 이미지에 적용시키는 단계를 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

깊이 정보 맵 구성 장치(200)는 서치부(210), 저장부(220), 산술부(230), 분석부(240), 제어부(250), 및 구성부(260)를 포함한다.

서치부(210)는 사용자가 반셔터(shutter)를 입력하면 상기 반셔터 입력 동안 AF 서치를 실행한다. 서치부(210)에는 AF 센서가 사용될 수 있다.

저장부(220)는 AF 서치 과정에서 초점 거리별로 복수개의 이미지(n개)를 저 장한다. 또한, 사용자가 촬영한 이미지 및 후술될 깊이 정보 맵을 저장할 수 있다.

산술부(230)는 소정 이미지의 단위 영역의 컨트러스트(contrast)를 초점 거리별로 측정한다. 즉, 산술부(230)는 상기 복수개의 이미지에서 서로 대응되는 동일한 위치의 소정 단위 영역의 초점 거리별 컨트러스트를 측정한다. 상기 단위 영역은 소정 비율로 상기 이미지의 크기를 전체 또는 부분 분할한 영역이거나 상기 이미지내의 피사체의 경계(edge) 부분을 따라 샘플링(sampling)한 영역일 수 있다. 또한 단위 영역은 바람직하게는 초점 영역의 크기 비율로 상기 이미지를 분할하거나 샘플링한 영역일 수 있다.

분석부(240)는 상기 측정된 컨트러스트의 변화 경향을 상기 컨트러스트가 최대가 되는 초점 거리를 기준으로 분석한다. 초점 거리별 컨트러스트의 변화 경향에 대해서는 이하 도 4 및 도 5에서 자세히 후술하기로 한다.

제어부(250)는 상기 분석된 컨트러스트의 변화 경향을 통해 상기 컨트러스트가 최대가 되는 초점 거리의 초점 영역의 피사체와 상기 이미지의 단위 영역의 깊이의 차이를 판단한다. 이때, 제어부(250)는 상기 측정된 컨트러스트에서 상기 컨트러스트가 최대가 되는 상기 초점 영역의 초점 거리와 상기 컨트러스트가 최대가 되는 상기 단위 영역의 초점 거리를 비교하여 상기 깊이의 차이를 판단할 수 있다.

구성부(260)는 상기 판단된 깊이의 차이에 따라 소정의 깊이 정보 값을 상기 단위 영역에 할당하여 깊이 정보 맵을 구성한다. 깊이 정보 맵에 대한 구체적인 내용은 이하 도 6을 참조하기 바란다.

상기 도 2에서 상술된 중복된 내용은 되도록 생략하며, 사진 촬영의 과정을 각 단계별로 설명하기로 한다.

사용자가 반셔터를 입력하면, 서치부(210)는 상기 반셔터 입력 동안 AF 서치를 실행한다(S301). 상기 서치부(210)에는 AF 센서가 사용될 수 있다.

상기 AF 서치 과정에서, 저장부(220)는 초점 거리별로 복수개의 이미지(n개)를 저장하고, 동시에 산술부(230)는 초점 거리별로 복수개의 이미지에 대해서 초점 영역의 컨트러스트를 계산한다. 이때, 계산된 초점 영역의 컨트러스트 중에서 최대 컨트러스트를 갖는 초점 거리 즉, 촬영 포커스로 초점 거리가 셋팅된다(S311).

다음 단계에서, 사용자가 촬영을 지시하면 촬영 포커스의 이미지가 촬영되어 저장되고, 동시에 구성부(260)를 통해 깊이 정보 맵이 구성되어 함께 저장된다(S321). 깊이 정보 맵의 구성 과정은 이하 도 7에서 보다 더 구체적으로 설명하기로 한다.

이때, 사용자가 촬영을 지시한 후의 상기 깊이 정보 맵의 구성은 사용자가 촬영을 지시하기 전 단계(S301 내지 S311)에서 이루어 질 수 있으며, 상기 도 3에서 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행될 수도 있다.

도 4 및 도 5에 도시된 바와 같이, AF 서치시, 예를 들어 초점 거리별로 16 개수의 복수개의 이미지가 저장되고(즉 16개의 초점 거리), 이미지의 소정 단위 영 역에 대해서 초점 거리별로 컨트러스트를 측정한 값을 그래프로 나타내었다. 상기 단위 영역은 이미지의 초점 영역(400)의 크기 비율로 상기 이미지의 크기를 전체 또는 부분 분할한 영역이거나 상기 이미지내의 피사체의 경계(edge) 부분을 따라 샘플링(sampling)한 영역일 수 있다.

예를 들어, 1600 x 1200 픽셀(pixel)의 해상도를 갖는 이미지를 초점 영역(400)의 크기 비율로 가로 및 세로로 각각 10등분하고, 등분된 단위 영역을 깊이 정보 맵 구성을 위한 기본 단위로 설정할 수 있다.

도 4 및 도 5의 그래프에서, x축은 0~16 범위의 값을 갖는 소정 단위 영역의 초점 거리 값을 나타내고, y축은 0~1 범위의 값을 갖는 상기 초점 거리에 대응되는 단위 영역의 컨트러스트 값을 나타낸다. 이때, 상기 x축의 초점 거리 값이 클수록 실제 초점 거리는 감소되도록 설정되었다. 16 개수의 이미지가 초점 거리별로 저장되어 있으므로, 소정의 단위 영역에 대해서 16 번의 초점 거리에 대응되는 컨트러스트의 변화 값이 계산되어 컨트러스트의 변화 경향을 측정할 수 있다. 또한, 각 단위 영역에 대해서 최대 컨트러스트를 갖는 초점 거리를 기준으로 각 초점 거리에 대응되는 컨트러스트의 변화 경향을 측정할 수 있다.

도 4(a)에 도시된 바와 같이, AF 서치시 초점 거리별로 저장된 복수개의 이미지(16개수)에 있어서, 단위 영역 1 및 2의 각 초점 거리별 컨트러스트의 변화 경향을 나타낸다. 이때, 최대 컨트러스트(값)을 가진 단위 영역 1(초점 영역이기도 하다) 및 2의 초점 거리 값은 8~9 값(402, 403)을 갖는다.

단위 영역 (이미지) 1 및 2에 있어서, 최대 컨트러스트를 가진 초점 거리를 기준으로 각 초점 거리에 대응되는 컨트러스트의 값을 측정하여 컨트러스트의 변화 경향을 측정할 수 있다. 즉 그래프(도 4(a))에서, 최대 컨트러스트를 가진 초점 거리(402, 403)를 기준으로, 상기 기준 이전에는 단위 영역 1 및 2의 컨트러스트가 대체적으로 0.65 이상의 값을 나타내다가 점차적으로 기울기가 증가(401a)하고, 8~9 값의 초점 거리에서 컨트러스트의 값이 최대 값으로 된 후, 다시 상기 기준(402, 403)을 기점으로 감소(401b)하는 경향을 보인다.

따라서 컨트러스트의 값의 변화 경향을 분석하여, 도 4(a)의 단위 영역 1및 2가 초점 영역(400)의 피사체로부터 전방(카메라의 렌즈에서 근거리) 또는 후방(카메라의 렌즈에서 원거리)에 위치한 영역 인지 피사체의 영역 중의 한 부분인지 여부를 판단할 수 있다. 즉, 상기 컨트러스트가 최대가 되는 초점 거리(402)의 초점 영역(400)의 피사체와 도 4(a)의 단위 영역 1및 2의 깊이의 차이를 판단할 수 있으며, 상기 깊이의 차이에 따라 단위 영역 1 및 2에 소정의 깊이 정보 값(예를 들어 0(zero))을 할당할 수 있다. 이때, 바람직하게는 상기 측정된 컨트러스트의 값 중, 최대 컨트러스트를 갖는 초점 영역(400)의 초점 거리 값(402)과 도 4(a)의 단위 영역 1 및 2의 최대 컨트러스트를 가진 초점 거리 값(402, 403)을 비교하여, 상기 깊이의 차이를 판단하여 깊이 정보 값을 할당할 수 있으며, 이러한 원리는 이하 도 4(b) 및 도 5에서도 적용시킬 수 있다.

이와 같이 초점 영역의 피사체와 동일하거나 유사한 깊이로 판단되는 단위 영역은 깊이 정보 값을 동일하게 할당할 수 있으며, 대체적으로 깊이가 큰 차이가 나타나는 단위 영역은 깊이 정보 값을 피사체의 초점 영역과 다르게 할당할 수 있 다. 또한 도 4(a)의 단위 영역 1 및 2는 실질적으로 초점 영역의 피사체와 거의 동일하게 카메라(렌즈)와 초점 거리를 두고 있다고 판단할 수 있다.

이하 도 4(b) 및 도 5는 상술한 도 4(a)의 원리를 이용하여 설명하도록 한다.

도 4(b)에 도시된 바와 같이, 최대 컨트러스트를 가진 단위 영역 1 및 2의 초점 거리 값은 9~10 값(404, 405)을 가진다. 그래프(도 4(b))에서, 최대 컨트러스트를 가진 초점 거리(404, 405)를 기준으로, 상기 기준 이전에는 단위 영역 1 및 2의 컨트러스트가 대체적으로 0.65 이하의 낮은 값을 나타내다가 기울기의 증가 폭이 크게 변화되고(403a), 9~10 값의 초점 거리에서 컨트러스트의 값이 최대 값으로 된 후, 다시 상기 기준(404, 405)을 기점으로 감소(403b)하는 경향을 보인다.

따라서 컨트러스트의 변화 경향을 분석하여, 상기 컨트러스트가 최대가 되는 초점 거리(402)의 초점 영역(400)의 피사체와 도 4(b)의 단위 영역 1및 2의 깊이의 차이를 판단할 수 있으며, 상기 깊이의 차이에 따라 단위 영역 1 및 2에 소정의 깊이 정보 값(예를 들어 1(zero))을 할당할 수 있다. 이때, 바람직하게는 상기 최대 컨트러스트를 갖는 초점 영역(400)의 초점 거리 값(402)과 도 4(b)의 단위 영역 1 및 2의 최대 컨트러스트를 가진 초점 거리 값(404, 405)을 비교(깊이의 차)하여, 깊이 정보 값을 할당할 수 있다. 따라서 도 4(b)의 단위 영역 1 및 2는 실질적으로 카메라 렌즈와의 초점 거리가 초점 영역(400)의 피사체와 비교할 때 더 가까운 근거리에 위치한 영역임을 알 수 있다.

도 5(a) 및 도 5(b)에 도시된 바와 같이, 최대 컨트러스트를 가진 단위 영역 1 및 2의 초점 거리 값은 6~7(406, 407), 또는 5~6이하(408, 409)의 값을 가진다. 상술한 도 4의 원리를 이용하여 상기 깊이의 차이를 판단하면, 도 5(a) 및 도 5(b)의 단위 영역 1 및 2는 실질적으로 카메라 렌즈와의 초점 거리가 초점 영역(400)의 피사체와 비교할 때 더 먼(큰) 원거리에 위치한 영역임을 알 수 있으며, 컨트러스트의 변화 경향에 따라 도 5(a) 및 도 5(b)의 단위 영역 1 및 2에 각각 다른 깊이 정보 값을 할당할 수 있다. 또한, 상기 도 4에서 상술한 바와 같이 최대 컨트러스트를 갖는 초점 영역(400)의 초점 거리 값(402)과 도 5(a)의 단위 영역 1 및 2의 최대 컨트러스트를 가진 초점 거리 값(406, 407) 또는 도 5(b)의 단위 영역 1 및 2의 최대 컨트러스트를 가진 초점 거리 값(408, 409)을 비교하여, 깊이 정보 값을 각각 할당(예를 들어 -1, -2)할 수도 있다.

이하 도 6에서 상기 도 4 및 도 5의 깊이 정보 값을 이용한 깊이 정보 맵의 구성 예를 후술하기로 한다.

상기 도 4 및 도 5의 원리를 이용하여, 이미지의 초점 영역의 피사체와 이미지의 단위 영역의 깊이의 차이를 판단하여, 판단된 깊이의 차이에 따라 소정의 깊이 정보 값을 상기 단위 영역에 할당하여 깊이 정보 맵을 구성할 수 있다.

도 6(a)에 도시된 바와 같이, 초점 영역의 피사체와 깊이가 동일 또는 유사하여 깊이 정보 값이 0(zero) 값으로 주어진 영역(602)과 초점 영역의 피사체와 깊이가 대체적으로 차이가 많아 깊이 정보 값이 1 값으로 주어진 영역(604)으로 단순하게 양분하여 깊이 정보 맵을 구성할 수 있다. 따라서 이미지상의 피사체와 피사 체를 제외한 주변 영역으로 구분지을 수 있어, 차후 원본 이미지(촬영 포커스의 이미지)의 피사체 영역(깊이 정보 값이 0인 영역)을 추출하여 노출, 플래쉬 등의 효과를 적용시킬 수 있다. 따라서 상기 도 4(b) 및 도 5의 단위 영역 1과 2는 깊이 정보 값이 1 값으로 저장되고, 도 4(a)의 단위 영역 1과 2는 깊이 정보 값이 0(zero)으로 저장된다. 이와 같은 깊이의 차는 컨트러스트가 최대가 되는 상기 초점 영역(400)의 초점 거리(402)와 컨트러스트가 최대가 되는 단위 영역들의 초점 거리를 비교하여 판단될 수 있고, 상기 판단된 깊이의 차이에 따라 깊이 정보 값들이 할당될 수 있다.

도 6(b)에 도시된 바와 같이, 초점 영역의 피사체와 깊이가 동일 또는 유사하여 깊이 정보 값이 0(zero) 값으로 주어진 영역(602a)과 상기 피사체로부터 전방(카메라의 렌즈에서 근거리) 또는 후방(카메라의 렌즈에서 원거리)에 위치하여 깊이 정보 값이 각각 다르게 할당(예를 들어 1, -1)된 영역(604a. 606a)으로 구성된 깊이 정보 맵을 나타내고 있다. 따라서 상기 도 4(b)의 단위 영역 1과 2는 깊이 정보 값이 1값으로 저장되고, 도 5의 단위 영역 1과 2는 깊이 정보 값이 -1값으로 저장되고, 도 4(a)의 단위 영역 1과 2는 0 값으로 깊이 정보 값이 저장된다.

한편, 소정의 센서를 이용하여 피사체의 수를 인지하거나, 피사체의 영역을 구별하여 깊이 정보 맵을 구성할 때 이용할 수 있다. 예를 들어, 사람(피사체)의 경우 카메라의 적외선 센서를 이용하여 사람의 이미지를 이미지 처리(object segmentation)하여, 사람의 영역 및 사람의 수를 파악할 수 있다. 즉, 먼저 반셔터로 입력되는 사람의 이미지 중 1개 이상의 이미지에 대해서 컨트러스트 스트레 취(contrast stretch)를 적용하여 컨트러스트가 큰 영역을 추출한다. 이때 상기 컨트러스트가 큰 영역이 경계(edge)가 되고, 상기 경계 영역의 정보를 바탕으로 이미지 처리 알고리즘을 이용하여 사람의 영역 및 명수를 파악할 수 있다. 이때, 피사체에 해당하는 영역의 컨트러스트의 변화는 대체적으로 유사하고, 피사체의 경계 영역의 컨트러스트가 다른 영역의 컨트러스트에 비해 대체적으로 높다는 것을 이용하여 하나의 피사체가 이루는 영역을 파악할 수 있다. 경계 영역이 파악되면 경계 영역을 중심으로 단위 영역을 설정하여 깊이 정보 맵을 구성할 수 있다. 단위 영역 설정에 대한 예는 이하 도 8을 참조하기 바란다.

상기 도 4 내지 도 6의 내용을 이용하여, 깊이 정보 맵 구성의 과정을 이하 도 7에서 각 단계별로 설명하기로 하며, 중복된 설명은 되도록 생략하도록 한다.

AF 서치 과정에서, 저장부(220)에 저장된 n개의 이미지에 대해서 소정 비율(X x Y)의 단위 영역으로 등분하고, 산술부(230)는 n개의 이미지에서 소정 단위 영역의 컨트러스트(contrast)를 초점 거리별로 측정한다(S701).

분석부(240)는 상기 측정된 컨트러스트의 변화 경향을 상기 단위 영역의 최대 컨트러스트를 갖는 초점 거리를 기준으로 분석한다(S711).

제어부(250)는 상기 분석된 컨트러스트의 변화 경향을 통해 상기 컨트러스트가 최대가 되는 초점 거리의 초점 영역의 피사체와 상기 이미지의 단위 영역의 깊이의 차이를 판단한다(S721). 이때, 제어부(250)는 상기 측정된 컨트러스트에서 상기 컨트러스트가 최대가 되는 상기 초점 영역의 초점 거리와 상기 컨트러스트가 최 대가 되는 상기 단위 영역의 초점 거리를 비교하여 상기 깊이의 차이를 판단할 수 있다.

구성부(260)는 상기 판단된 깊이의 차이에 따라 소정의 깊이 정보 값을 상기 단위 영역에 할당하여 깊이 정보 맵을 구성한다(S731).

깊이 정보 맵을 구성하기 위한 이미지의 단위 영역을 정하는 방법에는 여러 가지가 있다. 상기 단위 영역은 이미지를 소정 비율로 전체 분할(802) 하거나, 이미지를 소정 간격을 두고 부분 분할(804, 806) 하거나, 이미지의 경계(edge) 부분을 중심으로 샘플링(808)한 영역일 수 있다.

깊이 정보 맵을 이용한 이미지 디스플레이 장치(900)는 출력부(910), 인터페이스부(920), 셋팅부(930) 및 효과부(940)를 포함한다.

출력부(910)는 상기 깊이 정보 맵을 이용하여 원본 이미지에 소정 효과를 적용한 시뮬레이션(simulation) 이미지들 및 기능 메뉴들을 화면에 출력한다. 출력부(910)는 원본 이미지의 단위 영역의 깊이 정보 값이 0(zero)인 초점 영역에 대해서 밝기 값을 다양하게 적용시킨 이미지들을 카메라의 LCD 화면에 출력할 수 있다. 이외에도, 출력부(910)는 플래쉬, 노출(심도), 이미지 합성 등의 효과를 적용시킨 시뮬레이션 이미지들을 출력시킬 수 있다. 상기 기능 메뉴들에는 셔터, 접사, 플래쉬, 설정 메뉴 등이 있으며, 사용자는 원하는 메뉴를 선택하여 대응되는 기능들을 수행시킬 수 있다. 예를 들어, 사용자는 설정 메뉴에서 소정의 효과(밝기/심도/블러)를 선택하여 상기 효과를 적용시킨 시뮬레이션 이미지들을 출력부(910)를 통해 화면에 출력시킬 수 있다. 깊이 정보 맵에 관한 상세 내용은 상기 도 4 내지 도 6을 참조하기 바라며, 출력 화면의 다양한 예들은 이하 도 12에서 후술하기로 한다.

인터페이스부(920)는 상기 출력부(910)에 출력된 시뮬레이션 이미지 및 기능 메뉴를 선택할 수 있도록 소정의 인터페이스를 제공한다. 예를 들어, 사용자는 디스플레이 버튼 또는 터치 버튼 등을 통해 시뮬레이션 이미지 및 기능 메뉴들을 선택할 수 있다. 디스플레이 버튼은 소정의 기능을 선택할 수 있는 기능 메뉴들(예를 들어 설정 메뉴, 플래쉬)을 아이콘, 텍스트, 기호 등으로 표현하여 버튼내에 디스플레이할 수 있으며, 사용자가 버튼내에 디스플레이된 화면을 보고 원하는 소정 효과(예를 들어 플래쉬)를 선택한 후 반셔터를 누르면, 상기 효과를 적용한 시뮬레이션 이미지를 다시 디스플레이 버튼상에 출력할 수 있다. 상기 터치 버튼은 터치 스크린상에 구성된 버튼으로 사용자가 직접 버튼을 손으로 터치하여 원하는 기능 버튼 또는 시뮬레이션 이미지를 선택할 수 있도록 제공해 준다.

셋팅부(930)는 사용자가 선택한 시뮬레이션 이미지에 적용된 효과에 따라 촬영을 셋팅한다. 예를 들어, 시뮬레이션 이미지에 적용된 심도에 대응되도록 촬영의 셋팅을 변경(예를 들어, 사용자가 선택한 심도에 대응되는 노출 값으로 카메라의 조리개를 셋팅)할 수 있다. 셋팅부(930)는 이미 촬영된 원본 이미지에 상기 효과가 적용될 경우에는 다른 실시예에서 생략될 수 있다.

효과부(940)는 상기 깊이 정보 맵을 이용하여 원본 이미지에 소정 효과를 적 용시켜 시뮬레이션 이미지를 생성하거나, 사용자가 선택한 시뮬레이션 이미지에 적용된 효과를 사용자가 촬영한 원본 이미지에 적용시킨다. 효과부(940)는 깊이 정보 맵에서 깊이 정보 값이 0값을 갖는 피사체 영역을 추출하여 플래쉬 등의 효과를 다양하게 적용시켜 시뮬레이션 이미지를 생성할 있다. 또한, 효과부(940)는 깊이 정보 맵을 이용하여 셋팅부(930)에서 셋팅한 촬영 값에 따라 촬영된 원본 이미지에 사용자가 선택한 시뮬레이션 이미지에 적용된 효과(예를 들어 블러 필터(blur filter) 효과)를 실시간으로 적용시키거나, 이미 촬영된 원본 이미지에 상기 효과를 후처리하여 적용시킬 수 있다.

상기 도 2 및 상기 도 9에서 도시된 각각의 구성요소는 일종의 '모듈'로 구성될 수 있다. 상기 '모듈'은 소프트웨어 또는 Field Programmable Gate Array(FPGA) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)과 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 역할들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 따라서, 일 예로서 모듈은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 모듈들에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추 가적인 구성요소들과 모듈들로 더 분리될 수 있다.

효과부(940)는 깊이 정보 맵을 이용하여 원본 이미지에 소정 효과를 적용시켜 시뮬레이션(simulation) 이미지들을 생성하고, 화면에 시뮬레이션(simulation) 이미지들을 출력부(910)를 통해 출력한다(S1001). 상기 효과에는 플래쉬, 노출, 심도, 이미지 합성 등을 포함할 수 있다.

사용자가 디스플레이 버튼 또는 터치 스크린상의 터치 버튼을 통해 상기 출력된 이미지를 선택한다(S1011). 상기 디스플레이 버튼 또는 터치 스크린을 통한 이미지 선택은 이하 도 12를 참조하기 바란다.

사용자가 선택한 시뮬레이션 이미지에 적용된 효과에 따라 셋팅부(930)를 통해 촬영을 셋팅한다(S1021). 본 단계는 이미 촬영된 이미지에 상기 효과가 적용될 경우에는 생략될 수 있다.

상기 선택된 시뮬레이션 이미지에 적용된 효과를 효과부(940)를 통해 사용자가 촬영한 원본 이미지에 적용시킨다(S1031). 즉, 효과부(940)는 깊이 정보 맵을 이용하여, 셋팅부(930)에서 셋팅한 촬영 값에 따라 촬영된 원본 이미지에 사용자가 선택한 시뮬레이션 이미지에 적용된 효과를 실시간으로 적용시키거나, 이미 촬영된 원본 이미지에 상기 효과를 후처리하여 적용시킬 수 있다.

도 11(a)에 도시된 바와 같이, 상기 깊이 정보 맵에서 깊이 정보 값이 0(zero)인 원본 이미지의 단위 영역(피사체 영역)을 추출하고, 밝기/노출(brightness/exposure)값을 변경하여 플래쉬(flash) 효과나 심도의 변화를 상기 단위 영역에 적용시킬 수 있다. 즉, 정보 값이 0(zero)인 단위 영역의 밝기 값을 높이면 마치 플래쉬와 함께 촬영한 이미지(1102)와 같은 시뮬레이션 효과를 얻을 수 있다. 또한, 이외에도 상기 단위 영역에 밝기/노출 값을 다양하게 조절하여, 다양한 노출 값에 대한 이미지(1104)로 시뮬레이션이 가능하다.

도 11(b)에 도시된 바와 같이, 깊이 정보 맵을 이용하여 원본 이미지의 피사체를 추출하고, 상기 피사체의 배경에 다른 이미지에 합성하여 배경 이미지가 다른 이미지(1106)로 변경할 수 있다.

도 11(c)에 도시된 바와 같이, 깊이 정보 맵을 이용하여 원본 이미지의 피사체 영역과 비교하여 원거리에 위치한 단위 영역들을 추출(예를 들어 단위 영역의 깊이 정보 값이 -1인 값)하고, 상기 원거리의 단위 영역에 대해 필터링 효과(예를 들어 블러(blur) 효과)를 적용하여, 심도 값이 변형된 다양한 이미지(1108, 1110)로 변경할 수 있다.

상기 도 11의 다양한 효과가 적용된 이미지들은 카메라의 화면에 사용자가 선택할 수 있도록 출력될 수 있다. 사용자가 반셔터를 누르면 원본 이미지에 소정 효과를 적용한 복수개의 시뮬레이션(simulation) 이미지(1206)들이 화면에 출력될 수 있다. 이때, LCD 화면의 전체 또는 일부에 디스플레이 버튼(display button)(1201) 또는 터치(touch) 버튼(1203)을 배치하여, 사용자가 원하는 기능 메뉴 또는 효과가 적용된 이미지가 디스플레이 버튼(1201) 또는 터치 버튼(1203) 상에 출력되도록 하여, 사용자가 소정 기능 또는 이미지를 선택할 수 있도록 구성할 수 있다. 상기 디스플레이 버튼(1201)은 소정의 기능을 선택할 수 있는 기능 메뉴들(예를 들어 설정 메뉴, 플래쉬)을 아이콘, 텍스트, 기호 등으로 표현하여 버튼내에 디스플레이할 수 있으며, 사용자가 버튼내에 디스플레이된 화면을 보고 원하는 소정 효과(예를 들어 플래쉬)를 선택한 후 반셔터를 누르면, 상기 효과를 적용한 시뮬레이션 이미지를 다시 디스플레이 버튼상(1201)에 출력할 수 있다. 상기 터치 버튼(1203)은 터치 스크린상에 구성된 버튼으로 사용자가 직접 버튼을 손으로 터치하여 원하는 기능 버튼 또는 시뮬레이션 이미지를 선택할 수 있도록 제공해 준다.

도 12(a), 및 도 12(b)에 도시된 바와 같이, LCD 화면(1202)의 일측에는 촬영 전의 피사체가 디스플레이되거나 촬영 포커스에서 이미 촬영된 원본 이미지가 디스플레이될 수 있으며, 기능 메뉴들(셔터, 접사, 플래쉬, 설정 메뉴 등) 및 원본 이미지에 소정 효과가 적용된 시뮬레이션 이미지들(1206)은 디스플레이 버튼(1201)상에 출력되어 다른 일측에 배치될 수 있다. 사용자는 설정 메뉴(1204)가 출력되는 디스플레이 버튼(1201)을 클릭하여, 밝기/심도/블러 등의 효과 등을 선택할 수 있으며, 반셔터를 누르면 사용자가 선택한 효과에 따라 원본 이미지에 다양한 효과를 적용시켜 디스플레이 버튼(1201)상에 시뮬레이션 이미지들(1206)로 출력할 수 있다. 이때, LCD 화면(1202)의 이미지가 촬영 전의 피사체일 경우, 사용자가 상기 시뮬레이션 이미지들(1206) 중에서 원하는 이미지를 선택하면 사용자가 선택한 시뮬 레이션 이미지에 적용된 효과에 따라 촬영이 셋팅되어, 피사체 촬영시 실시간으로 상기 선택된 시뮬레이션 이미지에 적용된 효과가 적용될 수 있다.

또한, 도 12(a)에 도시된 바와 같이, 셔터 버튼은 카메라의 상단에 장착되거나 도 12(b)에 도시된 바와 같이, 디스플레이 버튼(1201) 형태로 LCD 화면내에 구성될 수도 있다.

또한, 도 12(c)에 도시된 바와 같이, 상기 도 12(a) 및 도 12(b)의 기능들을 터치 스크린을 이용하여 수행할 수 있다. 즉, 기능 메뉴들 및 원본 이미지에 소정 효과가 적용된 시뮬레이션 이미지들(1206)이 터치 버튼(1203) 상에 출력되도록 하여, 사용자가 원하는 기능 또는 이미지를 터치(touch)하여 선택할 수 있도록 구성할 수 있다.

또한, 셔터 버튼은 터치 버튼(1203) 형태로 LCD 화면내에 구성되거나, 카메라의 상단에 장착될 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

상기한 바와 같은 본 발명의 깊이 정보 맵 구성 장치 및 방법, 깊이 정보 맵을 이용한 이미지 디스플레이 장치 및 방법에 따르면 다음과 같은 효과가 하나 혹 은 그 이상 있다.

첫째, 사용자가 소정의 효과가 적용된 시뮬레이션된 이미지를 미리 제공받을 수 있는 장점이 있다.

둘째, 원본 이미지의 소정 영역을 추출하여 다양한 효과를 적용시킬 수 있는 장점도 있다.

Claims

소정 이미지의 단위 영역의 컨트러스트(contrast)를 초점 거리별로 측정하는 산술부;

상기 초점 거리별 컨트러스트의 측정 결과를 이용하여 이미지의 초점 영역의 피사체와 상기 이미지의 단위 영역의 깊이의 차이를 판단하는 제어부;

상기 판단된 깊이의 차이에 따라 소정의 깊이 정보 값을 상기 단위 영역에 할당하여 깊이 정보 맵을 구성하는 구성부;

원본 이미지에 소정 효과를 적용한 시뮬레이션(simulation) 이미지 및 소정의 기능을 선택할 수 있는 기능 메뉴 중 적어도 어느 하나를 화면에 출력하는 출력부; 및

상기 시뮬레이션 이미지를 생성하거나, 상기 시뮬레이션 이미지 중 사용자가 선택한 이미지에 적용된 효과를 상기 원본 이미지에 적용시키는 효과부를 포함하는, 깊이 정보 맵 구성 장치.
제 1항에 있어서,

상기 제어부는,

상기 컨트러스트가 최대가 되는 상기 초점 영역의 초점 거리와 상기 컨트러스트가 최대가 되는 상기 단위 영역의 초점 거리를 비교하거나, 상기 측정된 컨트러스트의 변화 경향을 통해 상기 깊이의 차이를 판단하는, 깊이 정보 맵 구성 장치.
제 2항에 있어서,

상기 단위 영역은,

소정 비율로 상기 이미지의 크기를 전체 또는 부분 분할한 영역이거나 상기 이미지내의 피사체의 경계(edge) 부분을 따라 샘플링(sampling)한 영역인, 깊이 정 보 맵 구성 장치.
삭제
제 1항에 있어서,

상기 출력부는,

상기 기능 메뉴 또는 상기 시뮬레이션 이미지를 사용자가 버튼내에 디스플레이된 화면을 보고 직접 선택할 수 있는 디스플레이(display) 버튼 상에 출력하거나 터치 스크린상에 구성된 터치(touch) 버튼에 출력하는, 깊이 정보 맵을 이용한 이미지 디스플레이 장치.
제 5항에 있어서,

상기 기능 메뉴는 상기 원본 이미지에 적용할 효과를 설정할 수 있는 설정 메뉴, 및 소정 이미지 촬영을 위한 셔터(shutter) 메뉴 중 적어도 어느 하나를 포함하는, 깊이 정보 맵을 이용한 이미지 디스플레이 장치.
제 1항에 있어서,

상기 시뮬레이션 이미지 중 사용자가 선택한 이미지에 적용된 효과에 따라 촬영을 셋팅하는 셋팅부를 더 포함하는, 깊이 정보 맵을 이용한 이미지 디스플레이 장치.
제 1항에 있어서,

상기 효과부는,

컨트러스트(contrast)가 최대가 되는 초점 거리의 초점 영역의 피사체와 상기 원본 이미지의 소정 단위 영역의 깊이의 차이에 따라 소정의 깊이 정보 값이 상기 단위 영역에 할당되어 구성된 깊이 정보 맵을 이용하여, 상기 원본 이미지에서 상기 깊이 정보 값이 동일한 소정 단위 영역을 추출하고 상기 추출된 단위 영역에 소정의 효과를 적용시켜 상기 시뮬레이션 이미지를 생성하는, 깊이 정보 맵을 이용한 이미지 디스플레이 장치.
소정 이미지의 단위 영역의 컨트러스트(contrast)를 초점 거리별로 측정하는 단계;

상기 이미지의 초점 영역의 피사체와 상기 이미지의 단위 영역의 깊이의 차이를 판단하는 단계;

상기 판단된 깊이의 차이에 따라 소정의 깊이 정보 값을 상기 단위 영역에 할당하여 깊이 정보 맵을 구성하는 단계;

원본 이미지에 소정 효과를 적용한 시뮬레이션(simulation) 이미지 및 소정의 기능을 선택할 수 있는 기능 메뉴 중 적어도 어느 하나를 화면에 출력하는 단계; 및

상기 시뮬레이션 이미지를 생성하거나, 상기 시뮬레이션 이미지 중 사용자가 선택한 이미지에 적용된 효과를 상기 원본 이미지에 적용시키는 단계를 포함하는, 깊이 정보 맵 구성 방법.
제 9항에 있어서,

상기 깊이의 차이를 판단하는 단계는,

상기 컨트러스트가 최대가 되는 상기 초점 영역의 초점 거리와 상기 컨트러스트가 최대가 되는 상기 단위 영역의 초점 거리를 비교하거나 상기 측정된 컨트러스트의 변화 경향을 통해 판단하는, 깊이 정보 맵 구성 방법.
제 10항에 있어서,

상기 단위 영역은,

소정 비율로 상기 이미지의 크기를 전체 또는 부분 분할한 영역이거나 상기 이미지내의 피사체의 경계(edge) 부분을 따라 샘플링(sampling)한 영역인, 깊이 정보 맵 구성 방법.
원본 이미지에 소정 효과를 적용한 시뮬레이션(simulation) 이미지 및 소정의 기능을 선택할 수 있는 기능 메뉴 중 적어도 어느 하나를 화면에 출력하는 단계; 및

상기 시뮬레이션 이미지를 생성하거나, 상기 시뮬레이션 이미지 중 사용자가 선택한 이미지에 적용된 효과를 상기 원본 이미지에 적용시키는 단계를 포함하는, 깊이 정보 맵을 이용한 이미지 디스플레이 방법.
제 12항에 있어서,

상기 화면에 출력하는 단계는,

상기 기능 메뉴 또는 상기 시뮬레이션 이미지를 사용자가 버튼내에 디스플레이된 화면을 보고 직접 선택할 수 있는 디스플레이(display) 버튼 상에 출력하거나 터치 스크린상에 구성된 터치(touch) 버튼에 출력하는, 깊이 정보 맵을 이용한 이미지 디스플레이 방법.
제 13항에 있어서,

상기 기능 메뉴는 상기 원본 이미지에 적용할 효과를 설정할 수 있는 설정 메뉴, 및 소정 이미지 촬영을 위한 셔터(shutter) 메뉴 중 적어도 어느 하나를 포함하는, 깊이 정보 맵을 이용한 이미지 디스플레이 방법.
제 12항에 있어서,

상기 시뮬레이션 이미지 중 사용자가 선택한 이미지에 적용된 효과에 따라 촬영을 셋팅하는 단계를 더 포함하는, 깊이 정보 맵을 이용한 이미지 디스플레이 방법.
제 12항에 있어서,

상기 원본 이미지에 소정 효과를 적용한 시뮬레이션(simulation) 이미지를 화면에 출력하는 단계는,

컨트러스트(contrast)가 최대가 되는 초점 거리의 초점 영역의 피사체와 상기 원본 이미지의 소정 단위 영역의 깊이의 차이에 따라 소정의 깊이 정보 값이 상기 단위 영역에 할당되어 구성된 깊이 정보 맵을 이용하여, 상기 원본 이미지에서 상기 깊이 정보 값이 동일한 소정 단위 영역을 추출하고 상기 추출된 단위 영역에 소정의 효과를 적용시켜 상기 시뮬레이션 이미지를 생성하는 단계를 더 포함하는, 깊이 정보 맵을 이용한 이미지 디스플레이 방법.