KR20110056092A - 피사체 부각 정보를 제공하는 방법 및 이를 위한 디지털 촬영 장치 - Google Patents

Abstract

본 발명은 피사체 부각 정보를 제공하는 방법 및 이를 위한 디지털 촬영 장치에 관한 것으로 보다 상세하게는 피사체와 배경 간의 색상, 채도 및 명도의 대비 정보 및 배경의 에지 정보를 통하여 피사체의 부각 정도를 제공하는 기술에 관한 것이다. 본 발명은 입력 영상에 대하여 초점이 맞는 대상인 피사체를 확정하는 단계; 상기 피사체가 포함된 피사체 영역을 설정하고, 상기 피사체 영역 주위에 상기 피사체 영역의 부각 정보를 확인하기 위한 적어도 하나의 주변 영역을 설정하는 단계; 상기 피사체 영역과 상기 주변 영역의 색상, 채도 및 명도의 대비 정보를 도출하는 단계; 상기 주변 영역의 에지 정보를 도출하는 단계; 상기 대비 정보 또는 상기 에지 정보를 바탕으로 상기 피사체 영역에 포함된 상기 피사체의 부각 정보를 도출하는 단계; 및 도출된 상기 피사체의 부각 정보를 디스플레이부에 표시하는 단계; 를 포함한다.

피사체 부각

Description

피사체 부각 정보를 제공하는 방법 및 이를 위한 디지털 촬영 장치{Method for providing standing out degree information of subject and digital photographing apparatus applying the method}

본 발명은 피사체 부각 정보를 제공하는 방법 및 이를 위한 디지털 촬영 장치에 관한 것으로 보다 상세하게는 피사체와 배경 간의 색상, 채도 및 명도의 대비 정보 및 배경의 에지 정보를 통하여 피사체의 부각 정보를 제공하는 기술에 관한 것이다.

디지털 촬영 장치에 의한 촬영시 피사체를 부각하기 위하여 다양한 촬영 기법이 사용된다. 디지털 일안 반사식 카메라(DSLR)의 경우 피사체를 부각하기 위하여 주로 조리개를 개방하여 피사체에 집중하는 아웃 포커싱 기법을 사용하였다.

이외에도 디지털 촬영 장치에서 일본공개특허 제2009-069996호와 같이 취득한 영상 데이터로부터 피사체와 배경을 분리한 다음, 배경을 블러(blur)효과 처리하여 피사체를 부각시키는 기술을 사용함으로써, 영상 처리를 통하여 복잡한 배경을 없애고 피사체를 강조하기도 한다.

그러나 디지털 일안 반사식 카메라(DSLR)의 경우 기구적으로 아웃 포커싱 기법을 사용할 수 있으나, 디지털 스틸 카메라(DSC)의 경우 렌즈의 구조상 아웃 포커싱 효과를 기대하기 힘들다.

또한 피사체를 부각하기 위하여 배경 흐림 효과를 영상처리를 통하여 주는 경우 피사체와 배경에 가까운 영역이 부자연스럽게 보이는 문제점이 있다.

그러나 모든 디지털 촬영 장치에 통용될 수 있으며, 자연스럽게 피사체를 부각하기 위한 목적을 달성하는 방법은 다음과 같은 것이 있다. 일 예로 피사체와 배경간의 색상, 채도 및 명도의 대비를 크게 하여 촬영을 하거나, 배경이 단순한 곳에서 피사체를 촬영하는 경우 아웃 포커싱 기법이나 영상처리에 의하지 않고도 피사체를 부각하여 촬영할 수 있다.

도 1 내지 도 3은 피사체와 주변 영역의 대비 정도 및 주변 영역의 에지에 따라 피사체가 얼마나 부각될 수 있는지 보여주는 예시도이다.

도 1 내지 도 3을 참조하면, 도 1의 경우 에지가 적은 단순한 배경에서 촬영한 (b)가 에지가 많은 복잡한 배경에서 촬영한 (a)에 비하여 피사체가 부각되는 것을 확인할 수 있다. 도 2의 경우, 명암의 대비가 큰 (a)가 명암 대비가 작은 (b)에 비하여 피사체가 부각된다. 도 3의 경우, 색상 및 채도의 대비가 큰 (b)가 색상 및 채도의 대비가 작은 (a)에 비하여 피사체가 부각된다.

즉, 배경과 피사체간의 시각적인 대비가 크면 피사체에 대한 주의력이 집중될 수 있다. 또한 배경이 복잡하면 주의력이 피사체에 집중되기 보다는 배경으로 분산되므로 단순한 배경에서 촬영하여 피사체를 부각할 수 있는 것이다.

본 발명은 피사체 부각 정보를 제공하는 방법 및 이를 위한 디지털 촬영 장치에 관한 것으로 보다 상세하게는 피사체와 배경간의 색상, 채도 및 명도의 대비 정보 및 배경의 복잡도를 고려하여 피사체의 부각 정보를 사용자에게 제공하여 사용자에게 촬영 구도를 가이드 하는 기술에 관한 것이다.

본 발명의 일 측면에 따르면, 입력 영상에 대하여 초점이 맞는 대상인 피사체를 확정하는 단계; 상기 피사체가 포함된 피사체 영역을 설정하고, 상기 피사체 영역 주위에 상기 피사체 영역의 부각 정보를 확인하기 위한 적어도 하나의 주변 영역을 설정하는 단계; 상기 피사체 영역과 상기 주변 영역의 색상, 채도 및 명도의 대비 정보를 도출하는 단계; 상기 주변 영역의 에지 정보를 도출하는 단계; 상기 대비 정보 또는 상기 에지 정보를 바탕으로 상기 피사체 영역에 포함된 상기 피사체의 부각 정보를 도출하는 단계; 및 도출된 상기 피사체의 부각 정보를 디스플레이부에 표시하는 단계; 를 포함하는 디지털 촬영 장치에서 피사체 부각 정보를 제공하는 방법을 제공한다.

여기서 상기 대비 정보를 도출하는 단계는 상기 피사체 영역의 영상 및 상기 주변 영역의 영상을 그레이 레벨의 색상, 명도 및 채도 채널 모드의 영상으로 변환하는 단계; 변환된 상기 영상에 대하여 색상, 명도 및 채도 채널 별 히스토그램 영상을 도출하는 단계; 도출된 상기 색상, 명도 및 채도 채널 별 히스토그램에 대하 여 대표 레벨 값을 도출하는 단계; 및 상기 색상, 명도 및 채도 채널 별로 상기 피사체 영역의 대표 레벨 값에 대하여, 상기 주변 영역의 대표 레벨 값을 대비하여 대비 정보를 얻는 단계; 를 포함할 수 있다.

여기서 상기 에지 정보를 도출하는 단계는 상기 주변 영역의 영상을 그레이 레벨의 색상, 명도 및 채도 모드의 영상으로 변환하는 단계; 변환된 상기 영상의 색상, 명도 또는 채도 중 어느 하나의 채널에 대한 에지 맵을 작성하는 단계; 작성된 상기 에지 맵을 기준값 이상의 밝기를 가진 픽셀과 기준값 미만의 밝기를 가진 픽셀로 이진화하여 에지 맵을 재구성하는 단계; 및 재구성된 상기 에지 맵에 표시된 기준값 이상의 밝기를 가진 픽셀의 개수에 대응하는 에지 정보를 확인하는 단계; 를 포함할 수 있다.

여기서 상기 주변 영역 및 상기 피사체 영역은 다각형으로 설정될 수 있으며, 상기 피사체 영역을 중심으로 상기 주변 영역이 가로, 세로, 대각선 방향으로 총 8개 설정될 수 있다.

여기서 상기 피사체의 부각 정보를 도출하는 단계는 상기 대비 정보 또는 상기 에지 정보를 기준 정보와 비교하여 피사체 부각 정보를 도출할 수 있다.

본 발명의 다른 측면에 의하면, 입력 영상에 대하여 초점이 맞는 피사체를 포함하는 피사체 영역을 설정하고, 상기 피사체 영역 주위에 적어도 하나의 주변 영역을 설정하는 영역 설정부; 상기 피사체 영역과 상기 주변 영역의 색상, 채도 및 명도의 대비 정보를 도출하는 대비 정보 도출부; 상기 주변 영역의 에지 정보를 도출하는 에지 정보 도출부; 및 상기 대비 정보 또는 에지 정보를 바탕으로 상기 피사체 영역에 포함된 상기 피사체의 부각 정보를 도출하는 피사체 부각 정보 도출부; 를 포함하는 피사체 부각 정보를 제공하는 디지털 촬영 장치를 개시한다.

여기서 상기 대비 정보 도출부는 상기 피사체 영역의 영상과 상기 주변 영역의 영상을 그레이 레벨의 색상, 명도, 채도 모드의 영상으로 변환하는 모드 변환부; 변환된 상기 영상에 대하여 각각 색상, 명도 및 채도 채널 별 히스토그램영상을 도출하는 히스토그램 생성부; 도출된 상기 색상, 명도 및 채도 채널 별 히스토그램에 대하여 대표 레벨 값을 도출하는 대표 레벨값 도출부; 및 상기 색상, 명도 및 채도 채널 별로 상기 피사체 영역의 대표 레벨값에 대하여 상기 주변 영역의 대표 레벨값을 대비하여 대비 정보를 얻는 대비부; 를 포함할 수 있다.

여기서 상기 에지 정보 도출부는 상기 주변 영역의 영상을 그레이 레벨의 색상, 명도 및 채도 채널 모드의 영상으로 변환하는 모드 변환부; 변환된 상기 영상의 색상, 명도 또는 채도 중 어느 하나의 채널에 대한 에지 맵을 작성하는 에지 맵 작성부; 작성된 상기 에지 맵을 기준값 이상의 밝기를 가진 픽셀과 기준값 미만의 밝기를 가진 픽셀로 이진화하여 에지 맵을 재구성하는 에지 맵 이진화부; 및 재구성된 상기 에지 맵에 표시된 기준값 이상의 밝기를 가진 픽셀의 개수에 대응하는 에지 정보를 확인하는 에지 확인부; 를 포함할 수 있다.

여기서 상기 피사체 부각 정보 도출부는 상기 대비 정보 또는 상기 에지 정보를 기준 정보와 비교하여 피사체 부각 정보를 도출할 수 있다.

여기서 도출된 상기 피사체의 부각 정보가 디스플레이부에 표시되도록 제어하는 표시 제어부; 를 더 포함할 수 있다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 발명의 실시예에 따르면 피사체의 부각 정보를 제공함으로써 사용자로 하여금 촬영 구도 설정을 가이드 할 수 있는 효과가 있다.

또한 사용자는 제공된 피사체의 부각 정도를 참고하여 원하는 만큼 피사체를 부각하여 촬영할 수 있어 사용자가 얻고자 하는 영상을 적은 횟수의 시도로 얻을 수 있는 특징이 있다.

본 발명에 관한 디지털 촬영 장치의 일 실시 예로서 디지털 카메라를 설명한다. 그러나 상기 디지털 촬영 장치가 디지털 카메라에 한정되는 것은 아니며, 디지털 영상 신호 처리부 및 촬상부가 장착된 카메라폰, 비디오 카메라 등의 디지털 액자 등의 디지털 기기에도 적용될 수 있다.

도 4는 본 발명의 일 실시 예에 따른 디지털 카메라의 구성을 나타낸 블럭도이다.

본 발명의 일 실시예에 따른 디지털 카메라는 촬상부(10), 조작부(20), 프로그램 저장부(30), 버퍼 저장부(40), 데이터 저장부(50), 디스플레이부(60), 및 디지털 신호 처리부(DSP, 100)를 포함할 수 있다.

촬상부(10)는 피사체로부터의 입력된 광학 신호를 광학부를 통하여 촬상 소자로 제공한다. 상기 광학부는 줌 렌즈 및 포커스 렌즈 등 적어도 하나의 렌즈를 포함할 수 있다. 또한, 상기 광학부는 광량을 조절하는 조리개를 더 포함할 수 있다. 상기 촬상소자는 상기 광학부를 투과한 광학 신호가 도달하여 피사체의 상을 결상하는 것으로 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor) 등을 사용할 수 있다.

조작부(20)는 사용자 등의 외부로부터의 제어 신호를 입력할 수 있는 곳이다. 상기 조작부(20)는 정해진 시간 동안 촬상 소자를 빛에 노출하여 사진을 촬영하는 셔터-릴리즈 신호를 입력하는 셔터-릴리즈 버튼, 전원을 공급하기 위해 입력하는 전원 버튼, 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 하는 광각-줌 버튼 및 망원-줌 버튼과, 문자 입력 또는 촬영 모드, 재생 모드 등의 모드 선택, 화이트 밸런스 설정 기능 선택, 노출 설정 기능 선택 등의 다양한 기능 버튼들이 있다. 조작부(20)는 상기와 같이 다양한 버튼의 형태를 가질 수도 있지만, 이에 한정되는 것은 아니며, 키보드, 터치 패드, 터치스크린, 원격 제어기 등과 같이 사용자가 입력할 수 있는 어떠한 형태로 구현되어도 무방하다.

또한, 상기 디지털 카메라는 상기 디지털 카메라를 구동하는 운영 시스템, 응용 시스템 등의 프로그램을 저장하는 프로그램 저장부(30), 연산 수행 중에 필요한 데이터 또는 결과 데이터들을 임시로 저장하는 버퍼 저장부(40), 영상 신호를 포함하는 이미지 파일을 비롯하여, 본 발명의 피사체 부각 정보를 도출하기 위한 기준 정보를 포함하여 다양한 정보들을 저장하는 데이터 저장부(50)를 포함한다.

디스플레이부(60)는 상기 디지털 카메라의 동작 상태 또는 촬영한 이미지 정보를 표시한다. 상기 디스플레이부(60)는 시각적인 정보 및/또는 청각적인 정보를 사용자에게 제공할 수 있다. 시각적인 정보를 제공하기 위해 상기 디스플레이부(60)는 예를 들면, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EDD) 등으로 이루어질 수 있다.

그리고 상기 디지털 카메라는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어하는 DSP(100)를 포함한다.

본 발명의 일 실시예에서, 사용자에게 피사체의 부각 정보를 제공하는 것은 DSP(100)에서 수행될 수 있다.

도 4를 참조하면 본 발명의 일 실시 예에 의한 DSP(100)는 영역 설정부(110), 대비 정보 도출부(120), 에지 정보 도출부(130) 및 피사체 부각 정보 도출부(140)을 포함할 수 있다.

영역 설정부(110)는 촬상 소자로부터 받은 입력 영상에 대하여 피사체 영역과 주변 영역을 설정한다. 피사체 영역은 사용자가 초점을 맞추고자 하는 피사체가 포함된 영역이다. 주변 영역은 피사체 주위의 배경 등을 포함하는 영역이며, 피사체 영역 주위에 소정의 개수로 설정될 수 있다.

여기서, 피사체 영역 및 주변 영역은 일정한 크기 및 형태의 블록으로 설정될 수 있으며, 예를 들어 32×32, 64×64 픽셀 크기의 블록으로 설정될 수 있다. 또한 상기 영역 설정부(110)는 마스크(mask), 커넬(kernel), 윈도우(window)를 이용하여 피사체 영역 및 주변 영역을 결정할 수도 있다. 예를 들어 도 9, 도 13, 도 17 및 도 21에서 나타난 바와 같이 상기 피사체 영역에 해당하는 정사각형 블록이 중심에 위치하고 주변 영역은 피사체 영역의 가로, 세로, 대각선 방향에 8개의 정사각형 블록으로 설정될 수 있다.

대비 정보 도출부(120)는 피사체 영역에 포함된 영상과 주변 영역에 포함된 영상의 색상, 채도 및 명도를 대비한 정보를 도출한다. 이와 같은 대비 정보는 피사체 영역의 영상이 주변 영역에 비하여 어느 정도 대비되는지 색상, 채도 및 명도 별로 확인할 수 있게 한다. 일 실시 예로, 피사체 영역의 색상(H; Hue), 채도(S; Saturation) 및 명도(I; Intensity) 채널 별 히스토그램에서의 대표 레벨값과 주변 영역의 색상, 채도 및 명도 채널 별 히스토그램에서의 대표 레벨값을 각 채널 별로 대비한 값을 대비 정보로 할 수 있다. 대비 정보 도출부(120)의 자세한 구성은 이하 도 5를 참조하여 자세히 설명하기로 한다.

에지 정보 도출부(130)는 주변 영역에 포함된 영상이 얼마나 복잡한지를 확인하기 위하여 에지 정보를 도출한다. 예를 들어 주변 영역의 에지를 검출하여 에지 맵을 작성한 다음, 일정한 기준값 이상의 밝기를 가진 픽셀과 기준값 미만의 밝기를 가진 픽셀로 이진화하여 에지 맵을 재작성한다. 이렇게 재작성된 에지 맵에 표시된 기준값 이상의 밝기를 가진 픽셀의 개수를 확인한다. 일 실시예로 에지 정보는 상기 이렇게 얻은 주변 영역의 기준값 이상의 밝기를 가진 픽셀 개수일 수 있다. 에지 정보 도출부(130)의 자세한 구성은 이하 도 7을 참조하여 자세히 설명하기로 한다.

피사체 부각 정보 도출부(140)는 상기 대비 정보 도출부(120)에서 얻은 영역의 대비 정보와 에지 정보 도출부(130)에서 얻은 주변 영역의 에지 정보를 통하 여 피사체의 부각 정보를 도출한다. 여기서 대비 정보 또는 에지 정보 중 어느 하나 만을 이용하여 피사체의 부각 정보를 도출할 수 있다.

피사체의 부각 정보는 기준 정보와 상기 대비 정보 또는 에지 정보를 비교하여 도출할 수 있다. 기준 정보는 특정 대비 정보에 대한 소정 수치의 피사체 부각 정보가 대응하는 내용 및 특정 에지 정보에 대한 소정 수치의 피사체 부각 정보가 대응하는 내용을 포함하는 테이블일 수 있다. 또한 이와 같은 대응관계는 응용 프로그램 또는 알고리즘으로 구성될 수 있다.

피사체 부각 정보를 도출할 때에는 사용자의 선택에 따라 대비 정보 또는 에지 정보에 가중치를 둘 수 있다. 예를 들어 대비 정보가 피사체 부각 정도에 큰 영향을 미친다고 보는 경우, 피사체 부각 정보 도출부(140)에서는 대비 정보에 1.5배 또는 2배의 가중치를 두어 피사체의 부각 정보를 도출할 수 있다.

상기 피사체 부각 정보 도출부(140)에서 얻은 피사체 부각 정보는 수치 값으로 표현될 수도 있고, 강-중-약 등의 단계적 값으로 표현될 수도 있다. 또한 피사체 부각 유/무로 표시될 수도 있다.

이 밖에도 DSP(100)는 표시 제어부(미도시)를 더 포함할 수도 있다. 상기 피사체 부각 정보는 상기 표시 제어부의 제어 하에 촬영 모드에서 사용자가 시각적, 청각적으로 인식할 수 있게 디스플레이부(60)에 표시될 수 있다.

상술한 대비 정보 도출부(120) 및 에지 정보 도출부(130)는 이하 도 5 및 도 7에서 구체적으로 설명한다.

도 5는 본 발명의 일 실시 예에 관한 대비 정보 도출부(120)를 보다 구체적 으로 나타낸 블록도이다.

도 5를 참조하면, 상기 제1정보 도출부(120)는 모드 변환부(121), 히스토그램 생성부(122), 대표 레벨값 도출부(123) 및 대비부(124)를 포함할 수 있다.

모드 변환부(121)는 RGB 모드로 표현된 피사체 영역과 주변 영역을 그레이 레벨의 색상 채널, 채도 채널 및 명도 채널을 가진 HSI(Hue, Saturation, Intensity) 모드로 변환한다. 하기 수학식 1은 RGB 모드로부터 명도(I; Intensity)를 산출하는 식이고, 수학식 2는 RGB 모드로부터 채도(S; Saturation)를 산출하는 식이며, 수학식 3은 RGB 모드로부터 색상 (H; Hue)을 산출하는 식이다.

이와 같이 변환된 HSI 모드에서의 색 좌표는 도 7에 도시된 바와 같이 수직방향의 I 채널과 원형 평면 위의 S 채널 및 H 채널로 나타낼 수 있다.

도 7의 색 좌표에서 I 채널의 높이 값에 따라 하얀색 또는 검정색까지의 명암 변화를 알 수 있고, S 채널의 원형 평면에서 반지름의 길이에 따라 색의 순도를 알 수 있다. 또한 H 채널의 원형 평면에서 각도에 따라 빨강, 노랑, 파랑, 초록 등의 색상을 알 수 있다.

도 7의 색 좌표는 I 채널, S 채널의 경우 명암 및 색 순도의 범위를 0.0~1.0의 값으로 나타내고 H 채널의 경우 색상의 범위를 0도~360도 사이의 각도 값으로 나타낸다. 예를 들어 두 픽셀의 색상, 채도 및 명도 대비 정보를 확인할 때, I 채널은 두 픽셀의 채널 값의 차이가 클수록 명암 대비가 큰 것이며, S 채널은 두 픽셀의 채널 값의 합이 클수록 채도 대비가 크다. 또한 H 채널은 두 픽셀의 채널 값의 각도가 180도에 가까운 경우 색상 대비가 큰 것이다. 도 7의 색 좌표를 그레이 레벨로 샘플링하면, 크기나 각도가 0~255의 범위 값을 가진 256단계로 표현할 수 있다. 이 경우에도 I 채널은 두 픽셀의 채널값의 차이가 클수록 명암대비가 큰 것이며, S 채널은 두 픽셀의 채널 값의 합이 클수록 채도 대비가 크다. 또한 H 채널은 두 픽셀의 채널 값의 차이가 128에 가까운 경우 색상 대비가 큰 것이다.

이와 같은 그레이 레벨의 HSI 모드 색좌표의 성질을 바탕으로 피사체 영역과 주변 영역의 색상, 명도 및 채도 대비 정보를 파악할 수 있다.

히스토그램 생성부(122)는 그레이 레벨의 HSI 모드로 변환된 피사체 영역과 주변 영역에 대하여 색상, 채도 및 명도 채널 별로 히스토그램 영상을 도출한다.

일반적으로 히스토그램은 영상 안에서 픽셀들에 대한 밝기 값의 분포를 나타낸 것으로, 밝은 픽셀과 어두운 픽셀이 분포할 때 그 범위와 값을 표현한 것으 로, 이것을 그래프로 나타낸 것을 히스토그램 그래프 또는 히스토그램 영상이라고 하며, 예를 들면 256 그레이 레벨 영상에서 밝기 값의 범위는 0 내지 255의 값을 갖고, 각 밝기 값, 즉 레벨의 빈도수가 그래프의 높이로 나타낸다. 히스토그램은 영상의 많은 정보를 갖고 있으며, 다양한 영상 처리에 이용된다. 또한, 본 발명의 바람직한 실시 예에서, 히스토그램을 분석하여 주변 영역에 대한 피사체 영역의 대비 정보를 알 수 있다.

대표 레벨값 추출부(123)는 생성된 히스토그램에 대한 대표 레벨값을 도출한다. 각 채널 별로 주변 영역에 대하여 피사체 영역이 얼마나 대비되는지 파악하기 위한 대표값을 도출하는 과정이다.

대표 레벨값을 정하는 방법은 다양하다. 예를 들어 대표 레벨값은 히스토그램 영상의 최대 피크에 해당하는 레벨값이 지정될 수도 있고, 피크를 결정하기 어려운 경우에는 평균 픽셀의 빈도수에 해당하는 레벨값을 지정할 수도 있다.

대비부(124)는 피사체 영역의 채널 별 대표 레벨값과 주변 영역의 채널 별 대표 레벨값을 비교하여, 각 H, S, I 채널 별로 대표 레벨값의 차이를 도출한다.

대비부(124)에서는 이와 같은 채널 별 대표 레벨값의 차이를 종합하여 피사체 부각 정보 도출부(140)에 제공함으로써, 피사체 영역과 주변 영역의 색상, 채도 및 명도의 대비 정보를 이용하여 피사체 부각 정보를 파악할 수 있게 한다.

도 7은 본 발명의 일 실시 예에 관한 에지 정보 도출부(130)를 보다 구체적으로 나타낸 블록도이다.

도 7을 참조하면, 상기 에지 정보 도출부(130)는 모드 변환부(131), 에지 맵 작성부(132), 에지 맵 이진화부(133) 및 에지 확인부(134)를 포함할 수 있다.

모드 변환부(131)는 RGB 모드로 표현된 주변 영역의 영상을 HSI 모드로 변환한다. 바람직하게는 주변 영역의 영상을 그레이 레벨의 HSI 모드로 변환할 수 있다. 자세한 내용은 도 5의 모드 변환부(121)에서 기술하였으므로 생략한다.

에지 맵 작성부(132)는 모드 변환부(131)에서 그레이 레벨의 HSI 모드로 변환된 주변 영역의 I 채널의 영상으로부터 에지 성분을 포함한 픽셀을 표시하여 에지 맵을 작성한다. 여기서 에지 맵을 작성하는 영상은 I 채널의 영상으로 한정되는 것은 아니며, H 채널이나, S 채널의 영상으로 에지 맵을 작성하여도 무방하다.

영상에서 에지(edge)란 영상 안의 영역의 경계를 나타내며 픽셀 밝기의 불연속점을 나타낸다. 즉 물체와 배경과의 경계를 사이에 두고 밝기 차가 나타난다. 이것은 물체의 윤곽에 대응되고 물체의 위치, 모양, 크기 등의 많은 정보를 준다. 에지에 해당하는 픽셀을 검출하는 것을 에지 검출(edge detection)이라고 하며, 이렇게 검출된 에지 들로 표현된 영상을 에지 맵(edge map)이라고 한다. 에지를 검출하기 위해서는 수학적으로 편미분 연산자 계산을 통해 수행한다. 1차 미분 값의 크기는 영상에서 에지의 존재 여부를 나타내고, 2차 미분 값의 부호는 픽셀의 밝고 어두운 부분의 위치를 나타낸다. 예를 들어 라플라시안 3×3 마스크를 이용하여 에지 픽셀을 검출할 수 있다. 하지만, 이에 한정되지 않고 에지 검출 필터나 다른 미분 연산자를 이용해서 에지 픽셀을 검출할 수 있음은 물론이다.

에지 맵 이진화부(133)는 기준값을 통하여 에지 맵의 픽셀들을 두 그룹으로 나누어 이진화된 에지 맵으로 재구성한다. 즉 상기 에지맵 작성부(132)에서 작성된 에지 맵에서 기준값 이상의 밝기를 가진 픽셀과 기준값 미만의 밝기를 가진 픽셀을 나누어 이진화한다. 그 다음, 이를 반영하여 이진화된 에지 맵을 다시 작성한다. 예를 들어 기준값 이상의 밝기를 가진 픽셀은 흰색으로 표시하고, 기준값 미만의 밝기를 가진 픽셀은 검정색으로 표시하여 에지 맵을 이진화할 수 있다. 이 과정을 통하여 에지가 기준값보다 큰 픽셀만을 선별할 수 있다. 이와 같은 과정은 주변 영역의 에지 정보를 도출할 때 밝기가 기준값보다 작아서 무시할 수 있는 에지를 표현하는 픽셀은 필터링하는 과정에 해당한다.

여기서 기준값은 주변 영역의 복잡한 정도를 사용자가 판단하는 과정에서 주변 영역의 복잡도에 큰 영향을 주지 않는다고 판단되는 에지에 해당하는 픽셀의 밝기 정보이며, 임의로 설정할 수 있는 값이다.

에지 확인부(134)는 상기 에지 맵 이진화부(133)에서 기준값 이상의 밝기를 가진 픽셀의 개수를 확인함으로써, 주변 영역의 에지 정보를 도출한다. 에지 확인부(134)에서는 이와 같이 에지 정보에 대응하는 픽셀의 개수를 피사체 부각 정보 도출부(140)에 제공함으로써, 에지 정보를 이용하여 피사체 부각 정보를 파악할 수 있게 한다.

도 8은 본 발명에 관한 디지털 촬영 장치에서 피사체의 부각 정보를 제공하는 방법의 예를 설명하기 위한 순서도이다. 본 발명을 쉽게 이해하기 위하여 도 9 내지 도 12을 참조하여 도 8을 설명한다. 그러나 본 발명이 도 9 내지 도 12의 예시에 한정되지 않으며 다양하게 변경되어 실시될 수 있음을 기억해야 한다.

촬영 모드에 진입하여(S801), 피사체 부각 정보를 제공하는 모드가 선택된 다.(S802)

다음으로 피사체를 확정한다.(S803) 예를 들어 촬영 모드에서 반셔터를 눌러 초점이 맞는 대상을 피사체로 확정할 수 있다. 그 외에도 얼굴 검출 또는 움직임 검출 모드에서는 얼굴 또는 움직임 대상에 초점이 맞춰지는데 이 대상을 피사체로 확정할 수 있다. 그 외에도 터치 스크린 상에서 원하는 대상을 터치함으로써 터치된 대상에 초점을 맞추어 피사체로 확정할 수도 있다.

피사체가 확정되면 피사체 영역과 피사체 영역 주위의 적어도 하나의 영역인 주변 영역을 설정한다.(S804)

도 9를 참조하면, 사람의 얼굴을 피사체로 확정하였으므로, 얼굴을 포함하는 1블록을 피사체 영역으로 설정한다. 주변 영역은 피사체 영역의 부각 정도를 대비하기 위한 영역으로 피사체 영역과 이웃하게 복수개 설정할 수 있으며 임의로 정할 수 있는 영역이다. 도 9에서는 2블록 내지 9블록이 주변영역에 해당하며, 1블록을 중심으로 가로, 세로, 대각선 방향으로 총 8개 설정되었다.

다음으로 피사체 영역과 주변 영역 사이의 색상, 채도 및 명도에 대한 대비 정보를 도출한다. (S805)

도 10을 참조하면, 먼저 RGB 모드로 표현된 피사체 영역과 주변 영역을 그레이 레벨의 HSI 모드로 변환한다. HSI 모드란 HSI 색좌표를 통하여 색상, 채도, 명도 채널에 해당하는 값을 기준으로 영상을 표현한 것으로, 공지된 수학식을 통하여 변경할 수 있다. 도 10에서는 그레이 레벨의 HSI 모드를 나타낸 것이며, 여기서 그레이 레벨이란 HSI 색좌표에서 각 채널을 0~255 값으로 샘플링하여 표현한 것이 다.

다음으로 도 11과 같이 모드가 변환된 영상의 색상(H), 채도(S), 명도(I) 채널 별 히스토그램 영상을 생성한다. 그리고 각 채널 별 히스토그램 영상에 대한 대표 레벨값을 도출한다. 예를 들어 도 11의 1번 블록의 S 채널의 경우 최대 피크값에 해당하는 밝기 레벨을 대표 레벨값으로 설정할 수 있다. 또한 1번 블록의 I 채널의 경우 평균 픽셀 빈도수에 대응하는 밝기 레벨을 대표 레벨값으로 설정할 수 있다. 이와 같이 도 11에 개시된 피사체 영역, 주변 영역에 대한 각 채널 별 히스토그램 영상마다 대표 레벨값을 설정한다.

다음으로 피사체 영역(블록1)에서 도출된 대표 레벨값과 복수개의 주변 영역(블록 2 내지 블록9)에서 도출된 대표 레벨값을 대비한다. 이와 같이 각 채널별 피사체 영역과 주변 영역의 대표 레벨값의 차이값을 대비 정보로 할 수 있다.

도 11을 참고하여 대비 정보를 얻는 과정을 설명하면 다음과 같다. H 채널의 1블록의 대표 레벨값과 2블록의 대표 레벨값을 비교하여 레벨값의 차이를 얻고, H 채널의 1블록의 대표 레벨값과 3블록의 대표 레벨값을 비교하여 레벨값의 차이를 얻는데 각 채널 별로 피사체 영역과 주변 영역을 대비하는 이와 같은 과정을 반복한다. 피사체 영역에 대하여 복수개의 주변 영역을 대비할 때는 상술한 바와 같이 피사체 영역의 대표 레벨값과 복수개의 주변 영역의 대표 레벨값을 반복적으로 비교하여 얻은 복수개의 대표 레벨값 차이를 평균한 값을 대비 정보로 할 수 있다. 그러나 다른 실시 예로 주변 영역 중 임의의 기준에 의하여 하나의 주변 영역을 도출하고 상기 도출된 하나의 주변 영역의 대표 레벨값과 피사체 영역의 대표 레벨값 을 비교한 차이값을 대비 정보로 할 수 있다.

주변 영역의 에지 정보를 도출한다.(S806)

먼저 RGB 모드로 표현된 주변 영역의 영상을 HSI 모드로 변환한다. 바람직하게는 주변 영역의 영상을 그레이 레벨의 HSI 모드로 변환할 수 있다.

다음으로 변환된 영상 중 색상, 채도 또는 명도 채널 중 어느 하나의 채널로 표현된 영상에 대하여 에지 맵을 작성한다. 그리고 작성된 에지 맵을 구성하는 픽셀을 기준값 이상의 밝기를 가진 픽셀과 기준값 미만의 밝기를 가진 픽셀로 이진화한 다음, 이를 반영하여 이진화된 에지 맵을 다시 작성한다. 도 12는 주변 영역(블록 2 내지 블록9) 그레이 레벨의 I 채널에 대하여 이진화된 에지 맵을 작성한 결과를 나타낸 것이다. 그레이 레벨의 I 채널 에지 맵에 대하여 기준값 미만의 밝기를 가진 픽셀은 검정으로 표현하고, 기준값 이상의 밝기를 가진 픽셀은 흰색으로 표현하였다.

다음으로 이진화된 에지 맵에서 기준값 이상의 밝기를 가진 픽셀의 개수를 확인한다. 이렇게 얻은 픽셀의 개수는 에지 정보에 해당한다. 도 12와 같이 복수 개의 주변 영역이 있는 경우, 주변 영역에 포함된 일정 밝기 이상의 픽셀의 개수를 평균하여 본 발명의 에지 정보에 해당하는 픽셀의 개수로 할 수 있다. 하지만 이에 한정되지 않고, 복수개의 주변 영역 중 몇 개를 선별하고 선별된 주변 영여게 포함된 일정 밝기 이상의 픽셀의 개수를 평균한 값을 에지 정보로 할 수도 있다.

S805 및 S806 단계에서 얻은 대비 정보와 에지 정보를 통하여 피사체의 부각 정보를 도출한다.(S807)

일 실시 예로 대비 정보와 에지 정보를 기준 정보와 비교하여 피사체의 부각 정보를 도출할 수 있다. 상기 기준 정보는 테이블로 구성될 수 있는데, 대비 정보가 임의의 기준 정보 범위 내에 있는 경우 파사체의 부각 정도는 얼마로 할 것인지, 에지 정보가 임의의 기준 정보 범위 내에 있는 경우 피사체의 부각 정도는 얼마로 할 것인지에 대한 대응 관계가 다양하게 개시되어 있을 수 있다. 이와 같이 대비 정보와 에지 정보를 기준 정보와 비교하여 피사체의 부각 정보를 도출하는 과정은 응용 프로그램 또는 알고리즘으로 구현될 수 있다.

예를 들어 대비 정보에 해당하는 명도 채널 대표 레벨값의 차이는 20이고, 채도 채널의 대표 레벨값의 차이는 10이며, 색상 채널의 대표 레벨값의 차이는 2라고 가정한다. 또한 에지 정보에 해당하는 기준 밝기값 이상의 픽셀의 개수는 200개 라고 가정한다. 이 경우 기준 정보에서 대표 레벨값의 차이가 5이하인 경우 피사체의 부각 정도가 20%, 5-15인 경우 40%, 15-25인 경우 60%라고 가정하고, 픽셀의 개수가 150-250 사이인 경우 피사에의 부각 정도가 30%라고 가정하자. 따라서 이 경우는 대비 정보에 의한 피사체의 부각 정도가 명도 60%, 채도 40%, 색상 20%이고, 에지 정보에 의한 피사체의 부각 정도가 30%이다. 따라서 최종적인 피사체의 부각 정도는 상기 정보들의 평균값을 이용하여 도출할 수 있다. 하지만 이와 같이 피사체의 부각 정도를 계산하는 방법은 기준 정보에 의하는 것만 만족하면 되고, 상술한 예에 한정되지 않는다.

피사체 부각 정보를 도출할 때에는 영역의 대비 정보 또는 에지 정보에 가중치를 둘 수 있다. 예를 들어 영역의 대비정보가 피사체 부각 정도에 큰 영향을 미친다고 보는 경우 영역의 대비 정보에 1.5배 또는 2배의 가중치를 둘 수 있다.

마지막으로 디스플레이부(60)에 피사체의 부각 정보가 표시된다. (S808) 부각 정보는 수치값으로 표시되거나, 강-중-약 등의 단계적 언어로 표현할 수도 있다.

사용자는 표시된 피사체의 부각 정보를 참조하여 촬영을 계속 진행할 수 있다. (S809) 만약 피사체가 부각되는 정도가 사용자가 원하는 수준이 아닌 경우, 피사체와 색상, 채도 또는 명도의 대비가 큰 배경으로 위치를 바꾸거나 에지가 적은 단순한 배경으로 바꾸어 촬영을 진행할 수 있다.

도 9 내지 도 24는 본 발명에 의한 피사체 부각 정보를 제공하는 방법의 구체적인 실시 예을 나타낸 것이며, 상기 도 8에서 도 9 내지 도 12(이하, 제1실시예)에 관하여 자세히 설명하였다. 또한 상기 도 13 내지 도 16(이하, 제 2실시예), 도 17 내지 도 20 (이하, 제3실시예) 및 도 21 내지 도 24(제4 실시 예)는 제 1실시 예에서 설명한 바와 같이 피사체의 부각 정보를 알아보는 과정은 동일하다. 따라서 여기서는 과정에 대한 설명은 생략하고 결과만 보기로 한다

도 9 내지 도 12는 제1실시 예로 피사체와 주변 영역의 색상, 명도 및 채도 대비가 좋지 않으나, 주변 영역의 복잡도는 낮아 에지가 적은 영상에서 피사체의 부각 정도를 알아보는 과정을 순서대로 나타낸 것이다.

도 13 내지 도 16는 제2실시 예로 피사체와 주변 영역의 색상, 명도 및 채도 대비가 좋지 않고, 주변 영역의 복잡도가 높아 에지가 많은 영상에서 피사체의 부각 정도를 알아보는 과정을 순서대로 나타낸 것이다.

도 17 내지 도 20은 제3실시 예로 피사체와 주변 영역의 색상, 명도 및 채도 대비가 좋고, 주변 영역의 복잡도가 높지 않아 에지가 적은 영상에서 피사체의 부각 정도를 알아보는 과정을 순서대로 나타낸 것이다.

도 21 내지 도 24는 제4실시 예로 피사체와 주변 영역의 색상, 명도 및 채도 대비가 좋으나, 주변 영역의 복잡도가 높아 에지가 많은 영상에서 피사체의 부각 정보를 알아보는 과정을 순서대로 나타낸 것이다.

이와 같은 총 4가지 실시 예의 과정을 통하여 얻은 피사체 영역과 주변 영역의 색상, 채도 및 명도의 대비 정보 및 주변 영역의 에지 정보를 종합하여 피사체의 부각 정보를 파악할 수 있다. 이 때, 대비 정보 또는 에지 정보에 가중치를 두어 피사체의 부각 정보를 파악할 수 있다.

예를 들어 주변 영역의 에지 정보가 피사체의 부각 정도에 가장 큰 영향을 미친다고 보는 경우가 있다고 한다. 이 경우 에지 정보에 가중치를 주며 제2실시 예 또는 제4 실시 예의 영상이 피사체의 부각 정도가 현저히 낮은 결과를 얻을 것이다. 또한 피사체 영역과 주변 영역의 색상, 명도, 채도의 대비 정도가 작은 경우 피사체의 부각 정도가 가장 좋지 않다고 보는 경우를 가정하자. 이 경우 대비 정보에 가중치를 두며 제1실시 예의 영상 또는 제2 실시 예의 영상이 피사체의 부각 정도가 현저히 낮다고 계산된 결과를 얻을 것이다.

한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한 다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.

도 1 내지 도 3은 피사체와 주변 영역의 대비 정도 및 주변 영역의 복잡도에 따라 피사체가 얼마나 부각될 수 있는지 보여주는 예시도이다.

도 4는 본 발명에 관한 디지털 카메라의 일 실시예를 나타낸 블록도이다.

도 5는 도 4에 도시된 디지털 카메라의 DSP의 일부를 나타낸 블록도이다.

도 6은 HSI 모드의 색좌표를 나타낸 설명도이다.

도 7은 도 4에 도시된 디지털 카메라의 DSP의 다른 일부를 나타낸 블록도이다.

도 8은 본 발명에 관한 피사체의 부각 정보를 제공하는 방법을 나타낸 흐름도이다.

도 9 내지 도 24는 본 발명에 의한 피사체 부각 정보를 제공하는 방법의 구체적인 실시 예를 나타낸 설명도이다.

Claims (10)

1. 입력 영상에 대하여 초점이 맞는 대상인 피사체를 확정하는 단계;

   상기 피사체가 포함된 피사체 영역을 설정하고, 상기 피사체 영역 주위에 상기 피사체 영역의 부각 정보를 확인하기 위한 적어도 하나의 주변 영역을 설정하는 단계;

   상기 피사체 영역과 상기 주변 영역의 색상, 채도 및 명도의 대비 정보를 도출하는 단계;

   상기 주변 영역의 에지 정보를 도출하는 단계;

   상기 대비 정보 또는 상기 에지 정보를 바탕으로 상기 피사체 영역에 포함된 상기 피사체의 부각 정보를 도출하는 단계; 및

   도출된 상기 피사체의 부각 정보를 디스플레이부에 표시하는 단계;

   를 포함하는 디지털 촬영 장치에서 피사체 부각 정보를 제공하는 방법.
2. 제1항에 있어서

   상기 대비 정보를 도출하는 단계는

   상기 피사체 영역의 영상 및 상기 주변 영역의 영상을 그레이 레벨의 색상, 명도 및 채도 채널 모드의 영상으로 변환하는 단계;

   변환된 상기 영상에 대하여 색상, 명도 및 채도 채널 별 히스토그램 영상을 도출하는 단계;

   도출된 상기 색상, 명도 및 채도 채널 별 히스토그램에 대하여 대표 레벨 값을 도출하는 단계; 및

   상기 색상, 명도 및 채도 채널 별로 상기 피사체 영역의 대표 레벨 값에 대한 상기 주변 영역의 대표 레벨 값의 차이에 대응하는 대비 정보를 얻는 단계;

   를 포함하는 디지털 촬영 장치에서 피사체 부각 정보를 제공하는 방법.
3. 제1항에 있어서

   상기 에지 정보를 도출하는 단계는

   상기 주변 영역의 영상을 그레이 레벨의 색상, 명도 및 채도 모드의 영상으로 변환하는 단계;

   변환된 상기 영상의 색상, 명도 또는 채도 중 어느 하나의 채널에 대한 에지 맵을 작성하는 단계;

   작성된 상기 에지 맵에 대하여 기준값 이상의 밝기를 가진 픽셀과 기준값 미만의 밝기를 가진 픽셀로 이진화하여 에지 맵을 재구성하는 단계; 및

   재구성된 상기 에지 맵에 표시된 기준값 이상의 밝기를 가진 픽셀의 개수에 대응하는 에지 정보를 확인하는 단계;

   를 포함하는 디지털 촬영 장치에서 피사체 부각 정보를 제공하는 방법.
4. 제1항에 있어서

   상기 주변 영역 및 상기 피사체 영역은 다각형으로 설정될 수 있으며,

   상기 피사체 영역을 중심으로 상기 주변 영역이 가로, 세로, 대각선 방향으로 총 8개 설정되는 디지털 촬영 장치에서 피사체 부각 정보를 제공하는 방법.
5. 제1항에 있어서

   상기 피사체의 부각 정보를 도출하는 단계는

   상기 대비 정보 또는 상기 에지 정보를 기준 정보와 비교하여 피사체 부각 정보를 도출하는 디지털 촬영 장치에서 피사체 부각 정보를 제공하는 방법.
6. 입력 영상에 대하여 초점이 맞는 피사체를 포함하는 피사체 영역을 설정하고, 상기 피사체 영역 주위에 적어도 하나의 주변 영역을 설정하는 영역 설정부;

   상기 피사체 영역과 상기 주변 영역의 색상, 채도 및 명도의 대비 정보를 도출하는 대비 정보 도출부;

   상기 주변 영역의 에지 정보를 도출하는 에지 정보 도출부; 및

   상기 대비 정보 또는 에지 정보를 바탕으로 상기 피사체 영역에 포함된 상기 피사체의 부각 정보를 도출하는 피사체 부각 정보 도출부;

   를 포함하는 피사체 부각 정보를 제공하는 디지털 촬영 장치.
7. 제6항에 있어서

   상기 대비 정보 도출부는

   상기 피사체 영역의 영상과 상기 주변 영역의 영상을 그레이 레벨의 색상, 명도, 채도 모드의 영상으로 변환하는 모드 변환부;

   변환된 상기 영상에 대하여 각각 색상, 명도 및 채도 채널 별 히스토그램영상을 도출하는 히스토그램 생성부;

   도출된 상기 색상, 명도 및 채도 채널 별 히스토그램에 대하여 대표 레벨 값을 도출하는 대표 레벨값 도출부; 및

   상기 색상, 명도 및 채도 채널 별로 상기 피사체 영역의 대표 레벨값에 대한 상기 주변 영역의 대표 레벨값의 차이에 대응하는 대비 정보를 얻는 영역 대비부;

   를 포함하는 피사체 부각 정보를 제공하는 디지털 촬영 장치.
8. 제6항에 있어서

   상기 에지 정보 도출부는

   상기 주변 영역의 영상을 그레이 레벨의 색상, 명도 및 채도 채널 모드의 영상으로 변환하는 모드 변환부;

   변환된 상기 영상의 색상, 명도 또는 채도 중 어느 하나의 채널에 대한 에지 맵을 작성하는 에지 맵 작성부;

   작성된 상기 에지 맵에 대하여 기준값 이상의 밝기를 가진 픽셀과 기준값 미만의 밝기를 가진 픽셀로 이진화하여 에지 맵을 재구성하는 에지 맵 이진화부; 및

   재구성된 상기 에지 맵에 표시된 기준값 이상의 밝기를 가진 픽셀의 개수에 대응하는 에지 정보를 도출하는 에지 확인부;

   를 포함하는 피사체 부각 정보를 제공하는 디지털 촬영 장치.
9. 제6항에 있어서

   상기 피사체 부각 정보 도출부는

   상기 대비 정보 또는 상기 에지 정보를 기준 정보와 비교하여 피사체 부각 정보를 도출하는 피사체 부각 정보를 제공하는 디지털 촬영 장치.
10. 제6항에 있어서

    도출된 상기 피사체의 부각 정보가 디스플레이부에 표시되도록 제어하는 표시 제어부; 를 더 포함하는 피사체 부각 정보를 제공하는 디지털 촬영 장치.

Images