KR101605769B1 - 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치 - Google Patents

Abstract

본 발명은 영상 처리 방법 및 장치에 관한 것으로, 본 발명의 일 실시 예에 따른 영상 처리 방법은 동일한 이미지 상에 나타나는 크고 작은 얼굴들, 촬영 거리의 차이가 나는 얼굴들을 동일한 보정 픽셀 수로 블러하지 않고, 각각의 얼굴의 촬영 거리별로, 얼굴 크기 별로 보정 픽셀 수를 다르게 설정하여 블러함으로써 얼굴 크기와 촬영 거리를 고려하여 블러 레벨을 다르게 설정할 수 있다.

얼굴, 보정 픽셀, 크기, 블러

Description

영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치{Image processing method and apparatus, and digital photographing apparatus using thereof}

본 발명은 영상 처리에 관한 것으로, 더 상세하게는 이미지 촬영시 얼굴 부분의 화질을 부드럽고 소프트하게 처리할 수 있는 영상 처리 방법 및 장치에 관한 것이다.

최근, 디지털 카메라로 얼굴 등의 객체를 검출하고, 객체의 검출 결과에 따라 영상을 처리하는 기술들, 예를 들면 얼굴 부분을 화사하게 처리하거나 피사체의 밝기에 따라 화이트 밸런스를 조정하거나 피사체의 밝기에 따라 플래시 발광을 제어하는 기술들이 개발되고 있다.

한편, 디지털 카메라의 사용자들은 촬영한 사진이 좀 더 예쁘고 화사하게 나왔으면 하는 욕구가 강하다. 이러한 사용자들은 포토샵과 같은 이미지 편집 프로그램을 이용하여 디지털 카메라에 저장한 사진을 PC로 옮겨서 사진편집을 해야만 하는 불편함이 있다.

이러한 사용자의 니즈에 따라, 최근 출시되고 있는 디지털 카메라에는 촬영한 인물 사진이 화사하게 나오게 하는 효과, 소위 "화사 모드"라는 기능을 탑재하 고 있다. 이러한 "화사 모드"를 설정하고 인물을 촬영한 경우에는 전체적으로 밝고 화사한 분위기의 사진을 얻을 수 있으며, 특히 얼굴의 피부를 부드럽고 소프트하게 처리해준다.

하지만, 촬영한 인물 사진이 화사하게 나오는 효과를 주는 기술들은 영상에서 인식한 모든 인물들에 대해 동일한 강도로 영상 처리를 한다. 이 경우, 이미지 전체에서 찾은 보정 대상, 즉 인물의 피부색 영역을 같은 사이즈의 윈도우로 피부색을 보정하였다. 따라서, 큰 얼굴과 작은 얼굴, 즉 크기의 차이가 나는 얼굴들이 동일한 이미지 상에 나타날 경우 동일한 영상 처리 강도, 예를 들면 동일한 윈도우 크기내의 주변 픽셀들을 평균함으로써 작은 얼굴에서는 얼굴이 뭉게지는 현상이 발생하였다. 또한, 초점이 맞은 얼굴과 그렇지 않은 얼굴을 동일한 영상 처리 강도로 처리함으로써 초점이 맞지 않은 얼굴은 더 흐릿한 결과가 나타나는 문제점이 있었다.

본 발명은 상기 종래기술의 문제점을 해결하기 위해 안출된 것으로, 동일한 이미지 상에 나타나는 크고 작은 얼굴들, 초점 거리의 차이가 나는 얼굴들 에 동일한 블러 효과를 주지않고, 각각의 얼굴의 크기 별로, 촬영 거리별로 보정 효과 또는 블러 효과를 다르할 수 있는 영상 처리 방법 및 장치를 제공하는 데 목적이 있다.

또한, 이를 이용한 디지털 촬영 장치를 제공하는 데 다른 목적이 있다.

상기 기술적 과제를 달성하기 위한, 본 발명의 일 실시 예에 따른 영상 처리 방법은 입력 영상에서 2 이상의 얼굴 영역들을 검출하는 단계; 상기 검출된 얼굴 영역들에 대한 각각의 촬영 거리를 획득하는 단계; 상기 획득된 각각의 촬영 거리가 서로 유사한지 비교하는 단계; 상기 비교 결과에 따라 상기 얼굴 영역들 각각에 대한 보정 픽셀 수를 계산하는 단계; 및 상기 계산한 보정 픽셀 수에 따라 상기 얼굴 영역들 각각을 보정하는 단계를 포함한다.
상기 보정 픽셀 수에 따라 보정 강도가 결정되는 것을 특징으로 한다.
상기 촬영 거리가 유사한 경우, 상기 검출한 얼굴 영역들의 크기 정보를 획득하는 단계를 더 포함하고, 상기 계산 단계는, 상기 획득한 크기 정보에 따라 보정 픽셀 수를 계산하는 것을 특징으로 한다.
상기 계산 단계는, 상기 입력 영상에서 검출한 얼굴 영역들 중 기준 얼굴 영역보다 더 넓은 얼굴 영역에 대한 보정 픽셀 수를 기준으로 상기 기준 얼굴 영역보다 더 좁은 얼굴 영역의 보정 픽셀 수를 계산하는 것을 특징으로 한다.
상기 촬영 거리가 유사하지 않은 경우, 상기 각각의 얼굴 영역의 촬영 거리에 따라 보정 픽셀 수를 계산하는 것을 특징으로 한다.
상기 계산 단계는, 근거리 얼굴 영역의 AF 렌즈 위치값, 원거리 얼굴 영역의 AF 렌즈 위치값 및 초점 심도값을 기초로 초점 심도를 계산하고, 상기 계산한 초점 심도에 반비례하도록 보정 픽셀 수를 계산하는 것을 특징으로 한다.
상기 보정 단계는, 상기 계산한 보정 픽셀 수 만큼 상기 각각의 얼굴 영역에서 피부색 영역을 보정하는 것을 특징으로 한다.
상기 비교 단계는, 상기 검출한 얼굴 영역들 간의 촬영 거리의 차이값이 소정의 임계값 이상인지를 비교하는 것을 특징으로 하는 영상 처리 방법.바람직하게, 상기 보정 픽셀 수에 따라 보정 강도가 결정되는 것을 특징으로 한다.

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

상기 다른 기술적 과제를 달성하기 위한, 본 발명의 다른 실시 예에 따른 영상 처리 장치는 입력 영상에서 2 이상의 얼굴 영역들을 검출하는 얼굴 영역 검출부; 상기 검출된 얼굴 영역들에 대한 각각의 촬영 거리를 획득하는 AF 수행부; 상기 획득된 촬영 거리가 서로 유사한지 비교하는 제어부; 상기 비교 결과에 따라 상기 얼굴 영역들 각각에 대한 보정 픽셀 수를 계산하는 보정 픽셀 계산부; 및 상기 계산된 보정 픽셀 수에 따라 상기 얼굴 영역들 각각을 보정하는 영상 보정부를 포함한다.
상기 보정 픽셀 수에 따라 보정 강도가 결정되는 것을 특징으로 한다.
상기 촬영 거리가 유사한 경우, 상기 각각의 얼굴 영역의 크기 정보를 획득하는 크기 정보 획득부를 더 포함하고, 상기 보정 픽셀 계산부는, 상기 획득한 크기 정보에 따라 보정 픽셀 수를 계산하는 것을 특징으로 한다.
상기 보정 픽셀 계산부는, 상기 입력 영상에서 검출한 얼굴 영역들 중 기준 얼굴 영역보다 더 넓은 얼굴 영역에 대한 보정 픽셀 수를 기준으로 상기 기준 얼굴 영역보다 더 좁은 얼굴 영역의 보정 픽셀을 계산하는 것을 특징으로 한다.
상기 촬영 거리가 유사하지 않은 경우, 상기 보정 픽셀 계산부는, 상기 촬영 거리에 따라 보정 픽셀 수를 계산하는 것을 특징으로 한다.
상기 보정 픽셀 계산부는, 근거리 얼굴 영역의 AF 렌즈 위치값, 원거리 얼굴 영역의 AF 렌즈 위치값 및 초점 심도값을 기초로 초점 심도를 계산하고, 상기 계산한 초점 심도에 반비례하도록 보정 픽셀 수를 계산하는 것을 특징으로 한다.
상기 영상 보정부는, 상기 계산한 보정 픽셀 수만큼 상기 각각의 얼굴 영역에서 피부색 영역을 보정하는 것을 특징으로 한다.
상기 제어부는, 상기 검출한 얼굴 영역들 간의 촬영 거리의 차이값이 소정의 임계값 이상인지를 비교하는 것을 특징으로 한다.

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

상기 또 다른 기술적 과제를 달성하기 위한, 본 발명의 또 다른 실시 예에 따른 영상 처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.

상기 또 다른 기술적 과제를 달성하기 위한, 본 발명의 또 다른 실시 예에 따른 영상 처리 장치를 포함하는 디지털 촬영 장치를 포함한다.

본 발명의 일 실시 예에 따른 영상 처리 방법은 얼굴 사이즈가 작은 경우 또는 촬영 거리가 먼 경우 또는 초점이 안맞은 경우에는 보정 픽셀 수를 적게하여 얼굴 영역, 특히 피부색 영역이 과도하게 블러되는 것을 방지할 수 있다.

이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 수 있다.

또한, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.

도 1은 본 발명의 디지털 촬영 장치(100)의 일 실시 예로서, 디지털 카메라의 블록도이다. 또한, 도 1과 함께 설명할 도 2는 디지털 촬영 장치의 디지털 신호 처리부(70)를 설명하기 위한 블록도이다.

도 1에 도시된 바에 따르면, 디지털 카메라(100)는 광학부(10), 광학 구동 부(11), 촬상소자(15), 촬상소자 제어부(16), 조작부(20), 영상 처리 모드 선택부(21), 프로그램 저장부(30), 버퍼 저장부(40), 데이터 저장부(50), 표시 제어부(60), 데이터 구동부(61), 주사 구동부(63), 표시부(65) 및 디지털 신호 처리부(DSP, 70)를 포함한다.

광학부(10)는 피사체로부터의 광학 신호가 입력되어 촬상 소자(13)로 제공한다. 광학부(10)는 초점 거리(focal length)에 따라 화각이 좁아지거나 또는 넓어지도록 제어하는 줌 렌즈 및 피사체의 초점을 맞추는 포커스 렌즈 등 적어도 하나의 렌즈를 포함할 수 있다. 또한, 광학부(10)는 광량을 조절하는 조리개를 더 포함할 수 있다.

광학 구동부(11)는 렌즈의 위치, 조리개의 개폐 등을 조절한다. 렌즈의 위치를 이동시켜 초점을 맞출 수 있다. 또한, 조리개의 개폐를 조절하여 광량을 조절할 수 있다. 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 광학 구동부(11)가 광학부(10)를 제어할 수 있다.

광학부(10)를 투과한 광학 신호는 촬상 소자(15)의 수광면에 이르러 피사체의 상을 결상한다. 촬상 소자(15)는 광학 신호를 전기 신호로 변환하는 광전변환 소자로서, 예를 들면 CCD(Charge Coupled Device) 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor) 등을 사용할 수 있다. 이와 같은 촬상소자(15)는 촬상소자 제어부(16)에 의해 감도 등이 조절될 수 있다. 촬상소자 제어부(16)도 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또 는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 촬상소자(15)를 제어할 수 있다.

조작부(20)는 사용자 등의 외부로부터의 제어 신호를 입력할 수 있는 곳이다. 조작부(20)는 정해진 시간 동안 촬상 소자(15)를 빛에 노출하여 사진을 촬영하는 셔터-릴리즈 신호를 입력하는 셔터-릴리즈 버튼, 전원을 공급하기 위해 입력하는 전원 버튼, 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 하는 광각-줌 버튼 및 망원-줌 버튼과, 문자 입력 또는 촬영 모드, 재생 모드 등의 모드 선택, 화이트 밸런스 설정 기능 선택, 노출 설정 기능 선택 등의 다양한 기능 버튼들이 있다. 조작부(20)는 상기와 같이 다양한 버튼의 형태를 가질 수도 있지만, 이에 한정되는 것은 아니며, 키보드, 터치 패드, 터치 스크린, 리모트 컨트롤러 등과 같이 사용자가 입력할 수 있는 어떠한 형태로 구현되어도 무방하다.

영상 처리 모드 선택부(21)는 사용자로부터 촬상된 영상에 대한 영상 처리 모드를 입력받는다. 여기서, 영상 처리 모드는 촬상된 영상을 화사하게 아름답게 표현해주는 모드이며, 본 발명의 바람직한 실시 예에서는, 검출된 얼굴 영역에 대해서만 블러 처리를 하고, 더 바람직하게는 얼굴 영역 중 피부색 영역에 대해서만 블러 처리를 한다. 또한, 사용자는 영상 처리 모드 선택부(21)를 통해 영상 처리 강도, 예를 들면 강한 처리, 중간 처리, 약한 처리 등을 선택할 수도 있다. 따라서, 사용자는 인물 사진의 영상 처리 여부와 강도를 선택할 수 있다. 이상, 영상 처리 모드 선택부(21)를 조작부(20)와 분리하여 설명하였으나, 전술한 영상 처리 모드 선택부(21)의 기능을 조작부(20)에서 수행할 수도 있다.

디지털 촬영 장치(100)는 디지털 촬영 장치를 구동하는 운영 시스템, 응용 시스템 등의 프로그램을 저장하는 프로그램 저장부(30), 연산 수행 중에 필요한 데이터 또는 결과 데이터들을 임시로 저장하는 버퍼 저장부(40), 영상 신호를 포함하는 이미지 파일을 비롯하여 상기 프로그램에 필요한 다양한 정보들을 저장하는 데이터 저장부(50)를 포함한다.

아울러, 디지털 카메라(100)는 이의 동작 상태 또는 디지털 카메라(100)에서 촬영한 이미지 정보를 표시하도록 제어하는 표시 제어부(60), 표시 제어부(60)로부터 입력되어 표시 데이터를 전달하는 데이터 구동부(61)와 주사 구동부(63), 데이터 구동부(61)와 주사 구동부(63)로부터 입력되는 신호에 따라 소정 영상을 표시하는 표시부(65)를 포함한다. 표시부(65)는 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EDD) 등으로 이루어질 수 있다.

그리고 디지털 카메라(100)는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어하는 디지털 신호 처리부(70)를 포함한다.

디지털 신호 처리부(70)에 관하여 도 2를 함께 참조하여 설명한다.

도 2를 참조하면, 디지털 신호 처리부(70)는 제어부(71), 영상 신호 처리부(72), 얼굴 영역 검출부(73), AF 수행부(74), 크기 정보 획득부(75), 보정 픽셀 계산부(76) 및 영상 보정부(77)를 포함한다. 여기서, 디지털 신호 처리부와 특허청구범위에서 사용된 영상 처리 장치는 동일한 의미로 해석하여야 한다.

제어부(71)는 디지털 신호 처리부(70)의 전반적인 동작을 제어한다.

영상 신호 처리부(72)는 촬상 소자(15)로부터 입력된 영상 신호를 디지털 신호로 변환하고, 사람의 시각에 맞게 영상 신호를 변환하도록 감마 컬렉션(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 영상 신호 처리를 수행한다. 또한, 영상 신호 처리부(72)는 그 기능이 설정된 경우 오토화이트밸런스(Auto White Balance)나 오토익스포저(Auto Exposure) 알고리즘을 수행할 수 있다. 또한, 영상 데이터를 스케일러를 이용하여 그 크기를 조절하며, 압축하여 소정 형식의 이미지 파일을 형성한다. 반대로 이미지 파일의 압축을 해제하기도 한다. 상기 영상 신호 처리부(72)는 사진 촬영 전 라이브-뷰 모드에서 실시간으로 입력되는 영상 신호와 셔터-릴리즈 신호에 의해 입력된 영상 신호에 대해 상기와 같은 영상 신호 처리들을 행할 수 있다. 이때, 상기 영상 신호들 각각에 대해 다른 영상 신호 처리가 행해질 수 있다.

얼굴 영역 검출부(73)는 촬상 소자(15)를 통해 입력된 영상 또는 영상 신호 처리부(72)를 통해 영상 신호 처리된 영상에서 얼굴 영역을 검출한다. 구체적으로, 얼굴 영역 검출부(73)는 얼굴에 포함되어 있는 얼굴의 특징을 갖는 영역, 예를 들면 살색을 가지는 영역, 눈동자를 가지는 영역, 얼굴의 형상을 가지는 영역 등을 얼굴 영역으로서 검출한다. 바람직하게, 얼굴 영역 검출부(72)는 검출한 얼굴 영역에서 피부색 영역만을 추출할 수도 있다.

얼굴 영역 검출 기법 내지는 알고리즘은 많은 기술이 존재하며, 본 발명의 바람직한 실시 예에 따른 얼굴 검출에 사용할 수 있다. 예를 들면 움직임 벡터 기법, 특징점 검출 기법, 에이다부스트(Adaboost) 학습 기법 등을 사용하여 얼굴 영역을 검출할 수 있다.

또한, 본 발명의 바람직한 실시 예에서는 입력 영상에서 적어도 둘 이상의 얼굴 영역이 존재하는 경우에, 각각의 얼굴 영역에 대해 보정 레벨, 즉 블러 레벨을 다르게 적용함으로써 동일한 촬영 거리 또는 동일한 초점면에 있는 얼굴들이라도 얼굴 크기에 따라 다른 블러 효과를 주거나, 또는 다른 초점 거리상에 있는 얼굴들이라도 촬영 거리의 원근 또는 초점이 맞았는지 안맞았는지에 따라 다른 블러 효과를 줄 수 있다.

AF 수행부(74)는 얼굴 영역 검출부(73)가 검출한 얼굴 영역들에 대한 오토 포커싱을 수행한다. 오토 포커싱을 수행하여 AF 수행부(74)는 얼굴 영역 검출부(72)가 검출한 얼굴 영역들에 대해 AF 처리를 수행한다. 일반적으로, AF 처리는 콘트라스트 검출 방식에 의한 AF처리, 팬포커스에 의한 AF처리, 위상차 AF 등을 수행할 수 있다. 예를 들면 콘트라스트 검출 방식에 의한 AF는 AF를 실행하기로 결정된 AF 영역, 즉, 검출된 얼굴 영역들의 콘트라스트 값이 가장 높아지는 렌즈위치로 포커스 렌즈를 이동시킨다. 즉, 포커스 렌즈를 움직여 가고, 그때의 CCD의 콘트라스트를 전기신호로 변환하고 그 파형을 해석해서 고주파성분이 가장 커지는 렌즈위치에 포커스 렌즈를 맞추어 핀트를 맞춘다. AF 수행부(74)는 검출한 얼굴 영역들의 촬영 거리를 제어부(71)에 출력한다. 여기서, 촬영 거리는 주 피사체 얼굴과 보조 피사체 얼굴들이 디지털 촬영 장치(100), 구체적으로 렌즈와 얼굴까지의 거리가 얼마나 떨어져 있는지에 관한 거리 정보이다. 예를 들면 촬영 거리는 50cm ~ 3m 정도일 수 있다. 제어부(71)는 이러한 각각의 얼굴 영역들까지의 촬영 거리의 차이가 소정의 임계값 이상인지를 비교한다.

크기 정보 획득부(75)는 제어부(71)의 제어에 따라 검출한 얼굴 영역들의 크기 정보를 획득한다. 크기 정보 획득부(75)는 입력 영상에 존재하는 얼굴들이 촬영 거리가 유사한지, 즉 각각의 얼굴 영역이 유사한 초점면에 있는 경우에 얼굴 크기 정보를 획득한다. 얼굴 크기 정보는 검출한 얼굴 영역의 픽셀 수를 계산하여 구할 수 있다. 예를 들면 얼굴 크기는 14×14 ~ n×n 픽셀일 수 있다. 얼굴 크기 정보는 픽셀 수 계산 이외에 다른 방법으로 구할 수 있음은 물론이다.

보정 픽셀 계산부(76)는 얼굴 영역들 각각에 따라 보정 픽셀, 즉 블러 처리할 픽셀의 수를 계산한다. 여기서, 보정 픽셀 계산부(76)는 크기 정보 획득부(75)로부터 각각의 얼굴 영역의 얼굴 크기 정보와 AF 수행부(74)로부터의 촬영 거리를 참조하여 보정 픽셀 수를 계산한다.

도 3a를 참조하면, 동일 초점면상에 검출된 2개의 얼굴 영역이 도시되어 있다. 입력 영상에서 얼굴을 검출하여 얼굴 모양에 맞도록 타원형의 AF 프레임이 각각 도시되어 있다. AF 수행부(74)를 통해 제공된 촬영 거리를 이용하여, 제어부(71)는 2개의 얼굴 영역이 촬영 거리가 유사하다고 판단한다. 그리고, 크기 정보 획득부(75)를 통해 각각의 얼굴 영역의 크기 정보를 획득한다. 예를 들면 어른 얼굴의 크기가 100이고, 아이 얼굴의 크기가 42라는 크기 정보를 획득한다. 여기서, 100과 42는 가로×세로 픽셀 수일 수 있다. 보정 픽셀 계산부(76)는 각각의 획득한 얼굴 크기 정보에 맞게 보정 픽셀 수를 계산한다. 여기서, 보정 픽셀 수는 주 피사체 얼굴에 비례하여 다음 수학식 1과 같이 계산할 수 있다.

보정 픽셀 수=int(얼굴 크기_sub/얼굴 크기_main × 디폴트 크기)

어른 얼굴의 보정 픽셀 수를 디폴트 픽셀 수, 예를 들면 10으로 설정하는 경우라면, 아이 얼굴의 보정 픽셀 수는 상기 수학식 1에 따라 계산하면 int(42/100×10)=4, 즉 아이 얼굴의 보정 픽셀 수는 4이다. 따라서, 촬영 거리가 유사하게 존재하는 2개의 얼굴에 대해 동일한 수의 보정 픽셀로 보정하는 것이 아니라 얼굴 크기에 따라 다른 보정 픽셀 수, 즉 블러 레벨로 적용함으로써 작은 얼굴인 아이 얼굴이 더 흐릿하게 되는 것을 방지할 수 있다. 즉, 작은 얼굴에 대해 많은 픽셀을 블러링함으로써, 작은 아이 얼굴이 뭉개지는 것을 방지할 수 있다.

또한, 촬영 거리가 유사하다고 하여도 이미지상에서 메인 얼굴과 서브 얼굴의 위치의 차이가 클수록 해상력이 떨어진다. 즉, 위치의 차이 픽셀량을 M이라고 하면 M에 반비례하도록 보정 픽셀 수를 설정할 수도 있다.

도 3b를 참조하면, 입력 영상에서 얼굴을 검출하여 얼굴 모양에 맞도록 타원형의 AF 프레임이 각각 도시되어 있으며, 촬영 거리가 다른 얼굴들이 도시되어 있다. AF 수행부(74)를 통해 제공된 촬영 거리를 이용하여, 제어부(71)는 2개의 얼굴 영역이 초점이 유사하지 않다고 판단한다. 예를 들면 여자 얼굴의 촬영 거리가 10이고, 남자 얼굴의 촬영 거리가 30이라고 하면, 보정 픽셀 계산부(76)는 각각의 촬영 거리에 맞게 보정 픽셀 수를 계산한다. 예를 들면 여자 얼굴의 보정 픽셀 수를 디폴트 수 10으로 설정하면, 남자 얼굴은 6으로 설정된다. 따라서, 촬영 거리가 유사하지 않은 2개의 얼굴에 대해 동일한 수의 보정 픽셀을 블러하는 게 아니라 촬영 거리에 따라 다른 보정 픽셀 수, 즉 가까운 여자 얼굴은 보다 많은 수의 보정 픽셀을 블러하고, 먼 남자 얼굴은 보다 작은 수의 보정 픽셀을 블러함으로써 먼 거리에 존재하는 남자 얼굴이 더 흐릿하게 되는 것을 방지할 수 있다.

또한, 각각의 얼굴의 초점의 정도를 판단함으로써 보정 픽셀의 크기를 설정할 수 있다. 여기서, 초점 심도, 즉 AF 렌즈 위치의 초점의 어긋남에 대한 허용 펄스량을 참조한다. 일반적으로 근거리의 얼굴에 초점을 맞춘다고 하면 근거리의 얼굴의 AF 렌즈 위치를 Pos_Near, 원거리 얼굴의 AF 위치를 Pos_Far라고 하고, 초점 심도량을 Pulse_CoverZone이라고 하면, 초점이 안맞은 정도의 양을 K라고 하면, K를 다음과 수학식 2와 같이 계산할 수 있다.

K=｜Pos_Near-Pos_Par｜/Pulse_CoverZone

여기서, K 값이 클수록 초점의 어긋남이 크게되므로, K에 반비례하도록 보정 픽셀 수를 설정한다. 따라서, 초점이 안맞은 얼굴에 대해서는 적은 수의 보정 픽셀을 블러함으로써 얼굴이 더 흐릿해지는 것을 방지할 수 있다.

영상 보정부(77)는 보정 픽셀 계산부(76)가 계산한 보정 픽셀 수만큼 얼굴 영역, 특히 피부색 영역을 보정한다. 여기서, 보정은 블러링(blurring)인 것이 바람직하다. 본 발명의 바람직한 실시 예에서, 블러링은 임의의 영상의 세세한 부분 들을 제거해 주어 영상을 부드럽고 화사하게 해주는 처리를 의미한다. 여기서, 블러 처리 또는 블러링은 픽셀들의 값을 평균화시키는 필터를 적용한 것으로, 예를 들면 저대역 필터 또는 가우시안 블러 필터를 사용할 수 있다. 즉 보정 픽셀은 인접 픽셀들을 평균화하는 범위를 의미한다. 따라서, 보정 픽셀 수가 많다는 것은 더 넓은 범위의 픽셀들을 평균화하여 더 흐릿한 영상을 만든다는 것이고, 보정 픽셀 수가 작다는 것은 더 좁은 범위의 픽셀들을 평균화하여 덜 흐릿한 영상을 만든다는 것이다.

도 4는 본 발명의 또 다른 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.

도 4을 참조하면, 단계 400 및 402에서 입력 영상에서 얼굴 영역을 검출한다. 바람직하게, 적어도 2이상의 얼굴 영역을 검출한다. 얼굴 검출은 종래의 얼굴 검출 알고리즘을 이용하여 수행할 수 있다.

단계 404 및 406에서, 검출한 얼굴 영역에 대해 AF를 수행하여, 각각의 얼굴 영역에 대한 촬영 거리를 획득한다. 단계 408에서, 촬영 거리가 유사한지 비교한다. 여기서, 주 피사체의 얼굴과 보조 피사체의 얼굴이 검출된 경우 주 피사체의 얼굴 까지의 거리와 보조 피사체의 얼굴 까지의 거리의 차가 소정의 임계값 이상인지 아닌지에 따라 촬영 거리가 유사한지 여부를 판단한다. 여기서, 임계값은 임의로 설정할 수 있는 값이다. 즉 거리 차가 소정의 임계값 이상인 경우에는 촬영 거리가 유사하지 않다고 판단하고, 임계값 이하인 경우에는 촬영 거리가 유사하다고 판단한다.

단계 408에서 촬영 거리가 유사하다고 판단한 경우에는 단계 410으로 진행하여 각각의 얼굴 영역의 크기 정보를 획득한다. 단계 412에서, 획득한 크기 정보를 참조하여 보정 픽셀 수를 계산하고, 단계 416에서, 얼굴 크기에 따라 계산한 보정 픽셀 수만큼 해당 얼굴 영역, 특히 피부색 영역을 보정한다.

단계 408에서 촬영 거리가 유사하지 않다고 판단한 경우에는 단계 414로 진행하여, 단계 406에서 획득한 촬영 거리를 참조하여 보정 픽셀 수를 계산한다. 여기서, 촬영 거리는 얼굴과 디지털 촬영 장치, 구체적으로 렌즈까지의 거리이다. 또한, 선택적으로 초점 심도를 참조하여 보정 픽셀 수를 계산할 수도 있다. 단계 414에서, 촬영 거리에 따라 계산한 보정 픽셀 수만큼 해당 얼굴 영역, 특히 피부색 영역에 대해 영상 보정한다. 여기서, 영상 보정은 블러링인 것이 바람직하며, 촬영한 인물 사진이 화사하게 나오는 효과를 주는 영상 처리를 모두 포함한다.

도 5는 본 발명의 또 다른 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.

도 5를 참조하면, 단계 500 및 502에서, 입력 영상에서 얼굴 영역을 검출한다. 바람직하게, 적어도 2이상의 얼굴 영역을 검출한다. 얼굴 검출은 종래의 얼굴 검출 알고리즘을 이용하여 수행할 수 있다.

단계 504에서, 검출한 얼굴 영역에 대해 AF를 수행한다. 단계 506 및 508에서, 각각의 얼굴 영역에 대한 촬영 거리와 얼굴 크기 정보를 획득한다.

단계 510에서, 획득한 촬영 거리와 얼굴 크기 정보를 참조하여 보정 픽셀 수를 계산한다. 여기서, 촬영 거리가 가까우면 보정 픽셀 수를 많이, 촬영 거리가 멀면 보정 픽셀 수를 적게 설정하여 블러하고, 얼굴 크기가 크면 보정 픽셀 수를 많이, 얼굴 크기가 작으면 보정 픽셀 수를 적게 설정하여 블러한다. 또한, 전술한 보정 픽셀 수의 계산은 상대적으로 계산하여 최적의 보정 픽셀 수를 설정하는 것이 바람직하다. 즉, 큰 얼굴과 작은 얼굴간, 촬영 거리의 비율에 따라 상대적으로 계산한다.

단계 512에서, 계산한 보정 픽셀 수 만큼 해당 얼굴 영역, 특히 피부색 영역에 대해 영상 보정을 수행한다.

전술한 실시예들은 본 발명이 적용될 수 있는 디지털 촬영 장치의 예로서 디지털 카메라를 중심으로 기술하였으나, 이에 한정하는 것은 아니다. 당업자라면 본 발명이 카메라 기능이 부가된 카메라폰, PDA(personal digital assistant), PMP(portable multimedia player)에도 적용될 수 있음을 이해할 것이다.

한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.

도 1은 본 발명의 일 실시 예에 따른 디지털 촬영 장치(100)의 개략적인 블록도이다.

도 2는 도 1에 도시된 디지털 신호 처리부(70)의 블록도이다.

도 3a 및 3b는 본 발명의 다른 실시 예에 따른 보정 픽셀 수를 계산하는 것을 설명하기 위한 도면이다.

도 4는 본 발명의 또 다른 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.

도 5는 본 발명의 또 다른 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.

<도면의 주요 부분에 대한 부호의 설명>

21: 영상 처리 모드 선택부 70: 디지털 신호 처리부

71: 제어부 72: 영상 신호 처리부

73: 얼굴 영역 검출부 74: AF 수행부

75: 크기 정보 획득부 76: 보정 픽셀 계산부

77: 영상 보정부

Claims (18)

1. 입력 영상에서 2 이상의 얼굴 영역들을 검출하는 단계;

   상기 검출된 얼굴 영역들에 대한 각각의 촬영 거리를 획득하는 단계;

   상기 획득된 각각의 촬영 거리가 서로 유사한지 비교하는 단계;

   상기 비교 결과에 따라 상기 얼굴 영역들 각각에 대한 보정 픽셀 수를 계산하는 단계; 및

   상기 계산한 보정 픽셀 수에 따라 상기 얼굴 영역들 각각을 보정하는 단계를 포함하는 영상 처리 방법.
2. 제 1 항에 있어서,

   상기 보정 픽셀 수에 따라 보정 강도가 결정되는 것을 특징으로 하는 영상 처리 방법.
3. 제 1 항에 있어서,

   상기 촬영 거리가 유사한 경우,

   상기 검출한 얼굴 영역들의 크기 정보를 획득하는 단계를 더 포함하고,

   상기 계산 단계는,

   상기 획득한 크기 정보에 따라 보정 픽셀 수를 계산하는 것을 특징으로 하는 영상 처리 방법.
4. 제 3 항에 있어서,

   상기 계산 단계는,

   상기 입력 영상에서 검출한 얼굴 영역들 중 기준 얼굴 영역보다 더 넓은 얼굴 영역에 대한 보정 픽셀 수를 기준으로 상기 기준 얼굴 영역보다 더 좁은 얼굴 영역의 보정 픽셀 수를 계산하는 것을 특징으로 하는 영상 처리 방법.
5. 제 1 항에 있어서,

   상기 촬영 거리가 유사하지 않은 경우,

   상기 각각의 얼굴 영역의 촬영 거리에 따라 보정 픽셀 수를 계산하는 것을 특징으로 하는 영상 처리 방법.
6. 제 5 항에 있어서,

   상기 계산 단계는,

   근거리 얼굴 영역의 AF 렌즈 위치값, 원거리 얼굴 영역의 AF 렌즈 위치값 및 초점 심도값을 기초로 초점 심도를 계산하고, 상기 계산한 초점 심도에 반비례하도록 보정 픽셀 수를 계산하는 것을 특징으로 하는 영상 처리 방법.
7. 제 1 항에 있어서,

   상기 보정 단계는,

   상기 계산한 보정 픽셀 수 만큼 상기 각각의 얼굴 영역에서 피부색 영역을 보정하는 것을 특징으로 하는 영상 처리 방법.
8. 제 1 항에 있어서,

   상기 비교 단계는,

   상기 검출한 얼굴 영역들 간의 촬영 거리의 차이값이 소정의 임계값 이상인지를 비교하는 것을 특징으로 하는 영상 처리 방법.
9. 제 1 항 내지 제 8 항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체.
10. 입력 영상에서 2 이상의 얼굴 영역들을 검출하는 얼굴 영역 검출부;

    상기 검출된 얼굴 영역들에 대한 각각의 촬영 거리를 획득하는 AF 수행부;

    상기 획득된 촬영 거리가 서로 유사한지 비교하는 제어부;

    상기 비교 결과에 따라 상기 얼굴 영역들 각각에 대한 보정 픽셀 수를 계산하는 보정 픽셀 계산부; 및

    상기 계산된 보정 픽셀 수에 따라 상기 얼굴 영역들 각각을 보정하는 영상 보정부를 포함하는 영상 처리 장치.
11. 제 10 항에 있어서,

    상기 보정 픽셀 수에 따라 보정 강도가 결정되는 것을 특징으로 하는 영상 처리 장치.
12. 제 10 항에 있어서,

    상기 촬영 거리가 유사한 경우,

    상기 각각의 얼굴 영역의 크기 정보를 획득하는 크기 정보 획득부를 더 포함하고,

    상기 보정 픽셀 계산부는,

    상기 획득한 크기 정보에 따라 보정 픽셀 수를 계산하는 것을 특징으로 하는 영상 처리 장치.
13. 제 12 항에 있어서,

    상기 보정 픽셀 계산부는,

    상기 입력 영상에서 검출한 얼굴 영역들 중 기준 얼굴 영역보다 더 넓은 얼굴 영역에 대한 보정 픽셀 수를 기준으로 상기 기준 얼굴 영역보다 더 좁은 얼굴 영역의 보정 픽셀을 계산하는 것을 특징으로 하는 영상 처리 장치.
14. 제 10 항에 있어서,

    상기 촬영 거리가 유사하지 않은 경우,

    상기 보정 픽셀 계산부는,

    상기 촬영 거리에 따라 보정 픽셀 수를 계산하는 것을 특징으로 하는 영상 처리 장치.
15. 제 14 항에 있어서,

    상기 보정 픽셀 계산부는,

    근거리 얼굴 영역의 AF 렌즈 위치값, 원거리 얼굴 영역의 AF 렌즈 위치값 및 초점 심도값을 기초로 초점 심도를 계산하고, 상기 계산한 초점 심도에 반비례하도록 보정 픽셀 수를 계산하는 것을 특징으로 하는 영상 처리 장치.
16. 제 10 항에 있어서,

    상기 영상 보정부는,

    상기 계산한 보정 픽셀 수만큼 상기 각각의 얼굴 영역에서 피부색 영역을 보정하는 것을 특징으로 하는 영상 처리 장치.
17. 제 10 항에 있어서,

    상기 제어부는,

    상기 검출한 얼굴 영역들 간의 촬영 거리의 차이값이 소정의 임계값 이상인지를 비교하는 것을 특징으로 하는 영상 처리 장치.
18. 제 10 항 내지 제 17 항 중 어느 한 항에 따른 영상 처리 장치를 포함하는 디지털 촬영 장치.

Images