KR20100056270A

KR20100056270A - 색 보정 처리를 행하는 디지털 영상 신호 처리 방법 및 상기 방법을 실행하는 디지털 영상 신호 처리 장치

Info

Publication number: KR20100056270A
Application number: KR1020080115354A
Authority: KR
Inventors: 김종선
Original assignee: 삼성전자주식회사
Priority date: 2008-11-19
Filing date: 2008-11-19
Publication date: 2010-05-27
Also published as: US20100123802A1

Abstract

본 발명은 색 보정 처리를 요하는 복수의 피사체들을 포함하는 영상에 대해 각각 독립적이고 최적화된 색 보정 처리를 행하는 디지털 영상 신호 처리 방법 및 상기 방법을 적용한 디지털 영상 신호 처리 장치에 관한 것이다. 특히, 본 발명은 복수의 피부색들을 갖는 피사체들의 영상에 대해 각 피부색에 최적화된 피부색 보정 처리를 독립적으로 행하여 피부 보정 효과를 극대화할 수 있는 디지털 영상 신호 처리 방법 및 상기 방법을 적용한 디지털 영상 신호 처리 장치를 제공할 수 있다. 이를 위하여, 본 발명은 보정 처리하고 하는 보정 대상에 대해 색상 분포도를 형성하고 색상 분포도에서 복수의 색 영역으로 분할하여 각 색 영역의 색상 정보를 영상의 영역 마다 적합한 색 보정 처리를 행하도록 제어한다.

Description

색 보정 처리를 행하는 디지털 영상 신호 처리 방법 및 상기 방법을 실행하는 디지털 영상 신호 처리 장치{Digital image signal processing method for color correction and digital image signal processing apparatus for applying the method}

본 발명은 색 보정 처리를 행하는 디지털 영상 신호 처리 방법 및 상기 방법을 수행하는 디지털 영상 신호 처리 장치에 관한 것이다.

디지털 영상 신호 처리 장치에서는 다양한 영상 신호 처리를 행하며, 이 중 색 보정 처리를 응용하여 사용자가 원하는 영상을 얻을 수 있도록 발전하고 있다. 특히, 사람의 피부색에 대해 색 보정 처리를 행하는 디지털 카메라가 개발된 바 있다. 종래 피부색 보정 처리에 따르면 흑인, 백인, 황인 등과 같이 피부색이 다른 인물들을 포함하는 영상에 대해서도 동일하게 피부색 보정 처리가 행하여져, 보정 처리할 피부색 영역의 범위가 넓어져 피부가 아닌 영상 영역에 대해서도 피부색 보정 처리가 행하여지는 문제가 있었다. 또는 사용자가 직접 각 인종을 선택하고 선택한 인종에 따라 피부색 보정 처리를 다르게 적용하는 방법도 있으나 이 또한 사용자 불편함을 초래한다.

본 발명은 다른 보정 처리를 행하는 피사체들에 대하여 각각 독립적으로 용이하고 효과적으로 색 보정 처리를 행할 수 있는 디지털 영상 신호 처리 방법 및 방법에 따라 동작하는 디지털 영상 신호 처리 장치를 제공하고자 한다.

특히, 본 발명은 복수의 피부색들을 나타내는 영상에 대해 각 피부색에 대해 독립적이고 최적화된 피부색 보정 처리를 행할 수 있는 디지털 영상 신호 처리 방법 및 방법에 따라 동작하는 디지털 영상 신호 처리 장치를 제공하고자 한다.

본 발명은 다른 색 보정 처리를 요하는 복수의 피사체들을 포함하는 영상을 입력하는 단계와, 상기 피사체들의 얼굴 영역들을 검출하는 단계와, 상기 피사체들의 얼굴 영역들의 영상 정보들을 이용하여 색 분포도를 형성하는 단계와, 상기 색 분포도에서 복수의 색 영역들을 구분하는 단계와, 상기 영상 중에서, 상기 색 영역들 각각에 해당하는 영역들에 대하여 해당 색 보정 처리를 행하는 단계를 포함하는 디지털 영상 신호 처리 방법을 제공한다. 여기서, 다른 색 보정 처리를 요하는 피사체들은 색 보정 방법이 상이한 것일 수도 있지만, 색 보정 대상이 상이하여 독립적으로 색 보정 처리를 행할 필요가 있는 피사체들도 포함한다. 이하, 동일한 의미로 사용된다.

본 발명에 관한 디지털 영상 신호 처리 방법에 있어서, 상기 복수의 색 영역들은 제1 색 영역과 제2 색 영역을 포함할 수 있다. 그리고 상기 제1 색 영역에 해 당하는 상기 영상의 일 영역에 대하여 제1 색 보정 방법으로 보정 처리를 행하고, 상기 제2 색 영역에 해당하는 상기 영상의 다른 영역에 대하여는 상기 제1 색 보정 방법과는 다른 제2 색 보정 방법으로 보정 처리를 행할 수 있다,

본 발명에 관한 디지털 영상 신호 처리 방법은 상기 피사체들의 일 영역들의 영상 정보를 추출하는 단계를 더 포함할 수 있다.

본 발명에 관한 디지털 영상 신호 처리 방법에 있어서, 상기 영상 정보는 채널(channel) 별로 나타내어지는 색상 정보일 수 있다.

또한, 본 발명은 피부색이 다른 인물들의 영상에 대해 피부색 별로 다르게 색 보정 처리를 행하는 디지털 영상 신호 처리 방법을 제공한다. 구체적으로 다른 피부색을 갖는 복수의 인물들을 포함하는 영상을 입력하는 단계와, 상기 영상으로부터 상기 복수의 인물들의 얼굴 영역들을 검출하는 단계와, 상기 얼굴 영역들의 영상 정보들을 이용하여 피부색 분포도를 형성하는 단계와, 상기 피부색 분포도에서 복수의 피부색 영역들을 구분하는 단계와, 상기 복수의 피부색 영역들 각각에 해당하는 상기 영상의 피부 영역들에 대해 보정을 행하는 단계를 구비한다.

본 발명에 관한 디지털 영상 신호 처리 방법에 있어서, 상기 얼굴 영역들의 영상 정보들은 색상, 채도 및 명도 중에서 선택된 적어도 하나를 포함할 수 있다.

본 발명에 관한 디지털 영상 신호 처리 방법은 상기 얼굴 영역들의 영상 정보들을 이용하여 피부색을 추출하는 단계를 더 구비할 수 있다.

본 발명에 관한 디지털 영상 신호 처리 방법에 있어서, 상기 피부색 분포도 형성하는 단계는 추출한 상기 피부색을 채널(channel) 별로 나타내어 피부색 분포 도를 형성할 수 있다.

본 발명에 관한 디지털 영상 신호 처리 방법에 있어서, 상기 피부색 분포도는 복수의 가우시안 분포들로 나타내어 질 수 있다.

본 발명에 관한 디지털 영상 신호 처리 방법에 있어서, 상기 복수의 가우시안 분포들 각각의 평균값과 분산 값을 이용하여 상기 복수의 피부색 영역들로 구분할 수 있다.

본 발명에 관한 디지털 영상 신호 처리 방법에 있어서, 상기 복수의 인물들은 인종이 다른 인물들을 포함할 수 있다.

아울러, 본 발명은 다른 색 보정 처리를 요하는 복수의 피사체들을 포함하는 영상을 입력하는 영상 입력부와, 상기 피사체들의 얼굴 영역들을 검출하는 얼굴영역 검출부와, 상기 피사체들의 얼굴 영역 안의 피부색 정보들을 이용하여 색 분포도를 형성하는 색 분포도 형성부와, 상기 색 분포도를 이용하여 복수의 색 영역들을 구분하는 색 영역 분할부와, 상기 영상 중에서, 상기 색 영역들 각각에 해당하는 영역들에 대하여 해당 색 보정 처리를 행하는 색 보정부를 포함하는 디지털 영상 신호 처리 장치를 제공한다.

본 발명에 관한 디지털 영상 신호 처리 장치는 상기 피사체들의 얼굴 영역들의 영상 정보를 추출하는 보정 대상 추출부를 더 포함할 수 있다.

본 발명에 관한 디지털 영상 신호 처리 장치에 있어서, 상기 영상 정보는 채널(channel) 별로 나타내어지는 색상 정보일 수 있다.

아울러, 본 발명은 다른 피부색을 갖는 복수의 인물들을 포함하는 영상을 입 력하는 영상 입력부와, 상기 영상으로부터 상기 복수의 인물들의 얼굴 영역들을 검출하는 얼굴 영역 검출부와, 상기 얼굴 영역들의 피부색 정보들을 이용하여 피부색 분포도를 형성하는 피부색 분포도 형성부와, 상기 피부색 분포도를 이용하여 복수의 피부색 영역들을 구분하는 피부색 영역 분할부와, 상기 복수의 피부색 영역들 각각에 해당하는 상기 영상의 피부 영역들에 대해 보정을 행하는 피부색 보정부를 구비하는 디지털 영상 신호 처리 장치를 제공한다.

본 발명에 관한 디지털 영상 신호 처리 장치에 있어서, 얼굴 영역들의 영상 정보들은 색상, 채도 및 명도 중에서 선택된 적어도 하나를 포함할 수 있다.

본 발명에 관한 디지털 영상 신호 처리 장치는 상기 얼굴 영역들의 피부색상 정보들을 이용하여 피부색을 추출하는 피부색 추출부를 더 구비할 수 있다.

본 발명에 관한 디지털 영상 신호 처리 장치에 있어서, 상기 피부색 분포도 형성부는 상기 피부색 추출부에서 추출한 상기 피부색을 채널(chanel) 별로 나타내어 피부색 분포도를 형성할 수 있다.

본 발명에 관한 디지털 영상 신호 처리 장치에 있어서, 상기 피부색 분포도는 복수의 가우시안 분포들을 포함할 수 있다.

본 발명에 관한 디지털 영상 신호 처리 장치에 있어서, 상기 복수의 인물들은 인종이 다른 인물들을 포함할 수 있다.

본 발명에 따르면 한 영상에서 다른 색 보정 처리를 요하는 보정 대상들에 대해 각각 독립적으로 최적화된 색 보정 처리를 행할 수 있는 디지털 영상 신호 처 리 방법 및 장치를 제공할 수 있다.

나아가, 다른 피부색을 갖는 인물들을 포함하는 영상에 있어서 각 피부색에 적합한 피부색 보정 처리를 독립적으로 적용함으로써 최적화된 피부색 보정 효과를 나타낼 수 있다.

본 발명에 관한 디지털 영상 신호 처리 방법 및 이를 실행하는 디지털 영상 신호 처리 장치에 관하여 첨부된 도면들을 참조하여 상세히 설명한다.

도 1은 본 발명의 일 실시 예에 관한 디지털 영상 신호 처리 장치를 설명하기 위한 블럭도이다.

도 1을 참조하면, 상기 디지털 영상 신호 처리 장치(100)는 영상 입력부로서 촬영부(10), 데이터 신호 처리를 위한 연산을 수행하기 위해 데이터를 임시로 저장하는 메모리(20), 전반적인 신호 처리를 제어하는 DSP(30), 영상을 표시하는 표시부(40), 영상을 저장하는 저장부(50), 사용자 등의 외부로부터의 제어 신호를 입력하는 조작부(60)를 구비할 수 있다.

촬영부(10)는 피사체로부터의 광학 신호를 입력하는 광학부(11), 광학부(11)로부터 전달되는 광학 신호를 입력하는 촬상부(12), 광학부(11)와 촬상부(13)를 제어하는 촬상 제어부(13)를 구비한다.

구체적으로, 광학부(11)는 광학 신호를 집광하는 렌즈, 상기 광학 신호의 양(광량)을 조절하는 조리개, 광학 신호의 입력을 제어하는 셔터 등을 포함할 수 있다. 또한, 상기 렌즈는 초점 거리(focal length)에 따라 화각이 좁아지거나 또는 넓어지도록 제어하는 줌 렌즈 및 피사체의 초점을 맞추는 포커스 렌즈 등을 포함하며, 이들 렌즈들은 각각 하나의 렌즈로 구성될 수도 있지만, 복수의 렌즈들의 군집으로 이루어질 수도 있다.

촬상부(12)는 광학부(11)를 통해 전달되는 광학 신호를 수광하여 피사체의 상을 결상하는 촬상 소자를 포함한다. 촬상 소자는 CCD(Charge Coupled Device) 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor) 등을 사용할 수 있다. 촬상 소자는 광학 신호를 전기 신호로 변환한다. 상기 촬상부(12)는 촬상 소자로부터 출력된 영상 신호를 샘플링 및 홀딩 처리하여 상관 이중 샘플링하고, 상관 이중 샘플링 처리된 영상 신호에 대해 디지털 신호로 변환하는 아날로그 신호 처리부를 더 포함할 수 있다.

상기 촬상 제어부(13)는 크게 광학부(11)를 구동하는 광학 구동부와 촬상부(12)를 제어하는 타이밍 제너레이터를 구비할 수 있다. 예를 들어, 광학 구동부는 렌즈의 위치, 조리개의 개폐, 셔터의 동작 등을 구동할 수 있다. 이는 실시간으로 입력되는 영상 또는 사용자 등의 외부로부터 입력된 제어 신호에 근거하여 DSP(30)로부터 입력된 제어 신호에 따라 구동할 수 있다. 타이밍 제너레이터는 상기 촬상 소자, 상기 아날로그 신호 처리부를 제어할 수 있다. 예를 들어, 촬상 소자는 타이밍 제너레이터에 의해 전하 축적 시간 및 축적된 전하의 출력 시간을 조절할 수 있다. 따라서 감도 등을 제어할 수 있다. 타이밍 제너레이터도 실시간으로 입력된 영상 또는 사용자 등의 외부로부터 입력된 제어 신호에 근거하여 DSP(30)로부터 입력된 제어 신호에 따라 촬상부(12)를 제어하는 타이밍 신호를 출력할 수 있 다.

메모리(20)는 촬영부(10)로부터 출력된 영상 신호를 임시 저장할 수 있다. 상기 영상 신호는 DSP(30)를 통해 저장부(50)에 기록될 수 있으며, 또는 표시부(40)로 전송되어 소정 영상을 디스플레이 할 수도 있다.

DSP(30)는 메모리(20)로부터 입력된 영상 신호 또는 촬영부(10)로부터 직접 입력된 영상 신호에 대해 미리 저장된 알고리즘에 따른 영상 신호 처리를 행하도록 제어할 수 있으며, 표시부(30)에 적합한 영상 신호 처리, 저장부(40)에 기록하기 위한 영상 신호 처리 등을 수행할 수 있다. 예를 들어, 상기 영상 신호에 대해 노이즈를 저감하고, 감마 컬렉션(Gamma Correction), 색 필터 배열 보간(color filter array interpolation), 색 매트릭스(color matrix), 색 향상(color enhancement) 등의 영상 신호 처리를 수행할 수 있다. 또한, 영상 신호 처리하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 또한, 상기 DSP(30)는 이후 도 2 또는 도 3을 함께 참조하여 설명할 색 보정 처리를 행한다.

표시부(40)는 DSP(30)로부터 표시 패널에 적합한 영상 신호 처리가 행해진 영상 신호가 입력되어 이에 해당하는 영상을 디스플레이 할 수 있다. 표시부(40)는 영상을 구현하는 표시 패널, 표시 패널을 구동하는 구동부, 표시 제어부 등을 포함할 수 있다. 표시부(40)로 액정 디스플레이 장치(LCD), 유기 발광 디스플레이 장치(OLED), 전기 영동 디스플레이 장치(EDD) 등으로 구현될 수 있다.

저장부(50)는 상기 디지털 영상 신호 처리 장치(100)를 동작시키는 프로그 램, 프로그램 실행을 위해 필요한 데이터들 등을 저장한다. 또한, DSP(30)로부터 입력된 영상 파일을 보존을 위해 기록하는 곳이기도 하다. 영상 파일을 기록하는 저장부는 상기 디지털 영상 신호 처리 장치(100)에 내장되어 있는 메모리일 수 있으며, 또는 착탈 가능한 메모리 장치일 수도 있다. 예를 들어, 메모리 카드, 하드 디스크 등의 저장 장치, CD-ROM과 같은 기록 매체 등일 수 있다. 상기 저장부(50)에서 착탈 가능한 메모리 장치를 포함하는 경우, 상기 메모리 장치로부터의 데이터를 전송 받을 수 있는 인터페이스부를 더 구비할 수 있다.

조작부(60)는 사용자 등의 외부로부터 제어 신호를 입력할 수 있는 곳으로, 키보드, 마우스, 기능 키, 버튼, 터치 스크린 등의 다양한 형태로 구현할 수 있다.

본 발명에 따른 색 보정 처리를 제어하는 DSP(30)에 대해 도 2와 3을 참조하여 보다 구체적으로 설명한다.

도 2에 도시된 일 실시 예로서의 DSP(30a)를 설명한다. 상기 DSP(30a)에 다른 색 보정 처리를 요하는 복수의 피사체들을 포함하는 영상에서 상기 피사체들 각각의 얼굴 영역을 검출하는 얼굴영역 검출부(31a)와, 상기 얼굴 영역의 적어도 하나의 영상 정보를 이용하여 색 분포도를 형성하는 색 분포도 형성부(33a)와, 상기 색 분포도에서 복수의 색 영역들을 구분하는 색 영역 분할부(34a)와, 상기 영상 중에서 상기 색 영역들 각각에 해당하는 영역들에 대하여 해당 색 보정 처리를 행하는 색 보정부(35a)를 구비한다. 상기 얼굴 영역의 보정 대상 추출부(32a)를 더 구비하여, 상기 색 분포도 형성부(33a)에서 추출한 보정 대상에 대해 색 분포도를 형성할 수 있다.

구체적으로, 상기 영역 검출부(31a)는 복수의 피사체들을 포함하는 영상에서 각 피사체의 일 영역, 예를 들어 얼굴 영역 등을 검출할 수 있다. 상기 색 분포도 형성부(33a)는 상기 일 영역에서의 채널 별로 나타내어지는 색상 정보를 이용하여 색 분포도를 형성할 수 있다. 상기 색 분포도는 색상 정보에 대한 룩업 테이블 또는 칼라 공간 등일 수 있다. 상기 영역 검출부(31a)에서 피사체의 얼굴 영역을 검출하고, 보정 대상 추출부(32a)에서 색 보정 처리를 하고자 하는 보정 대상을 추출하고, 색 분포도 형성부(33a)에서 추출한 상기 보정 대상의 색상 정보를 이용하여 색 분포도를 형성할 수 있다. 예를 들어, 피사체의 얼굴 영역에서 피부색을 보정하고자 하는 경우, 얼굴영역으로부터 피부색을 추출하고, 상기 피부색의 색상 정보에 대해 색 분포도를 형성할 수 있다.

그리고 색 영역 분할부(34a)에서 상기 색 분포도를 이루는 보정 대상의 색 분포들을 복수의 색 영역들로 구분할 수 있다. 같은 범주에 포함되어 동일한 색 보정 처리를 행하는 색 분포들끼리 하나의 색 영역으로 묶을 수 있다. 예를 들어, 제1 피사체와 제2 피사체를 포함하는 영상이 입력되고, 상기 제1 피사체 영상의 얼굴 영역과 제2 피사체 영상의 얼굴 영역을 검출하고, 각 얼굴 영역에서 피부색을 추출한 후, 피부색에 대한 색 분포도를 형성한다. 제1 피사체의 보정 대상과 제2 피사체의 보정 대상은 휘도, 명도, 채도 중 적어도 하나 이상이 현저히 차이가 존재하여 각각 다른 색 보정 처리를 해야 할 필요가 있는 경우, 동일한 색 보정 처리를 할 필요가 있는 색 분포들 끼리 동일한 영역으로 구분할 수 있다. 제1 피사체의 색 분포들과 제2 피사체의 색 분포들 간에 색상 정보가 현저히 상이하다면 제1 피사체 의 색 분포들을 제1 색 영역으로, 제2 피사체의 색 분포들을 제2 색 영역으로 구분할 수 있다. 색 영역들을 구분하는 방법은 다중 가우시안 기법을 적용할 수 있다.

그리고, 분할한 각 색 영역에 대해 해당 색 보정 처리를 색 보정부(35a)에서 행할 수 있다. 구체적으로, 상기 제1 색 영역에 대해 제1 색 보정 방법으로 보정 처리를 행하고, 제2 색 영역에 대해 제2 색 보정 방법으로 보정 처리를 행할 수 있다.

본 실시 예에서는 색 분포도에서 동일한 색 보정 처리를 요하는 색 영역으로 구분하여, 각각의 색 영역에 대해 해당 색 보정 처리를 행하도록 제어하는 DSP(30a)에 대해 설명하였다. 이하 도 3에 도시된 DSP(30b)에서는 피부색 영역을 구분하여 색 보정 처리를 행하도록 제어하는 다른 실시 예의 DSP(30b)에 대해 설명한다.

구체적으로, 도 3을 참조하면 상기 DSP(30b)는 복수의 피사체들을 포함하는 영역으로부터 피사체의 얼굴 영역을 검출하는 얼굴 영역 검출부(31b)를 구비한다. 얼굴 영역 검출부(31b)는 아다부스팅(Adaboosting) 알고리즘 또는 피부색 칼라정보를 이용하여 피사체의 얼굴 영역을 검출할 수 있다.

그리고 검출된 얼굴 영역으로부터 피부 색상을 추출하는 피부색 추출부(32b)를 구비한다.

피부색 검출부(32b)에서 추출한 피부 색상에 대해 룩업 테이블 또는 피부색 칼라 공간을 형성한다. 따라서 피부색 분포도를 형성할 수 있다. 피부색 분포도 형성부(33b)에서 상기 피부색 분포도를 형성할 수 있다.

상기 피부색 분포도는 여러 개의 타원 형태의 가우시안 분포로 이루어질 수 있다. 따라서 피부색 영역 분할부(34b)는 GMM(Gaussian Mixture Model), K-M(K-means), K-NN(K-nearest neighbor) 알고리즘 등의 다중 가우시안 기법을 적용하여 피부색 영역을 구분할 수 있다.

이렇게 구분된 각 피부색 영역에 대해 피부색 보정부(35b)에서 해당 피부색 보정 처리를 행할 수 있다. 예를 들어, Bilateral Filtering 기법(Durand et al., "Fast Bilateral Filtering for the Display of High-Dynamic-Range Images" ACM SIGGRAPH 2002) 또는 가우시안 필터링 기법을 이용하여 피부색 보정 처리를 행할 수 있다.

본 실시 예에서는 복수의 인종들의 피사체들을 포함하는 영상에 대해 각 인종의 피사체의 피부색에 대해 독립적으로 피부 보정을 행함으로써 최적화된 피부색 보정 효과를 나타낼 수 있다. 즉 각 인종에 적합한 피부색 보정 처리를 행할 수 있어 사용자가 원하는 영상을 얻을 수 있다.

도 4는 본 발명의 일 실시 예에 관한 디지털 영상 신호 처리 장치의 하드웨어적인 구성을 설명하기 위한 블럭도이다. 본 실시 예에서는 상술한 본 발명에 관한 피부색 보정 알고리즘을 수행하는 디지털 영상 신호 처리 장치의 하드웨어 구성을 예시한다.

도 4를 참조하면, 광학부를 통해 전달된 광학 신호를 입력하여 전기적 신호로 변환하는 CCD가 있다. CPU는 ROM, RAM, HDD에 저장된 데이터를 이용하여 상술한 피부색 보정 동작을 비롯하여 전반적인 동작을 제어한다. RAM은 CPU에서 제어하는 동작을 수행하기 위해 필요한 메모리를 가지며, 또한 CCD, HDD로부터 로딩된 프로그램, 데이터 등을 일시적으로 저장하는 곳이다. ROM에는 부트 프로그램, 설정 데이터 등이 저장되어 있다. IN은 사용자로부터 제어 신호가 입력되는 곳으로, 터치 스크린, 기능 키, 버튼 등일 수 있다. HDD는 외부 기억 장치로서, OS나 상술한 피부색 보정 처리를 행하기 위한 프로그램 또는 데이터가 저장되어 있다. 이러한 프로그램 데이터는 RAM에 실행 가능한 형태로 변환되어 저장되며 CPU에서 해당 동작을 수행하도록 제어할 수 있다. 또한, HDD에는 입력된 영상을 나타내는 영상 파일이 저장될 수 있다. LCD는 CPU의 처리 결과 또는 입력된 영상, 저장되어 있는 영상을 표시할 수 있는 표시 장치이다.

본 실시 예에서는 본 발명에 관한 디지털 영상 신호 처리 장치를 실현하기 위한 하드웨어적인 구성에 대해 설명하였으나, 본 발명의 장치가 반드시 상술한 하드웨어 구성에 한정되는 것은 아니며 상술한 기능을 수행할 수 있는 다른 하드웨어 구성들로도 구현될 수 있다.

도 5는 본 발명의 일 실시 예에 관한 디지털 영상 신호 처리 장치의 제어 방법을 설명하기 위한 순서도이다.

도 5를 참조하면, 우선 복수의 피사체들을 포함하는 영상을 입력한다(S11). 상기 영상은 다른 색 보정 처리를 요하는 피사체들을 포함하는 것이다.

그리고 상기 영상으로부터 피사체의 영역을 검출하고(S12), 보정 대상의 색상 정보를 추출할 수 있다(S13).

그리고 색 분포도를 형성한다(S14). 검출한 피사체 영역의 색상 정보를 추출 하여 색 분포도를 형성할 수 있으며, 또한 피사체의 영역에서 보정하고자 하는 대상의 색상 정보를 이용하여 색 분포도를 형성할 수 있다.

상기 색 분포도로부터 동일한 색 보정 처리를 행할 분포들을 하나의 영역으로 묶어 색 영역을 분할한다(S15). 색 영역의 분할은 다중 가우시안 기법을 이용하여 각 가우시안 분포마다 평균값(mean value)과 분산값(variance value)을 얻을 수 있다. 각 평균값과 분산값을 이용하여 영상에 대해 보정하고자 하는 색 영역을 분할할 수 있다.

그리고 상기 영상에 대해 색 보정 처리를 행한다(S16). 제1 색 영역과 제2 색 영역으로 구분된다면, 제1 색 영역에 해당하는 색상 정보를 갖는 영상의 영역들에 대해 제1 색 보정 처리를 행하고, 제2 색 영역에 해당하는 색상 정보를 갖는 영상의 영역들에 대해 제2 색 보정 처리를 행할 수 있다.

도 6은 본 발명의 다른 실시 예에 관한 디지털 영상 신호 처리 장치의 제어 방법을 설명하기 위한 순서도이다. 본 실시 예에서는 피부색에 대해 색 보정 처리를 행하는 경우, 복수의 피부색들에 대해 각각 독립적으로 색 보정 처리를 행하는 방법을 예시한다. 구체적으로 도 7 내지 도 12b를 함께 참조하여 설명한다.

도 6을 참조하면, 복수의 피부색들의 인물들을 포함하는 영상을 입력한다(S21).

상기 영상으로부터 인물들의 얼굴 영역을 검출한다(S22). 아다부스팅(Adaboosting) 알고리즘 또는 피부색 칼라정보를 이용하여 얼굴 영역을 검출할 수 있다.

구체적으로 도 7을 함께 참조하면, 디지털 영상 신호 처리 장치의 일 예로서 디지털 카메라(100)를 이용하여 영상을 촬영한다. 상기 디지털 카메라(100)는 후면에 영상을 디스플레이 하는 표시부(40)가 장착되어 있으며, 표시부(40) 주위에 다양한 기능 버튼들(63, 64)이 배치되고, 디지털 카메라(100)의 상면에 셔터-릴리즈 버튼(61)과 전원 버튼(62)이 배치되어 있다. 사용자는 라이브-뷰(Live-view) 동안 디지털 카메라(100)의 표시부(40)에 디스플레이 되는 영상을 확인하고, 촬영하고자 영상이 확정되면 셔터-릴리즈 버튼(61)을 눌러 촬영을 행한다. 미리 피부색 보정 처리를 행하는 뷰티 모드가 설정된 경우, 촬영으로 입력된 영상에 대해 피부색 보정 처리가 행해진다.

라이브-뷰 모드 동안 백인(P1), 황인(P2), 흑인(P3)의 피사체들을 표시부(40)를 통해 확인한다. 사용자가 셔터-릴리즈 버튼(61)을 살짝 누르면 백인(P1), 황인(P2), 흑인(P3) 각각의 얼굴 영역(A1, A2, A3)을 검출한다. 검출한 얼굴 영역은 박스로 해당 영역에 표시할 수 있다. 그리고 사용자가 셔터-릴리즈 버튼(61)을 깊게 누르면 표시부(40)에 표시하고 있는 영상을 촬영하고 입력한다.

다시 도 6을 참조하면, 상기 얼굴 영역의 피부색을 추출한다(S23). 구체적으로 피부색의 색상 정보를 추출한다. 본 실시 예에서 보정 처리를 행하고자 하는 보정 대상은 피부색으로서, 인물들의 피부색 색상 정보를 추출한다.

그리고 피부색의 색상 정보를 이용하여 피부색 분포도를 형성한다(S24). 피부색 분포도는 룩업 테이블 또는 칼라 공간 상에 피부색의 색상 정보를 표시한 그래프로 나타내어질 수 있다.

도 8을 참조하면, 입력한 영상의 얼굴 영역에서 피부색의 색상 정보를 추출하고, 색상 정보를 칼라 공간 상에 나타내어 피부색 분포도를 형성한다. 색상 정보는 채널 별로 표시한 R, G, B 값들을 포함한다. 도 8에서 C1은 백인(P1)의 색상 정보 분포를 나타낸 것이고, C2는 황인(P2)의 색상 정보 분포, C3은 흑인(P3)의 색상 정보 분포를 나타낸 것이다.

피부색 분포도로부터 다중 가우시안 기법을 적용하여 피부색 모델을 정의할 수 있다. 즉, 다른 보정 처리를 행할 피부색 영역을 구분한다(S25).

구체적으로 도 9를 참조하면, 상기 피부색 분포도는 복수의 가우시안 분포들로 나타내어지므로, 각 가우시안 분포의 평균값과 분산값을 도출하여 피부색 영역을 분할할 수 있다. 백인(P1)의 색상 정보 분포의 평균값(m1), 황인(P2)의 색상 정보 분포의 평균값(m2), 흑인(P3)의 색상 정보 분포의 평균값(m3)을 도출하고, 각 분산값도 도출하여 평균값으로부터 분산값의 영역을 피부색 영역으로 설정할 수 있다. 도 9에서 CA1은 백인(P1)의 피부색 영역을, CA2는 황인(P2)의 피부색 영역을, CA3은 흑인(P3)의 피부색 영역을 나타낸다.

도 10은 종래의 방법으로서, 본원에서와 같이 다중 가우시안 기법을 적용하지 않고, 백인(P1), 황인(P2), 흑인(P3)의 색상 정보들(C1, C2, C3)를 칼라 공간에 나타내고, 상기 색상 정보들(C1, C2, C3)을 포함하는 영역을 피부색 영역(CA)으로 설정한다. 설정한 피부색 영역(CA)은 실제 피부색의 색상 정보들(C1, C2, C3)을 포함하지만, 피부색이 아닌 색상 정보(C1, C2, C3이 표시되지 않은 영역의 색상 정보)도 다량 포함되어 있다. 따라서, 피부색이 아닌 영역에 대해서도 피부색 영역으 로 판단되어 피부색 보정 처리가 행해질 수 있다.

도 6을 참조하면, 분할된 각 색 영역에 해당하는 색상 정보를 갖는 상기 영상에 대해 적합한 색 보정 처리를 행한다(S26). 상기 영상 중에서 백인(P1)의 색 영역(C1)에 해당하는 색상 정보를 갖는 영역(예를 들어, 얼굴 영역, 손 영역, 등의 백인(P1)의 피부색 영역)에 대해 제1 색 보정 처리를 행할 수 있다. 또한, 황인(P2)의 색 영역(C2)에 해당하는 색상 정보를 갖는 황인(P2)의 피부색에 대해 제2 색 보정 처리를 행할 수 있다. 상기 영상 중에서 흑인(P3)의 피부색에 대해 제3 색 보정 처리를 행할 수 있다.

종래 방법에 따르면, 백인(q1)과 흑인(q2)을 촬영한 도 11a의 영상에 대해 피부색 보정 처리를 행하면 피부색 영역(CA)의 범위가 너무 넓어 피부색 영역 뿐만 아니라 유사 피부색 영역에 대해서도 보정 처리가 행하여 진다. 도 11b를 참조하면, 동일하게 피부색 보정 처리가 된 백인(Q1)과 흑인(Q2)의 영상 처리물을 얻을 수 있다. 또한 배경 영역(B1)은 사람의 피부를 나타내지 않는 영역임에도 피부색 보정 처리가 행하여져 원래 영상을 왜곡하게 된다.

그러나 본 발명에 관한 피부색 보정 처리에 따르면 도 12a에서와 같은 영상에 대해 피부색 보정 처리를 행하면, 백인(q1) 및 흑인(q2) 각각에 대해 독립적으로 피부색 보정 처리가 행하여지며, 피부색이 아닌 영역(b2)에 대해서는 피부색 보정 처리가 행하여지지 않는다. 따라서 도 12b에서와 같이 각각 독립적으로 피부색 보정 처리가 행해진 백인(Q3)과 흑인(Q4)의 영상 처리물을 얻을 수 있으며, 피부가 아닌 배경 영역(B2)에 대해서는 피부색 보정 처리가 행해지지 않은 영상 처리물을 얻을 수 있다. 그러므로 피부에 대해 선택적 및 독립적으로 피부색 보정 처리가 행해져 최적화된 피부 보정 효과를 나타낼 수 있다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

도 2는 도 1에 도시된 디지털 영상 신호 처리 장치의 DSP의 일 실시 예를 설명하기 위한 블럭도이다.

도 3은 도 1에 도시된 디지털 영상 신호 처리 장치의 DSP의 다른 실시 예를 설명하기 위한 블럭도이다.

도 4는 본 발명의 일 실시 예에 관한 디지털 영상 신호 처리 장치의 하드웨어적인 구성을 설명하기 위한 블럭도이다.

도 6은 본 발명의 다른 실시 예에 관한 디지털 영상 신호 처리 장치의 제어 방법을 설명하기 위한 순서도이다.

도 7은 본 발명의 일 실시 예에 관한 디지털 영상 신호 처리 장치의 제어 방법에 있어서, 복수의 인종들에 대한 얼굴 검출을 보여주는 화면을 도시한 것이다.

도 8은 본 발명의 일 실시 예에 관한 디지털 영상 신호 처리 장치의 제어 방법에 있어서, 복수 인종들에 대한 칼라 공간 상의 피부색 분포를 나타낸 그래프이다.

도 9는 본 발명의 일 실시 예에 관한 디지털 영상 신호 처리 장치의 제어 방법에 있어서, 칼라 공간 상의 피부색 분포에 따른 보정 범위 결정 방법을 설명하기 위한 그래프이다.

도 10은 종래 디지털 영상 신호 처리 장치의 제어 방법에 있어서, 칼라 공간 상의 피부색 분포에 따른 보정 범위 결정 방법을 설명하기 위한 그래프이다.

도 11a와 도 11b 는 종래 디지털 영상 신호 처리 장치의 제어 방법에 있어서, 각각 보정 전과 후의 화면을 나타낸 도면이다.

도 12a와 도 12b는 본 발명의 일 실시 예에 관한 디지털 영상 신호 처리 장치의 제어 방법에 있어서, 각각 보정 전과 후의 화면을 나타낸 도면이다.

Claims

다른 색 보정 처리를 요하는 복수의 피사체들을 포함하는 영상을 입력하는 단계;

상기 피사체들의 일 영역들을 검출하는 단계;

상기 피사체들의 일 영역들의 영상 정보들을 이용하여 색 분포도를 형성하는 단계;

상기 색 분포도에서 복수의 색 영역들을 구분하는 단계; 및

상기 영상 중에서, 상기 색 영역들 각각에 해당하는 영역들에 대하여 해당 색 보정 처리를 행하는 단계;를 포함하는 디지털 영상 신호 처리 방법.
제1항에 있어서, 상기 복수의 색 영역들은 제1 색 영역과 제2 색 영역을 포함하고,

상기 제1 색 영역에 해당하는 상기 영상의 일 영역에 대하여 제1 색 보정 방법으로 보정 처리를 행하고, 상기 제2 색 영역에 해당하는 상기 영상의 다른 영역에 대하여 제2 색 보정 방법으로 보정 처리를 행하는 것을 특징으로 하는 디지털 영상 신호 처리 방법.
제1항에 있어서, 상기 피사체들의 일 영역들의 보정 대상을 추출하는 단계;를 더 포함하는 디지털 영상 신호 처리 방법.
제3항에 있어서, 상기 영상 정보는 채널(channel) 별로 나타내어지는 색상 정보인 것을 특징으로 하는 디지털 영상 신호 처리 방법.
다른 피부색을 갖는 복수의 인물들을 포함하는 영상을 입력하는 단계;

상기 영상으로부터 상기 복수의 인물들의 얼굴 영역들을 검출하는 단계;

상기 얼굴 영역들의 영상 정보들을 이용하여 피부색 분포도를 형성하는 단계;

상기 피부색 분포도에서 복수의 피부색 영역들을 구분하는 단계; 및

상기 복수의 피부색 영역들 각각에 해당하는 상기 영상의 피부 영역들에 대해 보정을 행하는 단계;를 구비하는 디지털 영상 신호 처리 방법.
제5항에 있어서, 상기 얼굴 영역들의 영상 정보들은 색상, 채도 및 명도 중에서 선택된 적어도 하나를 포함하는 것을 특징으로 하는 디지털 영상 신호 처리 방법.
제5항에 있어서, 상기 얼굴 영역들의 영상 정보들을 이용하여 피부색을 추출하는 단계를 더 구비하는 디지털 영상 신호 처리 방법.
제5항에 있어서, 상기 피부색 분포도 형성하는 단계는,

추출한 상기 피부색을 채널(channel) 별로 나타내어 피부색 분포도를 형성하는 것을 특징으로 하는 디지털 영상 신호 처리 방법.
제5항에 있어서, 상기 피부색 분포도는 복수의 가우시안 분포들을 포함하는 것을 특징으로 하는 디지털 영상 신호 처리 방법.
제9항에 있어서, 상기 복수의 가우시안 분포들 각각의 평균값과 분산값을 이용하여 상기 복수의 피부색 영역들로 구분하는 것을 특징으로 하는 디지털 영상 신호 처리 방법.
제5항에 있어서, 상기 복수의 인물들은 인종이 다른 인물들을 포함하는 것을 특징으로 하는 디지털 영상 신호 처리 방법.
다른 색 보정 처리를 요하는 복수의 피사체들을 포함하는 영상을 입력하는 영상 입력부;

상기 피사체들의 일 영역들을 검출하는 영역 검출부;

상기 피사체들의 일 영역들의 영상 정보들을 이용하여 색 분포도를 형성하는 색 분포도 형성부;

상기 색 분포도에서 복수의 색 영역들을 구분하는 색 영역 분할부; 및

상기 영상 중에서, 상기 색 영역들 각각에 해당하는 영역들에 대하여 해당 색 보정 처리를 행하는 색 보정부;를 포함하는 디지털 영상 신호 처리 장치.
제12항에 있어서, 상기 피사체들의 일 영역들의 보정 대상을 추출하는 보정 대상 추출부를 더 포함하는 디지털 영상 신호 처리 장치.
제13항에 있어서, 상기 영상 정보는 채널(channel) 별로 나타내어지는 색상 정보인 것을 특징으로 하는 디지털 영상 신호 처리 장치.
다른 피부색을 갖는 복수의 인물들을 포함하는 영상을 입력하는 영상 입력부;

상기 영상으로부터 상기 복수의 인물들의 얼굴 영역들을 검출하는 얼굴 영역 검출부;

상기 얼굴 영역들의 영상 정보들을 이용하여 피부색 분포도를 형성하는 피부색 분포도 형성부;

상기 피부색 분포도에서 복수의 피부색 영역들을 구분하는 피부색 영역 분할부; 및

상기 복수의 피부색 영역들 각각에 해당하는 상기 영상의 피부 영역들에 대해 보정을 행하는 피부색 보정부;를 구비하는 디지털 영상 신호 처리 장치.
제15항에 있어서, 상기 얼굴 영역들의 영상 정보들은 색상, 채도 및 명도 중 에서 선택된 적어도 하나를 포함하는 것을 특징으로 하는 디지털 영상 신호 처리 장치.
제15항에 있어서, 상기 얼굴 영역들의 영상 정보들을 이용하여 피부색을 추출하는 피부색 추출부를 더 구비하는 디지털 영상 신호 처리 장치.
제17항에 있어서, 상기 피부색 분포도 형성부는 상기 피부색 추출부에서 추출한 상기 피부색을 채널(channel) 별로 나타내어 피부색 분포도를 형성하는 것을 특징으로 하는 디지털 영상 신호 처리 장치.
제15항에 있어서, 상기 피부색 분포도는 복수의 가우시안 분포들을 포함하는 것을 특징으로 하는 디지털 영상 신호 처리 장치.
제15항에 있어서, 상기 복수의 인물들은 인종이 다른 인물들을 포함하는 것을 특징으로 하는 디지털 영상 신호 처리 장치.