KR101204724B1 - 화상 처리 장치, 화상 처리 방법, 및 기록 매체 - Google Patents

화상 처리 장치, 화상 처리 방법, 및 기록 매체 Download PDF

Info

Publication number
KR101204724B1
KR101204724B1 KR1020120082462A KR20120082462A KR101204724B1 KR 101204724 B1 KR101204724 B1 KR 101204724B1 KR 1020120082462 A KR1020120082462 A KR 1020120082462A KR 20120082462 A KR20120082462 A KR 20120082462A KR 101204724 B1 KR101204724 B1 KR 101204724B1
Authority
KR
South Korea
Prior art keywords
area
image
color
saturation
skin color
Prior art date
Application number
KR1020120082462A
Other languages
English (en)
Other versions
KR20120099608A (ko
Inventor
고스케 마쓰모토
에리나 이치카와
Original Assignee
가시오게산키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가시오게산키 가부시키가이샤 filed Critical 가시오게산키 가부시키가이샤
Publication of KR20120099608A publication Critical patent/KR20120099608A/ko
Application granted granted Critical
Publication of KR101204724B1 publication Critical patent/KR101204724B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 화상 처리 장치, 화상 처리 방법, 및 기록 매체에 관한 것으로서, 본 발명의 화상 처리 장치는, 화상을 취득하는 화상 취득 수단과; 상기 화상 취득 수단에 의해 취득된 화상으로부터 소정의 색 영역을 검출하는 색 영역 검출 수단과; 상기 색 영역 검출 수단에 의해 검출된 상기 색 영역의 채도, 및 명도에 기초하여, 조정해야 할 영역을 지정하는 영역 지정 수단과; 상기 영역 지정 수단에 의해 지정된 상기 조정해야 할 영역의 화소의 색상, 채도, 및 명도 중 적어도 하나를 조정하는 색 조정 수단을 구비하는 것을 특징으로 한다.

Description

화상 처리 장치, 화상 처리 방법, 및 기록 매체{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND STORAGE MEDIUM THEREOF}
본 발명은, 화상 처리 장치, 화상 처리 방법, 및 기록 매체에 관한 것이다.
예를 들면, 특허 문헌 1(일본 특허출원 공개번호 2006-121416호 공보)에는, 인물을 촬영한 디지털 화상의 얼굴 영역에 대하여, 하이라이트 가공하는 부분을 보다 밝게 하는 미백 처리를 행하는 기술이 개시되어 있다.
상기 특허 문헌 1에 기재된 화상 처리 방법에서는, 처리 대상의 원화상으로부터 흐릿한 화상을 생성하고, 이 흐릿한 화상을 이용하여 하이라이트 가공하는 부분을 보다 밝게 하는 미백 처리를 행하고 있다.
인물을 촬영하는 경우, 얼굴 표면의 지방 성분 등에 의해, 촬영 시의 실내의 조명이나 플래시의 발광 등이 사람의 얼굴에 비추어져, 촬영한 화상에 부자연스러운 광택이 발생하는 경우가 있다. 이 부자연스러운 광택을 「번들거림(shine)」이라고 한다. 상기 특허 문헌 1에 기재된 화상 처리 방법에서는, 처리 대상이 되는 얼굴의 화상에 번들거림 성분이 있는 경우, 미백 처리에 의해 그 번들거림 성분의 영역을 확대하여, 번들거림을 경감시킬 수 없었다.
(특허문헌 1) 특허 문헌 1: 일본 특허출원 공개번호 2006-121416호 공보
본 발명은, 촬상된 화상에 포함되는 얼굴의 번들거림 성분을 경감하여, 보다 바람직한 화상으로 변환할 수 있는 화상 처리 장치, 화상 처리 방법 및 기록 매체를 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여, 본 발명의 일실시예는,
화상을 취득하는 화상 취득 수단과; 상기 화상 취득 수단에 의해 취득된 화상으로부터 소정의 색 영역을 검출하는 색 영역 검출 수단과; 상기 색 영역 검출 수단에 의해 검출된 상기 색 영역의 채도 및 명도에 기초하여, 조정해야 할 영역을 지정하는 영역 지정 수단과; 상기 영역 지정 수단에 의해 지정된 상기 조정해야 할 영역의 화소의 색상, 채도, 및 명도 중 적어도 하나를 조정하는 색 조정 수단을 구비하는 화상 처리 장치이다.
상기 목적을 달성하기 위하여, 본 발명의 일실시예는,
화상을 취득하는 화상 취득 단계와; 상기 화상 취득 단계에 의해 취득된 화상으로부터 소정의 색 영역을 검출하는 색 영역 검출 단계와; 상기 색 영역 검출 단계에 의해 검출된 상기 색 영역의 채도 및 명도에 기초하여, 조정해야 할 영역을 지정하는 영역 지정 단계와; 상기 영역 지정 단계에 의해 지정된 상기 조정해야 할 영역의 화소의 색상, 채도, 및 명도 중 적어도 하나를 조정하는 색 조정 단계를 구비하는 화상 처리 방법이다.
상기 목적을 달성하기 위하여, 본 발명의 일실시예는,
화상을 취득하는 화상 취득 수단을 구비한 컴퓨터를,
상기 화상 취득 수단에 의해 취득된 화상으로부터 소정의 색 영역을 검출하는 색 영역 검출 수단; 상기 색 영역 검출 수단에 의해 검출된 상기 색 영역의 채도 및 명도에 기초하여, 조정해야 할 영역을 지정하는 영역 지정 수단; 상기 영역 지정 수단에 의해 지정된 상기 조정해야 할 영역의 화소의 색상, 채도, 및 명도 중 적어도 하나를 조정하는 색 조정 수단으로서 기능하게 하기 위한 화상 처리 프로그램을 기록한 기록 매체이다.
본 발명에 의하면, 촬상된 화상에 포함되는 얼굴의 번들거림 성분을 경감하여, 보다 바람직한 화상으로 변환할 수 있다.
도 1은 본 발명의 일실시예에 의한 화상 처리 장치로서 기능하는 디지털 카메라의 회로 구성을 나타낸 블록도이다.
도 2는 RGB 색공간을 설명하기 위한 모식도이다.
도 3은 HSV 색공간을 설명하기 위한 모식도이다.
도 4는 도 1의 디지털 카메라에 의해 촬상한 화상 데이터로부터 번들거림 성분을 경감함으로써, 번들거림을 억제하는 번들거림 억제 처리로서, 제1 실시예에 따른 번들거림 억제 처리의 단계를 나타내는 흐름도이다.
도 5는 HSV 색공간에 있어서 색상값 H가 분포하는 원형 영역의 모식도이다.
도 6은 도 3에 나타내는 HSV 색공간의 부분 단면도이다.
도 7은 도 1의 디지털 카메라에 의해 촬상한 화상 데이터로부터 번들거림 성분을 경감함으로써, 번들거림을 억제하는 번들거림 억제 처리로서, 제2 실시예에 따른 번들거림 억제 처리의 단계를 나타내는 흐름도이다.
도 8은 도 7의 제2 실시예에 따른 번들거림 억제 처리에서의 개인의 목표값의 산출 방법의 일례를 설명하는 도면이며, 이와 같은 피부색 취득 영역의 각 화소가 플롯된(poltted) HSV 공간 부분 상면도 및 부분 단면도를 나타내고 있다.
도 9는 도 7의 제2 실시예에 따른 번들거림 억제 처리에서의 개인 목표값의 산출 방법의 일례를 설명하는 도면이며, HSV 공간의 부분 상면도를 나타내고 있다.
도 10은 도 1의 디지털 카메라에 의해 촬상한 화상 데이터로부터 번들거림 성분을 경감함으로써, 번들거림을 억제하는 번들거림 억제 처리로서, 제3 실시예에 따른 번들거림 억제 처리의 단계를 나타내는 흐름도이다.
도 11은 도 10의 제3 실시예에 따른 번들거림 억제 처리 중, 번들거림 억제 방식 선택 처리의 단계를 상세하게 나타내는 흐름도이다.
이하, 본 발명을 실시예에 대하여, 도면을 참조하여 설명한다.
[제1 실시예]
도 1은, 본 발명의 제1 실시예에 따른 화상 처리 장치로서 기능하는 디지털 카메라(1)의 회로 구성을 나타낸 도면이다.
본 실시예의 디지털 카메라(1)는, 기본이 되는 동작 모드로서, 정지 화상이나 동영상을 촬영하기 위한 기록 모드와, 촬영한 화상을 재생하기 위한 재생 모드를 가지고 있다. 그리고, 촬영 모드는, 통상 모드, 장면 모드, 무비 모드 등을 구비한다. 이 중, 장면 모드의 하위 모드로서, 인물 촬영 모드, 풍경 촬영 모드, 야경 촬영 모드 등이 설정되어 있다. 인물 촬영 모드는, 인물을 촬영하는데 적합한 촬영 모드이다.
디지털 카메라(1)는, 도 1에 나타낸 바와 같이, 촬영 렌즈(2)와, 촬상부(3)와, 전처리부(4)와, 처리 정보 기억부(5)와, 프로그램 메모리(6)와, 화상 처리부(7)와, 제어부(8)와, 화상 기록부(9)와, 표시부(10)와, 키 입력부(11)와, 발광부(12)를 구비한다.
촬영 렌즈(2)는, 입사한 피사체의 광을 후술하는 촬상부(3)에 광학 상으로서 결상하기 위한 광학 렌즈이며, 포커스 렌즈, 줌 렌즈 등으로 구성된다.
촬상부(3)는, CMOS(Complementary Metal Oxide Semiconductor) 등의 이미지 센서로 이루어지고, 촬영 렌즈(2)의 광축 상에 배치되어 있다. 촬상부(3)는, 촬영 렌즈(2)에 의해 수속(收束)된 촬영 광을 수광하고, 수광면에 결상된 피사체의 광학 상을 광전 변환하여, 아날로그의 촬상 신호로서 출력한다. 촬영 렌즈(2) 및 촬상부(3)는, 본 발명에서의 화상 취득 수단으로서 기능한다.
전처리부(4)는, 촬상부(3)로부터 출력된 피사체의 광학 상에 대응하는 아날로그의 촬상 신호가 입력되고, 입력된 촬상 신호를 유지하는 CDS(상관 2중 샘플링), 이 촬상 신호를 증폭하여 증폭된 촬상 신호를 디지털의 화상 데이터로 변환하는 A/D 변환기(ADC) 등을 제어한다. 촬상부(3)가 출력한 촬상 신호는, 전처리부(4)를 거쳐, 디지털의 화상 데이터로서 화상 기록부(9)에 보내진다. 전처리부(4)의 처리는, 제어부(8)의 명령에 따라 실행된다.
처리 정보 기억부(5)는, 화상 데이터를 조정할 때 사용하는 데이터를 처리 정보로서 기억한다. 처리 정보 기억부(5)는, 제1 실시예에서는, 적어도 백색 성분 게인 테이블 기억부(5a)와, 번들거림 성분 게인 테이블 기억부(5b)를 구비한다.
백색 성분 게인 테이블 기억부(5a)는, 후술하는 피부색 영역으로서 지정된 각 화소에 대하여, 백색도(degree of whiteness)를 판정할 때 사용하는 채도 게인값을 테이블로 만들어 기억한다. 번들거림 성분 게인 테이블 기억부(5b)는, 동일하게 피부색 영역으로서 지정된 각 화소에 대하여, 번들거림 성분 정도(degree of shininess)를 판정할 때 사용하는 채도 게인값 및 명도 게인값을 테이블로 만들어 기억한다.
프로그램 메모리(6)는, 화상 처리부(7), 제어부(8) 등으로 실행하는 각종 처리에 대응하는 프로그램을 기억한다.
화상 처리부(7)는, 후술하는 화상 처리에 대한 각종 처리를 행한다. 화상 처리부(7)는, 본 발명에서의 색 영역 검출 수단, 영역 지정 수단, 색 조정 수단, 얼굴 검출 수단, 영역 설정 수단, 촬영 조건 설정 수단, 및 강도 산출 수단의 각 수단으로서 기능한다.
또한, 화상 처리부(7)는, 촬영된 화상에서의 RGB 색공간 신호와, HSV 색공간신호를 서로 변환하는 처리를 행한다. RGB 색공간이란, 적(R), 녹(G), 청(B)의 3개의 성분으로 이루어지는 색공간을 말한다. 또한, HSV 색공간이란, 색상(H: Hue), 채도(S: Saturation?Chroma), 명도(V: Brightness?Lightness?Value)의 3개의 성분으로 이루어지는 HSV 모델(HSV model)에 의해 표시되는 색공간을 말한다. HSV 색공간에 대해서는 후술한다.
도 1로 되돌아가서, 제어부(8)는, 예를 들면, 중앙 처리 장치(CPU)이며, 프로그램 메모리(6)에 기억된 프로그램에 따라 디지털 카메라(1) 전체를 제어한다. 제어부(8)는, 전처리부(4), 화상 처리부(7)의 각 처리부도 제어한다. 또한, 후술하는 촬영 모드 설정키(11b)의 조작에 따라, 촬영 모드를 설정하고, 설정된 촬영 모드에 따라 촬상부에 의한 촬상의 조건을 설정한다. 제어부(8)는 본 발명에서의 설정 수단 및 촬영 조건 설정 수단이다.
*화상 기록부(9)는, 촬상부(3)에 의해 촬상되어 전처리부(4)에서 사전 처리된 화상 데이터를 기억한다. 화상 재생 시에, 제어부(8)는, 화상 기록부(9)로부터 화상 데이터를 판독하여, 표시부(10)에 표시하게 한다.
표시부(10)는, 예를 들면, 컬러 TFT(Thin Film Transistor) 액정이나, STN(Super Twisted Nematic) 액정 등이며, 제어부(8)의 제어에 따라 프리뷰 화상이나, 촬영 후의 화상 데이터, 설정 메뉴 등을 표시한다.
키 입력부(11)는, 사용자로부터의 지시를 입력한다. 키 입력부(11)는, 셔터키(11a)와 촬영 모드 설정키(11b)를 포함한다. 셔터키(11a)는, 사용자로부터의 촬상 개시의 지시를 입력하는 입력부이다. 촬영 모드 설정키(11b)는, 사용자로부터 원하는 동작 모드 설정의 지시를 입력하는 입력부이다.
발광부(12)는, 피사체에 대하여 플래시 광을 조사하는 발광 장치이다. 플래시 광을 조사하여 촬영한 인물의 얼굴에는 번들거림 성분이 발생하기 쉽기 때문에, 본 실시예에서는, 플래시 광을 수반하여 촬상된 화상으로부터, 후술하는 번들거림 제거 처리를 실시하도록 하고 있다.
다음으로, RGB 색공간과 HSV 색공간에 대하여 설명한다. 도 2는, RGB 색공간을 설명하기 위한 모식도이며, 도 3은, HSV 색공간을 설명하기 위한 모식도이다.
전처리부(4)에 의해 처리된 화상 데이터는, 도 2에 나타낸 바와 같이, 적(R), 녹(G), 청(B)의 3개의 성분으로 이루어지는 색공간으로 나타낼 수 있다. 본 실시예의 화상 처리부(7)는, 화상 데이터를, RGB 색공간으로부터 HSV 색공간으로 색공간 변환하는 기능을 가진다.
HSV 색공간은, 도 3에 나타낸 바와 같이, 원추 C를 사용하여 표현할 수 있다. 원추 C로 표현된 HSV 색공간은, 색상 H를, 원추 C의 바닥면으로 하는 원형 영역에 그려서 표현한다. 색상 H는, 적, 청, 황 등의 색의 종류를 나타내고, 0°～359° 범위의 강도 분포로 표현된다.
채도 S는, 원추 C의 바닥면인 원형 영역의 중심으로부터 원주 방향으로의 거리(반경)로 표현된다. 채도 S는, 색의 선명함을 나타내며, 원형 영역의 중앙을 0(제로)로 하여 0～255의 범위로 표현된다. HSV 색공간에서는, 채도 S의 값이 작아짐에 따라 회색이 현저하게 되어, 칙칙한 색(dull color)으로 채도 S가 표현된다.
명도 V는, 원추 C의 꼭지점으로부터 바닥면 방향으로의 거리에 의해 표현된다. 명도 V는, 색의 밝기를 나타내면, 꼭지점을 0(제로)로 하여 0～255의 범위로 나태낼 수 있다. HSV 색공간에서는, 명도 V의 값이 작아짐에 따라 어두운 색으로 명도 V가 표현된다.
이어서, 제1 실시예의 디지털 카메라(1)에 있어서, 촬상한 화상 데이터로부터 번들거림 성분을 경감함으로써, 번들거림을 억제하는 처리(이하, 「번들거림 억제 처리」라고 함)의 단계를 도 4에 나타내는 흐름도를 참조하여 설명한다. 이하의 처리는, 도 1에 나타내는 제어부(8)가 각 부를 제어함으로써 실행된다. 또한, 본 흐름도의 처리는, 사용자가 촬영 모드 설정키(11b)를 조작하여 어떤 하나의 촬영 모드를 설정한 후, 셔터키(11a)를 조작하여 촬상의 기록 개시를 지시했을 때 시작된다.
먼저, 단계 S1에 있어서, 화상 처리부(7)는, 전처리부(4)에 의해 처리된 화상 데이터를 화상 기록부(9)로부터 취득한다. 그리고, 화소 사이즈가 큰 경우에는 처리에 시간이 걸리기 때문에, 화상 기록부(9)에 보존된 화상 데이터를 축소하여 축소 화상 데이터를 생성하고, 이 축소 화상 데이터에 대하여 이하의 처리를 실시해도 된다.
단계 S2에 있어서, 화상 처리부(7)는, 취득한 화상 데이터가 발광부(12)에 의한 플래시 광을 수반하여 촬상된 화상 데이터인지를 판단한다. 여기서는, 제어부(8)가, 예를 들면, 발광부(12)가 플래시 광을 조사했는지의 여부에 기초하여 판단해도 되고, 또는 화상 데이터에 부가된 촬영 정보를 참조함으로써, 플래시 광을 동반한 촬상인지의 여부를 판단해도 된다. 단계 S2의 판단이 YES이면, 단계 S3으로 진행된다. 단계 S3에 있어서, 화상 처리부(7)는, 화상 데이터에 대하여 얼굴 검출 처리를 실시한다. 얼굴 검출 처리에 대한 것은, 공지된 기술이므로 자세한 설명은 생략한다.
단계 S4에 있어서, 화상 처리부(7)는, 화상으로부터 얼굴 영역이 검출되었는지를 판단한다. 단계 S4의 판단에서 YES이면, 단계 S5에 있어서, 화상 처리부(7)는, 얼굴 영역의 화상 데이터를, RGB 색공간으로부터 HSV 색공간으로 색공간 변환한다. 단계 S6에 있어서, 화상 처리부(7)는, HSV 색공간의 화상으로부터 색상 H를 취득하여, 인물의 피부색에 상당하는 피부색 영역을 지정한다.
도 5는, HSV 색공간에 있어서 색상값 H가 분포하는 원형 영역의 모식도이다. 인물의 피부색에 상당하는 피부색 영역은, 대체로 색상값 H가 도면 중의 사선으로 나타낸 범위에 분포하는 화소의 집합이 된다. 화상 처리부(7)는, HSV 색공간의 화상으로부터, 이 범위 내에 있는 화소를 피부색 영역으로서 지정한다.
단계 S7에 있어서, 화상 처리부(7)는, 피부색 영역 중에서, 채도 S가 소정값 이하이고, 또한 명도 V가 소정값 이상인 화소로 이루어지는 영역을 조정해야 할 영역(처리 영역)으로서 지정한다. 처리 영역은, 피부색 영역 중, 번들거림 성분으로서 특정되는 영역이다. 이어서, 단계 S8에 있어서, 화상 처리부(7)는, 처리 영역에서의 번들거림 성분의 강도를 산출한다.
여기서는, 처리 영역의 각 화소에 대하여, 백색도와 번들거림 성분 정도를 판정하는 처리를 행한다. 백색도의 판정에서는, 백색 성분 게인 테이블 기억부(5a)에 기억되어 있는 채도 게인값 판정 대상이 되는 화소의 채도를 비교한다. 백색 성분은 채도가 매우 낮기 때문에, 화소의 채도와 채도 게인값을 비교함으로써, 그 화소의 백색도를 산출할 수 있다. 또한, 번들거림 성분 정도의 판정에서는, 번들거림 성분 게인 테이블 기억부(5b)에 기억되어 있는 채도 게인값 및 명도 게인값과 판정 대상으로 되는 화소의 채도 및 명도의 값을 비교한다. 번들거림 성분은 채도가 낮고, 명도는 높으므로, 채도 게인값 및 명도 게인값과 화소의 채도 및 명도의 값을 비교함으로써, 그 화소의 번들거림 성분 정도를 산출할 수 있다. 화상 처리부(7)는, 판정 대상으로 되는 각 화소에 대하여, 백색도와 번들거림 성분 정도로부터, 번들거림 성분으로서의 강도(번들거림 강도)를 산출한다.
단계 S9에 있어서, 화상 처리부(7)는, 번들거림 성분의 강도에 기초하여, 처리 영역의 각 화소에 대하여 채도 S 및 명도 V를 조정한다. 도 6은, 도 3에 나타내는 HSV 색공간의 부분 단면도이다. 단계 S7에서 지정된 처리 영역을 구성하는 화소 중 하나인 화소 A는, 도 6에 나타낸 바와 같이, 채도 S가 낮고, 또한 명도 V가 높은 위치에 있다. 그래서, 단계 S9에서는, 처리 영역을 구성하는 모든 화소에 대하여 번들거림 성분의 강도에 기초하여, 채도 S를 높이고, 또한 명도 V를 낮게 함으로써 피부색에 가까워지도록 조정한다. 여기서는, 명도 V를 낮추면 회색이 되므로, 동시에 채도 S를 높게 함으로써, 본래의 피부색에 근접시킬 수 있다.
전술한 바와 같이 채도 및 명도를 조정함으로써, 도 6에 나타낸 처리 영역 중의 화소 A는, 도면 중 실선으로 나타내는 위치로부터 파선으로 나타내는 위치가 되도록 조정된다. 이 처리에 의해, 피부색 영역에서의 번들거림 성분이 경감되어 본래의 피부색에 가까운 화상에 근접시킬 수 있다.
단계 S10에 있어서, 화상 처리부(7)는, 번들거림 성분을 경감한 처리 영역을 포함하는 얼굴 영역의 화상 데이터를, HSV 색공간으로부터 RGB 색공간으로 색공간 변환한다.
이와 같이, 제1 실시예에 따른 도 4의 번들거림 억제 처리 중, 단계 S5 내지 S10의 일련의 처리에 의해, 채도 S가 높아지고, 또한 명도 V가 낮아지도록 처리 영역이 조정되어, 처리 영역에서의 번들거림 성분이 경감되고, 그 결과 번들거림이 억제된다. 그래서, 이하, 단계 S5 내지 S10의 일련의 처리를 「제1 처리」라고 한다.
이와 같은 S10의 「제1 처리」가 종료되면, 처리는 단계 S11로 진행한다.
단계 S11에 있어서, 화상 처리부(7)는, 처리한 화상 데이터를 화상 기록부(9)에 기록한다.
또한, 단계 S2 또는 단계 S4의 판정이 NO이면, 단계 S12로 진행된다. 단계 S12에 있어서, 화상 처리부(7)는, 촬상한 화상 데이터를 그대로 화상 기록부(9)에 기록(재기록)한다. 단계 S11 또는 단계 S12 후에, 화상 처리부(7) 및 제어부(8)는, 본 흐름도의 처리를 종료한다.
제1 실시예의 디지털 카메라(1)에 의하면, 다음과 같은 효과를 가진다.
(1) 촬상된 화상 데이터 중에서 인물의 얼굴에서의 번들거림 성분인 처리 영역을 지정하고, 이 처리 영역의 채도 및 명도를 조정하도록 했으므로, 화상 데이터에 포함되는 번들거림 성분을 경감하여, 인물의 얼굴 화상 영역을 더욱 바람직한 화상으로 변환할 수 있다.
(2) 얼굴 검출 기능에 의해 화상 데이터로부터 얼굴 영역을 검출하고, 이 얼굴 영역으로부터 피부색 영역을 지정하도록 했으므로, 처리의 고속화를 도모할 수 있다.
(3) 피부색 영역에 있어서, 채도가 처리값 이하이면서, 또한 명도가 소정값 이상인 화소를 번들거림 성분인 처리 영역으로서 지정하도록 했으므로, 번들거림 성분의 화소를 효율적으로 판별할 수 있다.
(4) 촬상된 화상 데이터가, 플래시 광을 수반하여 촬상된 경우에 번들거림 성분을 경감하는, 번들거림 억제 처리를 실행하도록 했으므로, 번들거림 성분이 발생하기 쉬운 조건하에서 촬상된 화상 데이터에 대하여 효율적으로 번들거림 성분을 경감하는, 번들거림 억제 처리를 실행할 수 있다.
(5) 처리 영역의 채도 및 명도의 강도를 산출하고, 이 채도 및 명도의 강도에 기초하여 처리 영역의 각 화소의 채도 및 명도를 조정하도록 했으므로, 처리 영역의 각 화소에서의 채도 및 명도를 더욱 정확하게 조정할 수 있다.
[제2 실시예]
제2 실시예에서는, 피사체로 되어 있는 제2 처리가 실행된다.
그리고, 도 1의 디지털 카메라(1)는, 제2 실시예에 따른 화상 처리 장치로서도 기능한다. 따라서, 그 회로 구성의 설명에 대해서는, 제1 실시예와 동일하므로, 여기서는 생략한다. 다만, 제2 실시예의 처리 정보 기억부(5)에는, 백색 성분 게인 테이블 기억부(5a)와, 번들거림 성분 게인 테이블 기억부(5b)가 구비되어 있지 않으며, 후술하는 도 7의 번들거림 억제 처리에서 사용하는 각종 정보가 기억된다.
다음으로, 제2 실시예의 디지털 카메라(1)에 의해 실행되는 번들거림 억제 처리의 단계에 대하여, 도 7에 나타내는 흐름도를 참조하여 설명한다.
이하의 처리는, 도 1에 나타내는 제어부(8)가 각 부를 제어함으로써 실행된다. 또한, 본 흐름도의 처리는, 사용자가 촬영 모드 설정키(11b)를 조작하여 어떤 하나의 촬영 모드를 설정한 후, 셔터키(11a)를 조작하여 촬상의 기록 개시를 지시했을 때 시작한다.
단계 S21에 있어서, 화상 처리부(7)는, 전처리부(4)에 의해 처리된 화상 데이터를 화상 기록부(9)로부터 취득한다. 그리고, 화소 사이즈가 큰 경우에는 처리에 시간이 걸리므로, 화상 기록부(9)에 보존된 화상 데이터를 축소하여 축소 화상 데이터를 생성하고, 이 축소 화상 데이터에 대하여 이하의 처리를 실시해도 된다.
단계 S22에 있어서, 화상 처리부(7)는, 화상 데이터에 대하여 얼굴 검출 처리를 행함으로써, 상기 화상 데이터에 의해 나타내어지는 화상으로부터 얼굴 영역의 검출을 시도한다. 얼굴 검출 처리에 대해서는, 공지의 기술이므로 자세한 것은 생략한다.
단계 S23에 있어서, 화상 처리부(7)는, 화상으로부터 얼굴 영역이 검출되었는지의 여부를 판정한다.
화상으로부터 얼굴 영역이 검출되지 않은 경우, 단계 S23에 있어서 NO인 것으로 판정되어, 처리는 단계 S33으로 진행한다.
단계 S33에 있어서, 화상 처리부(7)는, 촬상한 화상 데이터를 그대로 화상 기록부(9)에 기록(재기록)한다. 이로써, 본 흐름도의 처리가 종료한다.
이에 비해, 화상으로부터 얼굴 영역이 검출된 경우, 단계 S23에 있어서 YES인 것으로 판정되어, 처리는 단계 S24로 진행한다.
단계 S24에 있어서, 화상 처리부(7)는, 단계 S22의 얼굴 검출 처리의 결과에 기초하여, 얼굴 영역 내에 포함되는 얼굴에 대한 각종 정보(이하, 이들 정보를 총괄적으로 「얼굴 정보」라고 함)를 취득한다.
구체적으로는, 예를 들면, 얼굴 영역을 둘러싸는 프레임의 좌표나, 상기 얼굴 영역 내에 포함되는 피사체의 눈의 위치의 좌표(이하, 「눈 위치 정보」라고 함) 등이, 얼굴 정보로서 취득된다.
단계 S25에 있어서, 화상 처리부(7)는, 단계 S24의 처리에서 취득한 얼굴 정보에 기초하여, 상기 얼굴 정보에 의해 특정되는 피사체의 개인의 피부색에 대한 정보(이하, 「피부 파라미터」라고 함)를 취득한다.
구체적으로는, 예를 들면, 화상 처리부(7)는, 얼굴 정보 중에서 눈 위치 정보에 기초하여, 눈 주변의 소정 영역을 「피부색 취득 영역」으로서 설정한다. 이 「피부색 취득 영역」은, 피사체로 되어 있는 개인의 피부 파라미터를 확실하게 취득할 수 있다고 판단되는 영역이다.
그리고, 피부색 취득 영역이 될 수 있는 영역은, 일반적으로는, 눈 밑, 코, 또는 뺨 등의 주변이며, 상기 피사체의 개인의 피부가 확실하게 존재하는 영역이 된다. 그러므로, 피부색 취득 영역을 산출하기 위하여, 여기서는 눈 위치 정보를 사용하고 있다. 그러나, 피부색 취득 영역을 산출하기 위해서는, 눈 위치 정보로 한정되지 않고, 피부색 취득 영역을 산출할 수 있는 얼굴 정보이면, 임의의 정보를 사용할 수 있다.
화상 처리부(7)는, 상기 피부색 취득 영역의 화상 데이터를, RGB 색공간으로부터 HSV 색공간으로 색공간 변환한다.
그리고, 화상 처리부(7)는, HSV 색공간 상의 피부색 취득 영역의 화상 데이터로부터, 다음의 (a) 내지 (c)의 정보를 피부 파라미터로서 취득한다.
그리고, 이하의 (a) 및 (b)의 정보에 있어서, 「그 인물」이란, 얼굴 영역이 검출된 개인, 즉 피부색 취득 영역에 포함되는 얼굴의 부분을 가지는 개인을 나타내고 있다. 또한, 「HSV」란, 색상 H, 채도 S, 및 명도 V의 각각의 값으로부터 정보가 구성되어 있는 것을 나타내고 있다.
(a) 인물의 번들거림 영역의 평균 파라미터 (HSV의 값) (이하, 「제1 파라미터」라고 약기함)
(b) 인물의 번들거림을 뺀 피부 영역의 평균 파라미터 (HSV의 값) (이하, 「제2 파라미터」라고 약기함)
(c) 피부색 취득 영역에서의 번들거림 영역의 점유율
즉, 화상 처리부(7)는, 피부색 취득 영역을, 번들거림 영역과, 그 외의 피부색 영역으로 구분한다. 그리고, 화상 처리부(7)는, 번들거림 영역을 구성하는 각 화소에 대한, 색상 H, 채도 S, 및 명도 V의 각각의 평균값을, 제1 파라미터로서 산출한다. 한편, 화상 처리부(7)는, 그 인물의 피부색 영역을 구성하는 각 화소에 대한, 색상 H, 채도 S, 및 명도 V의 각각의 평균값을, 제2 파라미터로서 산출한다. 또한, 화상 처리부(7)는, 피부색 취득 영역에서의 번들거림 영역의 점유율[%]을, 피부에 대한 번들거림 영역의 점유율로서 산출한다.
단계 S26에 있어서, 화상 처리부(7)는, 단계 S25의 처리에서 취득한 피부 파라미터에 기초하여, 목표값을 산출한다.
여기서, 「목표값」이란, 처리 영역의 각 화소에서의, 색상 H, 채도 S, 및 명도 V의 값(이하, 총괄적으로 「HSV값」이라고 함)을, 피사체가 되어 있는 개인의 피부색에 가깝도록 조정(보정)하는 경우에 사용되는 목표값이다. 이 목표값은, HSV 값으로서 구성된다.
예를 들면, 목표값은, 단계 S25의 처리에서 취득한 제1 파라미터와 제2 파라미터의 차분을 기초로 하여, 번들거림 영역의 점유율에 따라 산출된다.
이상 설명한 각종 정보, 즉 단계 S24의 처리에서 취득된 얼굴 정보, 단계 S25의 처리에서 연산된 피부 파라미터(여기서는, 제1 파라미터, 제2 파라미터, 및 피부에 대한 번들거림 영역의 점유율), 및 단계 S26의 처리에서 산출된 목표값은, 처리 정보 기억부(5)에 기억된다.
다음으로, 단계 S27에 있어서, 화상 처리부(7)는, 단계 S22의 처리에서 취득한 얼굴 영역의 화상 데이터를, RGB 색공간으로부터 HSV 색공간으로 색공간 변환한다.
단계 S28에 있어서, 화상 처리부(7)는, HSV 색공간의 화상으로부터 색상 H를 취득하고, 그 색상 H에 기초하여 피부색 영역을 지정한다.
단계 S29에 있어서, 화상 처리부(7)는, 단계 S28에서 화상 처리부(7)가 지정한 피부색 영역 중에서 처리 영역을 지정한다.
처리 영역이란, 제1 실시예에 따른 단계 S7의 설명에 있어서 전술한 바와 같이, 피부색 영역 중, 번들거림 성분으로서 특정되는 영역을 말한다.
따라서, 처리 영역의 지정 방법은, 번들거림 성분을 특정 가능한 방법이면 되나, 제2 실시예에서는, 제1 실시예와 동일한 방법, 즉 채도 S가 소정값 이하이고, 또한 명도 V가 소정값 이상인 화소로 이루어지는 영역이 처리 영역으로서 지정된다.
단계 S30에 있어서, 화상 처리부(7)는, 단계 S26의 처리에서 산출된 목표값에 기초하여, 단계 S29의 처리에서 지정한 각각의 처리 영역의 HSV 값을 보정한다.
이로써, 처리 영역의 번들거림 성분은 경감되어, 촬상 화상에 피사체로서 포함되는 개인의 피부색에 근접할 수 있다.
단계 S31에 있어서, 화상 처리부(7)는, 번들거림 성분을 경감하고 처리 영역을 포함하는 얼굴 영역의 화상 데이터를, HSV 색공간으로부터 RGB 색공간으로 색공간 변환한다.
이와 같이, 제2 실시예에 따른 도 7의 번들거림 억제 처리 중, 단계 S26 내지 S31의 일련의 처리에 의해, 피사체로 되어 있는 개인의 피부색이 고려되어, 처리 영역의 HSV 값이 각각 조정되어, 처리 영역에서의 번들거림 성분이 경감된다. 여기서, 이하, 단계 S26 내지 S31의 일련의 처리를, 「제2 처리」라고 한다.
이와 같은 제2 처리가 종료하면, 처리는 단계 S32로 진행한다.
단계 S32에 있어서, 화상 처리부(7)는, 처리한 화상 데이터를 화상 기록부(9)에 기록한다. 이로써, 본 흐름도의 처리가 종료한다.
다음으로, 도 7의 단계 S26의 처리의 구체예, 즉 목표값의 산출 처리의 구체예에 대하여, 도 8 및 도 9를 적당히 참조하여 설명한다.
전술한 바와 같이, 직전의 단계 S25에 있어서, 얼굴 영역 중, 피사체로 되어 있는 개인의 피부색을 정확하게 확보할 수 있는 영역이, 피부색 취득 영역으로서 산출된다. 그리고, 이 피부색 취득 영역이 번들거림 영역과 피부색 영역으로 구분되어, 번들거림 영역으로부터 제1 파라미터가 산출되고, 피부색 영역으로부터 제2 파라미터가 산출된다.
도 8은, 이와 같은 피부색 취득 영역의 각 화소가 플롯된 HSV 공간을 나타내고 있다. 상세하게는, 도 8의 (a)는, HSV 공간의 부분 상면도를 나타내고, 도 8의 (b)는, HSV 공간의 부분 단면도를 나타내고 있다.
*도 8의 (a)에 있어서, ×표는, 피부색 취득 영역 중 번들거림 영역을 구성하는 각 화소를 나타내고 있다. 이들 각 화소에 대한, 색상 H, 채도 S, 및 명도 V의 평균값이, 제1 파라미터(51)로서 산출되고 있다.
도 8의 (a)에 있어서, ○표(부호 52가 부여된 동그라미는 제외함)는, 피부색 취득 영역 중 피부색 영역을 구성하는 각 화소를 나타내고 있다. 이들 각 화소에 대한, 색상 H, 채도 S, 및 명도 V의 평균값이, 제2 파라미터(52)로서 산출되고 있다.
도 8의 (a) 및 도 8의 (b)에 나타낸 바와 같이, 목표값(53)은, 제1 파라미터(51)와 제2 파라미터(52)를 연결하는 선분 상의 점(도면 중 ●표)의 좌표값, 즉 상기 점에서의, 각각의 색상 H, 채도 S, 및 명도 V의 값으로서 표시된다.
이와 같은 목표값(53)은, 예를 들면, 다음과 같이 연산된다.
먼저, 화상 처리부(7)는, 제2 파라미터(52)의 각 HSV값과 제1 파라미터(51)의 각 HSV값의 각각의 차분을 산출한다.
다음으로, 화상 처리부(7)는, 산출한 각 차분의 절대값이 큰 경우에는, 목표값(53)을 제1 파라미터(51) 쪽으로 설정할 필요가 있다. 이와 같은 설정을 행하기 위해서는, 목표값(53)이 제1 파라미터(51)에 어느 정도 근접하는지를 나타내는 지표가 필요하게 된다. 이와 같은 지표 중, 제1 파라미터(51)를 시점(0%)으로 하고, 제2 파라미터(52)를 종점(100%)으로 하여, 제1 파라미터(51)와 제2 파라미터(52)를 연결하는 선분 상의 점의 위치를, 퍼센트값으로 표시한 것을, 이하에서, 「보정 비율」이라고 한다. 즉, 보정 비율이란, 목표값(53)이 제1 파라미터(51)의 값에 어느 정도 근접하는지를 나타내는 지표이며, 퍼센트값이 작을수록 제1 파라미터(51)에 가까운 값인 것을 나타내고 있다.
도 9는, 보정 비율을 설명하기 위한 HSV 공간의 부분 상면도의 예이다. 상세하게는, 도 9의 (a)는, 보정 비율이 15%인 경우의 목표값(53)을 나타내고 있다. 한편, 도 9의 (b)는, 보정 비율이 50%인 경우의 목표값(53)을 나타내고 있다. 도 9의 (a)와 도 9의 (b)를 비교해보면, 도 9의 (a)의 보정 비율이 15%인 경우의 목표값(53)이, 도 9의 (b)의 보정 비율이 50%인 경우의 목표값(53)보다, 제1 파라미터(51)에 근접해 있는 것을 알 수 있다.
여기서 화상 처리부(7)는, 발광부(12)에 의한 플래시 광을 수반하여 촬상되었는지의 여부, 및 제2 파라미터와 제1 파라미터와의 차분 등, 제반 조건에 기초하여 보정 비율을 설정한다.
그리고, 화상 처리부(7)는, 제1 파라미터, 제2 파라미터, 및 설정된 보정 비율로부터, 목표값(53)을 연산한다.
이상, 도 7의 단계 S26의 처리의 구체예, 즉 목표값의 산출 처리의 구체예에 대하여, 도 8 및 도 9를 적절하게 참조하여 설명하였다.
다음으로, 도 7의 단계 S30의 처리에 의해, 이와 같은 목표값에 근접하도록 처리 대상 영역의 개개의 화소의 HSV 값을 보정한다.
이상, 제2 실시예의 디지털 카메라(1)에 의하면, 제1 실시예와 동일한 효과를 가지는 점 외에, 피사체로 되어 있는 개인의 피부색을 고려한 제2 처리(도 7의 단계 S26 내지 S31 참조)가 더 실행된다. 즉, 개인의 피부색에 대응하는 색이, 목표값으로서 설정되고, 상기 목표값에 근접하도록, 처리 대상 영역의 개개의 화소가 적절하게 보정된다. 이로써, 피사체의 피부색에 기초하여 번들거림 성분을 경감시킬 수 있으므로, 자연스럽게 피사체의 번들거림을 억제할 수 있다.
[제3 실시예]
제3 실시예에 따른 번들거림 억제 처리에서는, 제1 실시예에 채용된 「제1 처리」(도 4의 단계 S5 내지 S10 참조)와 제2 실시예에 채용된「제2 처리」(도 7의 단계 S26 내지 S31 참조)가 선택적으로 실행된다.
그리고, 도 1의 디지털 카메라(1)는, 제3 실시예에 따른 화상 처리 장치로서도 기능한다. 따라서, 그 회로 구성의 설명에 대해서는, 제1 실시예와 동일하므로, 여기서는 생략한다.
여기서, 이하, 제3 실시예의 디지털 카메라(1)에 의해 실행되는 번들거림 억제 처리의 수순에 대하여, 도 10에 나타내는 흐름도를 참조하여 설명한다.
이하의 처리는, 도 1에 나타내는 제어부(8)가 각 부를 제어함으로써 실행된다. 또한, 본 흐름도의 처리는, 사용자가 촬영 모드 설정 키(11b)를 조작하여 어떤 하나의 촬영 모드를 설정하면, 시작된다. 또는, 셔터키(11a)를 반누름하는 조작이 행해지면 시작된다.
단계 S41에 있어서, 제어부(8)는, 촬상 및 라이브뷰 표시를 실행한다
제어부(8)는, 라이브뷰 촬상 시에 처리 정보 기억부(5) 등에 일시적으로 기억된 각 프레임 화상의 화상 데이터를 차례로 판독하여, 각각에 대응하는 프레임 화상을 표시부(10)에 차례로 표시하게 한다. 이와 같은 일련의 처리가, 여기서는 「라이브뷰 표시」로 불리운다. 이와 같은 라이브뷰 표시에 의해 표시부(10)에 표시되는 프레임 화상을, 이하, 「라이브뷰 화상」이라고 칭한다.
그리고, 촬상이나 라이브뷰 표시는, 제1 실시예나 제2 실시예의 디지털 카메라(1)에 있어서도, 당연히 실행된다. 즉, 도 4나 도 7에 나타내는 흐름도는, 전술한 바와 같은, 셔터키(11a)가 눌러져서(완전 누름) 촬상 화상의 기록의 지시가 행해진 후의 처리를 나타내고 있으므로, 촬상이나 라이브뷰 표시를 행하는 단계의 표시가 생략되어 있는 것에 지나지 않는다.
단계 S42에 있어서, 화상 처리부(7)는, 라이브뷰 화상의 화상 데이터에 대하여 얼굴 검출 처리를 실시함으로써, 상기 라이브뷰 화상으로부터 얼굴 영역의 검출을 시도한다. 얼굴 검출 처리에 대해서는, 공지의 기술이므로 자세한 것은 생략한다.
얼굴 검출 처리의 결과가 처리 정보 기억부(5)에 기억되면, 처리는 단계 S43으로 진행한다.
단계 S43에 있어서, 제어부(8)는, 셔터키(11a)가 눌려졌는지(완전 누름되었는지)의 여부를 판정한다.
사용자가 셔터키(11a)를 완전히 누르고 있지 않은 경우, 단계 S43에서 NO인 것으로 판정되고, 처리는 단계 S41로 되돌려진다. 즉, 사용자가 셔터키(11a)를 완전히 누를 때까지, 단계 S41 내지 S43의 루프 처리가 반복되어, 라이브뷰 화상이 표시부(10)에 계속 표시되고, 그 동안, 라이브뷰 화상에 대한 얼굴 검출 처리가 반복적으로 실행된다.
그 후, 사용자가 셔터키(11a)를 완전히 누르면, 단계 S43에 있어서 YES인 것으로 판정되고, 촬상 화상의 기록이 지시된 것으로 하여, 처리는 단계 S45로 진행한다. 이 이후, 전처리부(4)에 의해 처리된 프레임 화상의 화상 데이터는, 화상 기록부(9)에 기록되는 것으로 한다.
단계 S44에 있어서, 화상 처리부(7)는, 전처리부(4)에 의해 처리된 프레임 화상의 화상 데이터를 화상 기록부(9)로부터 취득한다. 그리고, 화소 사이즈가 큰 경우에는 처리에 시간이 걸리므로, 화상 기록부(9)에 보존된 화상 데이터를 축소하여 축소 화상 데이터를 생성하고, 이 축소 화상 데이터에 대하여 이하의 처리를 실시해도 된다.
단계 S45에 있어서, 화상 처리부(7)는, 단계 S44의 처리에서 취득한 프레임 화상의 화상 데이터에 대하여 얼굴 검출 처리를 실시함으로써, 상기 프레임 화상으로부터 얼굴 영역의 검출을 시도한다. 얼굴 검출 처리에 대해서는, 공지의 기술이므로 자세한 것은 생략한다.
단계 S46에 있어서, 화상 처리부(7)는, 프레임 화상으로부터 얼굴 영역이 검출되었는지의 여부를 판정한다.
프레임 화상으로부터 얼굴 영역이 검출되지 않은 경우, 단계 S46에서 NO인 것으로 판정되어, 처리는 단계 S54로 진행한다.
단계 S54에 있어서, 화상 처리부(7)는, 촬상한 화상 데이터를 그대로 화상 기록부(9)에 기록(재기록)한다. 이로써, 본 흐름도의 처리가 종료한다.
이에 비해, 프레임 화상으로부터 얼굴 영역이 검출된 경우, 단계 S46에서 YES인 것으로 판정되어, 처리는 단계 S47로 진행한다.
단계 S47에 있어서, 화상 처리부(7)는, 단계 S45의 얼굴 검출 처리의 결과에 기초하여, 얼굴 정보를 취득한다.
구체적으로는, 예를 들면, 얼굴 영역을 둘러싸는 프레임의 좌표나, 상기 얼굴 영역 내에 포함되는 피사체의 눈 위치 정보 등이, 얼굴 정보로서 취득된다.
단계 S48에 있어서, 화상 처리부(7)는, 단계 S47의 처리에서 취득한 얼굴 정보에 기초하여, 피부 파라미터 등을 연산한다.
구체적으로는, 예를 들면, 화상 처리부(7)는, 제2 실시예에 따른 도 7의 단계 S25의 처리와 마찬가지로, 눈 위치 정보에 기초하여, 얼굴 영역 중, 피사체로 되어 있는 개인의 피부 정보를 정확하게 취득할 수 있는 영역을, 피부색 취득 영역으로서 산출한다.
화상 처리부(7)는, 상기 피부색 확보 영역의 화상 데이터를, RGB 색공간으로부터 HSV 색공간으로 색공간 변환한다.
그리고, 화상 처리부(7)는, HSV 색공간상의 피부색 확보 영역의 화상 데이터로부터, 다음의 (a) 내지 (f)의 정보를 피부 파라미터 등으로서 연산한다.
(a) 제1 파라미터
(b) 제2 파라미터
(c) 피부색 취득 영역에서의 번들거림 영역의 점유율
(d) 제2 파라미터의 신뢰성도
(e) 화면 전체면에 대한 그 인물의 얼굴 면적
그리고, (a) 내지 (c)의 정보는, 제2 실시예에 의한 도 7의 단계 S25의 처리에서도 마찬가지로 연산되므로, 여기서는 그 설명에 대해서는 생략한다. 따라서, 제2 실시예에 따른 도 7의 단계 S25의 처리에서는 연산되지 않았던 (d) 및 (e)의 정보에 대해서만, 이하, 간단하게 설명한다.
즉, 화상 처리부(7)는, 제2 파라미터를 산출한 후, 그 제2 파라미터의 신뢰성도를, 퍼센트 표시로 산출한다. 이 경우의 산출 방법은 특별히 한정되지 않지만, 예를 들면, 일반적으로 피부색이 되는 색의 평균적인 HSV값과 피사체로서 포함되는 개인의 제2 파라미터의 HSV값을 비교하는 방법 등을 채용할 수 있다.
또한, 화상 처리부(7)는, 예를 들면, 프레임 화상(화면 전체면)에서의 얼굴 영역의 공간 점유율(퍼센트 표시)을, 화면 전체면에 대한 그 인물의 얼굴 면적으로서 연산한다.
또한, 제3 실시예에서는, 화상 처리부(7)는, 단계 S48의 처리의 일부로서, 다음과 같은 처리를 실행한다.
즉, 직전의 단계 S47의 처리에서는, 얼굴 정보의 하나로서 얼굴 영역을 둘러싸는 프레임의 좌표가 취득되고 있다.
여기서, 화상 처리부(7)는, 이와 같은 얼굴 영역을 둘러싸는 프레임의 좌표에 따라 프레임 화상 중, 얼굴 영역을 둘러싸는 프레임 이외의 영역을, 배경 영역으로서 산출한다.
화상 처리부(7)는, 상기 배경 영역의 화상 데이터를, RGB 색공간으로부터 HSV 색공간으로 변환한다.
그리고, 화상 처리부(7)는, 나아가서는 HSV 색공간 상의 배경 영역의 화상 데이터로부터, 다음의 (f) 및 (g)의 정보를 피부 파라미터 등으로서 연산한다.
그리고, 이하의 (f) 및 (g)의 정보에 있어서, 「배경」이란, 배경 영역에 포함되는 상을 나타내고 있다. 또한, 「HSV」이란, 색상 H, 채도 S, 및 명도 V의 각각의 값으로부터 정보가 구성되어 있는 것을 나타내고 있다.
(f) 배경 영역의 번들거림 영역의 평균 파라미터(HSV) (이하, 「제3 파라미터」라고 약기함)
(g) 배경의 피부색에 대한 배경부 번들거림의 %(이하, 「배경부 번들거림의 %」라고 약기함)
즉, 화상 처리부(7)는, 배경 영역을, 번들거림 영역(번들거림과 동일한 HSV 특성을 가지는 부분)과 그 이외의 피부색 영역으로 구분한다. 그리고, 화상 처리부(7)는, 번들거림 영역을 구성하는 각 화소에 대한, 색상 H, 채도 S, 및 명도 V 각각의 평균값을, 제3 파라미터로서 산출한다. 또한, 화상 처리부(7)는, 배경 영역에서의 번들거림 영역의 점유율[%]을 산출한다.
단계 S49에 있어서, 화상 처리부(7)는, 이와 같이하여 단계 S48의 처리에서 취득한 피부 파라미터 등에 기초하여, 번들거림을 억제하기 위한 보정 처리 방식으로서, 「제1 처리」(도 4의 단계 S5 내지 S10 참조)를 실행하는 방식과 「제2 처리」(도 7의 단계 S26 내지 S31 참조)를 실행하는 방식 중 어느 한쪽을 선택한다.
이와 같은 단계 S49의 처리를, 이하, 「번들거림 억제 방식 선택 처리」라고 한다. 번들거림 억제 방식 선택 처리의 상세한 것에 대하여는, 도 11을 참조하여 후술한다.
단계 S50에 있어서, 화상 처리부(7)는, 단계 S49의 번들거림 억제 방식 선택 처리로 선택한 방식은, 제2 처리를 실행하는 방식인지의 여부를 판정한다.
단계 S49의 번들거림 억제 방식 선택 처리에서, 「제1 처리」를 실행하는 방식이 선택된 경우, 단계 S50에 있어서 NO인 것으로 판정되어, 처리는 단계 S51로 진행한다.
단계 S51에 있어서, 화상 처리부(7)는, 「제1 처리」(도 4의 단계 S5 내지 S10 참조)를 실행한다.
이에 비해, 단계 S49의 번들거림 억제 방식 선택 처리에서, 「제2 처리」를 실행하는 방식이 선택된 경우, 단계 S50에 있어서 YES인 것으로 판정되어, 처리는 단계 S52로 진행한다.
단계 S52에 있어서, 화상 처리부(7)는, 「제2 처리」(도 7의 단계 S26 내지 S31 참조)를 실행한다.
이와 같이 하여, 단계 S44의 처리에서 취득된 화상 데이터에 대하여, 단계 S51의 「제1 처리」가 행해지거나, 또는 단계 S52의 「제2 처리」가 행해지면 처리는 단계 S53으로 진행한다.
단계 S53에 있어서, 화상 처리부(7)는, 단계 S51 또는 S52에서 처리한 화상 데이터를 화상 기록부(9)에 기록한다. 이로써, 본 흐름도의 처리가 종료한다.
다음으로, 도 10의 단계 S49의 번들거림 억제 방식 선택 처리의 단계에 대하여, 도 11에 나타내는 흐름도를 참조하여 설명한다.
단계 S61에 있어서, 화상 처리부(7)는, 도 10의 단계 S45의 얼굴 검출 처리에 있어서 검출된 얼굴의 인원수의 신뢰성(이하, 「간단히 「신뢰성」이라고 함)을 판정한다.
신뢰성의 판정 방법은, 특별히 한정되지 않지만, 예를 들면 본 실시예에서는, 다음과 같은 방법이 채용되었다.
즉, 도 10의 단계 S44의 처리에서 취득된 프레임 화상의 화상 데이터가, 발광부(12)에 의한 플래시 광을 수반하여 촬상된 화상 데이터인 경우에는, 신뢰성은 「1」로 판정된다.
또한, 단계 S44의 처리에서 취득된 프레임 화상의 화상 데이터가, 발광부(12)에 의한 플래시 광을 수반하지 않고 촬상된 화상 데이터이며, 단계 S45의 얼굴 검출 처리에서 상기 프레임 화상으로부터 얼굴이 검출된 인원수와 단계 S42의 얼굴 검출 처리에서 라이브뷰 화상으로부터 얼굴이 검출된 인원수가 일치하는 경우에는, 신뢰성은 「1」로 판정된다.
한편, 단계 S44의 처리에서 취득된 프레임 화상의 화상 데이터가, 발광부(12)에 의한 플래시 광을 수반하지 않고 촬상된 화상 데이터이며, 단계 S45의 얼굴 검출 처리에서 상기 프레임 화상으로부터 얼굴이 검출된 인원수와 단계 S42의 얼굴 검출 처리에서 라이브뷰 화상으로부터 얼굴이 검출된 인원수가 일치하지 않는 경우에는, 신뢰성은 「0」로 판정된다.
단계 S62에 있어서, 화상 처리부(7)는, 번들거림 억제 처리의 효과를 약화시키는 채도 S의 경계값(이하, 「경계값 S」라고 적절하게 칭함)을 설정한다.
즉, 제3 실시예 외에, 제1 실시예나 제2 실시예도 포함하여, 번들거림 억제 처리에서는, 경계값 S가 미리 설정되어 있고, 이와 같은 S 값을, 이하, 「초기 경계값」이라고 한다. 예를 들면, 초기 경계값은, 일반적으로는, 형광등 등의 백색 영역과 그 이외의 영역과의 경계가 되는 채도 S의 값이 설정된다. 즉, 초기 경계값을 사용한 번들거림 억제 처리에서는, 형광등 등의 백색 영역에 대해서만, 번들거림 억제 처리의 효과의 정도를 낮출 수 있다.
그러나, 피부색 확보 영역에서의 제1 파라미터의 채도 S의 값(이하, 「피부 번들거림 평균 S값」이라고 함)이, 제3 파라미터의 채도 S의 값(이하, 「배경 번들거림 평균 S값」이라고 함)을 웃돌고 있다.
이와 같이, 피부 번들거림 평균 S값이 배경 번들거림 평균 S값을 웃돌고 있는 상태에서는, 피부색 확보 영역 중 번들거림 영역인 영역에 대해서만, 번들거림 억제 처리가 이루어지면 된다.
그래서, 이와 같은 상태에서는, 화상 처리부(7)는, 피부 번들거림 평균 S값과 배경 번들거림 평균 S값(112) 사이의 값을, 경계값 S로서 설정한다. 이로써, 배경 영역에 대해서도, 번들거림 억제 처리 효과의 정도를 저감할 수 있게 된다.
단계 S63에 있어서, 화상 처리부(7)는, 단계 S61의 처리에서 판정한 신뢰성이 「1」인지의 여부를 판정한다.
신뢰성이 「0」인 경우, 단계 S63에 있어서 NO인 것으로 판정되어, 처리는 단계 S69로 진행한다. 단계 S69에 있어서, 화상 처리부(7)는, 번들거림 억제 방식으로서, 「제1 처리」(도 4의 단계 S5 내지 S10 참조)를 실행하는 방식을 선택한다.
이에 비해, 신뢰성이 「1」인 경우, 이 단계에서 번들거림 억제 방식을 선정하는 것은 아직도 불충분하므로, 단계 S63에 있어서 YES인 것으로 판정되어, 처리는 단계 S64로 진행한다.
단계 S64에 있어서, 화상 처리부(7)는, 피사체가 1명인지의 여부를 판정한다.
도 10의 단계 S44의 처리에서 취득된 프레임 화상의 화상 데이터에 대하여, 단계 S45의 얼굴 검출 처리가 실시된 결과로서, 복수의 얼굴이 검출된 경우, 즉 피사체가 2인 이상인 경우, 단계 S64에 있어서 NO인 것으로 판정되어, 처리는 단계 S69로 진행한다. 단계 S69에 있어서, 화상 처리부(7)는, 번들거림 억제 방식으로서, 「제1 처리」를 실행하는 방식을 선택한다.
이에 비해, 단계 S44의 처리에서 취득된 프레임 화상의 화상 데이터에 대하여, 단계 S45의 얼굴 검출 처리가 실시된 결과로서, 1명의 얼굴이 검출된 경우, 즉 피사체가 1명인 경우, 이 단계에서 번들거림 억제 방식을 선정하는 것은 아직도 불충분하므로, 단계 S64에 있어서 YES인 것으로 판정되어, 처리는 단계 S65로 진행한다.
그리고, 제3 실시예의 「제2 처리」는, 1명의 피사체의 개인의 피부색만을 고려하는 것을 전제로 하고 있으므로, 단계 S64의 처리가 설치되어 있다. 즉, 2인 이상의 피사체 각각의 개인의 피부색을 고려 가능한 「제2 처리」가 채용되어 있는 경우에는, 단계 S64의 처리는 생략 가능하다.
단계 S65에 있어서, 화상 처리부(7)는, 제2 파라미터의 신뢰성도(도 10의 단계 S48의 처리에서 취득되는 (d)의 정보)가 일정 레벨 이하인지의 여부를 판정한다.
제2 파라미터의 신뢰성도가 일정 레벨 이하인 경우, 단계 S65에 있어서 YES인 것으로 판정되어, 처리는 단계 S69로 진행한다. 단계 S69에 있어서, 화상 처리부(7)는, 번들거림 억제 방식으로서, 「제1 처리」를 실행하는 방식을 선택한다.
이에 비해, 제2 파라미터의 신뢰성도가 일정 레벨을 초과할 경우, 이 단계에서 번들거림 억제 방식을 선정하는 것은 아직도 불충분하므로, 단계 S65에 있어서 NO인 것으로 판정되어, 처리는 단계 S66으로 진행한다.
단계 S66에 있어서, 화상 처리부(7)는, 화면 전체면에 대한 그 인물의 얼굴 면적(도 10의 단계 S48의 처리에서 취득되는 (e)의 정보)이 일정 레벨 이상인지의 여부를 판정한다.
얼굴 면적이 일정 레벨 이상인 경우, 단계 S66에 있어서 YES인 것으로 판정되어, 처리는 단계 S70으로 진행한다. 단계 S70에 있어서, 화상 처리부(7)는, 번들거림 억제 방식으로서, 「제2 처리」(도 7의 단계 S26 내지 S31 참조)를 실행하는 방식을 선택한다.
이에 비해, 얼굴 면적이 일정 레벨 미만인 경우, 이 단계에서 번들거림 억제 방식을 선정하는 것은 아직도 불충분하므로, 단계 S66에 있어서 NO인 것으로 판정되어, 처리는 단계 S67로 진행한다.
단계 S67에 있어서, 화상 처리부(7)는, 제2 파라미터의 채도 S의 값(도 10의 단계 S48의 처리에서 취득되는 (b)의 정보이며, 이하, 「제2 파라미터의 S값」이라고 함)이 일정 범위 내에 있는지의 여부를 판정한다.
제2 파라미터의 S 값이 일정 범위 내의 값인 경우, 단계 S67에 있어서 YES인 것으로 판정되어, 처리는 단계 S70으로 진행한다. 단계 S70에 있어서, 화상 처리부(7)는, 번들거림 억제 방식으로서, 「제2 처리」를 실행하는 방식을 선택한다.
이에 비해, 제2 파라미터의 S값이 일정 범위로부터 벗어난 값인 경우, 이 단계에서 번들거림 억제 방식을 선정하는 것은 아직도 불충분하므로, 단계 S67에 있어서 NO인 것으로 판정되어, 처리는 단계 S68로 진행한다.
단계 S68에 있어서, 화상 처리부(7)는, 배경 영역에서의 번들거림 영역의 점유율(도 10의 단계 S48의 처리에서 취득된 (g)의 정보)이 일정 레벨 이하인지의 여부를 판정한다.
배경부 번들거림의 %가 일정 레벨 이하인 경우, 단계 S68에 있어서 YES인 것으로 판정되어, 처리는 단계 S70으로 진행한다. 단계 S70에 있어서, 화상 처리부(7)는, 번들거림 억제 방식으로서, 「제2 처리」를 실행하는 방식을 선택한다.
이에 비해, 배경부 번들거림의 %가 일정 레벨을 초과하고 있는 경우, 단계 S68에 있어서 NO인 것으로 판정되어, 처리는 단계 S69로 진행한다. 단계 S69에 있어서, 화상 처리부(7)는, 번들거림 억제 방식으로서, 「제1 처리」를 실행하는 방식을 선택한다.
이와 같이하여, 단계 S69 또는 S70의 처리에서 번들거림 억제 방식이 선택되면, 번들거림 억제 방식 선택 처리는 종료한다.
즉, 도 10의 단계 S49의 처리가 종료하고, 처리는 단계 S50으로 진행한다.
도 11의 단계 S69의 처리에서 「제1 처리」를 실행하는 방식이 선택된 경우, 단계 S50에 있어서 NO인 것으로 판정되어, 단계 S51의 처리에서, 「제1 처리」가 실행된다.
이에 비해, 도 11의 단계 S70의 처리에서 「제2 처리」를 실행하는 방식이 선택된 경우, 단계 S50에 있어서 YES인 것으로 판정되어, 단계 S52의 처리로, 「제2 처리」가 실행된다.
제3 실시예의 디지털 카메라(1)에 의하면, 제1 실시예와 마찬가지로, 전술한 (1) 내지 (5)의 효과를 가지고, 또한 제2 실시예와 마찬가지로, 전술한 (6) 내지 (8)의 효과를 가지는 것 외에, 또한 하기의 (9)의 효과를 가진다.
(9) 제2 실시예에 따른 「제2 처리」(도 7의 단계 S26 내지 S31 참조)를 실행함으로써, 전술한 (6)의 효과를 얻을 수 있다. 즉, 제1 실시예에 따른 「제1 처리」(도 4의 단계 S5 내지 S10 참조)에서는 적색을 띄는 것이 증가하는 문제가 발생한다. 전술한 (6)의 효과란, 전술한 과제를 해결할 수 있는 효과이다.
그러나, 피사체로 되어 있는 개인의 피부에 대한 정보를 적절하게 얻을 수 없는 경우 등, 「제2 처리」를 실행하더라도, 전술한 과제를 해결하지 못할 뿐만 아니라, 바람직하지 않은 처리 결과를 얻을 수도 있다. 또한, 원래, 필요한 정보가 부족하여, 「제2 처리」의 실행 자체가 불가능하게 되는 경우도 있을 수 있다.
이와 같은 경우라도, 제3 실시예에서는, 「제2 처리」 대신, 「제1 처리」를 실행할 수 있으므로, 일정 레벨 이상의 번들거림 억제의 효과를 얻을 수 있게 된다.
이상, 본 발명의 실시예로서 제1 실시예 및 제2 실시예에 대하여 설명하였으나, 본 발명은 상기 실시예로 한정되는 것은 아니다. 즉, 이하에 나타내는, 본 발명의 목적을 달성할 수 있는 범위에서의 변형, 개량 등도 본 발명에 포함된다.
(1) 인물 촬영 모드가 설정되면, 제어부(8)는 촬상한 화상 데이터로부터 번들거림 성분을 경감하는 번들거림 억제 처리를 실행하도록 해도 된다. 인물 촬영 모드에서는, 또한 플래시 광이 자동적으로 발광하는 경우도 있으므로, 촬영된 인물의 얼굴에 번들거림 성분이 발생할 확률이 높다. 따라서, 인물 촬영 모드가 설정되었을 때는, 플래시 발광의 유무와 상관없이, 촬상된 화상 데이터에 대하여 번들거림 성분을 경감하는 번들거림 억제 처리를 실행함으로써, 번들거림 성분이 경감된, 더욱 바람직한 화상을 얻을 수 있다.
(2) 얼굴 검출 처리에 의해 검출된 얼굴 영역으로부터, 번들거림 성분이 발생하기 쉬운, 인물의 이마, 뺨, 코에 상당하는 부분을 추출하고, 상기 부분으로부터 처리 영역을 지정하도록 해도 된다. 이에 따르면, 번들거림 성분이 발생하기 쉬운 부분을 추출함으로써, 처리 영역을 더욱 정확하게 지정할 수 있게 된다.
(3) 사용자는 피부색 영역이나 처리 영역을, 표시부(10)에 표시된 화상을 보면서, 도시하지 않은 조작 입력 부재를 통하여 지정하도록 해도 된다. 이 경우, 피부색 영역에 대해서는, 도 2에 나타낸 HSV 색공간의 모식도를 표시부(10)에 컬러 표시함으로써, 사용자에게 색상 H의 분포를 시각적으로 판별시킬 수 있다.
(4) 전술한 화상 처리부(7)의 기능의 일부 또는 모두에 대하여, 제어부(8)를 본 발명에 따른 화상 처리 프로그램에 따라 동작시킴으로써 실현하도록 해도 된다.
(5) 전술한 실시예에서는, 촬영 렌즈(2) 및 촬상부(3)를 본 발명의 화상 취득 수단으로 하는 예에 대하여 나타냈으나, 다른 디지털 카메라 등으로 촬상된 화상을 디지털 카메라(1)에 입력하도록 구성되어 있어도 된다. 그 경우에는, 화상 데이터가 기록된 기록 매체가 착탈 가능하게 장전되는 카드 슬롯부나, 유선 또는 무선에 의해 화상 데이터를 입력하기 위한 케이블 또는 송신기부와의 접속 단자가 화상 취득 수단으로서 기능하게 된다.
(6) 또한, 전술한 실시예에서는, 피부색 영역 중에서 처리 영역을 검출하도록 했지만, 다른 색 영역일 수도 있다. 그럴 경우에는, 원하는 색상값 H의 범위를 지정하고, 그 지정된 색상값 H의 범위 내에 있어서, 채도 S가 소정값 이하이고, 또한 명도 V가 소정값 이상인 화소로 이루어지는 영역을 처리 영역으로서 지정한다.
(7) 그리고, 제2 실시예에 있어서는, 화상 처리부(7)는 피부색 취득 영역의 제1 파라미터와 제2 파라미터로부터 목표값을 설정했지만, 제2 파라미터만을 고려하여 목표값을 설정하도록 해도 된다.
(8) 또한, 본 발명은, HSV 공간으로 특별히 한정되지 않고, 그 외에, YUV 공간이나 RGB 공간 등의 각종 색상 공간에 널리 적용할 수 있다.
(9) 본 발명은, 디지털 카메라로 한정되지 않고, 예를 들면, 카메라가 부착된 휴대 전화기 등의 정지 화상 촬영기능을 구비한 전자 기기 전반에 적용할 수 있다. 또한, 본 발명은, 화상의 색처리 기능을 구비한 임의의 화상 처리 장치에도 적용할 수 있다. 또한, 본 발명에 따른 화상 처리 장치에는, 소정의 프로그램에 기초하여 동작함으로써, 본 실시예의 화상 처리부(7)의 기능을 실현할 수 있는 컴퓨터 장치도 포함된다.

Claims (10)

  1. 화상을 취득하는 화상 취득 수단;
    상기 화상 취득 수단에 의해 취득된 화상으로부터 소정의 색 영역을 검출하는 색 영역 검출 수단;
    상기 색 영역 검출 수단에 의해 검출된 상기 색 영역의 채도 및 명도에 기초하여, 조정해야 할 영역을 지정하는 영역 지정 수단;
    상기 화상 취득 수단에 의해 취득된 화상으로부터 인물의 얼굴 영역을 검출하는 얼굴 검출 수단;
    상기 얼굴 검출 수단에 의해 검출된 상기 얼굴 영역 내에 포함되는 상기 인물의 특정한 부위의 위치를 나타내는 위치 정보를 취득하는 위치 정보 취득 수단;
    상기 위치 정보 취득 수단에 의해 취득한 상기 위치 정보에 기초하여, 상기 얼굴 영역 중에서 상기 인물의 피부색 정보를 취득해야 할 영역을, 피부색 취득 영역으로서 설정하는 설정 수단;
    상기 조정해야 할 영역에서의 각 화소에 대한, 색상, 채도, 및 명도 각각의 평균값으로 이루어지는 제1 평균값 정보, 및 상기 설정 수단에 의해 설정된 피부색 취득 영역에서의 각 화소에 대한, 각각의 색상, 채도, 및 명도의 평균값으로 이루어지는 제2 평균값 정보를, 인물 개인의 피부색에 관한 피부색 정보로서 취득하는 피부색 정보 취득 수단; 및
    상기 피부색 정보 취득 수단에 의해 취득된 상기 제1 평균값 정보와 상기 제2 평균값 정보와의 차분값에 기초하여, 상기 영역 지정 수단에 의해 지정된 상기 조정해야 할 영역의 화소의 색상, 채도, 및 명도 중 적어도 하나를 조정하는 색 조정 수단
    을 포함하는, 화상 처리 장치.
  2. 제1항에 있어서,
    상기 색 영역 검출 수단은, 상기 얼굴 검출 수단에 의해 검출된 얼굴 영역의 화상으로부터 소정의 색 영역을 검출하는, 화상 처리 장치.
  3. 제1항에 있어서,
    상기 색 영역 검출 수단은, 소정의 상기 색 영역으로서, 상기 화상에 포함되는 인물의 피부색에 상당하는 피부색 영역을 검출하고,
    상기 영역 지정 수단은, 상기 조정해야 할 영역으로서, 상기 피부색 영역에 있어서 채도가 소정값 이하이고, 또한 명도가 소정값 이상인 화소를 지정하는, 화상 처리 장치.
  4. 제1항에 있어서,
    상기 색 영역 검출 수단은, 소정의 상기 색 영역으로서, 상기 화상에 포함되는 인물의 피부색에 상당하는 피부색 영역을 검출하고,
    상기 영역 지정 수단은, 상기 조정해야 할 영역으로서, 상기 피부색 영역에 있어서 번들거림 성분으로서 특정되는 영역을 지정하는, 화상 처리 장치.
  5. 제1항에 있어서,
    상기 색 조정 수단은, 각각의 색상, 채도, 및 명도에 대하여, 상기 제1 평균값 정보와 상기 제2 평균값 정보와의 차분값을 구하여, 상기 차분값에 기초하여 상기 조정해야 할 영역의 화소의 색상, 채도, 및 명도 중 적어도 하나를 구하는, 화상 처리 장치.
  6. 제1항에 있어서,
    상기 색 조정 수단은,
    상기 조정해야 할 영역의 화소에 대하여, 채도를 증가시키고 또한, 명도를 저감하는 조정을 행하는, 화상 처리 장치.
  7. 제6항에 있어서,
    상기 조정해야 할 영역에서의 채도 및 명도의 강도를 산출하는 강도 산출 수단을 포함하고,
    상기 색 조정 수단은, 상기 강도 산출 수단에 의해 산출된 상기 조정해야 할 영역의 채도 및 명도의 강도에 따라, 상기 조정해야 할 영역의 화소에 대하여 채도 및 명도를 조정하는, 화상 처리 장치.
  8. 제1항에 있어서,
    상기 얼굴 검출 수단에 의해 얼굴 영역이 검출되었는지 여부를 판단하는 판단 수단; 및
    상기 판단 수단에 의해 얼굴 영역이 검출된 화상에 대하여, 상기 색 영역 검출 수단, 상기 영역 지정 수단, 상기 위치 정보 취득 수단, 상기 설정 수단, 상기 피부색 정보 취득 수단, 및 상기 색 조정 수단에 의한 처리를 실행하는 제어수단
    을 더 포함하는 화상 처리 장치.
  9. 화상을 취득하는 화상 취득 단계;
    상기 화상 취득 단계에서 취득된 화상으로부터 소정의 색 영역을 검출하는 색 영역 검출 단계;
    상기 색 영역 검출 단계에서 검출된 상기 색 영역의 채도 및 명도에 기초하여, 조정해야 할 영역을 지정하는 영역 지정 단계;
    상기 화상 취득 단계에서 취득된 화상으로부터 인물의 얼굴 영역을 검출하는 얼굴 검출 단계;
    상기 얼굴 검출 단계에 의해 검출된 상기 얼굴 영역 내에 포함되는 상기 인물의 특정한 부위의 위치를 나타내는 위치 정보를 취득하는 위치 정보 취득 단계;
    상기 위치 정보 취득 단계에서 취득한 상기 위치 정보에 기초하여, 상기 얼굴 영역 중에서 상기 인물의 피부색 정보를 취득해야 할 영역을, 피부색 취득 영역으로서 설정하는 설정 단계;
    상기 조정해야 할 영역에서의 각 화소에 대한, 색상, 채도, 및 명도 각각의 평균값으로 이루어지는 제1 평균값 정보, 및 상기 설정 단계에서 설정된 피부색 취득 영역에서의 각 화소에 대한, 각각의 색상, 채도, 및 명도의 평균값으로 이루어지는 제2 평균값 정보를, 인물 개인의 피부색에 관한 피부색 정보로서 취득하는 피부색 정보 취득 단계; 및
    상기 피부색 정보 취득 단계에서 취득된 상기 제1 평균값 정보와 상기 제2 평균값 정보와의 차분값에 기초하여, 상기 영역 지정 단계에서 지정된 상기 조정해야 할 영역의 화소의 색상, 채도, 및 명도 중 적어도 하나를 조정하는 색 조정 단계
    를 포함하는, 화상 처리 방법.
  10. 컴퓨터에,
    화상을 취득하는 화상 취득 단계;
    상기 화상 취득 단계에서 취득된 화상으로부터 소정의 색 영역을 검출하는 색 영역 검출 단계;
    상기 색 영역 검출 단계에서 검출된 상기 색 영역의 채도 및 명도에 기초하여, 조정해야 할 영역을 지정하는 영역 지정 단계;
    상기 화상 취득 단계에서 취득된 화상으로부터 인물의 얼굴 영역을 검출하는 얼굴 검출 단계;
    상기 얼굴 검출 단계에 의해 검출된 상기 얼굴 영역 내에 포함되는 상기 인물의 특정한 부위의 위치를 나타내는 위치 정보를 취득하는 위치 정보 취득 단계;
    상기 위치 정보 취득 단계에서 취득한 상기 위치 정보에 기초하여, 상기 얼굴 영역 중에서 상기 인물의 피부색 정보를 취득해야 할 영역을, 피부색 취득 영역으로서 설정하는 설정 단계;
    상기 조정해야 할 영역에서의 각 화소에 대한, 색상, 채도, 및 명도 각각의 평균값으로 이루어지는 제1 평균값 정보, 및 상기 설정 단계에서 설정된 피부색 취득 영역에서의 각 화소에 대한, 각각의 색상, 채도, 및 명도의 평균값으로 이루어지는 제2 평균값 정보를, 인물 개인의 피부색에 관한 피부색 정보로서 취득하는 피부색 정보 취득 단계; 및
    상기 피부색 정보 취득 단계에서 취득된 상기 제1 평균값 정보와 상기 제2 평균값 정보와의 차분값에 기초하여, 상기 영역 지정 단계에서 지정된 상기 조정해야 할 영역의 화소의 색상, 채도, 및 명도 중 적어도 하나를 조정하는 색 조정 단계
    를 실행시키기 위한 프로그램을 기록한, 컴퓨터로 읽을 수 있는 기록 매체.
KR1020120082462A 2009-07-23 2012-07-27 화상 처리 장치, 화상 처리 방법, 및 기록 매체 KR101204724B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009172198 2009-07-23
JPJP-P-2009-172198 2009-07-23
JPJP-P-2010-120194 2010-05-26
JP2010120194A JP4983962B2 (ja) 2009-07-23 2010-05-26 画像処理装置、画像処理方法及び画像処理プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020100071331A Division KR20110010076A (ko) 2009-07-23 2010-07-23 화상 처리 장치, 화상 처리 방법, 및 기록 매체

Publications (2)

Publication Number Publication Date
KR20120099608A KR20120099608A (ko) 2012-09-11
KR101204724B1 true KR101204724B1 (ko) 2012-11-26

Family

ID=43496969

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020100071331A KR20110010076A (ko) 2009-07-23 2010-07-23 화상 처리 장치, 화상 처리 방법, 및 기록 매체
KR1020120082462A KR101204724B1 (ko) 2009-07-23 2012-07-27 화상 처리 장치, 화상 처리 방법, 및 기록 매체

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020100071331A KR20110010076A (ko) 2009-07-23 2010-07-23 화상 처리 장치, 화상 처리 방법, 및 기록 매체

Country Status (5)

Country Link
US (1) US8446485B2 (ko)
JP (1) JP4983962B2 (ko)
KR (2) KR20110010076A (ko)
CN (1) CN101964874B (ko)
TW (1) TWI444041B (ko)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9153068B2 (en) * 2011-06-24 2015-10-06 Nvidia Corporation Clipless time and lens bounds for improved sample test efficiency in image rendering
KR101818573B1 (ko) * 2011-07-07 2018-01-15 삼성전자 주식회사 얼굴 인식을 이용한 보기모드 표시 방법 및 장치
CN102694958B (zh) * 2012-02-10 2013-12-18 华为终端有限公司 一种确定图像色相的方法和无线手持设备
CN103325089B (zh) * 2012-03-21 2016-08-03 腾讯科技（深圳）有限公司 图像中的肤色处理方法及装置
CN103093357A (zh) * 2012-12-07 2013-05-08 江苏乐买到网络科技有限公司 一种网络购物中的彩妆试妆系统
CN103024287B (zh) * 2012-12-26 2017-12-29 新奥特（北京）视频技术有限公司 一种3d素材文件的校色方法和装置
TWI485694B (zh) * 2013-05-09 2015-05-21 Asustek Comp Inc 影像色彩調整方法與其電子裝置
US9305519B2 (en) 2013-05-09 2016-04-05 Asustek Computer Inc. Image color adjusting method and electronic device using the same
WO2015060376A1 (ja) * 2013-10-23 2015-04-30 日立マクセル株式会社 表面状態測定分析情報管理システムおよび表面状態測定分析情報管理方法
JP5954310B2 (ja) 2013-12-26 2016-07-20 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN106033593A (zh) * 2015-03-09 2016-10-19 夏普株式会社 图像处理设备和方法
JP6210081B2 (ja) * 2015-03-23 2017-10-11 カシオ計算機株式会社 復号装置、復号方法、及び、プログラム
JP6583660B2 (ja) * 2015-03-26 2019-10-02 パナソニックＩｐマネジメント株式会社 画像合成装置及び画像合成方法
CN106303154B (zh) * 2015-06-12 2019-08-27 联想(北京)有限公司 一种信息处理方法及电子设备
JP6276734B2 (ja) * 2015-07-22 2018-02-07 矢崎総業株式会社 検査装置及び検査方法
JP6569176B2 (ja) * 2015-08-26 2019-09-04 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法
JP6473401B2 (ja) * 2015-09-10 2019-02-20 富士フイルム株式会社 肌の光沢評価装置、光沢評価方法および光沢評価プログラム
TWI588587B (zh) 2016-03-21 2017-06-21 鈺立微電子股份有限公司 影像擷取裝置及其操作方法
CN106096588A (zh) * 2016-07-06 2016-11-09 北京奇虎科技有限公司 一种图像数据的处理方法、装置和移动终端
CN106060402A (zh) * 2016-07-06 2016-10-26 北京奇虎科技有限公司 一种图像数据的处理方法、装置和移动终端
CN106210517A (zh) * 2016-07-06 2016-12-07 北京奇虎科技有限公司 一种图像数据的处理方法、装置和移动终端
CN106101547A (zh) * 2016-07-06 2016-11-09 北京奇虎科技有限公司 一种图像数据的处理方法、装置和移动终端
KR102488563B1 (ko) * 2016-07-29 2023-01-17 삼성전자주식회사 차등적 뷰티효과 처리 장치 및 방법
CN107783856B (zh) * 2016-08-30 2021-06-04 广州安凯微电子股份有限公司 一种图像处理器参数的测试方法及系统
JP6833415B2 (ja) * 2016-09-09 2021-02-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2018049564A (ja) * 2016-09-23 2018-03-29 カシオ計算機株式会社 検出装置、及び検出方法
JP2018092350A (ja) * 2016-12-02 2018-06-14 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6740109B2 (ja) * 2016-12-02 2020-08-12 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN107180415B (zh) * 2017-03-30 2020-08-14 北京奇艺世纪科技有限公司 一种图像中皮肤美化处理方法及装置
JP6904788B2 (ja) * 2017-05-25 2021-07-21 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7039183B2 (ja) * 2017-05-31 2022-03-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6677222B2 (ja) 2017-06-21 2020-04-08 カシオ計算機株式会社 検出装置、画像処理装置、検出方法、及び画像処理方法
JP6991750B2 (ja) * 2017-06-30 2022-01-13 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6980449B2 (ja) * 2017-08-08 2021-12-15 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
JP7003558B2 (ja) * 2017-10-12 2022-01-20 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
CN107909553B (zh) * 2017-11-02 2021-10-26 海信视像科技股份有限公司 一种图像处理方法及设备
JP7259761B2 (ja) 2017-12-05 2023-04-18 株式会社ニコン 撮像装置、電子機器および彩度抑制プログラム
KR102045940B1 (ko) * 2019-05-21 2019-11-18 (주)케이테크놀로지 평판 디스플레이 액정 셀의 에지 검사방법
US11138699B2 (en) 2019-06-13 2021-10-05 Adobe Inc. Utilizing context-aware sensors and multi-dimensional gesture inputs to efficiently generate enhanced digital images
JP2021005320A (ja) * 2019-06-27 2021-01-14 東芝映像ソリューション株式会社 画像処理装置及び画像処理方法
CN112581390B (zh) * 2020-12-11 2024-03-19 深圳开立生物医疗科技股份有限公司 一种图像色彩增强方法、装置、设备及可读存储介质
CN113539160A (zh) * 2021-06-30 2021-10-22 吉林大学 一种多光照环境下hmi色彩采集系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180114A (ja) * 2002-11-28 2004-06-24 Sony Corp 顔色補正方法及び顔色補正装置及び撮像機器
JP2005327009A (ja) 2004-05-13 2005-11-24 Omron Corp 画像補正装置
JP2007087123A (ja) 2005-09-22 2007-04-05 Fujifilm Corp 画像補正方法および装置並びにプログラム
JP2007190885A (ja) 2006-01-23 2007-08-02 Seiko Epson Corp 印刷装置、画像処理装置、印刷方法、および画像処理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2857481A1 (fr) * 2003-07-08 2005-01-14 Thomson Licensing Sa Procede et dispositif de detection de visages dans une image couleur
JP4572583B2 (ja) * 2004-05-31 2010-11-04 パナソニック電工株式会社 撮像装置
JP4258735B2 (ja) 2004-10-21 2009-04-30 富士フイルム株式会社 画像処理方法、装置及びプログラム並びにプリンタ
JP2006338377A (ja) * 2005-06-02 2006-12-14 Fujifilm Holdings Corp 画像補正方法および装置並びにプログラム
JP2007004455A (ja) * 2005-06-23 2007-01-11 Canon Inc 画像処理装置及び画像処理方法、及びプログラムを記録した記憶媒体
JP4934326B2 (ja) * 2005-09-29 2012-05-16 富士フイルム株式会社 画像処理装置およびその処理方法
JP4624248B2 (ja) * 2005-12-06 2011-02-02 富士フイルム株式会社 画像処理装置、肌色調整方法及びプログラム
JP4650381B2 (ja) * 2006-09-08 2011-03-16 日本ビクター株式会社 電子機器
CN100514365C (zh) * 2007-01-15 2009-07-15 浙江大学 多张人脸照片自动合成方法
JP2008244997A (ja) * 2007-03-28 2008-10-09 Canon Inc 画像処理システム
JP2009251634A (ja) * 2008-04-01 2009-10-29 Seiko Epson Corp 画像処理装置、画像処理方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180114A (ja) * 2002-11-28 2004-06-24 Sony Corp 顔色補正方法及び顔色補正装置及び撮像機器
JP2005327009A (ja) 2004-05-13 2005-11-24 Omron Corp 画像補正装置
JP2007087123A (ja) 2005-09-22 2007-04-05 Fujifilm Corp 画像補正方法および装置並びにプログラム
JP2007190885A (ja) 2006-01-23 2007-08-02 Seiko Epson Corp 印刷装置、画像処理装置、印刷方法、および画像処理方法

Also Published As

Publication number Publication date
JP2011044132A (ja) 2011-03-03
KR20110010076A (ko) 2011-01-31
CN101964874A (zh) 2011-02-02
JP4983962B2 (ja) 2012-07-25
KR20120099608A (ko) 2012-09-11
CN101964874B (zh) 2013-07-24
US20110019029A1 (en) 2011-01-27
TW201112754A (en) 2011-04-01
US8446485B2 (en) 2013-05-21
TWI444041B (zh) 2014-07-01

Similar Documents

Publication Publication Date Title
KR101204724B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
US9007486B2 (en) Image capturing apparatus and control method thereof
US7184078B2 (en) Image-processing apparatus and image-quality control method
JP5089405B2 (ja) 画像処理装置及び画像処理方法並びに撮像装置
US8441544B2 (en) Electronic camera and medium storing image processing program for skin color correction
US8026932B2 (en) Image processing apparatus, image processing method, image processing program, and image pickup apparatus
US20090091633A1 (en) Image-taking method and apparatus
JP2006352795A (ja) 撮像装置及び画像処理方法
KR20070068980A (ko) 카메라
CN107533756B (zh) 图像处理装置、摄像装置、图像处理方法以及存储图像处理装置的图像处理程序的存储介质
JP2008118383A (ja) デジタルカメラ
CN105960658B (zh) 图像处理装置、摄像装置、图像处理方法以及可通过计算机处理的非暂时性的存储介质
JP2009094997A (ja) 撮像装置、撮像方法
JP5159756B2 (ja) 画像処理方法、画像処理装置、及び撮像装置
JP2015198438A (ja) 画像処理装置、画像処理方法及びプログラム
JP5146015B2 (ja) 撮像装置及び撮像方法
JP2010050651A (ja) ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法
JP5245648B2 (ja) 画像処理装置、及び、プログラム
JP2010213105A (ja) 撮像装置
JP2010103672A (ja) 撮像装置
US20110187869A1 (en) Tracking-frame initial-position setting apparatus and method of controlling operation of same
JP5083116B2 (ja) 撮影装置、画像処理方法、およびプログラム
KR20090102259A (ko) 카메라 동작 제어 장치 및 방법
JP2009276610A (ja) 画像表示装置，画像表示方法及び撮像装置
KR20100069501A (ko) 영상 처리 방법 및 장치, 및 이를 이용한 디지털 촬영 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20120727

Patent event code: PA01071R01D

PA0201 Request for examination
PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20121031

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20121120

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20121120

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20151113

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20151113

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20161020

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20161020

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20171018

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20171018

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20181101

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20181101

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20191030

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20191030

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20201103

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20211027

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20221019

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20231017

Start annual number: 12

End annual number: 12