KR20160027030A - 이미지 프로세싱을 위한 피부 톤 보정을 이용한 자동 화이트 밸런싱 - Google Patents

이미지 프로세싱을 위한 피부 톤 보정을 이용한 자동 화이트 밸런싱 Download PDF

Info

Publication number
KR20160027030A
KR20160027030A KR1020167002076A KR20167002076A KR20160027030A KR 20160027030 A KR20160027030 A KR 20160027030A KR 1020167002076 A KR1020167002076 A KR 1020167002076A KR 20167002076 A KR20167002076 A KR 20167002076A KR 20160027030 A KR20160027030 A KR 20160027030A
Authority
KR
South Korea
Prior art keywords
skin
cluster
chromaticity
likelihood
chroma
Prior art date
Application number
KR1020167002076A
Other languages
English (en)
Other versions
KR101762081B1 (ko
Inventor
야노 니카넨
페트리 아호넨
티모 카이쿠마아
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20160027030A publication Critical patent/KR20160027030A/ko
Application granted granted Critical
Publication of KR101762081B1 publication Critical patent/KR101762081B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • G06K9/00221—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H04N9/735—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching

Abstract

방법, 시스템, 및 물품은 이미지 프로세싱을 위한 피부 톤 보정을 이용한 자동 화이트 밸런싱을 제공한다. 그 방법은, 이미지 프로세싱 디바이스에 의해, 이미지 상의 적어도 하나의 지점의 피부 색도가 컬러 공간의 적어도 제1 피부 색도 클러스터 또는 컬러 공간의 제2 피부 색도 클러스터 내에 틀림없이 위치될 적어도 하나의 우도를 결정하는 것, 적어도 하나의 우도에 따라, 제1 피부 색도 클러스터의 적어도 일부 및 제2 피부 색도 클러스터의 적어도 일부 둘 다로부터, 목표 색도 클러스터를 형성하는 것, 및 목표 색도 클러스터 상에서의 그 지점의 피부 색도에 적어도 부분적으로 기초하여, 이미지에 대한 백색점을 설정하는 것을 포함한다.

Description

이미지 프로세싱을 위한 피부 톤 보정을 이용한 자동 화이트 밸런싱{AUTOMATIC WHITE BALANCING WITH SKIN TONE CORRECTION FOR IMAGE PROCESSING}
배경
디지털 이미지 프로세싱 디바이스, 예컨대 디지털 카메라는 캡쳐된 이미지로부터 재생되는(reproduced) 화상에 대한 정확한 컬러를 제공하기 위해, 자동 화이트 밸런싱(automatic white balancing; AWB)을 사용한다. AWB는 백색점(white point)으로 칭해지는 백색을 화상에서 찾는 또는 정의하는 프로세스이다. 화상에서의 다른 컬러는 백색점을 기준으로 결정된다. 이미지 장면의 색 온도 차이 또는 색 성분의 상이한 감도에도 불구하고, 백색 오브젝트를 백색으로서 표현하기 위해, AWB는 상이한 컬러 성분(예를 들면, 레드, 그린, 및 블루)의 서로에 대한 이득을 조정한다. 그러나, 백색점이 부정확하면, 재생되는 이미지는 잘못된 컬러를 포함할 수도 있다. 이들 컬러 오류(color error)는, 하드웨어에서든 또는 소프트웨어에서든 간에 카메라 사이의 제조 편차 때문에 발생할 수도 있는데, 컬러 오류는 색도 응답(chromaticity response) 또는 컬러 쉐이딩(color shading)을 야기할 수 있다. 또한, 잘못된 컬러를 이미지 안으로 도입하는 잔류 쉐이딩(residual shading) 이슈가 존재할 수도 있다. 이것은, 예를 들면, 일광(daylight) 및 다른 인공의(human-manufactured) 광원의 혼합과 같은 까다로운 라이팅(조명) 상황에 기인하여 발생할 수도 있다. 이때, AWB 모듈은 자신의 계산에서 잘못된 컬러를 사용할 수도 있고 재생되는 이미지의 더욱 심한 저하로 이어지게 된다. 그 외에, 이미지에서 명확한 백색점이 존재하지 않는다면, 단색의(uni-colored) 이미지도 또한, AWB 알고리즘이 프로세싱하기가 곤란하게 되기 쉽고, 잘못된 컬러로 이어지게 된다.
잘못된 백색점에 의해 야기되는 한 타입의 컬러 오류는 컬러 캐스트(color cast)로 칭해지는데, 컬러 캐스트에서는, 전체 이미지, 이미지의 일부, 또는 이미지 내의 소정의 오브젝트가 동일하게 잘못된 쉐이드를 갖는다. 사람 얼굴 또는 피부의 경우, 피부 컬러 또는 피부 톤(skin tone)에서의 약간의 오류라하더라도, 이미지를 보는 보통의 사람에 의해 쉽게 검출될 수 있다. 따라서, 화상에서의 사람 얼굴 또는 피부의 다른 영역에 컬러 캐스트가 존재하면, 얼굴 또는 피부에는 예를 들면, 자주색, 청색, 적색, 녹색, 핑크색, 회색, 또는 노란색이 너무 많이 보일 수도 있다.
본원에서 설명되는 내용(material)은 첨부의 도면에서 제한으로서가 아닌 예로서 예시된다. 예시의 간략화 및 명확화를 위해, 도면에서 예시되는 엘리먼트는 반드시 동일축척으로 묘사되지는 않는다. 예를 들면, 몇몇 엘리먼트의 치수는 명확화를 위해 다른 엘리먼트에 비해 과장될 수도 있다. 또한, 적절하다고 간주되는 경우, 도면 부호는 대응하는 또는 유사한 엘리먼트를 나타내기 위해 도면 사이에서 반복된다. 도면에서:
도 1은 사람 피부 톤의 분광 반사율(spectral reflectance)을 수립하는 예시적인 차트이다;
도 2는 예시적인 자동 화이트 밸런싱 구성을 위한 예시적인 차트이다;
도 3은 예시적인 이미지 프로세싱 방법을 예시하는 플로우차트이다;
도 4는 동작 중에 있는 예시적인 이미지 프로세싱 시스템의 예시도(illustrative diagram)이다;
도 5는 예시적인 이미지 프로세싱 시스템의 예시도이다;
도 6은 예시적인 이미지 프로세싱 방법 전체를 예시하는 플로우차트이다;
도 7은 예시적인 자동 화이트 밸런싱 프로세스의 상세를 예시하는 플로우차트이다;
도 8은 예시적인 클러스터 형성 프로세스를 예시하는 플로우차트이다;
도 9는 예시적인 시스템의 예시적인 다이어그램이다; 그리고
도 10은 본 개시의 적어도 몇몇 구현예에 따라 모두 정렬된 예시적인 시스템의 예시도이다.
상세한 설명
이제, 첨부된 도면을 참조로 하나 이상의 실시형태 또는 구현예가 설명된다. 특정 구성 및 배치가 논의되지만, 이것은 단지 예시적인 목적만을 위해 이루어진다는 것이 이해되어야 한다. 관련 기술분야에서 숙련된 자는, 본 설명의 취지와 범위를 벗어나지 않고도 다른 구성 및 배치가 활용될 수도 있다는 것을 인식할 것이다. 본원에서 설명되는 기술 및/또는 배치가, 본원에서 설명된 것 이외의 다양한 다른 시스템 및 애플리케이션에서 또한 활용될 수도 있다는 것이, 관련 기술분야에서 숙련된 자에게는 명백할 것이다.
예를 들면, 시스템 온 칩(system-on-a-chip; SoC) 아키텍쳐와 같은 아키텍쳐에서 명백하게 될 수도 있는 다양한 구현예를 하기의 설명이 명시하지만, 본원에서 설명되는 기술 및/또는 배치의 구현예는 특정 아키텍쳐 및/또는 컴퓨팅 시스템에 제한되지 않으며 유사한 목적을 위한 임의의 아키텍쳐 및/또는 컴퓨팅 시스템에 의해 구현될 수도 있다. 예를 들면, 다수의 집적 회로(integrated circuit; IC) 칩 및/또는 패키지, 및/또는 다양한 컴퓨팅 디바이스 및/또는 소비자 가전(consumer electronic; CE) 디바이스 예컨대 셋탑 박스, 스마트폰 등등을 활용하는 다양한 아키텍쳐는, 예를 들면, 본원에서 설명되는 기술 및/또는 배치를 구현할 수도 있다. 또한, 하기의 설명이, 로직 구현예, 시스템 컴포넌트의 타입 및 상호관련성(interrelationship), 로직 구획/통합 선택 등등과 같은 다양한 특정 상세를 명시할 수도 있지만, 청구되는 주제는 이러한 특정 상세 없이 실시될 수도 있다. 다른 경우에서, 예를 들면, 제어 구조 및 완전한 소프트웨어 명령어 시퀀스와 같은 몇몇 내용은 본원에서 개시되는 내용을 모호하게 하지 않기 위해 상세히 도시되지 않을 수도 있다.
본원에서 개시되는 내용은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 본원에서 개시되는 내용은, 하나 이상의 프로세서에 의해 판독되어 실행될 수도 있는, 머신 판독가능 매체 상에 저장되는 명령어로서 또한 구현될 수도 있다. 머신 판독가능 매체는 머신(예를 들면, 컴퓨팅 디바이스)에 의해 판독가능한 형태로 정보를 저장하거나 송신하기 위한 임의의 매체 및/또는 메커니즘을 포함할 수도 있다. 예를 들면, 머신 판독가능 매체는, 리드 온리 메모리(read only memory; ROM); 랜덤 액세스 메모리(random access memory; RAM); 자기 디스크 저장 매체; 광학 저장 매체; 플래시 메모리 디바이스; 전기적, 광학적, 음향적 또는 다른 형태의 전파 신호(예를 들면, 반송파, 적외선, 디지털 신호 등등), 및 등등을 포함할 수도 있다. 다른 형태에서, 비일시적 컴퓨터 판독가능 매체와 같은 비일시적 물품은, 일시적인 신호 그 자체를 포함하지 않는다는 것을 제외하면, 상기에서 언급된 예 또는 다른 예 중 임의의 것과 함께 사용될 수도 있다. 비일시적 물품은, RAM 등과 같이 "일시적인" 형태로 데이터를 일시적으로 유지할 수도 있는 신호 그 자체 이외의 엘리먼트를 포함한다.
본 명세서에서 "일 구현예", "한 구현예", "예시적인 구현예" 등등에 대한 언급은, 설명되는 구현예가 특정 피쳐, 구조, 또는 특성을 포함할 수도 있지만, 그러나 모든 구현예가 반드시 그 특정 피쳐, 구조, 또는 특성을 포함할 수도 있는 것은 아니다는 것을 나타낸다. 또한, 이러한 구는 반드시 동일한 구현예를 가리키는 것은 아니다. 또한, 특정 피쳐, 구조, 또는 특성이 한 구현예와 연계하여 설명되는 경우, 다른 구현예와 연계하여 이러한 피쳐, 구조, 또는 특성을 달성하는 것은, 본원에서 명시적으로 설명되든 또는 그렇지 않든 간에, 기술분야의 숙련된 자의 지식 내에 있다는 것을 나타낸다.
이미지 프로세싱을 위한 피부 톤 보정을 이용한 자동 화이트 밸런싱을 포함하는 시스템, 물품, 및 방법이 하기에서 설명된다.
상기에서 언급된 바와 같이, 하나의 비제한적인 예로서, 디지털 카메라와 같은 이미지 프로세싱 디바이스에 대한 자동 화이트 밸런싱(AWB)은, 이미지에 대한 백색점을 보정하기 위해 사용되며, 따라서 이미지 상에서의 모든 다른 컬러에 대한 컬러 참조점(color reference point)을 보정하기 위해 사용된다. AWB 알고리즘은 백색점을 설정하기 위해 사용되지만, 이 프로세스는, 오류가 센서에서의 제조 오차로부터 유래하든, 조명의 영향으로부터 유래하든 또는 오류 컬러를 형성하는 이미지의 컨텐츠로부터 유래하든, 기타 등등으로부터 유래하든 간에, 오류에 취약하다. 이들 오류는, 오류가 사람 얼굴 또는 피부 상에서 컬러 캐스트로 나타나서 사람 얼굴에 자주색, 청색, 또는 노란색, 또는 몇몇 다른 자연적이지 않은 컬러가 나타날 수도 있는 경우에 특히 눈에 띌 수도 있다.
이들 오류를 방지하기 위해, 하나의 방식은 얼굴 검출 기술을 사용하는 것이었다. 예를 들면, 이미지 상의 소정의 영역이 사람 얼굴 또는 사람 피부를 갖는 영역임에 틀림없다는 것이 결정되면, 컬러 공간(color space) 상의 피부 톤의 단일의 공지의 색도 클러스터 내에 배치되는 피부 색도를 이미지 상의 그 영역이 갖는지의 여부가 결정된다. 이 클러스터는, 예를 들면, R 및 B 센서 컴포넌트를 G로 정규화하는 것에 의해 색도 공간에서 정의된다. 피부 색도가 클러스터 내에 있지 않으면, 그것은 클러스터로 이동되고, 백색점에서의 대응하는 변경이 계산된다. 그 다음, 이 새로운 백색점에 기초하여, 이미지에서의 다른 컬러도 또한 결정된다. 그러나, 단일의 피부 톤 또는 피부 타입 클러스터는 너무 부정확해서, 피부 톤에서의 눈의 띄는 오류(예를 들면, 컬러 캐스트)가 여전히 발생할 수도 있다는 것이 증명되었다.
도 1 및 도 2를 참조하면, 사람 피부 톤의 보다 정확한 표현이 수립되었고, 본원에서 개시되는 시스템은 이 표현의 이점을 활용한다. 구체적으로는, 분광 반사율에 기초한 어두운 피부 타입에 대한 적어도 하나의 피부 타입 색도 클러스터와, 밝은 피부 타입에 대한 적어도 하나의 피부 타입 색도 클러스터의 두 개의 피부 타입 색도 클러스터가 색도 공간에서 수립될 수도 있다는 것이 발견되었다. Munsell Color Science Laboratory (2002), p.27의 Q. Sun, M. D. Fairchild, "Statistical Characterization of Face Spectral Reflectances and Its Application to Human Portaiture Spectral Estimation"를 참조하라. 가시 영역인 400 내지 700 nm 파장 내에서 아대륙의(Subcontinental) 아시아인 및 아프리카인(흑인으로도 칭해짐) 피부 타입에 대해 분광 반사율이 얼마나 유사한지를 나타내며, 그에 따라 도 1에서 피부 타입 그룹 A로 표기되는 어두운 피부 타입의 그룹을 정의하는 차트가 제공된다. 마찬가지로, 백인(Caucasian), 태평양의 아시아인, 히스패닉계(Hispanic)뿐만 아니라 대체로 평균의 피부 타입은 유사한 분광 반사율을 가지며, 도 1에서 피부 타입 그룹 B로 표기되는 제2의 밝은 피부 타입 색도 그룹을 형성한다.
도 2에 예시되는 하나의 예시적인 방식에 의하면, 두 개의 공지된 분광 반사율 그룹(A 및 B)은 색도 공간(200)에서 각각 별개의 피부 타입 고유의 색도 클러스터를 형성하기 위해 사용될 수도 있다. 예시된 예는 그린(G)에 의해 나누어진 레드(R) 및 블루(B) 성분을 갖는 선형의 sRGB 공간에서의 클러스터를 도시한다. 클러스터는, 본원에서 개시되는 시스템 및 방법에 의해 사용하기 위한 많은 상이한 컬러 공간, 예컨대 YUV 컬러 공간의 UV 평면, YCbCr 컬러 공간의 CbCr 평면, Lab 컬러 공간의 ab 평면, 또는 HSV 컬러 공간의 HS, 다른 예, 또는 이들의 조합에서 존재할 수도 있다는 것이 이해될 것이다. 클러스터는, 예시된 예에서와 같은 2차원 공간이 아닌 3차원 공간에서 또한 형성될 수도 있다. 본원에서, 그룹 A는 ST-A로 나타내어지는 어두운 피부 타입 색도 클러스터(202)를 형성한다. 그룹 B는 ST-B로 나타내어지는 밝은 피부 타입 색도 클러스터(204)를 형성한다. 예를 들면 어두운 피부 타입 또는 톤(예컨대 흑인) 대 밝은 피부 타입 또는 톤(예컨대 백인)을 포함하는 본원에서 논의되는 용어 "어두운 및 밝은"은, 피부 타입의 색도(예를 들면, 레드, 그린, 및 블루의 조합)를 가리키는 것을, 그리고 한 형태에서는, 그렇지 않다고 언급되지 않는 한 밝기(brightness) 또는 휘도(luminance) 대신, 클러스터에 의해 그룹화되거나 정의되는 피부 타입의 색도를 가리킨다는 것을 주목해야 한다. 따라서, 최소한도로, 이 출원의 본원에서는, 하나의 클러스터에서의 임의의 피부 타입이 다른 클러스터에서의 한 피부 타입보다 더 큰 휘도를 갖는지의 여부에 관해 무관하게, 어두운 피부 타입 클러스터(ST-A)는 흑인 또는 아프리카인의 피부 타입의 포함을 의미하고, 한편 밝은 피부 타입 클러스터(ST-B)는 백인의 피부 타입의 포함을 의미한다.
하기에서 더 상세히 설명되는 바와 같이, 이미지 상의 피부 톤의 자동 화이트 밸런싱 및 그 정확성의 증가를 위한 동작은, 컬러 공간 상의, 그리고 이미지 상의 한 지점 또는 검출된 피부 관련 오브젝트와 관련되는 한 지점(208)의 색도가 색도 클러스터(ST-A) 내에 틀림없이 있을 우도(likelihood) 또는 확률, 및 색도 지점(208)이 색도 클러스터(ST-B)에 틀림없이 있을 별개의 우도를 결정하는 것에 의해 구현될 수도 있다. 지점(208)은 피부 색도 지점(skin chromaticity point)으로 또한 칭해질 수도 있다. 우도 중 적어도 하나에 따라, 본 시스템은 ST-A, ST-B, 또는 계산된 고유한 목표 피부 타입 색도 클러스터(206)를 사용하는 능력을 갖는데, 상기 클러스터(206)는 ST-C로 나타내어지며 우도에 또한 의존할 수도 있는 비율에서의 ST-A 및 ST-B의 조합이다. ST-C가 수립되면, 이미지의 그리고 컬러 공간(200)에서 매핑되는 초기 색도 지점(208)의 포지션(position)은 컬러 공간(200)에서의 클러스터(ST-C)(206) 상에서의 새로운 색도 지점(210)에 대한 보정치(correction)에 의해 이동될 수도 있다. 일단 수립되면, 새로운 색도 지점(210)에 대응하는, 그리고 동일한 이미지에서의 다른 지점의 컬러를 결정하도록 진행하기 위해 사용될 수도 있는 새로운 백색점을 계산하기 위해 보정치가 또한 사용된다.
도 3을 참조하면, 본원에서 설명되는 이미지 프로세싱 시스템에 대한 예시적인 프로세스(300)가 본 개시의 적어도 몇몇 구현예에 따라 정렬된다. 예시된 구현예에서, 프로세스(300)는, 동작 302, 304, 및/또는 306 중 하나 이상에 의해 예시되는 바와 같이 하나 이상의 동작, 기능 또는 액션을 포함할 수도 있다. 비제한적인 예로서, 프로세스(300)는 본원에서 도 2 및 도 4의 예시적인 이미지 프로세싱 시스템을 참조로 설명될 것이다.
프로세스(300)는 자동 화이트 밸런싱을 위한 컴퓨터 구현 방법으로서 사용될 수도 있다. 프로세스(300)는 "이미지의 적어도 하나의 지점의 피부 색도가 컬러 공간의 제1 또는 제2 피부 색도 클러스터 내에 틀림없이 있을 적어도 하나의 우도를 결정"(302)을 포함할 수도 있는데, 여기서는, 사람 피부를 묘사하기 위해 검출되는 이미지 상의 한 지점의 색도가 컬러 공간의 제1 피부 색도 클러스터 내에 틀림없이 위치되는지 또는 컬러 공간의 제2 피부 색도 클러스터 내에 틀림없이 위치되는지의 여부에 관한 적어도 하나의 우도가 결정된다. 따라서, 예를 들면, 어두운 피부 타입(또는 단순히 어두운) 클러스터(ST-A)에 대응하도록 하나의 우도가 계산될 수도 있도록, 그리고, 밝은 피부 타입(또는 단순히 밝은 클러스터(ST-B)에 대응하도록 다른 우도가 계산될 수도 있도록, 이것은 추가적인 우도를 또한 포함한다. 이러한 다수의 우도는 사용시 총 100%까지 될 수 있다.
그 다음, 프로세스(300)는 "적어도 하나의 우도에 따라, 목표 색도 클러스터를 형성"(304)을 포함할 수도 있는데, 여기서는 목표 색도 클러스터는 제1 및 제2 클러스터 중 적어도 하나에 기초하여 형성될 수도 있다. 한 방식에서, 목표 색도 클러스터는 제1 또는 어두운 피부 타입 색도 클러스터의 적어도 일부와 제2 또는 밝은 피부 타입 색도 클러스터의 적어도 일부 둘 다로부터 형성된다. 이것은, 예를 들면, 우도가 소정의 퍼센티지에, 또는 소정의 퍼센티지 위에, 또는 소정의 퍼센티지 아래에 있을 때, 목표 색도 클러스터(도 2에서 206)를 형성하는 것을 포함할 수도 있다. 한 방식에 의하면, 이것은, ST-A 우도도 100%가 아니고 ST-B 우도도 100%가 아닐 때 발생할 수도 있다. 한 형태에서, 우도가 50% 위에 있으면, 대응하는 클러스터(ST-A 또는 ST-B)의 대략적으로 100%가 클러스터(ST-C)에서 사용된다. 이 경우, 다른 클러스터(ST-A 또는 ST-B)는 50% 미만의 우도를 가질 것이다. 우도에 비례하는 이 다른 클러스터의 일부는 클러스터(ST-C)에 또한 더해진다. 예를 들면, 클러스터(ST-A) 내에 위치되어 있는 피부 색도 지점의 우도가 70%이고 클러스터(ST-B)에 위치되어 있는 피부 색도 지점의 우도가 30%이면, 클러스터(ST-A)의 약 100%가 클러스터(ST-C)에서 사용되고 클러스터(ST-B)의 약 30%가 클러스터(ST-C)에서 사용된다. 또한, 이 예시적인 형태에서, ST-B의 30% 부분은, 색도 공간(200)에서의 클러스터(ST-A)에 가장 가까운, 물리적으로 또는 다른 말로는 지리학적으로 색도 공간 상에 있을 수도 있는 ST-B의 부분이다.
이 구성을 통해, 더 작은 우도가 50%에 접근함에 따라 목표 클러스터(ST-C)는 더 커진다는 것이 이해될 것이다. 따라서, 일 형태에서, ST-A 및 ST-B 둘 다에 대한 우도가 대략적으로 50%이면, 클러스터(ST-C)는 클러스터(ST-A 및 ST-B) 둘 다의 합집합(union)이다. 따라서, 우도가 50/50일 때 ST-A 및 ST-B의 가능한 색도 중 어느 것도 제거되지 않으며 지점의 색도는 양 클러스터에서 균등하게 존재할 수도 있다.
또한, 프로세스(300)는 "목표 색도 클러스터 상에서의 지점의 피부 색도에 적어도 부분적으로 기초하여 이미지에 대한 백색점을 설정"(306)을 포함할 수도 있다. 하나의 예에 의하면, 초기 백색점이 결정되고, RGB 이득을 계산하여 목표 색도 클러스터에 대한 피부 색도 지점의 포지션을 조정하기 위해, 종래의 자동 화이트 밸런싱이 적용된다. 피부 색도 지점을 클러스터(ST-C)로 이동하기 위해 사용되는 보정치 또는 보정치들은, 그 다음, 새로운 백색점 및 새로운 RGB 이득을 수정하거나 재계산하기 위해 사용된다. 한 형태에서, 피부 색도 지점은 그 초기 위치(208)로부터 컬러 공간(200) 상에서의 목표 클러스터(ST-C)(206) 상의 가장 가까운 위치(210)로 이동된다. 피부 색도 지점을 이동시키기 위한 대안적인 방식이 하기에서 설명된다.
도 4를 참조하면, 예시적인 이미지 프로세싱 시스템(500)은 본 개시의 적어도 몇몇 구현예에 따라 자동 화이트 밸런싱 프로세스(400)를 동작시킨다. 더 상세하게는, 예시된 형태에서, 프로세스(400)는 짝수로 번호가 붙여진 하나 이상의 액션(402 내지 426)에 의해 예시되는 바와 같이 하나 이상의 동작, 기능 또는 액션을 포함할 수도 있다. 비제한적인 예로서, 프로세스(400)는 본원에서 도 5의 예시적인 이미지 프로세싱 시스템(500)을 참조로 설명될 것이다.
한 형태에서, 이미지 프로세싱 시스템(500)은 로직 모듈(504) 등등 및/또는 이들의 조합을 포함할 수도 있다. 예를 들면, 로직 모듈(504)은, AWB 모듈(510), 피부 타입 검출 모듈(512), 및 AWB 조정 모듈(514)을 포함할 수도 있는 자동 화이트 밸런싱 제어부(506)를 포함할 수도 있다. 로직 모듈(504)은, 자동 화이트 밸런싱 제어부(506) 내에 포함되는 것으로 간주될 수도 있거나 또는 간주되지 않을 수도 있는 얼굴/피부 검출 모듈(508)을 또한 포함할 수도 있다. 이들 로직 모듈은 또한, 하기에서 설명되고 도 5에서 도시되는 바와 같이, 이미징 디바이스(502), 이미지 신호 프로세서(image signal processor; ISP)(522)를 포함하는 프로세서(520), 하나 이상의 메모리(524), 디스플레이(526), 인코더(528), 및 안테나(530)와 조화하거나(coordinate), 또는 이들에 통신적으로 커플링된다.
이미징 디바이스(502)는 이미지 데이터를 로직 모듈(504)로, 구체적으로는 얼굴/피부 검출 모듈(508) 및 자동 화이트 밸런싱 제어부(506)로 제공한다. 얼굴/피부 검출 모듈(508)은 얼굴/피부 위치 데이터를 피부 타입 검출 모듈(512)로 제공하고, 한편, AWB 모듈(510)은 이미지 데이터를 사용하여 통상의 자동 화이트 밸런싱을 수행하고 초기 백색점에 적용될 초기 또는 통상의 이득을 계산한다. 통상의 이득 및 초기 백색점에 기초하여, 피부 타입 검출 모듈(512)은 이미지의 얼굴 및 피부 영역에 대한 색도 데이터를 제공하고, 검출된 오브젝트의 피부 색도 지점을 분석을 위해 제공한다. 피부 색도 지점은 검출된 오브젝트 또는 검출된 오브젝트의 몇몇 다른 선택된 지점(예컨대 기하학적 형태의 중심 또는 에지)의 평균 색도일 수도 있다. 그 다음, AWB 조정 모듈(514)은 이 데이터를 사용하여, 본원에서 설명된 바와 같이 피부 색도 지점이 피부 색도 클러스터(ST-A 또는 ST-B) 내에 있을 우도를 계산한다. 그 다음, AWB 조정 모듈(514)은 피부 색도 목표 클러스터(ST-C)를 수립할 수도 있고, 피부 색도 지점을 목표 클러스터(ST-C) 상의 최종 위치로 이동시킬 수도 있는데, 이들 동작 중 적어도 하나, 그러나 여기서는 둘 다는 우도에 의존한다. 그 다음, 목표 클러스터(ST-C) 상의 최종 피부 색도 지점에 대한 보정치는, 보정된(또는 최종적인 또는 새로운) 백색점을 수립하기 위해, 사용될 수도 있다. 그 다음, 새로운 백색점은, 이미지 상의 얼굴 및 피부 톤 영역의 색도뿐만 아니라 이미지에서의 모든 다른 컬러의 색도를 결정하기 위해 사용될 수도 있다.
더 상세하게는, 프로세스(400)는 이미지 프로세싱을 위한 피부 톤 보정을 이용한 자동 화이트 밸런싱에 대한 컴퓨터 구현 방법으로서 사용될 수도 있다. 프로세스(400)는 먼저 "이미지 데이터를 수신"(402)을 포함할 수도 있는데, 이것은 하기에서 설명되는 바와 같이 전처리된(pre-processed) 원시(raw) 이미지 데이터의 수신을 포함할 수도 있으며, 그 다음, 이미지 데이터는, 이미지 상에서의 사람 얼굴 및/또는 사람 피부 영역의 매핑과 같은, "오브젝트 위치를 검출"(404)하기 위해 사용될 수도 있다. 그 다음, 이 오브젝트 위치 정보는 피부 타입 검출 모듈(512) 및 AWB 모듈(510)로 제공될 수도 있고, 그 다음, 동작 406은 AWB 모듈(510)과 함께 계속될 수도 있다. 소정의 모듈이 상이한 모듈 또는 다른 컴포넌트로부터 데이터를 수신할 수도 있다는 것을 도 4의 동작이 나타내지만, 이것은, 데이터를 저장하고 스토리지로부터 그 데이터를 획득하도록 그 데이터를 다른 컴포넌트에 대해 이용가능하게 만드는 하나의 컴포넌트를, 그것이 컨트롤러이든, 모듈이든, 이미지 프로세싱 디바이스이든, 또는 다른 컴포넌트이든 간에, 포함한다는 것이 이해될 것이다.
AWB 모듈(510)은 또한, 별개로 "이미지 데이터를 수신"(403)할 수도 있거나, 또는 다르게는 얼굴/피부 검출 모듈(508)에 의해 제공되는, 또는 얼굴/피부 검출 모듈(508)에 의해 액세스가능하게 만들어지는 데이터를 구비할 수도 있다. AWB 모듈(510)은 또한, 얼굴 검출, 오브젝트 위치 데이터를 수신할 수도 있다. 그 다음, AWB 모듈(510)은 그 이미지 데이터를 사용하여 이미지의 "초기 백색점을 결정"(408)하고, 그 다음 "AWB 알고리즘을 적용하여 WB_GAINS_REGULAR를 획득"(410)하는데, AWB 알고리즘, 예컨대 그레이 월드(grey world) AWB는 하기에서 설명된다. WB_gains_regular는, 초기 백색점에 적용되는 통상의, 초기의, 또는 예비 이득이다. 이것은, 프로세싱할 검출된 피부 오브젝트 또는 지점에 대한 예비 피부 색도 지점(예컨대 지점(208))을 형성하는 것으로 간주될 수도 있다. 상기에서 언급된 바와 같이, 선택된 피부 색도 지점은 각각의 검출된 오브젝트와 관련되고 전체 오브젝트의 또는 오브젝트의 소정의 영역의 평균 색도일 수도 있다. 따라서, 다수의 오브젝트의 경우, 초기 백색점, 및 통상의 이득(WB_gains_regular)은 각각의 오브젝트에 대한 관련된 피부 색도 지점의 초기 색도를 계산하기 위해 사용된다.
그 다음, 통상의 이득은 AWB 조정 모듈(514) 및 피부 타입 검출 모듈(512)로 제공되고, 동작 412는 피부 타입 검출 모듈(512)과 함께 계속된다. 일단 피부 타입 검출 모듈(512)이 얼굴 및 피부 위치를 획득하면, 피부 타입 검출 모듈(512)은, 초기 색도 안으로 통합될 수도 있는 오류를 방지하기 위해 통상의 이득을 사용하는 것을 방지할 수도 있는 방법에 의해 "피부 톤 타입을 검출"(414)할 수도 있다. 따라서, 한 방식에 의하면, 피부 톤 타입 검출은 피부 영역을, 얼굴의 다른 영역 예컨대 눈 및 치아와 비교하는 것에 의해 진행할 수도 있고, 피부 영역을 이미지의 다른 영역과 비교할 수도 있다. 다른 방법은, 피부 영역의 밝기를 분석하는 것을 포함할 수도 있는데, 이 경우 밝은 피부는 밝은 클러스터(ST-B)에서의 피부 색도 지점의 포함을 나타내는 경향이 있고 한편 어두운 피부는 어두운 클러스터(ST-A)에서의 포함을 나타낸다. 이들 예시적인 방법 중 하나는 하기에서 더 상세히 논의된다. 이들 비교는 피부 색도 지점에 대한 정확한(또는 더 정확한) 색도에 대한 기초의 적어도 일부를 제공할 수도 있다. 그 다음, 이들 계산된 초기 색도는, 하기에서 상세히 또한 제공되는 우도의 계산을 위해 AWB 조정 모듈(514)에 의해 동작 416에 대해 이용가능하게 만들어질 수도 있다. 몇몇 경우에서, 피부 타입 검출 모듈(512) 또는 다른 모듈은 또한, 우도 계산을 수행할 수도 있고 단순히 우도를 AWB 조정 모듈(514)로 제공할 수도 있다는 것이 이해될 것이다. 예시된 예에서, 이것은 AWB 조정 모듈(514) 자체에 의해 수행된다.
AWB 조정 모듈(514)은 "클러스터(ST-A 및 ST-B)를 수립하는 데이터를 획득"(418)할 수도 있는데, 구체적으로는, 검출된 피부 톤에 따라, 그리고 하나의 예에 의해 도 2에서 도시된 바와 같이 피부 색도 지점에 대한 색도 공간에서의 영역을 결정하는 색도 공간에서의 어두운 색도 클러스터(ST-A) 및 밝은 색도 클러스터(ST-B)를 수립하는 데이터를 획득할 수도 있다. AWB 조정 모듈(514)이 이미지에서의 검출된 얼굴 및 다른 피부 영역에 대한 색도, 및 통상의 이득에 대한 데이터를 수신하면, AWB 조정 모듈(514)은 "적어도 하나의 우도를 계산"(420)할 수도 있는데, 하나의 예에서, 예를 들면, 초기 피부 색도 지점(208)이 ST-A 및/또는 ST-B 내에 틀림없이 있을 우도를 계산할 수도 있다. 하기에서 설명되고 도 8 상에서 도시되는 바와 같이, AWB 조정 모듈(514)은, 그 다음, "우도에 따라 ST-C를 수립"(422)할 수도 있다. 하나의 예시적인 형태에서, 백색점이 클러스터(ST-A 또는 ST-B) 내에 있을 우도가 약 100%이면, 100%의 확신을 가지고 나타내어진 클러스터는 클러스터(ST-C)로서 전진하여 사용된다. 하나의 예에 의하면, 대략적으로 전체 클러스터가 사용되고, 다른 예에 의하면 전체 클러스터는 클러스터(ST-C)로서 사용된다. 클러스터(ST-A 및 ST-B) 둘 다에 대한 우도가 약 50%이면, 클러스터(ST-A 및 ST-B)의 합집합이 클러스터(ST-C)로서 사용된다. 다르게는, 클러스터(ST-A 또는 ST-B)의 우도가 약 50%와 약 100% 사이에 있으면, 그 나타내어진 클러스터(ST-A 또는 ST-B)가 사용되는데, 한 형태에서는 그 클러스터의 대략적으로 전체(약 100%)가 사용된다. 이 경우, ST-A 및 ST-B 중 50% 미만의 우도를 갖는 나머지 클러스터의 비율도 또한 사용되지만 단지 그 우도의 비율만큼만 사용된다. 따라서, 예를 들면, 클러스터(ST-A 및 ST-B)에 대한 우도가 각각 70%와 30%이면, 모든 ST-A는 클러스터(ST-C)를 형성하도록 사용될 수도 있지만, ST-B의 30%만이 클러스터(ST-C)에서 사용될 수도 있다. 많은 다른 조합이 가능하다.
목표 클러스터(ST-C)가 수립되면, 동작 "ST-C에 대한 보정치를 계산"(424)이 수행되어, 목표 클러스터(ST-C) 상의 새로운 피부 색도 지점, 예컨대 지점(210)에 피부 색도를 배치하게 된다. 한 방식에 의하면, 클러스터(ST-C)에 대한 보정치가 각각의 대표적인 피부 색도 지점에 대해 수립되어 다수의 보정 이득으로 나타나게 된다. 그 다음 이들 보정치는 결합되거나, 또는 일 예에 의해 평균되어, 이미지에 대한 목표 클러스터(ST-C)에 대한 단일의 보정치(Ctot)를 획득하게 된다.
다음에, 목표 클러스터(ST-C)에 대한 보정치는 "WB_GAINS_FINAL을 계산하고 최종 백색점을 설정"(426)하도록 사용될 수도 있다. 이것은, 전체 보정치(Ctot)에 의해 통상의 이득을 조정하여 이미지에 대한 최종 이득을 수립하는 것에 의해 수행될 수도 있다.
그 다음, 최종 이득(WB_GAINS_FINAL)은 이미지에 대한 최종 백색점을 설정하도록 사용될 수도 있다. 그 다음, 새로운 또는 최종 백색점은, 사람 얼굴 및 피부와 같은 오브젝트뿐만 아니라 이미지에서의 다른 픽셀에 대한 보정된 색도를 결정하도록 사용될 수도 있다.
또한, 도 3 및 도 4의 동작 중 임의의 하나 이상은, 하나 이상의 컴퓨터 프로그램 제품에 의해 제공되는 명령어에 응답하여 취해질 수도 있다. 이러한 프로그램 제품은, 예를 들면, 프로세서에 의한 실행시 본원에서 설명되는 기능성을 제공할 수도 있는 명령어를 제공하는 신호 보유 매체(signal bearing media)를 포함할 수도 있다. 컴퓨터 프로그램 제품은 임의의 형태의 컴퓨터 판독가능 매체로 제공될 수도 있다. 따라서, 예를 들면, 하나 이상의 프로세서 코어(들)를 포함하는 프로세서는, 컴퓨터 판독가능 매체에 의해 명령어가 프로세서로 전달되는 것에 응답하여, 도 3 및 도 4에 도시되는 동작 중 하나 이상을 취할 수도 있다. 한 형태에서, 컴퓨터 판독가능 매체는 비일시적 물품 또는 매체이다.
본원에서 설명되는 임의의 구현예에서 사용되는 바와 같이, 용어 "모듈"은, 본원에서 설명되는 기능성을 제공하도록 구성되는 소프트웨어, 펌웨어 및/또는 하드웨어의 임의의 조합을 지칭한다. 소프트웨어는, 소프트웨어 패키지, 코드 및/또는 명령어 세트 또는 명령어로서 구체화될 수도 있고, "하드웨어"는, 본원에서 설명되는 임의의 구현에에서 사용되는 바와 같이, 예를 들면, 하드웨어에 내장된 회로부(hardwired circuitry), 프로그래머블 회로부, 상태 머신 회로부, 및/또는 프로그래머블 회로부테 의해 실행되는 명령어를 저장하는 펌웨어를, 단독으로 또는 임의의 조합으로 포함할 수도 있다. 모듈은, 총체적으로 또는 개별적으로, 대형 시스템, 예를 들면, 집적 회로(IC), 시스템 온 칩(SoC) 등등의 일부를 형성하는 회로부로서 구체화될 수도 있다.
도 5를 참조하면, 예시적인 이미지 프로세싱 시스템(500)은 본 개시의 적어도 몇몇 구현예에 따라 정렬된다. 다양한 구현예에서, 예시적인 이미지 프로세싱 시스템(500)은 캡쳐된 이미지 데이터를 형성하거나 수신하기 위한 이미징 디바이스(502)를 구비할 수도 있다. 이것은 다양한 방식으로 구현될 수 있다. 따라서, 한 형태에서, 이미지 프로세싱 시스템(500)은 디지털 카메라 또는 다른 이미지 캡쳐 디바이스, 및 이미징 디바이스(502)일 수도 있는데, 이 경우에서는, 카메라 하드웨어 및 카메라 센서 소프트웨어 또는 모듈(503)일 수도 있다. 다른 예에서, 이미지 프로세싱 시스템(500)은, 카메라를 포함하거나 또는 카메라일 수도 있는 이미징 디바이스(502)를 구비할 수도 있고, 로직 모듈(504)은, 이미지 데이터의 추가 프로세싱을 위해 이미징 디바이스(502)와 원격으로 통신할 수도 있거나, 또는 다르게는 이미징 디바이스(502)에 원격으로 커플링될 수도 있다.
어느 경우에서든, 이러한 기술은 카메라 예컨대 디지털 카메라 시스템, 전용 카메라 디바이스, 또는 이미징 폰(imaging phone)을, 이들이 스틸 화상 카메라이거나 또는 비디오 카메라이거나 또는 이 둘의 임의의 조합이든 간에, 포함할 수도 있다. 따라서, 한 형태에서, 이미징 디바이스(502)는, 하나 이상의 센서뿐만 아니라 오토포커스, 줌, 어퍼쳐, ND 필터, 자동 노출, 플래시, 및 액추에이터 제어부를 포함하는 카메라 하드웨어 및 광학장치를 포함할 수도 있다. 이들 제어부는 센서를 동작시키기 위한 센서 모듈(503)의 일부일 수도 있다. 센서 모듈(503)은 이미징 디바이스(502)의 일부일 수도 있거나, 또는 논리 모듈(504) 또는 양자의 일부일 수도 있다. 이러한 센서 모듈은, 뷰파인더에 대한 이미지를 생성하고 화상 또는 비디오를 촬영하도록 사용될 수도 있다. 이미징 디바이스(502)는 또한, 렌즈, RBG 베이어(Bayer) 컬러 필터, 아날로그 증폭기, A/D 변환기, 입사광을 디지털 신호 등등으로 변환하기 위한 다른 컴포넌트, 및/또는 이들의 조합을 구비할 수도 있다. 디지털 신호는 또한, 본원에서 원시 이미지 데이터로 칭해질 수도 있다.
다른 형태는, 레드-그린-블루(RGB) 심도 카메라(depth camera) 및/또는 말하고 있는 사람의 위치를 찾기 위한 마이크 어레이를 사용하지 않는, 카메라 센서 타입 이미징 디바이스 등등(예를 들면, 웹캠 또는 웹캠 센서 또는 다른 상보형 금속 산화물 반도체 타입 이미지 센서(complementary metal-oxide-semiconductor-type image sensor; CMOS) 또는 전하 결합형 소자형 이미지 센서(charge-coupled device-type image sensor; CCD))을 포함한다. 다른 예에서, RGB 심도 카메라 및/또는 마이크 어레이는, 카메라 센서에 추가하여 또는 카메라 센서에 대안적으로 사용될 수도 있을 것이다. 몇몇 예에서, 이미징 디바이스(502)는 눈 추적용 카메라(eye tracking camera)를 구비할 수도 있다.
예시된 예에서, 로직 모듈(504)은 자동 화이트 밸런싱 제어부(506) 및 얼굴/피부 검출 모듈(508)뿐만 아니라 자동 초점(automatic focus; AF) 모듈(516) 및 자동 노출 제어(automatic exposure control; AEC) 모듈(518)을 포함한다. 자동 화이트 밸런싱 제어부(506) 및 얼굴/피부 검출 모듈은, 하기에서 설명되는 원시 이미지 데이터를 수신하기 위해, 이미징 디바이스(502)에 통신적으로 커플링된다.
한 방식에 의하면, 자동 화이트 밸런싱 제어부(506)는 AWB 모듈(510), 피부 타입 검출 모듈(512), AWB 조정 모듈(514) 등등 및/또는 이들의 조합을 포함한다. 한 형태에 의하면, AWB 모듈(510)은 또한 이미징 디바이스(502)로부터 이미지 데이터를 수신하고, 본원에서 설명되는 바와 같이 피부 타입 검출 모듈(512) 및 AWB 조정 모듈(514)에 통신적으로 커플링될 수도 있고, 이들과 조화할 수도 있다.
또한, 예시된 형태에서, 이미지 프로세싱 시스템(500)은, 전용 이미지 신호 프로세서(ISP)(522) 예컨대 인텔 아톰, 메모리 저장소(524), 하나 이상의 디스플레이(526), 인코더(528), 및 안테나(530)을 포함할 수도 있는 하나 이상의 프로세서(520)를 구비할 수도 있다. 하나의 예시적인 구현에에서, 이미지 프로세싱 시스템은 디스플레이(526), 디스플레이에 통신적으로 커플링되는 적어도 하나의 프로세서(520), 프로세서에 통신적으로 커플링되는 적어도 하나의 메모리(524), 및 이미지에서의 컬러가 본원에서 설명된 바와 같이 보정될 수도 있도록 이미지의 백색점을 조정하기 위해 프로세서에 통신적으로 커플링되는 자동 화이트 밸런싱 조정 제어부를 구비할 수도 있다. 인코더(528) 및 안테나(530)는, 이미지를 디스플레이하거나 저장할 수도 있는 다른 디바이스로의 송신을 위해, 수정된 이미지 데이터를 압축하도록 제공될 수도 있다. 이미지 프로세싱 시스템(500)은 또한, 시스템(500)에 의한 프로세싱을 위해 이미지 데이터를 수신하고 디코딩하기 위한 디코더를 포함할 수도 있다(또는 인코더(528)가 디코더를 포함할 수도 있다)는 것이 이해될 것이다. 다르게는, 프로세싱된 이미지(532)는 디스플레이(526) 상에 디스플레이될 수도 있거나 메모리(524)에 저장될 수도 있다. 예시된 바와 같이, 이들 컴포넌트 중 임의의 것은 서로 통신할 수도 있고/있거나 로직 모듈(504) 및/또는 이미지 디바이스(502)의 일부와 통신할 수도 있다. 따라서, 프로세서(520)는 이미지 디바이스(502) 및 로직 모듈(504) 둘 다에 이들 컴포넌트의 동작을 위해 통신적으로 커플링될 수도 있다. 한 방식에 의하면, 이미지 프로세싱 시스템(500)이, 도 5에 도시된 바와 같이, 특정 모듈과 관련되는 블록 또는 액션의 하나의 특정 세트를 포함할 수도 있지만, 이들 블록 또는 액션은 여기에서 예시되는 특정 모듈과는 상이한 모듈과 관련될 수도 있다.
도 6을 참조하면, 본원에서 설명되는 이미지 프로세싱 시스템의 동작이 전체 이미지 프로세스(600) 내의 맥락 내에 배치될 수도 있다. 따라서, 예시적인 이미지 프로세싱 시스템(500)은 본 개시의 적어도 몇몇 구현예에 따라 이미지 프로세스(600)를 동작시킬 수도 있다. 더 상세하게는, 예시된 형태에서, 프로세스(600)는 짝수로 번호가 붙여진 하나 이상의 액션(602 내지 622)에 의해 예시되는 바와 같이 하나 이상의 동작, 기능 또는 액션을 포함할 수도 있다. 비제한적인 예로서, 프로세스(600)는, 적절하다면, 도 5의 예시적인 이미지 프로세싱 시스템(500)을 참조로 설명될 것이다.
따라서, 상기에서 그리고 하나의 예시적인 형태에서 언급된 바와 같이, 이미징 디바이스로부터 원시 데이터가 획득된다(602). 이 원시 이미지 데이터는 RGB 베이어 필터 포맷을 구비할 수도 있는데, 이 경우 각각의 2×2 픽셀 블록에 대해, 두 개는 그린 데이터를, 하나는 레드 데이터를, 그리고 하나는 블루 데이터를 구비한다. 다른 형태에서, 컬러 필터는 CMY 베이어 필터일 수도 있다. 또 다른 형태에서, 실리콘 내의 상이한 깊이에서 상이한 파장의 이미지 신호를 레코딩하는 포베온 타입(Foveon-type) 센서가 사용될 수도 있다.
그 다음, 원시 이미지 데이터에 대해 전처리가 적용될 수도 있다(604). 이것은, 노이즈 감소, 픽셀 선형화(pixel linearization), 및 쉐이딩 보상을 포함할 수도 있다. 그것은 또한 해상도 감소, 베이어 디모자이크(Bayer demosaic), 및/또는 비넷 제거(vignette elimination)를 포함할 수도 있다. 전처리되면, 통계 정보가 계산될 수도 있다(606). 이것은, 몇몇 예를 들자면, 휘도/색차(chrominance) 값과 평균, 휘도/색차 고주파 및 텍스쳐 컨텐츠, 프레임 단위의 모션 컨텐츠, 임의의 다른 컬러 컨텐츠 값, 디블로킹 제어(deblocking control)에 관한 화상 통계 데이터(예를 들면, 디블로킹/넌디블로킹(non-deblocking)을 제어하는 정보), RGB 그리드, 필터 응답 그리드, 및 RGB 히스토그램을 포함할 수도 있다. 이 정보는 매크로블록 또는 코딩 단위(coding unit; CU) 기반으로(예를 들면, 16×16, 또는 8×8, 또는 픽셀의 다른 사이즈의 블록마다) 제공될 수도 있거나, 또는 픽셀마다, 또는 소정의 표준 코딩 방식 예컨대, 몇몇 예를 들자면, H.264/어드밴스드 비디오 코딩(Advanced Video Coding; AVC) 또는 고효율 비디오 코딩(High Efficiency Video Coding; HEVC)에 대한 호환성 파라미터에 의존하여 필요에 따라 다른 단위마다 제공될 수도 있다.
향상된 이미지 프로세스가 생략되는 한 방식에 의하면, 이미지 프로세스(600)는 후처리(post-processing)로 진행할 수도 있고(620) 그리고 그 다음 이미지의 디스플레이 또는 저장으로 진행할 수도 있다(622). 그러나, 본원에서 제시되는 향상된 이미징 프로세스에 의하면, 프로세스는 얼굴/피부 타입 검출과 함께 계속될 수도 있다(608). 몇몇 예에서, 얼굴, 또는 다른 오브젝트의 검출은, 비올라 존스 타입 프레임워크(Viola-Jones-type framework)에 적어도 부분적으로 기초한 검출을 포함할 수도 있다(예를 들면, CVPR 2001에서의 Paul Viola, Michael Jones에 의한 Rapid Object Detection using a Boosted Cascade of Simple Features 및/또는 2010년 12월 10일자로 출원된 발명의 명칭이 TECHNIQUES FOR FACE DETECTION AND TRACKING인 Yangzhou Du, Qiang Li에 의한 PCT/CN2010/000997을 참조하라). 이러한 얼굴 검출 기술은, 상대적 축적(relative accumulation)이, 얼굴 검출, 랜드마크 검출, 얼굴 정렬, 스마일/깜박임(blink)/성별/연령 검출, 얼굴 인식, 두 명 이상의 얼굴 검출 등등을 포함하는 것을 허용할 수도 있다. 사람 얼굴, 사람 피부, 및/또는 이미지에서의 다른 목표가 된 오브젝트의 위치가 결정될 수 있는 한, 다른 검출 기술이 사용될 수도 있다.
프로세스(600)는 또한, 자동 노출 제어(AEC) 알고리즘 및 자동 초점(AF) 알고리즘을 실행할 수도 있고(610), 그 다음, 예를 들면, 이미지 캡쳐용 디바이스(image capturing device) 또는 카메라에서 캡쳐되는 다음 이미지에 대한 렌즈 초점 및 조명 노출에 대한 새로운 세팅을 설정할 수도 있다(612). 그렇지 않다면, 통계치 및 얼굴/피부 검출 데이터가 사용되어 본원에서 설명되는 바와 같이 자동 화이트 밸런싱(AWB)을 실행할 수도 있다(614). AWB는 초기 백색점에 기초하여 초기의 또는 통상의 화이트 밸런스 이득(WB_gains_regular)을 제공할 것이다. 그 다음, 색도 클러스터는, 본원에서 특히 도 3 및 도 4와 도 7 및 도 8의 자동 화이트 밸런싱 프로세스에서 설명되는 바와 같이, 새로운 또는 최종적인 백색점을 수립하도록 그리고 통상의 이득을 조정하는 것에 의해 새로운 또는 최종적인 화이트 밸런스(white balance; WB)를 계산하도록(616) 사용된다. 그 다음, 새로운 또는 최종적인 밸런스 이득은 픽셀, CU, 또는 매크로블록 데이터에 적용된다(618).
그 다음, 프로세스는 데이터의 후처리로 진행한다(620). 이것은 CFA(Color Filter Array; 컬러 필터 어레이) 보간(interpolation), (예컨대, 예를 들면, 아직 수행되지 않은 경우, 원시 RGB에서 sRG로의) 컬러 공간 변환, 감마 보정, RGB에서 YUV로의 변환, 이미지 선명화(image sharpening) 등등을 포함할 수도 있다. 후처리는, 소프트웨어 및/또는 ISP의 하드웨어 파이프라인에 의해 이들 프로세스를 수행하기 위한 프로세서 예컨대 ISP(522)에 의해 수행될 수도 있다.
다음에, 프로세싱된 이미지는 본원에서 설명된 바와 같이 디스플레이되거나 저장될 수도 있다. 대안적으로, 또는 추가적으로, 이미지 데이터는 압축 및 다른 디스플레이 또는 스토리지 디바이스로의 송신을 위해 인코더로 제공될 수도 있다.
도 7을 참조하면, 본원에서 설명되는 프로세스에 따라 자동 화이트 밸런싱을 행하기 위한 하나의 예시적인 방식이 AWB 프로세스(700)에 의해 예시되며, 전체 이미지 프로세스(600)의 동작 614, 616 및 618을 위한 하나의 예시적인 방식으로서 간주될 수도 있다. 따라서, 예시적인 이미지 프로세싱 시스템(500)은 본 개시의 적어도 몇몇 구현예에 따라 이미지 프로세스(700)를 동작시킬 수도 있다. 더 상세하게는, 예시된 형태에서, 프로세스(700)는 짝수로 번호가 붙여진 하나 이상의 액션(702 내지 720)에 의해 예시되는 바와 같이 하나 이상의 동작, 기능 또는 액션을 포함할 수도 있다. 비제한적인 예로서, 프로세스(700)는, 적절하다면, 도 5의 예시적인 이미지 프로세싱 시스템(500)을 참조로 설명될 것이다.
이 AWB 프로세스는 캡쳐된 이미지 데이터에 대해 통상의 AWB를 실행할 수도 있다(702). 아직 수행되지 않은 경우 이 동작에 포함될 수도 있는 다른 예비 작업은, 원시 데이터를 RGB(선형)로 변환하는 것, 및 도 2에 도시된 바와 같이 데이터를 선형의 색도 공간(R/G, B/G)으로 변환하는 것이다.
AWB 동작(702)은, 컬러 상관, 색역 매핑(gamut mapping), 그레이 에지(grey-edge), 및/또는 그레이 월드(grey-world) AWB 방법과 같은 AWB 알고리즘을 수행하는 것을 포함할 수도 있다. 한 예로서, 그레이 월드 방법의 경우, 모든 컬러 성분에 대한 평균이 계산되고, 그 다음 평균이 서로 동일하게 되도록, 적절한 이득이 각각의 컬러 성분에 대해 적용된다. 계산은 이미지에 대한 초기 또는 통상의 이득(WB_gains_regular)으로 나타난다. WB_gains_regular은 삼원색에 대한 세 개의 이득(예를 들면, gain_R, gain_G, gain_B)을 참조할 수도 있다. 이 동작은 또한 초기 백색점을 수립할 수도 있다.
이 때, 피부 색도 지점이 결정될 수 있고 또한 각각의 또는 다수의 검출된 오브젝트에 대해 보정치가 계산될 수 있도록, 얼굴 검출 결과가 고려된다. 이미지에서의 다수의 사람 얼굴 또는 다른 오브젝트를 계산에 넣기 위해, 분석되고 있는 이미지에서의 얼굴 검출(또는 다른 관련 검출)의 전체 카운트가 결정될 수도 있다. 그 다음, 제1 오브젝트의 분석이 시작하면 카운터는 i=1로 설정될 수도 있다(704).
그 다음, 제1 검출된 얼굴 또는 오브젝트(i=1)에 대해, 피부 색도 지점이 색도 공간 상의 제1 또는 제2 클러스터에 존재할 우도가 추정된다(706). 예시된 형태에서, 어두운 클러스터(ST-A)에 대해 적어도 하나의 우도(L-A)이 결정될 수도 있고, 밝은 클러스터(ST-B)에 대해 다른 우도(L-B)이 결정될 수도 있다. 프로세스(800)와 관련하여 하기에서 설명되는 바와 같이, 각각의 또는 다수의 클러스터에 대한 우도는 미리(up front) 계산될 수도 있거나, 또는 우도는 필요시(as needed) 계산될 수도 있다.
하나의 구현예에 의하면, 우도는, 사람 피부의 다른 영역 또는 사람 얼굴 상의 피부의 일부인 것으로 미리 나타내어지는 픽셀 또는 픽셀 블록 사이의 비교에 적어도 부분적으로 기초한다. 그 다음, 이들 피쳐는 눈, 치아 등등의 흰색과 비교된다. 다른 예에 의하면, 이들 피부 피쳐는 이미지의 다른 부분과도 또한 비교될 수도 있다. 검출된 오브젝트 상의 색도 지점의 밝기는 피부 톤 또는 피부 타입을 검출하도록 또한 사용될 수도 있다. 하나의 예시적인 구현예에서, 우도는, 피부와 눈의 흰색의 평균 휘도 사이의 비율에 기초하여, 다음의 식에 의해 계산된다:
피부 색도 지점의 색도가 어두운 클러스터(ST-A)에 틀림없이 있을 우도(L_A)의 경우:
Figure pct00001
그 다음, 색도 지점이 밝은 클러스터(ST-B)에 틀림없이 있을 우도의 경우:
Figure pct00002
값 avg_eye_white_Y와 avg_skin_Y는, 각각, 이미지 상에서 검출되는 사람의 눈의 흰색의 평균 휘도 레벨, 및 이미지 상에서의 사람의 피부의 평균 휘도를 나타낸다. 그 값은 (감마 보정된 또는 다른 비선형 컬러 공간에 있는 것이 아니라) 선형 sRGB 공간에 있다. 임계치의 실제 값은 가능한 값의 예로서만 제공된다는 것을 주목해야 한다.
대안적으로, 눈이 반쯤 감겼거나 완전히 감긴 경우에 더 많은 데이터를 제공하기 위해, 눈 흰색 휘도 단독 대신, 치아 휘도 및 눈 흰색 휘도의 평균이 함께 사용될 수 있을 것이다. 마찬가지로, 양쪽 눈 및 입이 닫힌 경우에는, 입술 휘도가 또한 사용될 수 있을 것이다. 디지털 카메라의 뷰파인딩(viewfinding) 동안의 어떤 시점에 사람이 눈을 뜨고 있는 한, 눈 흰색 휘도 정보가 피부 타입의 분류에서 사용될 수 있도록, 시간적 정보(temporal information)가 활용될 수 있다.
우도가 수립되면, 목표 또는 커스텀 클러스터(ST-C)가 위치되거나 계산될 수도 있는데(708), 하나의 예시적인 방식에서는, 도 8을 이용하여 설명되는 프로세스에서 컬러 공간에서의 어떤 색도가 클러스터(ST-C)에 포함될 수도 있는지를 결정하기 위한, 클러스터(ST-A 및 ST-B)에 대한 각각의 우도(L-A 및 L-B)의 조작(manipulation)에 의해, 위치되거나 계산될 수도 있다(708). 이 프로세스는 우도의 선형의 전환, 스케일, 또는 스펙트럼을, 그리고 결국에는 ST-A 및 ST-B의 많은 잠재적인 상이한 조합을 수립하여, 강경한(hardline) 또는 이진적(binary) 전환을 방지할 수도 있다. 이것은 색도를 정규화된 sRGB 컬러 공간으로 변환하는 계산을 포함하지 않을 수도 있다. 이 변환은 하기에서 언급되는 바와 같이 예비 백색점(SC(i))을 이용한 계산을 위해 나중에 수행될 수도 있다.
검출된 얼굴 또는 피부 영역(i)의 피부 색도(SC(i))는, 아직 수행되지 않았다면, 통상의 이득(WB_gains_regular)에 적어도 부분적으로 기초하여 계산될 수도 있다(710). 한 방식에 의하면, SC(i)는, 통상의 이득을 사용하는 것에 의해 위치되는 색도 공간에서의 예비 피부 색도 지점인 것으로 간주될 수도 있다. 한 방식에 의하면, RGB 공간에서의 예비적인 통상의 피부 색도 지점(wbdRGB)은 다음에 의해 발견될 수도 있다:
Figure pct00003
여기서 (rawR, rawG, rawB)는, 각각의 픽셀, 블록 또는 사용되고 있는 단위의 전처리된 원시 R, G 및 B 평균이고, (gain_R, gain_G, and gain_B)는 피부 색도 지점에 대한 예비 조정으로서 사용되는 통상의 이득이고, (wbdR, wbdG, and wbdB)는 새로운 화이트 밸런스가 맞춰진(white balanced)(wbd) 피부 색도 지점 또는 포인트이다.
그 다음, RGB 공간 값을 선형의 sRGB 값(또는 다른 디바이스 독립적인 컬러 공간)으로 변환하기 위해, 다음과 같이 3×3 컬러 변환 매트릭스(color conversion matrix; CCM)가 사용될 수도 있다:
Figure pct00004
결과적으로 나타나는 값은, (도 2에 도시된 바와 같이) 색도 공간에 대한 통상의 색도를 결정하도록 정규화될 수도 있는데, 이 경우:
Figure pct00005
이다.
클러스터(ST-C(i))와 예비 피부 색도 지점(SC(i))의 위치가 컬러 공간에서 수립되면, 하나의 옵션에 의하면, 검출된 오브젝트(i)에 대한 클러스터(ST-C(i)) 상의 최종 피부 색도 지점 위치(SC-F(i))로 예비 피부 색도 지점(SC(i))을 이동시키도록, 엑스트라 이득(또는 보정치)이 계산된다(712). 이것은, 예비 피부 색도 지점이 제1 장소의 클러스터(ST-C) 내에 존재하는 것이 발견되지 않는다는 것을 가정한다. 보정치는 이득 벡터 보정치(C(i))에 의해 표현되는데, 이 경우:
Figure pct00006
이고,
여기서 (extra_gain_R, extra_gain_G, extra_gain_B)는, 각각, rawR, rawG, rawB에 대한 보정치인데, WB_gains_regular(WB_gains(i) = WB_gains_regular*C(i))와 조합하여, SC(i)로 하여금 ST-C(i)를 향해 이동하게 할 것이다. 엑스트라 이득은, SC(i)가 놓이는 선형의 sRGB 컬러 공간에 있는 것이 아니라, 센서 RGB 컬러 공간에 있다는 것을 주목해야 한다. 보정치는 선형의 sRGB 공간으로부터 센서 RGB 컬러 공간으로 다음에 의해 변환될 수도 있다:
Figure pct00007
여기서 SC(i)를 ST-C로 이동시키는 이득은 선형의 sRGB 공간에서 Csrgb(i)이고, 센서 RGB 공간에서의 대응하는 이득은 C(i)이다.
한 형태에서, 피부 색도 지점은, 클러스터(ST-C)의 에지인, 클러스터(ST-C) 상의 가장 가까운 지점으로 이동될 수도 있다. 다른 형태에 의하면, 엑스트라 이득은 피부 색도 지점을, 클러스터(ST-C) 상으로나 안으로가 아니라, 클러스터(ST-C)에 더 가깝게 단지 이동시킬 수도 있다. 다른 형태에 의하면, 소정의 색도 조합은, 피부 색도 지점이 클러스터(ST-C)를 향해 컬러 공간에서 수평으로, 수직으로, 또는 다른 특정된 방향으로 이동되도록, 고정될 수도 있다. 또 다른 예에 의하면, 최종 피부 색도 지점은 목표 클러스터(ST-C)를 기준으로 하는 몇몇 다른 정의된 지점 예컨대 클러스터(ST-C)의 중심점에서 설정될 수도 있다.
현재 검출된 오브젝트 또는 얼굴(i=1)에 대해 엑스트라 이득이 수립되면, 분석되어야 하는 이미지 내에 다른 오브젝트가 있는지의 여부가 결정된다(714). 이것은, i가 이미지에서 이런 검출된 오브젝트 또는 얼굴의 총 수와 동일한지를 결정하는 것에 의해 수행될 수도 있다. 만약 아니면, i는 i+1로 설정되고, 프로세스는 동작 706으로 리턴하여, 이미지로부터의 다음 오브젝트 또는 얼굴에 대한 새로운 우도를 계산한다. 이 프로세스는, i가 이미지에서의 오브젝트의 총 수와 동일할 때까지 반복된다. 그 다음, 동작은 보정치(C(i))의 모두를 총 보정치(Ctot)로 결합하는(716) 것으로 계속된다. Ctot는 평균이거나 또는, 가중치가 부여되거나 또는 부여되지 않은 다른 조합일 수도 있다. 그 다음, 통상의 AWB 결과는, 다음에 의해, 최종 WB 이득을 결정하도록 Ctot에 의해 수정된다(718):
Figure pct00008
새로운 백색점이 수립되면, 시간적 안정화가 적용될 수도 있다(720). 이 방식에 의하면, 얼굴 인식 알고리즘은, 피부 톤 색도 또는 밝기가 동일한 장면 내의 인접한 프레임 또는 이미지와 일치하도록 피부 톤 색도 또는 밝기를 조정하기 위해, 동일한 사람 얼굴에 대해 이미 피부가 수립된 이전의, 또는 미래의 프레임으로부터의 데이터가 다음에 다시 사용될 수도 있거나 또는 사용될 수도 있도록, 사용될 수도 있다. 다르게는, 얼굴 인식은, 다수의 프레임, 다수의 장면, 비디오, 또는 스틸 화상 라이브러리 파일, 또는 다른 이미지 데이터 유닛 등등, 및/또는 이들의 조합을 통해 동일한 얼굴을 찾아서, 소정의 얼굴에 대한 정확한 컬러가 이미 수립되었는지 그리고 재사용될 수 있는지의 여부를 결정하기 위해 대규모로 사용될 수도 있다. 대안적으로 또는 추가적으로, 얼굴에 대한 컬러는 현재의 이미지에 대해 재계산될 수도 있고, (예컨대 얼굴 컬러 설정이 아직 신뢰가 가지 않는 최근의 지난 프레임 상의) 이전 이미지에 대한 지난 결과를 조정하기 위해 사용될 수도 있다.
또한, 이득을 설정하기 위한 계산은, 컬러 밸런스 외에, 이미지 휘도 및/또는 콘트라스트를 증가시키거나 감소시키기 위해, R, G, 및 B 오프셋 인자, 및/또는 전체적인 디지털 이득 인자를 또한 고려할 수도 있다는 것이 이해될 것이다. 추가적으로, 지금까지 설명된 AWB 프로세스가 비선형성의 제거, 및 선형 환경에서의 전처리된 데이터에 대한 동작을 포함하지만, 대안적으로, 비선형 보정의 양과 형상을 제공하는 것이 가능할 수도 있다. 이것은 더 많이 파이널라이징된 이미지 데이터에 대한 후처리 동안, 그리고 선형 이득을 사용하여 비선형 효과를 획득하는 것에 의해 적용될 수도 있다. 이것은 비선형 보정과 관련되는 값을 이득에 감산 또는 가산하는 것에 의해, 또는 룩업 테이블을 사용하여 비선형 데이터로의 변환을 수행하는 것에 의해 달성될 수도 있다.
따라서, 프로세스는 전체적인 이미지 프로세스(600)에서 설명된 바와 같이 후처리로 진행할 수도 있다. AWB 프로세스(700)에 대해 설명된 바와 같이 동작 및 기능은 도 7에 도시된 바와 같은 순서로 항상 수행되어야 하는 것은 아니다는 것, 및 다른 순서가 가능하다는 것이 이해될 것이다.
엑스트라 이득을 이용하여 화이트 밸런스를 조정하는 것에 의해 백색점을 수정하는 것 외에, 백색점을 조정하기 위한 다른 방식이 존재한다. 하나의 대안예는, 3×3 컬러 변환 매트릭스(CCM)의 대각선 엘리먼트를 수정하는 것이다.
또 다른 대안예에 의하면, 엑스트라 이득을 사용하여 피부 색도 지점을, 결국에는 백색점을 조정하는 대신, 또는 그 조정하는 것 외에, 예를 들면, ISP에 의해 사용되는 다른 파라미터가 수정될 수도 있다. 추가로 또는 대신, 소정의 색조(hue) 세그먼트의 색조 또는 채도(saturation)를 변경하기 위해, 다축 컬러 보정 모듈이 사용될 수 있을 것이다.
또한, 본원에서 언급된 바와 같이, 이미지의 가능한 해상도에 따라, 두 개보다 많은 클러스터가 제공될 수도 있다. 한 예에 의하면, 도 2 상에 열거된 것과 같은 다수의 또는 각각의 피부 톤 타입에 대해 클러스터를 제공하는 것이 가능할 수도 있는데, 예컨대 두 개 내지 여섯 개의 클러스터가 제공될 수도 있다. 이러한 프로세싱 상세는 아주 계산 집약적일 수도 있고 대부분은 이미지 상의 사람 피부에 대한 이러한 상세를 보장하도록 충분한 해상도가 제공될 때 실시될 수도 있다.
이 AWB 프로세스가 전통적인 AWB 알고리즘에만 전적으로 의존하지 않기 때문에, 본원에서 설명되는 AWB 프로세스는, 이미지에서 기준의 흰색 또는 그레이가 거의 또는 전혀 나타나지 않을 때, 그리고 예를 들면, 그레이 월드 스코어가 낮을 때, 더 강건하거나 또는 더 정확할 수도 있다. 본 AWB 프로세스가, 예를 들면, 검출된 피부 톤에서 적어도 부분적으로 기초하고 그레이 상태(grey-ness)에 대해 분석되는 블록에서 전적으로 기초하는 것은 아니기 때문에, 이것이 발생한다. 따라서, AWB는 극단적인 컬러 상태에서도 개선될 것이다.
도 8을 참조하면, 본원에서 설명되는 바와 같이 클러스터(ST-A 및 ST-B)로부터 목표 클러스터(ST-C)를 수립하기 위한 하나의 예시적인 프로세스(800)가 제공된다. 하나의 예시적인 방식에 의하면, 클러스터(ST-A 및 ST-B) 중 하나에 대응하는 우도는 프로세서(700)와 함께 설명된 바와 같이 계산될 수도 있다(802). 여기서, 클러스터(ST-A)에 대한 우도(L-A)가 제공되지만 그러나 두 개보다 많은 클러스터가 분석되고 있으면 클러스터(ST-B)에 대한 우도(L-B), 또는 단일의 클러스터 또는 클러스터의 그룹에 대한 다른 우도가 대신 먼저 사용될 수도 있다. 동작 804에서, 우도(L-A)가 100% 동일하거나, 또는 대략 100% 동일하면, 한 형태에서, 클러스터(ST-C)로서 클러스터(ST-A)가 사용되고(806), 클러스터(ST-C)를 수립하기 위해 더 이상 추가적인 우도 계산은 필요하지 않을 수도 있다. 한 형태에서, 전체 클러스터(ST-A)는 클러스터(ST-C)로서 사용될 수도 있고, 다른 형태에서, 대략적으로 모든 클러스터(ST-A)가 클러스터(ST-C)로서 사용될 수도 있다. 그 다음, 프로세스는, 상기에서 설명된 바와 같이 클러스터(ST-C)에 대한 화이트 밸런스(WB) 보정(또는 여분의 이득)을 계산하는(826) 것으로 진행할 수도 있다.
L-A가 대략 100%와 동일하지 않으면, 우도(L-B)가 계산될 수도 있다(808). 이 경우, L-B가 100%와 대략 동일하거나, 또는 100%와 동일하면(동작 810), 클러스터(ST-B)가 클러스터(ST-C)로서 사용되고(812), 프로세스는 클러스터(ST-A)에 대해 상기에서 설명된 바와 같이 계속된다. L-B가 또한 대략 100%가 아니면, L-A 및 L-B 둘 다가 대략 50%인지의 여부가 결정된다. 만약 그렇다면, 클러스터(ST-A 및 ST-B)의 합집합이 클러스터(ST-C)로서 사용된다(816). 다시, 이것은 전체 클러스터(ST-A 및 ST-B)의 대략 둘 다를 포함할 수도 있다.
L-A 및 L-B 둘 다가 대략 50%가 아니고, 어느 것도 대략 100%가 아닌 경우, 하나의 다른 형태에서, 하나의 전체 클러스터 더하기 다른 클러스터의 일부가 클러스터(ST-C)로서 사용된다. 구체적으로는, 프로세스는, L-A 또는 L-B가 약 50%보다 더 크고 약 100%보다 더 작은지의 여부, 또는 50%보다 더 크고 100%보다 더 작은지의 여부를 결정한다(818, 822). 이것이 L-A에 대해 참이면, 클러스터(ST-A)는 클러스터(ST-C)의 일부를 형성하기 위해 사용된다(820). 또한, 우도(L-B)와 동일한 클러스터(ST-B)의 비율이 클러스터(ST-C)에서 사용되며, 한 형태에서, 이것은 상대(opposite) 클러스터(ST-A)에 가장 가까운 클러스터(ST-B)의 비율이다. 따라서, 하나의 비제한적인 예에 의하면, L-A가 70%이고 L-B가 30%이면, 클러스터(ST-A)의 모두가 사용되고, 클러스터(ST-A)에 가장 가까운 클러스터(ST-B)의 30%가 클러스터(ST-C)에서 사용된다. 동작 824에서, L-A 대신 L-B가 약 50%보다 더 크고 약 100%보다 더 작은 경우에도, 반대 구성으로 귀결된다는 것을 제외하면, 동일하게 적용된다. 그 다음, 프로세스는 최종 WB 이득 및 최종 백색점을 계산하기 위해 상기에서 설명된 바와 같이 진행한다.
많은 다른 대안예도 가능하다는 것이 이해될 것이다. 예를 들면, 목표 클러스터(ST-C)는 클러스터(ST-A 및 ST-B) 둘 다로부터, 그리고 둘 모두가 그들 각각의 우도(L-A 및 L-B)에 대응하는 비율로, 형성될 수도 있다. 다른 예로서, 예컨대 각각의 피부 톤 타입에 대한 클러스터를 제공하는 것에 의해, 두 개보다 많은 클러스터가 제공되는 경우, 각각의 또는 다수의 클러스터는, 각각이 그것의 우도에 대응하는 비율로, 클러스터(ST-C)에 기여할 수도 있다.
도 9를 참조하면, 본 개시에 따른 예시적인 시스템(900)이 본원에서 설명되는 이미지 프로세싱 시스템의 하나 이상의 양태를 동작시킨다. 하기에 설명되는 시스템 컴포넌트는 상기에서 설명된 이미지 프로세싱 시스템의 소정 부분 또는 부분들과 관련될 수도 있거나, 또는 그 소정 부분 또는 부분들을 동작시키도록 사용될 수도 있다는 것이 이러한 컴포넌트의 본질로부터 이해될 것이다. 다양한 구현예에서, 시스템(900)은 미디어 시스템일 수도 있지만, 시스템(900)은 이러한 컨텍스트에 제한되지는 않는다. 예를 들면, 시스템(900)은, 디지털 스틸 카메라, 디지털 비디오 카메라, 이미징 폰과 같은 카메라 또는 비디오 기능을 갖춘 모바일 디바이스, 웹캡, 퍼스널 컴퓨터(personal computer; PC), 랩탑 컴퓨터, 울트라 랩탑 컴퓨터, 태블릿, 터치 패드, 휴대형 컴퓨터, 핸드헬드 컴퓨터, 팜탑 컴퓨터, 개인 휴대 정보 단말기(personal digital assistant; PDA), 셀룰러 전화, 셀룰러 전화/PDA의 조합, 텔레비전, 스마트 디바이스(예를 들면, 스마트 폰, 스마트 태블릿 또는 스마트 텔레비전), 모바일 인터넷 디바이스(mobile internet device; MID), 메시징 디바이스, 데이터 통신 디바이스 등등의 안으로 통합될 수도 있다.
다양한 구현예에서, 시스템(900)은 디스플레이(920)에 커플링되는 플랫폼(902)을 포함한다. 플랫폼(902)은 컨텐츠 디바이스, 예컨대 컨텐츠 서비스 디바이스(들)(930) 또는 컨텐츠 전달 디바이스(들)(940), 또는 다른 유사한 컨텐츠 소스로부터 컨텐츠를 수신할 수도 있다. 하나 이상의 내비게이션 피쳐를 포함하는 내비게이션 컨트롤러(950)는, 예를 들면, 플랫폼(902) 및/또는 디스플레이(920)와 상호작용하기 위해 사용될 수도 있다. 이들 컴포넌트의 각각은 하기에 상세히 설명된다.
다양한 구현예에서, 플랫폼(902)은 칩셋(905), 프로세서(910), 메모리(912), 스토리지(914), 그래픽 서브시스템(915), 스토리지(914), 그래픽 서브시스템(915), 애플리케이션(916) 및/또는 무선부(radio)(918)를 포함할 수도 있다. 칩셋(905)은, 프로세서(910), 메모리(912), 스토리지(914), 그래픽 서브시스템(915), 애플리케이션(916) 및/또는 무선부(radio)(918) 사이에서의 상호통신(intercommunication)을 제공할 수도 있다. 예를 들면, 칩셋(905)은 스토리지(914)와의 상호통신을 제공할 수 있는 스토리지 어댑터(묘사되지 않음)를 포함할 수도 있다.
프로세서(910)는 복합 명령어 세트 컴퓨터(Complex Instruction Set Computer; CISC) 또는 축소 명령어 세트 컴퓨터(Reduced Instruction Set Computer; RISC) 프로세서, x86 명령어 세트 호환 프로세서, 다중 코어, 또는 임의의 다른 마이크로프로세서 또는 중앙 처리 유닛(central processing unit; CPU)으로서 구현될 수도 있다. 다양한 구현예에서, 프로세서(910)는 듀얼 코어 프로세서(들), 듀얼 코어 모바일 프로세서(들) 등을 포함할 수도 있다.
메모리(912)는, 랜덤 액세스 메모리(Random Access Memory; RAM), 다이나믹 랜덤 액세스 메모리(Dynamic Random Access Memory; DRAM), 스테틱 램(Static RAM; SRAM)과 같은 그러나 이들로 한정되지 않는 휘발성 메모리 디바이스로서 구현될 수도 있다.
스토리지(914)는, 자기 디스크 드라이브, 광학 디스크 드라이브, 테이프 드라이브, 내부 스토리지 디바이스, 부착형 스토리지 디바이스(attached storage device), 플래시 메모리, 배터리로 백업되는(battery backed-up) SDRAM(동기 DRMA), 및/또는 네트워크 액세스가능한 스토리지 디바이스와 같은 그러나 이들로 제한되지 않는 불휘발성 스토리지 디바이스로서 구현될 수도 있다. 다양한 구현예에서, 스토리지(914)는, 예를 들면, 다수의 하드 드라이버가 포함되는 경우 귀중한 디지털 미디어에 대한 저장 성능이 향상된 보호성능(storage performance enhanced protection)을 증가시키기 위한 기술을 포함한다.
그래픽 서브시스템(915)은 디스플레이를 위해 스틸 또는 비디오와 같은 이미지의 프로세싱을 수행할 수도 있다. 그래픽 서브시스템(915)은, 예를 들면, 그래픽 프로세싱 유닛(graphics processing unit; GPU) 또는 비주얼 프로세싱 유닛(visual processing unit; VPU)일 수도 있다. 그래픽 서브시스템(915)과 디스플레이(920)를 통신적으로 커플링하기 위해 아날로그 또는 디지털 인터페이스가 사용될 수도 있다. 예를 들면, 그 인터페이스는 고선명 멀티미디어 인터페이스(High-Definition Multimedia Interface), 디스플레이 포트(Display Port), 무선 HDMI, 및/또는 무선 HD 대응 기술(wireless HD compliant technique) 중 임의의 것일 수도 있다. 그래픽 서브시스템(915)은 프로세서(910) 또는 칩셋(905)에 통합될 수도 있다. 몇몇 구현예에서, 그래픽 서브시스템(915)은 칩셋(905)에 통신적으로 커플링되는 독립형 카드일 수도 있다.
본원에서 설명되는 그래픽 및/또는 비디오 프로세싱 기술은 다양한 하드웨어 아키텍쳐에서 구현될 수도 있다. 예를 들면, 그래픽 및/또는 비디오 기능성은 칩셋 내에 통합될 수도 있다. 대안적으로, 별개의 그래픽 및/또는 비디오 프로세서가 사용될 수도 있다. 또 다른 구현예로서, 그래픽 및/또는 비디오 기능은, 다중 코어 프로세서를 포함하는 범용 프로세스에 의해 구현될 수도 있다. 다른 실시형태에서, 기능은 소비자 전자 디바이스에서 구현될 수도 있다.
무선부(918)는 다양하고 적절한 무선 통신 기술을 사용하여 신호를 송수신할 수 있는 하나 이상의 무선부를 포함할 수도 있다. 이러한 기술은 하나 이상의 무선 네트워크에 걸친 통신을 수반할 수도 있다. 예시적인 무선 네트워크는 무선 근거리 통신망(wireless local area network; WLAN), 무선 사설 네트워크(wireless personal area network; WPAN), 무선 메트로폴리탄 통신망(wireless metropolitan area network; WMAN), 셀룰러 네트워크, 위성 네트워크 등을 포함한다. 이러한 네트워크에 걸친 통신에서, 무선부(918)는 하나 이상의 적용가능한 표준의 임의의 버전에 따라 동작할 수도 있다.
다양한 구현예에서, 디스플레이(920)는 임의의 텔레비전 타입의 모니터 또는 디스플레이를 포함할 수도 있다. 예를 들면, 디스플레이(920)는 컴퓨터 디스플레이 스크린, 터치 스크린 디스플레이, 비디오 모니터, 텔레비전형 디바이스 및/또는 텔레비전을 포함할 수도 있다. 디스플레이(920)는 디지털 및/또는 아날로그일 수도 있다. 다양한 구현예에서, 디스플레이(920)는 홀로그래픽 디스플레이(holographic display)일 수도 있다. 또한, 디스플레이(920)는 시각적 프로젝션(visual projection)을 수신할 수도 있는 투명 표면일 수도 있다. 이러한 프로젝션은 다양한 형태의 정보, 이미지, 및/또는 오브젝트를 전달할 수도 있다. 예를 들면, 이러한 프로젝션은 모바일 증강 현실(mobile augmented reality; MAR) 애플리케이션을 위한 시각적 오버레이일 수도 있다. 하나 이상의 소프트웨어 애플리케이션(916)의 제어 하에서, 플랫폼(902)은 디스플레이(920) 상에 유저 인터페이스(922)를 디스플레이할 수도 있다.
다양한 구현예에서, 컨텐츠 서비스 디바이스(들)(930)는 임의의 국가적, 국제적, 또는 독립적 서비스에 의해 호스팅될 수도 있고, 따라서, 예를 들면, 인터넷을 통해 플랫폼(902)에 액세스가능할 수도 있다. 컨텐츠 서비스 디바이스(들)(930)는 플랫폼(902)에 및/또는 디스플레이(920)에 커플링될 수도 있다. 플랫폼(902) 및/또는 컨텐츠 서비스 디바이스(들)(930)는 네트워크(960)에 커플링되어 네트워크(960)로 그리고 네트워크(960)로부터 미디어 정보를 전달(예를 들면, 전송 및/또는 수신)할 수도 있다. 컨텐츠 전달 디바이스(들)(940)는 플랫폼(902)에 및/또는 디스플레이(920)에 또한 커플링될 수도 있다.
다양한 구현예에서, 컨텐츠 서비스 디바이스(들)(930)는 케이블 텔레비전 박스, 퍼스널 컴퓨터, 네트워크, 전화, 디지털 정보 및/또는 컨텐츠를 전달할 수 있는 인터넷 대응 디바이스 또는 애플리케이션, 및 컨텐츠 공급자와 플랫폼(902) 및/또는 디스플레이(920) 사이에서, 네트워크(960)를 통해 또는 직접적으로, 컨텐츠를 단방향으로 또는 양방향으로 전달할 수 있는 임의의 다른 유사한 디바이스를 포함할 수도 있다. 컨텐츠는 네트워크(960)를 통해 컨텐츠 공급자와 시스템(900) 내의 컴포넌트 중 임의의 하나 사이에서 단방향으로 및/또는 양방향으로 전달될 수도 있음을 알 수 있을 것이다. 컨텐츠의 예는, 예를 들면, 비디오, 음악, 의료 및 게임 정보 등등을 포함하는 임의의 미디어 정보를 포함할 수도 있다.
컨텐츠 서비스 디바이스(들)(930)는, 컨텐츠 예컨대 미디어 정보를 포함하는 텔레비전 편성(programming), 디지털 정보, 또는 다른 컨텐츠를 수신할 수도 있다. 컨텐츠 공급자의 예는, 임의의 케이블 또는 위성 텔레비전 또는 라디오 또는 인터넷 컨텐츠 공급자를 포함할 수도 있다. 제공된 예는 본 개시에 따른 구현예를 어떤 식으로든 제한하도록 의도되지 않는다.
다양한 구현예에서, 플랫폼(902)은 하나 이상의 내비게이션 피쳐를 구비하는 내비게이션 컨트롤러(950)로부터 제어 신호를 수신할 수도 있다. 컨트롤러(950)의 내비게이션 피쳐는, 예를 들면, 유저 인터페이스(922)와 상호작용하기 위해 사용될 수도 있다. 실시형태에서, 내비게이션 컨트롤러(950)는, 유저가 공간적(예를 들면, 연속적이며 다차원의) 데이터를 컴퓨터에 입력하는 것을 허용하는 컴퓨터 하드웨어 컴포넌트(구체적으로는, 휴먼 인터페이스 디바이스)일 수도 있는 포인팅 디바이스일 수도 있다. 그래픽 유저 인터페이스(graphical user interface; GUI)와 같은 많은 시스템, 및 텔레비전과 모니터는, 유저가 물리적 제스처를 사용하여 컴퓨터 또는 텔레비전을 제어하고 그 컴퓨터 또는 텔레비전으로 데이터를 제공하는 것을 허용한다.
컨트롤러(950)의 내비게이션 피쳐의 움직임은, 디스플레이 상에 디스플레이되는 포인터, 커서, 포커스 링, 또는 다른 시각적 표시자의 움직임에 의해 디스플레이(예를 들면, 디스플레이(920)) 상에서 복제될 수도 있다. 예를 들면, 소프트웨어 애플리케이션(916)의 제어 하에서, 내비게이션 컨트롤러(950) 상에 위치된 내비게이션 피쳐는, 예를 들면, 유저 인터페이스(922) 상에 디스플레이되는 가상의 내비게이션 피쳐로 매핑될 수도 있다. 실시형태에서, 컨트롤러(950)는 별개의 컴포넌트가 아닐 수도 있지만, 그러나, 플랫폼(902) 및/또는 디스플레이(920) 안으로 통합될 수도 있다. 그러나, 본 개시는 본원에서 도시되거나 설명되는 엘리먼트 또는 컨텍스트에 제한되지는 않는다.
다양한 구현예에서, 드라이버(도시되지 않음)는, 예를 들면, 대응하는 경우, 초기 부팅 후, 유저가 버튼의 터치를 통해 플랫폼(902)을 즉시 턴온 및 턴오프하는 것을 가능하게 하는 기술을 포함할 수도 있다. 프로그램 로직은, 플랫폼이 턴오프되는 경우에도, 플랫폼(902)이 미디어 채택자(adaptor) 또는 다른 컨텐츠 서비스 디바이스(들)(930) 또는 컨텐츠 전달 디바이스(들)(940)로 컨텐츠를 스트리밍하는 것을 허용할 수도 있다. 또한, 칩셋(905)은, 예를 들면, 8.1 서라운드 사운드 오디오 및/또는 고선명(7.1) 서라운드 사운드 오디오에 대한 하드웨어 및/또는 소프트웨어 지원을 포함할 수도 있다. 드라이버는 통합된 그래픽 플랫폼에 대한 그래픽 드라이버를 포함할 수도 있다. 실시형태에서, 그래픽 드라이버는 주변장치 컴포넌트 인터커넥트(peripheral component interconnect; PCI) 익스프레스 그래픽 카드를 포함할 수도 있다.
다양한 구현예에서, 시스템(900)에 도시된 컴포넌트 중 임의의 하나 이상은 통합될 수도 있다. 예를 들면, 플랫폼(902)과 컨텐츠 서비스 디바이스(들)(930)이 통합될 수도 있거나, 또는 플랫폼(902)과 컨텐츠 전달 디바이스(들)(940)가 통합될 수도 있거나, 또는, 예를 들면, 플랫폼(902), 컨텐츠 서비스 디바이스(들)(930), 및 컨텐츠 전달 디바이스(들)(940)가 통합될 수도 있다. 다양한 실시형태에서, 플랫폼(902)과 디스플레이(920)는 통합된 유닛일 수도 있다. 예를 들면, 디스플레이(920) 및 컨텐츠 서비스 디바이스(들)(930)가 통합될 수도 있거나, 또는 디스플레이(920)와 컨텐츠 전달 디바이스(들)(940)가 통합될 수도 있다. 이들 예는 본 개시를 제한하도록 의도되지 않는다.
다양한 실시형태에서, 시스템(900)은 무선 시스템, 유선 시스템, 또는 이 둘의 조합으로서 구현될 수도 있다. 무선 시스템으로 구현되는 경우, 시스템(900)은 무선 공유 매체를 통해 통신하기에 적합한 컴포넌트 및 인터페이스, 예컨대 하나 이상의 안테나, 송신기, 수신기, 트랜시버, 증폭기, 필터, 제어 로직 등등을 포함할 수도 있다. 무선 공유 매체의 예는 RF 스펙트럼 등등과 같은 무선 스펙트럼의 일부를 포함할 수도 있다. 유선 시스템으로서 구현되는 경우, 시스템(900)은 유선 통신 매체를 통해 통신하기에 적합한 컴포넌트 및 인터페이스, 예컨대 입/출력(input/output; I/O) 어댑터, I/O 어댑터를 대응하는 유선 통신 매체와 연결하기 위한 물리적 커넥터, 네트워크 인터페이스 카드(network interface card; NIC), 디스크 컨트롤러, 비디오 컨트롤러, 오디오 컨트롤러 등등을 포함할 수도 있다. 유선 통신 매체의 예는, 와이어, 케이블, 금속 리드, 인쇄 회로 기판(printed circuit board; PCB), 백플레인(backplane), 스위치 패브릭, 반도체 재료, 연선 와이어(twisted-pair wire), 동축 케이블, 광섬유 등등을 포함할 수도 있다.
플랫폼(902)은 정보를 통신하기 위해 하나 이상의 논리적 또는 물리적 채널을 수립할 수도 있다. 그 정보는 미디어 정보 및 제어 정보를 포함할 수도 있다. 미디어 정보는 유저에게 의도된 컨텐츠를 나타내는 임의의 데이터를 지칭할 수도 있다. 컨텐츠의 예는, 예를 들면, 음성 대화로부터의 데이터, 영상회의, 스트리밍 비디오, 전자 메일("이메일") 메시지, 음성 메일 메시지, 영숫자 심볼, 그래픽, 이미지, 비디오, 텍스트 등등을 포함할 수도 있다. 음성 대화로부터의 데이터는, 예를 들면, 스피치 정보, 묵음 기간(silence period), 배경 노이즈, 편안한 잡음(comfort noise), 톤 등등을 포함할 수도 있다. 제어 정보는 자동화 시스템에 대해 의도된 커맨드, 명령어 또는 제어 워드를 나타내는 임의의 데이터를 지칭할 수도 있다. 예를 들면, 제어 정보는 미디어 정보를 시스템을 통해 경로지정하거나, 미리 결정된 방식으로 미디어 정보를 프로세싱하도록 노드에게 지시하기 위해 사용될 수도 있다. 그러나, 구현예는 도 9에서 도시되거나 설명되는 엘리먼트 또는 컨텍스트에 제한되지는 않는다.
도 10을 참조하면, 스몰 폼팩터 디바이스(1000)는, 시스템(900)이 구체화될 수도 있는 물리적 스타일 또는 폼팩터를 변경하는 일 예이다. 이 방식에 의하면, 디바이스(1000)는 무선 성능을 갖는 모바일 컴퓨팅 디바이스로스 구현될 수도 있다. 모바일 컴퓨팅 디바이스는, 예를 들면, 하나 이상의 배터리와 같은 모바일 전원 또는 전원장치(supply) 및 프로세싱 시스템을 구비하는 임의의 디바이스를 지칭할 수도 있다.
상기에서 설명된 바와 같이, 모바일 컴퓨팅 디바이스의 예는, 디지털 스틸 카메라, 디지털 비디오 카메라, 이미징 폰과 같은 카메라 또는 비디오 기능을 갖춘 모바일 디바이스, 웹캡, 퍼스널 컴퓨터(personal computer; PC), 랩탑 컴퓨터, 울트라 랩탑 컴퓨터, 태블릿, 터치 패드, 휴대형 컴퓨터, 핸드헬드 컴퓨터, 팜탑 컴퓨터, 개인 휴대 정보 단말기(PDA), 셀룰러 전화, 셀룰러 전화/PDA의 조합, 텔레비전, 스마트 디바이스(예를 들면, 스마트 폰, 스마트 태블릿 또는 스마트 텔레비전), 모바일 인터넷 디바이스(MID), 메시징 디바이스, 데이터 통신 디바이스 등등을 포함할 수도 있다.
모바일 컴퓨팅 디바이스의 예는, 손목 컴퓨터(wrist computer), 손가락 컴퓨터(finger computer), 반지형 컴퓨터(ring computer), 아이글래스 컴퓨터(eyeglass computer), 벨트 클립 컴퓨터(belt-clip computer), 암밴드(arm-band) 컴퓨터, 신발 컴퓨터(shoe computer), 의류 컴퓨터(clothing computer), 또는 다른 웨어러블 컴퓨터와 같은 사람이 착용하도록 정렬되는 컴퓨터를 또한 포함할 수도 있다. 다양한 실시형태에서, 예를 들면, 모바일 컴퓨팅 디바이스는 컴퓨터 애플리케이션뿐만 아니라 음성 통신 및/또는 데이터 통신을 실행할 수 있는 스마트폰으로서 구현될 수도 있다. 예로서, 몇몇 실시형태가 스마트폰으로서 구현되는 모바일 컴퓨팅 디바이스를 통해 설명될 수도 있지만, 다른 실시형태는, 다른 무선 모바일 컴퓨팅 디바이스를 사용하여 또한 구현될 수도 있다는 것을 알 수도 있을 것이다. 실시형태는 이러한 컨텍스트에 제한되지 않는다.
도 10에 도시된 바와 같이, 디바이스(1000)는 하우징(1002), 스크린(1010)을 포함하는 디스플레이(1004), 입/출력(I/O) 디바이스(1006), 및 안테나(1008)를 포함할 수도 있다. 디바이스(1000)는 내비게이션 피쳐(1012)를 또한 포함할 수도 있다. 디스플레이(1004)는 모바일 컴퓨팅 디바이스에 대해 적절한 정보를 디스플레이하기 위한 임의의 적절한 디스플레이 유닛을 포함할 수도 있다. I/O 디바이스(1006)는 모바일 컴퓨팅 디바이스로 정보를 입력하기 위한 임의의 적절한 I/O 디바이스를 포함할 수도 있다. I/O 디바이스(1006)에 대한 예는 영숫자 키보드, 숫자 키패드, 터치 패드, 입력 키, 버튼, 스위치, 라커(rocker) 스위치, 마이크, 스피커, 음성 인식 디바이스 및 소프트웨어 등등을 포함할 수도 있다. 또한, 정보는 마이크(도시되지 않음)를 통해 디바이스(1000)에 입력될 수도 있다. 이러한 정보는 음성 인식 디바이스(도시되지 않음)에 의해 디지털화될 수도 있다. 실시형태는 이러한 컨텍스트에 제한되지 않는다.
본원에서 설명되는 다양한 형태의 디바이스 및 프로세스는 하드웨어 엘리먼트, 소프트웨어 엘리먼트, 또는 이 둘의 조합을 사용하여 구현될 수도 있다. 하드웨어 엘리먼트의 예는, 프로세서, 마이크로프로세서, 회로, 회로 엘리먼트(예를 들면, 트랜지스터, 레지스터, 커패시터, 인덕터 등등), 집적 회로, 주문형 반도체(application specific integrated circuit; ASIC), 프로그래머블 로직 디바이스(programmable logic device; PLD), 디지털 신호 프로세서(digital signal processors; DSP), 필드 프로그래머블 게이트 어레이(field programmable gate array; FPGA), 로직 게이트, 레지스터, 반도체 디바이스, 칩, 마이크로칩, 칩셋 등등을 포함할 수도 있다. 소프트웨어의 예는, 소프트웨어 컴포넌트, 프로그램, 애플리케이션, 컴퓨터 프로그램, 애플리케이션 프로그램, 시스템 프로그램, 머신 프로그램, 오퍼레이팅 시스템 소프트웨어, 미들웨어, 펌웨어, 소프트웨어 모듈, 루틴, 서브루틴, 함수, 메소드, 프로시져, 소프트웨어 인터페이스, 애플리케이션 프로그램 인터페이스(application program interface; API), 명령어 세트, 컴퓨팅 코드, 컴퓨터 코드, 코드 세그먼트, 컴퓨터 코드 세그먼트, 워드, 값, 심볼, 또는 이들의 임의의 조합을 포함할 수도 있다. 실시형태가 하드웨어 엘리먼트 및/또는 소프트웨어 엘리먼트를 사용하여 구현되는지의 여부를 결정하는 것은, 임의의 다수의 인자, 예컨대 소망의 계산 속도(computational rate), 파워 레벨, 열 내성, 프로세싱 싸이클 버짓(budget), 입력 데이터 레이트, 출력 데이터 레이트, 메모리 리소스, 데이터 버스 속도 및 다른 디자인 또는 성능 제약사항에 따라 변할 수도 있다.
적어도 하나의 실시형태의 하나 이상의 양태는, 프로세서 내의 다양한 로직을 나타내는 머신 판독가능 매체에 저장되는 대표적인 명령어에 의해 구현될 수도 있는데, 그 명령어는 머신에 의한 판독시 머신으로 하여금 본원에서 설명되는 기술을 수행하기 위한 로직을 만들게 한다. "IP 코어"로서 알려진 이러한 표현은, 유형의 머신 판독가능 매체 상에 저장되어, 로직 또는 프로세서를 실제로 만드는 제조 머신으로 로딩하도록 다양한 고객 또는 제조 설비로 공급될 수도 있다.
본원에서 명시되는 소정의 피쳐가 다양한 구현예를 참조로 설명되었지만, 이 설명은 제한적인 의미로 해석되도록 의도되지는 않는다. 그러므로, 본원에서 설명되는 구현예의 다양한 수정예뿐만 아니라, 본 개시가 속하는 기술분야의 당업자에게 명백한 다른 구현예도, 본 개시의 취지와 범위 내에 놓이는 것으로 간주된다.
하기의 예는 다른 구현예에 관련된다.
자동 화이트 밸런싱의 컴퓨터 구현 방법은, 이미지 프로세싱 디바이스에 의해, 이미지 상의 적어도 하나의 지점의 피부 색도가 컬러 공간의 적어도 제1 피부 색도 클러스터 또는 컬러 공간의 제2 피부 색도 클러스터 내에 틀림없이 위치될 적어도 하나의 우도를 결정하는 것을 포함한다. 적어도 하나의 우도에 따라, 목표 색도 클러스터는, 제1 피부 색도 클러스터의 적어도 일부 및 제2 피부 색도 클러스터의 적어도 일부 둘 다로부터 형성될 수도 있다. 목표 색도 클러스터 상에서의 지점의 피부 색도에 적어도 부분적으로 기초하여, 이미지에 대한 백색점이 설정될 수도 있다.
다른 구현예에 의하면, 어두운 피부 타입에 대응하는 하나의 우도 및 밝은 피부 타입에 대응하는 다른 우도를 포함하는 적어도 두 개의 우도가 계산될 수도 있다. 그 방법은 또한, 제1 또는 제2 피부 색도 클러스터의 일부를 사용하는 것을 포함하는 목표 색도 클러스터를 형성하는 것을 포함할 수도 있는데, 그 일부는 적어도 하나의 우도에 비례한다. 그 일부는, 우도가 약 50% 미만인 경우 대응하는 우도에 비례할 수도 있다. 추가적으로, 그 일부는 클러스터 내에서 그리고 컬러 공간 상의 제1 및 제2 피부 색도 클러스터 중 나머지의 것에 대해 기하학적으로나 물리적으로 가장 가까울 수도 있다. 다르게는, 그 방법은, 대응하는 우도가 약 50%를 초과하는 경우 제1 또는 제2 피부 색도 클러스터의 대략 100%를 사용하는 것을 포함할 수도 있다.
한 형태에서, 목표 색도 클러스터는, (1) 대응하는 우도가 대략 100%인 경우, 목표 색도 클러스터를 제1 피부 색도 클러스터와 대략 동일하게 수립하고, (2) 대응하는 우도가 대략 100%인 경우, 목표 색도 클러스터를 제2 피부 색도 클러스터와 대략 동일하게 수립하고, (3) 제1 및 제2 피부 색도 클러스터의 각각의 우도 둘 다가 대략 50%인 경우, 목표 색도 클러스터를 제1 및 제2 피부 색도 클러스터의 대략 합집합으로 수립하고, (4) 제1 피부 색도 클러스터에 대응하는 우도가 약 50%보다 높은 경우, 목표 색도 클러스터를 제1 피부 색도 클러스터 더하기 제2 피부 색도 클러스터의 비율 - 그 비율은 제2 피부 색도 클러스터 내에서 발견되고 있는 피부 색도 지점의 우도에 대응함 - 로서 수립하고, (5) 제2 피부 색도 클러스터에 대응하는 우도가 약 50%보다 높은 경우, 목표 색도 클러스터를 제2 피부 색도 클러스터 더하기 제1 피부 색도 클러스터의 비율 - 그 비율은 제1 피부 색도 클러스터 내에서 발견되고 있는 피부 색도 지점의 우도에 대응함 - 로서 수립하는 것에 의해 형성될 수도 있다.
또 다른 구현예에서, 클러스터는 두 개 내지 여섯 개의 피부 색도 클러스터를 포함할 수도 있다. 또한, 우도는, 사람의 눈 휘도 및 검출된 얼굴의 피부 휘도를 사용하는 것, 및 사람의 눈 휘도, 입술 휘도, 및 검출된 얼굴의 피부 휘도를 사용하는 것 중 하나에 의해 결정될 수도 있다. 그 방법은 또한, 컬러 공간 상에서의 피부 색도 지점의 초기 위치를 수립하는 것, 및 피부 색도 지점을, 목표 색도 클러스터를 향해, 목표 색도 클러스터의 에지로, 그리고 목표 색도 클러스터 상의 가장 가까운 지점으로 중 적어도 하나로 이동시키도록 피부 색도 지점에 보정을 적용하는 것에 의해 피부 색도 지점의 색도를 결정하는 것을 포함할 수도 있다. 그 방법은 또한, 이미지 상에서 검출된 복수의 피부 제공 오브젝트(skin providing object) 중 각각의 검출된 피부 제공 오브젝트에 대한 적어도 하나의 보정 이득을 결정하는 것, 및 그 보정 이득을 사용하여 최종 백색점을 결정하는 것을 포함할 수도 있다.
또 다른 구현예에 의하면, 자동 화이트 밸런싱을 이용한 이미지 프로세싱용 시스템은, 디스플레이, 디스플레이에 통신적으로 커플링되는 적어도 하나의 프로세스, 적어도 하나의 프로세서에 통신적으로 커플링되는 적어도 하나의 메모리, 및 프로세서에 통신적으로 커플링되는 자동 화이트 밸런싱 조정 모듈을 포함한다. 그 모듈은, 이미지 상의 적어도 하나의 피부 색도 지점의 피부 색도가 컬러 공간의 적어도 제1 피부 색도 클러스터 또는 컬러 공간의 제2 피부 색도 클러스터 내에 틀림없이 위치될 적어도 하나의 우도를 결정하도록 구성된다. 그 모듈은 또한, 적어도 하나의 우도에 따라, 목표 색도 클러스터를, 제1 피부 색도 클러스터의 적어도 일부 및 제2 피부 색도 클러스터의 적어도 일부 둘 다로부터 형성한다. 그 모듈은 또한, 목표 색도 클러스터 상에서의 지점의 피부 색도에 적어도 부분적으로 기초하여 이미지에 대한 백색점을 또한 설정할 수도 있다.
더 많은 구현예에서, 자동 화이트 밸런싱 조정 모듈은, 어두운 피부 타입에 대응하는 하나의 우도 및 밝은 피부 타입에 대응하는 다른 우도를 포함하는 적어도 두 개의 우도를 계산하도록 구성된다. 목표 색도 클러스터는, 제1 또는 제2 피부 색도 클러스터의 일부를 포함할 수도 있고, 그 일부는 적어도 하나의 우도에 비례한다. 목표 색도 클러스터는 또한, 우도가 약 50% 미만인 경우, 대응하는 우도에 비례하는 제1 또는 제2 피부 색도 클러스터의 일부를 또한 포함할 수도 있다. 다르게는, 목표 색도 클러스터는 적어도 하나의 우도에 비례하는 제1 또는 제2 피부 색도 클러스터의 일부를 포함할 수도 있는데, 그 클러스터의 일부는 그 클러스터 내에서 그리고 컬러 공간 상의 제1 및 제2 피부 색도 클러스터 중 나머지의 것에 대해 기하학적으로 가장 가깝다. 목표 색도 클러스터는, 대응하는 우도가 50%를 초과하는 경우, 제1 또는 제2 피부 색도 클러스터의 대략 100%를 포함할 수도 있다.
한 형태에 의하면, 목표 색도 클러스터는, (1) 대응하는 우도가 대략 100%인 경우, 제1 피부 색도 클러스터, (2) 대응하는 우도가 대략 100%인 경우, 제2 피부 색도 클러스터, (3) 제1 및 제2 피부 색도 클러스터의 각각의 우도 둘 다가 대략 50%인 경우, 제1 및 제2 피부 색도 클러스터의 합집합, (4) 제1 피부 색도 컬러에 대응하는 우도가 약 50%보다 높은 경우, 제1 피부 색도 클러스터 더하기 제2 피부 색도 클러스터의 비율 - 그 비율은 제2 피부 색도 클러스터 내에서 발견되고 있는 피부 색도 지점의 우도에 대응함 - , (5) 제2 피부 색도 클러스터에 대응하는 우도가 약 50%보다 높은 경우, 제2 피부 색도 클러스터 더하기 제1 피부 색도 클러스터의 비율 - 그 비율은 제1 피부 색도 클러스터 내에서 발견되고 있는 피부 색도 지점의 우도에 대응함 - 과 대략 동일할 수도 있다.
다른 대안예에 의하면, 클러스터는 두 개 내지 여섯 개의 피부 색도 클러스터를 포함할 수도 있다. 또한, 우도는, 사람의 눈 휘도 및 검출된 얼굴의 피부 휘도를 사용하는 것, 및 사람의 눈 휘도, 입술 휘도, 및 검출된 얼굴의 피부 휘도를 사용하는 것 중 하나에 의해 결정될 수도 있다. 또한, 자동 화이트 밸런싱 조정 모듈은, 컬러 공간 상에서의 피부 색도 지점의 초기 위치를 수립하도록, 그리고 컬러 공간 상에서의 피부 색도 지점을, 목표 색도 클러스터를 향해, 목표 색도 클러스터의 에지로, 그리고 목표 색도 클러스터 상의 가장 가까운 지점으로 중 적어도 하나로 이동시키도록 피부 색도 지점에 보정을 적용하는 것에 의해 피부 색도 지점의 색도를 결정하도록 구성될 수도 있다. 자동 화이트 밸런싱 모듈은 또한, 이미지 상의 복수의 피부 제공 오브젝트 중 각각의 검출된 피부 제공 오브젝트에 대한 적어도 하나의 보정 이득을 결정하도록, 그리고 적어도 그 보정 이득을 사용하여 이미지에 대한 최종 백색점을 결정하도록 구성될 수도 있다.
다른 구현예의 경우, 자동 화이트 밸런싱을 위한 적어도 하나의 비일시적 물품은 명령어를 구비하는 컴퓨터 프로그램을 저장하고 있는데, 그 명령어는 실행시 컴퓨터로 하여금, 이미지 프로세싱 디바이스에 의해, 이미지 상의 적어도 하나의 지점의 피부 색도가 컬러 공간의 적어도 제1 피부 색도 클러스터 또는 컬러 공간의 제2 피부 색도 클러스터 내에 틀림없이 위치될 적어도 하나의 우도를 결정하게 한다. 그 명령어는 또한 컴퓨터로 하여금, 적어도 하나의 우도에 따라, 목표 색도 클러스터를, 제1 피부 색도 클러스터의 적어도 일부 및 제2 피부 색도 클러스터의 적어도 일부 둘 다로부터 형성하게 하고, 목표 색도 클러스터 상에서의 지점의 피부 색도에 적어도 부분적으로 기초하여 이미지에 대한 백색점을 설정하게 한다.
또 다른 대안예에서, 그 명령어는 컴퓨터로 하여금, 어두운 피부 타입에 대응하는 하나의 우도 및 밝은 피부 타입에 대응하는 다른 우도를 포함하는 적어도 두 개의 우도를 계산하게 한다. 그 명령어는 또한, 제1 또는 제2 피부 색도 클러스터의 일부를 사용하는 것을 포함하는 목표 색도 클러스터를 형성하는 것을 포함할 수도 있는데, 그 일부는 적어도 하나의 우도에 비례한다. 그 일부는, 우도가 약 50% 미만인 경우 대응하는 우도에 비례할 수도 있다. 추가적으로, 그 일부는 클러스터 내에서 그리고 컬러 공간 상의 제1 및 제2 피부 색도 클러스터 중 나머지의 것에 대해 기하학적으로 가장 가까울 수도 있다. 다르게는, 그 명령어는 컴퓨터로 하여금, 대응하는 우도가 약 50%를 초과하는 경우 제1 또는 제2 피부 색도 클러스터의 대략 100%를 사용하게 할 수도 있다.
한 형태에서, 그 명령어는 목표 색도 클러스터로 하여금, (1) 대응하는 우도가 대략 100%인 경우, 목표 색도 클러스터를 제1 피부 색도 클러스터와 대략 동일하게 수립하는 것, (2) 대응하는 우도가 대략 100%인 경우, 목표 색도 클러스터를 제2 피부 색도 클러스터와 대략 동일하게 수립하는 것, (3) 제1 및 제2 피부 색도 클러스터의 각각의 우도 둘 다가 대략 50%인 경우, 목표 색도 클러스터를 제1 및 제2 피부 색도 클러스터의 대략 합집합으로 수립하는 것, (4) 제1 피부 색도 컬러에 대응하는 우도가 약 50%보다 높은 경우, 목표 색도 클러스터를 제1 피부 색도 클러스터 더하기 제2 피부 색도 클러스터의 비율 - 그 비율은 제2 피부 색도 클러스터 내에서 발견되고 있는 피부 색도 지점의 우도에 대응함 - 로서 수립하는 것, (5) 제2 피부 색도 클러스터에 대응하는 우도가 약 50%보다 높은 경우, 목표 색도 클러스터를 제2 피부 색도 클러스터 더하기 제1 피부 색도 클러스터의 비율 - 그 비율은 제1 피부 색도 클러스터 내에서 발견되고 있는 피부 색도 지점의 우도에 대응함 - 로서 수립하는 것에 의해 형성되게 할 수도 있다.
또 다른 구현예에서, 클러스터는 두 개 내지 여섯 개의 피부 색도 클러스터를 포함할 수도 있다. 또한, 우도는, 사람의 눈 휘도 및 검출된 얼굴의 피부 휘도를 사용하는 것, 및 사람의 눈 휘도, 입술 휘도, 및 검출된 얼굴의 피부 휘도를 사용하는 것 중 하나에 의해 결정될 수도 있다. 그 명령어는 또한 컴퓨터로 하여금, 컬러 공간 상에서의 피부 색도 지점의 초기 위치를 수립하게 하고, 그리고 컬러 공간 상에서의 피부 색도 지점을, 목표 색도 클러스터를 향해, 목표 색도 클러스터의 에지로, 그리고 목표 색도 클러스터 상의 가장 가까운 지점으로 중 적어도 하나로 이동시키도록 피부 색도 지점에 보정을 적용하게 할 수도 있다. 명령어는 또한 컴퓨터로 하여금, 이미지 상의 복수의 피부 제공 오브젝트 중 각각의 검출된 피부 제공 오브젝트에 대한 적어도 하나의 보정 이득을 결정하게 하고, 그리고 적어도 그 보정 이득을 사용하여 이미지에 대한 최종 백색점을 결정하게 할 수도 있다.
다른 예에서, 적어도 하나의 머신 판독가능 매체는 복수의 명령어를 포함할 수도 있는데, 그 명령어는 컴퓨팅 디바이스 상에서 실행되는 것에 응답하여, 컴퓨팅 디바이스로 하여금 상기 예 중 어느 하나에 따른 방법을 수행하게 한다.
또 다른 예에서, 장치는 상기 예 중 어느 하나에 따른 방법을 수행하기 위한 수단을 포함할 수도 있다.
상기 예는 피쳐의 고유의 조합을 포함할 수도 있다. 그러나, 상기 예는 이와 관련하여 제한되지 않으며, 다양한 구현예에서, 상기 예는 이러한 피쳐의 서브세트만을 담당하는(undertaking) 것, 이러한 피쳐의 상이한 순서를 담당하는 것, 이러한 피쳐의 상이한 조합을 담당하는 것, 및/또는 명시적으로 열거된 이들 피쳐 이외의 추가 피쳐를 담당하는 것을 포함할 수도 있다. 예를 들면, 본원에서의 임의의 예시적인 방법과 관련하여 설명된 모든 피쳐는, 임의의 예시적인 장치, 예시적인 시스템, 및/또는 예시적인 물품과 관련하여 구현될 수도 있고, 그 반대로도 될 수도 있다.

Claims (25)

  1. 컴퓨터로 구현되는 자동 화이트 밸런싱 방법으로서,
    이미지 상의 적어도 하나의 피부 색도 지점(skin chromaticity point)의 피부 색도가 컬러 공간의 적어도 제1 피부 색도 클러스터 또는 상기 컬러 공간의 제2 피부 색도 클러스터 내에 위치되어야 하는 적어도 하나의 우도(likelihood)를, 이미지 프로세싱 디바이스에 의해, 결정하는 단계와,
    상기 적어도 하나의 우도에 따라, 상기 제1 피부 색도 클러스터의 적어도 일부 및 상기 제2 피부 색도 클러스터의 적어도 일부 둘 다로부터, 목표 색도 클러스터(target chromaticity cluster)를 형성하는 단계와,
    상기 목표 색도 클러스터 상에서 피부 색도 지점의 상기 피부 색도에 적어도 부분적으로 기초하여, 상기 이미지에 대한 백색점(white point)을 설정하는 단계를 포함하는
    자동 화이트 밸런싱 방법.
  2. 제 1 항에 있어서,
    어두운 피부 타입에 대응하는 하나의 우도 및 밝은 피부 타입에 대응하는 다른 우도를 포함하는 적어도 두 개의 우도가 계산되는
    자동 화이트 밸런싱 방법.
  3. 제 1 항에 있어서,
    목표 색도 클러스터를 형성하는 단계는, 상기 제1 피부 색도 클러스터 또는 상기 제2 피부 색도 클러스터의 일부를 사용하는 단계를 포함하고, 상기 일부는 상기 적어도 하나의 우도에 비례하는
    자동 화이트 밸런싱 방법.
  4. 제 1 항에 있어서,
    목표 색도 클러스터를 형성하는 단계는, 상기 우도가 약 50% 미만인 경우 대응하는 우도에 비례하는 상기 제1 피부 색도 클러스터 또는 상기 제2 피부 색도 클러스터의 일부를 사용하는 단계를 포함하는
    자동 화이트 밸런싱 방법.
  5. 제 1 항에 있어서,
    목표 색도 클러스터를 형성하는 단계는, 상기 적어도 하나의 우도에 비례하는 상기 제1 피부 색도 클러스터 또는 상기 제2 피부 색도 클러스터의 일부를 사용하는 단계를 포함하고, 상기 클러스터의 일부는 상기 클러스터 내에서 그리고 상기 컬러 공간 상의 상기 제1 피부 색도 클러스터 및 상기 제2 피부 색도 클러스터 중 나머지의 것에 대해 기하학적으로 가장 가까운
    자동 화이트 밸런싱 방법.
  6. 제 1 항에 있어서,
    대응하는 우도가 약 50%를 초과하는 경우 상기 제1 피부 색도 클러스터 또는 제2 피부 색도 클러스터의 대략 100%를 사용하는 단계를 포함하는
    자동 화이트 밸런싱 방법.
  7. 제 1 항에 있어서,
    목표 색도 클러스터를 형성하는 단계는,
    대응하는 우도가 대략 100%인 경우, 상기 목표 색도 클러스터를 상기 제1 피부 색도 클러스터와 대략 동일하게 수립하는 단계와,
    대응하는 우도가 대략 100%인 경우, 상기 목표 색도 클러스터를 상기 제2 피부 색도 클러스터와 대략 동일하게 수립하는 단계와,
    상기 제1 피부 색도 클러스터 및 상기 제2 피부 색도 클러스터의 각각의 우도 둘 다가 대략 50%인 경우, 상기 목표 색도 클러스터를 상기 제1 피부 색도 클러스터 및 상기 제2 피부 색도 클러스터의 대략 합집합(union)으로 수립하는 단계와,
    상기 제1 피부 색도 컬러에 대응하는 상기 우도가 약 50%보다 높은 경우, 상기 목표 색도 클러스터를 상기 제1 피부 색도 클러스터 더하기 상기 제2 피부 색도 클러스터의 비율 - 상기 비율은 상기 제2 피부 색도 클러스터 내에서 발견되고 있는 상기 피부 색도 지점의 상기 색도의 우도에 대응함 - 로서 수립하는 단계와,
    상기 제2 피부 색도 클러스터에 대응하는 상기 우도가 약 50%보다 높은 경우, 상기 목표 색도 클러스터를 상기 제2 피부 색도 클러스터 더하기 상기 제1 피부 색도 클러스터의 비율 - 상기 비율은 상기 제1 피부 색도 클러스터 내에서 발견되고 있는 상기 피부 색도 지점의 상기 색도의 우도에 대응함 - 로서 수립하는 단계를 포함하는
    자동 화이트 밸런싱 방법.
  8. 제 1 항에 있어서,
    두 개 내지 여섯 개의 피부 색도 클러스터가 존재하는
    자동 화이트 밸런싱 방법.
  9. 제 1 항에 있어서,
    상기 우도는 사람의 눈 휘도 및 검출된 얼굴의 피부 휘도를 사용하여 결정되는
    자동 화이트 밸런싱 방법.
  10. 제 1 항에 있어서,
    상기 우도는 사람의 눈 휘도, 입술 휘도, 및 검출된 얼굴의 피부 휘도를 사용하여 결정되는
    자동 화이트 밸런싱 방법.
  11. 제 1 항에 있어서,
    상기 컬러 공간 상에서 상기 피부 색도 지점의 초기 위치를 수립하는 단계와,
    상기 컬러 공간 상에서 상기 피부 색도 지점을,
    상기 목표 색도 클러스터를 향해,
    상기 목표 색도 클러스터의 에지로,
    상기 목표 색도 클러스터 상의 가장 가까운 지점으로
    중 적어도 하나로 이동시키도록 상기 피부 색도 지점에 보정을 적용하는 것에 의해 상기 피부 색도 지점의 색도를 결정하는 단계를 포함하는
    자동 화이트 밸런싱 방법.
  12. 제 1 항에 있어서,
    상기 이미지 상의 복수의 검출된 피부 제공 오브젝트(skin providing object) 중 각각의 검출된 피부 제공 오브젝트에 대한 적어도 하나의 보정 이득을 결정하는 단계와, 적어도 상기 보정 이득을 사용하여 상기 이미지에 대한 최종 백색점을 결정하는 단계를 포함하는
    자동 화이트 밸런싱 방법.
  13. 제 1 항에 있어서,
    어두운 피부 타입에 대응하는 하나의 우도 및 밝은 피부 타입에 대응하는 다른 우도를 포함하는 적어도 두 개의 우도가 계산되고,
    목표 색도 클러스터를 형성하는 단계는, 상기 제1 피부 색도 클러스터 또는 상기 제2 피부 색도 클러스터의 일부를 사용하는 단계를 포함하고, 상기 일부는 상기 적어도 하나의 우도에 비례하고,
    상기 일부는, 상기 우도가 약 50% 미만인 경우 대응하는 우도에 비례하고,
    상기 일부는, 상기 클러스터 내에서 그리고 상기 컬러 공간 상의 상기 제1 피부 색도 클러스터 및 상기 제2 피부 색도 클러스터 중 나머지의 것에 대해 기하학적으로 가장 가깝고,
    상기 자동 화이트 밸런싱 방법은,
    대응하는 우도가 약 50%를 초과하는 경우 상기 제1 피부 색도 클러스터 또는 상기 제2 피부 색도 클러스터의 대략 100%를 사용하는 단계를 포함하되,
    목표 색도 클러스터를 형성하는 단계는,
    대응하는 우도가 대략 100%인 경우, 상기 목표 색도 클러스터를 상기 제1 피부 색도 클러스터와 대략 동일하게 수립하는 단계와,
    대응하는 우도가 대략 100%인 경우, 상기 목표 색도 클러스터를 상기 제2 피부 색도 클러스터와 대략 동일하게 수립하는 단계와,
    상기 제1 피부 색도 클러스터 및 상기 제2 피부 색도 클러스터의 각각의 우도 둘 다가 대략 50%인 경우, 상기 목표 색도 클러스터를 상기 제1 피부 색도 클러스터 및 상기 제2 피부 색도 클러스터의 대략 합집합으로 수립하는 단계와,
    상기 제1 피부 색도 클러스터에 대응하는 상기 우도가 약 50%보다 높은 경우, 상기 목표 색도 클러스터를 상기 제1 피부 색도 클러스터 더하기 상기 제2 피부 색도 클러스터의 비율 - 상기 비율은 상기 제2 피부 색도 클러스터 내에서 발견되고 있는 상기 지점의 우도에 대응함 - 로서 수립하는 단계와,
    상기 제2 피부 색도 클러스터에 대응하는 상기 우도가 약 50%보다 높은 경우, 상기 목표 색도 클러스터를 상기 제2 피부 색도 클러스터 더하기 상기 제1 피부 색도 클러스터의 비율 - 상기 비율은 상기 제1 피부 색도 클러스터 내에서 발견되고 있는 상기 지점의 우도에 대응함 - 로서 수립하는 단계를 포함하고,
    두 개 내지 여섯 개의 피부 색도 클러스터가 존재하고,
    상기 우도는,
    사람의 눈 휘도 및 검출된 얼굴의 피부 휘도를 사용하는 것, 및
    사람의 눈 휘도, 입술 휘도, 및 검출된 얼굴의 피부 휘도를 사용하는 것
    중 하나에 의해 결정되고,
    상기 자동 화이트 밸런싱 방법은,
    상기 컬러 공간 상에서의 상기 피부 색도 지점의 초기 위치를 수립하는 단계와,
    상기 피부 색도 지점을,
    상기 목표 색도 클러스터를 향해,
    상기 목표 색도 클러스터의 에지로, 그리고
    상기 목표 색도 클러스터 상의 가장 가까운 지점으로
    중 적어도 하나로 이동시키도록 상기 피부 색도 지점에 보정을 적용하는 것에 의해 상기 피부 색도 지점의 색도를 결정하는 단계와,
    상기 이미지 상의 복수의 피부 제공 오브젝트 중 각각의 검출된 피부 제공 오브젝트에 대한 적어도 하나의 보정 이득을 결정하는 단계와,
    적어도 상기 보정 이득을 사용하여 상기 이미지에 대한 최종 백색점을 결정하는 단계를 포함하는
    자동 화이트 밸런싱 방법.
  14. 자동 화이트 밸런싱을 이용한 이미지 프로세싱 시스템으로서,
    디스플레이와,
    상기 디스플레이에 통신가능하게 커플링되는 적어도 하나의 프로세서와,
    적어도 하나의 프로세서에 통신가능하게 커플링되는 적어도 하나의 메모리와,
    상기 프로세서에 통신가능하게 커플링되는 자동 화이트 밸런싱 조정 모듈을 포함하되,
    상기 자동 화이트 밸런싱 조정 모듈은,
    이미지 상의 적어도 하나의 피부 색도 지점의 피부 색도가 컬러 공간의 적어도 제1 피부 색도 클러스터 또는 컬러 공간의 제2 피부 색도 클러스터 내에 위치되어야 하는 적어도 하나의 우도를 결정하고,
    상기 적어도 하나의 우도에 따라, 상기 제1 피부 색도 클러스터의 적어도 일부 및 상기 제2 피부 색도 클러스터의 적어도 일부 둘 다로부터, 목표 색도 클러스터를 형성하고,
    상기 목표 색도 클러스터 상에서 피부 색도 지점의 상기 피부 색도에 적어도 부분적으로 기초하여, 상기 이미지에 대한 백색점을 설정하도록
    구성되는
    이미지 프로세싱 시스템.
  15. 제 14 항에 있어서,
    상기 자동 화이트 밸런싱 조정 모듈은, 어두운 피부 타입에 대응하는 하나의 우도 및 밝은 피부 타입에 대응하는 다른 우도를 포함하는 적어도 두 개의 우도를 계산하도록 구성되는
    이미지 프로세싱 시스템.
  16. 제 14 항에 있어서,
    상기 목표 색도 클러스터는, 상기 제1 피부 색도 클러스터 또는 상기 제2 피부 색도 클러스터의 일부를 포함하고, 상기 일부는 상기 적어도 하나의 우도에 비례하는
    이미지 프로세싱 시스템.
  17. 제 14 항에 있어서,
    상기 목표 색도 클러스터는, 상기 우도가 약 50% 미만인 경우 대응하는 우도에 비례하는 상기 제1 피부 색도 클러스터 또는 상기 제2 피부 색도 클러스터의 일부를 포함하는
    이미지 프로세싱 시스템.
  18. 제 14 항에 있어서,
    상기 목표 색도 클러스터는, 상기 적어도 하나의 우도에 비례하는 상기 제1 피부 색도 클러스터 또는 상기 제2 피부 색도 클러스터의 일부를 포함하고, 상기 클러스터의 일부는 상기 클러스터 내에서 그리고 상기 컬러 공간 상의 상기 제1 피부 색도 클러스터 및 상기 제2 피부 색도 클러스터 중 나머지의 것에 대해 기하학적으로 가장 가까운
    이미지 프로세싱 시스템.
  19. 제 14 항에 있어서,
    상기 목표 색도 클러스터는, 대응하는 우도가 약 50%를 초과하는 경우 상기 제1 피부 색도 클러스터 또는 상기 제2 피부 색도 클러스터의 대략 100%를 포함하는
    이미지 프로세싱 시스템.
  20. 제 14 항에 있어서,
    상기 목표 색도 클러스터는,
    대응하는 우도가 대략 100%인 경우 상기 제1 피부 색도 클러스터와,
    대응하는 우도가 대략 100%인 경우 상기 제2 피부 색도 클러스터와,
    상기 제1 피부 색도 클러스터 및 상기 제2 피부 색도 클러스터의 각각의 우도 둘 다가 대략 50%인 경우, 상기 제1 피부 색도 클러스터 및 상기 제2 피부 색도 클러스터의 합집합과,
    상기 제1 피부 색도 컬러에 대응하는 상기 우도가 약 50%보다 높은 경우, 상기 제1 피부 색도 클러스터 더하기 상기 제2 피부 색도 클러스터의 비율 - 상기 비율은 상기 제2 피부 색도 클러스터 내에서 발견되고 있는 상기 피부 색도 지점의 우도에 대응함 - 과,
    상기 제2 피부 색도 클러스터에 대응하는 상기 우도가 약 50%보다 높은 경우, 상기 제2 피부 색도 클러스터 더하기 상기 제1 피부 색도 클러스터의 비율 - 상기 비율은 제1 피부 색도 클러스터 내에서 발견되고 있는 상기 피부 색도 지점의 우도에 대응함 - 과 대략 동일한
    이미지 프로세싱 시스템.
  21. 제 14 항에 있어서,
    상기 자동 화이트 밸런싱 조정 모듈은, 어두운 피부 타입에 대응하는 하나의 우도 및 밝은 피부 타입에 대응하는 다른 우도를 포함하는 적어도 두 개의 우도를 계산하도록 구성되고,
    상기 목표 색도 클러스터는, 상기 제1 피부 색도 클러스터 또는 상기 제2 피부 색도 클러스터의 일부를 포함하고, 상기 일부는 상기 적어도 하나의 우도에 비례하고,
    상기 목표 색도 클러스터는, 상기 우도가 약 50% 미만인 경우, 대응하는 우도에 비례하는 상기 제1 피부 색도 클러스터 또는 상기 제2 피부 색도 클러스터의 일부를 포함하고,
    상기 목표 색도 클러스터는, 상기 적어도 하나의 우도에 비례하는 상기 제1 피부 색도 클러스터 또는 상기 제2 피부 색도 클러스터의 일부를 포함하고,
    상기 클러스터의 일부는, 상기 클러스터 내에서 그리고 상기 컬러 공간 상의 상기 제1 피부 색도 클러스터 및 상기 제2 피부 색도 클러스터 중 나머지의 것에 대해 물리적으로 가장 가깝고,
    상기 목표 색도 클러스터는, 대응하는 우도가 50%를 초과하는 경우, 상기 제1 피부 색도 클러스터 또는 상기 제2 피부 색도 클러스터의 대략 100%를 포함하고,
    상기 목표 색도 클러스터는,
    대응하는 우도가 대략 100%인 경우 상기 제1 피부 색도 클러스터,
    대응하는 우도가 대략 100%인 경우 상기 제2 피부 색도 클러스터,
    상기 제1 피부 색도 클러스터 및 상기 제2 피부 색도 클러스터의 각각의 우도 둘 다가 대략 50%인 경우, 상기 제1 피부 색도 클러스터 및 상기 제2 피부 색도 클러스터의 합집합,
    상기 제1 피부 색도 컬러에 대응하는 상기 우도가 약 50%보다 높은 경우, 상기 제1 피부 색도 클러스터 더하기 상기 제2 피부 색도 클러스터의 비율 - 상기 비율은 상기 제2 피부 색도 클러스터 내에서 발견되고 있는 상기 피부 색도 지점의 우도에 대응함 - , 및
    상기 제2 피부 색도 클러스터에 대응하는 상기 우도가 약 50%보다 높은 경우, 상기 제2 피부 색도 클러스터 더하기 상기 제1 피부 색도 클러스터의 비율 - 상기 비율은 제1 피부 색도 클러스터 내에서 발견되고 있는 상기 피부 색도 지점의 우도에 대응함 - 과 대략 동일하고,
    두 개 내지 여섯 개의 피부 색도 클러스터가 존재하고,
    상기 우도는,
    사람의 눈 휘도 및 검출된 얼굴의 피부 휘도를 사용하는 것, 및
    사람의 눈 휘도, 입술 휘도, 및 검출된 얼굴의 피부 휘도를 사용하는 것
    중 하나에 의해 결정되고,
    상기 자동 화이트 밸런싱 조정 모듈은 상기 컬러 공간 상에서 상기 피부 색도 지점의 초기 위치를 수립하고, 상기 컬러 공간 상에서 상기 피부 색도 지점을,
    상기 목표 색도 클러스터를 향해,
    상기 목표 색도 클러스터의 에지로, 그리고
    상기 목표 색도 클러스터 상의 가장 가까운 지점으로
    중 적어도 하나로 이동시키도록 상기 피부 색도 지점에 보정을 적용하는 것에 의해 상기 피부 색도 지점의 색도를 결정하도록 구성되고,
    상기 자동 화이트 밸런싱 모듈은, 상기 이미지 상의 복수의 피부 제공 오브젝트 중 각각의 검출된 피부 제공 오브젝트에 대한 적어도 하나의 보정 이득을 결정하고, 적어도 상기 보정 이득을 사용하여 상기 이미지에 대한 최종 백색점을 결정하도록 구성되는
    이미지 프로세싱 시스템.
  22. 명령어를 구비하는 컴퓨터 프로그램이 저장된 자동 화이트 밸런싱을 위한 적어도 하나의 비일시적 물품으로서,
    상기 명령어는 실행시 컴퓨터로 하여금,
    이미지 프로세싱 디바이스에 의해, 이미지 상의 적어도 하나의 피부 색도 지점의 피부 색도가 컬러 공간의 적어도 제1 피부 색도 클러스터 또는 상기 컬러 공간의 제2 피부 색도 클러스터 내에 위치되어야 하는 적어도 하나의 우도(likelihood)를 결정하게 하고,
    상기 적어도 하나의 우도에 따라, 상기 제1 피부 색도 클러스터의 적어도 일부 및 상기 제2 피부 색도 클러스터의 적어도 일부 둘 다로부터, 목표 색도 클러스터를 형성하게 하고,
    상기 목표 색도 클러스터 상에서 피부 색도 지점의 상기 피부 색도에 적어도 부분적으로 기초하여, 상기 이미지에 대한 백색점을 설정하게 하는
    적어도 하나의 비일시적 물품.
  23. 제 22 항에 있어서,
    어두운 피부 타입에 대응하는 하나의 우도 및 밝은 피부 타입에 대응하는 다른 우도를 포함하는 적어도 두 개의 우도가 계산되고,
    목표 색도 클러스터를 형성하는 것은, 상기 제1 피부 색도 클러스터 또는 상기 제2 피부 색도 클러스터의 일부를 사용하는 것을 포함하고, 상기 일부는 상기 적어도 하나의 우도에 비례하고,
    상기 일부는, 상기 우도가 약 50% 미만인 경우 대응하는 우도에 비례하고,
    상기 일부는, 상기 클러스터 내에서 그리고 상기 컬러 공간 상의 상기 제1 피부 색도 클러스터 및 상기 제2 피부 색도 클러스터 중 나머지의 것에 대해 기하학적으로 가장 가깝고,
    상기 명령어는, 실행시, 상기 컴퓨터로 하여금, 대응하는 우도가 약 50%를 초과하는 경우 상기 제1 피부 색도 클러스터 또는 상기 제2 피부 색도 클러스터의 대략 100%를 사용하게 하고,
    목표 색도 클러스터를 형성하는 것은,
    대응하는 우도가 대략 100%인 경우, 상기 목표 색도 클러스터를 상기 제1 피부 색도 클러스터와 대략 동일하게 수립하는 것,
    대응하는 우도가 대략 100%인 경우, 상기 목표 색도 클러스터를 상기 제2 피부 색도 클러스터와 대략 동일하게 수립하는 것,
    상기 제1 피부 색도 클러스터 및 상기 제2 피부 색도 클러스터의 각각의 우도 둘 다가 대략 50%인 경우, 상기 목표 색도 클러스터를 상기 제1 피부 색도 클러스터 및 상기 제2 피부 색도 클러스터의 대략 합집합으로 수립하는 것,
    상기 제1 피부 색도 클러스터에 대응하는 상기 우도가 약 50%보다 높은 경우, 상기 목표 색도 클러스터를 상기 제1 피부 색도 클러스터 더하기 상기 제2 피부 색도 클러스터의 비율 - 상기 비율은 상기 제2 피부 색도 클러스터 내에서 발견되고 있는 상기 지점의 우도에 대응함 - 로서 수립하는 것,
    상기 제2 피부 색도 클러스터에 대응하는 상기 우도가 약 50%보다 높은 경우, 상기 목표 색도 클러스터를 상기 제2 피부 색도 클러스터 더하기 상기 제1 피부 색도 클러스터의 비율 - 상기 비율은 상기 제1 피부 색도 클러스터 내에서 발견되고 있는 상기 피부 색도 지점의 상기 색도의 우도에 대응함 - 로서 수립하는 것을 포함하고,
    두 개 내지 여섯 개의 피부 색도 클러스터가 존재하고,
    상기 우도는,
    사람의 눈 휘도 및 검출된 얼굴의 피부 휘도를 사용하는 것, 및
    사람의 눈 휘도, 입술 휘도, 및 검출된 얼굴의 피부 휘도를 사용하는 것
    중 하나에 의해 결정되고,
    상기 명령어는, 실행시, 상기 컴퓨터로 하여금, 상기 컬러 공간 상에서 상기 피부 색도 지점의 초기 위치를 수립하게 하고, 상기 컬러 공간 상에서 상기 피부 색도 지점을,
    상기 목표 색도 클러스터를 향해,
    상기 목표 색도 클러스터의 에지로, 그리고
    상기 목표 색도 클러스터 상의 가장 가까운 지점으로
    중 적어도 하나로 이동시키도록 상기 피부 색도 지점에 보정을 적용하는 것에 의해 상기 피부 색도 지점의 색도를 결정하게 하고,
    상기 명령어는, 실행시, 상기 컴퓨터로 하여금, 상기 이미지 상의 복수의 피부 제공 오브젝트 중 각각의 검출된 피부 제공 오브젝트에 대한 적어도 하나의 보정 이득을 결정하게 하고, 적어도 상기 보정 이득을 사용하여 상기 이미지에 대한 최종 백색점을 결정하게 하는
    적어도 하나의 비일시적 물품.
  24. 컴퓨팅 디바이스 상에서 실행되는 것에 응답하여, 컴퓨팅 디바이스로 하여금 제 1 항 내지 제 13 항 중 어느 한 항에 따른 방법을 수행하게 하는 복수의 명령어를 포함하는 적어도 하나의 머신 판독가능 매체.
  25. 제 1 항 내지 제 13 항 중 어느 한 항에 따른 방법을 수행하기 위한 수단을 포함하는 장치.
KR1020167002076A 2013-08-26 2013-08-26 이미지 프로세싱을 위한 피부 톤 보정을 이용한 자동 화이트 밸런싱 KR101762081B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/056612 WO2015030705A1 (en) 2013-08-26 2013-08-26 Automatic white balancing with skin tone correction for image processing

Publications (2)

Publication Number Publication Date
KR20160027030A true KR20160027030A (ko) 2016-03-09
KR101762081B1 KR101762081B1 (ko) 2017-07-26

Family

ID=52480027

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167002076A KR101762081B1 (ko) 2013-08-26 2013-08-26 이미지 프로세싱을 위한 피부 톤 보정을 이용한 자동 화이트 밸런싱

Country Status (5)

Country Link
US (1) US9398280B2 (ko)
EP (1) EP3039864B1 (ko)
KR (1) KR101762081B1 (ko)
CN (1) CN105409211B (ko)
WO (1) WO2015030705A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018174581A1 (ko) * 2017-03-24 2018-09-27 삼성전자주식회사 전자 장치의 화이트 밸런스 기능 제어 방법 및 장치

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6427332B2 (ja) * 2014-04-08 2018-11-21 株式会社ミツトヨ 画像測定機
CN104468578B (zh) * 2014-12-10 2017-12-26 怀效宁 一种无线通讯的优先通讯系统和通讯方法
US9762878B2 (en) 2015-10-16 2017-09-12 Google Inc. Auto white balance using infrared and/or ultraviolet signals
US10135447B2 (en) 2016-07-21 2018-11-20 Andapt, Inc. Compensation memory (CM) for power application
JP6677222B2 (ja) * 2017-06-21 2020-04-08 カシオ計算機株式会社 検出装置、画像処理装置、検出方法、及び画像処理方法
CN107343189B (zh) 2017-07-10 2019-06-21 Oppo广东移动通信有限公司 白平衡处理方法和装置
KR102397396B1 (ko) 2017-09-13 2022-05-12 삼성전자주식회사 자동 화이트 밸런스를 위한 이미지 처리 방법 및 장치
CN107564073B (zh) * 2017-09-14 2021-03-16 广州市百果园信息技术有限公司 肤色识别方法及装置、存储介质
CN108038889A (zh) * 2017-11-10 2018-05-15 维沃移动通信有限公司 一种图像偏色的处理方法及移动终端
US10477177B2 (en) 2017-12-15 2019-11-12 Intel Corporation Color parameter adjustment based on the state of scene content and global illumination changes
CN111557023A (zh) 2017-12-29 2020-08-18 Pcms控股公司 使用公共对象维持颜色校准的方法和系统
US20190230253A1 (en) * 2018-01-23 2019-07-25 Qualcomm Incorporated Face tone color enhancement
CN110392245B (zh) * 2018-04-20 2021-07-16 瑞昱半导体股份有限公司 基于肤色信息的白平衡校正方法及其图像处理装置
US10719729B2 (en) 2018-06-06 2020-07-21 Perfect Corp. Systems and methods for generating skin tone profiles
US10791310B2 (en) 2018-10-02 2020-09-29 Intel Corporation Method and system of deep learning-based automatic white balancing
KR20210106990A (ko) 2018-11-30 2021-08-31 피씨엠에스 홀딩스, 인크. 피부 반사율 데이터베이스에 기초하여 장면 발광체를 추정하는 방법 및 장치
US10885606B2 (en) 2019-04-08 2021-01-05 Honeywell International Inc. System and method for anonymizing content to protect privacy
US11062579B2 (en) 2019-09-09 2021-07-13 Honeywell International Inc. Video monitoring system with privacy features
CN110751607A (zh) * 2019-10-21 2020-02-04 浙江大华技术股份有限公司 一种肤色的校正方法、装置、存储介质以及电子装置
CN111583127B (zh) * 2020-04-03 2023-08-15 浙江大华技术股份有限公司 人脸肤色校正方法、装置、计算机设备和可读存储介质
CN114071107B (zh) * 2020-08-10 2023-10-31 合肥君正科技有限公司 基于融合聚类分析与色温曲线的自动白平衡方法及装置
US11935322B1 (en) 2020-09-14 2024-03-19 Apple Inc. Obstruction-sensitive white point determination using face information
KR102397201B1 (ko) 2020-09-16 2022-05-12 엘지전자 주식회사 디스플레이 장치 및 그 방법
US20230102663A1 (en) * 2021-09-21 2023-03-30 Samsung Electronics Co., Ltd. Skin tone protection using a dual-core geometric skin tone model built in device-independent space
US20230353885A1 (en) * 2022-04-27 2023-11-02 Sonic Star Global Limited Image processing system and method for processing images

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377702B1 (en) 1999-12-08 2002-04-23 Sony Corporation Color cast detection and removal in digital images
EP1231777A1 (en) 2001-02-09 2002-08-14 GRETAG IMAGING Trading AG Correction of colors of photographic images
JP4826028B2 (ja) * 2001-05-24 2011-11-30 株式会社ニコン 電子カメラ
US6975759B2 (en) * 2002-06-25 2005-12-13 Koninklijke Philips Electronics N.V. Method and system for white balancing images using facial color as a reference signal
JP4375781B2 (ja) 2002-11-29 2009-12-02 株式会社リコー 画像処理装置および画像処理方法並びにプログラムおよび記録媒体
JP4517633B2 (ja) * 2003-11-25 2010-08-04 ソニー株式会社 対象物検出装置及び方法
KR100668303B1 (ko) * 2004-08-04 2007-01-12 삼성전자주식회사 피부색 및 패턴 매칭을 이용한 얼굴 검출 방법
US7599093B2 (en) 2004-09-30 2009-10-06 Fujifilm Corporation Image processing apparatus, method and program
US20090244316A1 (en) * 2004-12-22 2009-10-01 Koninklijke Philips Electronics, N.V. Automatic white balance control
US8045047B2 (en) 2005-06-23 2011-10-25 Nokia Corporation Method and apparatus for digital image processing of an image having different scaling rates
EP1906674A4 (en) 2005-07-13 2011-06-22 Nec Corp METHOD AND DEVICE FOR COLOR CORRECTION
US8154612B2 (en) 2005-08-18 2012-04-10 Qualcomm Incorporated Systems, methods, and apparatus for image processing, for color classification, and for skin color detection
US20070047803A1 (en) 2005-08-30 2007-03-01 Nokia Corporation Image processing device with automatic white balance
US8103094B2 (en) 2005-09-22 2012-01-24 Adobe Systems Incorporated Color correction based on skin color
CN1941923B (zh) * 2005-09-30 2011-03-23 义晶科技股份有限公司 应用于彩色数字影像的自动白平衡方法
TWI279146B (en) * 2005-10-27 2007-04-11 Princeton Technology Corp Image compensation device and method
US7728904B2 (en) 2005-11-08 2010-06-01 Qualcomm Incorporated Skin color prioritized automatic focus control via sensor-dependent skin color detection
CN100584036C (zh) * 2005-11-28 2010-01-20 普诚科技股份有限公司 影像补偿装置与方法
JP4244063B2 (ja) * 2006-11-06 2009-03-25 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP2008236101A (ja) * 2007-03-19 2008-10-02 Ricoh Co Ltd 撮像装置および撮像方法
JP5066398B2 (ja) 2007-06-29 2012-11-07 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP2009071494A (ja) 2007-09-12 2009-04-02 Sony Corp 撮像装置、画像処理装置およびプログラム
US8340452B2 (en) 2008-03-17 2012-12-25 Xerox Corporation Automatic generation of a photo guide
KR20100056270A (ko) * 2008-11-19 2010-05-27 삼성전자주식회사 색 보정 처리를 행하는 디지털 영상 신호 처리 방법 및 상기 방법을 실행하는 디지털 영상 신호 처리 장치
CN102013005B (zh) * 2009-09-07 2013-04-24 泉州市铁通电子设备有限公司 一种基于局部动态阈值色彩平衡的偏色光的人脸检测的方法
KR20120021103A (ko) * 2010-08-31 2012-03-08 전남대학교산학협력단 통신단말기에서 화자의 얼굴영역 검출 방법, 이를 이용한 통신단말기와 화자 간 거리 측정 방법 및 이를 적용한 통신단말기
US20130004070A1 (en) * 2011-06-28 2013-01-03 Huanzhao Zeng Skin Color Detection And Adjustment In An Image
JP5820284B2 (ja) 2012-01-18 2015-11-24 株式会社東芝 画像処理装置、方法、及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018174581A1 (ko) * 2017-03-24 2018-09-27 삼성전자주식회사 전자 장치의 화이트 밸런스 기능 제어 방법 및 장치
US11025876B2 (en) 2017-03-24 2021-06-01 Samsung Electronics Co., Ltd. Method and device for controlling white balance function of electronic device

Also Published As

Publication number Publication date
CN105409211A (zh) 2016-03-16
WO2015030705A1 (en) 2015-03-05
EP3039864A1 (en) 2016-07-06
US20150054980A1 (en) 2015-02-26
EP3039864B1 (en) 2018-09-19
CN105409211B (zh) 2018-07-10
KR101762081B1 (ko) 2017-07-26
US9398280B2 (en) 2016-07-19
EP3039864A4 (en) 2017-04-26

Similar Documents

Publication Publication Date Title
KR101762081B1 (ko) 이미지 프로세싱을 위한 피부 톤 보정을 이용한 자동 화이트 밸런싱
US11882369B2 (en) Method and system of lens shading color correction using block matching
US10916036B2 (en) Method and system of generating multi-exposure camera statistics for image processing
US10791310B2 (en) Method and system of deep learning-based automatic white balancing
US10542243B2 (en) Method and system of light source estimation for image processing
US9582853B1 (en) Method and system of demosaicing bayer-type image data for image processing
CN109660782B (zh) 减少立体深度传感器成像中的纹理化ir图案
CN108885785B (zh) 用于时间噪声减少的运动自适应流处理
US9367916B1 (en) Method and system of run-time self-calibrating lens shading correction
US11184553B1 (en) Image signal processing in multi-camera system
US11017511B2 (en) Method and system of haze reduction for image processing
US8994848B2 (en) Method and system for handling mixed illumination in video and photography
WO2022261849A1 (en) Method and system of automatic content-dependent image processing algorithm selection
CN114945087B (zh) 基于人脸特征的图像处理方法、装置、设备及存储介质
US20240153033A1 (en) Method and system of automatic content-dependent image processing algorithm selection

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant