KR100955136B1 - 이미지 처리, 색상 분류, 및 피부색 검출을 위한 시스템들, 방법들, 및 장치 - Google Patents

이미지 처리, 색상 분류, 및 피부색 검출을 위한 시스템들, 방법들, 및 장치 Download PDF

Info

Publication number
KR100955136B1
KR100955136B1 KR1020087005696A KR20087005696A KR100955136B1 KR 100955136 B1 KR100955136 B1 KR 100955136B1 KR 1020087005696 A KR1020087005696 A KR 1020087005696A KR 20087005696 A KR20087005696 A KR 20087005696A KR 100955136 B1 KR100955136 B1 KR 100955136B1
Authority
KR
South Korea
Prior art keywords
sensor
image
color
targets
pixel
Prior art date
Application number
KR1020087005696A
Other languages
English (en)
Other versions
KR20080045175A (ko
Inventor
슈수에 콴
친츄안 앤드류 치우
시아오윤 지앙
Original Assignee
콸콤 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 콸콤 인코포레이티드 filed Critical 콸콤 인코포레이티드
Publication of KR20080045175A publication Critical patent/KR20080045175A/ko
Application granted granted Critical
Publication of KR100955136B1 publication Critical patent/KR100955136B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Abstract

실시예들로 테스트 평면에 대한 반사율 스펙트럼을 한 세트의 테스트 타깃들의 반사율 스펙트럼들의 선형 조합으로 분해하는 것을 포함하는 이미지 처리 방법을 포함한다. 이러한 분해시 계산되는 계수 벡터를 이용하여 상기 테스트 평면에 대한 이미지화 센서의 응답을 예측한다. 복수의 그러한 예측되는 응답들은, 인간 피부 톤 검출을 포함하는, 색상 검출 및/또는 분류를 수반하는 다양한 애플리케이션들에 이용될 수 있다.

Description

이미지 처리, 색상 분류, 및 피부색 검출을 위한 시스템들, 방법들, 및 장치{SYSTEMS, METHODS, AND APPARATUS FOR IMAGE PROCESSING, FOR COLOR CLASSIFICATION, AND FOR SKIN COLOR DETECTION}
본 발명은 이미지 처리(image processing)에 관한 것이다.
피부색의 존재는 실사 이미지들에서 사람을 인지하기 위한 단서로서 유용하다. 피부색(skin color) 검출(detection)은 인간 추적(tracking), 성인용-콘텐츠(mature-content) 웹 이미지들의 차단, 및 인간-컴퓨터 상호대화 촉진과 같은 애플리케이션들에서 중요한 역할을 한다. 또한, 피부색 검출은 안면 검출, 위치 측정(localization), 인식, 및/또는 추적; 영상 감시(video surveillance); 및 이미지 데이터베이스 관리를 가능하게 하는 기술로서 기능한다. 이러한 그리고 다른 애플리케이션들은, 카메라들이 장착되는, 셀룰러 전화기들과 같은, 휴대용 통신 장치들의 채택에 따라 더욱 중요해지고 있다. 예를 들어, 안면(face)의 위치를 결정하는 능력은 이미지의 안면 영역(region)을 더 양호한 품질로 코딩하고 이미지 배경에 대해서는 더 높은 압축도를 이용함으로써 더 효율적인 대역폭 이용에 적용될 수 있다.
피부 표면(surface)의 반사율(reflectance)은 통상적으로 얇은 표면 층(layer), 즉 "표피(epidermis)", 및 밑에 있는 더 두꺼운 층, 즉 "진피(dermis)"에 의해 결정된다. 진피에 의한 빛의 흡수는 주로 헤모글로빈(hemoglobin), 빌리루빈(bilirubin), 및 베타-카로틴(beta-carotene)과 같은 혈액 내의 성분들에 기인하며, 이들은 기본적으로 모든 피부 타입들에 대해 동일하다. 그러나 피부색은 주로 표피 투과율(transmittance)에 의해 결정되며, 이는 도파-멜라닌(dopa-melanin) 농도에 좌우되며 따라서 인종마다 다르다.
피부색 외양(appearance)은 이러한 반사율 모델을 이용하고 카메라 및 광원(light source) 파라미터들을 병합함으로써 표현될 수 있다. 주요한 과제는 발생할 수 있는 외양 상의 큰 편차(variation)들에 대해 신뢰성 있게 피부 검출을 하게 하는 것이다. 피부 외양은 색상 및 형상이 변화하며, 종종 의복, 두발, 및 안경들과 같은 차단물들에 의해 영향을 받는다. 더구나, 광원들의 농도(intensity), 색상, 및 위치의 변화들이 피부 외양에 영향을 미칠 수 있으며, 배경(scene) 내부의 다른 물체들은 그림자(shadow)들을 드리우거나 추가적인 광을 반사시킴으로써 검출 프로세스를 복잡하게 할 수 있다. 구리, 모래, 및 어떠한 타입의 나무 및 의복들과 같은, 많은 다른 흔한 물체들이 피부와 쉽사리 혼동된다. 또한, 이미지는 피부와-유사한 색상의 반점으로 나타나는 노이즈를 포함할 수도 있다.
피부 검출에 대한 한 가지 종래의 방식은 피부 영역(skin area)(안면 및/또는 손(hand)들과 같은)을 갖는 수백 또는 수천의 이미지들의 데이터베이스에서 시작된다. 이 데이터베이스는 피부 영역들과 비-피부(non-skin) 영역들을 구분하는 통계치들이 유도될 수 있는 트레이닝 세트(training set)로서 작용한다. 색 공간(color space)은 이러한 통계치들에 따라서 분할되며, 이러한 분할에 기초하여 분류(classification)가 이루어진다. 한 가지 단점은 상기 데이터베이스 이미지들이 일반적으로 서로 다른 카메라들로부터 발생하며 서로 다른 조명 하에서 얻어진다는 점이다.
센서를 특성화하는 방법은 색 공간에서 제 1 복수의 포인트(point)들을 획득하는 단계를 포함한다. 상기 제 1 복수의 포인트들 각각은 대응하는 타깃(target)의 센서에 의한 관찰(observation)에 기초한다. 또한, 본 방법은 상기 색 공간에서 제 2 복수의 포인트들을 획득하는 단계를 포함한다. 상기 제 2 복수의 포인트들 각각은 복수의 표면들 중 대응하는 표면의 일부에 대응한다. 또한, 상기 제 2 복수의 포인트들 각각은 (1) 상기 표면의 부분의 반사율 스펙트럼 및 (2) 복수의 반사율 스펙트럼들에 기초하며, 여기서 상기 복수의 반사율 스펙트럼들 각각은 상기 관찰되는 타깃들 중 하나에 대응한다. 그러한 방법의 일부 응용들에서, 상기 복수의 표면들은 모두 인간 피부 표면들의 클래스와 같은 공통 색 특성(common color characteristic)을 갖는 클래스에 속한다.
이미지 처리 방법은 센서에 의해 캡처(capture)된 이미지를 수신하는 단계를 포함한다. 또한, 본 방법은 색 공간의 미리 결정된 분할(segmentation)에 따라 상기 이미지의 복수의 픽셀들 각각을 분류(classify)하는 단계를 포함한다. 상기 미리 결정된 분할은 상기 센서의 복수의 예상 응답들에 기초한다.
이미지 처리 장치는 이미지 센서, 분할을 저장하도록 구성되는 저장 엘리먼트들의 어레이(array), 및 픽셀 분류기(pixel classifier)를 포함한다.
도 1은 멕베스 컬러체커(Macbeth ColorChecker)의 개념도를 나타낸다.
도 2는 380 내지 780 나노미터 범위의 멕베스 컬러체커의 24개의 패치(patch)들의 반사율 스펙트럼들의 플롯을 나타낸다.
도 3A는 일 실시예에 따른 방법(M100)의 순서도를 나타낸다.
도 3B는 방법(M100)의 구현(M110)의 순서도를 나타낸다.
도 4는 인간 피부의 다수의 상이한 인스턴스(instance)들에 대한 반사율 스펙트럼들의 플롯을 나타낸다.
도 5는 일 실시예에 따른 방법(M200)의 순서도를 나타내며, 태스크(T100)의 공통 인스턴스를 갖는 방법(M100)의 다수의 인스턴스들을 포함한다.
도 6은 일 실시예에 따른 방법(M300)의 블록도를 나타낸다.
도 7A 및 도 7B는 신호 처리 파이프라인의 두 개의 예시들의 블록도를 나타낸다.
도 8A 및 도 8B는 컬러 필터 어레이들의 두 개의 예시들을 나타낸다.
도 9는 방법(M100)의 구현(M120)의 순서도를 나타낸다.
도 10은 일 실시예에 따른 방법(M210)의 순서도를 나타내며, 태스크(T200)의 공통 인스턴스를 갖는 방법(M120)의 다수의 인스턴스들을 포함한다.
도 11은 일 실시예에 따른 방법(M400)의 블록도를 나타낸다.
도 12는 일 실시예에 따른 방법(M500)의 순서도를 나타낸다.
도 13은 일 실시예에 따른 방법(M600)의 순서도를 나타낸다.
도 14A 및 도 14B는 일 실시예에 따른 방법(M700)의 순서도들을 나타낸다.
도 15는 방법(M700)의 구현(M800)의 순서도를 나타낸다.
도 16은 방법(M700)의 구현(M900)의 순서도를 나타낸다.
도 17A는 일 실시예에 따른 장치(100)의 블록도를 나타낸다.
도 17B는 일 실시예에 따른 장치(200)의 블록도를 나타낸다.
여기 기재되는 실시예들은 피부색 스펙트럼들과 한 세트의 테스트 타깃들의 스펙트럼들의 상관(예를 들어, 멕베스 컬러체커)에 기초하여 특정한 전자 센서에 대해 피부색 통계치들이 확립(establish)되는 프로시저(procedure)들을 포함한다. 피부색 통계치들에 기초하여 이 센서로 캡처된 이미지로부터 피부-톤 영역이 검출될 수 있다. 피부 영역이 검출된 후, 선호되는 색상이 얻어지도록 색상의 화질을 높이는(enhance) 것과 같이 피부 톤을 개선하기 위한 방법들이 적용될 수 있다. 또한, 검출된 피부색을 이용하여 이 센서를 이용하는 카메라에 대한 3A 프로세스(자동초점(autofocus), 자동-화이트 밸런스(auto-white balance), 및 자동-노출(auto-exposure))을 향상시킬 수도 있다.
또한, 여기 기재되는 실시예들은 센서-의존적(sensor-dependent) 피부색 검출을 위한 프로시저들을 포함하며, 여기서 상기 센서의 특성들이 이미지화 프로시저에 기초하여 조정(calibrate)된다. 그리고 나서 피부 톤 영역이 상기 센서를 조정(calibrate)하는데 이용되는 표준 테스트 타깃들의 반사율 스펙트럼들과 피부색 반사율 스펙트럼들의 트레이닝 세트의 상관에 기초하여 모델링된다.
이미지화 센서에 의해 생성되는 것과 같은 조명되는 표면 포인트의 상(representation)은 다음의 식에 따라서 모델링될 수 있다:
Figure 112008016903494-pct00001
(1)
여기서 S는 센서에 의해 생성되는 신호를 나타내고; SS(λ)는 파장 λ의 함수인 센서 스펙트럼 민감도(spectral sensitivity)를 나타내고; L(λ)는 파장 λ의 함수인 조명 광원(illuminating light source)의 전력 스펙트럼 분포, 즉 광원의 상대 에너지를 나타내고; R(λ)는 파장 λ의 함수인 이미지화되는 표면 포인트의 반사율 스펙트럼, 즉 이미지화되는 포인트의 상대적인 반사율을 나타낸다.
식(1)의 우변의 함수들에 대한 값들이 얻어지거나 신뢰성 있게 추정될 수 있다면, 식(1)을 적용하여 표면의 조명되는 포인트에 대한 센서의 응답을 예측할 수 있다. 통상 광원의 전력 스펙트럼 분포 L(λ)이 용이하게 측정될 수 있다. 대안적으로, 광원은 발광체(illuminant), 또는 백색 광원의 특정 타입의 스펙트럼 전력 분포를 이용하여 (예를 들어, 국제 조명 위원회(International Commission on Illumination, CIE)(오스트리아, 빈)에 의해 발간된 바와 같이) 특성화될 수 있다. 발광체의 타입이 공지되어 있거나 추론되거나 추정될 수 있다면, 상대 에너지와 파장 간의 관계를 나타내는 표준 분포가 광원의 출력 스펙트럼을 측정하는 대신 이용될 수 있다. 마찬가지로, 표면의 반사율 스펙트럼 R(λ)는 측정되거나 또는 유사한 표면들의 스펙트럼들의 데이터베이스로부터 추정될 수 있다. 그러나 센서 민감도 함수 SS(λ)는 통상 알려져 있지 않으며 획득하는데 노력이 든다.
CCD(전하-결합 소자) 또는 CMOS(상보성 금속-산화막-반도체) 이미지 센서와 같은 센서에 대한 스펙트럼 민감도 함수 SS(λ)의 측정은 일반적으로 단색화 장치(monochromator) 및 분광복사계(spectraradiometer)와 같은 특별한 고가의 장비를 요구하는 시간-소모적인 프로세스이다. 이러한 함수를 직접적으로 측정하는 비용은 그러한 측정들을 대량-생산되는 소비자 제품들에 대한 센서들에 실시 불가능하게 할 수 있다. 또한, 센서 스펙트럼 민감도는 조도 명암도(illumination intensity)의 함수 및 가능하게는 다른 인자들(온도, 전압, 전류, 인입(incoming) 광로(optical path) 내의 임의의 필터의 특성들, 적외선 또는 자외선과 같은 다른 파장들에서의 방사(radiation)의 존재 등과 같은)의 함수로서 변화할 수 있다. 이러한 인자들에 대한 보상은 조도 명암도의 특정 범위에 대한 식(1)의 이용 제한 및/또는 상기 인입 광로의 적외선- 또는 자외선-차단 필터의 포함을 포함할 수 있다.
센서 응답을 예측하는 다른 방법들이 여기에 기재된다. 표면의 반사율 스펙트럼이 다른 반사율 스펙트럼들의 선형 조합으로서 표현될 수 있다고 가정한다. 예를 들어, 표면의 반사율 스펙트럼 R surface가 m개의 타깃으로 이루어진 세트의 반사율 스펙트럼들 Ri target의 선형 조합으로서 표현될 수 있다고 가정한다:
Figure 112008016903494-pct00002
. (2)
식(1) 및 식(2)에 기초하여, 표면 포인트의 센서의 예상 응답 S * surface이 식(2)으로부터의 계수 벡터 b에 따라, 한 세트의 타깃들 S i target (1≤i≤m) 각각에 대한 센서 응답들의 선형 조합으로서 표현될 수 있다고 결론내린다:
Figure 112008016903494-pct00003
. (3)
RGB 공간과 같은, 센서에 대해 고유한 색 공간에서 예상 센서 응답 S *을 얻는 것이 바람직할 수 있다. 예를 들어, 식(3)은 센서에 의해 관찰되는 것으로서, 상기 표면 포인트의 원본(raw) RGB 신호를 나타내도록, 유사한 조명 하에서 동일한 센서에 의해 관찰되는 바와 같은 한 세트의 타깃들의 RGB 신호들의 선형 조합으로 다시 쓸 수 있다:
Figure 112008016903494-pct00004
. (3a)
일 실시예에 따른 방법으로, 상기 계수 벡터 b는 표면의 반사율 스펙트럼 및 한 세트의 타깃들에 대한 기지의 값들을 이용하여, 식(2)과 같은 관계에 따라서 유도된다. 이러한 스펙트럼들은 측정되거나 그렇지 않으면 (예를 들어, 데이터베이스로부터) 획득 또는 추정될 수 있다. 상기 벡터 b는 상기 식(3)과 같은 관계에 따라 적용되어 상기 표면에 대한 센서 응답을 예측한다.
m개의 타깃은 미리-프린트된 표준화된 타깃 세트의 패치(patch)들과 같은, 표준화된 색상 값들을 갖는 표면들일 수 있다. 컬러 이미지화 애플리케이션들에 널리 수용되어 용이하게 이용 가능한 하나의 그러한 타깃 세트는 멕베스 컬러체커(Macbeth ColorChecker)(스위스, 레젠스도르프, Amazys Holding AG)이다. 멕베스 컬러체커는 6개의 회색(gray) 패치들의 시리즈, 전형적인 부가적(적, 녹, 청) 및 감산적(subtractive)(청록(cyan), 자홍(magenta), 황색(yellow)) 원색(primary)들, 및 옅은(light) 및 짙은(dark) 살색(skin), 하늘색(sky-blue), 과 잎색(foliage)과 같은 다른 "자연(natural)" 색상들을 포함하는 24개의 염색된(dyed) 패치들을 갖는 물리적인 타깃 세트이다. 상기 멕베스 컬러체버의 색상 색소(pigment)는 임의의 조건 등색(metamerism), 또는 조명 광원의 교체시 인지되는 색상의 변화를 최소화하도록 선택되었다.
도 1은 멕베스 컬러체커의 개념도를 나타내며, 여기서 각 패치의 위치는 CIE xyY 색 공간 내에서 대응하는 색상의 명칭 및 값으로 지시된다. 도 2는 380 내지 780 nm에 걸친 상기 컬러체커의 24개의 패치의 반사율 스펙트럼들의 플롯을 나타낸다. 표준화된 타깃 세트들의 다른 예시들은 제한 없이 컬러체커DC(ColorCheckerDC) 타깃 세트(Amazys Holding AG; 237개의 컬러 패치들을 가짐); 1269 Munsell 컬러 패치들(Munsell Book of Color, Munsell Color Corporation, 1976); Kodak Q-60R1 타깃 세트와 같은, IT8-7.2(반사성(reflective)) 타깃 세트들, 이는 사진지(photographic paper)에 프린트된 대략 260개의 컬러 패치들을 포함함(Eastman Kodak Company, Rochester, NY); 및 Kodak Q-13과 Q-14 타깃 세트들을 포함한다.
계수 벡터 b를 유도함에 있어서, 기본 함수(basis function)들의 세트를 감소시키거나 제거하여 특정한 애플리케이션에 대한 결과적인 조합들에 현저한 기여를 하는 타깃 스펙트럼들만을 포함하게 하는 것이 바람직할 수 있다. 이용되는 패치들의 수 m이 타깃 세트의 패치들의 수와 동일할 필요는 없는데, 이는 일부 패치들이 이용되지 않을 수 있고 그리고/또는 둘 이상의 타깃 세트로부터의 패치들이 포함될 수 있기 때문이다.
테스트 표면의 그리고 타깃들의 반사율 스펙트럼들은 파장들의 범위에 걸친 n개의 포인트에서 상대적인 반사율의 샘플들을 나타내는 길이 n의 벡터들로서 제공될 수 있으며, 그리하여 식(2)은 다음의 형태로 쓸 수 있다:
Figure 112008016903494-pct00005
, (2a)
여기서
Figure 112009066161935-pct00006
및
Figure 112009066161935-pct00007
는 길이 n의 열(column) 벡터들이고; 그리고 R target은 크기 m×n의 행렬이며, 각 열은 특정한 파장에 대응하고 각 행(row)은 특정한 타깃에 대응한다. 예를 들어, 반사율 스펙트럼들은 380(또는 400) 내지 700 나노미터와 같은 가시 파장들의 범위에 걸쳐 4 나노미터(또는 10이나 20 나노미터)의 간격으로 샘플링될 수 있다.
일부의 경우 가시 범위의 일부분만을 샘플링하는 것 및/또는 어느 방향으로든 상기 가시범위를 넘어 범위를 확장하는 것이 바람직할 수 있다(예를 들어, 적외선 및/또는 자외선 파장들의 반사율을 보상(account for)하기 위해). 일부 애플리케이션들에서, (예를 들어, 카메라 플래시의 주요 파장들을 포함하는 범위와 같은, 하나 이상의 관심 부범위(subrange)들에서 더 나은 해상도(resolution)를 얻기 위해) 일정하지 않은 간격으로 파장들의 범위를 샘플링하는 것이 바람직할 수 있다.
식(2a)는 최소-제곱(least-squares) 문제로서 계수 벡터 b에 대해 풀릴 수 있다. 행렬 R target이 정사각형이 아닌 경우에, 계수 벡터 b는 다음의 식에 따라서 계산될 수 있다:
Figure 112008016903494-pct00008
, (2b)
여기서 연산자 (·)+는 의사 역행렬(pseudoinverse)을 나타낸다. 무어-펜로즈(Moore-Penrose) 의사 역행렬은 Mathematica(Wolfram Research, Inc., Champaign, IL) 또는 MATLAB(MathWorks, Natick, MA)와 같은 행렬을 지원하는 소프트웨어 패키지들에서 표준 함수이며, 특이 값 분해(singular value decomposition) 또는 반복 알고리즘을 이용하여 계산될 수 있다.
예상 센서 응답 신호들이 타깃들에 대한 센서 응답들의 선형 조합들과 대응하는 것을 보장하기 위해, 구성되는 피부색 반사율 스펙트럼들은 본래의 스펙트럼들과 일관되어야 한다. 계수 벡터 b의 계산은 본래의 것과 계산된 스펙트럼들을 비교하기 위한 검증(verification) 연산 및 오류(error)를 감소시키기 위한 오류 최소화 연산을 포함할 수 있으며, 가능하게는 둘 이상의 기본 스펙트럼들의 세트 중에서의 선택 및/또는 반복(iteration)을 포함한다.
도 3A는 일 실시예에 따른 방법(M100)의 순서도를 나타낸다. 태스크(T100)는 다수의 상이한 타깃들에 대한 센서 응답들을 획득한다. 태스크(T200)는 표면의 반사율 스펙트럼을 타깃들의 반사율 스펙트럼들의 조합으로 분해한다. 태스크(T300)는 상기 분해 및 센서 응답들에 기초하여 상기 표면에 대한 센서의 예상 응답을 계산한다. 센서 응답들의 측정 동안, 카메라 렌즈의 스펙트럼 투과율(transmittance) 및/또는 적외선- 및/또는 자외선-차단 필터들과 같은 필터들의 존재와 같이, 이후의 애플리케이션에서 발생할 것으로 예상되는 상기 센서에 대한 광로의 특성들을 근사화하는 것이 바람직할 수 있다.
방법(M100)에 대한 애플리케이션들의 범위는 인간 피부색의 분류(classification) 및 검출(detection)을 포함한다. 수십, 수백, 또는 더 많은 상이한 인간 피부 표면 패치들에 대해 측정된 반사율 스펙트럼들의 데이터베이스를 이용하여 RGB 또는 YCbCr과 같은 색 공간에서 피부색 영역을 정의하는 데이터 포인트들을 획득할 수 있다. 이용될 수 있는 피부색 반사율 스펙트럼들의 한 가지 데이터베이스는 Oulu 대학(핀란드)의 물리학-기반(Physics-based) 안면(Face) 데이터베이스이며, 이는 4개의 상이한 조명 및 4개의 상이한 카메라 조정(calibration) 조건들 하에서 캡처된 125개의 상이한 안면들을 포함하고, 각각의 안면의 스펙트럼 반사율은 3번 샘플링된다(이마 및 양 볼들). 방법(M100)의 하나 이상의 인스턴스들이 상기 데이터베이스의 각 스펙트럼에 대해 수행될 수 있다. 도 4는 인간 피부 표면 패치들의 샘플 세트의 반사율 스펙트럼들의 플롯을 나타낸다.
도 3B는 방법(M100)의 구현(M110)의 순서도를 나타낸다. 태스크(T110)는 복수의 색상 값들을 획득하는 태스크(T100)의 구현이며, 각각은 표준 타깃의 대응하는 포인트의 센서에 의한 관찰에 기초한다. 태스크(T210)는 테스트 표면의 그리고 타깃들의 반사율 스펙트럼들에 기초하여 계수 벡터를 계산하는 태스크(T200)의 구현이다. 태스크(T310)는 상기 계수 벡터 및 색상 값들에 기초하여, 테스트 표면에 대한 센서의 예상 응답을 계산하는 태스크(T300)의 일 구현이다.
태스크(T100)는 맥베스 컬러체버의 패치들과 같은, 다수의 상이한 타깃들에 대한 센서 응답들을 획득한다. 상당한 계산상의 자원들이 수반될지라도, 각 픽셀에 대해 방법(M100)이 독립적으로 수행되도록, 센서의 각 픽셀의 개별적인 응답을 고려하는 것이 가능하다. 대안적으로, 태스크(T100)는 각 타깃에 대한 센서 응답을 상기 타깃을 관찰하는 다수의 픽셀들의 평균 응답(평균, 중앙값(median), 또는 최빈값(mode))로서 획득하도록 구성될 수 있다.
태스크(T200)는 테스트 표면의 반사율 스펙트럼을 상기 타깃들의 반사율 스펙트럼들의 조합으로 분해한다. 일례로, 태스크(T200)는 테스트 표면 스펙트럼을 맥베스 컬러체커 패치들의 반사율 스펙트럼들의 선형 조합으로 분해한다.
태스크(T300)는 태스크(T200)의 상기 분해에 기초하여(예를 들어, 선형 조합을 지시하는 계수 벡터에 기초하여) 그리고 태스크(T100)에서 얻어진 센서 응답들에 기초하여 예상 센서 응답을 계산한다. 일례로, 상기 예상 센서 응답은 동일한 광원 하에서 관찰되는 맥베스 컬러체커 패치들로부터의 RGB 값들의 선형 조합으로서 계산되는 RGB 값이다:
Figure 112008016903494-pct00009
, (3b)
여기서
Figure 112009066161935-pct00010
,
Figure 112009066161935-pct00011
, 및
Figure 112009066161935-pct00012
는 각각, 상기 타깃들 각각에 대한 적, 녹, 및 청색 값들의 행 벡터들이고; 그리고
Figure 112009066161935-pct00013
는 태스크(T200)에서 계산되는 열 계수 벡터이다.
방법(M100)은 복수의 테스트 표면들 각각에 대해 수행될 수 있으며, 방법(M100)의 다양한 인스턴스들은 순차적으로 및/또는 병행하여 수행된다. 그러한 경우에, 태스크(T100)의 하나의 인스턴스에서 얻어지는 센서 응답들이 방법(M100)의 인스턴스들 중 일부 또는 모두에 의해 이용되는 것이 바람직할 수 있다. 도 5는 방법(M100)의 n개의 그러한 인스턴스들을 포함하는 방법(M200)의 순서도를 나타내며, 각각이 n개의 테스트 표면들 중 대응하는 하나에 대한 센서의 예상 응답을 생성한다. 상기 예상 센서 응답들을 이용하여 동일한 센서로 캡처되는 이미지들을 분석 또는 분류할 수 있다. 예를 들어, n개의 테스트 표면들은 인간 피부와 같은, 표면들 또는 오브젝트(object)들의 특정한 클래스의 대표(representative)로서 선택될 수 있다.
추가적인 구성으로, 태스크(T100)의 수 개의 인스턴스들이 수행되며, 상이한 발광체가 각 인스턴스에 이용된다. 예를 들어, 태스크(T100)의 하나의 인스턴스에서 센서 응답들은 CIE 발광체 A에 일반적으로 따르는 백열(incandescent) 조명 하에서 얻어질 수 있는 한편, 태스크(T100)의 다른 인스턴스에서 상기 센서 응답들은 일반적으로 CIE 발광체 D65에 따르는 일광(daylight) 조명 하에서 얻어지고, 한편 태스크(T100)의 다른 인스턴스에서 센서 응답들은 CIE 발광체 TL84에 일반적으로 따르는 형광 조명 하에서 얻어진다. 그러한 경우에, 각각의 테스트 표면에 대해 방법(M100)의 수 개의 인스턴스들을 수행하는 것이 바람직할 수 있으며, 여기서 각각의 인스턴스는 태스크(T100)의 상이한 발광체 인스턴스로부터의 센서 응답들을 이용한다.
도 6은 일 실시예에 따른 방법(M300)의 블록도를 나타내며, 여기서 수 개의 상이한 발광체들에 대한 예상 센서 응답들을 획득하는 동작은 상기 수 개의 발광체들 각각에 대한 예상 센서 응답들의 세트를 얻기 위해 도 5에서 도시되는 바와 같은 복수의 테스트 표면들 각각에 대해 예상 센서 응답을 획득하는 동작과 결합된다. 상기 언급한 세트와 다른 발광체들의 세트가 선택될 수 있다. 예를 들어, 특정한 애플리케이션에서 직면할 것으로 예상되는 조명 색 온도(illumination color temperature)들의 범위의 요구되는 샘플링에 따라 발광체들의 세트를 선택하는 것이 바람직할 수 있다. 태스크(T100)의 인스턴스들에서 센서 응답들을 획득하는데 이용될 수 있는 다른 기준 발광체들은 CIE D50(일출 또는 일몰 시의 일광을 나타내며, 지평선 광으로도 불림); CIE D55(오전-중반 또는 오후-중반의 일광을 나타냄); CIE D75(흐려진 일광을 나타냄); 및 CIE C(평균 또는 북측 하늘 일광을 나타냄), 및 하나 이상의 CIE F 시리즈와 같은 형광 발광체들을 포함한다.
추가적인 신호 처리가 수행될 수 있는 애플리케이션에서 상기 센서를 이용하는 것이 바람직할 수 있다. 예를 들어, 상기 센서에 의해 캡처된 이미지들에 센서 어레이의 결함(defect)들을 정정하고, 상기 응답의 상기 응답의 및/또는 상기 광로 또는 전기 신호 경로 내의 다른 컴포넌트들의 비이상성(nonidealities)을 보상하고, 센서 출력 신호를 상이한 색 공간으로 변환하고, 그리고/또는 센서 출력 신호에 기초하여 추가적인 픽셀 값들을 계산하는 동작들을 수행하는 것이 통상적으로 바람직할 것이다. 그러한 신호 처리 동작들은 센서와 동일한 칩(특히 CMOS 센서의 경우에)에 그리고/또는 다른 칩이나 다른 위치에 상주할 수 있는 하나 이상의 논리 엘리먼트들에 의해 수행될 수 있다. 신호 처리 동작들은 흔히 디지털 카메라, 또는 카메라를 포함하는 셀룰러 전화와 같은 장치 내, 및 기계 시각(machine vision) 애플리케이션들 내의 사진 이미지들 상에 수행된다.
또한, 그러한 애플리케이션에서, 이하에 더 상세히 기재되는 바와 같이, 상기 센서의 예상 응답들에 기반한 분할에 따라 센서에 의해 캡처되는 이미지의 하나 이상의 픽셀들을 분류하는 것이 바람직할 수 있다. 분류될 이미지에 한 세트의 신호 처리 동작들(이하에 기재되는 바와 같은, 블랙 클램핑(black clamping), 화이트 밸런스, 색 보정 및/또는 감마 보정(gamma correction))이 이루어지게 될 경우에, 비슷한 세트의 신호 처리 동작들에 따라 상기 센서의 예상 응답들을 처리하는 것이 바람직할 수 있다. 예를 들어, 상기 센서의 본래의(native) 색 공간은 RGB 공간과 같은 원색 공간일 수 있는 반면, YCbCr 공간과 같은 휘도-색차 공간에서 분류 및/또는 검출 동작들을 수행하는 것이 바람직할 수 있다.
도 7A는 센서에 의해 생성되는 본래의 색상 값들이 다른 색 공간에서 처리된 색상 값들로 변환되는 신호 처리 파이프라인의 예시를 나타낸다. 도 7B는 도 7A의 동작들이 다른 시퀀스로 수행되는 신호 처리 파이프라인의 다른 예시를 나타낸다. 이러한 동작들은 이하에서 더 상세히 기재된다. 애플리케이션에 따라, 신호 처리 파이프라인은 이러한 동작들 중 임의의 것을 생략할 수 있으며 그리고/또는 렌즈 왜곡(distortion) 및/또는 렌즈 광반(flare)에 대한 보상과 같은, 추가적인 동작들을 포함할 수 있다. 하나 이상의 신호 처리 동작들은 센서에 특정한 방식으로 사전에 최적화될 수 있으며 그리고/또는 값들이 상기 센서의 응답에 기초하여 결정되는 파라미터들을 적용할 수 있다.
예상 센서 응답 신호들의 정확도는 센서 응답의 선형성에 어느 정도 의존할 수 있으며, 이는 픽셀 간에, 채널 간에, 및/또는 명암도(intensity) 레벨 간에 다를 수 있다. 한 가지 공통적인 센서 비이상성(nonideality)은 부가 잡음이며, 그 상당 부분은 암전류(dark current) 잡음에 기인한다. 암전류 잡음은 투사(incident) 광의 부재시에도 발생하며 일반적으로 온도와 함께 증가한다. 암전류 잡음의 한 가지 효과는 픽셀 값들을 상승시켜 조명되지 않는(흑색) 픽셀의 레벨이 영(zero)이 아니게 된다는 점이다. 암전류 보상 동작(또한 "블랙 클램핑(black clamping)"으로도 불린다)이 수행되어 흑색 픽셀 출력을 영 또는 다른 요구되는 값으로 감소시키거나, 또는 요구되는 오프셋 값에 따라서 상기 흑색 픽셀 출력을 감소시킬 수 있다.
암전류 보상의 한 가지 통상의 방법은 블랙 레벨 감산(black level subtraction)이며, 이는 각각의 픽셀 값으로부터 오프셋을 감산하는 것을 포함한다. 상기 오프셋은 동일한 오프셋이 이미지의 각 픽셀로부터 감산되도록 글로벌 값(global value)일 수 있다. 이 오프셋은 상기 이미지 영역 외부의 하나 이상의 픽셀들로부터 유도될 수 있으며 가능하게는 마스킹(mask)된다. 예를 들어, 상기 오프셋은 그러한 픽셀 값들의 평균일 수 있다. 대안적으로, 상이한 오프셋 값이 각 픽셀로부터 감산될 수 있다. 그러한 오프셋은 조명 부재시 캡처된 이미지로부터 유도될 수 있으며, 여기서 각 픽셀의 오프셋은 상기 픽셀의 암 출력(dark output)에 기초한다.
또한, 센서 비이상성(nonideality)들은 적산성 잡음(multiplicative noise)을 포함하며, 여기서 상기 센서의 상이한 픽셀들이 상이한 정도의 이득을 갖는 동일한 자극에 반응한다. 적산성 잡음을 감소시키기 위한 한 가지 기법은 플랫-필딩(flat-fielding)으로, 여기서 상기 픽셀 값들은 균일한 회색(gray) 표면의 이미지의 캡처에 대응하는 인수(factor)로써 정규화(normalize)된다. 상기 정규화 인수는 상기 회색(gray) 이미지 내의 일부 또는 모든 픽셀들로부터 유도되는 글로벌 값일 수 있다(그러한 픽셀 값들의 평균과 같이). 대안적으로, 상이한 정규화 인수가, 상기 균일한 회색 표면에 대한 각 픽셀의 응답에 기초하여, 상기 픽셀에 적용될 수 있다.
태스크(T100)의 한 가지 구성으로, 대응하는 발광체 하의 맥베스 컬러체커의 각 패치에 대한 원본 RGB 신호들은 균일한 회색 평면(plane) 캡처를 통한 플랫 필딩 및 상수(constant) 블랙 레벨의 감산으로써 정규화된다:
Figure 112008016903494-pct00014
, (4)
여기서 BlcakLevel은 블랙 레벨 오프셋이고 GrayPlane은 정규화 인수이다. 그러한 동작은 디-모자이킹(de-mosaicing) 전 또는 후에 수행될 수 있다.
일례로, 다양한 타깃들에 대한 센서 응답들이 맥베스 컬러체커와 같은 타깃들의 완전한 기본(basis) 세트의 단일한 캡처된 이미지로부터, 또는 타깃들의 완전한 기본 세트의 다수의 이미지의 평균으로부터 유도된다. 그러한 경우에, GrayPlane의 값은 상기 타깃들(패치가 상기 타깃들의 기본 세트에 포함되거나 포함되지 않을 수 있는)의 회색 패치(gray patch)에 대응하는 픽셀 값들의 평균으로서 선택될 수 있다. 다른 예로, 태스크(T100)에서 이용되는 각각의 캡처된 이미지들은 상기 타깃들의 기본 세트의 전부 보다 적게(아마도 단 하나) 포함한다.
CCD 또는 CMOS 센서와 같은 이미지 센서는 일반적으로 유사한 스펙트럼 응답들을 갖는 감-광(light-sensitive) 엘리먼트들의 어레이를 포함한다. 그러한 어레이로부터 컬러 이미지를 캡처하기 위해, 컬러 필터 어레이가 감-광 엘리먼트들의 어레이 앞에 배치될 수 있다. 대안적으로, 상이한 엘리먼트들이 입사(incident) 이미지의 상이한 컬러 컴포넌트들에 반응하도록 컬러 필터 어레이가 감-광 엘리먼트들의 어레이에 삽입될 수 있다. 도 8A는 하나의 통상적인 필터 어레이 구성을 나타낸다(적-녹-청 Bayer 어레이). 이 어레이에서, 각 행과 열의 모든 다른 픽셀은 녹색에 반응하는데, 이는 인간의 눈이 적색 또는 청색보다 녹색 파장들에 더 민감하기 때문이다. 도 8A는 컬러 필터 어레이의 다른 예시를 나타낸다(스캐닝 애플리케이션에 특히 적합할 수 있는 청록-자홍-황색-녹색(cyan-magenta-yellow-green) 구성). 컬러 필터 어레이들의 많은 다른 예들이 공지되고, 흔히 이용되며, 그리고/또는 가능하다.
컬러 필터 어레이 후방의 각 픽셀이 그 필터에 대응하는 색상에만 반응하기 때문에, 결과적인 이미지 신호의 컬러 채널들은 공간적으로 불연속적이다. 보간(interpolation) 동작을 수행하여 캡처되었던 색상 값들에 추가하여 픽셀 위치들에 대한 색상 값들을 추정하는 것이 바람직할 수 있다. 예를 들어, 각 픽셀이 적, 녹, 및 청색 값들 중 단 하나만을 갖는 원본(raw) 이미지로부터 각 픽셀에 대한 적, 녹, 및 청색 값들을 획득하는 것이 바람직할 수 있다. 그러한 보간 동작들은 흔히 "디-모자이킹(de-mosaicing)"으로 불린다. 디-모자이킹 동작은 쌍일차(bilinear) 보간에 기초할 수 있으며 앨리어싱(aliasing) 및/또는 다른 아티팩트(artifact)들의 회피, 감소, 또는 제거를 위한 동작들을 포함할 수 있다. 또한, 처리 파이프라인은, 결함이 있는 것으로 알려진 픽셀들(예를 들어, 항상 온(on)이거나, 항상 오프(off)이거나, 그렇지 않으면 입사광에 불구하고 일정한 응답을 갖는 것으로 알려진 픽셀들)에 대한 값들의 보간과 같은, 다른 공간 보간 동작들을 포함할 수 있다.
백색 표면(white surface)의 색 온도(color temperature)는 입사 조명에 따라 일반적으로 2000K 내지 12000K로 변화한다. 백색 표면의 인식이 상대적으로 일정하게 남아 있도록 인간의 눈이 이러한 차이에 대해 순응할 수 있는 반면, 이미지 센서에 의해 출력되는 신호는 배경 조명에 따라 통상 현저하게 변화할 것이다. 예를 들어, 백색 표면은 텅스텐 조명 하에서 센서에 의해 캡처된 이미지에서 불그스름해 보일 수 있는 반면, 동일한 백색 표면이 형광 조명 하에서 동일한 센서에 의해 캡처된 이미지에서 초록빛을 띄어보일 수 있다.
이미지화 애플리케이션은 일반적으로 화이트 밸런스 동작을 포함하여 광원 차들을 보상할 것이다. 화이트 밸런스 동작의 일례는 각 픽셀의 색상 값들의 상대적인 크기(amplitude)들을 조정하는 것을 포함한다. RGB 이미지에 대한 전형적인 화이트 밸런스 동작은 다음의 표현에서와 같이, 이미지 내의 색상 밸런스에 대한 미리 결정된 가정에 따라 녹색 값에 대한 적색 및 청색 값들을 조정하는 것을 포함한다:
Figure 112008016903494-pct00015
. (5)
식(5)에서, 적색 채널에 대한 이득 인수 gR 및 청색 채널에 대한 이득 인수 gB 는 이러한 통상의 가정들 중 하나에 기초하여 선택될 수 있으며, 여기서 상기 파라미터들 x 및 y는 이미지의 공간 좌표들을 지칭한다:
1) 각 컬러 채널에 대한 최대 센서 응답을 가정(이미지 내의 상기 최대 값이 백색 이라고 가정함):
Figure 112008016903494-pct00016
.
2) 모든 컬러 채널들이 평균하면 회색(gray)에 이른다고 가정한다(그레이-월드 가정(gray-world assumption)):
Figure 112008016903494-pct00017
3) 각 컬러 채널 내의 동일한 에너지를 가정:
Figure 112008016903494-pct00018
.
청색 채널에 대한 이득 인수 g B 는 유사한 방식으로 녹색 채널에 비례하여 결정된다.
화이트 밸런스 동작은, 꽃의 클로즈-업과 같은, 매우 유채색인(chromatic) 이미지들에 대해, 또는 상기 가정이 유지될 수 없는 다른 이미지들에 대해 조정될 수 있다. 또한, 화이트 밸런스 동작은, 트리거드-방전(triggered-discharge) 장치(플래시 튜브) 또는 고-루멘-출력(high-lumen-output) 발광 다이오드(LED)와 같은, 카메라 플래시의 전력 스펙트럼 분포에 대한 사전 인식, 및 상기 이미지가 플래시를 이용하여 캡처되었다는 인식에 따라 선택될 수도 있다. 또한, 상이한 명암도들의 픽셀 값들에 대해 상이한 화이트 밸런스 동작들을 이용하는 것도 가능하며, 이는 센서 응답에서의 비이상성들을 보상하는데 도움이 될 것이다.
화이트 밸런스 동작은 배경 조명의 색 온도에 기한 강한 색상 캐스트(cast)를 정정할 수 있으며 상이한 조명들 하의 동일한 표면에 대한 센서 응답들을 색 공간에서 더 가까이 이동시킬 수 있다. 그러나 색상 비이상성들은 특정 센서의 스펙트럼 응답의 특질(idiosyncrasy)들 때문에 상기 이미지에 잔존할 수 있으며, 상이한 조명들 하에서의 유사한 테스트 표면들의 동일 세트에 대한 응답들의 클러스터들이 화이트 밸런스 동작이 적용된 후에조차 색 공간에서 서로에 대해 시프트(shift)될 수 있다. 색 보정(color correction) 동작을 수행하여 상이한 발광체들에 대한 응답에서의 센서-의존적 차이들을 추가로 보상하는 것이 바람직할 수 있다.
색 보정 동작은 이미지 픽셀들의 색상 값 벡터들을 센서에 특정한 색 보정 행렬과 곱하는 것을 포함할 수 있다. 일례로, 상기 보정 행렬은, 맥베스 컬러체커와 같은, 표준 타깃 세트의 이미지들로부터 유도되며, 이들은 상기 센서를 이용하여 캡처된다. 타깃 세트의 이미지들은 상이한 조명들 하에서 캡처될 수 있으며, 상이한 행렬이 각각의 대응하는 발광체에 대해 유도될 수 있다. 예를 들어, 일광(CIE D65), 텅스텐 광(CIE A), 및 형광(TL84)에 대응하는 조명들을 이용하여 광범위한 색 온도들의 샘플링을 제공할 수 있으며, 적절한 행렬이 보정될 이미지의 발광체(illuminant) 분석에 기초하여 선택될 수 있다.
색 보정 행렬은 백색 포인트 보상(white point compensation)에 대해 최적화될 수도 있거나, 또는 (피부 톤과 같이) 특정한 애플리케이션에 중요한 색상들의 클래스에 대해 최적화될 수도 있다. 상이한 색 보정 행렬들이 상이한 픽셀 명암도들에 대해 이용될 수 있으며, 이는 컬러 채널들 간의 센서 응답에서의 다른 비이상성들의 효과들을 감소시킬 수 있다.
또한, 한 세트의 신호 처리 동작들은 전력 함수에 따라 값들의 입력 범위로부터 값들의 출력 범위로의 비선형 매핑과 같은, 감마 보정(gamma correction)을 포함할 수 있다. 감마 보정은 센서 및/또는 디스플레이의 비선형 응답을 보정하기 위해 흔히 수행되며, 그러한 동작은 신호 처리 동작들의 시퀀스의 끝(색 공간 변환(conversion) 전 또는 후에) 또는, 컬러 필터 어레이 보간 동작 전과 같이, 더 조기에 수행될 수 있다. 감마 보정은 NTSC와 같은 표준 프로파일에 따르는 신호를 생성하기 위해 선택될 수 있으며, 이는 비선형 디스플레이 응답에 대해 감마 보상된다.
센서 응답과 요구되는 색 공간 간의 차이를 보상하는 것이 바람직할 수 있다. 예를 들어, 선형적일 수 있는, 본래의 RGB 공간으로부터, 비선형적일 수 있는, sRGB와 같은 표준화된 색 공간으로, 색상 값들을 변환(transform)하는 것이 바람직할 수 있다. 그러한 변환은 감마 보정 동작에 포함될 수 있다. 감마 보정은 상기 센서 및 디스플레이 응답들이 모두 선형이며 이미지 신호의 추가적인 이용이 요구되지 않는 애플리케이션에서는 생략될 수 있다.
또한 감마 곡선(gamma curve)은 하나 이상의 센서-특정(sensor-specific) 기준에 따라 선택될 수도 있다. 예를 들어, 요구되는 감마 보정의 선택은 "APPARATUS, SYSTEM AND METHOD FOR OPTIMIZING GAMMA CURVES FOR DIGITAL IMAGE DEVICES."로 명명되고, 대리인 적요 번호. 040943, 2005년 6월 5일 출원된, 미국 특허 출원 번호 11/146,484에 개시된 바와 같은 방법에 따라 수행될 수 있다.
타깃 이미지들이 캡처된 것과 다른 색 공간에서 예측되는 피부색 값들을 획득하는 것이 바람직할 수 있다. 디지털 카메라들로부터의 이미지들은 일반적으로 저장 및 처리를 위해 YCrCb 색 공간으로 변환된다. 예를 들어, JPEG 및 MPEG 표준들에 따른 압축 동작들은 YCbCr 공간의 값들에 수행된다. 예측되는 값들에 기초하여, 상기 센서에 대한 본래의 색 공간보다는 이러한 색 공간에서, 분류 및 검출과 같은 동작들을 수행하는 것이 바람직할 수 있다.
그렇지 않으면 휘도-색차 공간에서 예상 값들에 기초하여 동작들을 수행하는 것이 바람직할 수 있으며, 여기서 각 색상 값은 휘도 값 및 색채 좌표들을 포함한다. 예를 들어, 색 공간에서 더 용이하게 이뤄지는 방식으로 그러한 공간을 세분(subdivide)하는 것이 바람직할 수 있다. 그러한 한가지 분할로, YCbCr 공간이 수 개의 색차(chrominance) 서브공간(subspace)들 또는 평면들로 분할되며, 각각은 상이한 범위의 휘도 값들에 대응한다.
다음의 행렬이 적용되어 sRGB 공간으로부터 YCbCr 공간으로 색상 값을 변환할 수 있다:
Figure 112008016903494-pct00019
. (6)
유사한 행렬들이 적용되어, sRGB로부터 CMYK 공간으로와 같이, 두 개의 장치-의존적 색 공간들 간에, 또는 장치-의존적 공간으로부터 CIEXYZ 또는 CIELab과 같은 장치-독립적 공간으로의 변환을 수행할 수 있다. 일부 구현들에서, YCbCr 공간으로 변환된 이미지 신호를 디스플레이하는 것이 바람직할 수 있다. 그러한 경우 신호는, 예를 들어, LCD(액정 디스플레이) 또는 OLED(유기 발광 다이오드) 패널과 같은 장치 상의 디스플레이를 위해 식(6)의 역행렬을 이용하여 역으로 sRGB 공간으로 변환될 수 있다.
방법(M100)의 인스턴스가 수행되어 다수의 테스트 표면 스펙트럼들 각각에 대한 예상 센서 응답 신호를 얻을 수 있다. 또한, 방법(M100)의 인스턴스가 수행되어 다수의 상이한 조명들 각각에 대한 다수의 테스트 표면 스펙트럼들 각각에 대해 예상 센서 응답을 얻을 수 있다. 추가적인 실시예로, 각각의 이용 가능한 테스트 표면 스펙트럼에 대해 더 많은 예상 센서 응답 신호들을 얻는 것이 바람직할 수 있다.
일 구현으로, 예상 센서 응답들의 수는 상이한 레벨들의 조명 명암도를 시뮬레이션함으로써 증가한다. 한가지 그러한 구성으로, 센서 응답은 선형이라고 가정되며, 센서 출력의 본래의 색 공간은 RGB와 같은 원색 공간이다. 태스크(T100)에서 캡처된 센서 응답들의 각각의 원색 채널은 스케일링 인수 k와 곱해지며, 추가적인 예측 응답은 센서 응답들의 수정된 세트에 태스크(T300)를 수행함으로써 얻어진다. 그러한 프로시저는 각각의 이용 가능한 테스트 표면 스펙트럼에 대해 수행되어 예측되는 값들의 수를 효과적으로 두 배로 늘릴(double) 수 있으며, 또한 상기 프로시저는 k의 다른 값들에 대해 반복될 수 있다. 다른 구성들로, 상이한 스케일링 인수들이 기지의 또는 추정되는 비이상성에 따라 각각의 상이한 원색 채널들에 적용될 수 있다. 조명 레벨 시뮬레이션 프로시저가 모든 이용 가능한 테스트 표면 스펙트럼들에 대해 5 또는 10 개의 상이한 조명 레벨들에 대해 반복된다면, 임의의 다른 수의 시뮬레이션된 조명 레벨들이 이용될 수 있을지라도, 예측되는 값들의 수는 5 또는 10의 대응하는 인수만큼 증가할 수 있다.
또한, 센서의 잡음 통계치들이 적용되어 태스크(T100)에서 획득된 센서 응답을 수정함으로써 예상 센서 응답들의 수를 증가시킬 수 있다. 이러한 잡음 통계치들은 상기 센서에 의해 캡처된 하나 이상의 표준 타깃들의 이미지들로부터 측정될 수 있다. 예를 들어, 태스크(T100)의 구성은 상기 센서의 잡음 통계치들을 계산하는데 이용되는 타깃 이미지들을 캡처하는 것을 포함할 수 있으며, 또한 상기 이미지들은 상기 예상 센서 응답들을 계산하는데 이용된 것들 중의 것일 수 있다.
하나 이상의 컬러 채널들 각각에 대해, 잡음 측정치(measure)(하나의 표준 편차와 같은)는 기본(basis) 세트 내의 m개의 타깃들 중 하나에 대응하는 픽셀 값들의 일부 또는 전부로부터 유도된다. 그리고 나서 잡음 측정치(들)가 태스크(T100)에서 얻어진 타깃 응답의 대응하는 채널 값(들)에 적용되어 시뮬레이션된 응답을 획득하며, 이는 각각의 잡음 측정치를 상기 채널 값에 더하는(또는 빼는) 것을 포함할 수 있다. 본 프로시저는 기본 세트 내의 모든 다른 타깃들에 대해 반복될 수 있거나, 또는 하나 이상의 타깃 응답들이 변경되지 않게 놔두는 것이 바람직할 수 있다. 그리고 나서 태스크(T300)가 m개의 센서 응답들의 새로운 세트에 수행되어 추가적인 예상 센서 응답을 획득한다. 그러한 프로시저는 예상 센서 응답들의 수를 2 이상의 인수만큼 증가시키는데 이용될 수 있다. 다른 구성들로, 다른 잡음 통계치들(상기 m개의 타깃들 전부 또는 일부의 대응하는 원색 채널에 적용될 수 있는 적산 인수(multiplicative factor)와 같은)이 유도 및 적용될 수 있다.
도 9는 방법(M100)의 구현(M120)의 순서도를 나타낸다. 방법(M120)은 획득된 응답들에 기초하여 타깃들에 대한 센서 응답들을 시뮬레이션하는 태스크(T100)의 구현(T120)을 포함한다. 예를 들어, 태스크(T120)는 전술한 바와 같이, 상이한 조명 레벨들 및/또는 상기 센서의 잡음 통계치들에 기초하여 센서 응답들을 시뮬레이션할 수 있다. 도 10은 방법(M120)의 n개의 그러한 인스턴스들을 포함하는 방법(M210)의 순서도를 나타내며, 각각은 반사율 스펙트럼이 태스크(T200)의 공통 인스턴스에서 분해되는 테스트 표면에 대한 센서의 상이한 예측되는 응답을 생성한다.
도 11은 일 실시예에 따른 방법(M400)의 블록도를 나타내며, 여기서 수 개의 상이한 발광체들에 대한 예상 센서 응답들을 획득하는 동작, 복수의 테스트 표면들 각각에 대한 예상 센서 응답을 획득하는 동작, 및 시뮬레이션된 센서 응답들에 기초하여 예상 센서 응답을 획득하는 동작들이 결합되어 상기 수 개의 발광체들 각각에 대해 예상 센서 응답들의 더 큰 세트들을 획득한다. 동일한 발광체 및 테스트 표면을 따라 동작하는 방법(M100 및 M120)의 인스턴스들이 태스크(T200)의 공통 인스턴스를 공유하도록 방법(M400)의 구현을 구성하는 것이 바람직할 수 있다.
도 12는 태스크(T400)를 포함하는 실시예에 따른 방법(M500)의 블록도를 나타낸다. 태스크(T400)는, 방법(M200, M300, 및/또는 M400)의 하나 이상의 구현들에 의해 계산된 바와 같은, 하나 이상의 예측된 센서 응답들의 세트들을 포함하는 트레이닝 세트에 따른 색 공간의 분할을 수행한다. 분할이 한 클래스의 표면들(예를 들어, 인간 피부 톤들의 클래스)의 공통 색 특성을 나타내도록 상기 트레이닝 세트가 유도되는 테스트 표면들을 선택하고 그리고/또는 상기 트레이닝 세트의 엘리먼트들을 선택하는 것이 바람직할 수 있다. 색 공간은 RGB 또는 YCbCr과 같은, 상기 트레이닝 세트 샘플들이 뽑히는(drawn) 색 공간의 일부(아마도 전부)이다. 일례로, 상기 색 공간은 CbCr 평면과 같은 색차(chrominance) 평면이다. 특정한 센서의 특성들에 기초하여 트레이닝 세트를 이용하는 것의 잠재적인 이점은 감소한 클러스터이며, 이는 신뢰도를 증가 및/또는 잘못된 검출들의 가능성을 감소시킬 수 있다.
분할이 배제적(exclusive)일 수 있어서, 색 공간 내의 각각의 위치(색상 값)는 분할들 중 하나 그리고 단 하나 내에 있을 수 있다. 대안적으로, 색 공간 내의 위치들의 일부 또는 전부 각각이 하나의 분할 내에 있을 1보다 낮은 확률 및 적어도 암시적으로 다른 분할 내에 있을 0보다 클 확률을 할당받을 수 있다.
태스크(T400)는 트레이닝 세트의 히스토그램에 기초하여 분할을 수행하도록 구성될 수 있다. 예를 들어, 태스크(T400)는 색 공간 위치 i가 상기 예상 센서 응답들 중의 위치의 발생 수의 합 Mi 에 기초하여 특정 분할 내에 있을 확률을 결정하도록 구성될 수 있다. 색 공간 부분 내의 각각의 위치 i에 대해, 태스크(T400)는 Mi 를 임계치와 비교함으로써 분할 내의 위치의 멤버십의 이진(binary)(확률 1(one) 또는 0(zero)) 표시를 획득하도록 구성될 수 있다. 대안적으로, 태스크(T400)는 확률 측정치(measurement)를 예상 센서 응답들 중의 위치의 발생 수의 정규화된 합으로서 계산하도록 구성될 수 있다(Mi /max{Mj }, 예를 들어, 여기서 최대값(maximum)은 분할되는 색 공간 내의 모든 위치들 j에 대해 얻어진다; 즉 Mi /N이며, 여기서 N은 트레이닝 세트 내의 샘플들의 수이다).
상기 확률 측정치들에 및/또는 상기 확률 측정치들이 유도되는 히스토그램에 저역통과 필터 또는 다른 형태의 로컬 근사화(local apporoximation)를 적용하는 것이 바람직할 수 있다. 그러한 동작은 저장될 확률 측정치들의 유효 개수(effective number)를 감소시키는데 이용될 수 있다(예를 들어, 히스토그램을 다운샘플링함으로써). 또한, 그러한 동작은 분할 내에 있지만 예상 센서 응답들 중에서 불충분하게 나타나거나 나타나지 않는 것으로 가정되는 위치들에 대한 적절한 확률 측정치들을 제공하는데 이용될 수도 있다.
히스토그램에 기초한 분류가 간소하고 신속할 수 있는 반면, 그러한 기법의 유효성은 트레이닝 데이터의 밀도에 크게 의존할 수 있다. 더구나, 그러한 분류는 필요로 할 수 있는 분류 데이터(예를 들어, 분할되는 색 공간 내의 모든 위치에 대한 하나 이상의 확률 측정치들을 갖는 마스크)의 양의 관점에서 비효율적일 수도 있다. 추가적인 구현으로, 태스크(T400)는 색 공간에 걸친 클래스의 분포(인간 피부 톤과 같은)를 모델링하도록 구성된다.
태스크(T400)는 가우스 함수(Gaussian function)로서 이 분포를 모델링하도록 구성될 수 있다. 그러한 모델은 보편성이라는 장점을 가질 수 있으며 간단하고 신속할 수 있다. CbCr 평면과 같은 색차 공간에 적용되는 바와 같은 일례로, 분할 내에서 색차 값 벡터 Xi 의 멤버십의 우도(likelihood)는 다음 표현에 따른 가우스 분포로서 모델링된다:
Figure 112008016903494-pct00020
(7)
여기서 Xi 는 위치 i에 대한 색차 값들의 벡터이고, 평균 벡터 μ 및 공분산 행렬 Λ가 예상 센서 응답들로부터 결정되며, 마할라노비스 거리(Mahalanobis distance) λ는 λ 2=(Xi -μ) T Λ-1(Xi -μ)로 계산된다. 상기 마할라노비스 거리는 그 방향의 변화도(variability)의 샘플 세트들의 범위에 따라 샘플과 평균 간의 거리에 가중치를 부여한다. 중심 및 공분산 행렬에 대한 상기 클러스터의 정의는 Λ(convex hull)가 임의의 λ에 대해 생성될 것이라는 보장을 제공할 수 있다(무한한 색 공간을 가정하거나, 상기 공간의 경계들에 따른 λ의 값에 대한 상한을 가정하면).
값 X가 만일 λ 2≤
Figure 112009066161935-pct00021
라면 분할 내에 있는 것으로서 그리고 그렇지 않으면 분할 외부에 있는 것으로서 분류되도록, 이진 분할의 한 가지 형태가 임계치
Figure 112009066161935-pct00022
를 적용함으로써 식(7)에 제시된 바와 같은 모델로부터 얻어질 수 있다. 부등식 λ 2≤
Figure 112009066161935-pct00023
는 평균 μ에 중심이 있는, 타원형 영역을 정의하며, 그 주요 축들은 Λ의 고유벡터(eigenvector)들 el 을 따라 지향되며 길이
Figure 112009066161935-pct00024
를 가지고, 여기서
Figure 112009066161935-pct00025
이다.
일부 애플리케이션들에서, 상기 분포가 너무 복잡하여 단일 가우스 분포로 만족스럽게 모델링되지 못할 수 있다. 예를 들어, 조명이 변화하는 상황에서, 그러한 모델은 트레이닝 세트의 분포(인간 피부색의 분포와 같은)의 편차(variance)를 적절히 나타내지 못할 수 있다. 다른 예로, 상기 트레이닝 세트는 다른 분포들을 갖는 서브클래스(subclass)들을 포함할 수 있다. 그러한 경우들에 있어서, 가중치가 부여된 가우시안들의 중첩과 같이, 히스토그램을 가우스 분포들의 혼합으로서 모델링하는 것이, 더 정확한 모델을 제공할 수 있다. 가우시안들의 혼합(mixture-of-Gaussians) 모델에 대해, 위치 i에 대한 멤버십의 우도를 생성하기 위해 상기 모델에 이용되는 가우시안들 각각을 평가하는 것이 바람직할 수 있다.
또한, 다른 모델들을 이용하여 클래스 밀도 분포(class density distrubution)(또는 이들의 일부)를 모델링할 수 있다. 적절할 수 있는 타원 경계 모델의 일례가 다음의 식에 따라 정의된다:
Φ(X)=(X-ψ)TΘ-1(X-Ψ), (8)
여기서 n은 트레이닝 세트에 표현되는 구분되는(distinctive) 색 공간 위치들의 수이고, Ψ는 n개의 구분되는 색 공간 위치들의 평균이며,
Figure 112009066161935-pct00026
이다. 값 Xi 가 만일 Φ(Xi )<α 이면 분할 내에 있는 것으로 그리고 그 외의 경우 분할 외부에 있는 것으로 분류되도록, 한 가지 형태의 이진 분할이 임계치 α를 적용함으로써 식(8)에 제시된 바와 같은 모델로부터 얻어질 수 있다.
태스크(T400)는 예상 센서 응답들의 트레이닝 세트에 의해 표현되는 클래스가 색 공간 내의 다른 모든 값들과 구분될 수 있는 분할을 수행하도록 구성될 수 있다. 그러나 태스크(T400)에 의해 수행되는 분할이 단일 클래스에 한정될 필요는 없다. 예를 들어, 예상 센서 응답들의 트레이닝 세트는 둘 이상의 서브클래스를 포함할 수 있으며, 태스크(T400)는 둘 이상의 상기 서브클래스 간을 구분하는데 이용될 수 있는 분할을 수행하는 것이 바람직할 수 있다. 그러한 경우에, 가우시안들의 혼합을 이용하여 복합(composite) 트레이닝 세트의 분포를 나타내는 히스토그램을 모델링하는 것이 바람직할 수 있다. 그러한 모델은 상기 히스토그램의 로컬(local) 최소치로서 선택되는 임계치보다 더 최적의 분리(separation)를 허용하는 서브클래스들 간의 경계 값을 제공할 수 있다.
방법은 태스크(T400)의 둘 이상의 인스턴스를 포함할 수 있으며, 각각은 상이한 트레이닝 세트들에 대해 상이한 분할을 수행하도록 구성된다. 태스크(T400)의 다양한 인스턴스들이 순차적으로 및/또는 병렬로, 실-시간 또는 오프라인으로 실행될 수 있으며, 상기 트레이닝 세트들은 중첩될 수도 그렇지 않을 수도 있다. 통상 태스크(T400)의 다양한 인스턴스들이 동일한 색 공간의 분할을 수행할 것이지만, 고려되는 실시예들의 범위는 그러한 특징에 제한되지 않으며, 태스크(T400)의 각 인스턴스에 의해 분할되는 색 공간들이 동일할 필요는 없다. 그러한 방법의 애플리케이션들은 센서에 의해 캡처된 비디오 시퀀스의 하나 이상의 이미지들 또는 스틸 이미지의 실-시간 분석을 포함하며, 여기서 상기 센서는 디지털 카메라 또는 셀룰러 전화기나 카메라를 포함하는 다른 개인용 통신 장치와 같은 장치 내에 포함된다.
도 13은 그러한 실시예에 따른 방법(M600)의 순서도를 나타내며, 여기서 예상 센서 응답들의 상이한 세트들이 색 공간 분할을 수행하는데 이용된다. 본 예시에서, 각각의 세트는 대응하는 발광체에 따른 동일한 색 공간의 상이한 분할을 지원한다. 다른 예로, 분할은 상이한 기준(reference) 발광체들에 대응하는 예상 센서 응답들의 하나 이상의(아마도 모두의) 세트들의 조합에 기초한다. (예를 들어, 트레이닝 세트가 인간 피부색과 같은 클래스를 나타내는) 일부 애플리케이션들에서, 상이한 분할 영역들이 중첩되지 않는 것이 가능할 수 있다. (예를 들어, 이진 분할을 획득하기 위해) 태스크(T400)의 하나 이상의 인스턴스들이 임계치(threshold)를 상기 분포 또는 모델에 적용하는 방법(M600)의 구현으로, 태스크(T400)의 상이한 인스턴스들에 대해 상이한 임계치들을 적용하는 것도 가능하다.
흔히 휘도(luminance)는 YCbCr과 같은 휘도-색차 색 공간의 피부색들의 클러스터링에 영향을 미치지 않는다고 가정한다. 따라서, 태스크(T400)는 상기 색 공간의 일부 또는 전부가 CbCr 평면과 같은, 단일 색차 평면으로 집중(condense)되도록 분할을 수행할 수 있다. 그러한 애플리케이션에서, 태스크(T400)는 상기 색차 평면 내의 위치에 기초하여 멤버십의 확률을 지시하도록 구성된다.
다른 구현으로, 태스크(T400)는 상기 색 공간의 값들의 범위의 다수의 상이한 부분들 각각에 대해 상이한 분할을 수행하도록 구성될 수 있다. 통상의 가정에 반하여, 예를 들어, 발명자들은 피부-색상 클러스터들이 극한에 가까운 휘도 값들에 대해서보다 중간-범위 휘도 값들에 대해 더 클 수 있음을 보아 왔다. 일부의 경우, YCbCr 공간 내의 피부색 영역은 CbCr 평면에서 클러스터링되지만 Y축을 따라 흩어지는 타원체이다.
그러한 경우에 적용되는 추가적인 구현으로, 태스크(T400)는 YCbCr 공간을 복수의 서브공간(subspace)들로 분할하며, 각 서브공간은 휘도 값들의 범위에 대응한다. 일례로, 다른 예시들에서 임의의 수의 범위들이 이용될 수 있으며, 동일할 필요는 없을지라도, 상기 공간은 10개의 동일한 휘도 범위들 {(0, 0.1], (0.1, 0.2],...,(0.8,0.9], (0.9,1.0]}으로 분할된다. 또한, 태스크(T400)는 상기 YCbCr 공간이 0 및 1.0이 아닌 극한 값(extreme value)들의 쌍 사이(예를 들어, 0 내지 255)에서 확장(extend)되는 상황에 적응될 수도 있다.
태스크(T400)의 그러한 구현은 피부색들을, 각각을 각각의 색차 평면 내에, 열 개의 클러스터들로 분리하는데 이용될 수 있다. 일 구성으로, 입력 색차 벡터 X의 피부 우도가 식(7)과 같은 표현에 의해 주어지도록, 각 범위에서 피부색의 분포는 대응하는 평면에서 가우시안으로서 모델링된다. 임계치
Figure 112009066161935-pct00027
에 대해, 상기 값 벡터 X는 λ 2≤
Figure 112009066161935-pct00028
인 경우에는 피부 색차로서, 그렇지 않은 경우에는 비-피부(non-skin) 색차로서 분류될 수 있다. 휘도 레벨이 중간-범위 내이고 상기 휘도 레벨이 두 개의 극한들 중 어느 한쪽으로 근접함에 따라 점차 더 작은 값인 경우에는 λT 에 대해 더 큰 값을 선택하는 것이 바람직할 수 있다. 다른 구성들로, 여기 기재된 바와 같은 다른 모델들이 적용되어 각각의 휘도 범위에서 트레이닝 세트 분포를 모델링할 수 있다.
도 14A는 일 실시예에 따른 방법(M700)의 블록도를 나타낸다. 태스크(T500)는 태스크(T400)에서 수행된 바와 같은 분할 및 상기 분할된 색 공간 내의 픽셀의 값의 위치에 기초하여, 센서에 의해 캡처된 이미지의 픽셀을 분류한다. 상기 분할은 이미지가 분류되기 전에 이루어지도록 미리 결정될 수 있다. 방법(M700)이 순차적으로 및/또는 병렬로 반복되어 상기 분할에 따라 상기 이미지 내의 픽셀들의 일부 또는 전부를 분류할 수 있다.
도 14B에 도시된 바와 같이, 방법(M700)의 인스턴스들이 센서에 의해 캡처된 이미지 내의 s개의 픽셀들 각각에 대해 실 시간 및/또는 오프라인으로 수행되어 상기 이미지의 분할 맵을 획득할 수 있다. 일례로, 방법(M700)의 인스턴스들이 수행되어 상기 이미지의 이진 분할 맵을 획득하며, 여기서 상기 맵의 각 위치에서의 이진 값은 상기 이미지의 대응하는 픽셀이 상기 분할 내인지 아닌지를 지시한다. 상기 이미지의 분할 맵에, 형태학적(morphological) 동작들, 영역 성장(region growing), 저역-통과 공간 필터링, 및/또는 시간(temporal) 필터링과 같은, 필터링 및/또는 다른 처리를 수행하는 것이 바람직할 수 있다.
각각의 픽셀을 분류할 수 개의 상이한 분할들 중에서 하나를 선택하는 방법(M700)을 구현하는 것이 바람직할 수 있다. 도 15는 태스크(T450)를 포함하는 방법(M700)의 구현(M800)의 블록도를 나타낸다. 태스크(T450)는 분할되는 이미지의 배경 발광체에 따라 수 개의 상이한 분할들 중 하나를 선택하도록 구성된다. 상기 배경 발광체는 임의의 색상 항상성(constancy) 또는 발광체 추정 알고리즘을 이용하여 상기 이미지로부터 식별될 수 있다. 예를 들어, 둘 이상의 표면 색상들을 갖는 배경에서, 2색성(dichromatic) 반사 모델이 적용되어 이색성 평면들의 교차점에 따라 상기 배경 발광체를 추정할 수 있다.
태스크(T450)는 추정되는 배경 발광체에 대한 색 온도 및/또는 스펙트럼 전력 분포에 있어서 유사한 기준 조명 하에서 취해진 샘플들로부터 유도되는 분할을 선택하는 것이 바람직할 수 있다. 그러나 상기 추정되는 배경 발광체가 임의의 상기 기준 발광체들과 충분히 유사한 색 특성을 갖지 않는 것도 가능하다. 그러한 경우, 태스크(T450)가 상기 기준 발광체들 중에서 목적지 발광체를 선택하고 그리고 분할될 이미지에 대응하는 색채 적응 변환(chromatic adaptation transformation)을 적용하도록 구성될 수 있다. 상기 적응 변환은 분할될 본래의 이미지의 기준 백색(reference white) 및 상기 목적 발광체의 기준 백색에 의존적인 선형 변환일 수 있다. 일례로, 태스크(T450)는 상기 색상 변환이 센서의 본래의(native) 색 공간(RGB 공간과 같은) 내의 이미지에 적용되게 한다.
다른 구현으로, 방법(M700)은 픽셀의 휘도 레벨에 따라 수 개의 상이한 분할들 중에서 하나를 선택하도록 구성된다. 도 16은 태스크(T460)를 포함하는 방법(M700)의 그러한 구현(M900)의 블록도를 나타낸다. 태스크(T460)는 분류될 픽셀의 휘도 레벨에 따라 수 개의 상이한 분할들 중 하나를 선택하도록 구성된다. 예를 들어, 태스크(T460)는 전술한 바와 같이 열 개의 동일한 휘도 범위들 {(0, 0.1], (0.1, 0.2],...,(0.8,0.9], (0.9,1.0]} 중에서 선택하도록 구현될 수 있다. 방법(M700)은 태스크들(T450 및 T460) 모두에 따라 선택되는 분할에 기초하여 이미지의 픽셀들의 각 세트를 분류하도록 추가로 구현될 수 있다.
애플리케이션들의 한 가지 범위로, 인간 피부 톤들의 트레이닝 세트에 따른 분할을 이용하여 실 시간으로 이미지들 내의 피부 톤들을 검출한다. 그러한 애플리케이션에서, 상기 분할은 동일한 센서에 의해 캡처된 이미지들의 시퀀스 또는 이미지 내의 하나 이상의 피부-톤 영역들을 식별하는데 이용된다. 그리고 나서 이러한 식별(identification)을 이용하여 식별된 영역의 외양의 화질을 높이는(enhance) 것과 같은 추가적인 동작들을 지원할 수 있다. 예를 들어, 피부-톤 영역이 상기 이미지의 다른 부분들보다 더 높은 품질로 인코딩되도록 상이한 압축 알고리즘 또는 비(ratio)가 상기 이미지의 상이한 부분들에 적용될 수 있다.
안면-추적 동작과 같은 추적 애플리케이션에서, 이미지 내의 피부-톤 영역은 실-시간인 상기 이미지의 디스플레이를 따라 상기 영역과 함께 이동하는 박스로 마킹(mark)될 수도 있고, 또는 카메라가 포인트인 방향이 뷰(view)의 필드 내의 영역을 유지하도록 자동으로 이동될 수도 있다. 추적 동작은 Kalman 필터와 같은 시간(temporal) 필터의 애플리케이션을 포함할 수 있다. 다른 애플리케이션에서, 카메라의 3A 동작들(자동초점(autofocus), 자동-화이트 밸런스(auto-white balance), 자동-노출(auto-exposure)) 중 하나 이상이 검출된 피부-색 영역에 따라 조정된다.
피부색을 수반하는 애플리케이션들 및 용도들이 기재되었을지라도, 오브젝트들의 다른 클래스들에 대한 테스트 표면들도 이용될 수 있음이 명백히 고려된다. 상기 테스트 표면들은 과일류, 야채류, 또는 잎(foliage)류와 같은 살아 있는 오브젝트들의 다른 클래스를 나타낼 수 있다. 그러한 테스트 표면들에 대한 예측 센서 값들에 따른 이미지들의 분류가 수행되어 오브젝트들을 정렬(sort), 선별(grade), 또는 추려낼(cull) 수 있다. 예를 들어, 숙성(ripeness)의 정도 또는 손상(spoilage)이나 변질(desease)의 존재와 같은 하나 이상의 품질들을 결정하는 것이 바람직할 수 있으며, 상기 테스트 표면들은 그러한 애플리케이션에 따라 요구되는 분류를 지원하도록 선택될 수 있다.
다른 잠재적인 애플리케이션들은 처리된 식료품들의 검사와 같은 산업적 이용들을 포함한다(예를 들어, 표면 색상에 기초한 굽기(baking)나 로스팅(roasting)이 충분한지를 결정하기 위해). 또한, 색상의 기반하는 분류는 지질학에서의 애플리케이션들도 갖는다. 여기 기재된 방법의 다른 잠재적 애플리케이션들은 의학적 진단 및 생물학적 연구를 포함하며, 여기서는 테스트 표면 및 타깃들의 반사율 스펙트럼들은 가시 범위에 한정될 필요가 없다.
방법(M700, M800, 또는 M900)의 구현의 추가적인 애플리케이션들은 얼마나 많은 이미지가 분할 내에 있는 것으로 분류되었는지를 결정하기 위해 이미지의 분할 맵을 분석하는 것을 포함한다. 그러한 프로시저는 과일-분류(fruit-sorting) 동작(예를 들어, 과일이 익었는지를 결정하기 위한) 또는 다른 음식 처리 동작들(예를 들어, 구워지거나 로스팅된 식료품이 적절히 조리되었는지를 결정하기 위한)에 있어서 유용할 수 있다.
도 17A는 일 실시예에 따른 장치(100)의 블록도를 나타낸다. 센서(110)는 CCD 또는 CMOS 센서와 같은, 다수의 감광(radiation-sensitive) 엘리먼트들을 포함하는 이미지화 센서를 포함한다. 센서 응답 예측기(sensor response predictor)(120)는 여기 기재된 바와 같은 방법(M100)의 구현들에 따라 센서(110)의 예측되는 응답들의 세트를 계산한다. 색 공간 분할기(130)는, 여기 기재된 바와 같은 태스크(T400)의 하나 이상의 구현들에 따라, 상기 예상 센서 응답들에 기초하여 색 공간의 분할을 수행한다.
센서 응답 예측기(120)는 마이크로프로세서들, 내장형 제어기들, 또는 IP 코어들과 같은 논리 엘리먼트들의 하나 이상의 어레이들로서, 및/또는 그러한 어레이나 어레이들에 의해 실행가능한 명령들의 하나 이상의 세트들로서 구현될 수 있다. 색 공간 분할기(130)는, 아마도 논리 엘리먼트들의 동일한 어레이나 어레이들 및/또는 명령들의 세트들 내부에서, 유사하게 구현될 수 있다. 장치(100)를 포함하는 장치나 시스템의 관점에서, 그러한 어레이나 어레이들이, 장치(100)의 동작에 직접 관련되지 않은 명령들과 같은, 명령들의 다른 세트들을 실행하는데 이용될 수도 있다. 예를 들어, 센서 응답 예측기(120) 및 색 공간 분할기(130)는 센서(110)가 부착되는, 또는 가능하게는 다른 장치에 의해 센서(110)로부터 수집되는 데이터에 계산들을 수행하도록 구성되는 개인용 컴퓨터 상에서 실행되는 프로세스들로서 구현될 수 있다.
도 17B는 일 실시예에 따른 장치(200)의 블록도를 나타낸다. 분할 저장소(140)는 색 공간의 하나 이상의 분할들을 저장하며, 각각의 분할은 센서(110)의 예측되는 응답들의 대응하는 세트로부터 유도된다. 그러한 분할 또는 분할들은, 제한 없이, 여기 기재된 방법(M500 및/또는 M600)의 하나 이상의 구현들에 따라서 유도될 수 있다. 픽셀 분류기(pixel classifier)(150)는 분할 저장소(140)의 하나 이상의 분할들에 따라서 이미지의 픽셀들을 분류한다. 그러한 분류는, 제한 없이, 여기 기재된 방법(M700, M800, 및/또는 M900)의 하나 이상의 구현들에 따라서 수행될 수 있다. 디스플레이(160)는 센서(110)에 의해 캡처된 이미지를 디스플레이하며, 또한 상기 이미지는 픽셀 분류기(150)에 의해 수행되는 분류에 따라서 처리될 수 있다. 장치(200)의 추가적인 구현들은 상기 센서의 광로에 하나 이상의 렌즈들을 포함할 수 있다. 또한, 장치(200)의 구현들은 상기 센서의 광로에 적외선- 및/또는 자외선-차단 필터를 포함할 수도 있다.
분할 저장소(140)는 반도체 메모리(예로써 제한 없이 정적 또는 동적 랜덤-액세스 메모리(RAM), 읽기-전용 메모리(ROM), 비휘발성 메모리, 플래시 RAM을 포함함) 또는 강유전체(ferroelectric), 오보닝(ovonic), 중합체(polymeric), 또는 상-변화(phase-change) 메모리와 같은 저장 엘리먼트들의 하나 이상의 어레이들로서 구현될 수 있다. 픽셀 분류기(150)는 마이크로프로세서들, 내장형 제어기들, 또는 IP 코어들로서, 및/또는 그러한 어레이나 어레이들에 의해 실행가능한 명령들의 하나 이상의 세트들로서 구현될 수 있다. 장치(200)를 포함하는 장치나 시스템의 관점에서, 그러한 어레이나 어레이들은, 장치(200)의 동작에 직접 관련되지 않는 명령들과 같은, 명령들의 다른 세트들을 실행하는데 이용될 수도 있다. 일례로, 픽셀 분류기(150)는 셀룰러 전화의 동작을 제어하도록 구성되는 이동국 모뎀 칩 또는 칩셋 내부에서 구현된다.
또한, 픽셀 분류기(150) 및/또는 장치(200)는 여기 기재된 바와 같이 이미지에 다른 신호 처리 동작들(블랙 클램핑, 화이트 밸런스, 색 보정, 감마 보정, 및/또는 색 공간 변환과 같은)을 수행하도록 구성될 수도 있다. 디스플레이(160)는, 특정한 애플리케이션에 적합한 임의의 디스플레이가 이용될 수 있을지라도, LCD 또는 OLED 패널로서 구현될 수 있다. 장치(200)의 구현들의 범위는 디지털 스틸 또는 비디오 카메라들과 같은 휴대용 또는 핸드헬드 장치들 및, 셀룰러 전화와 같이, 하나 이상의 카메라들을 포함하는 휴대용 통신 장치들을 포함한다.
전술한 색상 이론에 대한 임의의 논의가 여기 기재된 원리들의 유도를 설명 하고 그리고 고려되는 애플리케이션들 및 그러한 원리들의 확장을 개시하도록 기능하는 것임을 알아야 한다. 그러한 논의의 어떠한 측면도 한정 의도가 특정한 청구항에서 제시되는 특징에 의해 명시적으로 나타나지 않는 한 어떠한 청구의 대상인 구조 또는 방법을 한정하는 것이 아니다.
기재된 실시예들의 전술한 제시사항은 당해 기술분야에서 통상의 지식을 가진 자로 하여금 본 발명을 생산 또는 이용하게 하기 위해 제공된다. 이러한 실시예들에 대한 다양한 변경들이 가능하며, 여기 제시되는 이란 원리들은 다른 실시예들에도 적용될 수 있다. 여기 기재된 방법들은 하드웨어, 소프트웨어, 및/또는 펌웨어로 구현될 수 있다. 그러한 방법들의 다양한 태스크들은 마이크로프로세서들, 내장형 제어기들, 또는 IP 코어들과 같은, 논리 엘리먼트들의 하나 이상의 어레이들에 의해 실행가능한 명령들의 세트들로서 구현될 수 있다. 일례로, 하나 이상의 그러한 태스크들은 셀룰러 전화와 같은 개인용 통신 장치의 다양한 장치들의 동작들을 제어하도록 구성되는 이동국 모뎀 칩 또는 칩셋 내부에서의 실행을 위해 준비된다.
실시예는 부분적으로 또는 전체적으로 하드웨어-내장(hard-wired) 회로로서, 주문형 반도체에 조립된 회로 구성으로서, 또는 비-휘발성 저장소에 로드된 펌웨어 프로그램이나 기계-판독가능 코드로서 데이터 저장 매체로부터 또는 데이터 저장 매체에 로드되는 소프트웨어 프로그램으로서 구현될 수 있으며, 그러한 코드는 마이크로프로세서나 다른 디지털 신호 처리 유닛과 같은 논리 엘리먼트들의 어레이에 의해 실행가능한 명령들이다. 상기 데이터 저장 매체는 반도체 메모리(제한 없이 동적 또는 정적 RAM, ROM, 및/또는 플래시 RAM을 포함할 수 있음)나 강유전체, 오보닝, 중합체, 또는 상-변화 메모리와 같은 저장 엘리먼트들의 어레이; 또는 자기 또는 광 디스크와 같은 디스크 매체일 수 있다.
CCD 및 CMOS 센서들이 여기서 언급되지만, 용어 "센서"는 복수의 감-광(light-sensitive) 사이트들이나 엘리먼트들을 포함하는 임의의 센서를 포함하며, 다른 반도체들 및/또는 이질 접합(heterojunction)들을 이용하여 제조되는 센서들뿐 아니라 비정질 및 결정질 실리콘 센서들을 포함한다. 따라서, 실시예들의 범위는 상기 제시된 것들에 한정되는 것이 아니라 임의의 방식으로 여기 기재된 원리들 및 신규한 특징들에 따라 가장 광범위한 범위로 해석되어야 하는 것이다.

Claims (34)

  1. 복수의 타깃(target)들을 관찰하는 센서를 특성화하는(characterize) 방법으로서:
    제 1 색 공간(color space)에서 한 세트의 위치들을 획득하는 단계 ― 상기 한 세트의 위치들 각각은 상기 복수의 타깃들 중 대응하는 타깃에 대한 상기 센서에 의한 응답에 기초하고, 상기 복수의 타깃들 각각은 서로 다른 반사율(reflectance) 스펙트럼을 가짐 ―;
    상기 복수의 타깃들의 반사율 스펙트럼들의 조합으로의 표면(surface)의 반사율 스펙트럼의 분해(decomposition)에 기초하여 한 세트의 파라미터들을 획득하는 단계; 및
    상기 한 세트의 위치들 및 상기 한 세트의 파라미터들에 기초하여 상기 센서의 복수의 예상 응답들을 획득하는 단계를 포함하며, 상기 복수의 예상 응답들 각각은 공통 색 특성을 갖는, 상기 색 공간의 원하는 분할(segmentation)에 속하는 복수의 표면들 중 대응하는 표면에 대한 상기 센서의 예상 응답인, 센서를 특성화하는 방법.
  2. 제 1 항에 있어서,
    상기 한 세트의 파라미터들은 계수(coefficient) 벡터이며, 상기 계수 벡터의 각각의 엘리먼트는 상기 복수의 타깃들의 서로 다른 타깃의 반사율 스펙트럼에 대응하는, 센서를 특성화하는 방법.
  3. 제 1 항에 있어서,
    상기 방법은 복수의 인간 피부(human skin) 표면들 각각에 대한 상기 센서의 예상 응답을 획득하는 단계를 포함하는, 센서를 특성화하는 방법.
  4. 삭제
  5. 제 1 항에 있어서,
    제 1 색 공간 내의 상기 한 세트의 위치들 각각은 제 1 조명(illumination) 하에 상기 복수의 타깃들 중 대응하는 타깃에 대한 상기 센서의 응답에 기초하며,
    상기 센서의 복수의 예상 응답들을 획득하는 단계는:
    상기 제 1 색 공간에서 제 2 세트의 위치들을 획득하는 단계 ― 상기 제 2 세트의 위치들 각각은 상기 제 1 조명과 다른 스펙트럼 전력 분포(spectral power distribution)를 갖는 제 2 조명 하에서 상기 복수의 타깃들 중 대응하는 타깃에 대한 상기 센서에 의한 응답에 기초함 ―; 및
    상기 제 2 세트의 위치들에 기초하여, 상기 복수의 표면들 각각에 대한 상기 센서의 예상 응답을 획득하는 단계를 포함하는, 센서를 특성화하는 방법.
  6. 제 1 항에 있어서,
    상기 방법은 파라미터들의 복수의 세트들을 획득하는 단계를 포함하고, 상기 파라미터들의 복수의 세트들 각각은 상기 복수의 타깃들의 반사율 스펙트럼들의 조합으로의 상기 복수의 표면들 중 대응하는 표면의 반사율 스펙트럼의 분해에 기초하며,
    상기 센서의 복수의 예상 응답들을 획득하는 단계는 상기 복수의 표면들 각각에 대해, 상기 한 세트의 위치들 및 상기 파라미터들의 대응하는 세트에 기초하여 해당 표면에 대한 상기 센서의 예상 응답을 획득하는 단계를 포함하는, 센서를 특성화하는 방법.
  7. 제 1 항에 있어서,
    상기 방법은 상기 센서의 상기 복수의 예상 응답들에 기초하여 제 2 색 공간의 분할을 계산하는 단계를 포함하는, 센서를 특성화하는 방법.
  8. 제 7 항에 있어서,
    상기 제 2 색 공간의 분할을 계산하는 단계는 상기 센서의 상기 복수의 예상 응답들에 기초하여 상기 제 2 색 공간의 복수의 분할들을 계산하는 단계를 포함하며, 각각의 분할은 한 범위의 휘도(luminance) 값들의 서로 다른 부분에 대응하는, 센서를 특성화하는 방법.
  9. 제 7 항에 있어서,
    상기 제 1 색 공간은 원색(primary color) 공간이며 상기 제 2 색 공간은 휘도-색차(luminance-chrominance) 색 공간인, 센서를 특성화하는 방법.
  10. 제 1 항에 있어서,
    상기 복수의 예상 응답들은 상기 타깃들 중 대응하는 타깃에 대한 상기 센서의 시뮬레이션된(simulated) 응답에 기초한 예상 응답을 포함하는, 센서를 특성화하는 방법.
  11. 제 10 항에 있어서,
    상기 센서의 상기 시뮬레이션된 응답은 상기 센서의 결정된 잡음 특성(noise characteristic)에 기초하는, 센서를 특성화하는 방법.
  12. 제 1 항에 있어서,
    상기 방법은 상기 분할에 따라, 상기 센서에 의해 캡처(capture)된 이미지의 복수의 픽셀들 각각을 분류(classify)하는 단계를 포함하는, 센서를 특성화하는 방법.
  13. 제 12 항에 있어서,
    상기 방법은 상기 복수의 픽셀들 각각을 인간 피부 톤(human skin tone)으로서 분류하는 단계를 포함하는, 센서를 특성화하는 방법.
  14. 컴퓨터로 하여금 제 1 항에 따른 상기 센서를 특성화하는 방법을 수행하게 하기 위한 명령(instruction)들을 포함하는 프로그램을 기록하기 위한, 컴퓨터로 읽을 수 있는 기록 매체.
  15. 이미지 처리 방법으로서,
    센서에 의해 캡처된 원본(raw) 이미지에 기초한 이미지를 수신하는 단계; 및
    상기 이미지의 복수의 픽셀들 각각에 대해, 색 공간의 미리 결정된 분할에 따라 상기 픽셀을 분류하는 단계를 포함하며,
    상기 미리 결정된 분할은 상기 센서의 복수의 예상 응답들에 기초하고,
    상기 복수의 예상 응답들 각각은 복수의 타깃들에 대한 한 세트의 응답들에 기초하며, 상기 한 세트의 응답들 각각은 상기 복수의 타깃들 중 대응하는 타깃에 대한 상기 센서의 응답인, 이미지 처리 방법.
  16. 제 15 항에 있어서,
    상기 미리 결정된 분할은 (A) 복수의 표면들 중 대응하는 표면의 반사율 스펙트럼과 (B) 한 세트의 반사율 스펙트럼들 간의 관계에 기초하며, 상기 한 세트의 반사율 스펙트럼들 각각은 상기 복수의 타깃들 중 대응하는 타깃의 반사율 스펙트럼인, 이미지 처리 방법.
  17. 제 15 항에 있어서,
    상기 미리 결정된 분할은 상기 색 공간 내에서 상기 예상 응답들의 분포에 기초하는, 이미지 처리 방법.
  18. 제 15 항에 있어서,
    상기 방법은:
    상기 이미지의 배경(scene) 발광체(illuminant)를 결정하는 단계; 및
    상기 결정된 배경 발광체에 따라, 복수의 분할들 중에서 상기 미리 결정된 분할을 선택하는 단계를 포함하는, 이미지 처리 방법.
  19. 제 15 항에 있어서,
    상기 방법은:
    상기 이미지의 배경 발광체를 결정하는 단계;
    상기 복수의 픽셀들 각각을 분류하는 단계에 앞서, 상기 결정된 배경 발광체 및 기준(reference) 발광체에 따라 상기 이미지에 대해 색채 적응 변환(chromatic adaptation transformation)을 수행하는 단계; 및
    상기 기준 발광체에 따라, 복수의 분할들 중에서 상기 미리 결정된 분할을 선택하는 단계를 포함하는, 이미지 처리 방법.
  20. 제 15 항에 있어서,
    상기 복수의 픽셀들 각각을 분류하는 단계는 상기 픽셀의 휘도(luminance) 값에 따라 복수의 분할들 중에서 상기 미리 결정된 분할을 선택하는 단계를 포함하는, 이미지 처리 방법.
  21. 제 15 항에 있어서,
    상기 복수의 픽셀들 각각을 분류하는 단계는 상기 픽셀의 색상 값(color value)이 인간 피부 톤(human skin tone)들의 미리 결정된 범위 내인지 여부를 결정하는 단계를 포함하는, 이미지 처리 방법.
  22. 제 15 항에 있어서,
    상기 방법은, 시간에 따라 상기 센서에 의해 캡처된 이미지들의 시퀀스에서, 인간 피부 톤들의 미리 결정된 범위 내의 색상 값들을 갖는 영역(region)을 추적(track)하는 단계를 포함하는, 이미지 처리 방법.
  23. 제 15 항에 있어서,
    상기 방법은 상기 센서를 포함하는 휴대용(handheld) 장치의 디스플레이(display) 상에 상기 이미지를 디스플레이하는 단계를 포함하는, 이미지 처리 방법.
  24. 제 15 항에 있어서,
    상기 방법은 상기 이미지를 압축하는 단계를 포함하며, 상기 압축하는 단계는 상기 분할 내에 있는 상기 이미지의 부분을 제 1 픽셀 당 비트율(ratio of bits per pixel)로 인코딩하는 단계 및 상기 분할 외부에 있는 상기 이미지의 부분을 상기 제 1 픽셀 당 비트율보다 낮은 제 2 픽셀 당 비트율로 인코딩하는 단계를 포함하는, 이미지 처리 방법.
  25. 제 15 항에 있어서,
    상기 방법은 상기 이미지에 감마 보정(gamma correction)을 적용하는 단계를 포함하며, 상기 감마 보정은 상기 센서의 관찰되는(observed) 응답에 기초하는, 이미지 처리 방법.
  26. 컴퓨터로 하여금 제 15 항에 따른 상기 이미지 처리 방법을 수행하게 하기 위한 명령들을 포함하는 프로그램을 기록하기 위한, 컴퓨터로 읽을 수 있는 기록 매체.
  27. 이미지 처리 장치로서,
    이미지 센서;
    색 공간의 분할을 저장하도록 구성되는 저장(storage) 엘리먼트들의 어레이; 및
    상기 센서에 의해 캡처된 이미지의 복수의 픽셀들 각각을 상기 분할에 따라 분류하도록 구성되는 픽셀 분류기(pixel classifier)를 포함하며,
    상기 분할은 상기 센서의 복수의 예상 응답들에 기초하고,
    상기 복수의 예상 응답들 각각은 복수의 타깃들에 대한 한 세트의 응답들에 기초하며, 상기 한 세트의 응답들 각각은 상기 복수의 타깃들 중 대응하는 타깃에 대한 상기 센서의 응답인, 이미지 처리 장치.
  28. 제 27 항에 있어서,
    상기 분할은 (A) 복수의 표면들 중 대응하는 표면의 반사율 스펙트럼과 (B) 한 세트의 반사율 스펙트럼들 간의 관계에 기초하며, 상기 한 세트의 반사율 스펙트럼들 각각은 상기 복수의 타깃들 중 대응하는 타깃의 반사율 스펙트럼인, 이미지 처리 장치.
  29. 제 27 항에 있어서,
    상기 픽셀 분류기는 상기 이미지의 배경 발광체를 결정하고 상기 결정된 배경 발광체에 따라 복수의 분할들 중에서 상기 분할을 선택하도록 구성되는, 이미지 처리 장치.
  30. 제 27 항에 있어서,
    상기 픽셀 분류기는 상기 픽셀의 휘도 값에 따라 복수의 분할들 중에서 상기 분할을 선택하도록 구성되는, 이미지 처리 장치.
  31. 제 27 항에 있어서,
    상기 픽셀 분류기는 상기 픽셀의 색상 값이 인간 피부 톤들의 미리 결정된 범위 내인지 여부를 결정하도록 구성되는, 이미지 처리 장치.
  32. 제 27 항에 있어서,
    상기 픽셀 분류기는 시간에 따라 상기 센서에 의해 캡처된 이미지들의 시퀀스에서, 인간 피부 톤들의 미리 결정된 범위 내의 색상 값들을 갖는 영역을 추적하도록 구성되는, 이미지 처리 장치.
  33. 제 27 항에 있어서,
    상기 장치는 상기 이미지를 디스플레이하도록 구성되는 디스플레이를 포함하는, 이미지 처리 장치.
  34. 제 27 항에 있어서,
    상기 픽셀 분류기는 상기 분할 내에 있는 상기 이미지의 부분을 제 1 픽셀 당 비트율로 인코딩하고 상기 분할 외부에 있는 상기 이미지의 부분을 상기 제 1 픽셀 당 비트율보다 낮은 제 2 픽셀 당 비트율로 인코딩함으로써 상기 이미지를 압축하도록 구성되는, 이미지 처리 장치.
KR1020087005696A 2005-08-18 2006-08-18 이미지 처리, 색상 분류, 및 피부색 검출을 위한 시스템들, 방법들, 및 장치 KR100955136B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/208,261 2005-08-18
US11/208,261 US8154612B2 (en) 2005-08-18 2005-08-18 Systems, methods, and apparatus for image processing, for color classification, and for skin color detection

Publications (2)

Publication Number Publication Date
KR20080045175A KR20080045175A (ko) 2008-05-22
KR100955136B1 true KR100955136B1 (ko) 2010-04-28

Family

ID=37758433

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087005696A KR100955136B1 (ko) 2005-08-18 2006-08-18 이미지 처리, 색상 분류, 및 피부색 검출을 위한 시스템들, 방법들, 및 장치

Country Status (6)

Country Link
US (2) US8154612B2 (ko)
EP (1) EP1915737A2 (ko)
JP (2) JP5496509B2 (ko)
KR (1) KR100955136B1 (ko)
CN (1) CN101288103B (ko)
WO (1) WO2007022413A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150128916A (ko) * 2013-03-12 2015-11-18 유니버시티 오브 워싱톤 스루 이츠 센터 포 커머셜리제이션 빌리루빈 레벨의 추정

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8634607B2 (en) * 2003-09-23 2014-01-21 Cambridge Research & Instrumentation, Inc. Spectral imaging of biological samples
US7321791B2 (en) * 2003-09-23 2008-01-22 Cambridge Research And Instrumentation, Inc. Spectral imaging of deep tissue
US8055063B2 (en) * 2003-09-30 2011-11-08 Sharp Laboratories Of America, Inc. Methods and systems for improving robustness of color balance correction
WO2006081547A1 (en) 2005-01-27 2006-08-03 Cambridge Research And Instrumentation, Inc. Classifying image features
US8154612B2 (en) 2005-08-18 2012-04-10 Qualcomm Incorporated Systems, methods, and apparatus for image processing, for color classification, and for skin color detection
US8019170B2 (en) 2005-10-05 2011-09-13 Qualcomm, Incorporated Video frame motion-based automatic region-of-interest detection
US8208758B2 (en) * 2005-10-05 2012-06-26 Qualcomm Incorporated Video sensor-based automatic region-of-interest detection
US8107762B2 (en) * 2006-03-17 2012-01-31 Qualcomm Incorporated Systems, methods, and apparatus for exposure control
EP1845509A1 (en) * 2006-04-11 2007-10-17 Deutsche Thomson-Brandt Gmbh Method and apparatus for motion dependent coding
US7894662B2 (en) * 2006-10-11 2011-02-22 Tandent Vision Science, Inc. Method for using image depth information in identifying illumination fields
JP4645581B2 (ja) * 2006-11-30 2011-03-09 富士ゼロックス株式会社 画像処理装置、画像読取装置及び画像形成装置
US8050496B2 (en) * 2007-01-09 2011-11-01 Sharp Laboratories Of America, Inc. Color gamut mapping/enhancement technique using skin color detection
US20080231566A1 (en) * 2007-03-20 2008-09-25 Leadis Technology, Inc. Minimizing dark current in oled display using modified gamma network
US8446454B2 (en) 2007-05-21 2013-05-21 Polycom, Inc. Dynamic adaption of a continuous presence videoconferencing layout based on video content
CN101360174B (zh) * 2007-08-03 2011-05-25 广达电脑股份有限公司 数字图像的分类方法及分类装置
US20090080004A1 (en) * 2007-09-26 2009-03-26 Sony Corporation System and method for determining an optimal reference color chart
US7945093B2 (en) * 2008-01-16 2011-05-17 Eastman Kodak Company Simplified color workflow
US8238653B2 (en) * 2008-07-11 2012-08-07 Silicon Image, Inc. Methods and mechanisms for probabilistic color correction
KR20100056270A (ko) * 2008-11-19 2010-05-27 삼성전자주식회사 색 보정 처리를 행하는 디지털 영상 신호 처리 방법 및 상기 방법을 실행하는 디지털 영상 신호 처리 장치
KR101549824B1 (ko) * 2008-12-11 2015-09-03 삼성전자주식회사 피부색 보정 방법 및 장치, 이를 이용한 디지털 촬영 장치
WO2011103576A1 (en) * 2010-02-22 2011-08-25 Canfield Scientific, Incorporated Reflectance imaging and analysis for evaluating tissue pigmentation
JP5801577B2 (ja) * 2010-03-25 2015-10-28 キヤノン株式会社 光断層撮像装置及び光断層撮像装置の制御方法
US8284260B2 (en) * 2010-03-26 2012-10-09 Sony Corporation Optimal raw RGB determination for color calibration
KR101650842B1 (ko) * 2010-05-27 2016-08-25 삼성전자주식회사 영상 처리 장치, 영상 처리 방법, 및 이를 실행하기 위해 프로그램을 저장한 기록 매체
EP2649558A4 (en) * 2010-12-09 2017-08-09 Nanyang Technological University Method and an apparatus for determining vein patterns from a colour image
US8787625B2 (en) 2011-04-27 2014-07-22 Los Angeles Biomedical Research Institute At Harbor-Ucla Medical Center Use of relatively permanent pigmented or vascular skin mark patterns in images for personal identification
IN2014CN01057A (ko) 2011-08-26 2015-04-10 Koninkl Philips Nv
US9380270B1 (en) * 2011-08-31 2016-06-28 Amazon Technologies, Inc. Skin detection in an augmented reality environment
WO2013046082A2 (en) * 2011-09-29 2013-04-04 Koninklijke Philips Electronics N.V. Distortion reduced signal detection
US20130093915A1 (en) * 2011-10-12 2013-04-18 Apple Inc. Multi-Illuminant Color Matrix Representation and Interpolation Based on Estimated White Points
US9189703B2 (en) * 2012-07-09 2015-11-17 Canon Kabushiki Kaisha Systems and methods for colorimetric and spectral material estimation
US9727969B2 (en) * 2012-08-17 2017-08-08 Sony Corporation Image processing device, image processing method, program, and image processing system
EP2897518B1 (en) * 2012-09-21 2020-09-16 Koninklijke Philips N.V. Device and method for processing data derivable from remotely detected electromagnetic radiation
US9684832B2 (en) * 2012-11-07 2017-06-20 Jerry Dieruf Methods and systems for providing remote plant identification by unique biological characteristics
CN103077541A (zh) * 2013-01-18 2013-05-01 无锡鸿图微电子技术有限公司 人脸皮肤色彩的度量与表述的方法及系统
US20140213909A1 (en) * 2013-01-31 2014-07-31 Xerox Corporation Control-based inversion for estimating a biological parameter vector for a biophysics model from diffused reflectance data
US10285624B2 (en) 2013-03-12 2019-05-14 University Of Washington Systems, devices, and methods for estimating bilirubin levels
TWI501186B (zh) * 2013-06-28 2015-09-21 Hsin Hsu Chou Automatic analysis of jaundice detection methods and computer program products
KR102097025B1 (ko) 2013-08-19 2020-04-06 삼성디스플레이 주식회사 표시 장치 및 그 구동 방법
WO2015030705A1 (en) 2013-08-26 2015-03-05 Intel Corporation Automatic white balancing with skin tone correction for image processing
CN104680551B (zh) * 2013-11-29 2017-11-21 展讯通信(天津)有限公司 一种基于肤色检测的跟踪方法及装置
KR101691476B1 (ko) 2014-05-13 2016-12-30 국방과학연구소 방향 벡터 보간에 의한 3차원 형상의 온도-적외선 신호 계산 방법 및 장치
US20160025620A1 (en) * 2014-07-22 2016-01-28 Olympus Corporation Optical Compositional Analysis of Mixtures
CN104270642B (zh) * 2014-10-22 2017-07-28 哈尔滨工业大学 一种基于rklt和主成分选取的高光谱图像无损压缩方法
TWI680747B (zh) * 2014-11-12 2020-01-01 日商新力股份有限公司 資訊處理裝置、資訊處理方法及資訊處理程式
RU2601678C2 (ru) * 2014-12-15 2016-11-10 Самсунг Электроникс Ко., Лтд. Портативное устройство для измерения хромофоров в коже и способ применения устройства
WO2016099099A1 (en) 2014-12-15 2016-06-23 Samsung Electronics Co., Ltd. Image capturing device and sensing protection device
CN105806362B (zh) * 2014-12-30 2018-08-24 上海新跃仪表厂 一种ccd探测器辐射效应试验装置
US9462749B1 (en) 2015-04-24 2016-10-11 Harvest Moon Automation Inc. Selectively harvesting fruits
US9468152B1 (en) 2015-06-09 2016-10-18 Harvest Moon Automation Inc. Plant pruning and husbandry
US10552951B2 (en) 2015-06-16 2020-02-04 Growtonix, LLC Autonomous plant growing systems
JP2017147535A (ja) * 2016-02-16 2017-08-24 リコーイメージング株式会社 ホワイトバランス調整装置、ホワイトバランス調整方法、ホワイトバランス調整プログラム及び撮影装置
CN105786762B (zh) * 2016-03-28 2017-02-22 陈威 一种人皮肤光谱的建模方法以及高拟合度的多个皮肤参数的数学建模方法
CN106021178B (zh) * 2016-03-28 2018-11-06 陈威 一种利用数学模型计算人皮肤胶原蛋白相关3个参数的方法
US11134848B2 (en) 2016-04-25 2021-10-05 Samsung Electronics Co., Ltd. Mobile hyperspectral camera system and human skin monitoring using a mobile hyperspectral camera system
US9928584B2 (en) 2016-07-11 2018-03-27 Harvest Moon Automation Inc. Inspecting plants for contamination
US9965845B2 (en) 2016-07-11 2018-05-08 Harvest Moon Automation Inc. Methods and systems for inspecting plants for contamination
CN106375316B (zh) * 2016-08-31 2019-10-29 广州市百果园网络科技有限公司 一种视频图像处理方法、及设备
CN106254690B (zh) * 2016-10-13 2019-09-20 努比亚技术有限公司 一种显示屏的调整装置及方法
US10650225B2 (en) * 2016-12-27 2020-05-12 Canon Kabushiki Kaisha Image processing apparatus which determines category to which object in image belongs, method therefor, and object discrimination apparatus
WO2018212078A1 (ja) * 2017-05-17 2018-11-22 エバ・ジャパン株式会社 情報探索システム及び方法、情報探索プログラム
JP6843439B2 (ja) 2017-05-17 2021-03-17 エバ・ジャパン 株式会社 情報探索システム及び方法、情報探索プログラム
US11200673B2 (en) 2017-05-25 2021-12-14 Shinshu University Method for analyzing longitudinal pigmented band on nail plate or skin color hue for diagnosing skin disease, and diagnostic device and computer program therefor
CN107633252B (zh) * 2017-09-19 2020-04-21 广州市百果园信息技术有限公司 肤色检测方法、装置及存储介质
JPWO2019058512A1 (ja) * 2017-09-22 2020-10-15 オリンパス株式会社 観察システム
US11410400B2 (en) 2017-12-29 2022-08-09 Pcms Holdings, Inc. Method and system for maintaining color calibration using common objects
JPWO2019159565A1 (ja) * 2018-02-13 2021-01-07 株式会社ニコン 情報管理装置、端末、情報管理システムおよびプログラム
JP6951753B2 (ja) 2018-03-27 2021-10-20 エバ・ジャパン 株式会社 情報探索システム及びプログラム
JP6973275B2 (ja) * 2018-04-27 2021-11-24 京セラドキュメントソリューションズ株式会社 画像形成装置、及び表示装置
WO2020112560A1 (en) 2018-11-30 2020-06-04 Pcms Holdings, Inc. Method and apparatus to estimate scene illuminant based on skin reflectance database
FR3094792B1 (fr) * 2019-04-08 2021-10-15 Office National Detudes Rech Aerospatiales Detecteur de gaz
CN110310268A (zh) * 2019-06-26 2019-10-08 深圳市同为数码科技股份有限公司 基于白平衡统计分区信息的肤色检测方法及系统
CN110738117B (zh) * 2019-09-16 2020-07-31 深圳市创捷科技有限公司 一种从视频中提取人脸的方法和装置
US11636591B2 (en) 2020-06-18 2023-04-25 Alibaba Group Holding Limited Surface imaging using high incident angle of light rays
US11942055B2 (en) 2021-02-01 2024-03-26 Samsung Electronics Co., Ltd. Display system performing display panel compensation and method of compensating display panel
CN112819017B (zh) * 2021-03-09 2022-08-16 遵义师范学院 基于直方图的高精度色偏图像识别方法
US11205268B2 (en) * 2021-05-12 2021-12-21 Shenzhen Jifu Medical Technology Co., Ltd Endoscopic image enhancement system and method
CN114793270A (zh) * 2022-04-20 2022-07-26 深圳市慧鲤科技有限公司 色彩校正方法及装置、电子设备和存储介质
CN117379033B (zh) * 2023-12-13 2024-02-20 深圳市宗匠科技有限公司 皮肤色素检测方法、装置、计算机设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050052015A (ko) * 2003-11-28 2005-06-02 한국전자통신연구원 물체의 반사율 획득 시스템 및 물체 표현 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6249317B1 (en) * 1990-08-01 2001-06-19 Minolta Co., Ltd. Automatic exposure control apparatus
CZ393197A3 (cs) * 1995-06-07 1998-06-17 Chromatics Color Sciences International, Inc. Způsob a zařízení k detekci a měření podmínek ovlivňujících barvu
AU715053B2 (en) * 1996-06-13 2000-01-13 Pola Chemical Industries Inc. Method for evaluating make-up cosmetic product and powder composition
JPH1196333A (ja) * 1997-09-16 1999-04-09 Olympus Optical Co Ltd カラー画像処理装置
WO1999031472A1 (en) * 1997-12-18 1999-06-24 Chromatics Color Sciences International, Inc. Color measurement system with color index for skin, teeth, hair and material substances
US6072496A (en) * 1998-06-08 2000-06-06 Microsoft Corporation Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects
DE19836464C1 (de) * 1998-08-12 2000-02-10 Marcus Weis Verfahren und Hilfsmittel zum frühzeitigen Erkennen von Sonnenbrand sowie Verfahren zum Ermitteln eines geeigneten Transmissions-, Reflexions- oder Emissionsspektrums eines erfindungsgemäßen Hilfsmittels
WO2001013355A2 (en) 1999-08-19 2001-02-22 Rochester Institute Of Technology Method for measuring a lighting condition and an apparatus thereof
US6961461B2 (en) * 2000-05-17 2005-11-01 Tidal Photonics, Inc. Apparatus and method for measurement, encoding and displaying of object color for digital imaging
JP2002131135A (ja) 2000-10-20 2002-05-09 Kao Corp 基準色票およびメイクシミュレーション装置
US6491636B2 (en) * 2000-12-07 2002-12-10 Koninklijke Philips Electronics N.V. Automated border detection in ultrasonic diagnostic images
JP2003111108A (ja) 2001-09-27 2003-04-11 Fuji Photo Film Co Ltd 撮像システム評価用チャート及びその作成方法
JP2003172659A (ja) 2001-12-07 2003-06-20 Fuji Photo Film Co Ltd 透過型高彩度色再現評価用チャート
US7459696B2 (en) * 2003-04-18 2008-12-02 Schomacker Kevin T Methods and apparatus for calibrating spectral data
US7508961B2 (en) * 2003-03-12 2009-03-24 Eastman Kodak Company Method and system for face detection in digital images
US7426296B2 (en) * 2004-03-18 2008-09-16 Sony Corporation Human skin tone detection in YCbCr space
CN1295643C (zh) * 2004-08-06 2007-01-17 上海大学 皮肤显微图像症状自动识别方法
US7545421B2 (en) * 2004-10-28 2009-06-09 Qualcomm Incorporated Apparatus, system, and method for optimizing gamma curves for digital image devices
US8154612B2 (en) 2005-08-18 2012-04-10 Qualcomm Incorporated Systems, methods, and apparatus for image processing, for color classification, and for skin color detection
US7728904B2 (en) * 2005-11-08 2010-06-01 Qualcomm Incorporated Skin color prioritized automatic focus control via sensor-dependent skin color detection

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050052015A (ko) * 2003-11-28 2005-06-02 한국전자통신연구원 물체의 반사율 획득 시스템 및 물체 표현 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
M. J. Vrhel et al., "Color device calibration: A mathematical formulation", IEEE Trans. Image Processing, vol. 8, no. 12, pp. 1796-1806, December 1999.
Miaohong Shi and Glenn Healey, "Using reflectance models for color scanner calibration", Journal of the Optical Society of America A, vol. 19, no. 4, pp. 645-656, April 2002.*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150128916A (ko) * 2013-03-12 2015-11-18 유니버시티 오브 워싱톤 스루 이츠 센터 포 커머셜리제이션 빌리루빈 레벨의 추정
KR102237583B1 (ko) * 2013-03-12 2021-04-07 유니버시티 오브 워싱톤 스루 이츠 센터 포 커머셜리제이션 빌리루빈 레벨의 추정

Also Published As

Publication number Publication date
US8855412B2 (en) 2014-10-07
CN101288103A (zh) 2008-10-15
US8154612B2 (en) 2012-04-10
JP2009505107A (ja) 2009-02-05
JP2012168181A (ja) 2012-09-06
WO2007022413A2 (en) 2007-02-22
US20070043527A1 (en) 2007-02-22
CN101288103B (zh) 2012-09-05
KR20080045175A (ko) 2008-05-22
JP5496509B2 (ja) 2014-05-21
WO2007022413A3 (en) 2008-03-06
EP1915737A2 (en) 2008-04-30
US20120176507A1 (en) 2012-07-12

Similar Documents

Publication Publication Date Title
KR100955136B1 (ko) 이미지 처리, 색상 분류, 및 피부색 검출을 위한 시스템들, 방법들, 및 장치
US7728904B2 (en) Skin color prioritized automatic focus control via sensor-dependent skin color detection
CN108197546B (zh) 人脸识别中光照处理方法、装置、计算机设备及存储介质
US8941755B2 (en) Image processing device with automatic white balance
WO2004045219A1 (ja) 光源推定装置、光源推定方法、撮像装置および画像処理方法
CN101933321A (zh) 用于估测场景光源的图像传感器装置及方法
KR20140058674A (ko) 본질 이미지들을 이용하는 디지털 이미지 신호 압축 시스템 및 방법
TW201830337A (zh) 對圖像執行自動白平衡的方法和設備
CN107945106B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US8026954B2 (en) System and computer-readable medium for automatic white balancing
Aytekin et al. INTEL-TUT dataset for camera invariant color constancy research
US9036030B2 (en) Color calibration of an image capture device in a way that is adaptive to the scene to be captured
Crichton et al. Skin chromaticity gamuts for illumination recovery
Amziane et al. Frame-based reflectance estimation from multispectral images for weed identification in varying illumination conditions
CN113297977A (zh) 活体检测方法、装置及电子设备
Misaka et al. FPGA implementation of an algorithm that enables color constancy
Shrestha Multispectral imaging: Fast acquisition, capability extension, and quality evaluation
Javoršek et al. Comparison of two digital cameras based on spectral data estimation obtained with two methods
Abdellatif Effect of color pre-processing on color-based object detection
Zhang et al. Memory color assisted illuminant estimation through pixel clustering
Olumodeji et al. Estimating illuminant chromaticity with a low-power color pixel
LOCKWOOD-GECK DEVELOPMENT OF A NOVEL METHODOLOGY FOR THE MEASUREMENT OF RED19 KIWIFRUIT COLOUR QUALITY
Erba COMPUTATIONAL COLOR CONSTANCY BEYOND RGB IMAGES: MULTISPECTRAL AND TEMPORAL EXTENSIONS
Hirai et al. A lut-based method for recovering color signals from high dynamic range images
Czech Estimation of Daylight Illumination Spectra and Relative Reflectance Recovery from Hyperspectral Radiance Cubes without Reference Targets

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130329

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee