KR20100005072A - 이미지로부터 추정된 피부색에 기초해서 제품을 추천하는 컴퓨터 구현된 방법 - Google Patents

Abstract

본 발명의 실시예는 하나의 캡쳐된 이미지로부터 추정된 피부색에 기초해서 제품을 추천하는 컴퓨터 구현된 방법을 개시하고 있다. 본 발명의 일 실시예에서, 하나의 캡쳐된 이미지(202)로부터 생성된 피부색 추정값(413)을 액세스한다. 이후에 피부색 추정값(413)을 분류 컬러(461)와 비교한다. 분류 컬러(461)와 적어도 하나의 제품(471) 사이의 상관 관계에 액세스한다. 분류 컬러(461)에 대응하는 적어도 하나의 제품(471)을 추천한다.

Description

이미지로부터 추정된 피부색에 기초해서 제품을 추천하는 컴퓨터 구현된 방법{METHOD AND SYSTEM FOR RECOMMENDING A PRODUCT BASED UPON SKIN COLOR ESTIMATED FROM AN IMAGE}

본 발명의 실시예는 개인 용모 관련 제품의 제품 컨설트에 관한 것이다.

화장품이나 다른 용모 관련 제품의 구매자에게 있어서, 구입 판정을 할 때 많은 가변적인 요소가 포함되고, 구매자가 선택할 수 있는 제품의 범위가 매우 넓기 때문에, 구입 판정을 행하는 것이 어렵다. 화장품 분야의 경우에, 사용자의 내츄럴 얼굴색을 보완하거나 얼굴색과 대비되는, 화장품 제품의 셰이드(shade)가 수백가지 존재한다. 또한, 화장 스타일은 계절에 따라서 달라지고, 날짜 및 사용자가 있는 장소는, 사용자가 어떤 화장품을 사용할지 판정하는데 영향을 미친다. 따라서, 사용자는, 낮에 사무실에 있을 때와 밤에 일상 중일 때, 다른 용모를 나타내고 싶어한다. 따라서, 사용자가 의도한 용도에 따라서 화장품이 조정되어야 한다.

화장품 구입에 관한 판정을 돕기 위해서, 많은 구매자가 훈련된 컨설턴트로부터 조언을 구한다. 그러나, 많은 소매점이 화장품 진열 공간만을 제공하고 있을 뿐, 화장품 구입과 관련된 구매자의 판정을 도와주도록 훈련된 사람은 제공하지 않는다. 또한, 많은 소매점에서, 주변의 빛이 구매자의 피부색을 왜곡시켜서, 화장품이 구매자의 피부에서 보여지는 것과 관련해서 잘못된 인상을 구매자에게 제공한다. 예컨대, 많은 소매점이 약간 파란 계통의 광을 조사하는 형광등을 이용하고 있다. 또한, 일부 소매점은, 천연 태양광 중 특정 가시 스펙트럼의 범위의 광을 필터링하는 코팅을, 창문에 사용하고 있다. 따라서, 많은 구매자는 그 화장품 제품을 사용했을 때 소화할 수 있을지에 대해 추측에만 의존하고 있다. 그 결과, 구매자가 화장품이 소매점 내에서 보여지는 것에만 기초해서 화장품을 구매하고, 집에 갔을 때 자신이 원하던 화장품이 아니라는 것을 알게 되는 경우가 종종 있다. 또한, 일부 타입의 화장품 제품의 경우에는(예컨대, 립스틱), 위생 문제 때문에, 구매자가 구입전에 그 제품을 시연해 볼 수 없다.

일부 소매점과 관련된 다른 단점은, 제조 업자가 구매자와의 관계를 발전시킬 수 없다는 점이다. 전형적으로, 이들 소매점의 점원은 구매자가 화장품을 구입할지 여부나, 구매자가 구입 판정에 만족하고 있는지에는 거의 관심이 없다. 그러므로, 이들 점원은 특정 화장품 브랜드를 어떤 식으로든 나타내어서, 구매자가 그 브랜드를 다시 구매하게 하는 것에는 거의 관심이 없다. 그러나, 많은 제조 업자는 구매자에게 어떤 컨설팅 서비스를 제공하고, 이를 통해 구매자를 크게 만족시켜서, 결국에는 더 많이 판매하고 싶어한다. 그러나, 각각의 소매점에서 직접 컨설팅 서비스를 제공하는 것은 제조 업자에게 큰 비용 부담을 준다.

다른 방안으로, 많은 고품질 화장품 제조 업자는 소매점 내에, "메이크업 카 운터"라고 알려진, 자신 소유의 독점 소매 공간을 운영하고 있다. 이들 메이크업 카운터에는, 구매자가 선택 가능한 현재의 스타일들을 제안하고, 구매자에게 어느 화장품 셰이드가 구매자의 피부색에 맞는지 충고할 수 있도록 훈련된 판매원이 근무하고 있다. 이로써, 선택할 수 있는 범위는 더 좁지만, 구매자의 요구에 기초한 구매자에게 더 적합한 제품들이 구매자에게 제공된다. 다른 방안으로서, 훈련된 판매자는, 구매자의 구입을 보충하는 다른 제품을 추천하고, 현재의 유행 경향과 관련된 조언을 제공할 수 있다. 고품질 독점 소매 공간에서, 제조 업자는, 구매자가 매장을 떠났을 때 화장품이 나타낼 정확한 인상을 구매자에게 제공하도록 조명이 정밀하게 조정된, 제어 설비(a controlled infrastructure)를 마련할 수 있다.

불행하게도, 일반적으로 매장 상주 전문 컨설턴트, 혹은 컨설팅을 위한 제어 설비를 매장 내에서 제공하는 제조 업자가 판매하는 화장품의 가격은, 어떤 컨설팅도 제공하지 않는 소매점에서 판매되는 제품보다 가격이 훨씬 비싸다. 또한, 어떤 구매자는 훈련된 판매자에 의해 강요받거나, 혹은 자신의 용모와 같은 개인적인 사항을 다른 사람과 의논하고 싶지 않아 한다. 아울러, 궁극적으로는, 화장품 컨설팅을 받음으로써 혜택을 받을 수 있는 일부 구매자는 자신이 원하는 조언을 받지 못하게 된다.

본 발명의 실시예는 이미지로부터 추정된 피부색에 기초해서 제품을 추천하는 컴퓨터 구현된 방법을 개시하고 있다. 본 발명의 일 실시예에서, 이미지로부터 생성된 피부색 추정값에 액세스한다. 그리고, 이 피부색 추정값을 분류 컬러와 비교한다. 분류 컬러와 적어도 하나의 제품과의 상관 관계에 액세스한다. 이후에, 분류 컬러와 관련된 제품 중 적어도 하나를 추천한다.

첨부된 도면은, 본 명세서에 포함되어서 본 명세서의 일부를 이루고 있으며, 상세한 설명과 함께 본 발명의 실시예를 개시하고 있어서, 본 발명의 원리를 설명하는 것을 돕는다. 특별히 다른 설명이 없는 한, 이 상세한 설명에 참조되는 도면은 실측으로 도시된 것이 아니라는 점을 이해할 것이다.

도 1은 본 발명의 실시예에 따른, 서브젝트의 피부색에 기초해서 제품을 추천하는 방법의 흐름도,

도 2는 본 발명의 실시예와 함께 사용되는 예시적인 이미지 캡쳐 시스템을 나타내는 도면,

도 3은 본 발명의 실시예에서 사용되는 예시적인 기준 컬러 세트를 나타내는 도면,

도 4a는 본 발명의 실시예에 따른, 피부색 추정값을 생성하는 카테고리화 시스템의 블록도,

도 4b는 본 발명의 실시예에 따른, 서브젝트의 피부색에 기초해서 제품을 추천하는 제품 추천 시스템의 블록도,

도 4c는 본 발명의 실시예에 따른, 분류 컬러와 제품 사이의 예시적인 상관 관계를 나타내는 도면,

도 5는 본 발명의 실시예에 따른, 피부 픽셀을 선택하는 예시적인 스텝을 나타내는 도면,

도 6은 본 발명의 실시예가 구현될 수 있는 예시적인 컴퓨터 시스템의 블록도이다.

본 발명의 실시예가 상세하게 설명될 것이며, 그 예들이 첨부된 도면에 도시되어 있다. 본 발명이 이하의 실시예에 따라서 설명되겠지만, 이는 본 발명을 이들 실시예로만 한정하는 것이 아니라는 점을 이해할 것이다. 오히려, 본 발명은 첨부된 청구항에 정의된 바와 같은 본 발명의 사상 및 범주 내에 포함될 수 있는 대안, 수정 및 균등물을 포함한다. 또한, 본 발명의 이하의 상세한 설명에서, 본 발명을 이해하기 쉽도록 특정 수치가 언급될 것이다. 그러나, 본 발명의 실시예는 이들 특정 수치를 벗어나서 실시될 수 있다. 다른 예로, 본 발명의 측면들을 불필요하게 불분명하지 않기 위해서, 기존의 방법, 처리 절차, 구성 요소 및 회로는 상세하게 설명하지 않았다.

표시법 및 명명법

이하의 상세한 설명 중 일부는, 컴퓨터 메모리 내에 있는 데이터 비트에 대한 연산의 절차, 논리 블록, 처리 및 다른 기호 표현으로서 제공된다. 이러한 설명 및 표현은, 데이터 처리 기술 분야에 종사하는 당업자가 다른 당업자에게 자신의 작업의 요지를 가장 효율적으로 전달하는데 사용하는 수단이다. 본 애플리케이션에서, 절차, 논리 블록, 처리 등은, 원하는 결과를 얻기 위한, 스텝이나 인스트럭션의 일관된 시퀀스로 간주된다. 이 스텝은 물리량의 물리적 조작을 필요로 한다. 통상, 이러한 물리량은, 컴퓨터 시스템에서 저장, 전송, 결합, 비교 및 다른 조작이 가능한 전기 신호 혹은 전자 신호의 형태를 취하지만, 반드시 그런 것은 아니다.

그러나, 이들 용어 및 유사한 용어는 모두 적절한 물리량과 연관되어 있으며, 이들 물리량에 적용되는 단지 편의적인 표기일 뿐이라는 점에 주의한다. 본 발명에서, "액세스하다", "식별하다", "비교하다", "생성하다", "선택하다", "통합하다", "처리하다", "추천하다" 등과 같은 용어를 사용하는 설명은, 이하의 설명에서 특별히 언급되지 않는 한, 컴퓨터 시스템이나 다른 유사한 전자 계산 장치에서, 컴퓨터의 레지스터 및 메모리 내의 물리적인(전자적인) 양으로서 표현된 데이터를 조작해서, 컴퓨터 시스템의 메모리나 레지스터, 혹은 다른 정보 저장, 전송 혹은 표시 장치 내의 물리량으로서 유사하게 표현된 다른 데이터로 변환하는 액션 및 처리를 가리킨다.

도 1은, 본 발명의 실시예에 따라서, 이미지로부터의 피부색 추정값(413:도 4a 참조)에 기초해서, 제품을 추천하는 방법(100)의 흐름도이다. 도 1의 단계 110에서, 이미지로부터 생성된 피부색 추정값(413)에 액세스한다. 본 발명의 실시예에서는, 이미지가 캡쳐된 위치의 주변광 상태의 결합 효과 및 이미지 캡쳐 시스템의 이미징 특성의 결합 효과가 이미지 분석 시스템에 의해 추측된다. 이들 결합 효과 가 실질적으로 제거되어야, 그 이미지 내의 서브젝트의 피부 픽셀에 대한 분석에 기초해서 서브젝트의 피부색을 정확하게 추정할 수 있다. 본 발명의 실시예에서는, 컴퓨터가 생성한 이러한 피부색 추정에 액세스함으로써, 서브젝트의 자연의 피부색의 정확한 분석에 기초해서 제품을 추천할 수 있다.

도 1의 단계 120에서, 피부색 추정값(413)을 분류 컬러와 비교한다. 본 발명의 일부 실시예에서, 인간의 피부색의 범위는, 대응하는 분류 컬러로 표현되는 각각의 클래스의 세트, 즉 '빈(bin)'으로 분할된다. 따라서, 각각의 빈은 인간의 얼굴 피부색의 스펙트럼의 서브셋을 정의하고 있다. 본 발명의 실시예에서, 일단 서브젝트의 피부색이 추정되면, 서브젝트는, 그 빈의 분류 컬러와 서브젝트의 추정된 피부색을 매칭시키는 방식으로 특정 빈과 연관지어질 수 있다. 예컨대, 밝은 얼굴을 가진 서브젝트는 빈 7과 연관지어질 것이고, 어두운 얼굴을 가진 서브젝트는 빈 19와 연관지어질 것이다.

도 1의 단계 130에서, 분류 컬러와 적어도 하나의 제품 사이의 상관 관계에 액세스한다. 본 발명의 실시예에서, 각각의 빈은 대응하는 제품과 연관되어 있다. 본 발명의 다른 실시예에서, 각각의 빈은 하나 이상의 제품과 연관될 수 있다. 본 발명의 실시예에서, 특정 빈과 연관된 제품은, 화장품, 의류, 안경, 보석 혹은 다른 용모 관련 제품을 포함할 수 있다.

도 1의 단계 140에서, 분류 컬러에 대응하는 적어도 하나의 제품을 추천한다. 본 발명의 실시예에서, 적어도 하나의 제품이 사용자에게 추천된 결과가 생성된다. 본 발명의 실시예에서, 사용자는 캡쳐된 이미지 내의 서브젝트가 될 수도 있 고, 이미지를 생성한 이미지 캡쳐 시스템의 운영자가 될 수도 있다. 예컨대, 캡쳐된 이미지의 서브젝트에 제품 추천을 전달하는 이메일 메시지가 전송될 수도 있다.

본 발명의 실시예는, 서브젝트의 이미지를 캡쳐할 때, 제어된 설비(예컨대, 조정되고 제어된 주변광 상태 및 카메라의 처리 파라미터) 없이도, 자동으로 서브젝트의 피부색을 정확하게 판정할 수 있다는 잇점이 있다. 이전에, 일부 피부색 분석 방법은, 주변 광 상태 및 카메라 파라미터가 정밀하게 조정된, 전용 방이나 키오스크에 의존했다. 이는 서브젝트의 피부색을 정확하게 평가하는 것을 용이하게 하기 위해서는 필수적이였다. 이 서브젝트의 픽쳐가 촬상되고, 인간 컨설턴트가 이를 분석해서, 서브젝트에 대한 화장품의 컨설트를 조절했다. 그러나, 이러한 설비에는 비용 및 공간이 들기 때문에, 많은 서브젝트가 사용할 수는 없는 것이 일반적이였다. 다른 시스템은 서브젝트의 피부의 다른 위치나 다른 광 상태에 있는 서브젝트의 피부를 기록한 많은 픽쳐에 의존했다.

또한, 본 발명의 실시예는, 서브젝트의 피부색에 기초한 자동 제품 추천을 용이하게 한다. 그 결과, 서브젝트는 훈련된 컨설턴트에 의한 분석 없이도 자신의 피부색에 기초해서 제품을 추천받을 수 있다. 이는 예컨대, 전용 메이크업 컨설트 카운터를 제공하기 위한 리소스를 마련할 수 없는 소매점에서 유익하다. 따라서, 서브젝트가, 화장품 컨설트를 수행하도록 훈련된 인력이 없거나, 혹은 위에 설명된 제어된 설비를 위한 공간을 마련하지 못한 소매상으로부터 화장품을 구입하는 경우에도 여전히, 본 발명의 실시예를 이용해서, 화장품 컨설트를 받을 수 있다. 구매자는 제품 컨설트를 제공하는 제조 업자로부터 화장품 제품을 구입하는 경향이 있 기 때문에, 본 발명의 실시예는 관련 제품의 전체 범위를 제안해서 구매자와의 관계를 진척시킬 수 있는 제조 업자에게 유익하며, 이는 구매자가 단순히 예컨대, 화장품 제품 진열대에서 선택할 때는 불가능한 것이다. 또한, 다른 사람으로부터 화장품 컨설트를 받는 것을 불편해 하는 구매자는, 본 발명의 실시예를 이용해서 익명의 제품 조언을 받을 수 있다. 구매자는 이러한 제품 컨설트를 자신의 집이나 소매점으로부터 떨어진 다른 위치에서도 받을 수도 있다.

도 2는 본 발명의 실시예와 관련되어 사용되는 예시적인 이미지 캡쳐 시스템(200)을 도시하고 있다. 본 발명의 실시예에서, 시스템(200)은 서브젝트(예컨대, 203)와 이미지화된 기준 컬러 세트(240)를 포함한 이미지(202)를 캡쳐하는 이미지 캡쳐 장치(201)를 구비한다. 본 발명의 실시예에서, 이미지 캡쳐 장치(201)는 이미지(202)를 캡쳐할 때, 제어된 설비를 필요로 하지 않는다. 예컨대, 이미지 캡쳐 장치(201)는 서브젝트의 개인 컴퓨터 시스템, 디지털 카메라 혹은 사진을 생성할 수 있는 휴대 전화(예컨대, 이하 "화상 전화"라고 한다)가 될 수 있다. 따라서, 본 발명의 실시예는 조정된 장치(예컨대, 조정된 카메라 및 조정된 광)에 의존하기 보다는, 제품 컨설트 처리를 행하는 동안 대상 서브젝트의 장치를 이용할 수 있다. 또한, 시스템(200)이 이미지를 처리하기에 충분한 광 상태가 유지되고 있다면, 주변광 상태를 알고 있거나, 주변광 상태가 제어된 환경 하에서 이미지를 캡쳐할 필요가 없다. 그 결과, 예컨대 실외 혹은 서브젝트(203)의 집 내를 포함한 다양한 환경에서 이미지(202)가 캡쳐될 수 있다.

이미지(202)는 네트워크(206)를 통해서 이미지 분석 시스템(205)으로 전달된 다. 이하 상세하게 설명되는 바와 같이, 이미지 분석 시스템(205)은 이미지(202)의 분석에 기초해서 서브젝트(203)의 피부색 추정값(413)을 생성하는 것이다. 전형적으로, 주어진 서브젝트에 조사되는 광의 광량 및 스펙트럼 특성은 카메라, 그리고 그 카메라가 생성한 이미지에 나타나는 서브젝트의 모습에 영향을 미친다. 카메라 자체는, 그 센서의 설계 및 제조에 있어서의 물리적인 특성과, 카메라의 내부 처리 특성 때문에, 인지되는 서브젝트의 피부색에 추가적인 변경을 도입한다. 이러한 효과들이 결합되면, 이미지의 피부색 측정 기준이 매우 불분명하게 된다. 이미지 분석 시스템(205)은, 기준 컬러의 세트와 서브젝트의 이미지를 함께 참조함으로써, 캡쳐된 이미지의 관찰된 컬러 공간으로부터, 기준 컬러 공간 즉, 주변 광 상태 및 그 이미지를 캡쳐한 카메라의 이미지 처리 성능과는 무관한 '트루(true)' 컬러 공간으로 변형할지를 용이하게 결정할 수 있다.

본 발명의 실시예에서, 트루 컬러 공간은 제어 기준 컬러 세트(208)로 표현된다. 제어 기준 컬러 세트(208)는, 실제의 물리적인 엔티티가 아닌, 스펙트럼 반사율 혹은 컬러 신호 값을 얻기 위해 액세스하는 논리적인 기준 컬러 세트를 포함할 수 있다는 점을 이해할 것이다. 제어 기준 컬러 세트(208)의 특성과 이미지에서 캡쳐한 기준 컬러 세트(204)의 특성을 비교함으로써, 이미지 분석 시스템(205)은, 변형, 즉 이미지화된 기준 컬러 세트(204)의 특성과 제어 기준 컬러 세트(208)의 특성 사이의 불일치를 고려한, '컬러 보정 함수'를 결정할 수 있다. 이 컬러 보정 함수는, 실내의 주변 광과 촬상한 카메라의 컬러 변형의 결합 효과를 직접 보상한다.

이 컬러 보정 함수를 용이하게 결정하기 위해서, 이미지 분석 시스템(205)은이미지화된 기준 컬러 세트(204)의 관찰된 특성을 검출해서 측정한다. 이미지 분석 시스템(205)은, 이미지화된 기준 컬러 세트(204)의 컬러 중, 기준 컬러 공간의 제어 기준 컬러 세트(208)의 컬러에 가장 가까운 컬러를 제공할 컬러 보정 함수를 결정한다.

사용자의 이미지를 분석해서 사용자의 피부색을 식별하기 위해서, 이미지 분석 시스템(205)는, 사용자의 자연 피부색을 나타내는 캡쳐된 이미지 중에서 이미지 피부색의 영역을 선택한다. 본 발명의 일부 실시예는, 이 피부색 영역을 촬상된 서브젝트의 얼굴에서 찾으려 한다. 사용자의 얼굴 및 머리에서 그 요소들을 선택해서 컬러 값을 샘플링하는 것은, 캡쳐된 이미지 중에서 사용자의 얼굴의 위치 및 방향을 식별하는 것을 포함한다. 또한, 얼굴 중 어디에서 적절한 피부색 측정값을 수집할지를 판정하는 것은, 이미지 분석 시스템(205)에 의해 행해진다.

이미지 분석 시스템(205)은 사용자의 얼굴 중 어느 영역(에컨대, 이마, 볼, 턱 등)이 서브젝트의 내츄럴한 전체 얼굴색을 가장 잘 나타내는지 판정할 수 있도록 구성되어 있다. 이로써, 기미, 흉터, 머리 색, 눈동자 색 혹은 다른 부정확한 값이 아닌, 피부 자체의 색을 확실하게 측정할 수 있다. 본 발명의 실시예에서는, 컴퓨터 비전(computer vision)의 전문가들에게 공지되어 있는 기술을 이용해서, 이러한 판정을 용이하게 한다. 예컨대, 머리는 다양한 컴퓨터 구현된 '얼굴-검출' 방법을 통해서 검출할 수 있고, 머리의 방향은, 유도되는 제어점으로 메시-피팅(mesh-fitting)하는 것과 같은 기술을 통해서 측정될 수 있다. 피부색의 샘플은 이들 메시 상에서 파악한 위치로부터 선택될 수 있다. 다른 방안으로는, 메시-피팅이 아닌, 피부색의 통계 분석을 이용해서도 피부색을 추정할 수도 있다. 따라서, 이미지 분석 시스템(205)은, 서브젝트의 피부 영역을 측정하기 위해서, 반드시 캡쳐된 이미지에서 피부색을 검출하는 것에 의존하지 않아도 된다. 그러나, 이미지 분석 시스템(205)은 얼굴-검출 방법과 관련된, 컴퓨터 구현된 피부색 검출 방법을 이용해서, 캡쳐된 이미지의 피부 픽셀 영역을 더 정밀하게 검출할 수 있다. 이러한 피부색 검출 방법은, 캡쳐된 이미지에 표시된 컬러에 기초해서 피부의 가능성이 있는 영역을 식별하기 위해서, 조명 및 카메라 분야에 광범위하게 적용되는 피부색의 모델을 이용한다.

본 발명의 실시예에서, 샘플이, 적절한 피부색을 나타내기에 유효한지 확인하는 것은 표준 아웃라이어 리젝션 이론(outlier rejection principles)을 이용해서 이루어진다. 그 결과, 실질적으로 결함이나 외부 물질이 없는 피부 측정값 세트를 획득하고, 이로써 유용한 서브젝트의 피부색 샘플링을 제공한다. 또한, 본 발명이 사용자의 얼굴 중 어느 영역이 서브젝트의 내츄럴 피부색을 나타내는지 결정하는 것을 교시하고 있지만, 이미지 분석 시스템(205)은 서브젝트의 전체 얼굴의 피부색 혹은, 서브젝트의 목, 팔 등과 같은 다른 피부 영역을 분석하는데도 적합하다. 이는 서브젝트의 피부색을 나타내지 않는, 눈, 머리, 치아, 그림자 등과 같은 일부 영역을 배제시키는 것도 포함한다.

사용자의 얼굴 중 어느 영역(예컨대, 이마, 볼, 턱 등)이 사용자의 전체 얼굴색을 잘 나타내는지 결정한 이후에, 이미지 분석 시스템(205)은 캡쳐된 이미지에 서 선택된 피부 픽셀의 컬러 묘사(color description)를 결정한다. 일 실시예에서, 각각의 식별된 피부 픽셀의 컬러 묘사가 결정될 수 있다. 다른 실시예에서는, 이미지 분석 시스템(205)은, 위치된 피부 픽셀 중 선택된 것 모두의 평균 값, 이들 픽셀의 컬러에 대한 확률 밀도 함수 혹은 통합 피부 픽셀의 다른 표현을 결정할 수 있다.

본 발명의 실시예에서, 결정된 컬러 보정 함수가, 캡쳐된 이미지에 위치된 피부 픽셀 중 하나 이상의 선택된 피부 픽셀의 컬러 묘사에 적용된다. 본 발명의 일부 실시예에서, 서브젝트에 속하는 것으로 판정된 픽셀로부터 획득된, 평균 혹은 중앙값과 같은, 피부색 통계를 수집하기 위해서, 컬러 변환이 적용된다. 이미지 내의 피부 픽셀에 대해 컬러 보정 함수를 적용함으로써, 제어 기준 컬러 세트(208)가 나타나 있는 컬러 공간 내에서, 서브젝트의 내츄럴 피부색이 결정된다. 이 때, 적어도 하나의 피부 픽셀의 수정된 컬러 묘사가 생성되어서, 이미지가 캡쳐된 시간의 주변광과 이미지 캡쳐 장치의 이미징 특성의 효과를 보상한다. 이는 이미지 내에서 서브젝트의 내츄럴 피부색을 정확하게 추정하는 것을 용이하게 한다. 본 발명의 실시예에서, 컬러 보정 함수가 전체 캡쳐 이미지에 적용되어서 수정된 이미지를 생성할 수 있다. 또한, 컬러 보정 함수를 결정하는 것은, 다른 처리 및 분석 스텝(예컨대, 캡쳐된 이미지에서 피부 픽셀의 위치를 추적하는 것) 이전에, 이후에 혹은 이와 동시에 수행될 수 있다.

따라서, 이미지 분석 시스템(205)은 이미지 캡쳐 시스템의 촬상 감도 및 이미지 처리 특성과, 이미지가 캡쳐된 위치의 주변광 상태가 결합된 효과를 추측할 수 있다. 이러한 결합 효과가 실질적으로 제거되어야, 서브젝트의 피부 픽셀의 컬러 묘사에 대한 분석에 기초한, 서브젝트의 피부색의 정확한 추정이 가능하다.

이미지 분석 시스템(205)을 이용하는 것은, 이미지(202)를 캡쳐할 때, 제어된 설비(예컨대, 조정된 카메라 혹은 조정된 광이나 주변 광 상태)가 필요없다는 점에서 바람직하다. 이전에, 몇몇 방법들은, 주변 광 상태 및 카메라의 처리 파라미터가 정밀하게 조정된, 전용 방이나 키오스크에 의존했다. 이는 서브젝트의 피부색을 정확하게 평가하는 것을 용이하게 하기 위해서는 필수적이였다. 이 서브젝트의 픽쳐가 촬상되고, 인간 컨설턴트가 이를 분석해서, 서브젝트에 대한 화장품의 컨설트를 조절했다. 그러나, 이러한 설비에는 비용 및 공간이 들기 때문에, 많은 서브젝트가 사용할 수는 없는 것이 일반적이였다. 다른 시스템은 서브젝트의 피부의 다른 위치나 다른 광 상태에 있는 서브젝트의 피부를 기록한 많은 픽쳐에 의존했다.

도 2로 돌아가면, 이미지 분석 시스템(205)에 의해 생성된 피부색 추정값(413)은, 서브젝트(203)의 피부색에 기초해서 제품 혹은 제품들을 추천하는 제품 추천 시스템(220)에 의해 사용된다. 본 발명의 실시예에서, 제품 추천 시스템(220)은 "비닝(binning)"이라고 알려진 처리를 수행한다. 상술한 바와 같이, 비닝이란, 얼굴색의 스펙트럼을, 개별적인 그룹의 세트, 즉 '빈'으로 분할하는 처리이다. 따라서, 각각의 빈은 얼굴색의 스펙트럼의 서브셋을 정의한다. 본 발명의 실시예에서, 제품 추천 시스템(220)은 복수의 사람 테스트 서브젝트의 피부색을 측정하고, 이를, 분류 컬러(221)의 범위로서 이용한다. 일 실시예에서, 각각의 테스트 서브젝 트의 피부색은 분류 컬러(221) 중 하나를 포함한다. 본 발명의 다른 실시예에서, 분류 컬러 각각은 복수의 테스트 서브젝트를 묘사하는 통합 피부색 묘사(예컨대, 컬러 공간에서의 분포나 범위)를 포함할 수 있다. 다른 방안으로, 각각의 빈은 테스트 서브젝트의 피부색 묘사의 리스트를 나타낼 수도 있다. 본 발명이 사람 테스트 서브젝트를 사용해서 분류 컬러(221)를 전개하는 것을 개시하고 있지만, 그러나, 본 발명의 실시예는 이 방법에만 한정되는 것은 아니다. 예컨대, 다른 실시예에서는, 분류 컬러(221)는 이미지화된 기준 컬러 세트(204)에 나타난 피부색의 세트를 포함할 수도 있다. 또한, 본 발명의 실시예에서, 다른 피부 이외의 컬러(예컨대, 화장품 컬러, 옷의 컬러 등)가 분류 컬러(221)로서 사용될 수도 있다.

본 발명의 실시예에서, 각각의 빈은 대응하는 제품과 연관되어 있다. 예컨대, 테스트 서브젝트의 피부색에 기초해서, 첫번째 빈은 파운데이션의 특정 셰이드(예컨대, 버프 베이지)와 연관될 수 있고, 두번째 빈은 파운데이션의 두번째 셰이드(예컨대, 크리미 내츄럴)와 연관될 수 있다. 본 발명의 다른 실시예에서, 각각의 빈은 하나 이상의 제품과 연관될 수 있다. 상술한 바와 같이, 특정 빈과 연관된 제품으로는, 화장품, 옷, 안경, 보석 혹은 다른 용모 관련 제품을 포함할 수 있다.

제품 추천 시스템(220)은, 이미지 분석 시스템(205)에 의해 생성된 피부색 추정값(413)의 컬러 묘사와 위에 설명된 빈의 컬러 묘사를 비교해서, 어느 빈이 서브젝트(203)의 피부색에 가장 가깝게 매칭하는지 판정할 수 있다. 본 발명의 실시예에서, 이 빈은 또한 머리 색, 연령 및 지역과 같은 다른 요인에 기초해서 사람들을 분류할 수도 있다. 본 발명의 실시예가 사용하는 빈의 세트는, 주어진 사람들의 분류에 속하는 모두를 포함하지 않을 수도 있다. 각각의 빈의 사람들의 피부색, 및 선택적으로는, 다른 특성에 관한 데이터를 이용해서 하나 이상의 분류기를 구성하며, 서브젝트(203)의 측정값이 제공되면, 이 분류기는 통상적으로, 서브젝트(203)를, 서브젝트(203)의 빈과 가장 가깝게 매칭하는 멤버를 갖고 있는 빈으로 할당한다.

본 발명의 실시예에서, 빈의 크기는 균일하지 않을 수도 있다. 환언하면, 어떤 빈은, 다른 빈보다 더 큰 부분의 얼굴색 스펙트럼을 정의할 수 있다. 예컨대, 밝은 얼굴색의 서브젝트는 전형적으로 어두운 얼굴색의 서브젝트보다 더 큰 입도(granularity)를 요구하며, 이는, 밝은 얼굴색의 서브젝트는, 밝은 얼굴에 더 잘 나타나는, 자신의 피부에 대한 기미나 태양광에 의한 손상을 감추려하기 때문이다. 반대로, 어두운 얼굴색의 서브젝트는 기미를 감추기보다는 자신의 피부 톤을 고르게 하기를 원하는 경향이 있다. 결과적으로, 어두운 얼굴색의 서브젝트의 경우에는, 적은 빈으로도 충분하다는 것을 알 수 있다.

본 발명의 실시예는 다른 타입의 컬러 묘사를 이용해서 빈을 구성할 수 있다. 예컨대, 서브젝트(203)의 전체 피부색을 나타내도록 취한 일부 컬러 공간(예컨대, HSV(hue-saturation-value))에서, 각각의 사용자에 대해, 하나의 포인트의 묘사를 이용해서 구성될 수 있다. 다른 실시예에서, 이 하나의 포인트에는, 두발, 입술 혹은 눈동자 색을 나타내는 추가적인 포인트가 보충될 수 있다. 다른 실시예에서, 하나의 포인트는 주요한 안면 혹은 신체의 위치(예컨대, 볼, 이마 혹은 목)의 피부색에 대응하는 다수의 포인트로 대체될 수 있다. 일부 실시예에서, 측정값은 사용자의 피부색을 나타내는 컬러 범위 혹은 분포에 대한 통합 컬러 묘사를 포함할 수 있다. 다른 실시예에서, 측정 데이터는 서브젝트(203)의 연령, 지역 및 용모 이외의 다른 관련 데이터를 포함할 수 있다.

이하 상세하게 후술되는 바와 같이, 제품 추천 시스템(220)은 다수의 다양한 타입의 분류기 중 어느 하나를 이용해서 서브젝트(203)의 피부색 평가값(413)을 하나 이상의 빈으로 매핑시킨다. 일단 분류기가, 사용자의 피부색 측정값, 그리고 선택적으로는 다른 데이터에 기초해서, 한 사람을 빈 혹은 빈들에 할당하면, 그 빈에 속한 사람들에게 가장 적절한 피부 제품의 추천이 이루어질 수 있다. 다른 빈은 예컨대, 제품 데이터 베이스에 저장되어 있는 다른 피부 제품을 추천하는 것과 관련된다. 이는, 각각의 분류마다 다른 추천 알고리즘, 다른 추천 템플릿, 혹은, 다른 수단을 이용해서, 예컨대, 일반적으로 화장 컨설턴트가 제공하던 제품 추천을, 제품 추천 시스템(220)이 자동으로 생성하게 함으로써 이루어질 수 있다.

따라서, 제품 추천 시스템(220)은 피부색 추정값(413)을 이용해서, 서브젝트의 컬러에 기초해서, 서브젝트(203)를 특정 빈 혹은 복수의 빈으로 매핑시킨다. 각각의 빈과, 그 피부색을 가진 사람에게 적합하다고 생각되는 개인의 용모 관련 제품과의 사이에 매핑이 존재하기 때문에, 본 발명의 실시예는 서브젝트(203)에 대한, 그 사용자에게 적합하다고 생각되는 예컨대, 화장품이나 다른 용모 관련 제품의 추천을 자동으로 생성할 수 있다.

본 발명의 실시예에서, 서브젝트(203)는 예컨대, 웹 인터페이스를 이용해서 추가적인 파라미터를 식별할 수 있다. 이들 파라미터는 제품 추천 시스템(220)이 사용자가 관심을 갖는 제품을 더 식별하는데 이용될 수 있다. 예컨대, 사용자는 자신이 관심을 갖는 옷, 머리 색, 화장 등을 표시할 수 있다. 사용자는 또한 눈 화장품, 파운데이션, 립스틱 등과 같은 자신이 관심있는 특정 제품 그룹을 나타낼 수도 있다. 제품 컨설트를 더 세밀하게 하기 위해서 인구 통계학적인 정보가 수집될 수도 있다. 예컨대, 10대 그룹은 나이가 많은 그룹이 선호하는 것과는 다른 스타일의 화장, 두발 관리 제품 등을 선호할 수 있다. 또한, 사용자는 자신에게 적합한 제품을 정의하는 상황을 특정할 수 있다. 예컨대, 사무실이나 직업적인 장소에서 사용할 화장품을 찾는 사용자는, 저녁에, 즉 일상적인 상황에 더 적합한 것으로 생각되는 화장품에는 관심이 없을 것이다.

본 발명의 실시예에서, 제품 추천 시스템(220)은 음성 메시지, 단문 메시지 서비스(SMS) 메시지, 멀티미디어 메시지 서비스(MMS) 메시지, 음성 XML(a voice extensible mark-up language) 메시지, 이메일 메시지, 인스턴트 메시지 혹은 다른 형태의 통신을 통해서, 제품 추천을 서브젝트(203)나 다른 사용자에게 직접 전달할 수 있다.

본 발명의 실시예에서, 이미지 캡쳐 장치(201)는 화상 전화, 디지털 카메라, PDA, 개인용 컴퓨터 시스템, 디지털 비디오 리코더, 혹은 이미지를 캡쳐할 수 있는 유사한 장치와 같은, 목적 서브젝트(203)의 개인 소장품을 포함할 수 있다. 그러나, 본 발명의 실시예는 제조 업자가 제품 컨설트를 제공하기 위해서 키오스크나 다른 자동화된 시스템을 마련한, 자신 소유의 시스템에서 사용될 수도 있다. 본 발명의 실시예에서, 이미지 캡쳐 장치(201)는, 카메라들이 서로에 대해 고정된 방식 으로 배열되어서 이루어진 스테레오 카메라나 카메라 어레이와 같은, 다수의 카메라로 이루어질 수 있다. 다른 실시예에서, 이미지 캡쳐 장치(201)는 서로 다른 시야각으로 캡쳐된 서브젝트의 다수의 이미지를 제공하는데 사용될 수 있다.

본 발명의 실시예에서, 네트워크(206)는 다이얼업 인터넷 접속, 공중 교환 전화망(PSTN), 고속 네트워크 접속(예컨대, 케이블 인터넷이나 고속 컴퓨터 네트워크) 등을 포함한다. 다른 방안으로, 이미지 캡쳐 장치(201)는 셀룰러 전화 접속, 위성 전화 접속, 무선 접속, 적외선 통신 접속 등을 이용할 수 있다. 그러나, 이하 상세하게 후술하는 바와 같이, 본 발명의 실시예에서는, 이미지(202)가 이미지 캡쳐 장치(201)로부터 각각의 시스템으로 전달될 필요가 없다.

시스템(200)의 다른 구성이 본 발명의 실시예에서 이용될 수 있다는 것을 이해할 것이다. 예컨대, 이미지 분석 시스템(205) 및 제품 추천 시스템(220)은 하나의 시스템으로서 구현될 수도 있고, 각각이 통신적으로 연결된 장치의 네트워크로 구현될 수도 있다. 본 발명의 실시예에서, 이미지 분석 시스템(205) 또는 제품 추천 시스템(220)의 기능을 이미지 캡쳐 장치(201)가 수행함으로써, 모바일 휴대형 제품 추천 시스템을 제공할 수도 있다.

본 발명의 실시예는, 이미지(202)를 캡쳐할 때 제어된 설비(예컨대, 조정되고 제어된 카메라 혹은 주변광 상태)를 필요로 하지도 않고, 제품 추천을 생성하도록 훈련된 전문가의 컨설트를 필요로 하지도 않는다는 점에서 바람직하다. 이전에, 일부 화장품 제조 업자는, 주변 광 상태 및 카메라 처리 파라미터가 정밀하게 조정된 전용 방이나 키오스크를 관리했다. 이는 서브젝트의 피부색을 정확하게 평가하 는 것을 용이하게 하기 위해서는 필수적이였다. 이 서브젝트의 픽쳐가 촬상되고, 인간 컨설턴트가 이를 분석해서, 서브젝트에 대한 화장품의 컨설트를 조절했다. 그러나, 이러한 설비에는 비용 및 공간이 들기 때문에, 많은 서브젝트가 사용할 수는 없는 것이 일반적이였다.

이미지 분석 시스템(205)이 이미지 기준 컬러 세트(204)의 수신 이미지를 이용해서 주변 광 상태 및 이미지 캡쳐 시스템(201)의 이미지 처리 파라미터를 보상하기 때문에, 본 발명의 실시예는 제어된 설비를 필요로 하지 않는다. 그 결과, 본 발명의 실시예는 서브젝트(203)의 이미지를 캡쳐할 때 조정된 카메라나 조정된 광에 의존하지 않는다. 이미지 분석 시스템(205)은, 이러한 분석을 수행함으로써, 이미지화된 기준 컬러 세트(204)의 스펙트럼 반사율이나 컬러 신호 값을 제어 기준 컬러 세트(209)의 알려진 스펙트럼 반사율이나 컬러 신호 값에 대응시키기 위해서는 어떤 조정이 필요한지 결정할 수 있다. 제품 추천 시스템(220)은 서브젝트의 피부색에 대한 정확한 분석에 기초해서 제품 추천을 생성할 수 있다. 본 발명이 제어된 설비가 필요없다는 것을 개시하고 있지만, 본 발명의 실시예는 제어된 설비에도 사용될 수 있다.

제어된 설비나 훈련된 컨설턴트가 필요없기 때문에, 본 발명의 실시예는 전용 컨설트 카운터를 제공할 리소스를 가질 수 없는 소매점에서, 제품 컨설트를 제공하는 것을 용이하게 한다. 따라서, 화장품 컨설트를 수행하도록 훈련된 인력이 없는, 혹은 위에 설명된 제어된 설비를 위한 공간이 없는 소매점에서 서브젝트(203)가 화장품을 구입하는 경우에도, 서브젝트(203)는 본 발명의 실시예를 이용 해서 여전히 화장품 컨설트를 받을 수 있다. 사용자는 화장품 컨설트를 제공하는 제조 업자로부터 화장품 제품을 구입하는 경향이 있기 때문에, 본 발명의 실시예는 관련 제품의 전체 범위를 제안해서 서브젝트(203)와의 관계를 진척시킬 수 있는 제조 업자에게 유익하며, 이는 사용자가 단순히 화장품 제품 진열대에서 선택할 때는 불가능한 것이다. 또한, 다른 사람으로부터 화장품 컨설트를 받는 것을 불편해 하는 사용자는, 본 발명의 실시예를 이용해서 익명의 제품 조언을 받을 수 있다. 사용자는 이러한 제품 조언을 자신의 집과 같은 개인적인 공간이나 소매점으로부터 떨어진 다른 위치에서도 받을 수 있다.

도 3은 본 발명의 실시예에서 사용되는 예시적인 이미지화된 기준 컬러 세트(204)를 나타내고 있다. 이하의 설명이 컬러 혹은 컬러들을 포함하는 이미지화된 기준 컬러 세트(204)의 범위를 개시하고 있지만, 분명하게 하기 위해서, 도 3에서는 이들 컬러를 생략했다. 본 발명의 실시예에서, 이미지화된 기준 컬러 세트(204)는 이미지 분석 시스템(205)에 의한 완벽한 자동 검출을 위해서 설계되어 있다.

도 3에 도시된 바와 같이, 이미지화된 기준 컬러 세트(204)는 8개의 컬러 패치 각각이 3행으로 배열된, 복수의 컬러 패치(예컨대, 301-324)를 포함한다. 본 발명의 실시예에서, 컬러 패치(301-324)는 백색 경계(340) 및 흑색 경계(350)로 둘러싸인 흑색 배경(330)을 배경으로 해서 설치되어 있다. 본 발명의 실시예에서, 이미지 분석 시스템(205)은 검출 알고리즘을 이용해서, 흑색 배경(330)을 백색 경계(340)로 둘러싸서 만들어진 패턴과 일치하는 패턴을 식별한다. 흑색 경계(350)가 사용되어서 백색 경계(340)를 용이하게 식별할 수 있다. 본 발명의 실시예는 이러 한 타입의 패턴으로만 한정되는 것이 아니라, 이미지(202)에 어떤 기준 패턴 배열이 존재할 때, 이미지 분석 시스템(205)이 이를 검출할 수만 있다면, 임의의 검출 가능한 기준 패턴 배열이 사용될 수도 있다. 예컨대, 이미지화된 기준 컬러 세트(204)는 바둑판 패턴, 스트라이프 혹은 컬러 패치(301-324)로 나타내어진 컬러가 벽지, 벽걸이 장식품, 장판 등에 나타나 있는 배경을 포함할 수 있다. 또한, 도 3이 직사각형 어레이를 도시하고 있지만, 컬러 패치(301-324)는 원형 패턴, 삼각형 패턴, 정사각형 패턴 등으로 배치될 수도 있다.

도 3의 실시예에서, 컬러 패치(301-308)는, 일반적인 장면 톤(scene tone) 밸런싱을 위한 제 1 및 제 2 컬러와, 화이트 밸런싱을 위한 그레이의 2개의 셰이드를 포함한다. 컬러 패치(309-324)는 인간 피부색의 범위를 나타내는 16개의 컬러 패치를 포함한다. 본 발명의 실시예에서, 제어 기준 컬러 세트(208)의 컬러 묘사가 이미지 분석 시스템(205)에 알려져서, 이미지화된 기준 컬러 세트(204)가 비교되는 기준 즉, 광 및 이미지 캡쳐 장치 특성과 무관한 "트루" 컬러 공간을 나타내는데 사용된다. 예컨대, 일 실시예에서, 각각의 컬러 패치(예컨대, 301-324)의 스펙트럼 반사율이 측정되고, 적색, 녹색, 청색(RGB)의 3성분 표준으로 인코딩된 디지털 값으로 근사화된다. 이들 인코딩된 신호 값은 이미지화된 기준 컬러 세트(204)의 대응하는 3성분 신호값과 비교된다.

도 4a는 본 발명의 실시예에 따라서 제품 컨설팅을 제공하는 이미지 분석 시스템(205)의 블록도이다. 본 발명의 실시예에서, 이미지 분석 시스템(205)은 입력부(404), 컬러 보정 판정부(401), 피부 픽셀 선택부(402), 컬러 보정 적용부(405), 피부색 추정부(403)를 포함한다. 도 4a의 실시예에서, 이미지(202)가 입력부(404)에 의해 수신되어서, 컬러 보정 판정부(401) 및 피부 픽셀 선택부(402)로 전송된다. 이후에, 컬러 보정 함수(411)가 컬러 보정 판정부(401)로부터 출력되고, 컬러 픽셀 선택부(402)는 컬러 보정 적용부(405)가 컬러 보정 함수(411)를 적용할 적어도 하나의 피부 픽셀(예컨대, 컬러 값(412))을 이미지(202)로부터 식별한다. 컬러 보정 함수(411)를 식별된 피부 픽셀의 컬러 값(412)에 적용함으로써, 수정된 컬러 값(209)이 피부색 추정부(403)로 출력되고, 피부색 추정부(403)는 이에 기초해서 피부색 추정값(413)을 생성한다. 위에 설명된 바와 같이, 컬러 보정 함수를 결정하는 단계보다 이전에, 이후에 혹은 이 단계와 동시에, 이미지(202)로부터 복수의 피부 픽셀의 위치를 추적하는 단계가 수행될 수 있다.

본 발명의 실시예에서, 컬러 보정 판정부(401)는 타겟 패턴(예컨대, 이미지화된 기준 컬러 세트(204))을 자동 검출한다. 하나의 예시적인 타겟 검출 시퀀스에서는, 예컨대 라플라시안 필터(Laplacian filter)를 이용해서 컬러 이미지의 단색(예컨대, 휘도만 있는) 버전이 필터링된다. 이로써 이미지에서 최대 명도가 변하는 궤적(예컨대, 컬러 패치(301-324)와 배경(330)의 사이나, 백색 경계(340)와 흑색 경계(350)의 사이)을 결정한다. 라플라시안 출력에서 관찰되는 제로-크로싱 위치의 궤적을 연결할 수 있다면, 이들을 연결해서 한 세트의 폐 윤곽을 만든다. 폐 윤곽 각각은 일련의 선형 부분들로 간략화되고, 이는 직선으로부터 윤곽선을 만드는 것에 기초한 연속 바이섹션(bisection) 작업을 통해서 결정될 수 있다. 이들 윤곽에 대해서 "직사각형 후보(Rectangle candidates)"가 도입되어서, 윤곽의 낱개의 선형 부분들(위에 설명된 바와 같은)이, 평면형의 직사각형을 투영한 것과 일치하는 관계를 갖고 있는(즉, 대향하는 변은 서로 평행하게 일치하고, 인접하는 변은 서로 직교하는 관계로 일치하는) 4개의 주요 선형 부분을 이룬다. 일 실시예에서, 어두운 외부(예컨대, 흑색 경계(350)) 및 밝은 내부(예컨대, 백색 경계(340))를 나타내는 콘트래스트를 가진 제 1 윤곽 "직사각형 후보"의 위치가 추척된다. 이후에, 제 1 윤곽 직사각형 후보 내에서, 밝은 외부(예컨대, 백색 경계(340)) 및 어두운 내부(예컨대, 흑색 배경(330))를 나타내는 콘트래스트를 가진 제 2 윤곽 "직사각형 후보"의 위치가 추척된다.

본 발명의 실시예에서, 상기 윤곽(예컨대, 흑색 배경(330)의 에지)이, 어두운 외부 내에 밝은 내부가 세팅되어 있다는 것을 나타내는 콘트래스트를 가진 "직사각형 후보" 윤곽(예컨대, 컬러 패치(301-324))의 세트를 포함하고 있는지 판정한다. 예컨대, 컬러 패치(301-324) 각각은 이들이 위치되어 있는 흑색 배경(330)보다 더 밝다. 바깥쪽의 2개의 "직사각형 후보" 윤곽(예컨대, 흑색 경계(350)와 백색 경계(340))을, 기준 타겟 묘사로부터 알아낸 이들 윤곽의 값에 기초한 정확한 종횡비 및 관계를 가진 트루 직사각형에 매핑시키는 변형을 행할지 판정한다. 본 실시예에서, 내부 윤곽(예컨대, 컬러 패치(301-324)의 윤곽)이, 위의 변형(알아낸 컬러 패치의 윤곽의 값에 기초한)에 의해 변형되었을 때에도, 역시 정확한 종횡비를 갖고 있고 그 위치가 일치하고 있는지 판정한다. 컬러 패치 중 일부는, 주어진 이미지(202)에서 검출하기 어려운 콘트래스트 값을 가질 수 있다는 점에 주의한다. 그러나, 본 발명의 실시예에서, 충분한 수의 내부 컬러 패치가 검출된다면(예컨대, " 충분함"의 적절한 값은 90%일 수 있다), 기준 타겟이 검출된 것으로 인정된다. 본 발명의 실시예에서, 위에서 검출되어서 유효하다고 확인된 컬러 패치 내의 컬러 값은 샘플링되어서, 이미지 분석 시스템(205)이 수행하는 트루-컬러 변환을 성립시키기 위한 샘플값으로서 사용된다.

본 발명의 실시예에서, 컬러 보정 판정부(401)는 검출시에 이미지화된 기준 컬러 세트(204)의 유효성을 확인해서, 이미지(202) 내의 컬러 패치(301-324)의 충실도(fidelity)를 확보한다. 예컨대, 컬러 패치(301-324)가 흐려지거나, 얼룩으로 인해 변색되면, 이미지 분석 시스템(205)에 의한 컬러 패치 샘플링 결과가 왜곡될 수 있다. 그 결과, 컬러 보정 판정부(401)에 의한 컬러 보정 함수(411)의 추정값이 부정확하게 될 수 있다. 따라서, 본 발명의 실시예에서, 컬러 보정 판정부(401)는 이미지화된 기준 컬러 세트(204)의 기간(age)이나 버전의 유효성을 확인할 수 있다. 예컨대, 이미지화된 기준 컬러 세트(204)는, 이미지 분석 시스템(205)이 인식해서 이미지화된 기준 컬러 세트(204)가 여전히 유효한지 판정하는데 사용할 수 있는, 패턴(예컨대, 바코드), 기호 혹은 문자열(예컨대, 이미지화된 기준 컬러 세트(204)가 인쇄된 날짜)를 포함할 수 있다. 다른 방안으로, 기준 컬러 세트를 생성하는데 사용되는 잉크 중 하나 이상을 선택해서, 일정 시간 이후에 흐려지게 할 수 있다. 그 결과, 이미지화된 기준 컬러 세트(204) 중 일부는 컬러 보정 판정부(401)가 인식할 수 없는 상태로 되어서, 수신된 이미지(202)로부터 컬러 보정 함수 및 트루 피부색을 추정하는 것을 차단한다. 다른 실시예에서, 하나 이상의 잉크가 흐려지면, 서브젝트(203)에게 메시지가 표시되어서, 이미지화된 기준 컬러 세 트(204)의 기간이 만료되어서, 정확한 피부색 추정값(413)을 생성하기 위해서는 새로운 버전이 필요하다는 것을 알려줄 수 있다.

본 발명의 실시예에서, 이미지화된 기준 컬러 세트(204)가 유효한 카피라고 판정되면, 컬러 보정 판정부(401)는, 이미지(202)의 컬러 공간과 제어 기준 컬러 세트(208) 사이에, "변환 함수"라고도 하는, 컬러 보정 함수(411)를 추정한다. 본 발명의 일 실시예에서, 최소 제곱(least-squares) 추정법이 사용되어서, 3×4 행렬의 형태의 컬러 보정 함수 F을 유도하고, 이는 이미지화된 기준 컬러 세트(204)로부터(예컨대, 하나 이상의 컬러 패치(301-324)로부터) 측정된 패치 평균 컬러 M를, 제어 기준 컬러 세트(208) 내의 대응하는 제어 컬러 값 R으로 매핑한다. 행렬 F는 사실상 3×3 컬러 변환 행렬과 추가적인 컬러당 성분(per-color-component) 오프셋의 합이다. 본 발명의 실시예에서, 최소 제곱 추정법을 수행하기 전에, 포화된(saturated) 적어도 하나의 성분을 가진 패치 평균 컬러가 배제되고, RGB 성분 함수는 M 및 R 모두에 대해서 반전된다. 컬러 보정 함수를 결정하기 위해서 3×4 행렬이 사용될 수 있지만, 그러나, 본 발명은 선형 대수학으로 한정해서 이 함수를 결정하는 것은 아니다. 환언하면, 컬러 보정 함수는 임의의 함수 형태를 취할 수 있다.

본 발명의 실시예에서, 이미지화된 기준 컬러 세트(204)로부터의 모든 컬러 패치가 측정되어서 컬러 보정 함수(411)를 결정하는데 사용될 수 있다. 다른 실시예에서, 컬러 패치는 선택적으로 샘플링될 수 있다. 예컨대, 일 실시예에서, 제 1 컬러, 제 2 컬러 및 단색 컬러(예컨대, 청색, 녹색, 적색, 시안, 마젠타, 옐로우 및 그레이 셰이드)의 컬러 패치(예컨대 301-308)만이 컬러 보정 함수(411)를 결정하는데 사용된다. 본 발명의 실시예는 백색 경계(340)로부터 백색 톤을 샘플링하고, 배경(330)이나 흑색 경계(350)로부터 흑색 톤을 샘플링할 수도 있다. 다른 실시예에서, 컬러 보정 함수(411)를 결정하기 위해서, 흑색, 백색 및 그레이 톤은 물론 모든 피부색의 패치(예컨대, 컬러 패치(309-324))가 샘플링된다. 다른 실시예에서, 컬러 보정 함수(411)를 결정하기 위해서, 피부색 패치(예컨대, 컬러 패치(309-324))만이 샘플링된다. 본 발명의 실시예에서, 서브젝트(203)의 피부색을 추정하는데 가장 적합한 컬러 보정 함수(411)를 결정하기 위해서, 피부색 패치(예컨대, 컬러 패치(309-324))만을 샘플링하는 것이 바람직하다. 예컨대, 이미지화된 기준 컬러 세트로부터 이미지화된 컬러 패치를 모두 샘플링하면, 전체 이미지의 색을 보정하기에 가장 적합한 컬러 보정 함수(411)를 만들 수는 있지만, 이것이 반드시 서브젝트(203)의 촬상된 피부색을 보정하는데 가장 적합하다는 것은 아니다. 따라서, 서브젝트(203)의 피부색 추정에 사용하기에 적합한 컬러 보정 함수를 추정할 때, 전체 컬러 공간을 광범위하게 샘플링하는 것보다는 주요 컬러 영역(예컨대, 피부 톤)을 정밀하게 샘플링하는 것이 더 중요하다.

따라서, 컬러 보정 판정부(401)는 이미지화된 기준 컬러 세트(204)와 제어 기준 컬러 세트(208) 사이의 불일치를 실질적으로 제거할 컬러 보정 함수(411)를 결정한다. 컬러 보정 함수(411)를 임의의 함수의 형태의 F라고 하면, 이는 다음과 같은 식으로 표현될 수 있다.

여기서, I_R은 제어 기준 컬러 세트(208)에서의 컬러이고, I_C는 이미지화된 기준 컬러 세트(204)에서 대응하는 컬러이다. 컬러 보정 함수(411)가 이미지(202)에 적용되면, 주변 광 상태 및 이미지 캡쳐 장치(201)의 이미징 특성의 효과를 보상함으로써, 이미지(202)의 컬러를 정확하게 전달하려 한다. 구체적으로, 컬러 보정 함수(411)가 이미지(202)에서 식별된 피부 픽셀에 적용된 이후에, 주변 광 상태나 이미지 캡쳐 장치(201)의 이미징 특성에 의한 왜곡 효과 없는, 서브젝트(203)의 피부색이 판정될 수 있다. 컬러 보정 함수(411)는 개략적으로만 될 수 있다는 점에 주의한다. 예컨대, 컬러 보정 함수 F가, 이미지화된 기준 컬러 세트(204)로부터 각각 획득된 이미지 컬러를, 제어 기준 컬러 세트(208) 내의 대응하는 정확한 기준 컬러로 매핑시킨다는 것은 아니다. 또한, F는 이미지화된 기준 컬러 세트(204) 내의 대응하는 컬러에 적용될 때, 제어 기준 컬러 세트(208) 내의 기준 컬러에 정확하게 매칭시키는데 필요한 정확도를 충분히 갖고 있지 못하다는 점을 이해할 것이다. 본 발명에서, 문구 "실질적으로 제거한다"는 것은, F가 이미지(202)의 식별된 피부 픽셀의 컬러 값(412)(예컨대, 혹은 그 컬러 묘사)에 적용된 후에는, 서브젝트(203)의 내츄럴 피부색(즉, 제어 기준 컬러 세트(208)에 의해 묘사된 기준 컬러 공간 내의)과, 수정된 컬러 묘사(209)에 의해 나타내어지는, 서브젝트(203)의 보정된 피부색 사이의 차이를 쉽게 알아챌 수 없다는 것을 의미한다.

본 발명의 일부 실시예에서, 컬러 보정 판정부(401)는 3D 형상 정보를 이용해서 컬러 보정 함수(411)를 결정할 수 있다. 상술한 바와 같이, 형상 정보는, 이미지 캡쳐 장치(201)로부터 제공받을 수도 있고, 아니면 컬러 보정 판정부(401)가 이미지 캡쳐 장치(201)에 의해 제공되는 다수의 이미지로부터 계산할 수도 있다. 형상 정보를 이용해서, 예컨대, 컬러 보정 함수(411)의 계산이 이미지 기준 컬러의 서브세트에만 기초해서 이루어질 수 있도록, 아니면, 다수의 컬러 보정 함수(411)가 추정될 수 있도록, 이미지화된 기준 컬러 세트(204)의 부분들을 서로 다르게 조명할 수 있다. 3D 형상 정보는 컬러 보정 판정부(401)에 의해서 다르게 사용될 수도 있다. 이미지 캡쳐 장치(201)가 제공하는 다수의 이미지는 3D 형상 계산에 기초한 방식과는 다른 방식으로 컬러 보정 결정을 행하는 데 도움을 줄 수도 있다. 일례로, 다수의 이미지는 하나의 카메라로는 볼 수 없는 이미지화된 기준 컬러(204)의 샘플링을 가능하게 하고, 이로써, 컬러 보정 결정 처리에 제공될 데이터의 양을 증가시킨다. 또한, 다양한 뷰를 통해서, 다양한 시각에서의 광 및 이미지 장치 특성 효과의 평균화를 가능하게 한다.

도 5는 본 발명의 실시예에 따라서 피부 픽셀을 선택하는 예시적인 단계를 도시하고 있다. 피부 픽셀 선택부(402)는, 이미지(202)에서, 서브젝트(203)의 피부 영역에 대응하며, 특히 서브젝트(203)의 내츄럴 피부색을 나타낼 것 같은 영역에 대응하는 픽셀을 식별한다. 상술한 바와 같이, 일부 사람의 피부에는 기미, 번들거림, 햇볕에 탄 자국/화상, 주근깨가 있을 수 있고, 혹은 다른 식으로 사람의 내츄럴 피부색을 변색시킬 수도 있다. 또한, 이미지(202)가 캡쳐될 때, 주변 광으로 인해서 그림자나 하이라이트된 영역이 생길 수 있고, 이는 그 사람의 내츄럴 피부색을 나타내지 않는다. 또한, 이미지(202)에서 서브젝트(203)의 머리카락이나 눈을 나타내는 영역은, 서브젝트(203)의 피부색을 추정할 때, 카테고리화 기(categorizer)(205)에 의한 분석을 통해서 제거될 것이다. 본 발명의 실시예에서, 피부 픽셀 선택부(402)는 이미지(202)의 주요 피부 픽셀 영역을 식별하는 단계를, 서브젝트(203)의 얼굴을 찾는 단계와, 얼굴을 샘플링해서 흉터, 그림자 혹은 다른 컬러 불균일의 영향을 상태적으로 받지 않는 영역을 찾는 단계로 나눈다.

본 발명의 실시예에서, 피부 픽셀 선택부(402)는 얼굴 패턴 검출 알고리즘을 이용해서 서브젝트(203)의 얼굴을 포함한 이미지(202)의 주요 영역을 식별한다. 본 발명의 많은 응용예에서, 서브젝트(203)는 이미지(202)에 표시된 유일한 혹은 가장 두드러지는 얼굴이 될 것이다. 따라서, 본 발명의 실시예는, 비올라 존스(Viola-Jones) 얼굴 검출법을, 다중(예컨대, 24) 분해능으로, 유연한(lenient) 검출 임계값을 갖고, 필요하다면 이미지를 회전시켜서 적용하는 방식으로, C++ 구현해서, 얼굴 검출을 수행할 수 있다. 본 발명의 실시예에서, 서브젝트(203)의 얼굴일 것 같은 영역이 다수 식별된 경우에는(예컨대, 이미지(202)에 얼굴이 다수 존재), 피부 픽셀 선택부(402)는 식별된 영역 중 가장 큰 영역을 주요 얼굴 영역으로서 선택해서 추가적으로 처리할 것이다. 본 발명의 실시예에서는, 피부색 검출 알고리즘을 이용해서, 서브젝트(203)의 주요 피부 영역을 더 정밀하게 식별할 수도 있다는 점에 주의한다. 본 발명의 실시예에서, 이미지(202) 중 얼굴 검출 알고리즘에 의해 식별된 영역은, 이미지(202) 위에 얼굴 경계 상자(예컨대, 도 5에서 501)를 배치함으로써 경계가 표시된다.

본 발명의 실시예에서, 피부 픽셀 선택부(402)는 얼굴 경계 상자(501) 내에 이중 "얼굴 마스크" 템플릿(예컨대, 도 5에서 502)을 적용한다. 이는 얼굴 경계 상 자(501) 내에서의 얼굴 형태의 위치가 전형적으로 전체 이미지(202)에서 일정하지 않기 때문에 적용되는 것이다. 따라서, 얼굴 경계 상자(501)는 전형적으로, 얼굴 이외의 배경 및 서브젝트(203)의 얼굴 이외의 특징부를 포함하고 있다. 상술한 바와 같이, 주변 광 및 머리카락으로 인해서 서브젝트(203)의 얼굴 중 일부에 그림자가 생길 수 있지만, 피부결이 대부분의 경면 반사 영역을 생성한다는 것은 잘 알려져 있다. 따라서, 본 발명의 실시예에서, 템플릿(502)은, 얼굴 형상을 정밀하게 분석해서 배경에서 얼굴을 분할해 내지 않고도, 서브젝트(203)의 내츄럴 피부색을 나타낼 가능성이 높은 피부 영역을 분리해 낸다.

도 5에 도시된 바와 같이, 템플릿(502)은, 이미지(202) 중 배경 대부분은 물론, 서브젝트(203)의 머리카락이나 이마와 같은, 얼굴 경계 상자(501)에 표시된 영역 이외의 부분은 배제시킨다. 그러나, 템플릿(502)은, 서브젝트(203)의 볼 영역에서의 피부 픽셀의 샘플링을 강화하기 위해서, 아래 영역에서는 약간 더 확장될 수 있다. 다른 실시예에서, 서브젝트(203)의 눈, 코 및 입과 같은, 얼굴 형상의 분명한 검출이 수행되고, 이에 후속해서 이들 검출된 형상에 대해 상대적으로 정의되는 영역의 픽셀이 선택된다. 위의 설명은 이미지(202)의 얼굴 픽셀이 검출되는 방법 중 하나일 뿐, 당업계에 공지된 다른 다양한 얼굴 형상 검출 방법이 본 발명의 실시예에 따라서 사용될 수 있다는 점에 주의한다.

본 발명의 실시예에서, 템플릿(502) 내의 나머지 픽셀은 휘도에 따라 소팅(sort)된다. 본 발명의 실시예에 따라서 휘도를 계산하는 방법은 다수 존재한다는 점에 주의한다. 일 실시예에서, 픽셀의 휘도(Y)는 다음 식을 이용해서 계산될 수 있다.

여기서, R, G 및 B는 픽셀의 적색, 녹색 및 청색 성분값이다. 피부 픽셀 선택부(402)가 각각의 픽셀의 휘도를 계산했다면, 높은 휘도순으로 픽셀을 소팅한다. 이후에, 피부 픽셀 선택부(402)는 하위 임계값 이하의 휘도나 상위 임계값 이상의 휘도를 가진 피부 픽셀은 제거한다. 상위 휘도 임계값 이상의 휘도에 포함되는 최고 반사부(예컨대, 번들거리는 피부)는 배제한다. 또한 서브젝트의 얼굴에서, 전형적으로 하위 휘도 임계값보다 낮은 휘도값에 포함되는 머리카락, 콧구멍, 입 및 그림자 부분에 대응하는 픽셀은 배제한다.

일 실시예에서, 나머지 픽셀은 제어 기준 컬러 세트(208) 내의 컬러에 따라서 클러스터링(cluster)된다. 그리고, 가능한 피부색 영역 내의 픽셀 클러스터는, 이미지 캡쳐 및 광 상태에 광범위하게 적용되는 피부색 모델을 이용해서 식별된다. 일 실시예에서, 가장 큰 피부색 픽셀의 클러스터가 서브젝트(203)의 피부색을 나타내는 것으로서 선택된다. 다른 실시예에서, 가장 큰 픽셀 밀도(즉, 컬러 공간에서 체적당 픽셀의 수)를 가진 클러스터가 선택된다. 또한, 이미지(202)에서 피부 픽셀을 식별하는 것은 도 1의 단계 130를 참조해서 설명된 컬러 보정 추정법과는 무관하게 수행될 수 있다는 점에 주의한다. 따라서, 본 발명의 실시예에서, 이미지(202)에서 피부 픽셀을 식별하는 것은, 도 1의 단계 130 및 도 4a에 대한 상기 설명에서와 같은 컬러 보정 추정 이전에, 이후에 혹은 이와 동시에 수행될 수 있다.

본 발명의 일부 실시예에서, 3D 형상 정보가 사용되어서 피부 픽셀 선택부(402)를 돕는다. 3D 형상 정보는 이미지 캡쳐 장치(201)에 의해 제공될 수도 있고, 이미지 캡쳐 장치(201)가 제공하는 다수의 이미지로부터, 피부 픽셀 선택부(402)나 컬러 보정 판정부(401)에 의해 계산될 수도 있다. 형상 정보는 코나 입과 같은 얼굴 형상의 식별에도 사용될 수 있으며, 이 때 이들 영역은 우선적으로 피부 픽셀 선택에서 배제되거나, 피부 픽셀 선택에 포함될 수 있다. 3D 형상 정보는 얼굴에서 그림자를 추정하는데도 이용될 수 있다. 그림자에 대한 정보는 피부 픽셀 선택에서 특정 픽셀을 배제하는데 사용될 수도 있고, 피부 픽셀 컬러 묘사를 수정하는데도 사용될 수 있다. 이미지 캡쳐 장치(201)가 제공한 다수의 이미지는 3D 형상 계산에 기초한 방식과는 다른 방식으로 피부 픽셀 선택을 행하는데 도움을 줄 수 있다. 일례로, 다수의 이미지는 하나의 카메라로는 볼 수 없는 다수의 피부 영역을 샘플링하는 것을 가능하게 하고, 이로써, 컬러 보정 결정 처리에 제공될 데이터의 양을 증가시킨다. 또한, 다양한 이미지로부터 피부 영역을 선택함으로써 다양한 시각에서의 광 및 이미징 장치 효과의 평균화를 가능하게 한다.

본 발명의 실시예에서, 이미지(202)에서 서브젝트(203)의 내츄럴 피부색을 가장 잘 나타낼 것 같은 피부 픽셀을 식별할 때, 이들 픽셀의 컬러 값 중 적어도 하나의 묘사가 구성된다. 본 발명의 실시예에서, 식별된 피부 픽셀의 컬러 묘사는, RGB 공간 내의 3성분 벡터와 같은, 개개의 컬러 값을 포함할 수 있다. 본 발명의 다른 실시예에서, 식별된 피부 픽셀의 통합 컬러 묘사가 사용될 수 있다. 본 발명의 실시예에서 사용되는 통합 컬러 묘사의 예로는, 개개의 컬러 샘플의 집합에 적 합한, 다차원(multi-dimensional) 가우시안 함수의 평균 및 공분산(co-variance)을 들 수 있지만, 이에 한정되는 것은 아니다. 다른 예는, 일부 컬러 공간 내의 영역의 경계가 될 수 있다. 다른 실시예에서, 통합 컬러 묘사는 컬러 "클래스", 즉 컬러 "빈"으로서 생각될 수 있다.

도 4a의 실시예에서, 컬러 보정 적용부(405)는 컬러 보정 판정부(401)로부터 컬러 보정 함수(411)를 수신하고, 피부 픽셀 선택부(402)에 의해서 서브젝트(203)의 피부색을 나타내는 것으로 선택된 피부 픽셀의 컬러 값(예컨대, 412)을 수신한다. 일 실시예에서, 컬러 보정 적용부(405)는 컬러 보정 함수(411)를 컬러 값(412)에 적용하고, 그 결과로서 수정된 컬러 값(209)을 출력한다. 다른 실시예에서, 컬러 보정 적용부(405)의 기능은, 컬러 보정 판정부(401), 피부 픽셀 선택부(402) 혹은 피부색 추정부(403)의 액션에 바로 이어서 수행될 수 있다.

본 발명의 실시예에서, 피부색 추정부(403)는 수정된 컬러 값(209)에 액세스하고, 수정된 컬러 값(209)에 대한 분석에 기초해서, 서브젝트(203)의 피부색 추정값(413)을 생성한다. 상술한 바와 같이, 수정된 컬러 값(209)에서, 이미지(202)가 캡쳐되었을 때 존재할 수 있는, 주변 광 및 이미지 캡쳐 장치(201)의 이미징 특성의 효과는 실질적으로 제거되었다. 본 발명의 실시예에서, 피부색 추정값(413)은 제어 기준 컬러 세트(208) 내의 기준 컬러와 같은 크기를 갖는 하나의 벡터를 포함할 수 있다. 다른 실시예에서, 피부색 추정값(413)은 제어 기준 컬러 세트(208)로 표현된 컬러 공간에 대한 확률 밀도 함수를 포함할 수 있다. 다른 실시예에서, 이미지 분석 시스템(205)에 의해 생성된 각각의 피부색 추정값(413)에 대해서 에러의 분산이나 확률이 계산된다. 또 다른 실시예에서, 선택적인 가중치(optional weights)를 이용해서 피부 픽셀 값의 평균을 취함으로써, 하나의 피부색 추정값(413)을 생성할 수 있다. 선택적인 가중치는, 각각의 피부 픽셀이, 피부에서 양호한 이미지 샘플링 위치에 위치될 확률에 의해 부분적으로 결정될 수 있으며, 여기서 이 확률은 피부 픽셀 선택부(402)에 의해 결정된다. 피부색 추정값(413)은, 하나의 피부색을 포함하는 것이 아니라, 피부색의 클래스나 영역을 가리킬 수 있다는 점에 주의한다.

(피부색에 기초한 제품 추천 방법 및 시스템)

도 4b는 본 발명의 실시예에 따른 제품 추천 시스템(220)의 블록도이다. 도 1 및 도 2를 참조로 설명된 바와 같이, 제품 추천 시스템(220)은 이미지 분석 시스템(205)으로부터 수신한 서브젝트의 피부색 추정값에 기초해서 제품 추천을 자동으로 생성한다. 도 4b의 실시예에서, 제품 추천 시스템(220)은 비교기(451)와 연결된 입력부(450), 통합부(452), 결과 생성부(453), 데이터베이스(455) 및 출력부(454)를 포함한다. 비교기(451)는 입력부(450)를 통해서 피부색 추정값(413)에 액세스해서, 피부색 추정값(413)과 적어도 하나의 분류 컬러(예컨대, 도 2에서 221)를 비교한다. 본 발명의 실시예에서, 비교기(451)는, 일부 허용 범위 내에 있는 피부색 추정값(413)의 컬러 묘사와 매칭하는 컬러 묘사를 가진 분류 컬러를 적어도 하나 선택한다. 이 선택에 기초해서, 선택된 분류 컬러와 적어도 하나의 상품을 연관시킨 상관 관계(예컨대, 데이터베이스(455)에 저장된)를 액세스한다. 결과 생성부(453) 는 출력부(454)가 출력한 제품의 추천을 생성한다. 본 발명의 실시예에서, 출력부(454)는 네트워크(206)나, 시스템(200)의 사용자에게 제품 추천을 전달하는 다른 네트워크와 통신가능하게 연결될 수 있다. 상술한 바와 같이, 사용자는 서브젝트(203)나 시스템(200)의 운영자가 될 수 있다.

본 발명의 실시예에서, 비교기(451)에 의해 액세스되는 분류 컬러 묘사(221)는 다양한 상이한 의미를 가질 수 있다. 일부 실시예에서, 각각의 분류 컬러(221)는 인간 피부색의 영역(이에 한정되는 것은 아님)을 포함하는 복수의 컬러 중 하나이다. 일부 실시예에서, 각각의 분류 컬러(221)는 서브젝트(203)에 대해서 혹은 다른 사람에 대해서 과거에 획득한 피부색 추정값을 나타낼 수 있다. 다른 실시예에서, 한 세트의 "트레이닝" 서브젝트의 피부색의 추정값이 그룹별로 수집되어서, 분류 컬러(221)를 형성할 수 있다. 환언하면, 테스트 서브젝트 그룹의 피부색의 측정에 이어서, 이들 피부색을 그룹이나 클래스로 클러스터링하고, 각각의 그룹이나 클래스가 하나의 분류 컬러(221)가 된다. 본 발명의 실시예에서, 트레이닝 서브젝트의 피부색 추정값은 시스템(200)을 사용해서 획득될 수 있다. 다른 실시예에서, 트레이닝 서브젝트의 피부색은 수동으로 특정될 수도 있고, 분광 광도계나 다른 장치를 이용해서 측정될 수도 있다. 또 다른 실시예에서, 각각의 분류 컬러(221)는 기준 컬러 차트 상의 패치의 컬러, 알려진 목적물의 컬러, 혹은 사전 정의된 컬러 범위의 평균을 나타낼 수 있다. 본 발명의 다른 실시예에서, 분류 컬러는 제품 추천 시스템(220)에 의해 추천될 수 있는 제품의 컬러를 나타낼 수 있다.

도 2를 참조로 설명된 바와 같이, 비닝이란, 인간 얼굴색의 스펙트럼을 개별 적인 그룹의 세트, 즉 "빈"으로 나누는 처리이다. 따라서, 각각의 빈은 인간 얼굴색의 스펙트럼의 서브셋을 정의하고 있다. 본 발명의 실시예에서, 각각의 빈은 개개의 트레이닝 서브젝트의 피부색을 나타낼 수도 있고, 혹은 트레이닝 서브젝트 그룹의 피부색의 범위나 분포를 나타내는 통합 컬러 묘사를 나타낼 수도 있다. 본 발명의 실시예는, 피부색을 비교하기 전에 데이터를 그룹별로 통합함으로써, 비교 결과를 왜곡하고, 경우에 따라서는 추천을 열악하게 할 수 있는, 트레이닝 데이터에 대한 "아웃라이어(outlier)"의 영향 및 다른 불균일을 줄일 수 있다.

또한, 본 발명의 실시예에서, 시스템(200)을 이용하는 각각의 서브젝트(203)의 피부색이, 이후에 트레이닝 서브젝트의 그룹에 분류 컬러로서 추가되어서, 동일한 서브젝트(203) 혹은 다른 사람에게 제품을 추천하는 것을 돕는다. 상술한 바와 같이, 분류 컬러(221)는 옷, 화장품 등과 같은, 사람이 아닌 목적물의 컬러를 나타낼 수도 있다. 또 다른 실시예에서, 분류 컬러(221)는 이미지화된 기준 컬러 세트(204) 상의 컬러 패치(예컨대, 301-324)나, 다른 기준 컬러 패턴을 나타낼 수 있다. 그러나, 일반적으로, 분류 컬러(221)가 어떤 특정의 의미를 가져야 한다는 것은 아니다. 예컨대, 이들은 RGB나 HSV와 같은 일부 컬러 공간에서 같은 공간에 있는 컬러가 될 수 있다.

본 발명의 실시예에서, 비교기(451)는 피부색 추정값(413)의 컬러 묘사 및 분류 컬러(221)의 컬러 묘사에 액세스한다. 본 발명의 실시예에서, 컬러 묘사는 개개의 컬러 값이나 통합 컬러 묘사를 포함할 수 있다. 개개의 컬러 값은, RGB(적색-녹색-청색) 컬러 공간에서의 3성분 벡터와 같은, 하나의 컬러의 표현으로서 묘사될 수 있다. 통합 컬러 묘사는 일부 컬러 공간 내의 컬러 값의 범위이나 분포를 가리킨다. 예컨대 통합 컬러 묘사는, 복수의 컬러 샘플의 각각의 컬러 샘플을 묘사하는, 다차원(multi-dimensional) 가우시안 함수의 평균 및 공분산(co-variance)이 될 수 있다. 통합 컬러 묘사의 다른 예는, 일부 컬러 공간 내의 범위의 경계가 될 수 있다. 본 발명의 실시예에서, 통합 컬러 묘사는 클래스, 즉 빈으로 생각될 수 있다.

본 발명의 실시예에서, 다른 데이터가 함께 수집되어서 분류 컬러 묘사 각각과 연관지어진다. 예컨대, 통합기(452)는, 개개의 컬러 묘사와 연관된 데이터에 기초해서, 개개의 컬러 묘사로부터 분류 컬러(221)의 통합 묘사를 형성할 수 있다. 일 실시예에서, 개개의 피부색 묘사의 그룹화가 수행되어서 통합 분류 컬러(221)를 형성하고, 이 그룹화는 이전의 트레이닝 기간 동안 추정된 피부색을 갖고 있는 서브젝트에게 할당된 라벨에 기초해서 이루어진다. 이 라벨은, 전문가가 피부 평가를 통해서 제공할 수도 있고, 트레이닝 서브젝트 자신이 제공할 수도 있고(예컨대, 앙케이트 조사를 통해서), 임의의 다른 수단을 통해서 제공할 수도 있다. 다른 실시예에서, 개개의 피부색의 그룹화가 수행되어서 분류 컬러 묘사(221)를 형성하고, 이 그룹화는 연관된 제품 추천을 공유하고 있는 개개의 피부색에 기초해서 이루어진다. 즉, 트레이닝 기간 동안, 트레이닝 서브젝트의 피부색 묘사가, 같은 제품 추천으로 연관지어졌다면, 통합기(452)는 이들 피부색 묘사를 같은 분류 컬러(221)로 그룹화한다. 또한, 본 발명의 실시예에서, 서브젝트의 피부색 추정값과 제품 추천과의 상관 관계는 저장되어서, 제품 추천 시스템(220)에 의한 트레이닝 단계에서 사용될 수 있다. 따라서, 유사한 피부색 추정값이 이후에 입력부(450)에 의해 액세스될 때, 트레이닝 기간 동안 저장된 이전의 상관 관계가 사용되어서 제품 추천을 결정하는데 도움을 줄 수 있다.

본 발명의 실시예에서, 비교기(451)는 피부색 추정값(413)의 컬러 묘사와 분류 컬러(221) 사이의 유사 정도를 나타내는, '차이값'을 생성한다. 많은 비교 방법이 본 발명의 실시예에서 사용될 수 있으며, 어떤 방법을 선택할지는 피부색 추정값(413)의 컬러 묘사와 분류 컬러(221)가 개개의 컬러 값인지 아니면 통합 컬러 묘사인지 여부에 따라 달라진다. 피부색 추정값(413)의 컬러 묘사가 개개의 컬러 값이고, 분류 컬러(221)가 통합 컬러 묘사인 경우에도, 아니면 그 반대인 경우에도 비교는 이루어 질 수 있다. 개개의 컬러 값 사이의 비교를 위해서, L1, L2, 무한 놈(infinity norms)이나 간단한 차분(뺄셈)과 같은, 다수의 다양한 데이터 비교의 표준법이 이용될 수 있다. 가우시안 형태의 개개의 컬러값과 통합 컬러 묘사를 비교하기 위해서, 마할라노비스(Mahalanobis) 거리가 한가지 적절한 측정 기준이 된다. 일정 공간에 확률 분포로 표현된 두개의 통합 컬러 묘사를 비교하기 위해서, 종종 쿨백-라이블러 거리측도(Kullback-Leibler divergence)가 적절한 측정 기준이 된다. 가우시안 분포로 표현된 통합 컬러 묘사를 비교하기 위해서, 평균 사이의 거리가 사용될 수 있으며, 가우시안 편차에 의해 결정된 스케일링(scaling)을 선택적으로 이용한다. 히스토그램으로 표현된 통합 컬러 묘사의 경우에, 널리 알려진 히스토그램 비교법 중 하나가 사용될 수 있다.

본 발명의 일부 실시예에서, 분류 컬러(221)의 세트는 컬러 "클래스"의 묘사 로 생각될 수 있으며, 컬러 비교 단계(예컨대, 도 1에서 120)는 적어도 하나의 분류기(예컨대, 비교기(451))에 의한 피부색 추정값(413)의 분류로 이루어진다. 본 발명의 실시예에서, 비교 단계에서 생성된 "차이값"은, 컬러 클래스(221)의 세트 중 일부에 대해서, 클래스 멤버 혹은 분류 멤버일 확률을 판정하거나 둘 다를 판정하는 기준이다. 클래스 멤버로 판정하는 것은 클래스 멤버 확률 추정의 특별한 경우로 간주될 수 있으며, 여기서 추정된 클래스 멤버일 확률은, 예컨대 컬러(예컨대, 피부색 추정값(413))가 각각 클래스 멤버라고 판정되는지, 클래스 멤버가 아니라고 판정되는지에 따라서, 항상 1 또는 0이다. 피부색 추정값(413)이 동일한 분류기(예컨대, 비교기(451))에 의해서 다수의 컬러 클래스(221)의 멤버라고 판정될 수도 있고, 아니면 어떤 클래스에도 속하지 않는다고 판정될 수도 있다. 피부색 추정값(413)이 다수의 컬러 클래스(221)의 멤버라고 판정되면, 컬러 멤버의 확률 추정값과 같은 추가적인 정보 혹은 컬러 클래스(221) 중 적어도 하나에 대응하는 차이값이, 분류 판정 결과로 대치되거나, 판정 결과에 부가될 수 있다.

본 발명의 실시예에서, 클래스 멤버 및 그 확률은, 사전 결정된 컬러 클래스(221)의 하나의 세트에 대해서 다수의 분류기에 의해 계산될 수도 있고, 사전 결정된 컬러 클래스(221)의 다수의 세트에 대해서 다수의 분류기에 의해 계산될 수도 있다. 본 발명의 실시예에 따라서, 수학 분야 및 컴퓨터 과학 분야에서, 신경망, 서포트 벡터 머신(Support Vector Machine), 리니어 디스크리미넌트(linear discriminants), 가우시안 모델, 의사 결정 트리(decision trees), MARS(Multivariate Adaptive Regression Splines) 분류기, CART(Classification and Regression Tree) 분류기 및 니어스트 네이버(nearest-neighbor) 분류기로 일반적으로 알려진 다양한 분류기가 사용될 수 있다. 본 발명의 실시예에서, 분류기는, 분류에 사용되기 전에, 표준 트레이닝이나 다른 방법을 통해서 구성될 수 있다.

본 발명의 실시예에서, 일단 차이값이나 분류 결과가 결정되면, 제품 추천 시스템(220)에 의해서 적어도 하나의 제품이 자동을 추천된다. 본 발명의 실시예에서, 어떤 제품을 추천할지 결정하기 위해서 다른 정보에 액세스할 수도 있다. 예컨대, 서브젝트(203)의 연령이나 인종은 물론, 현재의 패션 선호도 및 개인적인 고객 선호도가, 어떤 제품을 추천할지 결정하는데 영향을 미칠 수 있다.

제품 추천 처리는 일정한 규칙에 기초해서, 수학 및 컴퓨터 과학 분야에 공지된 방법을 포함한 다양한 방법으로 이루어질 수 있다. 일 실시예에서, 제품 추천은 적어도 하나의 분류기를 분류 컬러(221)와 피부색 추정값(413) 사이의 차이값(예컨대, 도 1의 단계 120에서 획득된 값) 중 적어도 하나에 적용함으로써 이루어진다. 다른 실시예에서, 피부색 추정값(413)과의 차이가 가장 작은 차이값을 가진 분류 컬러(221)와 연관지어진 제품 추천이 선택된다. 다른 실시예에서, 제품 추천은 분류 컬러(221)와 연관될 수 있으며, 일정 공간의 수치 벡터로서 표현될 수 있다. 제품 추천의 출력은, 사전에 결정된 수학적인 함수가 이들 벡터 및 위에 설명한 컬러 차이값에 적용된 결과가 될 수 있다.

일 실시예에서, 최종 제품 추천을 작성할 때, 피부색 추정값(413)과 유사한 분류 컬러와 연관지어진 트레이닝 세트 제품 추천은 더 높은 가중치를 부여받는다. 예컨대, 차이 값은, 사전 정의된 함수에 따라서, 차이 값이 작을수록 큰 수치값이나 가중치로 변환되고, 이후에 이들 가중치를 사용해서, 트레이닝 세트 제품 추천의 스케일러 수치 표현 혹은 벡터 수치 표현이 가중된 합으로서 결합된다. 이 합을 가중치의 합으로 나누고, 그 결과 나온 수치값에 대응하는 추천이 최종 제품 추천으로서 사용된다. 이러한 수학적인 함수의 예는 다음과 같이 절차로 설명될 수 있다.

피부색 추정값(413)과의 차이가 가장 적은 N개의 차이 측정값을 가진 N개의 분류 컬러(221)를 선택하고,

N개의 컬러 차이 측청값을 소정의 함수를 통해서 N개의 클래스 가중치로 변환하며,

N개의 클래스 각각 내에서, 그 클래스의 개개의 트레이닝 멤버와 연관지어진 제품의 추천 횟수를 계산하고,

선택된 N개의 클래스 각각 내의 제품 추천 횟수를 소정의 함수를 통해서 "추천 가중치"로 변환하며,

추천 가중치와 대응하는 클래스 가중치를 곱해서 "최종 가중치"를 생성하고,

최종 가중치를 이용해서 선택된 N개의 클래스와 연관지어진 제품 추천 모두에 대해 가중된 합을 계산하며,

최종 가중치의 합으로 나누어서 제품 추천의 수치적인 표현을 획득한다.

다른 실시예에서는, 분류 컬러(221)와 피부색 추정값(413) 사이의 차이 측청값이나, 분류 컬러(221) 각각과 연관된 제품 추천의 통계, 혹은 이들 모두를 이용 하는, 다른 수학적인 처리나 규칙-기반 방법이 적용되어서, 제품 추천을 획득한다.

도 4c는 본 발명의 실시예에 따른 분류 컬러(221)와 제품 사이의 예시적인 상관 관계를 나타낸다. 본 발명의 실시예에서, 분류 컬러나 컬러 클래스와 하나 이상의 제품과의 사이의 상관 관계가 데이터베이스(455)에 저장된다. 도 4c에 도시된 바와 같이, 복수의 분류 컬러(예컨대, 461, 462, 463, 464, 465, 466)가 대응하는 제품(예컨대, 471, 472, 473, 474, 475, 476)과 연관되어 있다. 분류 컬러와 특정 제품이 반드시 일대일 대응하는 것은 아니라는 점에 주의한다. 즉, 경우에 따라서, 하나의 분류 컬러(예컨대, 462)가 하나 이상의 제품(예컨대, 472 및 473)과 연관될 수 있다. 유사하게, 하나의 주어진 제품(예컨대, 475)이 하나 이상의 분류 컬러(예컨대, 464 및 465)와 연관될 수 있다. 분류 컬러와 제품 사이의 상관 관계는 위에 설명한 바와 같은 트레이닝을 통해서 수행될 수도 있고, 본 발명의 실시예에서, 수동으로(예컨대, 한 사람의 판단을 통해서) 성립될 수도 있다는 점을 이해할 것이다. 유사하게, 분류 컬러(예컨대, 461, 462, 463, 464, 465, 466)는 개개의 컬러 값 혹은 통합 컬러 값을 포함할 수도 있고, 본 발명의 실시예에 따라서, 컬러 값의 범위나 분포를 포함할 수도 있다.

도 6은 본 발명의 실시예가 구현될 수 있는 예시적인 컴퓨터 시스템(600)의 블록도이다. 본 발명의 실시예에서, 본 발명 중 일부는, 예컨대, 범용 컴퓨터 네트워크(도시 생략)의 일부로서 사용되는 컴퓨터 시스템(600)에 내장된, 컴퓨터-판독 가능 인스트럭션 및 컴퓨터-실행가능 인스트럭션으로 이루어진다. 도 6의 컴퓨터 시스템(600)은 단지 예시일 뿐, 본 발명은 범용 컴퓨터 시스템, 내장형 컴퓨터 시 스템, 랩톱 컴퓨터 시스템, 휴대형 컴퓨터 시스템 및 단독형 컴퓨터 시스템을 포함한, 다수의 서로 다른 컴퓨터 시스템 내에서 동작할 수 있다는 점을 이해할 것이다.

본 실시예에서, 컴퓨터 시스템(600)은 다양한 구성 요소 사이에서 디지털 정보를 전달하는 어드레스/데이터 버스(601), 이 디지털 정보 및 인스트럭션을 처리하는 중앙 처리 장치(CPU)(602), 이 디지털 정보 및 인스트럭션을 저장하는 휘발성 RAM으로 이루어진 휘발성 메인 메모리(603) 및 더 영구적인 성격의 정보 및 인스트럭션을 저장하는 비-휘발성 ROM(604)을 포함한다. 또한, 컴퓨터 시스템(600)은 많은 양의 데이터를 저장하는 데이터 저장 장치(605)(예컨대, 자기, 광학, 플로피 혹은 테이프 드라이브 등)를 포함할 수도 있다. 본 발명의 제품 컨설팅을 수행하는 소프트웨어 프로그램은 휘발성 메모리(603), 데이터 저장 장치(605) 혹은 외부 저장 장치(도시 생략)에 저장될 수 있다는 점에 주의한다.

컴퓨터 시스템(600)에 선택적으로 연결되는 장치로는, 컴퓨터 사용자에게 정보를 표시하는 디스플레이 장치(606), 문자-숫자 입력 장치(607)(예컨대, 키보드) 및 데이터, 선택, 업데이트 등을 입력하는 커서 제어 장치(608)(예컨대, 마우스, 트랙볼, 라이트펜 등)이 있다. 컴퓨터 시스템(600)은 가청 신호를 내는 메커니즘(도시 생략)을 포함할 수도 있다.

도 6을 계속 참조하면, 도 6의 선택적인 디스플레이 장치(606)는 액정 장치, 음극선관 혹은 사용자가 인식할 수 있는 그래픽 이미지 및 문자-숫자를 생성하기에 적합한 다른 디스플레이 장치가 될 수 있다. 선택적인 커서 제어 장치(608)를 이용 해서, 컴퓨터 사용자는 디스플레이 장치(606)의 디스플레이 스크린 상의 가시적인 심볼(커서)의 2차원 이동 신호를 동적으로 보낼 수 있다. 트랙볼, 마우스, 터치 패드, 조이스틱, 또는 임의의 주어진 방향 혹은 방식으로 변위하는 이동을 시그널링할 수 있는 문자 숫자 입력 장치(607) 상의 특수키를 포함한, 커서 제어 장치(608)의 여러 구현예가 공지되어 있다. 다른 방안으로, 특수 키 및 키 시퀀스 커맨드를 이용하는 문자-숫자 입력 장치(607)로부터의 입력을 통해서 커서의 방향을 정하고, 활성화시킬 수 있다는 것을 이해할 것이다. 다른 방안으로, 다수의 특수하게 개조된 커서 방향 설정 장치로부터의 입력을 통해 커서의 방향을 정하고, 활성화사킬 수 있다.

또한, 컴퓨터 시스템(600)은 주변 장치(610)(예를 들어, 컴퓨터 네트워크, 모뎀, 대용량 저장 장치 등)와 인터페이싱하기 위해 입출력(I/O) 신호 유닛(인터페이스)(609)을 포함할 수 있다. 따라서, 컴퓨터 시스템(600)은 클라이언트/서버 환경과 같은 네트워크에 연결될 수 있고, 이로써 다수의 클라이언트(예를 들어, 퍼스널 컴퓨터, 워크스테이션, 휴대용 컴퓨터, 미니컴퓨터, 단말기 등)를 이용해서 프로세스를 실행해서 원하는 작업을 수행할 수도 있다. 특히, 컴퓨터 시스템(600)은 이미지로부터 추정된 피부색에 기초해서 제품을 추천하는 시스템에 연결될 수 있다.

본 발명의 바람직한 실시예, 이미지로부터 추정된 피부색에 기초해서 제품을 추천하는 방법 및 시스템이 설명되었다. 본 발명이 특정 실시예로 설명되었지만, 본 발명은 이러한 실시예로 한정되는 것이 아니라, 이하의 청구의 범위에 따라 해 석되어야 한다는 점을 이해해야 한다.

Claims (10)

1. 이미지로부터 추정된 피부색에 기초해서 제품을 추천하는, 컴퓨터 구현된 방법에 있어서,

   이미지(202)로부터 생성된 피부색 추정값(413)에 액세스하는 단계와,

   상기 피부색 추정값(413)을 분류 컬러(461)와 비교하는 단계와,

   상기 분류 컬러(461)와 적어도 하나의 제품(471) 사이의 상관 관계에 액세스하는 단계와,

   상기 분류 컬러(461)와 관련된 적어도 하나의 제품(471)을 추천하는 단계를 포함하는

   컴퓨터 구현된 방법.
2. 제 1 항에 있어서,

   상기 이미지(202)를 기준 컬러 공간(208)에서 처리하는 단계를 더 포함하며,

   상기 피부색 추정값(413)은 주변 광 및 상기 이미지(202)를 생성하는데 사용된 이미지 캡쳐 장치(201)의 컬러 변환과는 무관한

   컴퓨터 구현된 방법.
3. 제 1 항에 있어서,

   상기 분류 컬러(461)는 사람의 피부색을 나타내는

   컴퓨터 구현된 방법.
4. 제 1 항에 있어서,

   상기 분류 컬러(461)는, 화장품, 의류 제품, 두발 관리 제품 및 시력 교정 제품으로 이루어진 그룹으로부터 선택된 제품(471)을 나타내는

   컴퓨터 구현된 방법.
5. 제 1 항에 있어서,

   복수의 컬러 값 각각 및 통합 컬러 묘사로 이루어진 그룹으로부터 선택된, 상기 피부색 추정값(413)의 묘사 및 상기 분류 컬러(461)의 묘사를 생성하는 단계를 더 포함하는

   컴퓨터 구현된 방법.
6. 제 1 항에 있어서,

   상기 적어도 하나의 제품(471)과 관련된 복수의 상기 분류 컬러(461)를 하나의 클래스로 통합하는 단계를 더 포함하는

   컴퓨터 구현된 방법.
7. 제 1 항에 있어서,

   복수의 컬러 묘사를 통합해서 상기 분류 컬러(461)를 구성하는 단계와,

   상기 분류 컬러(461)의 통합 컬러 묘사를 생성하는 단계와,

   상기 통합 컬러 묘사를 상기 피부색 추정값(413)의 묘사와 비교하는 단계

   를 더 포함하는

   컴퓨터 구현된 방법.
8. 제 1 항에 있어서,

   상기 피부색 추정값(413)과 대응하는 복수의 분류 컬러(461)과의 사이의 복수의 차이값을 계산하는 단계와,

   상기 복수의 차이값을 순서화하는 단계와,

   상기 복수의 분류 컬러(461) 중 가장 작은 상기 복수의 차이값을 가진 분류 컬러(461)와 관련된 적어도 하나의 상기 제품(471)을 추천하는 단계

   를 더 포함하는

   컴퓨터 구현된 방법.
9. 제 8 항에 있어서,

   상기 추천 단계는, 상기 피부색 추정값(413)과 상기 적어도 하나의 제품(471) 사이의 상관 관계를 나타내는 대응 확률을 생성하는 단계를 더 포함하는

   컴퓨터 구현된 방법.
10. 제 1 항에 있어서,

    상기 분류 컬러(461)는 상기 적어도 하나의 제품(471)을 나타내는

    컴퓨터 구현된 방법.

Images