KR102491291B1

KR102491291B1 - 헤어 스타일 추천 장치 및 방법

Info

Publication number: KR102491291B1
Application number: KR1020220122740A
Authority: KR
Inventors: 유제정; 정재민; 이종하; 김영신
Original assignee: 주식회사 미러로이드
Priority date: 2022-09-27
Filing date: 2022-09-27
Publication date: 2023-01-27
Also published as: WO2024071828A1

Abstract

본 명세서는 헤어 스타일 추천 장치 및 헤어 스타일 추천 방법에 관한 것이다. 상기 헤어 스타일 추천 방법은, 제1 인물의 이미지로부터 얼굴 영역의 이미지, 머리 영역의 이미지 및 신체 영역의 이미지를 획득하는 단계; 상기 제1 인물의 얼굴 영역 이미지를 얼굴 특징 추출 모델에 입력하기 위한 전처리를 수행하고, 상기 제1 인물의 머리 영역 이미지를 헤어 특징 추출 모델에 입력하기 위한 전처리를 수행하고, 및 상기 제1 인물의 신체 영역 이미지를 패션 특징 추출 모델에 입력하기 위한 전처리를 수행하는 단계; 상기 제1 인물의 얼굴 영역 이미지의 전처리 결과를 상기 얼굴 특징 추출 모델에 입력하여 얼굴 특징 벡터를 추출하고, 상기 제1 인물의 머리 영역 이미지의 전처리 결과를 상기 헤어 특징 추출 모델에 입력하여 헤어 특징 벡터를 추출하고, 및 상기 제1 인물의 신체 영역 이미지의 전처리 결과를 상기 패션 특징 추출 모델에 입력하여 패션 특징 벡터를 추출하는 단계; 및 상기 얼굴 특징 벡터, 상기 헤어 특징 벡터, 상기 패션 특징 벡터 및 추천 헤어 스타일을 딥러닝 추천 모델에 입력하여 상기 추천 헤어 스타일에 대한 상기 제1 인물의 반응 점수를 산출하는 단계;를 포함하되, 상기 딥러닝 추천 모델은 얼굴, 헤어 및 패션에 대해서 어떤 특징을 가지는 제2 인물에게 추천된 헤어 스타일과 상기 제2 인물에게 추천된 헤어 스타일에 대한 상기 제2 인물의 반응의 관계를 학습한 것으로, 얼굴 특징, 헤어 특징 및 패션 특징을 가진 다수의 고객의 특정 헤어 스타일에 대한 만족도 및 반응 등을 고려하여 고객이 만족할 만한 헤어 스타일을 추천할 수 있는 효과가 있다.

Description

헤어 스타일 추천 장치 및 방법{APPARATUS AND METHOD FOR RECOMMENDING HAIRSTYLES}

본 명세서는 고객의 특징을 고려하여 고객이 만족할 만한 헤어 스타일을 추천하는 장치 및 이에 의한 헤어 스타일 추천 방법에 관한 것이다.

이 발명은 '팁스(창업성장기술개발사업, TIPS과제 - S3200667)'의 지원으로 출원된 결과입니다.

최근 미용 분야에서는 고객이 원하는 여러 가지 헤어스타일을 미리 체험해보고 시술할 헤어스타일을 결정하는 가상 헤어 스타일링 체험 서비스가 제공되고 있다. 가상 헤어 스타일링 체험 서비스는 체험자의 얼굴 사진에 가상으로 생성한 모발 영상을 합성 또는 중첩하여 출력함으로써 체험자에게 미리 헤어스타일을 시술한 것과 같은 체험을 제공하는 서비스이다.

이러한 가상 헤어 스타일링 체험을 고객에게 제공할 때, 서비스 제공자는 고객에게 어울릴 만한 헤어 스타일을 선택하여 고객에게 추천하고, 추천된 헤어 스타일 중에서 고객은 마음에 드는 헤어 스타일을 결정하여 가상 체험을 한 뒤, 이를 실제로 시술하는 결정을 한다.

위 기재된 내용은 오직 본 발명의 기술적 사상들에 대한 배경 기술의 이해를 돕기 위한 것이며, 따라서 그것은 본 발명의 기술 분야의 당업자에게 알려진 선행 기술에 해당하는 내용으로 이해될 수 없다.

그러나, 스타일리스트는 본인의 경험에 근거하여 여러 가지 헤어 스타일 샘플들을 살펴본 후, 고객(체험자)에게 어울릴 만한 헤어 스타일을 선택하여 추천하거나, 복수의 헤어 스타일 샘플 중에서 고객이 마음에 드는 헤어 스타일을 직접 선택하는 등의 방법으로 이루어지기 때문에, 추천 헤어 스타일의 선택에 시간이 많이 걸리는 문제점이 있었다.

또한, 헤어 스타일은 시술 받는 사람의 두상 또는 얼굴 특징에 기초하여 추천되지만, 이뿐 아니라 헤어 특징 및 패션 특징도 고려되어 선택/추천될 필요가 있지만 이러한 특징은 간과된 채로 추천되는 문제가 있다.

또한, 전술한 고객의 특징들을 판단할 때, 종래에는 사람의 주관에 의해 판단되어 추천 기준이 안정적이지 못한 문제도 있다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 명세서는 헤어 스타일 추천 장치에 의해 수행되는 헤어 스타일 추천 방법을 제시한다. 상기 헤어 스타일 추천 방법은, 제1 인물의 이미지로부터 얼굴 영역의 이미지, 머리 영역의 이미지 및 신체 영역의 이미지를 획득하는 단계; 상기 제1 인물의 얼굴 영역 이미지를 얼굴 특징 추출 모델에 입력하기 위한 전처리를 수행하고, 상기 제1 인물의 머리 영역 이미지를 헤어 특징 추출 모델에 입력하기 위한 전처리를 수행하고, 및 상기 제1 인물의 신체 영역 이미지를 패션 특징 추출 모델에 입력하기 위한 전처리를 수행하는 단계; 상기 제1 인물의 얼굴 영역 이미지의 전처리 결과를 상기 얼굴 특징 추출 모델에 입력하여 얼굴 특징 벡터를 추출하고, 상기 제1 인물의 머리 영역 이미지의 전처리 결과를 상기 헤어 특징 추출 모델에 입력하여 헤어 특징 벡터를 추출하고, 및 상기 제1 인물의 신체 영역 이미지의 전처리 결과를 상기 패션 특징 추출 모델에 입력하여 패션 특징 벡터를 추출하는 단계; 및 상기 얼굴 특징 벡터, 상기 헤어 특징 벡터, 상기 패션 특징 벡터 및 추천 헤어 스타일을 딥러닝 추천 모델에 입력하여 상기 추천 헤어 스타일에 대한 상기 제1 인물의 반응 점수를 산출하는 단계;를 포함하되, 상기 딥러닝 추천 모델은 얼굴, 헤어 및 패션에 대해서 어떤 특징을 가지는 제2 인물에게 추천된 헤어 스타일과 상기 제2 인물에게 추천된 헤어 스타일에 대한 상기 제2 인물의 반응의 관계를 학습한 것 일 수 있다.

상기 헤어 스타일 추천 방법 및 그 밖의 실시예는 다음과 같은 특징을 포함할 수 있다.

실시 예에 따라, 상기 딥러닝 추천 모델의 학습 과정은, 상기 제2 인물의 이미지로부터 얼굴 영역의 이미지, 머리 영역의 이미지 및 신체 영역의 이미지를 획득하는 단계; 상기 제2 인물의 얼굴 영역 이미지, 상기 제2 인물의 머리 영역 이미지 및 상기 제2 인물의 신체 영역 이미지를 특징 추출 모델에 입력하기 위한 전처리를 수행하는 단계; 상기 제2 인물의 얼굴 영역 이미지의 전처리 결과를 상기 얼굴 특징 추출 모델에 입력하여 상기 제2 인물의 얼굴 특징 벡터를 추출하고, 상기 제2 인물의 머리 영역 이미지의 전처리 결과를 상기 헤어 특징 추출 모델에 입력하여 상기 제2 인물의 헤어 특징 벡터를 추출하고, 상기 제2 인물의 신체 영역 이미지의 전처리 결과를 상기 패션 특징 추출 모델에 입력하여 상기 제2 인물의 패션 특징 벡터를 추출하는 단계; 상기 장치에 출력되는 추천 헤어 스타일 이미지에 대한 상기 제2 인물의 반응 데이터를 수집하는 단계; 및 상기 제2 인물의 얼굴 특징 벡터, 상기 제2 인물의 헤어 특징 벡터, 상기 제2 인물의 패션 특징 벡터, 상기 추천 헤어 스타일 이미지 및 상기 제2 인물의 반응 데이터를 상기 딥러닝 추천 모델에 입력하여 상기 딥러닝 추천 모델을 학습시키는 단계;를 포함할 수 있다.

실시 예에 따라, 또한, 상기 헤어 스타일 추천 장치는, 얼굴 영역의 이미지로부터 얼굴 특징점을 검출하여 얼굴 영역으로 자르고 정렬하는 전처리를 수행하고, 머리 영역의 이미지로부터 얼굴 특징점을 검출하여 모발을 포함하는 얼굴 영역으로 자른 뒤 세분화하여, 얼굴 영역 및 모발 영역에 대한 부분 이미지를 추출하는 전처리를 수행하고, 신체 영역의 이미지를 세분화 한 뒤, 패션 아이템에 영역에 대한 부분 이미지를 추출하는 전처리를 수행할 수 있다.

실시 예에 따라, 또한, 상기 반응 데이터는, 추천 헤어 스타일에 대한 의식적 반응 데이터 및 무의식적 반응 데이터를 포함하고, 상기 의식적 반응은 추천 헤어 스타일에 대한 선호 여부 표시 및 추천 헤어 스타일에 대한 만족도 정보를 포함하고, 상기 무의식적 반응은 추천 헤어 스타일에 대한 클릭 수, 추천 헤어 스타일에 대한 터치 수, 및 추천 헤어 스타일에 대한 시선 유지 시간을 포함할 수 있다.

실시 예에 따라, 또한, 상기 얼굴 특징 벡터는 상기 얼굴 특징 추출 모델이 얼굴 영역 이미지로부터 얼굴 특징 분류 결과를 나타내는 잠재 벡터(latent vector)이고, 상기 헤어 특징 벡터는 상기 헤어 특징 추출 모델이 머리 영역 이미지로부터 헤어 특징 분류 결과를 나타내는 잠재 벡터이고, 상기 패션 특징 벡터는 상기 패션 특징 추출 모델이 신체 영역 이미지로부터 패션 특징 분류 결과를 나타내는 잠재 벡터일 수 있다.

실시 예에 따라, 또한, 상기 헤어 특징 벡터는, 헤어 스타일 특징 정보 및 헤어 속성 특징 정보를 포함하고, 상기 헤어 스타일 특징 정보는 헤어 스타일의 종류 정보 및 모발 길이 정보를 포함하고, 상기 헤어 속성 특징 정보는 모발 굵기 정보, 모발 량 정보 및 모발 타입 정보를 포함할 수 있다.

실시 예에 따라, 또한, 상기 반응 데이터는, 상기 추천 헤어 스타일을 추천한 헤어 디자이너의 만족도 정보를 더 포함할 수 있다.

한편, 본 명세서는 헤어 스타일 추천 장치를 제시한다. 상기 장치는, 저장부; 및 상기 저장부와 기능적으로 연결되는 제어부;를 포함하되, 상기 저장부는 상기 제어부에 의해 생성된 데이터, 얼굴 특징 추출 모델, 헤어 특징 추출 모델, 패션 특징 추출 모델 및 딥러닝 추천 모델을 저장하고, 상기 제어부는, 제1 인물의 이미지로부터 얼굴 영역의 이미지, 머리 영역의 이미지 및 신체 영역의 이미지를 획득하고, 상기 제1 인물의 얼굴 영역 이미지를 얼굴 특징 추출 모델에 입력하기 위한 전처리를 수행하고, 상기 제1 인물의 머리 영역 이미지를 헤어 특징 추출 모델에 입력하기 위한 전처리를 수행하고, 및 상기 제1 인물의 신체 영역 이미지를 패션 특징 추출 모델에 입력하기 위한 전처리를 수행하고, 상기 제1 인물의 얼굴 영역 이미지의 전처리 결과를 상기 얼굴 특징 추출 모델에 입력하여 얼굴 특징 벡터를 추출하고, 상기 제1 인물의 머리 영역 이미지의 전처리 결과를 상기 헤어 특징 추출 모델에 입력하여 헤어 특징 벡터를 추출하고, 및 상기 제1 인물의 신체 영역 이미지의 전처리 결과를 상기 패션 특징 추출 모델에 입력하여 패션 특징 벡터를 추출하고, 상기 얼굴 특징 벡터, 상기 헤어 특징 벡터, 상기 패션 특징 벡터 및 추천 헤어 스타일을 딥러닝 추천 모델에 입력하여 상기 추천 헤어 스타일에 대한 상기 제1 인물의 반응 점수를 산출하되, 상기 딥러닝 추천 모델은 얼굴, 헤어 및 패션에 대해서 어떤 특징을 가지는 제2 인물에게 추천된 헤어 스타일과 상기 제2 인물에게 추천된 헤어 스타일에 대한 상기 제2 인물의 반응의 관계를 학습한 것일 수 있다.

상기 헤어 스타일 추천 장치 및 그 밖의 실시예는 다음과 같은 특징을 포함할 수 있다.

실시 예에 따라, 상기 제어부는, 상기 제2 인물의 이미지로부터 얼굴 영역의 이미지, 머리 영역의 이미지 및 신체 영역의 이미지를 획득하고, 상기 제2 인물의 얼굴 영역 이미지, 상기 제2 인물의 머리 영역 이미지 및 상기 제2 인물의 신체 영역 이미지를 특징 추출 모델에 입력하기 위한 전처리를 수행하고, 상기 제2 인물의 얼굴 영역 이미지의 전처리 결과를 상기 얼굴 특징 추출 모델에 입력하여 상기 제2 인물의 얼굴 특징 벡터를 추출하고, 상기 제2 인물의 머리 영역 이미지의 전처리 결과를 상기 헤어 특징 추출 모델에 입력하여 상기 제2 인물의 헤어 특징 벡터를 추출하고, 상기 제2 인물의 신체 영역 이미지의 전처리 결과를 상기 패션 특징 추출 모델에 입력하여 상기 제2 인물의 패션 특징 벡터를 추출하고, 상기 장치에 출력되는 추천 헤어 스타일 이미지에 대한 상기 제2 인물의 반응 데이터를 수집하고, 상기 제2 인물의 얼굴 특징 벡터, 상기 제2 인물의 헤어 특징 벡터, 상기 제2 인물의 패션 특징 벡터, 상기 추천 헤어 스타일 이미지 및 상기 제2 인물의 반응 데이터를 상기 딥러닝 추천 모델에 입력하여 상기 딥러닝 추천 모델을 학습시킬 수 있다.

실시 예에 따라, 또한, 상기 제어부는, 얼굴 영역의 이미지로부터 얼굴 특징점을 검출하여 얼굴 영역으로 자르고 정렬하는 전처리를 수행하고, 머리 영역의 이미지로부터 얼굴 특징점을 검출하여 모발을 포함하는 얼굴 영역으로 자른 뒤 세분화하여, 얼굴 영역 및 모발 영역에 대한 부분 이미지를 추출하는 전처리를 수행하고, 신체 영역의 이미지를 세분화 한 뒤, 패션 아이템에 영역에 대한 부분 이미지를 추출하는 전처리를 수행할 수 있다.

실시 예에 따라, 또한, 상기 반응 데이터는, 추천 헤어 스타일에 대한 의식적 반응 데이터 및 무의식적 반응 데이터를 포함하고, 상기 의식적 반응 데이터는 추천 헤어 스타일에 대한 선호 여부 표시 및 추천 헤어 스타일에 대한 만족도 정보를 포함하고, 상기 무의식적 반응 데이터는 추천 헤어 스타일에 대한 클릭 수, 추천 헤어 스타일에 대한 터치 수, 및 추천 헤어 스타일에 대한 시선 유지 시간을 포함하는 할 수 있다.

실시 예에 따라, 또한, 상기 헤어 특징 벡터는, 헤어 스타일 특징 정보 및 헤어 속성 특징 정보를 포함하고, 상기 헤어 스타일 특징 정보는 헤어 스타일의 종류 정보 및 모발 길이 정보를 포함하고, 상기 헤어 속성 특징 정보는 모발 굵기 정보, 모발 량 정보, 모발 타입 정보를 포함할 수 있다.

또 다른 한편, 본 명세서는 컴퓨터프로그램을 제시한다. 상기 컴퓨터 프로그램은, 하드웨어와 결합되어, 전술한 헤어 스타일 추천 방법이 포함하는 각 단계를 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장될 수 있다.

본 명세서에 개시된 실시 예들에 의하면, 고객의 얼굴 특징, 헤어 특징 및 패션 특징을 고려하여, 고객이 만족할 만한 헤어 스타일을 추천할 수 있는 효과가 있다.

또한, 본 명세서에 개시된 실시 예들에 의하면, 사람의 주관이 아니라 유사한 얼굴 특징, 헤어 특징 및 패션 특징을 가진 다수의 고객의 특정 헤어 스타일에 대한 만족도 및 반응 등을 고려하여 고객이 만족할 만한 헤어 스타일을 추천할 수 있는 효과가 있다.

또한, 본 명세서에 개시된 실시 예들에 의하면, 추천된 헤어 스타일에 대한 고객들의 의식적 반응뿐만 아니라 무의식적인 반응까지 고려하여 고객에게 알맞은 헤어 스타일을 추천할 수 있는 효과가 있다.

한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명을 실시하기 위한 구체적인 내용과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 일 실시 예에 따른 헤어 스타일 추천 방법을 설명하기 위한 도면이다.
도 2는 일 실시 예에 따른 헤어 스타일 추천 장치의 구성을 도시한다.
도 3은 일 실시 예에 따른 헤어 스타일 추천 방법을 설명하는 순서도이다.
도 4는 일 실시 예에 따른 헤어 스타일 추천 방법에 의한 얼굴 특징 추출 프로세스를 설명하는 도면이다.
도 5는 얼굴 특징 벡터를 추출하기 위한 인물 이미지의 전처리 과정을 간략하게 도시한 도면이다.
도 6은 일 실시 예에 따른 헤어 스타일 추천 방법에 의한 헤어 특징 추출 프로세스를 설명하는 도면이다.
도 7은 헤어 특징 추출을 위해서 인물 사진을 세분화하여 헤어 부분과 얼굴 부분을 파싱하는 예를 도시하는 도면이다.
도 8은 일 실시 예에 따른 헤어 스타일 추천 방법에 의한 패션 특징 추출 프로세스를 설명하는 도면이다.
도 9는 패션 특징 추출을 위해서 인물 사진을 세분화하여 얼굴 부분, 헤어 부분을 포함한 패션 아이템들을 파싱하는 예를 도시하는 도면이다.
도 10은 일 실시 예에 따른 헤어 스타일 추천 방법에서 사용되는 딥러닝 추천 모델의 예를 도시한다.

본 명세서에 개시된 기술은 헤어 스타일 추천 장치 및 방법에 적용될 수 있다. 그러나 본 명세서에 개시된 기술은 이에 한정되지 않고, 상기 기술의 기술적 사상이 적용될 수 있는 모든 장치 및 방법에도 적용될 수 있다.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 명세서에 개시된 기술의 사상을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 명세서에 개시된 기술의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 명세서에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥 상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예들을 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 기술의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 그 기술의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

명세서 전체에서, 장치 또는 단말은 서버 또는 다른 장치와 유선 또는 무선 통신할 수 있는 통신 단말 또는 통신 장치를 포함한다. 장치 또는 단말의 형태는 휴대전화, 스마트폰, 스마트패드, 랩톱 컴퓨터, 데스크톱 컴퓨터, 스마트티브이, 웨어러블 디바이스, 거울 형태의 디스플레이 장치, 스마트미러 등과 같이 다양한 형태를 가질 수 있다. 웨어러블 디바이스는 워치형 단말기, 글래스형 단말기, HMD 등과 같이 다양할 수 있다. 또한, 단말은 이러한 형태에 한정되지 않고 다양한 전자 장치로 구현될 수 있다.

이하에서는 첨부의 도면을 참조하여 실시 예를 상세하게 설명한다.

도 1은 일 실시 예에 따른 헤어 스타일 추천 방법을 설명하기 위한 도면이다.

도 1을 참조하면, 실시 예에 따른 헤어 스타일 추천 방법은 고객의 인물 이미지(1)로부터 얼굴 특징 추출 모델(10)을 통해서 얼굴 특징을 추출하고, 헤어 특징 추출 모델(20)을 통해서 헤어 특징을 추출하고, 패션 특징 추출 모델(30)을 통해서 패션 특징을 추출한다. 추출된 얼굴 특징, 헤어 특징 및 패션 특징과, 이러한 특징이 추출된 고객에게 어울릴 것으로 판단되는 추천 헤어 스타일(2)을 함께 헤어 스타일 추천 모델(40)에 입력하면, 헤어 스타일 추천 모델(40)은 추천 헤어 스타일(2)에 대한 해당 고객의 의식적인 반응과 무의식적인 반응을 예측한 뒤 점수화하여 출력함으로써, 고객에게 추천할 헤어 스타일 DB 중에서 가장 예측 점수가 높은 헤어 스타일을 고객에게 추천한다.

이러한 추천을 위해, 실시 예에 따른 헤어 스타일 추천 장치(100)의 헤어 스타일 추천 모델(40)은 어떠한 얼굴 특징, 어떠한 헤어 특징 및 어떠한 패션 특징을 가진 고객들에 대해서, 그 고객에게 추천된 헤어 스타일과 추천된 헤어 스타일에 대한 고객의 반응의 관계를 딥러닝으로 학습한다. 따라서 딥러닝 기반의 헤어 스타일 추천 모델(40)이 다양한 특징을 가지는 고객들에 대해서 다양한 추천 헤어 스타일에 대한 이들 고객들의 반응을 충분히 학습하면, 어떠한 얼굴, 헤어 및 패션 특징을 가지는 고객의 특징 정보와 추천 헤어 스타일 정보가 입력될 때, 추천 헤어 스타일에 대한 고객의 반응을 예측할 수 있게 된다. 이하에서는 상기 헤어 스타일 추천 모델(40)은 딥러닝 추천 모델이라고 지칭된다.

이하에서는 첨부의 도면을 참조하여 실시 예에 따른 헤어 스타일 추천 장치(100) 및 이의 기능을 상세하게 설명한다.

도 2는 일 실시 예에 따른 헤어 스타일 추천 장치의 구성을 도시한다.

도 2를 참조하면, 헤어 스타일 추천 장치(100)는 통신부(110), 저장부(120), 및 제어부(130)를 포함하여 구성될 수 있다. 도시된 구성요소들은 필수적인 것은 아니어서, 그 보다 많은 구성요소들을 갖거나, 그보다 적은 구성요소들을 갖는 헤어 스타일 추천 장치(100)가 구현될 수도 있다. 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합을 통해서 구현될 수 있다.

통신부(110)는 네트워크를 통해 외부의 장치와 데이터를 송수신할 수 있다.

저장부(120)는 제어부(130)에 의해 생성된 데이터 또는 통신부(110)를 통해 수신된 데이터를 저장할 수 있다. 또한, 저장부(120)는 얼굴 특징 추출 모델(10), 헤어 특징 추출 모델(20), 패션 특징 추출 모델(30) 및 딥러닝 추천 모델(40)을 저장할 수 있다.

제어부(130)는 통신부(110) 및 저장부(120)와 기능적으로 연결된다.

아래에서는 도 2 내지 도 10을 참조하여, 헤어 스타일 추천 장치(100)에 의한 헤어 스타일 추천 방법을 설명한다.

도 3은 일 실시 예에 따른 헤어 스타일 추천 방법을 설명하는 순서도이다.

도 2 내지 도 3을 참조하면, 제어부(130)는 입력된 고객의 인물 이미지 한 장으로부터 얼굴 영역의 이미지, 머리 영역의 이미지 및 신체 영역의 이미지를 획득(S100)한 뒤, 고객의 얼굴 영역 이미지를 얼굴 특징 추출 모델(10)에 입력하기 위한 전처리를 수행하고, 고객의 머리 영역 이미지를 헤어 특징 추출 모델(20)에 입력하기 위한 전처리를 수행하고, 고객의 신체 영역 이미지를 패션 특징 추출 모델(30)에 입력하기 위한 전처리를 수행한다(S110). 다음으로, 제어부(130)는 얼굴 영역 이미지의 전처리 결과를 얼굴 특징 추출 모델(10)에 입력하여 얼굴 특징 벡터를 추출하고, 머리 영역 이미지의 전처리 결과를 헤어 특징 추출 모델(20)에 입력하여 헤어 특징 벡터를 추출하고, 신체 영역 이미지의 전처리 결과를 패션 특징 추출 모델(30)에 입력하여 패션 특징 벡터를 추출한다(S120). 고객의 인물 이미지는 통신부(110) 및 외부 저장 장치(도시하지 않음)를 통해서 입력될 수 있고, 헤어 스타일 추천 장치(100)에 구비된 카메라(도시하지 않음)에 의해서 촬영되어 획득될 수도 있다. 특징 벡터 추출 모델들(10, 20, 30)은 예를 들어 모두 MobileNetV2 모델이 사용될 수 있다.

도 4는 일 실시 예에 따른 헤어 스타일 추천 방법에 의한 얼굴 특징 추출 프로세스를 설명하는 도면이다.

도 5는 얼굴 특징 벡터를 추출하기 위한 인물 이미지의 전처리 과정을 간략하게 도시한 도면이다.

도 4를 참조하면, 제어부(130)는 인물 이미지(1)에서 얼굴 영역을 검출하여 얼굴 영역의 이미지(1-1)를 추출하고, 얼굴 영역의 이미지(1-1)에서 얼굴 특징점을 검출(추출)하여 얼굴 영역으로 자르고, 정렬하는 전처리를 수행(S110-1)하고, 얼굴 영역 이미지(1-1)의 전처리 결과를 얼굴 특징 추출 모델(10)에 입력하여 얼굴 특징 벡터를 추출한다. 얼굴 특징 추출 모델(10)은 "둥글다", "수염이 있다" 등 40여 가지의 고유의 얼굴 특징을 분류할 수 있다. 얼굴 특징 추출 모델(10)을 학습시키는 데이터 셋으로는 CelebA 데이터 셋을 기반으로 한다. 얼굴 특징 추출 모델(10)은 CelebA 데이터 셋으로 학습되며, 특징 추출기를 제외한 분류기는 제거하여 사용된다. 도 5를 참조하면, 인물 이미지에서 잘라내진 얼굴 부분에서 얼굴 특징점을 검출 한 뒤, 정규화를 거친 얼굴 영역 이미지가 얼굴 특징 추출 모델(10)에 입력된다. 여기에서, 이미지 처리 도구인 Dlib를 사용하여 68개의 얼굴 특징점(Keypoint)이 예측되고, 예측된 얼굴 특징점들에 기초하여 얼굴 특징이 분류(추출)된다.

도 6은 일 실시 예에 따른 헤어 스타일 추천 방법에 의한 헤어 특징 추출 프로세스를 설명하는 도면이다.

도 7은 헤어 특징 추출을 위해서 인물 사진을 세분화하여 헤어 부분과 얼굴 부분을 파싱하는 예를 도시하는 도면이다.

도 6을 참조하면, 또한, 제어부(130)는 인물 이미지(1)에서 얼굴 특징점을 검출(추출)하여 얼굴과 헤어(모발)를 포함하는 머리 영역의 이미지(1-2)를 잘라내고, 머리 영역 이미지(1-2)를 세분화 및 파싱(parsing)하여, 배경과 몸통을 제거한 얼굴 영역 및 모발 영역에 대한 부분 이미지를 추출하는 전처리를 수행하고, 이를 헤어 특징 추출 모델(20) 중 헤어 스타일 특징 추출 모델(20-1)에 입력하여 헤어 특징 벡터 중 헤어 스타일 특징 벡터를 추출한다. 다음으로, 제어부(130)는 세분화 및 파싱된 머리 영역 이미지(1-2)에서 헤어 영역을 제외한 모든 부분을 제거하여 헤어 특징 추출 모델(20) 중 헤어 속성 특징 추출 모델(20-2)에 입력하여 헤어 특징 벡터 중 헤어 속성 특징 벡터를 추출한다. 한편, 제어부(130)는 헤어 속성 특징을 추출함에 있어서, 헤어 속성에 대한 선택 사항 정보들을 제공하고, 외부의 사용자, 헤어 디자이너, 고객 등으로부터 헤어 속성에 대한 선택 사항 정보를 직접 입력 받아 헤어 속성 특징 벡터의 추출에 사용할 수 있다. 헤어 스타일 특징 분류를 위해 실제 사람이 헤어 스타일을 인식하는 과정에서 불필요한 노이즈를 제거하기 위해서 얼굴 파싱 모델을 통해 헤어와 얼굴 영역을 남기고 몸통과 배경을 제거한다. 헤어 속성 특징 분류를 위해 실제 사람이 헤어 속성을 인식하는 과정에서 불필요한 노이즈를 제거하기 위해서 얼굴 파싱 모델을 통해 헤어 영역을 남기고 몸통과 배경, 얼굴을 제거한다. 도 7을 참조하면, 인물 사진 세분화 모델을 이용하여 헤어 부분과 얼굴 부분을 파싱하는 예가 도시된다.

도 8은 일 실시 예에 따른 헤어 스타일 추천 방법에 의한 패션 특징 추출 프로세스를 설명하는 도면이다.

도 9는 패션 특징 추출을 위해서 인물 사진을 세분화하여 얼굴 부분과 헤어 부분을 포함한 패션 아이템들을 파싱하는 예를 도시하는 도면이다.

도 8을 참조하면, 또한, 제어부(130)는 인물 이미지(1)에서 신체 영역의 이미지(1-3)를 세분화 하여 상의 종류, 하의 종류, 액세서리, 신발 등을 검출하여 분류하고, 이 중에서 옷, 액세서리, 신발 등의 패션 아이템에 대한 부분 이미지를 추출하는 전처리를 수행하고, 이를 패션 특징 추출 모델(30)에 입력하여 패션 특징 벡터를 추출한다. 도 9를 참조하면, 제어부(130)는 인물 사진, 즉 신체 영역 사진(1-3)을 세분화 한 뒤, 패션 아이템 별로 구분하고. 이 결과를 패션 특징 추출 모델(30)에 입력한다.

전술한 얼굴 특징 벡터는 얼굴 특징 추출 모델(10)이 얼굴 영역 이미지(1-1)로부터 추출한 얼굴 특징 분류 결과를 나타내는 잠재 벡터(latent vector)이고, 헤어 특징 벡터는 헤어 특징 추출 모델(20)이 머리 영역 이미지(1-2)로부터 추출한 헤어 특징 분류 결과를 나타내는 잠재 벡터이고, 상기 패션 특징 분류 벡터는 패션 특징 추출 모델(30)이 신체 영역 이미지(1-3)로부터 추출한 패션 특징 분류 결과를 나타내는 잠재 벡터이다. 또한, 헤어 특징 벡터는 헤어 스타일 특징 정보 및 헤어 속성 특징 정보를 포함할 수 있으며, 헤어 스타일 특징 정보는 펌, 커트, 염색 등 헤어 스타일의 종류 정보와 모발 길이 정보를 포함하고, 헤어 속성 특징 정보는 모발 굵기 정보 및 모발의 양 정보와 지성, 건성, 곱슬머리, 직모 등 두피 상태 및 모발의 타입 정보를 포함할 수 있다.

다시 도 3을 참조하면, 제어부(130)는 추출된 얼굴 특징 벡터, 헤어 특징 벡터 및 패션 특징 벡터와 고객에게 추천할 헤어 스타일을 딥러닝 추천 모델(40)에 입력하여 추천된 헤어 스타일에 대한 고객의 반응 점수를 산출하고, 미리 정해진 기준 이상의 점수를 가진 헤어 스타일을 고객에게 추천한다(S130). 여기에서 딥러닝 추천 알고리즘 모델로는 뉴럴 협업 필터링 모델(neural collaborative filtering model)이 사용될 수 있으며, 전술한 바와 같이, 얼굴, 헤어 및 패션에 대해서 어떤 특징을 가지는 여러 인물들에게 추천된 헤어 스타일과 상기 여러 인물들에게 추천된 헤어 스타일에 대한 이들의 반응의 관계 데이터를 이용하여 학습된다. 여기에서, 상기 반응 점수는 반응 데이터에 기초하여 산출된다. 반응 데이터는 추천 헤어 스타일에 대한 고객의 의식적 반응 데이터 및 무의식적 반응 데이터를 포함한다. 고객의 의식적 반응 데이터는 추천 헤어 스타일에 대한 "좋아요" 선택 등 선호 여부 표시와 추천 헤어 스타일에 대한 만족도 정보를 포함할 수 있다. 고객의 무의식적 반응 데이터는 추천 헤어 스타일에 대한 클릭 수, 추천 헤어 스타일에 대한 터치 수, 및 추천 헤어 스타일에 대한 시선 유지 시간을 포함할 수 있다. 또한, 반응 데이터는, 추천 헤어 스타일을 추천한 헤어 디자이너의 만족도 정보도 포함할 수 있다. 이들 의식적인 반응 데이터와 무의식적인 반응 데이터를 합산하면 추천 헤어 스타일에 대한 고객의 관심과, 호감도, 선호도 등을 알 수 있으며, 만족도 점수까지 같이 고려할 경우, 추천 헤어 스타일에 대한 고객의 만족 정도를 잘 판단할 수 있게 된다.

상술한 설명에서, 단계들, 과정들 또는 동작들은 본 발명의 구현예에 따라서, 추가적인 단계, 과정 또는 동작으로 더 분할되거나, 더 적은 단계, 과정 또는 동작으로 조합될 수 있다. 또한, 일부 단계, 과정 또는 동작은 필요에 따라 생략될 수도 있고, 단계 또는 동작 간의 순서가 전환될 수도 있다. 또한, 전술한 헤어 스타일 추천 방법이 포함하는 각 단계 또는 동작은 컴퓨터프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체에 저장될 수 있으며, 컴퓨터 장치에 의해 각 단계, 과정 또는 동작이 실행될 수도 있다.

도 10은 일 실시 예에 따른 헤어 스타일 추천 방법에서 사용되는 딥러닝 추천 모델의 예를 도시한다.

도 10을 참조하면, 딥러닝 추천 모델(40)은 헤어 스타일에 영향을 미칠 수 있는 요소를 얼굴, 헤어 및 패션으로 생각하여 추천을 하기 위한 시스템으로, 기존의 한 가지 특징을 이용한 추천 시스템 프로세스와 다르게 세 가지의 특징을 전부 아울러서 정보를 결합시켜야 하기 때문에 연결(concatenation)을 하는 부분에 대해서 새로운 특징을 추가 시켜준다. 이를 통해서 이미지 내에서 고려할 수 있는 리소스를 최대한 활용하여 추천을 하기 위해 적합한 시스템을 구축하는데 의미를 가지게 할 수 있다. 추가적으로 더 높은 정확성을 위해 헤어 속성의 경우 모델을 사용해 특징을 추출하거나 전문가 혹은 사용자가 수동적으로 선택하여 사용할 수 있게 한다. 모든 프로세스에 사용되는 전처리는 추천 시스템에 정확한 정보를 전달하기 위한 재료다.

딥러닝 추천 모델(40)의 'User' 부분에는 잠재 벡터(latent vector), 즉, 각각의 특징 추출 모델에서 출력된 얼굴 특징 벡터, 헤어 특징 벡터 및 패션 특징 벡터가 입력되고, 'Item' 부분에는 추출될 헤어 스타일 리소스, 헤어 스타일의 이미지가 입력된다.

최종 'score'에는 고객의 의식적 및 무의식적인 정보와 고객의 만족도가 입력되고 'target'은 예측한 의식적 및 무의식적인 정보와 만족도 값을 의미한다.

상기 딥러닝 추천 모델(40)의 학습 과정을 설명하면, 제어부(130)는 어떤 인물의 이미지로부터 얼굴 영역의 이미지, 머리 영역의 이미지 및 신체 영역의 이미지를 획득한 뒤, 상기 어떤 인물의 얼굴 영역 이미지, 머리 영역 이미지 및 신체 영역 이미지를 특징 추출 모델에 입력하기 위한 전처리를 수행한다.

다음으로, 제어부(130)는 상기 얼굴 영역 이미지의 전처리 결과를 얼굴 특징 추출 모델(10)에 입력하여 상기 어떤 인물에 대한 얼굴 특징 벡터를 추출하고, 상기 머리 영역 이미지의 전처리 결과를 헤어 특징 추출 모델(20)에 입력하여 상기 어떤 인물에 대한 헤어 특징 벡터를 추출하고, 상기 신체 영역 이미지의 전처리 결과를 패션 특징 추출 모델(30)에 입력하여 상기 어떤 인물에 대한 패션 특징 벡터를 추출한다.

다음으로, 제어부(130)는 장치(100)에 출력되는 추천 헤어 스타일 이미지에 대한 상기 어떤 인물의 반응 데이터를 수집한 뒤, 상기 어떤 인물의 얼굴 특징 벡터, 상기 어떤 인물의 헤어 특징 벡터, 상기 어떤 인물의 패션 특징 벡터, 상기 추천 헤어 스타일 이미지 및 상기 어떤 인물의 반응 데이터를 딥러닝 추천 모델(40)에 입력하여 학습시킴으로써, 입력된 데이터들 간의 관계를 학습시킨다.

본 명세서에서 개시되는 네트워크는 예를 들어, 무선 네트워크, 유선 네트워크, 인터넷과 같은 공용 네트워크, 사설 네트워크, 모바일 통신 네트워크용 광역 시스템(Global System for Mobile communication network; GSM) 네트워크, 범용 패킷 무선 네트워크(General Packet Radio Network; GPRN), 근거리 네트워크(Local Area Network; LAN), 광역 네트워크(Wide Area Network; WAN), 거대도시 네트워크(Metropolitan Area Network; MAN), 셀룰러 네트워크, 공중 전화 교환 네트워크(Public Switched Telephone Network; PSTN), 개인 네트워크(Personal Area Network), 블루투스, Wi-Fi 다이렉트(Wi-Fi Direct), 근거리장 통신(Near Field communication), 초광대역(Ultra-Wide band), 이들의 조합, 또는 임의의 다른 네트워크일 수 있지만 이들로 한정되는 것은 아니다.

본 명세서에서 사용된 용어 "부"는(예를 들면, 제어부 등), 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "부"는, 예를 들어, 유닛(unit), 로직(logic), 논리블록(logical block), 부품(component), 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "부"는, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "부"는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "부"는 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들어, "부"는, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(Application-Specific Integrated Circuit) 칩, FPGAs(Field-Programmable Gate Arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.

다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터로 읽을 수 있는 저장매체/컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM(compact disc read only memory), DVD(digital versatile disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM(read only memory), RAM(random access memory), 또는 플래시 메모리 등) 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.

다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술된 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

본 명세서에 사용된 용어 "하나"는 하나 또는 하나 이상으로 정의된다. 또한, 청구 범위에서 "적어도 하나" 및 "하나 이상"과 같은 도입 문구를 사용하는 것은, 동일한 청구항에 "적어도 하나" 및 "하나 이상"과 같은 도입 문구 및 "하나" 같은 불명료한 문구가 포함되어 있는 경우라 할지라도, 불명료한 문구 "하나"에 의한 다른 청구항 요소의 도입이 그러한 요소를 하나만을 포함하는 발명에 대해 그렇게 도입된 청구항 요소를 포함하는 임의의 특정 청구항을 제한한다는 것을 의미하는 것으로 해석되어서는 안된다.

본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다.

달리 명시하지 않는 한, "제1" 및 "제2"와 같은 용어는 그러한 용어가 설명하는 요소들을 임의로 구별하는 데 사용된다. 따라서, 이들 용어는 그러한 요소들의 시간적 또는 다른 우선 순위를 나타내도록 반드시 의도된 것은 아니며, 특정 수단이 서로 다른 청구항들에 열거되어 있다는 단순한 사실만으로 이러한 수단들의 조합이 유리하게 사용될 수 없다는 것을 나타내는 것은 아니다. 따라서, 이들 용어는 그러한 요소의 시간적 또는 다른 우선 순위를 나타내도록 반드시 의도되지는 않는다. 특정 조치가 서로 다른 주장에 인용되었다는 단순한 사실만으로 이러한 조치의 조합이 유용하게 사용될 수 없다는 것을 나타내지는 않는다.

동일한 기능을 달성하기 위한 구성 요소의 배열은 효과적으로 "관련"되어 원하는 기능이 달성된다. 따라서, 특정 기능성을 달성하기 위해 결합된 임의의 2 개의 구성 요소는 구조 또는 중개하는 구성 요소와 관계없이 원하는 기능이 달성되도록 서로 "관련"되는 것으로 간주될 수 있다. 마찬가지로 이와 같이 연관된 두 개의 구성 요소는 원하는 기능을 달성하기 위해 서로 "작동 가능하게 연결"되거나 "작동 가능하게 결합된" 것으로 간주될 수 있다.

또한, 통상의 기술자는 전술한 동작들의 기능성 사이의 경계가 단지 예시적인 것임을 인식할 것이다. 복수의 동작들은 단일 동작으로 결합될 수 있고, 단일 동작은 추가 동작들로 분산될 수 있으며, 동작들은 시간적으로 적어도 부분적으로 겹쳐서 실행될 수 있다. 또한, 대안적인 실시예들은 특정 동작에 대한 복수의 인스턴스들을 포함할 수 있고, 동작들의 순서는 다양한 다른 실시예에서 변경될 수 있다. 그러나, 다른 수정, 변형 및 대안이 또한 가능하다. 따라서, 상세한 설명 및 도면은 제한적인 의미가 아니라 예시적인 것으로 간주되어야 한다.

"X일 수 있다"는 문구는 조건 X가 충족될 수 있음을 나타낸다. 이 문구는 또한 조건 X가 충족되지 않을 수도 있음을 나타낸다. 예를 들어, 특정 구성 요소를 포함하는 시스템에 대한 참조는 시스템이 특정 구성 요소를 포함하지 않는 시나리오도 포함해야 한다. 예를 들어, 특정 동작을 포함하는 방법에 대한 참조는 해당 방법이 특정 구성 요소를 포함하지 않는 시나리오도 포함해야 한다. 그러나 또 다른 예를 들면, 특정 동작을 수행하도록 구성된 시스템에 대한 참조는 시스템이 특정 작업을 수행하도록 구성되지 않은 시나리오도 포함해야 한다.

용어 "포함하는", "갖는", "구성된", "이루어진" 및 "본질적으로 이루어진"은 상호 교환적으로 사용된다. 예를 들어, 임의의 방법은 적어도 도면 및/또는 명세서에 포함된 동작을 포함할 수 있으며, 도면 및/또는 명세서에 포함된 동작만을 포함할 수 있다. 또는, "포함하는"이라는 단어는 청구항에 나열된 요소들 또는 동작들의 존재를 배제하지 않는다.

통상의 기술자는 논리 블록들 사이의 경계가 단지 예시적인 것이며, 대안적인 실시 예들이 논리 블록들 또는 회로 소자들을 병합하거나 또는 다양한 논리 블록들 또는 회로 소자들 상에 기능의 대체적인 분해를 부과할 수 있음을 인식할 것이다. 따라서, 여기에 도시된 아키텍처는 단지 예시적인 것이며, 사실 동일한 기능을 달성하는 많은 다른 아키텍처가 구현될 수 있다는 것으로 이해되어야 한다.

또한, 예를 들어, 일 실시예에서, 도시된 예들은 단일 집적 회로 상에 또는 동일한 장치 내에 위치된 회로로서 구현될 수 있다. 대안적으로, 상기 예들은 임의의 수의 개별적인 집적 회로들 또는 적합한 방식으로 서로 상호 접속된 개별 장치들로서 구현될 수 있으며, 다른 변경, 수정, 변형 및 대안들이 또한 가능하다. 따라서, 명세서 및 도면은 제한적인 의미가 아니라 예시적인 것으로 간주되어야 한다.

또한, 예를 들어, 전술한 예들 또는 그 일부는, 임의의 적절한 유형의 하드웨어 기술 언어와 같은, 물리적 회로 또는 물리적 회로로 변환 가능한 논리적 표현의 소프트웨어 또는 코드 표현으로서 구현될 수 있다.

또한, 본 발명은 비 프로그래머블 하드웨어로 구현된 물리적 장치 또는 유닛으로 제한되지 않지만, 일반적으로 본원에서는 '컴퓨터 시스템'으로 표시되는 메인 프레임, 미니 컴퓨터, 서버, 워크스테이션, 개인용 컴퓨터, 노트패드(notepad), 개인용 디지털 정보 단말기(PDA), 전자 게임(electronic games), 자동차 및 기타 임베디드 시스템, 휴대전화 및 다양한 다른 무선 장치 등과 같은, 적절한 프로그램 코드에 따라 동작함으로써 원하는 장치 기능을 수행할 수 있는 프로그램 가능한 장치 또는 유닛에도 적용될 수 있다.

이 명세서에 언급된 시스템, 장치 또는 디바이스는 적어도 하나의 하드웨어 구성 요소를 포함한다.

본 명세서에 설명된 바와 같은 연결들은 예를 들어 중간 장치를 통해 각각의 노드, 유닛 또는 장치로부터 또는 각각의 노드, 유닛 또는 장치로 신호를 전송하기에 적합한 임의의 유형의 연결일 수 있다. 따라서, 묵시적으로 또는 달리 언급되지 않는 한, 연결은 예를 들어 직접 연결 또는 간접 연결일 수 있다. 연결은 단일 연결, 다수의 연결, 단방향 연결 또는 양방향 연결이라는 것을 참조하여 설명되거나 묘사될 수 있다. 그러나, 서로 다른 실시 예들은 연결의 구현을 변화시킬 수 있다. 예를 들어 양방향 연결이 아닌 별도의 단방향 연결을 사용할 수 있으며 그 반대의 경우도 가능할 수 있다. 또한, 다수의 연결은 복수의 신호를 순차적으로 또는 시간 다중화 방식으로 전송하는 단일 연결로 대체될 수 있다. 마찬가지로, 복수의 신호를 전송하는 단일 연결은 이러한 신호의 서브 세트를 전송하는 다양한 연결로 분리될 수 있다. 따라서 신호를 전송하기 위한 많은 옵션들이 존재한다.

이상에서 본 명세서의 기술에 대한 바람직한 실시 예가 첨부된 도면들을 참조하여 설명되었다. 여기서, 본 명세서 및 청구 범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. 본 발명의 범위는 본 명세서에 개시된 실시 예들로 한정되지 아니하고, 본 발명은 본 발명의 사상 및 특허청구범위에 기재된 범주 내에서 다양한 형태로 수정, 변경, 또는 개선될 수 있다.

1: 인물 이미지
1-1: 얼굴 영역 이미지
1-2: 머리 영역 이미지
1-3: 신체 영역 이미지
10: 얼굴 특징 추출 모델
20: 헤어 특징 추출 모델
30: 패션 특징 추출 모델
40: 딥러닝 추천 모델
100: 헤어 스타일 추천 장치
110: 통신부
120: 저장부
130: 제어부

Claims

헤어 스타일 추천 장치에 의해 수행되는 헤어 스타일 추천 방법에 있어서,
제1 인물의 이미지로부터 얼굴 영역의 이미지, 머리 영역의 이미지 및 신체 영역의 이미지를 획득하는 단계;
상기 제1 인물의 얼굴 영역 이미지를 얼굴 특징 추출 모델에 입력하기 위한 전처리를 수행하고, 상기 제1 인물의 머리 영역 이미지를 헤어 특징 추출 모델에 입력하기 위한 전처리를 수행하고, 및 상기 제1 인물의 신체 영역 이미지를 패션 특징 추출 모델에 입력하기 위한 전처리를 수행하는 단계;
상기 제1 인물의 얼굴 영역 이미지의 전처리 결과를 상기 얼굴 특징 추출 모델에 입력하여 얼굴 특징 벡터를 추출하고, 상기 제1 인물의 머리 영역 이미지의 전처리 결과를 상기 헤어 특징 추출 모델에 입력하여 헤어 특징 벡터를 추출하고, 및 상기 제1 인물의 신체 영역 이미지의 전처리 결과를 상기 패션 특징 추출 모델에 입력하여 패션 특징 벡터를 추출하는 단계; 및
상기 얼굴 특징 벡터, 상기 헤어 특징 벡터, 상기 패션 특징 벡터 및 추천 헤어 스타일을 딥러닝 추천 모델에 입력하여 상기 추천 헤어 스타일에 대한 상기 제1 인물의 반응 점수를 산출하는 단계;를 포함하되,
상기 딥러닝 추천 모델은 얼굴, 헤어 및 패션에 대해서 어떤 특징을 가지는 제2 인물에게 추천된 헤어 스타일과 상기 제2 인물에게 추천된 헤어 스타일에 대한 상기 제2 인물의 반응의 관계를 학습한 것인
헤어 스타일 추천 방법.
제1 항에 있어서, 상기 딥러닝 추천 모델의 학습 과정은,
상기 제2 인물의 이미지로부터 얼굴 영역의 이미지, 머리 영역의 이미지 및 신체 영역의 이미지를 획득하는 단계;
상기 제2 인물의 얼굴 영역 이미지, 상기 제2 인물의 머리 영역 이미지 및 상기 제2 인물의 신체 영역 이미지를 특징 추출 모델에 입력하기 위한 전처리를 수행하는 단계;
상기 제2 인물의 얼굴 영역 이미지의 전처리 결과를 상기 얼굴 특징 추출 모델에 입력하여 상기 제2 인물의 얼굴 특징 벡터를 추출하고, 상기 제2 인물의 머리 영역 이미지의 전처리 결과를 상기 헤어 특징 추출 모델에 입력하여 상기 제2 인물의 헤어 특징 벡터를 추출하고, 상기 제2 인물의 신체 영역 이미지의 전처리 결과를 상기 패션 특징 추출 모델에 입력하여 상기 제2 인물의 패션 특징 벡터를 추출하는 단계;
상기 장치에 출력되는 추천 헤어 스타일 이미지에 대한 상기 제2 인물의 반응 데이터를 수집하는 단계; 및
상기 제2 인물의 얼굴 특징 벡터, 상기 제2 인물의 헤어 특징 벡터, 상기 제2 인물의 패션 특징 벡터, 상기 추천 헤어 스타일 이미지 및 상기 제2 인물의 반응 데이터를 상기 딥러닝 추천 모델에 입력하여 상기 딥러닝 추천 모델을 학습시키는 단계;를 포함하는
것을 특징으로 하는 헤어 스타일 추천 방법.
제2 항에 있어서, 상기 헤어 스타일 추천 장치는,
얼굴 영역의 이미지로부터 얼굴 특징점을 검출하여 얼굴 영역으로 자르고 정렬하는 전처리를 수행하고,
머리 영역의 이미지로부터 얼굴 특징점을 검출하여 모발을 포함하는 얼굴 영역으로 자른 뒤 세분화하여, 얼굴 영역 및 모발 영역에 대한 부분 이미지를 추출하는 전처리를 수행하고,
신체 영역의 이미지를 세분화 한 뒤, 패션 아이템에 영역에 대한 부분 이미지를 추출하는 전처리를 수행하는
것을 특징으로 하는 헤어 스타일 추천 방법.
제3 항에 있어서, 상기 반응 데이터는,
추천 헤어 스타일에 대한 의식적 반응 데이터 및 무의식적 반응 데이터를 포함하고,
상기 의식적 반응은 추천 헤어 스타일에 대한 선호 여부 표시 및 추천 헤어 스타일에 대한 만족도 정보를 포함하고,
상기 무의식적 반응은 추천 헤어 스타일에 대한 클릭 수, 추천 헤어 스타일에 대한 터치 수, 및 추천 헤어 스타일에 대한 시선 유지 시간을 포함하는
것을 특징으로 하는 헤어 스타일 추천 방법.
제4 항에 있어서,
상기 얼굴 특징 벡터는 상기 얼굴 특징 추출 모델이 얼굴 영역 이미지로부터 얼굴 특징 분류 결과를 나타내는 잠재 벡터(latent vector)이고,
상기 헤어 특징 벡터는 상기 헤어 특징 추출 모델이 머리 영역 이미지로부터 헤어 특징 분류 결과를 나타내는 잠재 벡터이고,
상기 패션 특징 벡터는 상기 패션 특징 추출 모델이 신체 영역 이미지로부터 패션 특징 분류 결과를 나타내는 잠재 벡터인
것을 특징으로 하는 헤어 스타일 추천 방법.
제5 항에 있어서, 상기 헤어 특징 벡터는,
헤어 스타일 특징 정보 및 헤어 속성 특징 정보를 포함하고,
상기 헤어 스타일 특징 정보는 헤어 스타일의 종류 정보 및 모발 길이 정보를 포함하고,
상기 헤어 속성 특징 정보는 모발 굵기 정보, 모발 량 정보, 모발 타입 정보를 포함하는
것을 특징으로 하는 헤어 스타일 추천 방법.
제4 항에 있어서, 상기 반응 데이터는,
상기 추천 헤어 스타일을 추천한 헤어 디자이너의 만족도 정보를 더 포함하는
것을 특징으로 하는 헤어 스타일 추천 방법.
저장부; 및
상기 저장부와 기능적으로 연결되는 제어부;를 포함하되,
상기 저장부는 상기 제어부에 의해 생성된 데이터, 얼굴 특징 추출 모델, 헤어 특징 추출 모델, 패션 특징 추출 모델 및 딥러닝 추천 모델을 저장하고,
상기 제어부는,
제1 인물의 이미지로부터 얼굴 영역의 이미지, 머리 영역의 이미지 및 신체 영역의 이미지를 획득하고,
상기 제1 인물의 얼굴 영역 이미지를 얼굴 특징 추출 모델에 입력하기 위한 전처리를 수행하고, 상기 제1 인물의 머리 영역 이미지를 헤어 특징 추출 모델에 입력하기 위한 전처리를 수행하고, 및 상기 제1 인물의 신체 영역 이미지를 패션 특징 추출 모델에 입력하기 위한 전처리를 수행하고,
상기 제1 인물의 얼굴 영역 이미지의 전처리 결과를 상기 얼굴 특징 추출 모델에 입력하여 얼굴 특징 벡터를 추출하고, 상기 제1 인물의 머리 영역 이미지의 전처리 결과를 상기 헤어 특징 추출 모델에 입력하여 헤어 특징 벡터를 추출하고, 및 상기 제1 인물의 신체 영역 이미지의 전처리 결과를 상기 패션 특징 추출 모델에 입력하여 패션 특징 벡터를 추출하고,
상기 얼굴 특징 벡터, 상기 헤어 특징 벡터, 상기 패션 특징 벡터 및 추천 헤어 스타일을 딥러닝 추천 모델에 입력하여 상기 추천 헤어 스타일에 대한 상기 제1 인물의 반응 점수를 산출하되,
상기 딥러닝 추천 모델은 얼굴, 헤어 및 패션에 대해서 어떤 특징을 가지는 제2 인물에게 추천된 헤어 스타일과 상기 제2 인물에게 추천된 헤어 스타일에 대한 상기 제2 인물의 반응의 관계를 학습한 것인
헤어 스타일 추천 장치.
제8 항에 있어서, 상기 제어부는,
상기 제2 인물의 이미지로부터 얼굴 영역의 이미지, 머리 영역의 이미지 및 신체 영역의 이미지를 획득하고,
상기 제2 인물의 얼굴 영역 이미지, 상기 제2 인물의 머리 영역 이미지 및 상기 제2 인물의 신체 영역 이미지를 특징 추출 모델에 입력하기 위한 전처리를 수행하고,
상기 제2 인물의 얼굴 영역 이미지의 전처리 결과를 상기 얼굴 특징 추출 모델에 입력하여 상기 제2 인물의 얼굴 특징 벡터를 추출하고, 상기 제2 인물의 머리 영역 이미지의 전처리 결과를 상기 헤어 특징 추출 모델에 입력하여 상기 제2 인물의 헤어 특징 벡터를 추출하고, 상기 제2 인물의 신체 영역 이미지의 전처리 결과를 상기 패션 특징 추출 모델에 입력하여 상기 제2 인물의 패션 특징 벡터를 추출하고,
상기 장치에 출력되는 추천 헤어 스타일 이미지에 대한 상기 제2 인물의 반응 데이터를 수집하고,
상기 제2 인물의 얼굴 특징 벡터, 상기 제2 인물의 헤어 특징 벡터, 상기 제2 인물의 패션 특징 벡터, 상기 추천 헤어 스타일 이미지 및 상기 제2 인물의 반응 데이터를 상기 딥러닝 추천 모델에 입력하여 상기 딥러닝 추천 모델을 학습시키는
것을 특징으로 하는 헤어 스타일 추천 장치.
제9 항에 있어서, 상기 제어부는,
얼굴 영역의 이미지로부터 얼굴 특징점을 검출하여 얼굴 영역으로 자르고 정렬하는 전처리를 수행하고,
머리 영역의 이미지로부터 얼굴 특징점을 검출하여 모발을 포함하는 얼굴 영역으로 자른 뒤 세분화하여, 얼굴 영역 및 모발 영역에 대한 부분 이미지를 추출하는 전처리를 수행하고,
신체 영역의 이미지를 세분화 한 뒤, 패션 아이템에 영역에 대한 부분 이미지를 추출하는 전처리를 수행하는
것을 특징으로 하는 헤어 스타일 추천 장치.
제10 항에 있어서, 상기 반응 데이터는,
추천 헤어 스타일에 대한 의식적 반응 데이터 및 무의식적 반응 데이터를 포함하고,
상기 의식적 반응 데이터는 추천 헤어 스타일에 대한 선호 여부 표시 및 추천 헤어 스타일에 대한 만족도 정보를 포함하고,
상기 무의식적 반응 데이터는 추천 헤어 스타일에 대한 클릭 수, 추천 헤어 스타일에 대한 터치 수, 및 추천 헤어 스타일에 대한 시선 유지 시간을 포함하는
것을 특징으로 하는 헤어 스타일 추천 장치.
제11 항에 있어서,
상기 얼굴 특징 벡터는 상기 얼굴 특징 추출 모델이 얼굴 영역 이미지로부터 얼굴 특징 분류 결과를 나타내는 잠재 벡터(latent vector)이고,
상기 헤어 특징 벡터는 상기 헤어 특징 추출 모델이 머리 영역 이미지로부터 헤어 특징 분류 결과를 나타내는 잠재 벡터이고,
상기 패션 특징 벡터는 상기 패션 특징 추출 모델이 신체 영역 이미지로부터 패션 특징 분류 결과를 나타내는 잠재 벡터인
것을 특징으로 하는 헤어 스타일 추천 장치.
제12 항에 있어서, 상기 헤어 특징 벡터는,
헤어 스타일 특징 정보 및 헤어 속성 특징 정보를 포함하고,
상기 헤어 스타일 특징 정보는 헤어 스타일의 종류 정보 및 모발 길이 정보를 포함하고,
상기 헤어 속성 특징 정보는 모발 굵기 정보, 모발 량 정보 및 모발 타입 정보를 포함하는
것을 특징으로 하는 헤어 스타일 추천 장치.
제11 항에 있어서, 상기 반응 데이터는,
상기 추천 헤어 스타일을 추천한 헤어 디자이너의 만족도 정보를 더 포함하는
것을 특징으로 하는 헤어 스타일 추천 장치.
하드웨어와 결합되어,
제1 항 내지 제7 항 중 어느 한 항에 따른 헤어 스타일 추천 방법이 포함하는 각 단계를 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터프로그램.