KR20230045632A - 인공지능 모델 기반 실감형 헤어 스타일 시뮬레이션 장치의 동작 방법 - Google Patents

Abstract

본 발명의 실시 예에 따른 헤어 스타일 시뮬레이션 장치의 동작 방법은, 사전 수집된 인공지능 학습 데이터를 컨볼루션 처리하여, 민머리 변환을 위한 상기 민머리 변환 모델의 모델 아키텍처를 구축하여 민머리 변환 모델을 구축하는 단계; 머리카락 및 배경 영역을 세분화한 사용자 이미지를 상기 민머리 변환 모델에 적용하여, 상기 머리카락 및 배경 영역이 두상 영역으로 인페인팅된 두상 이미지 기반의 상기 두상 정보를 생성하는 단계; 상기 두상 정보 및 상기 사용자 이미지에 대응하는 사용자 분석 정보에 기초하여, 실감형 헤어 스타일 시뮬레이션을 수행하는 단계; 및 상기 맞춤형 헤어 스타일 시뮬레이션의 선호도 점수를 평가하여 추천 서비스를 제공하는 선호도 점수 예측 모델 처리단계를 포함한다.

Description

인공지능 모델 기반 실감형 헤어 스타일 시뮬레이션 장치의 동작 방법{A method for the operation of an artificial intelligence model-based realistic hair style simulation device}

본 발명은 헤어 스타일 시뮬레이션 장치의 동작 방법에 관한 것이다. 보다 구체적으로, 본 발명은 인공지능 모델 기반 민머리 변환 및 이를 활용한 실감형 헤어 스타일 시뮬레이션 장치의 동작 방법에 관한 것이다.

가상의 모발 이미지를 이용한 가상 헤어스타일링 서비스는 가상의 모발 이미지를 제작하는 데 많은 시간과 비용이 소요되는 문제점이 발생하여 이러한 문제점을 해결할 필요성이 제기되고 있다.

또한, 사람의 머리 영상에서 추출한 가상의 모발 이미지는 단순한 이진 마스크 또는 바이너리 마스크에 기반하여 추출되었기 때문에 모발 이미지의 품질이 현저하게 낮은 문제가 있었다.

또한, 가상의 모발 이미지는 고객의 머리 또는 얼굴에 자연스럽게 중첩되지 않아 어색함이 발생하는 문제점이 있어 이를 해결할 필요성이 제기되고 있다.

본 발명은 상기한 바와 같은 과제를 해결하기 위해 안출된 것으로, 사람의 헤어 이미지에서 머리카락을 제거한 사람의 민머리 이미지를 AI 알고리즘을 통해 변환하고, 이에 기초한 현실감 있는 실감형 헤어 스타일 시뮬레이션 장치 및 그 동작 방법을 제공하는 데 그 목적이 있다.

상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 장치는, 헤어 스타일 시뮬레이션 장치에 있어서, 민머리 변환 모델을 구축하는 학습 모델 구축부; 사용자 이미지로부터 상기 민머리 변환 모델 기반의 두상 정보를 생성하는 두상 생성부; 및 상기 두상 정보 및 상기 사용자 이미지에 대응하는 사용자 분석 정보에 기초하여, 실감형 헤어 스타일 시뮬레이션을 수행하는 실감형 헤어 스타일 시뮬레이션 제공부를 포함한다.

또한, 상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 헤어 스타일 시뮬레이션 방법에 있어서, 민머리 변환 모델을 구축하는 단계; 사용자 이미지로부터 상기 민머리 변환 모델 기반의 두상 정보를 생성하는 단계; 및 상기 두상 정보 및 상기 사용자 이미지에 대응하는 사용자 분석 정보에 기초하여, 실감형 헤어 스타일 시뮬레이션을 수행하는 단계를 포함한다.

본 발명의 실시 예에 따르면, 민머리 변환 모델을 구축하고, 사용자 이미지로부터 상기 민머리 변환 모델 기반의 두상 정보를 생성하여, 실감형 헤어 스타일 시뮬레이션을 수행할 수 있다.

이에 따라, 본 발명의 실시 예에 따르면, 사람의 헤어 이미지에서 머리카락을 제거한 사람의 민머리 이미지를 AI 알고리즘을 통해 변환하고, 이에 기초한 현실감있는 실감형 헤어 스타일 시뮬레이션 장치 및 그 동작 방법을 제공할 수 있다.

도 1은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 개념도이다.
도 2는 본 발명의 실시 예에 따른 헤어 시뮬레이션 장치를 보다 구체적으로 도시한 블록도이다.
도 3 내지 도 11은 본 발명의 실시 예에 따른 헤어 세뮬레이션 장치의 각 요소별 동작을 보다 구체적으로 설명하기 위한 도면들이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.

본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 개념도이다.

본 발명의 일 실시 예에 따른 전체 시스템은 미러 디스플레이 장치(100), 실감형 헤어 시뮬레이션 장치(600) 및 인공지능 모델(700)을 포함할 수 있다.

실감형 헤어 시뮬레이션 장치(600)는, 본 발명의 실시 예에 따른 서비스 제공을 위해, 각 미러 디스플레이 장치(100), 인공지능 모델(700)과 유/무선 네트워크를 통해 연결될 수 있으며, 상호간 통신을 수행할 수 있다.

여기서 상기 각 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 개인 근거리 무선통신(Personal Area Network; PAN), 이동 통신망(mobile radiocommunication network) 또는 위성 통신망 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.

미러 디스플레이 장치(100)는, 컴퓨터, 휴대폰, 스마트 폰(smart phone), 스마트 패드(smart pad), 노트북 컴퓨터(laptop computer), PDA(Personal Digital Assistants), PMP(Portable Media Player) 중 어느 하나의 개별적 기기, 또는 특정 장소에 설치되는 키오스크 또는 거치형 디스플레이 장치와 같은 공용화된 디바이스 중 적어도 하나의 멀티 디바이스일 수 있으며, 실감형 헤어 시뮬레이션 장치(600)로 사용자 정보를 제공하고, 실감형 헤어 시뮬레이션 장치(600)로부터 처리된 정보를 수신하여 출력할 수 있다.

이와 같은 시스템 구성에 있어서, 실감형 헤어 시뮬레이션 장치(600)는, 민머리 변환 모델을 인공지능 모델(700)로서 구축하고, 미러 디스플레이 장치(100)로부터 수신되는 사용자 이미지로부터 상기 민머리 변환 모델 기반의 두상 정보를 생성하며, 상기 두상 정보 및 상기 사용자 이미지에 대응하는 사용자 분석 정보에 기초하여, 실감형 헤어 스타일 시뮬레이션을 수행한다.

또한, 본 발명의 실시 예에 따른 시스템은, 미용실 등 대상 시설에 설치된 미러 디스플레이 장치(100)와 통신 네트워크(N)를 통해 미러 디스플레이 장치(100)를 사용하는 고객(이하 "고객"이라고 총칭 한다.)의 개인 정보를 관리하는 개인 정보 관리 서버(200), 고객 등에게 유익하다고 판단되는 광고 정보를 제공하는 광고 제공 서버(300), 고객에게 제공하는 샴푸와 화장품의 소재 등의 미용 관련 상품(이하 "상품" 이라고 총칭 한다.)을 관리하는 상품 서버(400)를 구비하고 있다. 또한, 통신 네트워크(N)는 미러 디스플레이 장치(100), 개인 정보 관리 서버(200), 광고 제공 서버(300), 상품 서버(400) 사이에서 서로 정보를 주고받을 수 있는 통신망을 포함한다. 본 명세서에서 개시되는 네트워크는 예를 들어, 무선 네트워크, 유선 네트워크, 인터넷과 같은 공용 네트워크, 사설 네트워크, 모바일 통신 네트워크용 광역 시스템(Global System for Mobile communication network; GSM) 네트워크, 범용 패킷 무선 네트워크(General Packet Radio Network; GPRN), 근거리 네트워크(Local Area Network; LAN), 광역 네트워크(Wide Area Network; WAN), 거대도시 네트워크(Metropolitan Area Network; MAN), 셀룰러 네트워크, 공중 전화 교환 네트워크(Public Switched Telephone Network; PSTN), 개인 네트워크(Personal Area Network), 블루투스, Wi-Fi 다이렉트(Wi-Fi Direct), 근거리장 통신(Near Field communication), 초 광 대역(Ultra-Wide band), 이들의 조합, 또는 임의의 다른 네트워크일 수 있지만 이들로 한정되는 것은 아니다.

개인 정보 관리 서버(200)는 예를 들면, 연산 처리 능력이 높은 컴퓨터에 의해 구성되고 그 컴퓨터에서 소정의 서버용 프로그램을 실행하여 서버 기능을 실현하는 것이다. 여기서, 개인 정보 관리 서버(200)를 구성하는 컴퓨터는 반드시 하나일 필요는 없고, 통신 네트워크(N)에 분산된 여러 대의 컴퓨터로 구성될 수 있다. 개인 정보 관리 서버(200)는 각 시설(본 실시 예에서는 미용실로 가정함)에 설치된 미러 디스플레이 장치(100)와 통신 네트워크(N)를 통해 연결되어 있다. 개인 정보 관리 서버(200)는 각 시설의 고객의 개인 정보를 관리하는 개인 정보 DB와 CPU, ROM, RAM 등으로 구성된 프로세서를 구비하고 있다. 개인 정보 DB에는 고객 관리 테이블(TA1)이 포함되어 있다. 또한, 개인 정보 관리 서버(200)도 고객이 과거에 방문한 일자 정보와 해당 방문 일자에 시술받은 헤어 스타일 정보를 저장할 수 있다. 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합을 통해서 구현될 수 있다.

또한, 본 실시 예에서는 여러 미용실에 미러 디스플레이 장치(100)가 도입되는 상태를 예시하지만, 미용실 점포의 수는 하나 일 수 있다. 물론, 미러 디스플레이 장치(100)가 설치되는 장소로는 미용실로 제한하는 것이 아니며 미러 디스플레이 장치(100)를 도입하는 각종 시설(의류 관련 점포나 헬스 클럽, 엔터테인먼트 시설 등)에 적용 가능하다.

광고 제공 서버(300)는 미러 디스플레이 장치(100)로부터 전송된 고객의 개인 정보를 바탕으로 미리 설정된 광고 선택 알고리즘에 따라 고객에게 적합한 광고를 선택할 수 있다. 예를 들어 설명하자면, 광고 제공 서버(300)는 고객의 개인 정보에 포함되는 성별, 연령 등을 이용하여 해당 세대에 가장 인기있는 스포츠와 요리, 주택 등에 관한 광고 정보를 한 개, 또는 다른 여러 개를 선택할 수 있다.

그리고, 광고 제공 서버(300)는 선택된 하나 또는 하나 이상의 광고 정보를 해당 점포의 미러 디스플레이 장치(100)로 전송할 수 있다.

상품 서버(400)는 예를 들면, 서버 컴퓨터 등으로 구성되어 상품 DB와 CPU, ROM, RAM 등으로 이루어지는 프로세서를 갖추고 있다. 상품 DB에는 립이나 아이섀도 등의 화장품, 샴푸와 컨디셔너 같은 헤어 케어 용품, 프로틴 제품 및 트레이닝 상품 등의 헬스케어 용품 등 상품에 대해 각 상품의 식별 ID 및 재고 상황, 수주 상황 등을 관리하는 상품 관리 테이블(TA2)이 등록되어 있다. 또한, 저장 장치에 저장되는 전자 카탈로그는 상품 서버(400)의 상품 DB에 저장되어 미러 디스플레이 장치(100)로 전송될 수도 있다.

이와 같은 처리에 따라, 실감형 헤어 시뮬레이션 장치(600)는, 기 구축된 인공지능 모델(700)을 기반으로, 미러 디스플레이 장치(100)를 통한 실감형 헤어 스타일 시뮬레이션을 제공할 수 있으며, 사용자의 두상에 적합한 맞춤형 헤어 스타일 추천 및 컬러 변경 시뮬레이션 등이 제공될 수 있다.

도 2는 본 발명의 실시 예에 따른 헤어 시뮬레이션 장치를 보다 구체적으로 도시한 블록도이다.

도 2를 참조하면, 실감형 헤어 시뮬레이션 장치(600)는, 데이터 수집부, 학습 모델 구축부, 민머리 변환 기반 두상 생성부, 실감형 헤어 스타일 시뮬레이션 제공부, 컬러 시뮬레이션 제공부 및 스타일 API 제공부를 포함한다.

데이터 수집부는, 실감형 헤어 시뮬레이션 장치(600)의 동작을 위한 데이터 및 학습 데이터를 수집한다.

그리고, 학습 모델 구축부는, 사전 수집된 인공지능 학습 데이터를 컨볼루션 처리하여, 민머리 변환을 위한 상기 민머리 변환 모델의 모델 아키텍처를 구축한다. 구축된 아키텍처는 인공지능 모델(700)을 통해 저장 및 관리될 수 있다.

또한, 민머리 변환 기반 두상 생성부는, 머리카락 및 배경 영역을 세분화한 상기 사용자 이미지를 상기 민머리 변환 모델에 적용하여, 상기 머리카락 및 배경 영역이 두상 영역으로 인페인팅된 두상 이미지 기반의 상기 두상 정보를 생성한다.

그리고, 실감형 헤어 스타일 시뮬레이션 제공부는, 상기 사용자 분석 정보로부터 획득되는 패션 특징 정보 또는 생체 정보 분석 정보 중 적어도 하나를 이용하여, 맞춤형 헤어 스타일 시뮬레이션을 수행한다.

여기서, 상기 실감형 헤어 스타일 시뮬레이션 제공부는, 상기 맞춤형 헤어 스타일 시뮬레이션을 위한 헤어 스타일 검색어 정보를 수집할 수 있다.

나아가, 상기 실감형 헤어 스타일 시뮬레이션 제공부는, 상기 맞춤형 헤어 스타일 시뮬레이션의 선호도 점수를 평가하여 추천 서비스를 제공하는 선호도 점수 예측 모델 처리부를 포함할 수도 있다.

스타일 API 제공부는, 미러 디스플레이 장치(100)와, 기타 다양한 사용자 단말로부터의 API 요청에 대응하는 실감형 헤어 스타일 시뮬레이션 정보를 생성하여, API 응답을 처리할 수 있다. 예를 들어, 스타일 API 제공부는 가상 염색 체험 API, 헤어 스타일 정보 API, 헤어 시뮬레이션 API를 제공할 수 있다.

이에 따라 실감형 헤어 시뮬레이션 장치(600)는, 민머리 변환 기반의 두상 이미지 생성을 통해, 보다 현실감있는 헤어 시뮬레이션을 제공할 수 있으며, 사용자의 패션이나 생체 특징에 적합한 스타일을 추천할 수 있고, 이에 대응하는 컬러 변환과 상품 추천 서비스 등을 효과적으로 제공할 수 있다.

도 3 내지 도 11은 본 발명의 실시 예에 따른 헤어 시뮬레이션 장치의 각 요소별 동작을 보다 구체적으로 설명하기 위한 도면들이다.

도 3을 참조하면, 본 발명의 실시 예에 따른 실감형 헤어 시뮬레이션 장치(600)는, 인물 사진/영상이 입력되면 대상을 인식하여 생성된 가상 두상과, 선호도 기반 스타일 추천 헤어의 소재 이미지를 합성하여, 실감형 헤어 스타일 시뮬레이션을 제공할 수 있으며, 두상 생성을 위한 헤어 추출 모델 처리부, 헤어 영역 인식부, 헤어 이미지 추출부, 헤어 영역 제거부, 이미지 인페인팅부, 가상 두상 생성부를 포함하고, 스타일 추천을 위한 대상 인식부, 패션 특징 분석 모델 처리부, 생체 정보 분석 모델 처리부, 선호도 점수 예측 모델 처리부, 헤어 스타일 데이터베이스부 및 선호도 기반 스타일 추천부를 포함할 수 있다.

또한, 실감형 헤어 시뮬레이션 장치(600)는, 컬러 시뮬레이션 제공부의 헤어 마스크 생성부, 헤어 컬러 트랜스퍼 처리부의 구동을 통해 컬러 시뮬레이션을 제공할 수 있으며, 헤어 소재 분석 정보는 저장 관리되어 헤어 스타일 데이터베이스로 전달될 수 있다.

도 4는 본 발명의 실시 예에 따른 실감형 헤어 시뮬레이션 장치(600)의 스타일 API 제공부를 설명하기 위한 도면이다.

도 4에 도시된 바와 같이, 스타일 API 제공부는, 미러 디스플레이 장치(100)와, 기타 다양한 사용자 단말로부터의 API 요청에 대응하는 실감형 헤어 스타일 시뮬레이션 정보를 생성하여, API 응답을 처리할 수 있다. 예를 들어, 스타일 API 제공부는 가상 염색 체험 API, 헤어 스타일 정보 API, 헤어 시뮬레이션 API를 제공할 수 있다.

도 5는 본 발명의 실시 예에 따른 학습 모델 구축부를 설명하기 위한 도면이다.

도 5를 참조하면, 본 발명의 실시 예에 따른 학습 모델 구축부는, 부분 컨볼루션 처리와, 게이트 컨볼루션 처리를 수행할 수 있으며, 이를 분류 및 결합하여 민머리 변환을 위한 모델 아키텍처를 구축할 수 있다.

그리고, 도 6 및 도 7은 헤어 영역 인식 및 민머리 변환 기반 두상 생성에 따른 헤어 스타일 합성과정을 나타낸다.

먼저, 도 6에 도시된 바와 같이, 본 발명의 실시 예에 따른 민머리 변환 기반 두상 생성부는, 머리카락 및 배경 영역 세분화부, 민머리 변환 수행부, 두상 생성 모델링부 및 두상 영역 추론부를 포함할 수 있다.

머리카락 및 배경 영역 세분화부는, 예를 들어 그랩컷(GrabCut) 알고리즘을 이용하여 모발 영역을 추출할 수 있으며 추출된 모발 영역의 경계에 대해서 알파 매팅(alpha matting)을 적용하여 모발 영역의 머리카락을 미세하게 그리고 자연스럽게 표현할 수 있다. 머리카락 영역은 그 모양이 다양하고 얼굴 영역과 항상 붙어있기 때문에 바운딩박스(bounding box) 설정, 즉 추출 영역의 지정만으로는 모발 영역을 정확하게 추출하는 데 어려움이 있다. 머리카락은 아주 미세하고 복잡한 경계를 가지고 있기 때문에 이진 영상으로만 표현하기에는 한계가 발생한다. 따라서, 세분화부는 모발 영역에서 각 픽셀의 투명도 값(alpha value)에 기초하여 모발 영역의 머리카락을 배경 영상과 합성하는 알파 매팅(alpha matting)을 적용할 수 있다. 알파 매팅을 적용할 경우, 대상 영역에 대해서 이진 영상이 아닌 최소 8bit의 gray 영상으로 표현되는 투명도를 계산할 수 있으며, 이를 통해 머리카락의 미세한 디테일을 표현할 수 있게 된다. 일반적으로 영상은 전경(F)과 배경(B), 및 투명도(

)의 선형결합으로 표현할 수 있으므로,

로 표현되고, 이를 이용하여

를 산출할 수 있다. 여기에서, 대상 영상에 대한 바이너리 맵(binary map)을 확장하여 트리 맵(trimap)을 생성할 수 있고, 이를 이용하여 F와 B를 계산할 수 있으며, 각 픽셀의 RGB 값이 3차원 벡터임으로 전술한 픽셀 값(I)의 수식을 변경하여 각 픽셀의 투명도(

)를 계산할 수 있다.

그리고, 실감형 헤어 시뮬레이션 장치(600)는, 대상 영상의 각 픽셀의 투명도 값을 이용하여 0 내지 1의 값을 가지는 마스크를 생성한 뒤, 생성된 마스크에 기초하여 모발 영역(1250)을 새로운 배경 영상과 합성한 합성 영상을 생성할 수 있다. 투명도 값

는

이므로 수학식

를 통해서 산출할 수 있다. 여기에서,

는 픽셀 값,

는 전경 영상,

는 배경 영상이다. 따라서, 제어부(530)는 합성 영상의 각 픽셀 값(

)을 수학식

을 통해서 산출할 수 있다. 여기에서,

는 합성할 배경 영상이다.

한편, 도 8 내지 도 10은 본 발명의 실시 예에 따른 실감형 헤어 시뮬레이션 장치(600)의 사용자 정보 맞춤형 시뮬레이션을 위한 생체 특성 분석 및 패션 특징 분석 과정을 나타낸다.

도 8에 도시된 바와 같이 본 발명의 실시 예에 따른 실감형 헤어 시뮬레이션 장치(600)는 사용자의 생체 특성(얼굴형, 나이 피부색 등)과 패션 특징을 분석하여, 만족감 높은 헤어 스타일 시뮬레이션을 사용자 맞춤형으로 제공할 수 있다.

이를 위해, 실감형 헤어 시뮬레이션 장치(600)는 CNN 모델 기반의 멀티라벨 분류기를 이용한 얼굴 임베딩 처리, CNN을 이용한 회귀분석 기반의 특징점 추출 처리, 이진 분류기를 이용한 추천 정보 처리, 이미지 인페이팅 기술을 이용한 헤어 합성 처리를 수행할 수 있다.

도 9는 생체 특성 분석 모델을 보다 구체적으로 도시한 것으로, 얼굴 검출 기술을 이용하여, 인종 성별, 나이, 피부 등의 기본 정보를 추출하는 기본 정보 추출부와, 얼굴의 형태, 눈동자 크기, 색상 등의 생체적 특징을 추출하는 얼굴 특징 추출부를 포함할 수 있다.

도 10은 패션 특징 분석 모델을 보다 구체적으로 도시한 것으로, 착용 의상 추출부는 휴먼 세그멘테이션 모델 기반의 착용 의상 정보를 추출할 수 있으며, 패션 특징 분석부는 착용 의상 이미지로부터 특징점을 추출하여 분류할 수 있다.

한편, 도 11은 실감형 헤어 시뮬레이션 장치(600)의 선호도 점수 예측 모델을 보다 구체적으로 도시한 것으로, 선호도 점수 예측 모델은 인물 사진과 머리 스타일이 잘 어울리는지 여부, 얼굴과 패션 스타일이 어울리는지 여부 등을 점수화하여 산출할 수 있다. 이는 전문가를 통한 선호도 점수 측정 기반의 데이터셋 학습을 수행하여 생성된 모델을 이용할 수 있으며, 얼굴 임베딩 벡터, 얼굴 특징점 및 머리 스타일을 입력 정보로 하고, 점수를 출력 정보로 하는 선호도 예측 모델이 인공지능 학습 기반으로 미리 생성될 수 있다.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (5)

1. 헤어 스타일 시뮬레이션 장치의 동작 방법으로서,
   사전 수집된 인공지능 학습 데이터를 컨볼루션 처리하여, 민머리 변환을 위한 상기 민머리 변환 모델의 모델 아키텍처를 구축하여 민머리 변환 모델을 구축하는 단계;
   머리카락 및 배경 영역을 세분화한 사용자 이미지를 상기 민머리 변환 모델에 적용하여, 상기 머리카락 및 배경 영역이 두상 영역으로 인페인팅된 두상 이미지 기반의 상기 두상 정보를 생성하는 단계;
   상기 두상 정보 및 상기 사용자 이미지에 대응하는 사용자 분석 정보에 기초하여, 실감형 헤어 스타일 시뮬레이션을 수행하는 단계; 및
   상기 맞춤형 헤어 스타일 시뮬레이션의 선호도 점수를 평가하여 추천 서비스를 제공하는 선호도 점수 예측 모델 처리단계를 포함하는
   헤어 스타일 시뮬레이션 장치의 동작 방법.
2. 제1항에 있어서,
   상기 수행하는 단계는,
   상기 사용자 분석 정보로부터 획득되는 패션 특징 정보 또는 생체 정보 분석 정보 중 적어도 하나를 이용하여, 맞춤형 헤어 스타일 시뮬레이션을 수행하는 단계를 포함하는
   헤어 스타일 시뮬레이션 장치의 동작 방법.
3. 제2항에 있어서,
   상기 수행하는 단계는,
   상기 맞춤형 헤어 스타일 시뮬레이션을 위한 헤어 스타일 검색어 정보를 수집하는 단계를 포함하는
   헤어 스타일 시뮬레이션 장치의 동작 방법.
4. 제1항에 있어서,
   상기 수행하는 단계는,
   사용자 정보 분석을 위하여 생체 특성 분석 모델을 구축하고, 생체 특성 분석 모델에 사용자의 이미지를 적용하여 얼굴 검출에 의거한 인종 성별, 나이, 피부 등의 기본 정보를 추출하는 기본 정보 추출부와, 얼굴의 형태, 눈동자 크기, 색상 등의 생체적 특징을 추출하는
   헤어 스타일 시뮬레이션 장치의 동작 방법.
5. 제1항에 있어서,
   상기 수행하는 단계는,
   사용자 정보 분석을 위하여 휴먼 세그멘테이션 모델 기반의 착용 의상 정보를 추출할 수 있으며, 패션 특징 분석부는 착용 의상 이미지로부터 특징점을 추출하여 분류하는 단계를 더 포함하는
   헤어 스타일 시뮬레이션 장치의 동작 방법.

Images