KR20200034028A - 인공지능 기반 가상 피팅 시스템 및 방법 - Google Patents

Abstract

본 발명은 인공지능 기반 가상 피팅 시스템 및 방법에 관한 것이다. 개시된 인공지능 기반 가상 피팅 시스템 및 방법은, 영상이나 이미지 내의 피팅대상 이미지 정보를 사용자의 단말기로부터 요청받고, 상기 피팅대상 이미지의 특징을 분석하는 분류 네트워크, 사용자의 이미지 속성을 저장하는 사용자 이미지 저장장치; 및 상기 분류 네트워크에서 분석된 상기 피팅대상 이미지의 특징정보 및 상기 사용자 이미지 저장장치에 저장된 상기 사용자의 이미지 속성을 수신하여 인공지능 기반으로 피팅이미지를 생성하는 생성 네트워크를 포함하는 것을 특징으로 하는 인공지능 기반 가상 피팅 시스템 및 방법을 제공한다. 본 발명에 의하면, 영상이나 시진 내의 패션 아이템이나 헤어스타일을 선택하여 자신과 어울리는 스타일을 가상으로 손쉽게 생성할 수 있도록 하고, 사용자 개인별 다양한 취향을 고려하거나, 개개인에게 어울리는 스타일을 생성할 수 있는 인공지능 기반 가상 피팅 시스템 및 방법을 제공할 수 있다는 이점이 있다.

Description

인공지능 기반 가상 피팅 시스템 및 방법{SYSTEM AND METHOD FOR VIRTUAL FITTING BASED ON ARTIFICIAL INTELLIGENCE}

본 발명은 인공지능 기반 가상 피팅 시스템 및 방법에 관한 것으로, 더욱 상세하게는 동영상이나 사진상의 헤어스타일이나 패션 아이템을 개개인에게 어울리도록 피팅하여 제공할 수 있도록 하는 인공지능 기반 가상 피팅 시스템 및 방법에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

소비자에게는 매장방문의 불편함을 해소하고, 판매자에게는 핏 오류로 인한 반품감소 등을 위하여, 실제로 매장에서 직접 의류, 악세사리 등의 제품을 착용하거나 헤어스타일을 직접 적용함이 없이 가상으로 피팅할 수 있도록 하는 기술들이 제안되고 일부 사업화되고있다.

하지만, 도 1의 기술과 같이, 종래의 대부분의 가상피팅 기술들은 다양한 사용자의 특성을 고려한 헤어스타일이 아닌, 사전에 확보하고 있는 고정된 헤어스타일 DB를 단순히 가상의 이미지에 덧입혀보는 수준에 그치고 있다. 혹은 사용자의 얼굴 이미지와 가지고 있는 DB의 이미지 형태를 단순히 합성하여 피팅하는 수준에 그치고 있다.

이러한 종래의 기술들은 새로운 헤어스타일 등이 나올 경우에도 사용자에게 적합한 스타일을 바로 적용할 수 없고, 사용자가 적용하고자 하는 헤어스타일을 미리 알거나 검색으로 찾아야 하는 한계점이 있다.

가상 피팅의 응용분야 중에서 헤어스타일 분석 및 피팅은 다른 어플리케이션과 비교하여 난이도가 높은 기술이다. 이는 사람들의 외모 및 두상에 따라 적합한 헤어스타일이 모두 다르며, 이에 따라 같은 헤어스타일이라도 각 사람에 가장 어울리는 모양으로 자연스럽게 피팅하기에는 어려움이 따른다.

가상의 헤어스타일 피팅에 인공지능 기법을 활용하고자 하는 InfoGAN, VAEGAN, H-GAN 등 여러 기술이 나왔지만 이들 기술이 적용될 경우 헤어스타일 뿐 아니라 사람의 얼굴까지 쉽게 알아볼 정도로 왜곡되는 등 여전히 기술적인 어려움이 있었다.

또한, 종래의 기술은 헤어스타일을 짧은머리, 곱슬머리, 꽁지머리 등의 몇 가지의 클래스로 분류한 후에 이들을 적용하는 방식으로서, 실제 사람마다 제각각인 방대한 머리모양의 취향을 모두 적용시키지는 못하고 있다.

이에, 본 발명에서는, 전술한 기술적 제약을 해소시킬 수 있는 인공지능 기반 가상 피팅 시스템 및 방법를 제안하고자 한다.

한국등록특허 제10-1165076호, 2011년 10월 12일 공개(명칭: 네트워크를 이용한 가상 피팅 방법과 시스템 및 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록 매체) 한국공개특허공보 제10-2018-0059091호, 2018년 6월 4일 공개(명칭: 의류 피팅 시스템 및 의류 피팅 시스템의 동작 방법) 한국공개특허공보 제10-2017-0016578호, 2017년 2월 14일 공개(명칭: 의류 피팅 시스템 및 의류 피팅 시스템의 동작 방법)

본 발명은 전술한 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 영상이나 시진 내의 패션 아이템이나 헤어스타일을 선택하여 자신과 어울리는 스타일을 가상으로 손쉽게 생성할 수 있도록 하는 인공지능 기반 가상 피팅 시스템 및 방법을 제공하는데 주된 목적이 있다.

또한, 본 발명의 다른 목적은 실제 사용자 개인별로 다양한 취향을 고려하거나, 개개인에게 어울리는 스타일을 생성할 수 있는 인공지능 기반 가상 피팅 시스템 및 방법을 제공하는데 있다.

본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

전술한 목적을 달성하기 위한 본 발명의 일 양상은, 영상이나 이미지 내의 피팅대상 이미지 정보를 사용자의 단말기로부터 요청받고, 상기 피팅대상 이미지의 특징을 분석하는 분류 네트워크; 사용자의 이미지 속성을 저장하는 사용자 이미지 저장장치; 및 상기 분류 네트워크에서 분석된 상기 피팅대상 이미지의 특징정보 및 상기 사용자 이미지 저장장치에 저장된 상기 사용자의 이미지 속성을 수신하여 인공지능 기반으로 피팅이미지를 생성하는 생성 네트워크를 포함하는 것을 특징으로 하는 인공지능 기반 가상 피팅 시스템을 제공한다.

상기 분류 네트워크는, 하나 이상의 계층의 컨볼루셔널 계층으로 구성되는 특징추출부; 및 뉴럴 네트워크를 통하여 클래스를 구분하는 특징분류부를 포함할 수 있다.

상기 특징추출부는, 상기 단말기로부터 입력받은 피팅대상 이미지의 특징을 추출하는 필터(Filter)와, 상기 필터를 적용하여 얻어진 값을 비선형 값으로 바꾸어 주는 액티베이션 함수(Activation 함수)를 포함할 수 있다.

상기 특징분류부는, 완전하게 연결된 계층(fully connected layer)으로 구성되어 상기 특징추출부에서 추출된 특징들의 클래스를 분류할 수 있다.

상기 사용자 이미지 저장장치가 저장하고 있는 상기 사용자의 이미지 속성은, 사용자의 이미지, 사용자의 체형, 신체 사이즈, 두상모양, 신체적 특징 및 사용자의 스타일 선호도 중 어느 하나 이상일 수 있다.

상기 생성 네트워크는, 상기 분류 네트워크에서 분석된 상기 피팅대상 이미지의 특징정보 및 상기 사용자 이미지 저장장치에 저장된 상기 사용자의 이미지 속성에, 생성적 적대 신경망(GAN·Generative Adversarial Networks)을 적용하여 사용자의 이미지 속성에 부합하는 피팅이미지를 생성할 수 있다.

상기 생성 네트워크는, 생성자(Generator)와 구분자(Discriminator)를 포함하고, 이들을 경쟁적으로 학습시키면서 진짜와 구분할 수 없는 가짜를 만들어내는 생성자를 얻도록 하는 적대적 학습(Adversarial Training)요소를 포함할 수 있다.

상기 사용자의 단말기는, 방송망 혹은 통신망을 통하여 영상/사진 컨텐츠를 수신하여 단말기에 탑재된 재생 플레이어를 통하여 재생하는 영상재생부; 사용자의 입력을 인지하는 경우 별도의 어플리케이션을 구동하여 피팅대상 이미지를 선택할 수 있도록 하는 피팅대상선택부; 및 상기 분류 네트워크 및 상기 생성 네트워크와 정보를 주고받기 위한 통신부를 포함할 수 있다.

상기 피팅대상선택부는, 상기 단말기가 데스크톱인 경우, 시청하고 있는 동영상의 재생 중 피팅대상 물체, 예컨대 의류 또는 헤어스타일 부근에 마우스를 위치하고 마우스를 클릭하면 피팅 메뉴를 팝업하고, 의류 또는 헤어스타일 피팅을 선택한 경우 해당 의류 또는 헤어스타일을 피팅대상으로 선택할 수 있다.

상기 피팅대상선택부는, 상기 단말기가 스마트폰인 경우, 시청하고 있는 동영상의 재생 중 피팅대상 물체, 예컨대 의류 또는 헤어스타일 부근을 일정시간이상 길게 터치하면 피팅 메뉴를 팝업하고 해당 의류 또는 헤어스타일 이미지를 피팅대상으로 선택할 수 있다.

상기 피팅대상선택부는, 시청하고 있는 동영상의 재생 중 피팅대상 제품을 포함한 부근을 터치하면 피팅 메뉴를 팝업하고 해당 제품 이미지를 피팅대상으로 선택할 수 있다.

상기 피팅대상선택부는, 시청하고 있는 동영상의 재생 중 AI 음성인식 장치를 통하여 음성을 입력받아 피팅대상 제품의 이미지를 피팅대상으로 선택할 수 있다.

상기 피팅대상선택부는, 시청하고 있는 동영상의 재생 중 리모콘 장치의 특정키를 입력하는 경우 피팅 메뉴를 팝업하고 해당 제품 이미지를 피팅대상으로 선택할 수 있다.

본 발명의 다른 일 양상은, 사용자의 단말기에서 선택된 피팅대상 이미지가 통신망을 통하여 분류 네트워크로 전달되는 단계; 상기 분류 네트워크에서 상기 단말기로부터 전달받은 피팅대상 이미지를 수신하여 특징을 추출하는 단계; 상기 분류 네트워크에서 상기 추출된 특징을 클래스별로 분류하는 단계; 상기 분류 네트워크에서 분류된 특징을 생성 네트워크로 전달하는 단계; 사용자 이미지 저장장치에 저장되어 있는 사용자의 속성정보가 상기 생성 네트워크로 전달되는 단계; 및 상기 생성 네트워크에서는 상기 전달받은 피팅대상 이미지의 특징과 상기 사용자의 속성정보에, 생성적 적대 신경망(GAN·Generative Adversarial Networks) 기술을 적용하여 상기 사용자의 속성정보에 부합하는 피팅 이미지를 생성하는 것을 특징으로 하는 인공지능 기반 가상 피팅 방법을 제공한다.

상기 생성 네트워크에서 생성된 피팅 이미지는, 상기 사용자의 단말기로 전송될 수 있다.

본 발명의 인공지능 기반 가상 피팅 시스템 및 방법에 의하면, 시청중인 영상이나 시진 내의 패션 아이템이나 헤어스타일을 선택하여 자신과 어울리는 스타일을 가상으로 손쉽게 생성할 수 있도록 하는 인공지능 기반 가상 피팅 시스템 및 방법을 제공할 수 있다는 효과가 있다.

또한, 실제 사용자 개인별로 다양한 취향을 고려하거나, 개개인에게 어울리는 스타일을 생성할 수 있는 인공지능 기반 가상 피팅 시스템 및 방법을 제공할 수 있다는 효과가 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.
도 1은 종래 기술에 따른 헤어스타일 피팅 서비스 방법을 예시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 인공지능 기반 가상 피팅 시스템의 구성을 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 단말기의 구성을 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 분류 네트워크의 구성을 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 딥 컨볼루션 GAN의 구성을 예시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 인공지능 기반 가상 피팅 방법의 구성을 예시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 휴대폰 등의 단말기를 통한 인공지능 기반 가상 피팅 방법의 구성을 예시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 IP TV를 통한 인공지능 기반 가상 피팅 방법의 구성을 예시한 도면이다.
도 9는 본 발명의 다른 실시예에 따른 인공지능 기반 가상 피팅 방법의 구성을 예시한 도면이다.

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 안다.

몇몇 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 발명의 도면의 각 구성부들은 인공지능 기반 가상 피팅 시스템에서 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시한 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예에 대해 살펴보기로 한다.

도 2는 본 발명의 일 실시예에 따른 인공지능 기반 가상 피팅 시스템의 구성을 예시한 도면이다.

본 발명의 일 실시예에 따른 인공지능 기반 가상 피팅 시스템 및 방법은 얼굴보정, 의류/악세사리의 가상피팅, 스타일 변환, 헤어스타일 피팅 등 패션 아이템 피팅을 비롯한 여러 분야에 활용될 수 있지만, 설명의 편의상 헤어스타일 피팅을 한 예로 들어 설명하도록 한다.

단말기(100)는 피팅대상 이미지를 선택할 수 있는 장치로서, 방송, 유투브 등의 동영상 혹은 사진 등을 보다가 사용자가 맘에 드는 피팅대상 스타일을 선택할 수 있도록 한다. 예컨대, 드라마의 인물의 헤어스타일을 자신에게 적용하여 보고 싶을 경우에 해당 화면의 인물 이미지를 선택하는 것이다.

단말기(100)는 영상을 디스플레이에 재생하고 입출력, 통신기능을 보유하는 모든 정보통신기기로서, IP TV, 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Notebook), 넷북(Netbook), 멀티미디어 단말기, 유선 단말기, 고정형 단말기, IP(Internet Protocol) 단말기, 휴대폰, PMP(Portable Multimedia Player), MID(Mobile Internet Device), 스마트폰(Smartphone) 등일 수 있다.

단말기(100)의 구성에 대하여는 도 3의 설명 부분에서 보다 상세히 설명하도록 한다.

분류 네트워크(200)는 인공지능 기반으로 단말기(100)에서 사용자에 의하여 선택된 헤어스타일의 특징을 분석하여, 사용자의 헤어스타일로 적용하기 위하여 분류하는 기술이 적용된 장치이다.

분류 네트워크(200)에는 딥러닝의 합성곱 신경망(Convolutional Neural Network, CNN)기법이 활용되는 것이 바람직하다.

합성곱 신경망(CNN)은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. 합성곱 신경망(CNN)은 하나 또는 여러 개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조를 통하여 합성곱 신경망(CNN)은 2차원 구조의 입력 데이터를 충분히 활용할 수 있으며, 다른 딥 러닝 구조들에 비하여 영상, 음성 분야 모두에서 좋은 성능을 가져올 수 있다

분류 네트워크(200)의 구성에 대하여는 도 4의 설명 부분에서 보다 상세히 설명하도록 한다.

사용자 이미지 저장장치(300)는 분류 네트워크(200)에서 분류된 헤어스타일을 사용자에게 적용하기 위하여, 사용자의 얼굴 등 신체 이미지의 속성을 저장하고 있는 저장매체로서, 컴퓨터로 판독 가능한 매체로서 휘발성 메모리 혹은 비휘발성 메모리 유닛일 수 있다. 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수 있다.

사용자 이미지 저장장치(300)에는 단순한 사용자의 이미지 외에 사용자의 체형, 신체 사이즈, 두상모양, 신체적 특징 혹은 사용자의 스타일 선호도 등을 함께 저장하고 있는 것이 바람직하다.

생성 네트워크(400)는 인공지능 기반으로 분류 네트워크(100)에서 분류된 헤어스타일 정보 및 사용자 이미지 저장장치(300)를 바탕으로, 사용자에게 가상으로 피팅된 모델을 만들어 주는 기술이 적용된 신경망이다.

생성 네트워크(400)의 생성모델에는 예컨대 생성적 적대 신경망(GAN·Generative Adversarial Networks)과 같은 딥러닝 기술이 적용될 수 있다.

생성적 적대 신경망(GAN)은 생성자(Generator)와 구분자(Discriminator)를 경쟁적으로 학습시키면서 진짜와 구분할 수 없는 가짜를 만들어내는 생성자를 얻도록 하는 적대적 학습(Adversarial Training)을 포함한다.

본 발명의 일실시예에서는 분류 네트워크(200)에서 분석된 이미지의 분류와 사용자 이미지 저장장치(300)에 저장되어 있는 사용자의 이미지를 처리하여 새로운 이미지를 생성하는데 생성적 적대 신경망(GAN)을 활용할 수 있다.

생성적 적대 신경망(GAN) 중에서 보다 바람직하게는 딥 컨볼루션 GAN(DCGAN, Deep Convolutional GAN)을 활용할 수 있다. DCGAN은 선형 레이어와 풀링 레이어(Pooling Layer)를 최대한 배제하고 합성곱(Convolution)과 Transposed Convolution(Fractional-Strided Convolution)으로 네트워크 구조를 만들었다. 또한, 배치 정규화(Batch Normalization)를 사용하여 레이어의 입력 데이터 분포가 치우쳐져 있을 때 평균과 분산을 조정할 수 있도록 한다. 이는 역전파가 각 레이어에 쉽게 전달되도록 해 학습이 안정적으로 이뤄지도록 돕는 데 중요한 역할을 한다.

분류 네트워크(200) 및 생성 네트워크(400)는 단말기(100)의 백그라운드 상에서 동작하는 소프트웨어로 구현할 수 있으며, 네트웍으로 연결된 별도의 서버장치 등에서 구현될 수도 있다. 예를 들어, 분류 네트워크(200) 및/또는 생성 네트워크(400)는 단말기(100)에 설치되어 단말기의 백그라운드상에서 동작하고 있으면서, 사용자가 동영상 또는 영상 미디어의 시청중 피팅 대상 아이템을 선택하는 경우 (예컨대, 동영상 화면상에서 클릭하는 방식 등에 의해) 해당 피팅 대상 아이템을 인식 및 분류하여 사용자에게 제시하고 사용자 이미지에 피팅하여 제공하는 방식으로 동작하는 소프트웨어로 구현될 수 있다.

도 5에서 본 발명의 일 실시예에 따른 딥 컨볼루션 GAN의 구성을 예시하고 있다.

DCGAN은 학습이 잘 이뤄졌는지 확인하기 위한 여러 가지 검증 방법을 가지고 있다. 그중 하나가 잠재 공간에 실제 데이터의 특성이 투영됐는지 살펴보는 것이다. 본 발명의 일실시예에서는 사람 얼굴을 생성하는 모델이 잘 학습되면 단순히 헤어스타일을 합성하는 것이 아니라 아니라, 성별, 두상, 얼굴방향, 안경을 썼는지 여부, 개인의 취향 등 의미적인 속성 단위들이 분류 네트워크(200)에서 분류된 특징에 반영되어 피팅모델에 적용되게 된다. 즉 동일하게 분류 네트워크(200)에서 분석되어 분류된 헤어스타일이라도 사용자 이미지 저장장치(300)에서 저장되어 있는 사용자의 속성에 따라 차별적으로 적용될 수 있다는 것이다.

DCGAN은 얼굴 방향에 해당하는 특성을 찾아낼 수 있고, 'z' 벡터에서 이에 해당하는 값을 바꿈으로써 이미지에서 얼굴이 바라보고 있는 방향을 바꿔볼 수 있다.

생성 네트워크(400)에서 생성된 사용자의 피팅이미지는 단말기(100)에 전달될 수 있고, 혹은 지정된 다른 단말기에 전달되어 확인할 수 있다.

단말기(100) 혹은 지정된 다른 단말기에 전달된 피팅이미지는 사용자의 만족도 평가 등의 피드백 등을 반영하여 각 선호하는 카테고리, 스타일, 제품 정보를 사용자 이미지 저장장치(300)에 저장하고, 피팅대상선택부(130) 및 생성 네트워크(400)의 피팅이미지 학습에 활용할 수 있다.

한편, 인터넷 쇼핑몰 등과 제휴하여 제품에 대한 API(Application Programming Interface)를 받거나, 인터넷 크롤링 머신을 통해서 주기적으로 다양한 최신 헤어스타일, 패션 아이템 등의 데이터를 수집하여 데이터베이스(미도시)를 만들고 정보를 레코드로 추가하여 사용자에게 제공하거나, 이러한 정보를 분류 네트워크(200) 피팅대상 이미지 분류 및 생성 네트워크(400)의 피팅이미지 생성시 활용하여, 최신 트랜드에 부합하는 피팅이미지 생성을 가능하도록 한다. 또한, 만족도가 높은 카테고리와 스타일 그리고 제품은 우선 노출되도록 피팅 서비스의 개인화된 화면으로 제공할 수도 있다. 또한, 사용자의 이미지와 결합한 피팅이미지를 제공하는 것과 더불어, 피팅 대상 제품 및 유사상품에 대한 정보를 검색하여 제공하거나, 해당 제품에 대한 최저가 쇼핑몰 이나 판매 웹싸이트(website) 정보를 사용자에게 제공할 수 있다.

도 3은 본 발명의 일 실시예에 따른 단말기의 구성을 예시한 도면이다.

영상재생부(110)는 방송망 혹은 통신망을 통하여 영상/사진 컨텐츠를 수신하여 단말기에 탑재된 재생 플레이어를 통하여 단말기(100)의 디스플레이부(미도시)를 통하여 재생하도록 한다. 동영상의 경우는 재생이 필용하지만, 사진 컨텐츠는 영상재생 없이도 인터넷 브라우저를 통한 인터넷 서핑 중 화면 상에서 선택할 수 있다.

피팅대상선택부(130)는 사용자의 입력을 인지하는 경우 단말기의 백그라운드상에서 동작중이던 어플리케이션을 활성화하거나 별도의 어플리케이션을 구동하여, 피팅대상 이미지를 선택할 수 있도록 한다. 상기 어플리케이션은 본 발명의 일 실시예의 피팅 작업을 수행하기 위해 고안된 일련의 컴퓨터 프로그램 집합을 말하는데, 일반적으로 응용프로그램이라 한다. 보다 넓은 의미의 애플리케이션은 컴퓨터 장비인 시스템을 이용하여 목적 업무를 수행하기 위한 프로그램을 일컫는다.

예컨대, 단말기(100)가 데스크톱인 경우, 시청하고 있는 동영상의 재생 중 피팅대상 헤어스타일 부근에 마우스를 위치하고 마우스를 클릭(예컨대, 우클릭)하거나 터치스크린 상에 터치하면 피팅 메뉴를 팝업하고, 헤어스타일 피팅을 선택한 경우 해당 헤어스타일 이미지를 피팅대상으로 선택할 수 있도록 한다.

예컨대, 단말기(100)가 스마트폰인 경우, 시청하고 있는 동영상의 재생 중 피팅대상 헤어스타일 부근을 터치(예컨대. 일정시간이상 길게 터치)하면 피팅 메뉴를 팝업하고 해당 헤어스타일 이미지를 피팅대상으로 선택할수 있도록 한다.

단말기(100)와 분류 네트워크(200)간에는 통신망으로 연결되어 있으며, 통신망은 바람직하게는 CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), GSM(Global System for Mobile Communications), LTE(Long Term Evolution) 등의 이동통신망이지만, 인터넷과 같은 글로벌 공공 통신 네트워크(Global Public Communication Network), WAN(wide area network), LAN(local area network), 인트라넷 또는 그 명칭 여부에 불구하고 향후 구현될 어떠한 형태의 네트워크일 수 있다.

통신부(150)는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF 송신 수단과 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF 수신 수단 등을 포함한다. 이러한 통신부(150)는 무선통신 모듈 및 유선통신 모듈 중 적어도 하나를 포함할 수 있다. 그리고, 무선통신 모듈은 무선 통신 방법에 따라 데이터를 송수신하기 위한 구성이며, 무선 통신을 이용하는 경우, 무선망 통신 모듈, 무선랜 통신 모듈 및 무선팬 통신 모듈 중 어느 하나를 이용하여 데이터를 송수신할 수 있다. 또한, 유선통신 모듈은 유선으로 데이터를 송수신하기 위한 것이다. 유선통신 모듈은 유선을 통해 통신망에 접속하여 데이터를 송수신할 수 있다.

도 4는 본 발명의 일 실시예에 따른 분류 네트워크의 구성을 예시한 도면이다.

합성곱 신경망(CNN)은 뉴럴 네트워크인 특징분류부(230) 앞에 여러 계층의 컨볼루셔널 계층인 특징추출부(210)를 붙인 모양이다. 합성곱 신경망(CNN)은 앞의 컨볼루셔널 계층을 통해서 입력받은 이미지에 대한 특징(Feature)를 추출하게 되고, 이렇게 추출된 특징을 기반으로 뉴럴 네트워크인 특징분류부(230)를 이용하여 분류한다.

특징추출부(210)는 다시 특징을 추출하는 기능을 하는 필터(Filter)와, 이 필터를 적용하여 얻어진 값을 비선형 값으로 바꾸어 주는 액티베이션 함수(Activation 함수)로 이루어진다.

필터를 적용해서 얻어낸 결과인 피쳐맵(Feature map)은 정량적인 값으로 나오기 때문에 이를 필터링된 특징을 "있다, 없다"의 비선형 값으로 바꿔 주는 과정이 필요한데, 이것이 바로 액티베이션 함수(Activation 함수)이다.

특징추출부(210)는 필터와 액티베이션 함수를 반복적으로 조합하여 특징을 추출하게 된다.

특징분류부(230)는 완전하게 연결된 계층(fully connected layer)으로 구성되어 특징들의 클래스를 분류한다. 예컨대, 피팅대상 이미지가 헤어스타일인 경우 선택한 헤어스타일의 이름, 특징, 정확도 확률 등으로 구분될 수 있다.

도 6은 본 발명의 일 실시예에 따른 인공지능 기반 가상 피팅 방법의 구성을 예시한 도면이다.

단말기(100)에서는 방송망 혹은 통신망을 통하여 영상/사진 컨텐츠를 수신하여 단말기(100)에 탑재된 재생 플레이어를 통하여 단말기(100)의 디스플레이부(미도시)를 통하여 재생하던 중 사용자의 입력을 인지하는 경우 별도의 어플리케이션을 구동하여 피팅대상 아이템을 선택할 수 있도록 한다(S601).

기 설명한 바와 같이, 단말기(100)가 데스크톱인 경우, 시청하고 있는 동영상의 재생 중 피팅대상 헤어스타일 부근에 마우스를 위치하고 마우스를 클릭(예컨대, 우클릭)하면 피팅 메뉴를 팝업하고, 헤어스타일 피팅을 선택한 경우 해당 헤어스타일 이미지를 피팅대상으로 선택할수 있도록 한다.

단말기(100)가 스마트폰인 경우, 시청하고 있는 동영상의 재생 중 피팅대상 헤어스타일 부근을 터치(예컨대, 일정시간이상 길게 터치)하면 피팅 메뉴를 팝업하고 해당 헤어스타일 이미지를 피팅대상으로 선택할 수 있도록 한다.

선택된 피팅대상 이미지는 통신망을 통하여 분류 네트워크(200)로 전달된다(S603).

분류 네트워크(200)는 단말기(100)로부터 전달받은 피팅대상 이미지를 수신하여 합성곱 신경망(CNN)등의 기법으로 특징을 추출한다(S605). 특징추출은 다시 특징을 추출하는 기능을 하는 필터(Filter)와, 이 필터를 적용하여 얻어진 값을 비선형 값으로 바꾸어 주는 액티베이션 함수(Activation 함수)을 통하여 수행된다.

추출된 특징은 완전하게 연결된 계층(fully connected layer)으로 구성된 뉴럴 네트워크인 특징분류부(230)를 이용하여 분류한다(S607).

필터를 적용해서 얻어낸 결과인 피쳐맵(Feature map)은 정량적인 값으로 나오기 때문에 이를 필터링하는 특징이 "있다, 없다"의 비선형 값으로 바꿔 주는 과정이 필요한데, 이것이 바로 액티베이션 함수(Activiation 함수)이다.

특징추출 단계(S605)는 필터와 액티베이션 함수를 반복적으로 조합하여 특징을 추출하게 된다.

특징 분류 단계(S607)를 거쳐 분류된 피팅 이미지의 특징들의 클래스는 생성 네트워크(400)로 전달된다(S609).

S609 단계와 더불어 사용자 이미지 저장장치(300)에 저장되어 있는(S611) 사용자의 속성정보, 즉, 사용자의 이미지 외에 사용자의 체형, 사이즈, 두상모양, 신체적 특징 혹은 사용자의 스타일 선호도 등을 함께 생성 네트워크(400)로 전달된다(S613). 본 발명의 다른 실시예에 의하면, 사용자의 이미지 및 속성은 이전에 사용자 이미지 저장장치(300)에 저장하여 두었던 것이 아닐 수 있다. 즉, 본 발명의 플로우(flow)가 개시한 이후에, 사용자의 이미지가 단말기(100)내에서 구동하는 어플리케이션에 의해 새로이 촬영되고 사용자의 속성(예컨대, 체형, 사이즈, 두상모양, 신체적 특징, 스타일 선호도) 또한 새로이 파악되어 생성 네트워크(400)로 전달될 수 있다(S613).

생성 네트워크(400)에서는 생성적 적대 신경망(GAN·Generative Adversarial Networks)와 같은 딥러닝 기술이 적용하여, 생성적 적대 신경망(GAN)은 생성자(Generator)와 구분자(Discriminator)를 경쟁적으로 학습시키는 적대적 학습(Adversarial Training)단계를 포함한다.

생성 네트워크(400)에서 생성된 피팅 이미지는 처음 요청된 사용자의 단말기(100)로 전송된다. 하지만, 피팅 이미지는 단말기(100)로의 전송에 한정되는 것은 아니며, 사용자가 지정한 별도의 단말장치로 전송될 수 있다. 예컨대, IP TV시청중 TV로 요청한 헤어피팅 이미지를 사용자의 스마트폰으로 전송받을 수도 있다. 또한, 사용자의 이미지에 피팅이미지를 제공하는 것과 더불어, 피팅 대상 제품에 대한 유사상품에 대한 정보를 검색하여 제공하거나, 해당 제품에 대한 최저가 쇼핑몰 이나 판매 웹싸이트(website) 정보를 사용자에게 제공할 수 있다.

도 7은 본 발명의 일 실시예에 따른 휴대폰을 통한 인공지능 기반 가상 피팅 방법의 구성을 예시한 도면이다.

도 7에 도시된 구체적인 실시예에 도 6에서 설명한 일부 단계를 대응하여 설명하면 아래와 같다.

단말기(100)가 스마트폰 등의 휴대폰인 경우, 휴대폰에서 재생되는 영상에서 피팅하고자 하는 제품(예: 안경)을 터치하거나 제품 부근에 원을 그리거나, AI(Artificial Intelligence) 스피커 등 음성인식 장치에 음성입력 하는 등으로 선택하면(S601), 선택된 제품의 이미지를 추출하여 기존의 학습된 분류 네트워크(200)의 입력으로 전달한다(S603). 음성인식을 이용하는 경우, 영상 시청 중 "남자가 쓰고 있는 안경을 내 사진에 피팅해줘" 등으로 음성으로 입력할 수 있다.

분류 네트워크(200)에서는 전달된 이미지에 대한 특징추출(S605) 및 특징을 분류(S607)하여 사용자가 선택한 제품의 클래스를 분류하여, 선택적으로 분석된 제품 정보에 대한 검색결과를 제공할 수 있다(도 6에는 대응 단계 미도시). 분석된 제품 정보는 검색된 제품을 별도의 데이터베이스(DB)에서 조회하여 해당 제품의 제조사, 모델명, 스타일, 가격 정보, 판매 쇼핑몰 혹은 연관된 다른 제품 등을 제공할 수 있다.

사전에 저장되어 있거나 새로 촬영한 사용자의 이미지 속성과 분류 네트워크(200)에서 분석된 피팅대상 이미지의 특징정보를 기반으로, 생성 네트워크(400)에서는 사용자의 이미지 속성에 부합하는 피팅이미지를 생성하여(S615), 휴대폰에 전송하여 표시한다(S617).

상기 설명한 바와 같이 본 발명의 일 실시예에서, 스마트폰과 같이 단말기(100)에서 직접 영상을 재생하면서 영상에 나타난 제품의 피팅대상 이미지를 선택하여 피팅이미지를 생성할 수도 있지만, 또 다른 실시예에서는 IP TV 등에서 영상을 재생하면서 구체적인 피팅대상 이미지의 선택, 제품 정보 제공 및 피팅 이미지의 제공은 등록된 휴대폰과 연동하여 서비스를 제공할 수도 있다.

도 8은 본 발명의 일 실시예에 따른 IP TV를 통한 인공지능 기반 가상 피팅 방법의 구성을 예시한 도면이다.

도 8에 도시된 구체적인 실시예에 도 6에서 설명한 일부 단계와 대응하여 설명하면 아래와 같다.

TV 시청중에 피팅하고자 하는 제품이 있는 경우 피팅서비스 제공을 위한 리모콘의 특정키를 누르면(S601), 선택된 제품이 포함된 화면을 캡쳐하여 분류 네트워크(200)의 입력으로 전달하고(S603), 분류 네트워크(200)에서는 캡쳐된 이미지 내의 피팅대상 제품 아이템을 인식한다.

사용자는 피팅서비스 제공요청을 리모콘의 특정키를 이용할 수도 있으나, AI(Artificial Intelligence) 스피커를 통하여 입력할 수도 있다. 이 경우, TV 시청 중 "남자가 쓰고 있는 안경을 내 사진에 피팅해줘" 등으로 음성으로 입력할 수 있다.

TV에서 선택된 제품만 단독으로 선택하여 피팅하기 곤란한 경우 등에는 화면내의 가능한 피팅대상 제품 아이템까지 포함하여 등록된 휴대폰으로 전송한 후 원하는 제품을 다시 선택하여 인식할 수 있다.

도 8의 점선으로 표시한 과정에서 사전에 등록된 휴대폰으로 캡쳐된 화면을 전송한 후 휴대폰 화면에서 사용자가 원하는 제품을 선택할 수 있도록 한다. 이러한 과정은 도 7의 실시예에서 휴대폰상에서 피팅대상 제품을 선택하는 것과 동일하다.

도 8의 예에서는 사용자가 안경을 선택하고자 하는 경우, 분류 네트워크(200)에서는 캡쳐된 화면내의 가능한 피팅대상 제품 아이템인 헤어스타일(1), 안경(2), 상의 슈트(3)를 모두 인식하여 사전에 등록된 휴대폰으로 전송하면, 휴대폰에서 원하는 제품인 안경(2)을 선택할 수 있도록 한다(S601'). 이 경우 도 6의 단말기(100)는 TV에서 캡쳐된 영상을 제공받는 휴대폰으로 볼 수 있다.

분류 네트워크(200)에서는 전달된 이미지에 대한 특징추출(S605) 및 특징을 분류(S607)하여 사용자가 선택한 제품의 클래스를 분류하여, 선택적으로 분석된 제품 정보에 대한 검색결과를 제공할 수 있다(제품 정보 검색결과 제공과정은 도 6에는 미도시). 분석된 제품 정보는 검색된 제품을 별도의 데이터베이스(DB)에서 조회하여 해당 제품의 제조사, 모델명, 스타일, 가격 정보, 판매 쇼핑몰 혹은 연관된 다른 제품정보 등을 제공할 수 있다.

사전에 저장되어 있거나 새로 촬영한 사용자의 이미지 속성과 분류 네트워크(200)에서 분석된 피팅대상 이미지의 특징정보를 기반으로, 생성 네트워크(400)에서는 사용자의 이미지 속성에 부합하는 피팅이미지를 생성하여(S615), 휴대폰에 전송하여 표시한다(S617).

도 9는 본 발명의 다른 실시예에 따른 인공지능 기반 가상 피팅 방법의 구성을 예시한 도면이다.

본 발명의 다른 실시예에 따르면, TV나 휴대폰 등으로 영상이나 이미지 내의 피팅대상 제품을 선택하면(1,2), 분류 네트워크(200)에서는 해당 피팅대상 제품에 대한 이미지의 특징정보를 분석하여 관련된 제품의 정보, 즉, 별도의 데이터베이스(DB)에서 조회한 해당 제품의 제조사, 모델명, 스타일, 가격 정보, 판매 쇼핑몰 등의 정보를 제공할 수 있다(3).

생성 네트워크(400)에서는 사용자의 이미지 속성에 피팅대상 제품의 특징정보를 이용하여 인공지능 기반으로 피팅이미지를 생성하고(4), 사용자의 단말기(100)에 가상의 피팅이미지를 제공한다(5).

사용자의 이미지에 피팅이미지를 적용하여 제공하는 것과 더불어, 피팅 대상 제품과 유사한 스타일의 제품, 관련도가 높은 제품, 인기도가 높은 제품 혹은 추천 상품을 별도의 데이터베이스에서 추가로 검색하여 사용자에게 제시할 수 있다(6). 이를 통하여, 사용자에게는 또 다른 쇼핑의 기회 및 만족을 제공하고 판매자들에게는 제품 마케팅과 새로운 수익창출의 방안으로 활용할 수 있다.

한편, 사용자의 구매편의를 위하여 사용자가 구매를 선택한 제품에 대한 최저가 쇼핑몰이나 판매 웹싸이트(website) 정보를 연동하여 제공함으로써, 가상피팅 서비스와 연계한 제품구매를 원스탑 서비스로 제공할 수 있다(7).

도 6 내지 도 9에서는 단계 S601 내지 단계 S617 등이 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 6 내지 도 9에 기재된 순서를 변경하여 실행하거나 단계 S601 내지 단계 S617 등의 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 6내지 도 9는 시계열적인 순서로 한정되는 것은 아니다. 예컨대, S611의 이미지 속성 저장은 S601단계 이전에 이미 수행되거나 어느 단계 동안에 병렬적으로 수행될 수 있다.

본 명세서에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

본 발명의 인공지능 기반 가상 피팅 시스템 및 방법에 따르면, 영상이나 시진 내의 패션 아이템이나 헤어스타일을 선택하여 자신과 어울리는 스타일을 가상으로 손쉽게 생성할 수 있도록 하고, 사용자 개인별 다양한 취향을 고려하거나, 개개인에게 어울리는 스타일을 생성할 수 있는 인공지능 기반 가상 피팅 시스템 및 방법을 제공할 수 있는 솔루션으로 활용 가능하다는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.

100: 단말기 110: 영상재생부 130: 피팅대상선택부
150: 통신부 200: 분류 네트워크 210: 특징추출부
230: 특징분류부 300: 사용자 이미지 저장장치
400: 생성 네트워크

Claims (16)

1. 영상이나 이미지 내의 피팅대상 이미지 정보를 사용자의 단말기로부터 요청받고, 상기 피팅대상 이미지의 특징을 분석하는 분류 네트워크;
   사용자의 이미지 속성을 저장하는 사용자 이미지 저장장치; 및
   상기 분류 네트워크에서 분석된 상기 피팅대상 이미지의 특징정보 및 상기 사용자 이미지 저장장치에 저장된 상기 사용자의 이미지 속성을 수신하여 인공지능 기반으로 피팅이미지를 생성하는 생성 네트워크를 포함하는 것을 특징으로 하는 인공지능 기반 가상 피팅 시스템.
2. 제1항에 있어서,
   상기 분류 네트워크는,
   하나 이상의 계층의 컨볼루셔널 계층으로 구성되는 특징추출부; 및
   뉴럴 네트워크를 통하여 클래스를 구분하는 특징분류부를 포함하는 것을 특징으로 하는 인공지능 기반 가상 피팅 시스템.
3. 제2항에 있어서,
   상기 특징추출부는,
   상기 단말기로부터 입력받은 피팅대상 이미지의 특징을 추출하는 필터(Filter)와, 상기 필터를 적용하여 얻어진 값을 비선형 값으로 바꾸어 주는 액티베이션 함수(Activation 함수)를 포함하는 것을 특징으로 하는 인공지능 기반 가상 피팅 시스템.
4. 제2항에 있어서,
   상기 특징분류부는,
   완전하게 연결된 계층(fully connected layer)으로 구성되어 상기 특징추출부에서 추출된 특징들의 클래스를 분류하는 것을 특징으로 하는 인공지능 기반 가상 피팅 시스템.
5. 제1항에 있어서,
   상기 사용자 이미지 저장장치가 저장하고 있는 상기 사용자의 이미지 속성은,
   사용자의 이미지, 사용자의 체형, 신체 사이즈, 두상모양, 신체적 특징 및 사용자의 스타일 선호도 중 어느 하나 이상인 것을 특징으로 하는 인공지능 기반 가상 피팅 시스템.
6. 제1항에 있어서,
   상기 생성 네트워크는,
   상기 분류 네트워크에서 분석된 상기 피팅대상 이미지의 특징정보 및 상기 사용자 이미지 저장장치에 저장된 상기 사용자의 이미지 속성에, 생성적 적대 신경망(GAN·Generative Adversarial Networks)을 적용하여 사용자의 이미지 속성에 부합하는 피팅이미지를 생성하는 것을 특징으로 하는 인공지능 기반 가상 피팅 시스템.
7. 제6항에 있어서,
   상기 생성 네트워크는,
   생성자(Generator)와 구분자(Discriminator)포함하고, 이들을 경쟁적으로 학습시키면서 진짜와 구분할 수 없는 가짜를 만들어내는 생성자를 얻도록 하는 적대적 학습(Adversarial Training)요소를 포함하는 것을 특징으로 하는 인공지능 기반 가상 피팅 시스템.
8. 제1항에 있어서,
   상기 사용자의 단말기는,
   방송망 혹은 통신망을 통하여 영상/사진 컨텐츠를 수신하여 단말기에 탑재된 재생 플레이어를 통하여 재생하는 영상재생부;
   사용자의 입력을 인지하는 경우 별도의 어플리케이션을 구동하여 피팅대상 이미지를 선택할 수 있도록 하는 피팅대상선택부; 및
   상기 분류 네트워크 및 상기 생성 네트워크와 정보를 주고받기 위한 통신부를 포함하는 것을 특징으로 하는 인공지능 기반 가상 피팅 시스템.
9. 제8항에 있어서,
   상기 피팅대상선택부는,
   시청하고 있는 동영상의 재생 중 피팅대상 제품 부근에 마우스를 위치하고 마우스를 클릭하면 피팅 메뉴를 팝업하고, 피팅을 선택한 경우 해당 제품을 피팅대상으로 선택할 수 있도록 하는 것을 특징으로 하는 것을 특징으로 하는 인공지능 기반 가상 피팅 시스템.
10. 제8항에 있어서,
    상기 피팅대상선택부는,
    시청하고 있는 동영상의 재생 중 피팅대상 제품 부근을 일정시간이상 길게 터치하면 피팅 메뉴를 팝업하고 해당 제품 이미지를 피팅대상으로 선택할 수 있도록 하는 것을 특징으로 하는 인공지능 기반 가상 피팅 시스템.
11. 제8항에 있어서,
    상기 피팅대상선택부는,
    시청하고 있는 동영상의 재생 중 피팅대상 제품을 포함한 부근을 터치하여 특정 도형을 그리면 피팅 메뉴를 팝업하고 해당 제품 이미지를 피팅대상으로 선택할 수 있도록 하는 것을 특징으로 하는 인공지능 기반 가상 피팅 시스템.
12. 제8항에 있어서,
    상기 피팅대상선택부는,
    시청하고 있는 동영상의 재생 중 AI 음성인식 장치를 통하여 음성을 입력받아 피팅대상 제품의 이미지를 피팅대상으로 선택할 수 있도록 하는 것을 특징으로 하는 인공지능 기반 가상 피팅 시스템.
13. 제8항에 있어서,
    상기 피팅대상선택부는,
    시청하고 있는 동영상의 재생 중 리모콘 장치의 특정키를 입력하는 경우 피팅 메뉴를 팝업하고 해당 제품 이미지를 피팅대상으로 선택할 수 있도록 하는 것을 특징으로 하는 인공지능 기반 가상 피팅 시스템.
14. 사용자의 단말기에서 선택된 피팅대상 이미지가 통신망을 통하여 분류 네트워크로 전달되는 단계;
    상기 분류 네트워크에서 상기 단말기로부터 전달받은 피팅대상 이미지를 수신하여 특징을 추출하는 단계;
    상기 분류 네트워크에서 상기 추출된 특징을 클래스별로 분류하는 단계;
    상기 분류 네트워크에서 분류된 특징을 생성 네트워크로 전달하는 단계;
    사용자 이미지 저장장치에 저장되어 있는 사용자의 속성정보가 상기 생성 네트워크로 전달되는 단계; 및
    상기 생성 네트워크에서는 상기 전달받은 피팅대상 이미지의 특징과 상기 사용자의 속성정보에, 생성적 적대 신경망(GAN·Generative Adversarial Networks) 기술을 적용하여 상기 사용자의 속성정보에 부합하는 피팅 이미지를 생성하는 것을 특징으로 하는 인공지능 기반 가상 피팅 방법.
15. 제14항에 있어서,
    상기 생성 네트워크에서 생성된 피팅 이미지는,
    상기 사용자의 단말기로 전송되는 것을 특징으로 하는 인공지능 기반 가상 피팅 방법.
16. 제14항에 있어서,
    피팅대상 이미지에 해당하는 제품의 정보 또는 관련 제품 정보를 제공하고 쇼핑몰과 연동할 수 있도록 하는 단계를 더 포함하는 것을 특징으로 하는 인공지능 기반 가상 피팅 방법.

Images