KR20210083551A

KR20210083551A - 실시간 적응형 동영상 가상 의류 피팅 방법, 장치, 시스템 및 컴퓨터 프로그램

Info

Publication number: KR20210083551A
Application number: KR1020190175928A
Authority: KR
Inventors: 백승주
Original assignee: 주식회사 케이티
Priority date: 2019-12-27
Filing date: 2019-12-27
Publication date: 2021-07-07

Abstract

본 출원은 실시간으로 변화하는 동영상에 맞추어 인물이 착용하는 의류에 변화를 주면서 동영상을 구성해 제공하는 실시간 동영상 적응형 가상 의류 피팅 방법, 장치, 시스템 및 컴퓨터 프로그램에 관한 것으로서, 본 발명의 일 실시예에 의한 가상 의류 피팅 방법은, 가상 의류 피팅 장치가, 제1 동영상에서 제1 인물에 대해 하나 이상의 신체 부위에 대한 신체 좌표 정보를 산출하는 단계; 상기 제1 동영상에서 상기 하나 이상의 신체 부위에 대한 신체 좌표 정보를 이용하여 피팅하고자 하는 제1 의류를 상기 제1 인물에 매칭시켜 수정된 제2 동영상을 생성하는 단계; 및 상기 제2 동영상을 사용자에게 제공하는 단계를 포함할 수 있다.

Description

실시간 적응형 동영상 가상 의류 피팅 방법, 장치, 시스템 및 컴퓨터 프로그램 {Method, apparatus, system and computer program for real-time adaptive moving picture virtual clothes fitting}

본 출원은 가상 의류 피팅 방법, 장치, 시스템 및 컴퓨터 프로그램에 관한 것으로, 보다 상세하게는 실시간으로 변화하는 동영상에 맞추어 인물이 착용하는 의류에 변화를 주면서 동영상을 구성해 제공하는 실시간 동영상 적응형 가상 의류 피팅 방법, 장치, 시스템 및 컴퓨터 프로그램에 관한 것이다.

정보통신 기술의 발달과 함께 온라인 마켓 등을 포함하는 다양한 서비스가 빠르게 확산되고 있다. 이에 대한 일 예로서, 온라인 상에서 의류를 검색하고 구입할 수 있는 서비스가 폭넓게 운용되고 있다.

그런데, 사용자는 단순히 의류의 디자인 등을 확인하고 구매하는데 그치지 않고 실제로 의류를 착용하는 경우(즉, 피팅)의 이미지를 확인하여 구매하기를 원한다. 이에 따라, 여러 온라인 사이트에서는 구매자들이 자신이 구매한 의류를 착용한 이미지 등을 업로드 하도록 하여, 사용자들이 이를 확인할 수 있도록 제공하기도 한다.

그러나, 위와 같은 경우, 사용자는 자신의 의류 착용 이미지가 아닌 타인의 의류 착용 이미지를 확인할 수 있을 뿐이어서, 자신이 의류를 착용하는 경우를 확인하기는 어렵다.

이에 대하여, 대한민국 공개특허공보 제10-2019-0052824호 등에서는 도 1에서 볼 수 있는 바와 같이 사용자가 오프라인 매장 등에 설치되는 가상 피팅 장치를 이용하여 의류를 가상 착용한 이미지를 확인할 수 있도록 하는 기술을 개시하고 있으나, 이를 위해서는 사용자가 직접 가상 피팅 장치가 설치된 오프라인 매장 등을 방문하여야 하는 번거로움이 따른다.

나아가, 사용자가 동일한 의류를 착용하는 경우에도 사용자가 위치하는 장소, 상황 및 사용자의 포즈 등에 따라 사용자가 의류를 착용한 느낌이 달라질 수 있으므로, 위와 같은 다양한 요소들을 반영하여 사용자가 가상 의류 착용 이미지를 확인할 수 있도록 하는 것이 바람직하다.

대한민국 공개특허 제10-2019-0052824호(2019년 5월 17일 공개)

본 출원은, 동영상에 등장하는 인물의 포즈(pose)나 장소, 상황 등 다양한 요소들을 고려하여 상기 동영상의 인물에 대하여 피팅(fitting)하고자하는 의류의 착용 동영상을 구성해 제공할 수 있는 가상 의류 피팅 방법, 장치, 시스템 및 컴퓨터 프로그램을 제공하고자 한다.

본 출원은, 동영상의 풍경, 밝기, 날씨, 활동, 주변의 인물이나 물건 등을 고려하여 동영상에 등장하는 인물이 착용하는 의류의 색상이나 길이 등을 변화시키면서 동영상을 구성해 제공하는 가상 의류 피팅 방법, 장치, 시스템 및 컴퓨터 프로그램을 제공하고자 한다.

본 출원은, 사용자의 취향을 반영한 가상 의류 착용 동영상을 구성해 제공할 수 있는 가상 의류 피팅 방법, 장치, 시스템 및 컴퓨터 프로그램을 제공하고자 한다.

본 발명의 일 실시예에 의한 가상 의류 피팅 방법은, 동영상에 등장하는 인물에 의류를 가상 피팅하여 제공하는 방법에 관한 것으로, 가상 의류 피팅 장치가, 제1 동영상에서 제1 인물에 대한 포즈(pose)를 분석하여 포즈 데이터를 산출하는 단계; 상기 제1 동영상에서 상기 포즈 데이터를 이용하여 피팅하고자 하는 제1 의류를 상기 제1 인물에 매칭시켜 제2 동영상을 생성하는 단계; 및 상기 제2 동영상을 사용자에게 제공하는 단계를 포함를 포함할 수 있다.

여기서, 상기 포즈 데이터를 산출하는 단계는, 상기 제1 동영상에서 상기 제1 인물에 해당하는 제1 인물 영역을 식별하는 제1 인물 영역 식별 단계; 및 상기 제1 인물 영역을 이용하여 상기 제1 인물의 하나 이상의 신체 부위에 대한 신체 좌표 정보를 산출하는 단계를 포함할 수 있다.

또한, 상기 제2 동영상을 생성하는 단계는, 상기 제1 동영상에서 상기 하나 이상의 신체 부위에 대한 신체 좌표 정보를 이용하여 피팅하고자 하는 제1 의류를 상기 제1 인물에 매칭시켜 상기 제2 동영상을 생성할 수 있다.

또한, 상기 제2 동영상을 생성하는 단계는, 상기 제1 의류에 대한 복수의 의류 영상 데이터 중 상기 하나 이상의 신체 부위에 대한 신체 좌표 정보에 대응하는 의류 영상 데이터를 선정하여 상기 제1 인물에 매칭시킬 수 있다.

또한, 상기 제2 동영상을 생성하는 단계는, 상기 하나 이상의 신체 부위에 대한 신체 좌표 정보에 따라, 상기 제1 의류에 대한 의류 영상 데이터를 변형시켜 상기 제1 인물에 매칭시킬 수 있다.

여기서, 상기 제2 동영상을 생성하는 단계는, 상기 제1 동영상에서 상기 제1 인물의 주변 상황 또는 활동 상황 중 하나 이상을 고려하여, 상기 제1 의류의 색상이나 형태를 변화시키면서 상기 제2 동영상을 생성할 수 있다.

또한, 상기 제2 동영상을 생성하는 단계는, 상기 제1 인물의 주변 상황 또는 활동 상황의 변화에 따라 상기 제1 의류의 색상이나 형태를 실시간으로 변화시킬 수 있다.

여기서, 상기 제2 동영상을 생성하는 단계는, 기생성된 사용자 영상으로부터 파악된 사용자의 선호도를 상기 제1 의류의 색상이나 형태에 반영하여 상기 제2 동영상을 생성할 수 있다.

여기서, 상기 가상 의류 피팅 장치가 사용자가 제시한 조건에 대응하는 하나 이상의 제1 영상을 추천하고, 상기 사용자가 선택한 제1 영상에서 상기 제1 인물에 대하여 상기 사용자가 선택한 제1 의류를 가상 피팅할 수 있다.

본 발명의 일 실시예에 의하면, 하드웨어와 결합되어 상술한 가상 의류 피팅 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램이 존재할 수 있다.

본 발명의 일 실시예에 의한 가상 의류 피팅 장치는, 동영상에 등장하는 인물에 의류를 가상 피팅하여 제공하는 가상 의류 피팅 시스템에 관한 것으로, 제1 동영상에서 제1 인물에 대한 포즈(pose)를 분석하여 포즈 데이터를 산출하는 포즈 데이터 산출부; 상기 제1 동영상에서 상기 포즈 데이터를 이용하여 피팅하고자 하는 제1 의류를 상기 제1 인물에 매칭시켜 제2 동영상을 생성하는 제2 동영상 산출부; 및 상기 제2 동영상을 사용자에게 제공하는 제2 동영상 제공부를 포함할 수 있다.

덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 의한 가상 의류 피팅 방법, 장치, 시스템 및 컴퓨터 프로그램에 의하면, 동영상의 장소, 상황 및 사용자의 포즈 등 다양한 요소들을 반영하여 동영상에 등장하는 인물에 대하여 가상 의류 착용 동영상을 구성해 제공할 수 있다.

본 발명의 일 실시예에 의한 가상 의류 피팅 방법, 장치, 시스템 및 컴퓨터 프로그램에 의하면, 동영상의 풍경, 밝기, 날씨, 활동 상황, 주변의 인물이나 물건 등을 고려하여 동영상에 등장하는 인물이 착용하는 의류의 색상이나 길이 등을 변화시키면서 동영상을 구성해 제공하는 것이 가능하다.

본 발명의 일 실시예에 의한 가상 의류 피팅 방법, 장치, 시스템 및 컴퓨터 프로그램에 의하면, 사용자의 취향을 반영한 가상 의류 착용 동영상을 구성해 제공할 수 있다.

도1은 종래 기술에 따른 가상 의류 피팅 장치를 예시하는 도면이다.
도2는 본 발명의 일 실시예에 의한 가상 의류 피팅 시스템의 구성을 나타내는 구성도이다.
도3은 본 발명의 일 실시예에 의한 가상 의류 피팅 방법을 나타내는 순서도이다.
도4는 본 발명의 일 실시예에 의한 가상 의류 피팅 방법, 장치, 시스템 및 컴퓨터 프로그램에서의 가상 의류 피팅 동영상을 예시하는 도면이다.
도5 내지 도6은 본 발명의 일 실시예에 의한 가상 의류 피팅 방법, 장치, 시스템 및 컴퓨터 프로그램에서의 가상 의류 피팅 프로세스를 예시하는 도면이다.
도7 내지 도8은 본 발명의 일 실시예에 의한 가상 의류 피팅 시스템의 구성 및 동작을 예시하는 도면이다.
도9는 본 발명의 일 실시예에 의한 가상 의류 피팅 방법, 장치, 시스템 및 컴퓨터 프로그램에서 선택된 동영상에 의류를 가상 피팅하는 경우를 예시하는 도면이다.
도10은 본 발명의 일 실시예에 의한 가상 의류 피팅 방법, 장치, 시스템 및 컴퓨터 프로그램에서 변화하는 동영상에 맞추어 의류를 실시간 변화시키면서 가상 피팅하는 경우를 예시하는 도면이다.
도11은 본 발명의 일 실시예에 의한 가상 의류 피팅 방법, 장치, 시스템 및 컴퓨터 프로그램에서 사용자의 선호도를 고려하여 의류를 가상 피팅하는 경우를 예시하는 도면이다.
도12는 본 발명의 일 실시예에 의한 가상 의류 피팅 장치의 구성을 나타내는 블록도이다.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "~부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

한편, 이하 설명에서 사용되는 제어 정보를 지칭하는 용어, 망 객체(network entity)들을 지칭하는 용어, 메시지들을 지칭하는 용어, 장치의 구성 요소를 지칭하는 용어 등은 설명의 편의를 위해 예시된 것이다. 따라서, 본 발명이 후술되는 용어들에 한정되는 것은 아니며, 동등한 기술적 의미를 가지는 다른 용어가 사용될 수 있다. 하지만, 본 발명이 상기 용어 및 명칭들에 의해 한정되는 것은 아니며, 다른 규격에 따르는 시스템에도 동일하게 적용될 수 있다.

이하, 도2를 참조하여 본 발명의 일 실시예에 의한 가상 의류 피팅 방법, 장치, 시스템 및 컴퓨터 프로그램을 설명한다.

먼저, 도2에서는 본 발명의 일 실시예에 따른 가상 의류 피팅 시스템(100)의 구성도를 보여주고 있다. 도2에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 가상 의류 피팅 시스템(100)은 통신 네트워크(130)를 통해 연결되는 하나 이상의 단말(120a, 120b)로 가상 의류 피팅 영상을 제공하는 가상 의류 피팅 장치(110)를 포함하여 구성될 수 있다.

이때, 상기 가상 의류 피팅 장치(110)는 서버를 이용하여 구현될 수도 있으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 가상 의류 피팅 서비스 제공을 위한 전용 장치로 구현하거나, 나아가 스마트폰, 태블릿 PC, PDA, 휴대전화 등 휴대 단말기나 개인용 컴퓨터(PC) 등의 유무선 단말기에서 구동되는 어플리케이션 등으로 구현되는 등 다양한 형태로 구현될 수 있다.

또한, 도2에서는 상기 가상 의류 피팅 장치(110)가 상기 단말(120)과 분리되어 상기 통신 네트워크(130)를 거쳐 가상 의류 피팅 서비스를 제공하는 것으로 표시되어 있으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 상기 가상 의류 피팅 장치(110)에서 상기 가상 의류 피팅 영상을 생성하여 사용자에게 직접 제공하는 방식으로 구현하는 것도 가능하다.

또한, 상기 단말(120)은 음성 인식 스피커나 셋톱 박스와 같이 TV 등 디스플레이 장치와 연동될 수 있는 장치일 수 있으며, 이외에도 스마트폰, 태블릿 PC, PDA, 휴대전화 등 휴대 단말기나 개인용 컴퓨터(PC) 등의 유무선 장치나, 상기 유무선 장치에서 구동되는 어플리케이션 등으로 구현되는 등 다양한 형태로 구현될 수 있다.

나아가, 상기 가상 의류 피팅 장치(110)와 단말(120)을 연결하는 통신 네트워크(130)로서는 유선 네트워크와 무선 네트워크를 포함할 수 있으며, 구체적으로, 근거리 통신망 (LAN: Local Area Network), 도시권 통신망 (MAN: Metropolitan Area Network), 광역 통신망 (WAN: Wide Area Network) 등의 다양한 통신망을 포함할 수 있다. 또한, 상기 통신 네트워크(130)는 공지의 월드 와이드 웹(WWW: World Wide Web)을 포함할 수도 있다. 그러나, 본 발명에 따른 통신 네트워크(130)는 상기 열거된 네트워크에 국한되지 않고, 공지의 무선 데이터 네트워크나 공지의 전화 네트워크 또는 공지의 유무선 텔레비전 네트워크를 적어도 일부로 포함할 수도 있다.

도3에서는 본 발명의 일 실시예에 따른 가상 의류 피팅 방법의 순서도를 도시하고 있다. 도3에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 가상 의류 피팅 방법은, 동영상에 등장하는 인물에 의류를 가상 피팅하여 제공하는 방법으로서, 가상 의류 피팅 장치(110)가, 제1 동영상에서 제1 인물에 대한 포즈(pose)를 분석하여 포즈 데이터를 산출하는 단계(S110), 상기 제1 동영상에서 상기 포즈 데이터를 이용하여 피팅하고자 하는 제1 의류를 상기 제1 인물에 매칭시켜 제2 동영상을 생성하는 단계(S120) 및 상기 제2 동영상을 사용자에게 제공하는 단계(S130)를 포함할 수 있다.

이에 따라, 본 발명의 일 실시예에 따른 가상 의류 피팅 방법에서는, 도4에서 볼 수 있는 바와 같이, 사용자가 피팅하고자 하는 제1 의류(도4(a)의 200)를 선택하면, 사용자가 피팅할 영상으로 선택한 제1 동영상(도4(b1))의 제1 인물에 상기 제1 의류의 의류 영상 데이터(201)를 매칭시켜 제2 동영상(도4(b2))을 생성하여 제공할 수 있게 된다.

또한, 본 발명의 일 실시예에 따른 가상 의류 피팅 방법에서는, 상기 제1 동영상에 등장하는 제1 인물의 포즈(pose)나 장소, 상황 등 다양한 요소들을 고려하여, 상기 제1 인물에 매칭하는 제1 의류의 방향, 모양, 색상, 길이 등을 변경시켜 줄 수 있다.

보다 구체적인 예를 들어, 본 발명의 일 실시예에 따른 가상 의류 피팅 방법에서는, 도 4(b2)의 의류 영상 데이터(201) 및 도4(c2)의 의류 영상 데이터(202)에서 볼 수 있는 바와 같이 제1 인물의 포즈에 맞추어 상기 제1 의류의 방향이나 모양을 변경하여 줄 수 있으며, 나아가 상기 제1 동영상의 재생에 따라 변화하는 상기 제1 인물의 포즈(pose))에 맞추어 상기 제1 의류의 방향이나 모양 등을 실시간으로 변경하여 줌으로써, 상기 제1 인물에 대한 가상 의류 피팅을 보다 정교하게 수행하여 보다 자연스러운 가상 의류 피팅 영상을 제공하는 것이 가능하게 된다.

아래에서는 도3을 참조하여 본 발명의 일 실시예에 따른 가상 의류 피팅 방법을 각 단계별로 나누어 자세하게 검토한다.

먼저, 상기 포즈 데이터를 산출하는 단계(S110)에서는, 가상 의류 피팅 장치(110)가 제1 동영상에서 제1 인물에 대한 포즈(pose)를 분석하여 포즈 데이터를 산출하게 된다.

이때, 상기 포즈 데이터는 상기 제1 동영상의 제1 장면에 등장하는 제1 인물의 자세(예를 들어, 정면을 바라보는 자세, 제1 방향으로 돌아선 자세 등)를 특정할 수 있는 데이터를 말한다.

보다 구체적으로, 상기 포즈 데이터는 제1 인물의 자세를 나타낼 수 있도록 미리 정해진 관절(joint) 및 신체 부위에 대한 위치 정보를 포함할 수 있다.

그러나, 본 발명이 반드시 이에 한정되는 것은 아니며, 상기 포즈 데이터로서 미리 정해진 복수의 포즈 중 현재 제1 인물의 자세에 대응하는 포즈를 나타내는 식별 번호가 사용되는 등 다양한 방식으로 본 발명을 구현하는 것도 가능하다.

보다 구체적으로, 상기 포즈 데이터를 산출하는 단계(S110)는, 상기 제1 동영상에서 상기 제1 인물에 해당하는 제1 인물 영역을 식별하는 제1 인물 영역 식별 단계(S111) 및 상기 제1 인물 영역을 이용하여 상기 제1 인물의 하나 이상의 신체 부위에 대한 신체 좌표 정보를 산출하는 단계(S112)를 포함할 수 있다.

이때, 도5에서 볼 수 있는 바와 같이, 상기 제1 인물 영역 식별 단계(S111)에서 상기 가상 의류 피팅 장치(110)는 먼저 상기 제1 동영상(도 5(a1))에서 상기 제1 인물에 해당하는 제1 인물 영역(도 5(a2)의 302)을 식별하게 된다.

여기서, 도 5(a2)에서 볼 수 있는 바와 같이, 상기 제1 인물 영역(302)은 상기 제1 동영상의 전체 영역 중 상기 제1 인물에 해당하는 영역을 의미한다.

이때, 상기 제1 인물 영역(302)의 식별을 위해 외곽선 검출 등 다양한 영상 처리 기법이 사용될 수 있다. 그러나, 본 발명이 반드시 이에 한정되는 것은 아니며, 이외에 신경망(neural network) 회로 등 다양한 방식을 이용하여 본 발명을 구현하는 것도 가능하다.

또한, 상기 신체 좌표 정보를 산출하는 단계(S112)에서 상기 가상 의류 피팅 장치(110)는 상기 S111 단계에서 식별된 상기 제1 인물 영역(302)로부터 상기 제1 인물의 하나 이상의 신체 부위에 대한 신체 좌표 정보(301)를 산출하게 된다.

여기서, 도 5(b)에서 볼 수 있는 바와 같이, 상기 신체 좌표 정보(301)는 상기 제1 인물 영역 중 미리 정해진 특정한 신체 부위의 위치를 나타내는 데이터를 의미한다(예를 들어, 도 5(b)에서 제1 인물의 옆구리(301)의 위치를 나타내는 좌표값(x1, y1)).

이때, 상기 신체 좌표 정보(301)의 산출을 위해 신경망(neural network) 회로 등을 사용할 수 있으며, 이외에도 다양한 방식을 이용하여 본 발명을 구현하는 것도 가능하다.

이에 따라, 도 6(a)에서 볼 수 있는 바와 같이, 상기 제1 인물의 포즈(pose)를 특정할 수 있는 포즈 데이터로서, 상기 제1 인물 영역(302)에서 복수의 신체 좌표 정보(301)를 산출하게 된다.

이때, 도 6(a)에서 볼 수 있는 바와 같이, 상기 복수의 신체 좌표 정보(301)를 고려하면, 상기 제1 인물이 향하는 방향, 자세 등을 특정하는 것이 가능하다.

보다 구체적인 예를 들어, 상기 제1 인물의 좌측 어깨에 대응하는 신체 좌표 정보(301)와 우측 어깨에 대응하는 신체 좌표 정보(301) 등을 비교하여 상기 제1 인물이 향하는 방향을 산출할 수 있는 바, 상기 제1 인물이 향하는 방향에 맞추어 상기 제1 의상의 방향도 조정하여 줄 수 있다.

또한, 상기 제1 인물의 좌우측 어깨에 대응하는 신체 좌표 정보(301), 좌우 옆구리에 대응하는 신체 좌표 정보(301), 좌우 무릎에 대응하는 신체 좌표 정보(301) 등을 대비하여, 상기 제1 인물의 자세도 파악할 수 있으며, 이에 따라 상기 제1 의상의 방향, 기울기, 구부러짐 등을 조정하여 줌으로써, 상기 제1 인물의 자세에 맞추어 보다 정확하고 자연스러운 가상 피팅 영상을 생성할 수 있게 된다.

이에 따라, 도 6(b)에서 볼 수 있는 바와 같이, 상기 가상 의류 피팅 장치(110)는, 상기 제1 동영상에서 상기 하나 이상의 신체 부위에 대한 신체 좌표 정보(301)를 이용하여 피팅하고자 하는 제1 의류(200)를 상기 제1 인물에 매칭시켜 상기 제2 동영상을 생성할 수 있게 된다.

보다 구체적으로, 상기 가상 의류 피팅 장치(110)는, 상기 제1 의류(200)에 대하여 미리 생성된 복수의 의류 영상 데이터(201) 중 상기 하나 이상의 신체 부위에 대한 신체 좌표 정보(301)에 대응하는 의류 영상 데이터(201)를 선정하여 상기 제1 인물에 매칭시킬 수 있다.

즉, 상기 가상 의류 피팅 장치(110)는, 상기 제1 의류(200)에 대하여 방향, 기울기, 구부러림 등에 따라 미리 생성된 여러 의류 영상 데이터(201)에서 상기 제1 인물의 자세를 고려하여 대응하는 의류 영상 데이터(201)를 선정하고, 선정된 상기 의류 영상 데이터(201)의 의류 좌표 정보(201a)를 상기 제1 인물의 신체 좌표 정보(301)에 매칭시켜 제2 동영상을 생성할 수 있다.

또는, 상기 가상 의류 피팅 장치(110)는 상기 하나 이상의 신체 부위에 대한 신체 좌표 정보에 따라, 상기 제1 의류에 대한 의류 영상 데이터를 변형시킨 후 상기 제1 동영상의 제1 인물에 매칭시켜 제2 동영상을 생성할 수도 있다.

즉, 상기 가상 의류 피팅 장치(110)는, 상기 제1 인물의 신체 좌표 데이터(301) 등 상기 제1 인물의 자세를 고려하여 제1 의류(200)에 대한 의류 영상 데이터(201)의 방향, 기울기, 구부러림 등을 변형한 후 이를 상기 제1 동영상의 제1 인물에 매칭시켜 제2 동영상을 생성하는 것도 가능하다.

이어서, 상기 제2 동영상을 사용자에게 제공하는 단계에서는, 상기 가상 의류 피팅 장치(110)가 상기 제2 동영상을 단말(120)로 전송하여 디스플레이하거나, 상기 가상 의류 피팅 장치(110)에 내장되거나 연결된 디스플레이 장치 등을 통해 디스플레이하여 사용자에게 제공할 수 있다.

또한, 도7과 도8에서는 본 발명의 일 실시예에 의한 가상 의류 피팅 시스템(100)의 구성 및 동작을 예시하고 있다.

먼저, 도7에서 볼 수 있는 바와 같이 본 발명의 일 실시예에 의한 가상 의류 피팅 시스템(100)에서는, 가상 의류 피팅 장치(110)가 사용자에게 가상 피팅 동영상을 생성하기 위한 제1 동영상을 추천할 수 있다.

이때, 상기 가상 의류 피팅 장치(110)는 사용자가 시청한 TV 컨텐츠, 사용자가 생성한 동영상 등을 분석하여 각 동영상의 장소 정보를 생성할 수 있으며, 이에 따라 상기 가상 의류 피팅 장치(110)는 사용자의 요구 사항, 선호도 등을 고려하여 사용자에게 가상 피팅 동영상을 생성하기 위한 제1 동영상을 추천하게 된다(도7의 (a)).

이어서, 상기 가상 의류 피팅 장치(110)는 사용자의 음성 명령 등 사용자의 선택에 따라 가상 피팅 동영상을 생성할 제1 동영상을 선정하게 된다(도7의 (b)).

이에 따라, 상기 가상 의류 피팅 장치(110)는 상기 제1 동영상으로부터 영상 프레임 이미지를 순차 추출하고(도7의 (c)), 신경망 회로 등을 통해 추출된 영상 프레임 이미지로부터 상기 제1 인물에 대한 포즈(pose) 데이터를 산출하게 된다.

보다 구체적으로, 상기 신경망 회로는 미리 수집된 학습 데이터(training data)를 이용하여 학습될 수 있다. 이때, 상기 학습 데이터는 도 8의 (a)에서 볼 수 있는 바와 같이, 인물의 이미지 데이터의 각 신체 좌표 정보(301)와 이에 대응하는 인물의 신체 부위를 대응시켜 구성될 수 있다(도7의 (d)).

이러한 과정을 통해 상기 제1 동영상에서 제1 인물에 대한 포즈 데이터를 추출할 수 있는 신경망 모델을 생성할 수 있게 된다(도7의 (e)).

이에 따라, 상기 가상 의류 피팅 장치(110)는 상기 추출된 영상 프레임 이미지(도8의 (b))를 순차적으로 상기 신경망 모델로 입력하여(도8의 (c)), 상기 제1 동영상의 제1 인물에 대한 포즈 데이터를 추출(도8의 (d))하게 된다(도7의 (f)).

이때, 상기 신경망 모델은 상기 영상 프레임 이미지에서 상기 제1 인물에 대한 제1 인물 영역(302)을 산출한 후, 이어서 상기 제1 인물 영역(302)으로부터 상기 제1 인물에 대한 신체 좌표 정보(301)를 산출하는 2단계의 과정을 거칠 수도 있겠으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 상기 신경망 모델이 상기 영상 프레임 이미지에서 상기 제1 인물에 대한 신체 좌표 정보(301)를 직접 산출하도록 하는 것도 가능하다.

이어서, 상기 가상 의류 피팅 장치(110)는 다수의 의류 영상 데이터가 저장된 데이터베이스에서, 상기 영상 프레임 이미지 별로 산출된 상기 제1 인물에 대한 포즈 데이터에 대응하는 의류 영상 데이터를 산출하게 된다(도7의 (g)).

이에 따라, 상기 가상 의류 피팅 장치(110)는, 상기 영상 프레임 이미지에 상기 제1 인물의 포즈 데이터에 대응하는 의류 영상 데이터를 매칭시켜 영상 프레임 이미지를 수정하게 되고, 일련의 수정된 영상 프레임 이미지로부터 상기 제2 동영상을 생성할 수 있게 된다(도7의 (h)).

또한, 도9에서는 본 발명의 일 실시예에 의한 가상 의류 피팅 방법, 장치, 시스템 및 컴퓨터 프로그램에서 선택된 동영상에 의류를 가상 피팅하는 경우를 예시하고 있다.

먼저, 도9(a)와 같이, 사용자가 음성 명령("내가 고른 옷을 동영상에서 입혀보고 싶어") 등을 통해 상기 가상 의류 피팅 장치(110)에게 가상 의류 피팅 동영상의 생성을 지시하게 된다.

이에 따라, 상기 가상 의류 피팅 장치(110)는 사용자가 제시한 조건 또는 선호도 등을 고려하여 상기 가상 의류 피팅에 사용될 동영상을 추천할 수 있다.

예를 들어, 사용자의 "공원에서 산책할 때 입을 것"이라는 조건을 고려하여 상기 가상 의류 피팅 장치(110)는 사용자에게 "AA님이 공원에서 촬영한 영상이 있습니다. 그 영상에서 입혀 보시겠어요?"와 같이 동영상을 제시하면서(도9(b)) 동영상을 추천할 수 있다.

이때, 사용자는 상기 가상 의류 피팅 장치(110)가 추천한 동영상을 선택하거나, "어제 BB 드라마에 나온 공원의 영상에서 입혀보고 싶어" 등과 같이 가상 의류 피팅에 사용할 다른 동영상을 선택할 수도 있다.

이에 따라, 상기 가상 의류 피팅 장치(110)는 선택된 제1 동영상의 제1 인물에 사용자가 선택한 제1 의류의 의류 영상 데이터(201)를 매칭한 제2 동영상을 생성하여 사용자에게 제공할 수 있게 된다(도9(c)).

또한, 본 발명의 일 실시예에 의한 가상 의류 피팅 방법, 장치, 시스템 및 컴퓨터 프로그램에서는, 상기 제1 동영상에서 상기 제1 인물의 주변 상황 또는 활동 상황 중 하나 이상을 고려하여, 상기 제1 의류의 색상이나 형태를 변화시키면서 상기 제2 동영상을 생성할 수 있다.

나아가, 상기 제1 인물의 주변 상황 또는 활동 상황의 변화에 따라 상기 제1 의류의 색상이나 형태를 실시간으로 변화시키는 것도 가능하다.

이에 대하여, 도 10에서는 본 발명의 일 실시예에 의한 가상 의류 피팅 방법, 장치, 시스템 및 컴퓨터 프로그램에서, 시간의 흐름에 따라 변화하는 동영상에 맞추어 의류를 실시간 변화시키면서 가상 피팅하는 경우를 예시하고 있다.

예를 들어, 도10(a)에서 볼 수 있는 바와 같이, 공원에서 촬영된 제1 동영상의 제1 인물에 의류를 가상 피팅하여 제2 동영상을 생성하는 경우, 상기 제1 인물의 주변 상황(예를 들어, 제1 인물이 위치하는 장소의 풍경, 함께 있는 인물, 날씨, 주변 물체의 색상 등)을 고려할 수 있으며, 특히 상기 제1 동영상이 재생되면서 상기 제1 인물의 주변 상황이 지속적으로 변화할 수 있는 바, 본 발명에서는 도 상기 제1 인물의 주변 상황의 변화에 따라 상기 제1 의류의 색상이나 형태를 실시간으로 변화시켜 줄 수 있다.

또한, 본 발명에서는 상기 제1 인물의 활동 상황(예를 들어, 제1 동영상에서 제1 인물이 수행하는 활동(자전거 타기, 가족과의 산책 등))을 고려할 수도 있으며, 이에 따라 상기 제1 인물의 주변 상황 또는 활동 상황의 변화를 고려하여 상기 제1 의류의 색상이나 형태를 실시간으로 변화시켜 줄 수 있다.

보다 구체적으로, 본 발명에서는 상기 제1 의류(200)에 대한 다양한 의류 영상 데이터(도10(b)) 중에서 상기 제1 동영상의 재생에 따라 변화하는 상기 제1 인물의 주변 상황 또는 활동 상황 중 하나 이상을 고려하여 실시간으로 적응하면서 상기 제1 의류(200)에 대한 의류 영상 데이터(201)을 변경하여 적용하게 된다(도10(c)).

이때, 본 발명에서는 딥러닝(deep learning) 등 신경망 학습을 이용하여 상기 제1 동영상에서 상기 제1 인물의 주변 상황 또는 활동 상황을 파악할 수 있으나, 본 발명이 반드시 이에 한정되는 것은 아니다.

또한, 상기 제1 동영상에 상기 제1 인물을 포함하는 여러 인물이 등장하는 경우, 본 발명에서는 얼굴 인식(face detection) 기술을 이용하여 상기 제1 동영상의 여러 인물 중 상기 제1 인물을 인식하여 상기 제1 동영상에 맞추어 상기 제1 인물에 대한 의류를 실시간 변화시키면서 가상 피팅할 수 있으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 이외에도 사용자가 얼굴 인식(face detection)된 여러 인물 중 의류를 가상 피팅할 제1 인물을 직접 선택하는 등 다양한 방법으로 의류를 가상 피팅할 제1 인물을 지정하는 것도 가능하다.

또한, 본 발명의 일 실시예에 의한 가상 의류 피팅 방법, 장치, 시스템 및 컴퓨터 프로그램에서는, 기생성된 사용자 영상으로부터 파악된 사용자의 선호도를 상기 제1 의류의 색상이나 형태에 반영하여 상기 제2 동영상을 생성할 수 있다.

이에 대하여, 도 11에서는 본 발명의 일 실시예에 의한 가상 의류 피팅 방법, 장치, 시스템 및 컴퓨터 프로그램에서, 사용자의 선호도를 고려하여 의류를 가상 피팅하는 경우를 예시하고 있다.

이때, 본 발명에서는 상기 사용자의 영상 분석을 통해 사용자가 착용한 의류의 종류, 성별 및 나이, 노출 정도 등을 산정할 수 있으며, 이에 따라 사용자의 선호도를 다양하게 산출할 수 있다.

예를 들어, 도11(a)에서 볼 수 있는 바와 같이, 사용자가 촬영한 하나 혹은 복수의 영상에서 사용자의 선호도를 파악(선호 의류 색상 : 화이트, 블랙, 선호 의류 카테고리 : 반바지, 셔츠, 노출 정도 : 짧은 하의, 긴팔 상의, 장소 : 일식집 등)할 수 있다.

이에 따라, 본 발명에서는 상기 제1 인물의 선호도를 고려하여 상기 제1 의류의 색상이나 형태를 결정할 수 있으며, 나아가 상기 제1 동영상의 재생에 따라 상기 제1 의상(200)에 대한 의류 영상 데이터(201)을 실시간으로 변경하는데 적용할 수도 있다.

또한, 도12에서는 본 발명의 일 실시예에 따른 가상 의류 피팅 장치(110)의 구성도를 예시하고 있다.

도12에서 볼 수 있는 바와 같이 본 발명의 일 실시예에 따른 가상 의류 피팅 장치(110)는 포즈 데이터 산출부(111), 제2 동영상 산출부(112) 및 제2 동영상 제공부(113)를 포함하여 구성될 수 있다.

아래에서는 본 발명의 일 실시예에 따른 가상 의류 피팅 장치(110)를 각 구성요소 별로 나누어 살핀다. 본 발명의 일 실시예에 따른 가상 의류 피팅 장치(110)에 대한 보다 자세한 내용은 앞서 설명한 도 2 내지 도 11의 본 발명의 일 실시예에 따른 가상 의류 피팅 방법 등과 유사하게 다양한 실시예로 구현될 수 있는 바, 자세한 설명을 반복하는 것은 생략한다.

먼저, 포즈 데이터 산출부(111)에서는 제1 동영상에서 제1 인물에 대한 포즈(pose)를 분석하여 포즈 데이터를 산출하게 된다.

이때, 상기 포즈 데이터 산출부(111)에서는, 상기 제1 동영상에서 상기 제1 인물에 해당하는 제1 인물 영역을 식별하고, 상기 제1 인물 영역을 이용하여 상기 제1 인물의 하나 이상의 신체 부위에 대한 신체 좌표 정보를 산출할 수 있으나, 본 발명이 반드시 이에 한정되는 것은 아니다.

또한, 상기 제2 동영상 산출부(112)에서는, 상기 제1 동영상에서 상기 포즈 데이터를 이용하여 피팅하고자 하는 제1 의류를 상기 제1 인물에 매칭시켜 제2 동영상을 생성하게 된다.

이때, 상기 제2 동영상 산출부(112)는, 상기 제1 동영상에서 상기 하나 이상의 신체 부위에 대한 신체 좌표 정보를 이용하여 피팅하고자 하는 제1 의류를 상기 제1 인물에 매칭시켜 상기 제2 동영상을 생성할 수 있다.

또한, 상기 제2 동영상 산출부(112)는, 상기 제1 의류에 대한 복수의 의류 영상 데이터 중 상기 하나 이상의 신체 부위에 대한 신체 좌표 정보에 대응하는 의류 영상 데이터를 선정하여 상기 제1 인물에 매칭시킬 수 있다.

또한, 상기 제2 동영상 산출부(112)는, 상기 하나 이상의 신체 부위에 대한 신체 좌표 정보에 따라, 상기 제1 의류에 대한 의류 영상 데이터를 변형시켜 상기 제1 인물에 매칭시킬 수 있다.

또한, 상기 제2 동영상 산출부(112)는, 상기 제1 동영상에서 상기 제1 인물의 주변 상황 또는 활동 상황 중 하나 이상을 고려하여, 상기 제1 의류의 색상이나 형태를 변화시키면서 상기 제2 동영상을 생성할 수 있다.

또한, 상기 제2 동영상 산출부(112)는, 상기 제1 인물의 주변 상황 또는 활동 상황의 변화에 따라 상기 제1 의류의 색상이나 형태를 실시간으로 변화시킬 수 있다.

또한, 상기 제2 동영상 산출부(112)는, 기생성된 사용자 영상으로부터 파악된 사용자의 선호도를 상기 제1 의류의 색상이나 형태에 반영하여 상기 제2 동영상을 생성할 수 있다.

이에 따라, 상기 제2 동영상 제공부(113)에서는 상기 제2 동영상을 사용자에게 제공할 수 있게 된다.

이에 따라, 본 발명의 일 실시예에 따른 가상 의류 피팅 방법, 장치, 시스템 및 컴퓨터 프로그램에서는, 동영상에 등장하는 인물의 포즈(pose)나 장소, 상황 등 다양한 요소들을 고려하여 상기 동영상의 인물에 대하여 피팅(fitting)하고자하는 의류의 착용 동영상을 구성해 제공할 수 있고, 또한 동영상의 풍경, 밝기, 날씨, 활동, 주변의 인물이나 물건 등을 고려하여 동영상에 등장하는 인물이 착용하는 의류의 색상이나 길이 등을 변화시키면서 동영상을 구성해 제공할 수 있으며, 나아가 사용자의 취향을 반영한 가상 의류 착용 동영상을 구성해 제공할 수 있게 된다.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.

100: 가상 의류 피팅 시스템 110: 가상 의류 피팅 장치
111 : 포즈 데이터 산출부 112 : 제2 동영상 산출부
113 : 제2 동영상 제공부 120, 120a, 120b: 단말
130: 통신 네트워크 200 : 제1 의류
201, 202 : 의류 영상 데이터 201a : 의류 좌표 정보
301 : 신체 좌표 정보 302: 제1 인물 영역

Claims

동영상에 등장하는 인물에 의류를 가상 피팅하여 제공하는 방법에 있어서,
가상 의류 피팅 장치가, 제1 동영상에서 제1 인물에 대한 포즈(pose)를 분석하여 포즈 데이터를 산출하는 단계;
상기 제1 동영상에서 상기 포즈 데이터를 이용하여 피팅하고자 하는 제1 의류를 상기 제1 인물에 매칭시켜 제2 동영상을 생성하는 단계; 및
상기 제2 동영상을 사용자에게 제공하는 단계를 포함하는 가상 의류 피팅 방법.
제1항에 있어서, 상기 포즈 데이터를 산출하는 단계는
상기 제1 동영상에서 상기 제1 인물에 해당하는 제1 인물 영역을 식별하는 제1 인물 영역 식별 단계; 및
상기 제1 인물 영역을 이용하여 상기 제1 인물의 하나 이상의 신체 부위에 대한 신체 좌표 정보를 산출하는 단계를 포함하는 것을 특징으로 하는 가상 의류 피팅 방법.
제2항에 있어서, 상기 제2 동영상을 생성하는 단계는
상기 제1 동영상에서 상기 하나 이상의 신체 부위에 대한 신체 좌표 정보를 이용하여 피팅하고자 하는 제1 의류를 상기 제1 인물에 매칭시켜 상기 제2 동영상을 생성하는 것을 특징으로 하는 가상 의류 피팅 방법.
제2항에 있어서, 상기 제2 동영상을 생성하는 단계는
상기 제1 의류에 대한 복수의 의류 영상 데이터 중 상기 하나 이상의 신체 부위에 대한 신체 좌표 정보에 대응하는 의류 영상 데이터를 선정하여 상기 제1 인물에 매칭시키는 것을 특징으로 하는 가상 의류 피팅 방법.
제2항에 있어서, 상기 제2 동영상을 생성하는 단계는
상기 하나 이상의 신체 부위에 대한 신체 좌표 정보에 따라,
상기 제1 의류에 대한 의류 영상 데이터를 변형시켜 상기 제1 인물에 매칭시키는 것을 특징으로 하는 가상 의류 피팅 방법.
제1항에 있어서, 상기 제2 동영상을 생성하는 단계는
상기 제1 동영상에서 상기 제1 인물의 주변 상황 또는 활동 상황 중 하나 이상을 고려하여, 상기 제1 의류의 색상이나 형태를 변화시키면서 상기 제2 동영상을 생성하는 것을 특징으로 하는 가상 의류 피팅 방법.
제6항에 있어서, 상기 제2 동영상을 생성하는 단계는
상기 제1 인물의 주변 상황 또는 활동 상황의 변화에 따라 상기 제1 의류의 색상이나 형태를 실시간으로 변화시키는 것을 특징으로 하는 가상 의류 피팅 방법.
제1항에 있어서, 상기 제2 동영상을 생성하는 단계는
기생성된 사용자 영상으로부터 파악된 사용자의 선호도를 상기 제1 의류의 색상이나 형태에 반영하여 상기 제2 동영상을 생성하는 것을 특징으로 하는 가상 의류 피팅 방법.
제1항에 있어서,
상기 가상 의류 피팅 장치가 사용자가 제시한 조건에 대응하는 하나 이상의 제1 영상을 추천하고,
상기 사용자가 선택한 제1 영상에서 상기 제1 인물에 대하여 상기 사용자가 선택한 제1 의류를 가상 피팅하는 것을 특징으로 하는 가상 의류 피팅 방법.
하드웨어와 결합된 청구항 제1항 내지 제9항 중 어느 한 항의 가상 의류 피팅 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램.
동영상에 등장하는 인물에 의류를 가상 피팅하여 제공하는 가상 의류 피팅 시스템에 있어서,
제1 동영상에서 제1 인물에 대한 포즈(pose)를 분석하여 포즈 데이터를 산출하는 포즈 데이터 산출부;
상기 제1 동영상에서 상기 포즈 데이터를 이용하여 피팅하고자 하는 제1 의류를 상기 제1 인물에 매칭시켜 제2 동영상을 생성하는 제2 동영상 산출부; 및
상기 제2 동영상을 사용자에게 제공하는 제2 동영상 제공부를 포함하는 가상 의류 피팅 장치.