KR20140128560A - 개인 구매정보 기반의 인터렉티브 미러 시스템 및 그를 이용하는 방법 - Google Patents

개인 구매정보 기반의 인터렉티브 미러 시스템 및 그를 이용하는 방법 Download PDF

Info

Publication number
KR20140128560A
KR20140128560A KR1020130047023A KR20130047023A KR20140128560A KR 20140128560 A KR20140128560 A KR 20140128560A KR 1020130047023 A KR1020130047023 A KR 1020130047023A KR 20130047023 A KR20130047023 A KR 20130047023A KR 20140128560 A KR20140128560 A KR 20140128560A
Authority
KR
South Korea
Prior art keywords
user
information
coordination
server
database
Prior art date
Application number
KR1020130047023A
Other languages
English (en)
Other versions
KR101509213B1 (ko
Inventor
김석수
정성모
김동현
채영삼
신종헌
백우열
Original Assignee
(주)케이.피.디
김석수
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)케이.피.디, 김석수 filed Critical (주)케이.피.디
Priority to KR1020130047023A priority Critical patent/KR101509213B1/ko
Publication of KR20140128560A publication Critical patent/KR20140128560A/ko
Application granted granted Critical
Publication of KR101509213B1 publication Critical patent/KR101509213B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 사용자가 증강되는 가상의 의류 아이템을 통해 코디네이션 작업을 수행하는 인터렉티브 미러 시스템과 그를 이용하는 방법에 있어서,
디지털뷰(Digital View)(900)에 부착되어 있으며 사용자를 촬영하여 상기 촬영된 사용자의 영상을 서버(200)으로 전송하는 웹캠(100), 상기 웹캠(100)으로부터 사용자의 영상을 입력받아 사람 검출 모듈(300)로 전송하고 디지털뷰(Digital View)(900)을 통해 전송되는 사용자의 아이디와 패스워드를 사용자 정보 확인 모듈(500)로 전송하여 사용자의 의류정보와 코디네이션 정보를 제공받고 상기 제공받은 정보와 객체 증강 모듈(400)을 통해 제공되는 증강객체의 정보를 디지털뷰(Digital View)(900)에게 전송하는 서버(200), 상기 서버(200)로부터 사용자의 영상을 수신 받아 사람을 검출하여 상기 검출된 사람 검출 영역을 객체 증강 모듈(400)로 전송하는 사람 검출 모듈(300), 상기 사람 검출 모듈(300)에서 전송된 사람의 검출영역에서 사람의 특징(머리, 상/하반, 손)을 인식하여 객체 증강 영역을 설정하고 상기 설정된 영역에서 증강될 3D 객체를 와핑하여 상기 디지털뷰(Digital View)(900)의 출력영상위에 증강하는 객체 증강 모듈(400), 상기 디지털뷰(Digital View)(900)에서 전송되어진 아이디와 패스워드를 기반으로 사용자를 확인하고 상기 확인된 사용자의 기존 구매 의류제품을 확인하고 상기 확인된 제품에 대한 3D 콘텐츠를 객체 증강 모듈(400)로 전송하고 상기 확인된 의류제품 정보와 기본적인 코디네이션 정보(추천 의류, 추천 색상, 추천 코디 트렌드 등)를 제공하는 사용자 정보 확인 모듈(500), 사용자의 기본 인적정보, 사용자의 기존 의류 제품 정보들을 가지고 있는 사용자 데이터베이스(600), 사용자의 기존 제품에 대한 추천 의류, 추천 색상, 추천 코디 트랜드와 기본적인 코디네이션 기법, 현재 패션 트랜드와 같은 코디네이션 정보를 가지고 있는 코디네이션정보 데이터베이스(700), 기존의 의류제품의 3D 모델과 사용자의 코디네이션 작업을 수행하기 위한 구매 의류제품들의 3D 모델들에 대한 컨텐츠 정보 데이터베이스(800), 상기 웹캠(100)을 부착하고 있으며 사용자로부터 로그인 정보를 입력받아 상기 서버(200)로 전송하는 터치 스크린 기반의 상기 디지털뷰(Digital View)(900)로 구성되어 있는 개인 구매정보 기반의 인터렉티브 미러 시스템과 그를 이용하는 방법에 관한 것이다.
따라서, 본 발명은 개인 구매정보 기반의 인터렉티브 미러 시스템 및 그를 이용하는 방법으로, 사용자의 기존 의류제품 구매정보 및 사용자의 의류 성향 정보를 이용하여 개인화된 의류제품 정보와 선택된 제품에 대한 기본적인 코디네이션 정보를 생성하고 자연적으로 발생하는 점, 선, 에지, 그리고 텍스쳐 등과 같은 특징들을 이용하는 비마커기반의 증강현실을 통해 사용자가 상기 생성된 정보들을 기반으로 직접 원하는 의류 제품을 코디네이션할 수 있다.

Description

개인 구매정보 기반의 인터렉티브 미러 시스템 및 그를 이용하는 방법{An Interactive Mirror System based on Personal Purchase Information and A Method using thereof}
본 발명은 사용자의 개인화된 의류정보를 기반으로 비마커기반 증강현실을 통해 가상 코디네이션을 수행하는 인터렉리티브 미러 시스템과 그를 이용하는 방법으로,
더욱 상세하게는 사용자의 기존 구매 정보 및 의류성향 정보들을 기반으로 개인화된 의류제품 정보와 코디네이션 정보를 생성하고 상기 생성된 정보를 이용하여 입력되는 영상에서 증강되는 의류제품을 코디네이션하는 인터렉티브 미러 시스템과 그를 이용하는 방법에 관한 것이다.
가상 피팅 시스템은 소비자가 원하는 패션 의류 제품들을 2D 모델 이미지 또는 가상의 3D 아바타에게 코디네이션 작업을 수행하여 제품의 어울림을 확인하는 시스템이다. 참고로, 도 1은 종래기술에 따른 3D 아바타를 이용한 가상 피팅 프로그램의 전체 구성도이다.
2002년에 발표된 어드밴스인모델링(Advances in Modelling)의 “A body and garment creation method for an Internet based virtual fitting room”과 컴퓨터사이언스앤테크놀러지(Computer Science and Technology) 저널(Volume. 19, Number. 5, 2004년)의 “Automatic modeling of virtual humans and body clothing”은 사용자를 사용자의 정면, 후면, 좌측, 우측에서 찍은 이미지를 기반으로 상기 실제 사용자의의 체형과 유사한 가상의 3D 아바타를 제작하고 상기 제작된 아바타에 3D 의류 샘플 모델을 착용하여서 코디네이션 작업을 수행한다. 또한 상기 코디네이션 작업이 완료된 가상 아바타를 움직이게 하는 동적 애니메이션 작업을 수행하여 상기 코디네이션 작업의 적합성을 판별한다.
그러나 상술한 종래기술에 의한 시스템들은 가상의 3D 아바타를 통해 코디네이션 작업을 수행하기 때문에 코디네이션 결과물이 실제 소비자에게 적합한지 판별하기 어려운 문제점을 가지고 있다.
이와 관련하여, 종래기술에 의한 시스템들의 문제점을 해결하기 위해서 시그널앤인포메이션포로세싱(Signal and Information Processing)저널(Volume. 3, Number. 4, 2012년)의 “Human Friendly Interface Design for Virtual Fitting Room Applications on Android based Mobile Devices”에서는 마커기반의 증강현실 시스템을 이용하여 웹캠을 통해 입력되는 영상의 출력영상에 의류아이템을 증강하여 사용자가 피팅작업을 수행하게 하였다. 그러나 상기 시스템도 마커를 통해 가상의 객체를 증강하기 때문에 사용자가 마커를 들고 있어 피팅작업을 수행하는 것이 힘들다는 문제점이 있으며 기존에 소지하고 있던 의류제품과 새로 구입할 의류제품의 코디네이션을 수행할 수 없어 개인화된 코디네이션 정보를 획득할 수 없다는 문제점을 가지고 있다.
즉, 상기 증강현실 기반의 가상 피팅 시스템은 마커기반의 증강현실을 이용하기 때문에 사용자가 피팅작업을 수행하기 위해서는 마커를 부착하거나 들고 있어야 하며 시스템이 도입된 제품의 가상 3D 모델만을 증강하여 사용자에게 제공하기 때문에 기존에 소지하고 있던 의류제품과 사용자가 구입할 의류제품의 코디네이션작업을 수행할 수 없다는 문제점을 가지고 있다. 참고로, 도 2는 종래기술에 따른 마커를 이용한 가상 피팅 시스템의 전체 구성도이다.
본 발명은 상기 종래기술의 문제점을 해결하기 위하여 안출된 것으로서, 사용자가 의류제품을 구매하기 위해 가상의 코디네이션을 수행함에 있어서, 사용자의 기존 의류제품 구매정보 및 사용자의 의류 성향 정보를 이용하여 개인화된 의류제품 정보와 선택된 제품에 대한 기본적인 코디네이션 정보를 생성하고 자연적으로 발생하는 점, 선, 에지, 그리고 텍스쳐 등과 같은 특징들을 이용하는 비마커기반의 증강현실을 통해 사용자가 상기 생성된 정보들을 기반으로 직접 원하는 의류 제품을 코디네이션할 수 있는 개인 구매정보 기반의 인터렉티브 미러 시스템 및 그를 이용하는 방법을 제공하는 것을 목적으로 한다.
본 발명은 개인 구매정보 기반의 인터렉티브 미러 시스템에 있어서, 사용자를 촬영하여 상기 촬영된 사용자의 영상을 전송하는 웹캠; 상기 사람 검출 모듈, 객체 증강 모듈, 사용자 정보 확인 모듈, 사용자 데이터베이스, 코디네이션정보 데이터베이스, 컨텐츠 정보 데이터베이스를 포함하고 있으며 상기 웹캠으로부터 사용자의 영상을 입력받아 사람 검출 모듈로 전송하고 상기 사용자의 로그인 정보를 입력받아 사용자 정보 확인 모듈로 전송하여 사용자의 기존 의류정보와 코디네이션 정보를 제공받고 상기 사용자의 기존 의류 정보를 상기 객체 증강 모듈로 전달하여 증강할 3D 의류 모델을 전송하는 서버; 상기 웹캠을 부착하고 있고 상기 서버와 연결되며, 터치 스크린 기반으로서 상기 사용자로부터 로그인 정보를 입력받아 상기 서버로 전송하고 상기 서버를 통해 상기 사용자 정보 확인 모듈에서 제공되는 상기 사용자의 기존 의류제품 정보와 기본적인 코디네이션 정보와 상기 객체 증강 모듈에서 증강되는 의류 제품 객체들을 사용자에게 제공하는 디지털뷰(Digital View)를 포함하여 이루어진다.
또한, 본 발명은 본 발명에 의한 상기 개인 구매정보 기반의 인터렉티브 미러 시스템을 이용하는 방법에 관한 것이다.
본 발명은 개인 구매정보 기반의 인터렉티브 미러 시스템 및 그를 이용하는 방법으로, 본 발명에 의한 시스템은 자연적인 특징점을 통해 사람을 검출하고 상기 검출된 사람위에 가상의 의류제품을 증강하여 사용자에게 제공하기 때문에 종래의 시스템보다 편리하게 코디네이션 작업을 수행할 수 있으며 출력되는 영상에서 마커가 존재하지 않기 때문에 보다 사용자가 몰입할 수 있다는 장점을 가지고 있다.
또한, 사용자가 기존에 구매하였던 의류제품에 대한 구매 정보를 기반으로 기존 의류제품에 대한 가상의 3D 모델과 새로 구입하기 원하는 의류제품의 가상 3D 모델을 코디네이션을 수행하며, 상기 코디네이션을 수행하는 과정중에 필요한 기초적인 코디네이션 정보(패텬 트렌드, 의류간 매칭 기법 등)들을 사용자에게 제공하여 사용자의 개인화된 코디네이션 작업을 수행할 수 있게 한다.
도 1은 종래기술에 따른 3D 아바타를 이용한 가상 피팅 프로그램의 전체 구성도
도 2는 종래기술에 따른 마커를 이용한 가상 피팅 시스템의 전체 구성도
도 3은 본 발명의 일실시예에 의한 개인 구매정보 기반의 인터렉티브 미러 시스템의 구조도
도 4는 본 발명의 일실시예에 의한 개인 구매정보 기반의 인터렉티브 미러 시스템을 이용하는 방법의 순서도
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 의한 개인 구매정보 기반의 인터렉티브 미러 시스템 및 그를 이용하는 방법을 상세히 설명한다.
도 3은 본 발명의 일실시예에 의한 개인 구매정보 기반의 인터렉티브 미러 시스템의 구조도이다. 도 3에 도시한 바와 같이, 본 발명에 의한 개인 구매정보 기반의 인터렉티브 미러 시스템은,
디지털뷰(Digital View)(900)에 부착되어 있으며 사용자를 촬영하여 상기 촬영된 사용자의 영상을 서버(200)으로 전송하는 웹캠(100), 상기 웹캠(100)으로부터 사용자의 영상을 입력받아 사람 검출 모듈(300)로 전송하고 디지털뷰(Digital View)(900)을 통해 전송되는 사용자의 아이디와 패스워드를 사용자 정보 확인 모듈(500)로 전송하여 사용자의 의류정보와 코디네이션 정보를 제공받고 상기 제공받은 정보와 객체 증강 모듈(400)을 통해 제공되는 증강객체의 정보를 디지털뷰(Digital View)(900)에게 전송하는 서버(200), 상기 서버(200)로부터 사용자의 영상을 수신 받아 사람을 검출하여 상기 검출된 사람 검출 영역을 객체 증강 모듈(400)로 전송하는 사람 검출 모듈(300), 상기 사람 검출 모듈(300)에서 전송된 사람의 검출영역에서 사람의 특징(머리, 상/하반, 손)을 인식하여 객체 증강 영역을 설정하고 상기 설정된 영역에서 증강될 3D 객체를 와핑하여 상기 디지털뷰(Digital View)(900)의 출력영상위에 증강하는 객체 증강 모듈(400), 상기 디지털뷰(Digital View)(900)에서 전송되어진 아이디와 패스워드를 기반으로 사용자를 확인하고 상기 확인된 사용자의 기존 구매 의류제품을 확인하고 상기 확인된 제품에 대한 3D 콘텐츠를 객체 증강 모듈(400)로 전송하고 상기 확인된 의류제품 정보와 기본적인 코디네이션 정보(추천 의류, 추천 색상, 추천 코디 트렌드 등)를 제공하는 사용자 정보 확인 모듈(500), 사용자의 기본 인적정보, 사용자의 기존 의류 제품 정보들을 가지고 있는 사용자 데이터베이스(600), 사용자의 기존 제품에 대한 추천 의류, 추천 색상, 추천 코디 트랜드와 기본적인 코디네이션 기법, 현재 패션 트랜드와 같은 코디네이션 정보를 가지고 있는 코디네이션정보 데이터베이스(700), 기존의 의류제품의 3D 모델과 사용자의 코디네이션 작업을 수행하기 위한 구매 의류제품들의 3D 모델들에 대한 컨텐츠 정보 데이터베이스(800), 상기 웹캠(100)을 부착하고 있으며 사용자로부터 로그인 정보를 입력받아 상기 서버(200)로 전송하는 터치 스크린 기반의 상기 디지털뷰(Digital View)(900)로 이루어진다.
상기 웹캠(100)은 상기 디지털뷰(Digital View)(900)에 부착되어 있으며 상기 디지털뷰(Digital View)(900) 앞에 위치한 사용자를 촬영하여 상기 촬영된 사용자의 영상을 서버(200)로 전송한다.
상기 서버(200)는 상기 사람 검출 모듈(300), 객체 증강 모듈(400), 사용자 정보 확인 모듈(500), 사용자 데이터베이스(600), 코디네이션정보 데이터베이스(700), 컨텐츠 정보 데이터베이스(800)를 포함하고 있으며 상기 웹캠(100)으로부터 사용자의 영상을 입력받아 사람 검출 모듈(300)로 전송하고 상기 디지털뷰(Digital View)(900)에서 상기 사용자의 로그인 정보(아이디와 패스워드)를 수신 받아 사용자 정보 확인 모듈(500)로 전송하여 사용자의 기존 의류정보와 코디네이션 정보(사용자의 기존 제품에 대한 추천 의류, 추천 색상, 추천 코디 트랜드와 기본적인 코디네이션 기법, 현재 패션 트랜드와 같은 코디네이션 정보)를 제공받고 상기 사용자의 기존 의류 정보를 상기 객체 증강 모듈(400)로 전송하여 상기 객체 증강 모듈(400)에서 증강할 3D 의류 모델을 상기 디지털뷰(Digital View)(900)에게 전송한다.
사람 검출 모듈(300)은 상기 서버(200)로부터 사용자의 영상을 수신 받고 상기 수신 받은 사용자의 영상에서 가우시안 혼합모델(GaussianMixtureModel), 호그(HOG:Histogram of Oriented Gradient), 에이다부스트(Adabosst) 분류기를 이용하여 사람을 검출하고, 상기 검출된 사람 검출 영역을 상기 서버(200)를 통해 상기 객체 증강 모듈(400)로 전송한다.
상기 객체 증강 모듈(400)은 상기 사람 검출 모듈(300)에서 전송된 사람 검출 영역에서 상기 검출된 사람의 특징점을 기반으로 가우시안 차(DoG:Difference of Gaussian) 연산자와, SIFT 알고리즘을 이용하여 사람의 표준 신체 특징(머리, 상/하반, 손)을 인식하여 객체가 증강될 코디네이션 영역을 설정하고 상기 사용자가 상기 코디네이션에 증강될 의류아이템을 상기 디지털뷰(Digital View)(900)를 통해 설정하면 칼리브레이션(Calibraton) 기법을 통해 상기 설정된 의류 아이템에 해당하는 3D 객체를 와핑하여 증강하여 상기 디지털뷰(Digital View)(900)를 통해 사용자에게 제공한다.
상기 사용자 정보 확인 모듈(500)은 상기 디지털뷰(Digital View)(900)를 통해 전송되어진 로그인 정보(아이디와 패스워드)를 기반으로 상기 사용자 데이터베이스(600)에서 사용자를 확인하고 이후 상기 확인된 사용자의 기존 구매 의류제품을 확인하여 상기 확인된 제품에 대한 3D콘텐츠를 상기 서버(200)를 통해 상기 객체 증강 모듈(400)로 전송하고 상기 확인된 의류제품 정보와 기본적인 코디네이션 정보(추천 의류, 추천 색상, 추천 코디 트렌드 등)를 제공 상기 서버(200)를 통해 상기 디지털뷰(Digital View)(900)로 전송하여 사용자에게 제공한다.
상기 사용자 데이터베이스(600)는 상기 사용자의 기본적인 인적정보(이름, 성명, 주소, 이메일, 연락처, 생년월일), 상기 사용자의 아이디, 패스워드 정보, 상기 사용자의 기존 의류 제품 정보들을 저장하고 있다.
상기 코디네이션정보 데이터베이스(700)는 상기 사용자의 기존 제품에 대한 정보를 바탕으로 사용자의 의류 코디 성향, 상기 기존 의류제품을 기반으로한 추천 의류, 추천 색상, 추천 코디 트랜드와 기본적인 코디네이션 기법, 현재 패션 트랜드와 같은 코디네이션 정보를 저장하고 있다.
상기 컨텐츠 정보 데이터베이스(800)는 기존의 의류제품의 3D 모델과 사용자의 코디네이션 작업을 수행하기 위한 구매 의류제품들의 3D 모델들에 대한 정보를 저장하고 있다.
상기 디지털뷰(Digital View)(900)는 터치 스크린 기반으로서 상기 웹캠(100)을 부착하고 있으며 상기 서버(200)와 연결되어있어 상기 사용자로부터 로그인 정보를 입력받으면 상기 서버(200)로 전송하고 상기 서버(200)를 통해 상기 사용자 정보 확인 모듈(500)에서 제공되는 상기 사용자의 기존 의류제품 정보와 기본적인 코디네이션 정보(추천 의류, 추천 색상, 추천 코디 트렌드 등)와 상기 객체 증강 모듈(400)에서 증강되는 의류 제품 객체들을 사용자에게 제공한다.
도 4는 본 발명의 일실시예에 의한 개인 구매정보 기반의 인터렉티브 미러 시스템을 이용하는 방법의 순서도이다. 도 4에 도시한 바와 같이, 본 발명에 의한 개인 구매정보 기반의 인터렉티브 미러 시스템을 이용하는 방법은,
상기 디지털뷰(Digital View)(900)를 통해 사용자가 로그인하는 사용자 로그인 단계(S201), 상기 사용자 로그인 단계(S201)에서 로그인하는 사용자를 확인하는 사용자 확인 단계(S202), 상기 사용자 확인 단계(S202)에서 사용자를 인증하면 상기 사용자의 기존 의류제품 정보를 확인하는 사용자 기존 의류 제품 정보 확인 단계(S203), 상기 사용자 기존 의류 제품 정보 확인 단계(S203)에서 확인된 상기 사용자의 기존 의류제품을 기반으로 코디네이션 정보를 생성하고 상기 생성된 정보를 상기 코디네이션 정보 데이터베이스(700)에 저장하고 상기 생성된 정보를 상기 서버(200)를 통해 상기 디지털뷰(Digital View)(900)로 전송하여 사용자에게 제공하는 코디네이션 정보 생성 단계(S204), 상기 사용자 확인 단계(S202)에서 사용자 인증이 되면 상기 웹캠(100)으로부터 상기 사용자의 영상을 입력받는 영상 입력 단계(S205), 상기 영상 입력 단계(S205)에서 입력 받은 영상을 전처리하는 영상 전처리 단계(S206), 상기 영상 전처리 단계(S206)에서 전처리된 영상을 가우시안 혼합 모델(Gaussian Mixture Model)을 이용하여 사람 후보 영역을 설정하는 사람 후보 영역 설정 단계(S207), 상기 사람 후보 영역 설정 단계(S207)에서 설정된 사람 후보영역에 호그(HOG:Histogram of Oriented Gradient) 알고리즘과 에이다부스트(Adaboost) 분류기를 이용하여 사람을 검출하는 사람 검출 단계(S208), 상기 사람 검출 단계(S208)에서 검출된 사람 영역에서 가우시안 차(DoG:Difference of Gaussian) 연산자와, SIFT 알고리즘을 이용하여 사람의 표준 신체 특징(머리, 상/하반, 손)을 인식하여 객체가 증강될 코디네이션 영역을 설정하는 코디네이션 영역 설정 단계(S209), 상기 코디네이션 정보 생성 단계(S204)에서 전송된 정보를 기반으로 상기 사용자가 상기 디지털뷰(Digital View)(900)를 통해 증강객체를 선택하는 증강객체 확인 단계(S210), 상기 증강객체 확인 단계(S210)에서 선택된 객체와 상기 코디네이션 영역 설정 단계(S209)에서 설정된 영역에 칼리브레이션(Calibraton) 기법을 적용하여 통해 상기 사용자가 선택한 의류 아이템의 3D 객체를 와핑하여 객체를 증강하여 상기 서버(200)로 전송하고 상기 증강된 객체들을 가지고 상기 사용자가 코디네이션 작업을 수행한 내용을 상기 코디네이션 정보 데이터베이스(700)에 저장하는 가상 피팅 모델 저장 단계(S211)로 이루어진다.
상기 사용자 로그인 단계(S201)는 상기 사용자 데이터베이스(600)에 등록되어 있는 상기 사용자가 상기 디지털뷰(Digital View)(900)의 터치 스크린을 통해 사용자의 아이디와 비밀번호를 입력하면 사용자의 아이디와 비밀번호를 상기 서버(200)로 전송한다.
상기 사용자 확인 단계(S202)는 상기 사용자 로그인 단계(S201)에서 서버(200)로 전송되어진 상기 사용자의 아이디와 비밀번호를 상기 사용자 데이터베이스(600)의 데이터와 비교하여 사용자를 인증한다.
상기 사용자 기존 의류 제품 정보 확인 단계(S203)는 상기 사용자 확인 단계(S202)에서 인증된 사용자의 정보(아이디)를 기반으로 사용자의 기존 의류제품 정보를 상기 사용자 데이터베이스(600)에서 확인하고 상기 코디네이션 정보 데이터베이스(700)에서 상기 사용자가 사전에 코디네이션 작업을 수행했던 데이터를 확인한다.
상기 코디네이션 정보 생성 단계(S204)는 상기 사용자 기존 의류 제품 정보 확인 단계(S203)에서 확인된 상기 사용자의 기존 의류제품과 상기 사용자가 사전에 코디네이션 작업을 수행했던 데이터를 기반으로 사용자의 의류 코디 성향, 상기 기존 의류제품을 기반으로한 추천 의류, 추천 색상, 추천 코디 트랜드와 기본적인 코디네이션 기법, 현재 패션 트랜드와 같은 코디네이션 정보를 생성하고 상기 생성된 코디네이션 정보를 상기 코디네이션 정보 데이터베이스(700)에 저장하고 상기 생성된 정보를 상기 서버(200)를 통해 상기 디지털뷰(Digital View)(900)로 전송하여 사용자에게 상기 코디네이션 정보를 제공한다.
상기 영상 입력 단계(S205)는 상기 사용자 확인 단계(S202)에서 상기 사용자가 인증이 되면 상기 웹캠(100)으로부터 상기 디지털뷰(Digital View)(900)의 전면에 위치한 상기 사용자의 영상을 입력받는다.
상기 영상 전처리 단계(S206)는 상기 영상 입력 단계(S205)에서 입력 받은 영상을 그레이 영상의 지역적 이진화 방법 중 하나인 Bernsen 이진화 방법을 통해 이진화하여 영상을 전처리한다.
상기 사람 후보 영역 설정 단계(S207)는 상기 영상 전처리 단계(S206)에서 전처리된 영상에 영상의 전경과 배경영역의 가우시안 분포의 차이를 이용하여 움직이는 객체를 검출하는 가우시안 혼합 모델(Gaussian Mixture Model)을 적용하여 사람 후보 영역을 추출하고 상기 추출된 영역을 알오아이(ROI:Region of Interest)로 설정한다.
상기 사람 검출 단계(S208)는 상기 사람 후보 영역 설정 단계(S207)에서 설정된 ROI에 호그(HOG:Histogram of Oriented Gradient) 알고리즘을 이용하여 상기 설정된 ROI의 국소영역에 대한 밝기의 분포방향을 히스토그램화하여 이에 대한 특징벡터를 생성하고 상기 생성된 특징벡터를 에이다부스트(Adaboost) 분류기를 이용하여 결합하고 상기 결합된 특징벡터를 기반으로 사람을 검출한다.
상기 코디네이션 영역 설정 단계(S209)는 상기 사람 검출 단계(S208)에서 검출된 사람 영역에서 가우시안 차(DoG:Difference of Gaussian) 연산자를 이용하여 두 개의 가우시안 마스크를 차연산 마스크로 영상 회선하여 사람 외곽선을 추출하고 상기 추출된 외곽선에서 시프트(SIFT:Scale-invariant Feature Transform) 알고리즘을 이용하여 스케일 공간상에서 특징점이 될 수 있는 극점을 검출하고 상기 검출된 극점을 기반으로 사람의 표준 신체 특징(머리, 상/하반, 손)을 인식하여 객체가 증강될 코디네이션 영역을 설정한다.
상기 증강객체 확인 단계(S210)는 상기 코디네이션 정보 생성 단계(S204)에서 전송된 상기 코디네이션 정보를 기반으로 상기 사용자가 상기 디지털뷰(Digital View)(900)를 통해 코디네이션 작업을 수행하기 위한 의류아이템을 선택하면 상기 선택된 의류아이템에 대한 3D 객체를 증강객체로 선택한다.
상기 가상 피팅 모델 저장 단계(S211)는 상기 증강객체 확인 단계(S210)에서 선택된 증강객체와 상기 코디네이션 영역 설정 단계(S209)에서 설정된 영역에 카메라와 일정거리에 존재하는 물체의 크기를 초기화하는 칼리브레이션(Calibraton) 기법을 적용하여 상기 코디네이션 영역과 상기 웹캠(100)간의 거리, 포즈 변화를 추정하여 상기 코디네이션 영역 설정 단계(S209)에서 검출된 극점을 가상공간상의 좌표계로 정규화하고 상기 정규화된 좌표계를 최종적으로 스크린 좌표계로 투여 변환하여 상기 사용자가 선택한 의류 아이템의 3D 객체를 와핑하고 상기 와핑된 객체를 증강하여 상기 서버(200)로 전송하고 상기 증강된 객체들을 가지고 상기 사용자가 코디네이션 작업을 수행한 내용을 상기 코디네이션 정보 데이터베이스(700)에 저장한다.
따라서, 본 발명은 개인 구매정보 기반의 인터렉티브 미러 시스템 및 그를 이용하는 방법으로, 사용자의 기존 의류제품 구매정보 및 사용자의 의류 성향 정보를 이용하여 개인화된 의류제품 정보와 선택된 제품에 대한 기본적인 코디네이션 정보를 생성하고 자연적으로 발생하는 점, 선, 에지, 그리고 텍스쳐 등과 같은 특징들을 이용하는 비마커기반의 증강현실을 통해 사용자가 상기 생성된 정보들을 기반으로 직접 원하는 의류 제품을 코디네이션 할 수 있어, 종래의 마커기반의 증강현실 피팅 시스템들이 마커를 통해 가상의 객체를 증강하기 때문에 사용자가 마커를 들고 있어 피팅작업을 수행하는 것이 힘들다는 문제점과, 기존에 소지하고 있던 의류제품과 새로 구입할 의류제품의 코디네이션을 수행할 수 없어 개인화된 코디네이션 정보를 획득할 수 없었던 문제점을 해결할 수 있다.
상기한 바와 같은 구성 및 작용은 하나의 실시예로서 본 발명의 청구범위를 제한하는 것은 아니며, 본 발명의 기술적 사상을 변경하지 아니하는 범위 내에서 다양한 변경과 수정이 가능함은 본 발명이 속하는 분야에 종사하는 자에게는 자명한 것이다.
100 : 웹캠 200 : 서버
300 : 사람 검출 모듈 400 : 객체 증강 모듈
500 : 사용자 정보 확인 모듈 600 : 사용자 데이터베이스
700 : 코디네이션 정보 데이터베이스 800 : 컨텐츠 정보 데이터베이스
900 : 디지털뷰(Digital View)

Claims (3)

  1. 개인 구매정보 기반의 인터렉티브 미러 시스템에 있어서,
    사용자를 촬영하여 상기 촬영된 사용자의 영상을 전송하는 웹캠(100),
    상기 사람 검출 모듈(300), 객체 증강 모듈(400), 사용자 정보 확인 모듈(500), 사용자 데이터베이스(600), 코디네이션정보 데이터베이스(700), 컨텐츠 정보 데이터베이스(800)를 포함하고 있으며 상기 웹캠(100)으로부터 사용자의 영상을 입력받아 사람 검출 모듈(300)로 전송하고 상기 사용자의 로그인 정보를 입력받아 사용자 정보 확인 모듈(500)로 전송하여 사용자의 기존 의류정보와 코디네이션 정보를 제공받고 상기 사용자의 기존 의류 정보를 상기 객체 증강 모듈(400)로 전달하여 증강할 3D 의류 모델을 전송하는 서버(200),
    상기 웹캠(100)을 부착하고 있고 상기 서버(200)와 연결되며, 터치 스크린 기반으로서 상기 사용자로부터 로그인 정보를 입력받아 상기 서버(200)로 전송하고 상기 서버(200)를 통해 상기 사용자 정보 확인 모듈(500)에서 제공되는 상기 사용자의 기존 의류제품 정보와 기본적인 코디네이션 정보와 상기 객체 증강 모듈(400)에서 증강되는 의류 제품 객체들을 사용자에게 제공하는 디지털뷰(Digital View)(900)를 포함하여 이루어진 것을 특징으로 하는 개인 구매정보 기반의 인터렉티브 미러 시스템.
  2. 제 1항에 있어서,
    상기 서버(200)는
    사용자의 영상을 수신받고 상기 수신받은 사용자의 영상에서 사람을 검출하고, 상기 검출된 사람 검출 영역을 상기 서버(200)를 통해 상기 객체 증강 모듈(400)로 전송하는 사람 검출 모듈(300),
    상기 사람 검출 모듈(300)에서 전송된 사람 검출 영역에서 상기 검출된 사람의 특징점을 기반으로 사람의 표준 신체 특징을 인식하여 객체가 증강될 코디네이션 영역을 설정하고 상기 사용자가 상기 코디네이션에 증강될 의류아이템을 상기 디지털뷰(Digital View)(900)를 통해 설정하면 상기 설정된 의류 아이템에 해당하는 3D 객체를 와핑하여 증강하여 상기 디지털뷰(Digital View)(900)를 통해 사용자에게 제공하는 객체 증강 모듈(400),
    상기 디지털뷰(Digital View)(900)를 통해 전송되어진 로그인 정보를 기반으로 상기 사용자 데이터베이스(600)에서 사용자를 확인하고 이후 상기 확인된 사용자의 기존 구매 의류제품을 확인하여 상기 확인된 제품에 대한 3D콘텐츠를 상기 서버(200)를 통해 상기 객체 증강 모듈(400)로 전송하고 상기 확인된 의류제품 정보와 기본적인 코디네이션 정보를 제공 상기 서버(200)를 통해 상기 디지털뷰(Digital View)(900)로 전송하여 사용자에게 제공하는 사용자 정보 확인 모듈(500),
    상기 사용자의 기본적인 인적정보, 상기 사용자의 아이디, 패스워드 정보, 상기 사용자의 기존 의류 제품 정보들을 저장하고 있는 사용자 데이터베이스(600),
    상기 사용자의 기존 제품에 대한 정보를 바탕으로 사용자의 의류 코디 성향, 상기 기존 의류제품을 기반으로한 추천 의류, 추천 색상, 추천 코디 트랜드와 코디네이션 정보를 저장하고 있는 상기 코디네이션정보 데이터베이스(700),
    기존의 의류제품의 3D 모델과 사용자의 코디네이션 작업을 수행하기 위한 구매 의류제품들의 3D 모델들에 대한 정보를 저장하고 있는 컨텐츠 정보 데이터베이스(800)을 포함하여 이루어지는 것을 특징으로 하는 개인 구매정보 기반의 인터렉티브 미러 시스템.
  3. 사용자를 촬영하여 상기 촬영된 사용자의 영상을 전송하는 웹캠(100); 상기 사람 검출 모듈(300), 객체 증강 모듈(400), 사용자 정보 확인 모듈(500), 사용자 데이터베이스(600), 코디네이션정보 데이터베이스(700), 컨텐츠 정보 데이터베이스(800)를 포함하며 증강할 3D 의류 모델을 전송하는 서버(200); 상기 웹캠(100)을 부착하고 있고 상기 서버(200)와 연결되며, 터치 스크린 기반으로서 사용자의 기존 의류제품 정보와 기본적인 코디네이션 정보와 증강되는 의류 제품 객체들을 사용자에게 제공하는 디지털뷰(Digital View)(900)를 포함하여 이루어지는 개인 구매정보 기반의 인터렉티브 미러 시스템을 이용하는 방법에 있어서,
    상기 사용자 데이터베이스(600)에 등록되어 있는 상기 사용자가 상기 디지털뷰(Digital View)(900)의 터치 스크린을 통해 사용자의 아이디와 비밀번호를 상기 서버(200)로 전송하는 사용자 로그인 단계(S201),
    상기 사용자 로그인 단계(S201)에서 서버(200)로 전송되어진 상기 사용자의 아이디와 비밀번호를 상기 사용자 데이터베이스(600)의 데이터와 비교하여 사용자를 인증하는 사용자 확인 단계(S202),
    상기 사용자 확인 단계(S202)에서 인증된 사용자의 정보를 기반으로 사용자의 기존 의류제품 정보를 상기 사용자 데이터베이스(600)에서 확인하고 상기 코디네이션 정보 데이터베이스(700)에서 상기 사용자가 사전에 코디네이션 작업을 수행했던 데이터를 확인하는 상기 사용자 기존 의류 제품 정보 확인 단계(S203),
    상기 사용자 기존 의류 제품 정보 확인 단계(S203)에서 확인된 상기 사용자의 기존 의류제품과 상기 사용자가 사전에 코디네이션 작업을 수행했던 데이터를 기반으로 사용자의 의류 코디 성향, 상기 기존 의류제품을 기반으로한 추천 의류, 추천 색상, 추천 코디 트랜드와 코디네이션 정보를 생성하고 상기 생성된 코디네이션 정보를 상기 코디네이션 정보 데이터베이스(700)에 저장하고 상기 생성된 정보를 상기 서버(200)를 통해 상기 디지털뷰(Digital View)(900)로 전송하여 사용자에게 상기 코디네이션 정보를 제공하는 상기 코디네이션 정보 생성 단계(S204),
    상기 사용자 확인 단계(S202)에서 상기 사용자가 인증이 되면 상기 웹캠(100)으로부터 상기 디지털뷰(Digital View)(900)의 전면에 위치한 상기 사용자의 영상을 입력받는 영상 입력 단계(S205),
    상기 영상 입력 단계(S205)에서 입력 받은 영상을 그레이 영상의 지역적 이진화 방법을 통해 이진화하여 영상을 전처리하는 영상 전처리 단계(S206),
    상기 영상 전처리 단계(S206)에서 전처리된 영상에 영상의 전경과 배경영역의 가우시안 분포의 차이를 이용하여 사람 후보 영역을 추출하고 상기 추출된 영역을 알오아이(ROI:Region of Interest)로 설정하는 사람 후보 영역 설정 단계(S207),
    상기 사람 후보 영역 설정 단계(S207)에서 설정된 알오아이(ROI)의 국소영역에 대한 밝기의 분포방향을 히스토그램화하여 이에 대한 특징벡터를 생성하고 상기 생성된 특징벡터를 에이다부스트(Adaboost) 분류기를 이용하여 결합하고 상기 결합된 특징벡터를 기반으로 사람을 검출하는 사람 검출 단계(S208),
    상기 사람 검출 단계(S208)에서 검출된 사람 영역에서 사람 외곽선을 추출하고 상기 추출된 외곽선에서 스케일 공간상에서 특징점이 될 수 있는 극점을 검출하고 상기 검출된 극점을 기반으로 사람의 표준 신체 특징을 인식하여 객체가 증강될 코디네이션 영역을 설정하는 코디네이션 영역 설정 단계(S209),
    상기 코디네이션 정보 생성 단계(S204)에서 전송된 상기 코디네이션 정보를 기반으로 상기 사용자가 상기 디지털뷰(Digital View)(900)를 통해 코디네이션 작업을 수행하기 위한 의류아이템을 선택하면 상기 선택된 의류아이템에 대한 3D 객체를 증강객체로 선택하는 상기 증강객체 확인 단계(S210),
    상기 증강객체 확인 단계(S210)에서 선택된 증강객체와 상기 코디네이션 영역 설정 단계(S209)에서 상기 코디네이션 영역과 상기 웹캠(100)간의 거리, 포즈 변화를 추정하여 상기 코디네이션 영역 설정 단계(S209)에서 검출된 극점을 가상공간상의 좌표계로 정규화하고 상기 정규화된 좌표계를 최종적으로 스크린 좌표계로 투여 변환하여 상기 사용자가 선택한 의류 아이템의 3D 객체를 와핑하고 상기 와핑된 객체를 증강하여 상기 서버(200)로 전송하고 상기 증강된 객체들을 가지고 상기 사용자가 코디네이션 작업을 수행한 내용을 상기 코디네이션 정보 데이터베이스(700)에 저장하는 상기 가상 피팅 모델 저장 단계(S211)를 포함하여 이루어진 것을 특징으로 하는 개인 구매정보 기반의 인터렉티브 미러 시스템을 이용하는 방법
KR1020130047023A 2013-04-26 2013-04-26 개인 구매정보 기반의 인터렉티브 미러 시스템을 이용하는 방법 KR101509213B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130047023A KR101509213B1 (ko) 2013-04-26 2013-04-26 개인 구매정보 기반의 인터렉티브 미러 시스템을 이용하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130047023A KR101509213B1 (ko) 2013-04-26 2013-04-26 개인 구매정보 기반의 인터렉티브 미러 시스템을 이용하는 방법

Publications (2)

Publication Number Publication Date
KR20140128560A true KR20140128560A (ko) 2014-11-06
KR101509213B1 KR101509213B1 (ko) 2015-04-20

Family

ID=52454408

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130047023A KR101509213B1 (ko) 2013-04-26 2013-04-26 개인 구매정보 기반의 인터렉티브 미러 시스템을 이용하는 방법

Country Status (1)

Country Link
KR (1) KR101509213B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170022088A (ko) 2015-08-19 2017-03-02 한국전자통신연구원 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법 및 이를 이용한 장치
WO2018110778A1 (ko) * 2016-12-12 2018-06-21 주식회사 맵씨닷컴 사용자 위치 기반 패션 코디 추천 장치
CN108830137A (zh) * 2018-04-26 2018-11-16 深圳市赛亿科技开发有限公司 一种智能镜子控制方法及系统
CN110111176A (zh) * 2019-04-25 2019-08-09 上海时元互联网科技有限公司 一种衣服的3d智能虚拟试穿方法及系统
KR20210020432A (ko) * 2019-08-14 2021-02-24 엘지전자 주식회사 Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법
KR20220083390A (ko) * 2020-12-11 2022-06-20 주식회사 엘지유플러스 3d 컨텐츠 제공 시스템 및 그 동작방법
KR102632230B1 (ko) * 2023-03-21 2024-02-01 주식회사 스타일웍스 사용자 특성을 통한 의류 추천 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200109219A (ko) 2019-03-12 2020-09-22 주식회사 케이티 증강현실 서비스를 제공하는 단말 및 서버

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009069996A (ja) 2007-09-11 2009-04-02 Sony Corp 画像処理装置および画像処理方法、認識装置および認識方法、並びに、プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170022088A (ko) 2015-08-19 2017-03-02 한국전자통신연구원 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법 및 이를 이용한 장치
WO2018110778A1 (ko) * 2016-12-12 2018-06-21 주식회사 맵씨닷컴 사용자 위치 기반 패션 코디 추천 장치
CN108830137A (zh) * 2018-04-26 2018-11-16 深圳市赛亿科技开发有限公司 一种智能镜子控制方法及系统
CN110111176A (zh) * 2019-04-25 2019-08-09 上海时元互联网科技有限公司 一种衣服的3d智能虚拟试穿方法及系统
KR20210020432A (ko) * 2019-08-14 2021-02-24 엘지전자 주식회사 Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법
KR20220083390A (ko) * 2020-12-11 2022-06-20 주식회사 엘지유플러스 3d 컨텐츠 제공 시스템 및 그 동작방법
KR102632230B1 (ko) * 2023-03-21 2024-02-01 주식회사 스타일웍스 사용자 특성을 통한 의류 추천 장치

Also Published As

Publication number Publication date
KR101509213B1 (ko) 2015-04-20

Similar Documents

Publication Publication Date Title
KR101509213B1 (ko) 개인 구매정보 기반의 인터렉티브 미러 시스템을 이용하는 방법
CN105843386B (zh) 一种商场虚拟试衣系统
US9818023B2 (en) Enhanced face detection using depth information
Brkic et al. I know that person: Generative full body and face de-identification of people in images
JP6587435B2 (ja) 画像処理装置、情報処理方法及びプログラム
CN106778525B (zh) 身份认证方法和装置
US10380794B2 (en) Method and system for generating garment model data
JP4653606B2 (ja) 画像認識装置、方法およびプログラム
US9262674B2 (en) Orientation state estimation device and orientation state estimation method
JP5715833B2 (ja) 姿勢状態推定装置および姿勢状態推定方法
CN105404392A (zh) 基于单目摄像头的虚拟穿戴方法及系统
KR20160098560A (ko) 동작 분석 장치 및 방법
CN108229324A (zh) 手势追踪方法和装置、电子设备、计算机存储介质
JPWO2012077286A1 (ja) 物体検出装置および物体検出方法
Han et al. 3D face texture modeling from uncalibrated frontal and profile images
Chansri et al. Hand gesture recognition for Thai sign language in complex background using fusion of depth and color video
CN111553284A (zh) 人脸图像处理方法、装置、计算机设备和存储介质
Do et al. Real-time and robust multiple-view gender classification using gait features in video surveillance
KR20210030747A (ko) 가상 피팅 이미지 생성을 위한 이미지 합성 방법 및 시스템
KR20210065423A (ko) 증강현실 기반의 오프라인 매장에서의 가상 피팅시스템
KR20150097903A (ko) 3d 아바타를 이용한 가상 피팅룸 시스템 및 방법
CN109166172B (zh) 服装模型的构建方法、装置、服务器和存储介质
CN108875496B (zh) 行人画像的生成及基于画像的行人识别
JP5373128B2 (ja) 人物特定装置、人物特定方法及び人物特定プログラム
CN108629824B (zh) 图像生成方法、装置、电子设备及计算机可读介质

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20190307

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200208

Year of fee payment: 6