KR20210065423A - 증강현실 기반의 오프라인 매장에서의 가상 피팅시스템 - Google Patents

증강현실 기반의 오프라인 매장에서의 가상 피팅시스템 Download PDF

Info

Publication number
KR20210065423A
KR20210065423A KR1020190154130A KR20190154130A KR20210065423A KR 20210065423 A KR20210065423 A KR 20210065423A KR 1020190154130 A KR1020190154130 A KR 1020190154130A KR 20190154130 A KR20190154130 A KR 20190154130A KR 20210065423 A KR20210065423 A KR 20210065423A
Authority
KR
South Korea
Prior art keywords
fitting
image
information
clothing
user
Prior art date
Application number
KR1020190154130A
Other languages
English (en)
Inventor
이준서
Original Assignee
주식회사 큐엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 큐엘씨 filed Critical 주식회사 큐엘씨
Priority to KR1020190154130A priority Critical patent/KR20210065423A/ko
Publication of KR20210065423A publication Critical patent/KR20210065423A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G06K9/00201—
    • G06K9/00221—
    • G06K9/00335—
    • G06K9/00362—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Human Computer Interaction (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Processing Or Creating Images (AREA)

Abstract

오프라인(off-line) 매장에서 증강현실 기반으로 가상의 피팅(fitting)을 구현하고, 사용자의 스마트폰과 매장 내의 디스플레이장치 간의 미러링을 통해 디스플레이장치에서 피팅 영상을 구현할 수 있도록 한 증강현실 기반의 오프라인 매장에서의 가상 피팅시스템에 관한 것으로서, 사용자가 소유한 의류 이미지를 이용하여 가상 피팅 서버에 소유 피팅 의류정보를 요청하고, 오프라인 매장에 비치된 매장 의류 정보와 소유 피팅 의류정보 또는 현재 사용자가 착용한 의류 정보를 증강현실 기반으로 피팅처리하여 오프라인 매장에 설치된 매장 디스플레이장치와 미러링을 통해 매장 디스플레이장치에 피팅 영상을 표시함으로써, 사용자는 오프라인 매장에서 매장 의류를 집적 입어보지 않고서도 자신이 마치 직접 입어보는 것과 동일한 가상 피팅 영상을 대형 매장 디스플레이장치를 통해 확인할 수 있으며, 이로써 의류 구매의 편리함을 도모하고 피팅에 따른 불편함도 해소하게 된다.

Description

증강현실 기반의 오프라인 매장에서의 가상 피팅시스템{Virtual fitting system in augmented reality based offline store}
본 발명은 증강현실 기반의 오프라인 매장에서의 가상 피팅시스템에 관한 것으로, 특히 오프라인(off-line) 매장에서 증강현실 기반으로 가상의 피팅(fitting)을 구현하고, 사용자의 스마트폰과 매장 내의 디스플레이장치 간의 미러링을 통해 디스플레이장치에서 피팅 영상을 구현할 수 있도록 한 증강현실 기반의 오프라인 매장에서의 가상 피팅시스템에 관한 것이다.
일반적으로 오프라인 매장에서의 의류 구매를 위해 사용자는 오프라인 매장에 전시된 의류를 육안으로 확인하고, 원하는 의류를 선택한 후 피팅 룸(fitting room)에 들어가 구매할 의류를 직접 입어본 후, 거울을 보고 구매할 의류가 어울리는지를 확인하다.
만약, 구매할 의류가 다수이거나 자신의 취향에 맞는 옷이 많으면 옷을 고르는 시간도 많이 소요되고, 상대적으로 갈아입고 확인해야 할 옷도 많아서 옷을 구매하는 시간이 많아지고, 직접적인 피팅에 따른 불편함도 발생한다.
따라서 이렇게 오프라인 매장에서 의류를 구매할 때 발생하는 시간 낭비 및 직접적인 피팅으로 인해 발생하는 불편함을 개선하기 위해서 종래에 제안된 기술이 가상 피팅(Virtual fitting) 시스템이다. 가상 피팅 시스템은 사용자가 직접 의류를 피팅하는 것이 아니고, 디스플레이 장치와 같은 장치를 이용하여 의류를 가상으로 피팅을 해보는 것이다.
가상 피팅 시스템에 대해 종래에 제안된 기술이 <특허문헌 1> 에 개시되어 있다. 개시된 종래기술은 평상시에는 광고 영상을 반복 재생하고 있다가, 호기심을 느낀 고객이 표시부 앞으로 다가오면 자동으로 광고 영상에 연관된 의상의 가상 피팅을 유도함으로써 해당 의상의 구매를 촉진하는 역할을 할 수 있다.
그러나 이러한 종래기술은 오프라인 매장에 구비된 모든 의류에 대하여 사용자가 가상 피팅을 해보는 것은 불가능하고, 아울러 사용자가 현재 착용한 의류에 오프라인 매장의 의류를 중첩시켜 가상으로 피팅해보는 것도 불가능하며, 또한 사용자의 집에 보관된 의류에 오프라인 매장의 의류를 매칭시켜 가상 피팅해보는 것도 불가능한 단점이 있다.
대한민국 등록특허 10-1669927(2016.10.21. 등록)(가상 피팅 시스템)
따라서 본 발명은 상기와 같은 일반적인 의류 오프라인 매장에서의 옷을 구매할 때 발생하는 제반 문제점 및 종래기술에서 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로서, 오프라인(off-line) 매장에서 증강현실 기반으로 가상의 피팅을 구현하고, 사용자의 스마트폰과 매장 내의 디스플레이장치 간의 미러링을 통해 디스플레이장치에서 피팅 영상을 구현할 수 있도록 한 증강현실 기반의 오프라인 매장에서의 가상 피팅시스템을 제공하는 데 그 목적이 있다.
본 발명의 다른 목적은 오프라인 매장에서 매장 내의 비치된 의류에 대하여 가상으로 피팅을 구현할 수 있도록 한 증강현실 기반의 오프라인 매장에서의 가상 피팅시스템을 제공하는 것이다.
본 발명의 또 다른 목적은 오프라인 매장에서 현재 사용자가 착용한 의류와 오프라인 매장에 비치된 의류를 중첩하여 가상의 피팅을 구현할 수 있도록 한 증강현실 기반의 오프라인 매장에서의 가상 피팅시스템을 제공하는 것이다.
본 발명의 또 다른 목적은 오프라인 매장에서 오프라인 매장에 비치된 의류와 자신이 소유한 의류를 매칭시켜 가상의 피팅을 구현할 수 있도록 한 증강현실 기반의 오프라인 매장에서의 가상 피팅시스템을 제공하는 것이다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 "증강현실 기반의 오프라인 매장에서의 가상 피팅시스템"은, 사용자가 소유한 의류 이미지를 이용하여 가상 피팅 서버에 소유 피팅 의류정보를 요청하고, 오프라인 매장에 비치된 매장 의류 정보와 소유 피팅 의류정보 또는 현재 사용자가 착용한 의류 정보를 증강현실 기반으로 피팅처리하여 오프라인 매장에 설치된 매장 디스플레이장치와 미러링을 통해 매장 디스플레이장치에 피팅 영상을 표시하는 사용자 단말; 상기 사용자 단말로 오프라인 매장의 매장 의류 정보를 전송하고, 상기 사용자 단말을 통해 미러링되는 피팅 영상을 화면에 표출하는 매장 디스플레이장치; 상기 사용자 단말로부터 전송된 사용자 신체 정보를 기초로 가상 캐릭터를 구현하고, 사용자 단말로부터 전송된 소유 의류 이미지를 가공처리하여 소유 피팅 의류정보를 생성하며, 생성한 가상 캐릭터 및 소유 피팅 의류정보를 상기 사용자 단말로 제공하는 가상 피팅 서버를 포함하는 것을 특징으로 한다.
상기 사용자 단말은 상기 매장 디스플레이장치로부터 매장 의류 정보를 수신하고, 상기 가상 피팅 서버에서 제공하는 사용자를 형상화한 가상 캐릭터에 제스처 기반으로 선택한 피팅 의류를 결합하여 증강현실 기반의 피팅 영상을 구현하고, 구현한 피팅 영상을 미러링 기능을 통해 매장 디스플레이장치로 전송하는 것을 특징으로 한다.
상기 사용자 단말은 사용자의 신체 정보를 촬영하여 신체 이미지를 획득하고, 소유 의류를 촬영하여 소유 의류 이미지를 획득하는 카메라; 상기 카메라에 의해 획득한 신체 이미지 및 소유 의류 이미지를 입력받는 이미지 입력부; 사용자의 제스처를 인식하는 모션 인식부; 상기 이미지 입력부를 통해 입력된 이미지 정보를 가상 피팅 서버로 전송하여 가상 캐릭터 및 소유 의류 정보를 요청하고, 증강현실 기반의 가상 피팅과 가상 영상 피팅을 제어하는 피팅 제어부를 포함하는 것을 특징으로 한다.
상기 사용자 단말은 상기 모션 인식부에 의해 인식한 제스처 또는 조작부의 터치를 통해 피팅 의류를 선택하는 피팅 의류 선택부; 상기 가상 캐릭터에 상기 피팅 의류 선택부에 의해 선택된 피팅 의류를 매칭시켜 증강현실 기반의 피팅 영상을 생성하는 AR 피팅부; 상기 AR 피팅부에 의해 생성된 가상 피팅 영상을 미러링 기능을 통해 상기 매장 디스플레이장치로 전송하는 미러링부를 포함하는 것을 특징으로 한다.
상기 가상 피팅 서버는 상기 사용자 단말로부터 전송된 소유 의류 이미지, 사용자 신체 이미지 및 사용자 개인정보를 수신하고, AR기반 피팅 애플리케이션을 상기 사용자 단말에 다운로드 하며, 생성된 가상 캐릭터 및 소유 의류 정보를 상기 사용자 단말에 전송하는 데이터 송수신부; 상기 데이터 송수신부에서 수신한 사용자 개인정보 및 신체 이미지로부터 체형을 분석하는 체형 분석부; 상기 체형 분석부에서 분석한 체형 정보를 기초로 사용자에 대응하는 가상 캐릭터를 생성하는 가상 캐릭터 생성부; 수신한 소유 의류 이미지를 가공처리하여 소유 의류 정보를 생성하는 의류 데이터 가공부를 포함하는 것을 특징으로 한다.
상기 체형 분석부는 상기 사용자 개인정보로부터 성별 및 나이 정보를 획득하는 성별/나이 정보 획득부; 사용자의 개인정보로부터 키와 허리 둘레길이와 상체 길이와 하체 길이와 팔의 길이 및 어깨 넓이 정보를 신체 정보로 획득하는 신체 정보 획득부; 사용자 안면이미지에 지정된 특징점의 위치 및 유사 표준 안면이미지의 폴리곤메쉬(Polygon mesh)를 이루는 버텍스(Vertex)들의 위치 사이의 차이 정도를 기초로 하여 안면이미지의 폴리곤메쉬를 이루게 될 버텍스들의 위치를 추정하고, 상기 유사 표준 안면이미지의 폴리곤메쉬를 이루는 버텍스들의 위치를 상기 안면이미지의 폴리곤메쉬를 이루게 될 버텍스들의 위치로 변환시켜, 상기 사용자 안면이미지에 매칭되는 얼굴 정보를 추출하는 얼굴 정보 추출부; 복수 개의 표준 신체 데이터를 지정해두고, 사용자의 키와 허리 둘레길이를 통해 복수 개의 표준 신체 데이터를 참조하여 사용자의 3차원 신체 모델을 체형 정보로 도출하는 체형 정보 도출부를 포함하는 것을 특징으로 한다.
본 발명에 따르면 오프라인(off-line) 매장에서 증강현실 기반으로 가상의 피팅을 구현하고, 사용자의 스마트폰과 매장 내의 디스플레이장치 간의 미러링을 통해 디스플레이장치에서 피팅 영상을 구현함으로써, 사용자가 의류 오프라인 매장에서 의류를 직접 피팅하는 시간을 단축하여 전체적인 의류 구매 시간의 단축과 직접적인 피팅에 따른 불편함을 해소할 수 있는 효과가 있다.
또한, 본 발명에 따르면 오프라인 매장에서 매장 내의 비치된 의류에 대하여 가상으로 피팅 영상을 구현하여, 사용자가 실시간으로 확인할 수 있도록 한 효과도 있다.
또한, 본 발명에 따르면 오프라인 매장에서 현재 사용자가 착용한 의류와 오프라인 매장에 비치된 의류를 중첩하여 가상의 피팅 영상도 구현하거나, 오프라인 매장에서 오프라인 매장에 비치된 의류와 자신이 소유한 의류를 매칭시켜 가상의 피팅 영상을 구현하여, 사용자가 실시간으로 확인할 수 있도록 도모해주는 효과가 있다.
도 1은 본 발명에 따른 증강현실 기반의 오프라인 매장에서의 가상 피팅시스템의 개략 구성도,
도 2는 도 1의 사용자 단말의 실시 예 블록 구성도,
도 3은 도 1의 가상 피팅 서버의 실시 예 블록 구성도,
도 4는 도 3의 체형 분석부의 실시 예 블록 구성도이다.
이하 본 발명의 바람직한 실시 예에 따른 증강현실 기반의 오프라인 매장에서의 가상 피팅시스템을 첨부된 도면을 참조하여 상세하게 설명한다.
이하에서 설명되는 본 발명에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 바람직한 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 바람직한 실시 예에 따른 증강현실 기반의 오프라인 매장에서의 가상 피팅시스템의 개략 구성도로서, 사용자 단말(100), 매장 디스플레이장치(200) 및 가상 피팅 서버(300)를 포함한다.
사용자 단말(100)은 사용자가 소유한 의류 이미지를 이용하여 가상 피팅 서버에 소유 피팅 의류정보를 요청하고, 오프라인 매장에 비치된 매장 의류 정보와 소유 피팅 의류정보 또는 현재 사용자가 착용한 의류 정보를 증강현실 기반으로 피팅처리하여 오프라인 매장에 설치된 매장 디스플레이장치(200)와 미러링을 통해 매장 디스플레이장치(200)에 피팅 영상을 표시해주는 역할을 한다.
이러한 사용자 단말(100)은 도 2에 도시한 바와 같이, 가상 피팅 애플리케이션을 선택하거나 의류를 선택하기 위한 선택 신호를 발생하는 조작부(103), 사용자의 신체 정보를 촬영하여 신체 이미지를 획득하고, 소유 의류를 촬영하여 소유 의류 이미지를 획득하는 카메라(101), 상기 카메라(101)에 의해 획득한 신체 이미지 및 소유 의류 이미지를 입력받는 이미지 입력부(102), 사용자의 제스처를 인식하는 모션 인식부(110), 상기 이미지 입력부(102)를 통해 입력된 이미지 정보를 가상 피팅 서버(300)로 전송하여 가상 캐릭터 및 소유 의류 정보를 요청하고, 증강현실 시반의 가상 피팅과 가상 영상 피팅을 제어하는 피팅 제어부(104)를 포함한다.
또한, 사용자 단말(100)은 상기 가상 피팅 서버(300)와 네트워크로 접속하여 증간현실 기반 피팅 애플리케이션을 다운로드 하고, 소유 의류 정보 및 가상 캐릭터를 수신하며, 신체 이미지와 소유 의류 이미지 및 사용자 개인 정보를 상기 가상 피팅 서버(300)에 전송하는 통신 모듈(1050, 상기 모션 인식부(110)에 의해 인식한 제스처 또는 조작부(103)의 터치를 통해 피팅 의류를 선택하는 피팅 의류 선택부(107), 소유 의류 이미지와 신체 이미지와 개인 정보와 소유 의류 정보와 매장 의류 정보와 가상 캐릭터와 증강현실 기반의 피팅 애플리케이션을 저장하는 저장부(106), 상기 가상 캐릭터에 상기 피팅 의류 선택부(107)에 의해 선택된 피팅 의류를 매칭시켜 증강현실 기반의 피팅 영상을 생성하는 AR 피팅부(108), 상기 AR 피팅부(108)에 의해 생성된 가상 피팅 영상을 미러링 기능을 통해 상기 매장 디스플레이장치(200)로 전송하는 미러링부(109)를 더 포함할 수 있다.
매장 디스플레이장치(200)는 오프라인 의류 매장에 설치되며, 상기 사용자 단말(100)로 오프라인 매장의 매장 의류 정보를 전송하고, 상기 사용자 단말(100)을 통해 미러링되는 가상 피팅 영상을 화면에 표출해주는 역할을 한다. 이러한 매장 디스플레이장치는 TV나 디스플레이기를 이용할 수 있다.
가상 피팅 서버(300)는 상기 사용자 단말(100)로부터 전송된 사용자 신체 정보를 기초로 가상 캐릭터를 구현하고, 사용자 단말(100)로부터 전송된 소유 의류이미지를 가공처리하여 소유 피팅 의류정보를 생성하고, 소유 피팅 의류정보와 가상 캐릭터를 상기 사용자 단말(100)로 제공하는 역할을 한다.
아울러 가상 피팅 서버(300)는 상기 매장 디스플레이장치(200) 또는 매장 디스플레이장치(200)를 운영하는 관리자 단말로부터 전송된 매장 의류 이미지를 기초로 매장 의류 정보를 생성하여 상기 매장 디스플레이장치(200) 또는 관리자 단말로 전송해줄 수 있다.
이러한 가상 피팅 서버(300)는 도 3에 도시한 바와 같이, 상기 사용자 단말(100)로부터 전송된 소유 의류 이미지, 사용자 신체 이미지 및 사용자 개인정보를 수신하고, AR기반 피팅 애플리케이션을 상기 사용자 단말(100)에 다운로드해주며, 생성된 가상 캐릭터 및 소유 의류 정보를 상기 사용자 단말(100)에 전송하는 데이터 송수신부(301), 상기 데이터 송수신부(301)에서 수신한 사용자 개인정보 및 신체 이미지로부터 체형을 분석하는 체형 분석부(303), 상기 체형 분석부(303)에서 분석한 체형 정보를 기초로 사용자에 대응하는 가상 캐릭터를 생성하는 가상 캐릭터 생성부(304), 수신한 소유 의류 이미지를 가공처리하여 소유 의류 정보를 생성하는 의류 데이터 가공부(305), 생성한 가상 캐릭터, 사용자 개인 정보, 소유 의류 이미지, 신체 이미지, 소유 의류 정보, 매장 의류 이미지, 매장 의류 정보 등을 저장하는 데이터베이스(306)를 포함한다.
상기 체형 분석부(303)는 도 4에 도시한 바와 같이, 상기 사용자 개인 정보로부터 성별 및 나이 정보를 획득하는 성별/나이 정보 획득부(311), 사용자의 개인 정보로부터 키와 허리 둘레길이와 상체 길이와 하체 길이와 팔의 길이 및 어깨 넓이 정보를 신체 정보로 획득하는 신체 정보 획득부(312), 사용자 신체 이미지 중 안면 이미지에 지정된 특징점의 위치 및 유사 표준 안면이미지의 폴리곤메쉬(Polygon mesh)를 이루는 버텍스(Vertex)들의 위치 사이의 차이 정도를 기초로 하여, 안면이미지의 폴리곤메쉬를 이루게 될 버텍스들의 위치를 추정하고, 상기 유사 표준안면이미지의 폴리곤메쉬를 이루는 버텍스들의 위치를 상기 안면이미지의 폴리곤메쉬를 이루게 될 버텍스들의 위치로 변환시켜, 상기 사용자 안면이미지에 매칭되는 얼굴 정보를 추출하는 얼굴 정보 추출부(313), 복수 개의 표준 신체 데이터를 지정해두고, 사용자의 키와 허리 둘레길이를 통해 복수 개의 표준 신체 데이터를 참조하여 사용자의 3차원 신체 모델을 체형 정보로 도출하는 체형 정보 도출부(314)를 포함할 수 있다.
이와 같이 구성된 본 발명에 따른 증강현실 기반의 오프라인 매장에서의 가상 피팅시스템의 동작을 구체적으로 설명하면 다음과 같다.
오프라인 의류 매장에서 가상 피팅을 하고자 하는 사용자는 사용자 단말(100) 즉, 스마트폰의 카메라(101)를 이용하여 자신이 소유하고 있는 의류를 촬영하여 의류 이미지를 생성한다. 아울러 카메라(101)를 이용하여 자신의 정면, 배면, 좌우 측면을 촬영하여 신체 이미지를 생성한다.
여기서 사용자 단말(100)은 사전에 AR기반 피팅 애플리케이션이 다운로드 및 설치된 것으로 가정한다.
이렇게 생성된 소유 의류 이미지 및 신체 이미지는 이미지 입력부(102)를 통해 기초적인 이미지 처리가 이루어진 후 피팅 제어부(104)에 전달된다.
피팅 제어부(104)는 저장부(106)에 저장된 AR기반 피팅 애플리케이션을 실행하고, 통신 모듈(105)과 연동하여 소유 의류 이미지와 신체 이미지 및 개인 정보를 가상 피팅 서버(300)로 전송한다. 여기서 개인 정보, 성별, 나이 정보 등을 포함할 수 있다.
가상 피팅 서버(300)의 데이터 송수신부(301)는 사용자 단말(100)로부터 전송된 소유 의류 이미지와 신체 이미지와 개인 정보를 수신하여 데이터베이스(306)에 저장한다.
여기서 AR기반 피팅 애플리케이션 제공부(302)는 사용자 단말(100)을 이용하는 사용자를 등록하고, 등록한 사용자에게 AR기반 피팅 애플리케이션을 다운로드 해주는 역할을 한다.
아울러 의류 데이터 가공부(305)는 수신한 사용자의 소유 의류 이미지를 추후 생성한 가상 캐릭터에 입히기 위한 소유 의류 정보로 가공하고, 이를 사용자 정보와 연계하여 데이터베이스(306)에 저장한다.
다음으로, 체형 분석부(303)는 상기 데이터 송수신부(301)에서 수신한 사용자 개인정보 및 신체 이미지로부터 체형을 분석한다.
즉, 체형 분석부(303)의 성별/나이 정보 획득부(311)는 상기 사용자 개인 정보로부터 성별 및 나이 정보를 획득한다. 이렇게 획득한 성별/나이 정보는 추후 표준 신체 데이터를 추출하거나 유사 표준 안면이미지를 추출하는 데 사용될 수 있다.
아울러 신체 정보 획득부(312)는 사용자의 개인 정보 및 사용자의 신체 이미지로부터 키와 허리둘레 길이와 상체 길이와 하체 길이와 팔의 길이 및 어깨 넓이 정보를 신체 정보로 획득한다. 이렇게 추출한 신체 정보는 추후 사용자의 체형 정보를 도출하는 데 사용될 수 있다.
또한, 얼굴 정보 추출부(313)는 사용자 신체 이미지에서 얼굴 정보를 추출한다. 즉, 사용자 신체 이미지 중 얼굴 이미지를 인식하여 안면 이미지를 추출하고, 추출한 안면 이미지에 지정된 특징점의 위치 및 성별 및 나이 정보를 이용하여 선택한 유사 표준 안면이미지의 폴리곤메쉬(Polygon mesh)를 이루는 버텍스(Vertex)들의 위치 사이의 차이 정도를 추출한다. 이후 상기 차이 정도를 이용하여 안면이미지의 폴리곤메쉬를 이루게 될 버텍스들의 위치를 추정하고, 상기 유사 표준 안면이미지의 폴리곤메쉬를 이루는 버텍스들의 위치를 상기 안면이미지의 폴리곤메쉬를 이루게 될 버텍스들의 위치로 변환시켜, 상기 사용자 안면이미지에 매칭되는 얼굴 정보를 추출한다. 얼굴 정보를 추출하는 구체적인 방법에 대해서는 대한민국 등록특허 10-0830673호(사용자 특성반영 가상캐릭터 시뮬레이션 시스템)에 개시된 안면 이미지 추출 방법을 이용할 수 있다.
또한, 체형 정보 도출부(314)는 복수 개의 표준 신체 데이터를 지정해두고, 성별/나이 정보를 기치로 특정의 표준 신체 데이터만을 추출하며, 사용자의 신체 정보로부터 획득한 사용자의 키와 허리 둘레길이를 통해 상기 추출한 표준 신체 데이터를 참조하여 사용자의 3차원 신체 모델을 체형 정보로 도출한다. 여기서 사용자의 3차원 신체 모델을 체형 정보로 도출하는 방법은 대한민국 등록특허 10-1557492호(깊이 정보 기반으로 사용자의 3차원 신체 모델을 생성하는 방법 및 장치)에 개시된 3차원 신체 모델 생성방법을 이용할 수 있다.
이러한 과정을 통해 사용자의 체형 분석이 이루어지면, 이어 가상 캐릭터 생성부(304)에서 추출한 얼굴 정보(안면 이미지 정보)와 도출한 체형 정보를 매핑하여 가상 캐릭터를 생성하고, 랜더링(rendering) 과정을 통해 실제 사용자의 신체와 극히 유사한 가상 캐릭터(아바타)를 생성한다. 이렇게 생성된 가상 캐릭터는 실제 자신의 신체와 동일한 형상과 크기이며, 얼굴 역시 자신의 얼굴이 반영된 상태이다. 실제 자신의 실물이라고 볼 수 있다.
그리고 생성한 가상 캐릭터와 소유 의류 정보를 사용자 단말(100)로 전송한다.
사용자는 가상 피팅을 위한 가상 캐릭터와 소유 의류 정보를 수신하여 저장부(106)에 저장한다.
이어, 오프라인 의류 매장을 방문한 후, AR기반 피팅 애플리케이션을 실행하고, 매장에 설치된 매장 디스플레이장치(200)와 접속을 하여 매장 의류 정보를 수신하거나, 매장을 관리하는 관리자 단말을 통해 매장 의류 정보를 수신한다. 매장 디스플레이장치(200)와의 접속은 유선 또는 무선으로 가능하고, 관리자 단말과의 접속도 근거리 무선 또는 데이터 케이블을 통해 유선으로 접속할 수 있다.
이어, 사용자는 조작부(103)를 통해 수신한 매장 의류 정보를 선택하거나 화면에 표시되는 매장 의류 정보를 선택하는 제스처를 취한다. 조작부(103)는 터치 패널로 이루어져 사용자가 화면에 표시되는 매장 의류 정보를 터치하면 의류 선택 신호를 발생한다. 아울러 모션 인식부(110)는 화면에 표시되는 매장 의류 정보에 대하여 사용자가 취하는 제스처를 인식하고, 인식한 제스처에 대응하는 의류 선택 신호를 발생한다.
상기와 같이 의류 선택 신호가 발생하면, 피팅 제어부(104)의 제어에 따라 피팅 의류 선택부(107)에서 피팅 의류를 선택한다.
피팅 의류가 선택되면, AR 피팅부(108)에서 가상 캐릭터에 선택한 피팅 의류를 입혀 증강현실 기반의 가상 피팅 영상을 생성한다. 즉, 가상 캐릭터에 사용자가 선택한 피팅 의류 영상을 매핑하여 증강현실 기반의 가상 피팅 영상을 생성하는 것이다.
이렇게 생성된 가상 피팅 영상은 미러링부(109)를 통해 매장 디스플레이장치(200)로 전송되어, 대형 디스플레이 기기인 매장 디스플레이장치(200)의 화면에 표출된다. 여기서 미러링부(109)는 이미 알려진 스마트폰 미러링 기능을 이용하여 영상 데이터를 매장 디스플레이장치(200)에 미러링한다. 매장 디스플레이장치(200)와 스마트폰(100)은 무선으로 연결되어 스마트폰의 모든 작업이 매장 디스플레이장치(200)의 화면을 통해 표출된다.
즉, 사용자는 자신의 스마트폰과 같은 사용자 단말(100)을 이용하여 가상 캐릭터에 피팅 의상을 입힌 가상 피팅 영상을 스마트폰 미러링 기능을 통해 매장 디스플레이장치(200)의 화면에 표출한다.
이로써 사용자는 자신이 직접 매장의 의류를 입어보지 않고서도 마치 자신이 직접 매장의 의류를 입어보는 것과 같은 가상 피팅 영상을 통해, 의류가 자신에게 어울리는지를 확인할 수 있다. 이러한 방식으로 가상 피팅을 구현하면, 매장에 아무리 많은 의류가 있어도, 자신의 스마트폰을 이용하여 실시간으로 모든 옷을 피팅해 볼 수 있게 된다.
따라서 기존과 같이 자신이 직접 육안으로 의류를 고르는 시간, 이를 직접 입어보면서 거울을 통해 어울리는지 확인하는 불편함 등을 개선할 수 있게 되는 것이다.
한편, 상기와 같은 방식은 매장 내의 의류를 자신에 대응하는 가상 캐릭터에 가상 피팅을 해보는 방식이며, 사용자는 자신이 현재 착용한 의상에 매장 내의 의류를 매칭시켜 가상 피팅을 해보는 것도 가능하다.
예컨대, 자신의 현재 착용된 모습을 카메라로 촬영하여 촬영 이미지를 가상 피팅 서버(300)로 전송하여 자신이 착용한 옷을 입은 가상 캐릭터를 수신하고, 매장 의류 정보와 현재 착용한 의류와 매칭을 시키면서 가상 피팅을 해보는 것도 가능하다. 다른 방법으로는, 사용자 단말(100)에 설치된 AR기반 피팅 애플리케이션을 이용하여 현재 자신의 촬영 이미지를 저장된 가상 캐릭터에 매칭시켜 자신이 착용한 옷을 입은 가상 캐릭터를 생성할 수 있다. 이후, 생성한 가상 캐릭터가 현재 착용한 의류와 매장 의류를 매칭시키면서 가상 피팅을 해보는 것도 가능하다.
또한, 본 발명의 또 다른 특징으로서, 자신이 현재 소유하고 있는 의류(통상, 집에 비치됨)를 오프라인 매장의 매장 디스플레이장치(200)를 이용하여 가상 캐릭터를 통해 입고, 오프라인 매장의 의류와 증강현실 기반의 가상 피팅 방식으로 매칭을 하여, 오프라인 매장에서 집에 비치된 의류와 오프라인 매장의 의류를 피팅해 볼 수도 있다는 것이다.
예컨대, 자신이 소유하고 있는 의류는 가상 피팅 서버(300)를 통해 가공되어 소유 의류 정보로 저장되어 있으므로, 스마트폰의 화면에 가상 캐릭터를 띄우고 자신이 입어보고자 하는 소유 의류 정보를 가상 캐릭터에 매칭시킨 후, 매장 의류 정보를 취사선택하여 가상 캐릭터에 매칭시킨다. 이때, 의류가 매칭될 때마다 매장 디스플레이장치(200)에서는 마치 자신이 직접 집에 비치된 의류를 입고 매장의 의류를 직접 입어보면서 피팅을 하는 것처럼 증강현실 기반의 가상 피팅이 구현된다.
따라서 의류 구매자는 집에 있는 자신의 의류를 전부 가져와서 직접 입어보고, 매장에 비치된 의류를 피팅하면서 의류를 구매하는 불편함 없이, 증강현실 기반의 가상 피팅 시스템으로 자신이 직접 피팅을 하는 것과 동일하게 편리하면서도 실시간으로 가상 피팅을 구현할 수 있게 되는 것이다.
이러한 가상 피팅 방식에 의해 다양한 의류 매장의 의류를 직접 피팅하는 데 따른 불편함과 의류 구매를 위한 시간적인 낭비를 방지하면서도 최적의 의류를 구매할 수 있게 되는 것이다.
이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명하다.
100: 사용자 단말
101: 카메라
102: 이미지 입력부
103: 조작부
104: 피팅 제어부
105: 통신 모듈
106: 저장부
107: 피팅 의류 선택부
108: AR 피팅부
109: 미러링부
110: 모션 인식부
200: 매장 디스플레이장치
300: 가상 피팅 서버
301: 데이터 송수신부
302: AR기반 피팅 애플리케이션 제공부
303: 체형 분석부
311: 성별/나이 정보 획득부
312: 신체 정보 획득부
313: 얼굴 정보 추출부
314: 체형 정보 도출부
304: 가상 캐릭터 생성부
305: 의류 데이터 가공부
306: 데이터베이스(DB)

Claims (6)

  1. 증강현실 기반으로 오프라인 매장에서 가상 피팅을 구현하는 시스템으로서,
    사용자가 소유한 의류 이미지를 이용하여 가상 피팅 서버에 소유 피팅 의류정보를 요청하고, 오프라인 매장에 비치된 매장 의류 정보와 소유 피팅 의류정보 또는 현재 사용자가 착용한 의류 정보를 증강현실 기반으로 피팅처리하여 오프라인 매장에 설치된 매장 디스플레이장치와 미러링을 통해 매장 디스플레이장치에 피팅 영상을 표시하는 사용자 단말;
    상기 사용자 단말로 오프라인 매장의 매장 의류 정보를 전송하고, 상기 사용자 단말을 통해 미러링되는 피팅 영상을 화면에 표출하는 매장 디스플레이장치; 및
    상기 사용자 단말로부터 전송된 사용자 신체 정보를 기초로 가상 캐릭터를 구현하고, 사용자 단말로부터 전송된 소유 의류 이미지를 가공처리하여 소유 피팅 의류정보를 생성하며, 생성한 가상 캐릭터 및 소유 피팅 의류정보를 상기 사용자 단말로 제공하는 가상 피팅 서버를 포함하는 것을 특징으로 하는 증강현실 기반의 오프라인 매장에서의 가상 피팅시스템.
  2. 청구항 1에서, 상기 사용자 단말은 상기 매장 디스플레이장치로부터 매장 의류 정보를 수신하고, 상기 가상 피팅 서버에서 제공하는 사용자를 형상화한 가상 캐릭터에 제스처 기반으로 선택한 피팅 의류를 결합하여 증강현실 기반의 피팅 영상을 구현하고, 구현한 피팅 영상을 미러링 기능을 통해 매장 디스플레이장치로 전송하는 것을 특징으로 하는 증강현실 기반의 오프라인 매장에서의 가상 피팅시스템.
  3. 청구항 2에서, 상기 사용자 단말은 사용자의 신체 정보를 촬영하여 신체 이미지를 획득하고, 소유 의류를 촬영하여 소유 의류 이미지를 획득하는 카메라; 상기 카메라에 의해 획득한 신체 이미지 및 소유 의류 이미지를 입력받는 이미지 입력부; 사용자의 제스처를 인식하는 모션 인식부; 상기 이미지 입력부를 통해 입력된 이미지 정보를 가상 피팅 서버로 전송하여 가상 캐릭터 및 소유 의류 정보를 요청하고, 증강현실 기반의 가상 피팅과 가상 영상 피팅을 제어하는 피팅 제어부를 포함하는 것을 특징으로 하는 증강현실 기반의 오프라인 매장에서의 가상 피팅시스템.
  4. 청구항 3에서, 상기 사용자 단말은 상기 모션 인식부에 의해 인식한 제스처 또는 조작부의 터치를 통해 피팅 의류를 선택하는 피팅 의류 선택부; 상기 가상 캐릭터에 상기 피팅 의류 선택부에 의해 선택된 피팅 의류를 매칭시켜 증강현실 기반의 피팅 영상을 생성하는 AR 피팅부; 상기 AR 피팅부에 의해 생성된 가상 피팅 영상을 미러링 기능을 통해 상기 매장 디스플레이장치로 전송하는 미러링부를 포함하는 것을 특징으로 하는 증강현실 기반의 오프라인 매장에서의 가상 피팅시스템.
  5. 청구항 1에서, 상기 가상 피팅 서버는 상기 사용자 단말로부터 전송된 소유 의류 이미지, 사용자 신체 이미지 및 사용자 개인정보를 수신하고, AR기반 피팅 애플리케이션을 상기 사용자 단말에 다운로드 하며, 생성된 가상 캐릭터 및 소유 의류 정보를 상기 사용자 단말에 전송하는 데이터 송수신부; 상기 데이터 송수신부에서 수신한 사용자 개인정보 및 신체 이미지로부터 체형을 분석하는 체형 분석부; 상기 체형 분석부에서 분석한 체형 정보를 기초로 사용자에 대응하는 가상 캐릭터를 생성하는 가상 캐릭터 생성부; 수신한 소유 의류 이미지를 가공처리하여 소유 의류 정보를 생성하는 의류 데이터 가공부를 포함하는 것을 특징으로 하는 증강현실 기반의 오프라인 매장에서의 가상 피팅시스템.
  6. 청구항 5에서, 상기 체형 분석부는 상기 사용자 개인정보로부터 성별 및 나이 정보를 획득하는 성별/나이 정보 획득부; 사용자의 개인정보로부터 키와 허리 둘레길이와 상체 길이와 하체 길이와 팔의 길이 및 어깨 넓이 정보를 신체 정보로 획득하는 신체 정보 획득부; 사용자 안면이미지에 지정된 특징점의 위치 및 유사 표준 안면이미지의 폴리곤메쉬(Polygon mesh)를 이루는 버텍스(Vertex)들의 위치 사이의 차이 정도를 기초로 하여 안면이미지의 폴리곤메쉬를 이루게 될 버텍스들의 위치를 추정하고, 상기 유사 표준 안면이미지의 폴리곤메쉬를 이루는 버텍스들의 위치를 상기 안면이미지의 폴리곤메쉬를 이루게 될 버텍스들의 위치로 변환시켜, 상기 사용자 안면이미지에 매칭되는 얼굴 정보를 추출하는 얼굴 정보 추출부; 복수 개의 표준 신체 데이터를 지정해두고, 사용자의 키와 허리 둘레길이를 통해 복수 개의 표준 신체 데이터를 참조하여 사용자의 3차원 신체 모델을 체형 정보로 도출하는 체형 정보 도출부를 포함하는 것을 특징으로 하는 증강현실 기반의 오프라인 매장에서의 가상 피팅시스템.







KR1020190154130A 2019-11-27 2019-11-27 증강현실 기반의 오프라인 매장에서의 가상 피팅시스템 KR20210065423A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190154130A KR20210065423A (ko) 2019-11-27 2019-11-27 증강현실 기반의 오프라인 매장에서의 가상 피팅시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190154130A KR20210065423A (ko) 2019-11-27 2019-11-27 증강현실 기반의 오프라인 매장에서의 가상 피팅시스템

Publications (1)

Publication Number Publication Date
KR20210065423A true KR20210065423A (ko) 2021-06-04

Family

ID=76392022

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190154130A KR20210065423A (ko) 2019-11-27 2019-11-27 증강현실 기반의 오프라인 매장에서의 가상 피팅시스템

Country Status (1)

Country Link
KR (1) KR20210065423A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102387888B1 (ko) * 2021-11-19 2022-04-18 (주)엔더블유컴퍼니 의류 재고 관리 시스템
KR102387892B1 (ko) * 2021-11-19 2022-04-18 (주)엔더블유컴퍼니 증강현실에 기반한 의류 판매 시스템
KR102506352B1 (ko) * 2022-06-07 2023-03-06 주식회사 엑스바디 전자상거래를 위한 3d 인체 측정 데이터 기반의 디지털 트윈 아바타 제공 시스템
WO2024049687A1 (en) * 2022-08-31 2024-03-07 Snap Inc. Generating immersive augmented reality experiences from existing images and videos

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101669927B1 (ko) 2015-01-15 2016-10-27 (주)에프엑스기어 가상 피팅 시스템, 구매 촉진을 위한 가상 피팅 서비스 제공 방법 및 이를 위한 컴퓨터 프로그램

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101669927B1 (ko) 2015-01-15 2016-10-27 (주)에프엑스기어 가상 피팅 시스템, 구매 촉진을 위한 가상 피팅 서비스 제공 방법 및 이를 위한 컴퓨터 프로그램

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102387888B1 (ko) * 2021-11-19 2022-04-18 (주)엔더블유컴퍼니 의류 재고 관리 시스템
KR102387892B1 (ko) * 2021-11-19 2022-04-18 (주)엔더블유컴퍼니 증강현실에 기반한 의류 판매 시스템
KR102506352B1 (ko) * 2022-06-07 2023-03-06 주식회사 엑스바디 전자상거래를 위한 3d 인체 측정 데이터 기반의 디지털 트윈 아바타 제공 시스템
WO2024049687A1 (en) * 2022-08-31 2024-03-07 Snap Inc. Generating immersive augmented reality experiences from existing images and videos

Similar Documents

Publication Publication Date Title
KR20210065423A (ko) 증강현실 기반의 오프라인 매장에서의 가상 피팅시스템
CN110609617B (zh) 虚拟镜子的装置、系统和方法
US8982110B2 (en) Method for image transformation, augmented reality, and teleperence
CN110716645A (zh) 一种增强现实数据呈现方法、装置、电子设备及存储介质
WO2018166456A1 (zh) 基于虚拟现实环境的身份认证方法及装置
US20150279098A1 (en) Smart device and virtual experience providing server providing virtual experience service method using digitalexperience service method using digital clothes
US10423220B2 (en) Virtual try-on apparatus, virtual try-on method, and computer program product
US20140226000A1 (en) User interface and authentication for a virtual mirror
CN106127552B (zh) 一种虚拟场景显示方法、装置及系统
US10692113B2 (en) Method for providing customized information through advertising in simulation environment, and associated simulation system
US9984485B2 (en) Virtual try-on apparatus, virtual try-on method, and computer program product
CA3229535A1 (en) Avatar display device, avatar generation device, and program
CN111768479B (zh) 图像处理方法、装置、计算机设备以及存储介质
US20130173226A1 (en) Garment modeling simulation system and process
US20220198780A1 (en) Information processing apparatus, information processing method, and program
US20160042443A1 (en) Virtual try-on apparatus, virtual try-on method, and computer program product
KR101997702B1 (ko) 쓰리디 시뮬레이션이 가능한 가상헤어스타일피팅미러 장치 및 시스템
US20160042565A1 (en) Virtual try-on apparatus, virtual try-on system, virtual try-on method, and computer program product
KR101556158B1 (ko) 실사 영상 기반의 스마트 피팅장치를 이용한 소셜 서비스시스템
KR102060972B1 (ko) 증강현실 기반 주얼리 가상착용 시스템 및 그 방법
JP6563580B1 (ja) コミュニケーションシステム及びプログラム
KR20140128560A (ko) 개인 구매정보 기반의 인터렉티브 미러 시스템 및 그를 이용하는 방법
KR102506352B1 (ko) 전자상거래를 위한 3d 인체 측정 데이터 기반의 디지털 트윈 아바타 제공 시스템
KR20200139934A (ko) 증강현실을 이용한 의류 착용 서비스 장치 및 방법
CN114049468A (zh) 一种展示方法、装置、设备及存储介质

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E601 Decision to refuse application