KR20140130767A

KR20140130767A - 실사 영상 기반의 스마트 피팅장치를 이용한 소셜 서비스시스템

Info

Publication number: KR20140130767A
Application number: KR20130049019A
Authority: KR
Inventors: 이문숙; 이영수; 서영규
Original assignee: (주)인더스웰
Priority date: 2013-05-01
Filing date: 2013-05-01
Publication date: 2014-11-12
Also published as: KR101556158B1

Abstract

실제로 의류를 착용한 모습을 디스플레이장치를 통해 3차원의 실사 영상으로 제공하고, 의류 착용 영상을 주변인들과 공유할 수 있도록 한 실사 영상 기반의 스마트 피팅장치 및 그 방법 및 스마트 피팅장치를 이용한 소셜 서비스시스템에 관한 것으로, 사용자(구매자)의 모습이 없는 배경 공간을 각각의 카메라를 통해 촬영하고 촬영된 배경 영상을 특징 영상으로 변환하여 배경 영상을 설정하는 배경 모델링부; 다수의 깊이 카메라로부터 입력된 영상에서 구매자의 신체를 제외한 배경을 제거하는 배경 제거부; 카메라 조정부에서 획득한 조정(Calibration) 정보를 이용하여 3차원 공간좌표들을 정렬하여 3차원 영상을 생성하는 3차원 영상 모델링부; 3차원 영상의 디스플레이와 저장을 제어하며, 저장 영상의 전송을 제어하는 중앙제어부; 중앙제어부의 제어에 따라 디스플레이 장치에 3차원 영상을 디스플레이하는 영상 디스플레이부를 구비함으로써, 실제로 의류를 착용한 모습을 디스플레이장치를 통해 3차원의 실사 영상으로 제공해주고, 의류 착용 영상을 주변인들과 공유할 수 있도록 도모해준다.

Description

실사 영상 기반의 스마트 피팅장치 및 그 방법과 스마트 피팅장치를 이용한 소셜 서비스시스템{The smart fitting apparatus and method based real image and social service system using thesame}

본 발명은 실사 영상(real image) 기반의 스마트 피팅(samrt fitting) 장치 및 이를 이용한 소셜(social) 서비스 시스템에 관한 것으로, 특히 실제로 의류를 착용한 모습을 디스플레이장치(예를 들어, 디지털 사이니지(digital signage))를 통해 3차원의 실사 영상으로 제공하고, 의류 착용 영상을 주변인들과 공유할 수 있도록 한 실사 영상 기반의 스마트 피팅장치 및 그 방법 및 스마트 피팅장치를 이용한 소셜 서비스시스템에 관한 것이다.

일반적으로, 의류 매장에서 의류를 구매하는 구매자는 의류를 착용한 후 거울 앞에서 여러 방향으로 의류를 착용한 자신의 모습을 관찰하고 자신의 모습에 대한 주변인들의 의견을 청취한다. 또한, 다른 의류를 착용하여 상호 비교하는 등 구매하고자 하는 의류가 자신에게 잘 맞는가를 비교, 확인하는 과정을 거친다.

그러나 이러한 방식은 매장에 주변인들이 함께 존재할 경우에만 서로 의견을 주고 받을 수 있다는 제약이 따른다.

한편, 근래 들어 의류를 구매하는 과정에서 구매자들이 자신에게 맞는 다양한 의류를 입어본 후, 비교하여 선택할 수 있도록 지원하는 기술이 개발되고 있다.

이와 관련된 기존 기술은 가상의 의류(의상) 착용 기술로써, 3D 가상(Virtual) 피팅 시스템이 대표적인 예이다. 이 기술은 인체를 카메라로 촬영한 영상으로부터 3D 인체 모델링을 하고, 의류는 그래픽 기술을 이용하여 가상으로 제작한 후, 실사 영상 위에 가상 의류를 합성하여 디스플레이하는 기술이다.

상기와 같은 디지털 방식의 가상 피팅 시스템에 대한 종래의 기술들이, 하기의 <특허문헌 1> 대한민국 공개특허 공개번호 10-2012-0087265호(2012.08.07. 공개)와, <특허문헌 2> 대한민국 공개특허 공개번호 10-2012-0040565호(2012.04.27. 공개) 및 <특허문헌 3> 대한민국 공개특허 공개번호 10-2013-0007011호(2013.01.18. 공개)에 개시된다.

개시된 <특허문헌 1>은 사용자 영상에서 사용자 신체 형태와 매칭되는 피팅 콘텐츠를 검색하고, 사용자의 변형 요청에 따라 미리 복수 영역으로 구분된 피팅 콘텐츠 단위 영역을 변형하고자 하는 콘텐츠 영역에 복사하여 피팅 콘텐츠를 변형한다. 그리고 그 변형된 피팅 콘텐츠를 사용자 신체 형태에 맞게 가상 피팅을 수행하게 된다. 이로써 리사이징으로 인한 부자연스러운 결합 또는 영상의 퍼짐 현상을 방지할 수 있고, 화질의 손실이 없으면서도 피팅 콘텐츠를 사용자 영상에 자연스럽게 변형하게 된다.

또한, <특허문헌 2>는 자신이 원하는 바디(body)의 생성과 수정이 가능하고, 인터넷망을 통해 웹상에서 제공되는 의류의 3차원 가상착의가 가능한 애플리케이션이 탑재된 사용자 단말기, 판매자 단말기를 통해 생성된 의류 파일의 3차원 착의 서비스를 제공하기 위한 웹 서버, 애플리케이션에서 구현되는 가상의 바디에 착의될 의류 파일을 제작하기 위한 통합 클로딩 프로그램이 탑재되며, 상기 웹 서버로 상기 의류 파일을 업로드하기 위한 판매자 단말기를 구비한다. 이렇게 구비된 3차원 가상 피팅 시스템을 이용하여 사용자 단말기의 애플리케이션에 설정된 바디에 옷을 자유롭게 3차원으로 가상 피팅할 수 있게 된다.

아울러 <특허문헌 3>은 의류별로 부여된 식별코드와 매칭되는 의류제품에 대한 이미지정보를 저장하여 이용자의 선택에 따라 다수개의 이미지정보를 불러와서 코디해 볼 수 있다. 또한, 이용자의 전신을 촬영하여 직접 이용자의 전신에 오버랩시키거나 증강현실로 보여주어 마치 의류를 착용한 듯한 효과를 가져와서 간편하게 자신에게 어울리는 의류를 선택할 수 있도록 도모해준다.

대한민국 공개특허 공개번호 10-2012-0087265호(2012.08.07. 공개) 대한민국 공개특허 공개번호 10-2012-0040565호(2012.04.27. 공개) 대한민국 공개특허 공개번호 10-2013-0007011호(2013.01.18. 공개)

그러나 상기와 같은 종래기술들은 가상 의류의 크기를 인체에 맞춰 변형해야 하므로 인체의 크기 및 가상 의류의 크기에 대한 데이터를 관리하고 가상 의류의 크기 변형 계산을 해야 하므로 해상도가 높은 정교한 가상 의류를 표현하는 경우 실시간 처리가 어려운 단점이 있다.

또한, 종래기술들은 디스플레이 장치에 출력되는 카메라 영상이 2차원 영상으로 출력되는 방식이고 실제 의상은 착용하지 않는 방식이므로, 의상이 자신에 잘 맞는지(Fitting) 알 수가 없어 현실감이 많이 떨어지며, 실제 구매에 활용하기에는 어려운 단점이 있다.

본 발명의 목적은 상기한 바와 같은 문제점을 해결하기 위한 것으로, 실제로 의류를 착용한 모습을 디지털 사이니지(digital signage)를 통해 3차원의 실사 영상으로 제공하고, 의류 착용 영상을 주변인들과 공유할 수 있도록 한 실사 영상 기반의 스마트 피팅장치 및 그 방법 및 스마트 피팅장치를 이용한 소셜 서비스시스템을 제공하는 것이다.

본 발명의 다른 목적은 3차원 영상의 녹화 기능을 통해 여러 다른 의류를 착용한 모습을 동시에 비교할 수 있도록 한 실사 영상 기반의 스마트 피팅장치 및 그 방법 및 스마트 피팅장치를 이용한 소셜 서비스시스템을 제공하는 것이다.

본 발명의 또 다른 목적은 의류를 착용한 실제 3차원 영상을 주변인들에게 전송하여 공유하고, 실시간으로 구매자와 주변인들 간에 의견 교환을 통해 구매자의 구매 의사결정을 지원할 수 있도록 한 실사 영상 기반의 스마트 피팅장치 및 그 방법 및 스마트 피팅장치를 이용한 소셜 서비스시스템을 제공하는 것이다.

상기한 바와 같은 목적을 달성하기 위한 본 발명에 따른 실사 영상 기반의 스마트 피팅장치는 사용자(구매자)의 의류 착용 모습을 촬영하기 위한 다수의 깊이(Depth) 카메라를 연결하기 위한 카메라 인터페이스부; 기준 공간 좌표계 설정을 위해 상기 다수의 깊이 카메라의 위치를 조정하는 카메라 조정(Calibration)부; 상기 다수의 깊이 카메라로부터 구매자의 의류 착용 모습을 촬영하는 영상 취득부; 사용자(구매자)의 모습이 없는 배경 공간을 각각의 카메라를 통해 촬영하고 촬영된 배경 영상을 특징 영상으로 변환하는 배경 모델링부; 상기 다수의 깊이 카메라로부터 입력된 영상에서 구매자의 신체를 제외한 배경을 제거하는 배경 제거부; 상기 카메라 조정부에서 획득한 조정(Calibration) 정보를 이용하여 3차원 공간좌표들을 정렬하여 3차원 영상을 생성하는 3차원 영상 모델링부; 상기 생성한 3차원 영상의 디스플레이와 저장을 제어하며, 저장 영상의 전송을 제어하는 중앙제어부; 상기 중앙제어부의 제어에 따라 디스플레이 장치에 3차원 영상을 디스플레이하는 영상 디스플레이부; 사용자의 제스처 인식이나 메뉴 방식으로 사용자와의 인터랙션에 의해 3차원 영상 화면을 제어하는 3차원 영상 제어부; 상기 중앙제어부의 제어에 따라 상기 디스플레이 장치에 디스플레이되는 구매자의 의류 착용 모습을 녹화(기록)하는 3차원 영상 녹화부; 구매자의 의류 착용 모습이 녹화된 영상을 데이터베이스에 등록하는 3차원 영상 저장부; 구매자의 의류 착용 모습이 녹화된 영상을 외부로 전송하기 위한 3차원 영상 전송부를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 실사 영상을 이용한 스마트 피팅장치는 사용자와의 인터페이스를 위한 사용자 인터페이스부를 더 포함하는 것을 특징으로 한다.

상기에서 배경 모델링부는 사용자(구매자)의 모습이 없는 배경 공간 영상을 획득하는 배경공간 획득부; 상기 배경공간 획득부에서 획득한 배경 공간 영상의 특징을 모델링하여 배경 영상을 설정하는 특징 모델링부를 포함하는 것을 특징으로 한다.

상기한 바와 같은 목적을 달성하기 위한 본 발명에 따른 실사 영상 기반의 스마트 피팅장치를 이용한 소셜 서비스 시스템은 실사 영상을 획득하고 그 획득한 실사 영상을 3차원 영상으로 모델링하여 3차원 영상을 획득하는 스마트 피팅장치; 상기 스마트 피팅장치와 네트워크를 통해 접속되어 실사 영상 기반의 3차원 영상을 수신하여 데이터베이스에 등록하고 상기 네트워크를 통해 상기 데이터베이스에 등록한 3차원 영상을 서비스해주는 소셜 서비스 서버; 상기 네트워크를 통해 상기 소셜 서비스 서버 또는 상기 스마트 피팅장치에서 제공되는 3차원 영상을 다운로드하여 화면에 표시해주는 사용자 단말기; 상기 네트워크를 통해 상기 소셜 서비스 서버에서 제공해주는 사용자의 3차원 영상을 다운로드 하여 화면에 디스플레이해주는 지인 단말기를 포함하는 것을 특징으로 한다.

상기에서 사용자 단말기는 상기 네트워크를 통해 상기 지인 단말기와 접속하고, 사용자의 의견을 데이터로 만들어 상기 네트워크를 통해 상기 지인 단말기에 전송하는 것을 특징으로 한다.

상기에서 지인 단말기는 상기 네트워크를 통해 상기 사용자 단말기와 접속하고, 지인이 입력하는 의견을 데이터로 만들어 상기 네트워크를 통해 상기 사용자 단말기에 전송하는 것을 특징으로 한다.

상기한 바와 같은 목적을 달성하기 위한 본 발명에 따른 실사 영상을 이용한 스마트 피팅방법은 (a) 3차원 실사 영상 획득을 위한 다수의 깊이 카메라의 위치를 조정한 상태에서, 상기 다수의 깊이 카메라를 통해 배경 공간을 촬영하여 배경 공간 영상을 획득하는 단계; (b) 상기 획득한 배경 공간 영상으로부터 특징을 모델링하여 배경 영상을 설정하는 단계; (c) 촬영 영상이 수신되면 상기 설정한 배경 영상을 기반으로 상기 촬영 영상에서 배경을 제거하는 단계; (d) 배경이 제거된 영상을 3차원 영상으로 모델링하는 단계; (e) 상기 (d) 단계에서 모델링된 3차원 영상의 처리를 제어하는 단계; (f) 사용자 인터페이스 발생 여부를 확인하여, 사용자 인터페이스 발생시 사용자 인터페이스에 따라 영상을 조정하는 단계; (g) 상기 (f) 단계에서 조정된 영상 또는 상기 (e) 단계에서 제어된 영상을 표시하는 단계; (f) 상기 (g) 단계에서 표시하는 영상을 녹화 및 저장하는 단계를 포함하는 것을 특징으로 한다.

상기에서 (e) 단계는 모델링된 3차원 영상의 디스플레이를 제어하고, 상기 디스플레이되는 3차원 영상의 녹화를 제어하며, 상기 녹화된 3차원 영상의 저장을 제어하며, 상기 저장한 3차원 영상의 전송을 제어하는 것을 특징으로 한다.

본 발명에 따르면 의류 구매자가 의류를 착용한 자신의 실제 모습을 3차원 영상으로 관찰 가능하게 함으로써, 마치 자신의 전, 후, 좌, 우에 거울을 비치하여 전신을 360°로 보는 것과 같은 효과를 갖게 하여 착용한 옷맵시에 대해 충분히 살펴보고 의류를 구매하도록 함으로써, 의류 쇼핑에 대한 만족도를 높일 수 있는 효과가 있다.

또한, 본 발명에 따르면 구매자가 의류를 착용한 실제 3차원 영상을 주변인들에게 전송하여 공유 가능하게 하고, 이를 통해 구매자가 주변인들과 실시간으로 의견 교환을 가능토록 함으로써, 의류 착용 및 구매에 있어서의 실시간 소셜 커뮤니케이션 서비스를 도모해주는 효과가 있다.

도 1은 본 발명에 따른 실사 영상 기반의 스마트 피팅장치의 블록구성도,
도 2는 도 1의 배경 모델링부의 실시 예 구성도,
도 3a 내지 도 3d는 본 발명에서 실사 3차원 의류 착용시 거울 기능 예시도,
도 4a 내지 도 4d는 본 발명에서 의류 착용 모습 비교 예시도,
도 5는 본 발명에서 다수 개의 깊이 카메라에 의한 영상 취득 예시도,
도 6은 본 발명에 따른 실사 영상 기반의 스마트 피팅방법을 보인 흐름도,
도 7은 본 발명에 따른 실사 영상 기반의 스마트 피팅장치를 이용한 소셜 서비스 시스템의 블록구성도.

이하 본 발명의 바람직한 실시 예에 따른 실사 영상 기반의 스마트 피팅장치 및 방법과 스마트 피팅장치를 이용한 소셜 서비스 시스템을 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 바람직한 실시 예에 따른 실사 영상 기반의 스마트 피팅장치의 블록구성도이다.

본 발명의 바람직한 실시 예에 따른 실사 영상 기반의 스마트 피팅장치(100)는 카메라 인터페이스부(110), 카메라 조정부(120), 영상 취득부(125), 배경 모델링부(130), 배경 제거부(140), 3차원 영상 모델링부(150), 중앙제어부(160), 사용자 인터페이스부(165), 3차원 영상 제어부(170), 영상 디스플레이부(175), 3차원 영상 녹화부(180), 3차원 영상 저장부(185), 3차원 영상 전송부(190) 및 데이터베이스(195)를 포함한다.

카메라 인터페이스부(110)는 사용자(구매자)의 의류 착용 모습을 촬영하기 위한 다수의 깊이(Depth) 카메라(101 ~ 101+N)를 연결하기 위한 역할을 하며, 카메라 조정부(120)는 기준 공간 좌표계 설정을 위해 상기 다수의 깊이 카메라의 위치를 조정하는 역할을 한다.

영상 취득부(125)는 상기 다수의 깊이 카메라로부터 구매자의 의류 착용 모습을 촬영하여 영상을 획득하는 역할을 한다.

아울러 배경 모델링부(130)는 사용자(구매자)의 모습이 없는 배경 공간을 각각의 카메라를 통해 촬영하고 촬영된 배경 영상을 특징 영상으로 변환하는 역할을 한다.

이러한 배경 모델링부(130)는 도 2에 도시한 바와 같이, 사용자(구매자)의 모습이 없는 배경 공간 영상을 획득하는 배경공간 획득부(131); 상기 배경공간 획득부(131)에서 획득한 배경 공간 영상의 특징을 모델링하여 배경 영상을 설정하는 특징 모델링부(132)를 포함한다.

또한, 배경 제거부(140)는 상기 다수의 깊이 카메라로부터 입력된 영상에서 구매자의 신체를 제외한 배경을 제거하는 역할을 하며, 3차원 영상 모델링부(150)는 상기 카메라 조정부(120)에서 획득한 조정(Calibration) 정보를 이용하여 3차원 공간좌표들을 정렬하여 3차원 영상을 생성하는 역할을 한다.

그리고 중앙 제어부(160)는 상기 생성한 3차원 영상의 디스플레이와 저장을 제어하며, 저장 영상의 전송을 제어하는 역할을 한다. 이러한 중앙제어부(160)는 마이크로프로세서, 마이컴, 컨트롤러, 중앙처리장치와 같은 제어 장치로 구현하는 것이 바람직하다.

영상 디스플레이부(175)는 상기 중앙제어부(160)의 제어에 따라 디스플레이 장치에 3차원 영상을 디스플레이하는 역할을 하며, 3차원 영상 제어부(170)는 사용자의 제스처 인식이나 메뉴 방식으로 사용자와의 인터랙션에 의해 3차원 영상 화면을 제어하는 역할을 한다.

아울러 3차원 영상 녹화부(180)는 상기 중앙제어부(160)의 제어에 따라 상기 디스플레이 장치에 디스플레이되는 구매자의 의류 착용 모습을 녹화(기록)하는 역할을 한다.

또한, 3차원 영상 저장부(185)는 구매자의 의류 착용 모습이 녹화된 영상을 데이터베이스(195)에 등록하는 역할을 하며, 3차원 영상 전송부(190)는 구매자의 의류 착용 모습이 녹화된 영상을 외부로 전송하기 위한 역할을 한다.

또한, 사용자 인터페이스부(165)는 사용자와의 인터페이스 역할을 한다.

이와 같이 구성된 본 발명에 따른 실사 영상 기반의 스마트 피팅장치의 작용을 설명하면 다음과 같다.

먼저, 사용자(구매자)의 의류 착용 모습을 3차원 영상으로 촬영하기 위해서 복수의 깊이 카메라(101 ~ 101+N)를 특정 공간에 설치한다. 도 5는 다수 개의 깊이 카메라의 설치 위치와 영상 취득 예시 도이다. 상기 특정 공간은 피팅 룸일 수 있다.

그리고 복수의 깊이 카메라와 스마트 피팅장치(100)를 커넥터 등을 이용하여 연결하면, 카메라 인터페이스부(110)가 중앙제어부(160)와 복수의 깊이 카메라 간의 데이터를 인터페이스해준다.

여기서 깊이 카메라의 한 종류로 마이크로소프트사의 키넥트(Kinect) 센서와 같은 종류의 카메라 센서를 사용할 수도 있다. 키넥트 센서는 기본적으로 3개의 렌즈로 구성되며, 그 중 한 개는 RGB인식용으로 사용되고, 다른 한 개는 적외선을 픽셀 단위로 투사하는 역할을 한다. 적외선을 투사하는 렌즈를 적외선 프로젝트라고도 부른다. 그리고 또 다른 한 개는 적외선 프로젝트로 송출된 무수히 많은 점들이 촬영 대상으로부터 반사되어 오는 걸 인식하게 된다. 예컨대, 적외선을 픽셀 단위로 송출하고, 적외선 수신 카메라가 이 픽셀을 거리정보로 수집하여 이미지를 생산하여 대상을 인식하게 된다.

아울러 상기와 같이 특정 공간에 복수의 깊이 카메라를 설치한 경우에는, 최적의 공간좌표 획득을 위해 카메라 조정이 필요하다. 즉, 복수의 깊이 카메라를 통해 획득한 영상이 영상 디스플레이부(175)를 통해 디스플레이 장치(예를 들어, 디지털 사이니지)에 표시된다. 사용자는 디스플레이 장치에 표시되는 영상을 보면서 입력장치(도면에는 도시하지 않음)를 통해 조정 정보를 입력하거나 카메라의 위치를 변경한다. 이러한 조작에 따라 카메라 조정부(120)는 다수의 깊이(Depth) 카메라를 통해 동시에 같은 공간(구매자)을 촬영하는 경우 촬영 지점의 3차원 공간을 구성하기 위해서 각각의 카메라 좌표계에서 입력된 3차원 공간 좌표값들을 기준이 되는 하나의 공간 좌표계로 변환하여 3차원 공간상에서의 모두 일치하는 공간좌표를 획득한다. 카메라 조정은 의류 매장일 경우 시스템 최초 설치 시 또는 설치 공간 변경 시에만 수행하며 한 번 설정된 공간에서는 반복하여 설정할 필요가 없다.

카메라의 조정이 완료된 상태에서 관리자는 사용자(구매자)의 모습이 없는 배경 공간을 각각의 깊이 카메라를 통해 미리 촬영한다. 이렇게 촬영된 영상은 중앙제어부(160)의 제어에 따라 배경 모델링부(130)에 전달된다. 상기 배경 모델링부(130)의 배경 공간 획득부(131)는 입력된 영상을 사용자(구매자)의 모습이 없는 배경 공간 영상으로 획득하여 특징 모델링부(132)에 전달한다. 상기 특징 모델링부(132)는 상기 배경공간 획득부(131)에서 획득한 배경 공간 영상의 특징을 모델링하여 배경 영상을 설정하게 된다. 이렇게 설정된 배경 영상은 데이터베이스(195)에 저장된다. 매장 내에서 촬영 공간을 변경하거나 매장의 위치가 바뀌어도 배경 모델링부를 통해 배경을 저장할 수 있다. 이러한 배경 영상은 추후 촬영 영상으로부터 배경 영상을 제거하는 데 사용되며, 이와 같이 불필요한 배경을 제거함으로써 3차원 영상 모델링의 처리속도를 향상시키고 사용자의 모습을 강조하여 보여줄 수 있게 된다.

이후 구매자가 구매 대상 의류를 착용한 후 정해진 위치에서 촬영 시작 명령을 입력하면, 다수의 깊이 카메라에서 구매자의 모습을 전, 후, 좌, 우 방향에서 촬영한다. 그리고 영상 취득부(125)는 중앙제어부(160)의 제어에 따라 다수의 깊이 카메라에서 촬영된 영상을 취득한다.

영상 취득부(125)에서 취득된 사용자의 영상은 배경 제거부(140)에 전달되며, 상기 배경 제거부(140)는 상기 영상 취득부(125)를 통해 각각의 깊이 카메라로 촬영한 사용자의 의류 착용 영상과 상기 데이터베이스(195)에 등록해 놓은 배경 영상을 비교하여 특징이 같은 부분을 제거하고 사용자(구매자)의 모습만 남은 영상을 추출한다.

이렇게 추출된 사용자의 의류 착용 영상은 3차원 영상 모델링부(150)에 전달된다. 상기 3차원 영상 모델링부(150)는 상기 카메라 조정부(120)에서 획득한 각 카메라의 조정(Calibration) 정보를 이용하여, 배경까지 제거된 각 카메라로 촬영된 사용자 영상을 3차원 공간좌표로 정렬하여 3차원 영상을 생성한다.

이렇게 생성된 3차원 영상은 중앙제어부(160)의 제어에 따라 영상 디스플레이부(175)를 통해 디스플레이 장치에 표출된다. 이때 디스플레이 장치는 디지털 사이니지, 텔레스크린, 스마트TV 등 매장 내에 설치한 디스플레이 장치일 수 있다.

도 3a 내지 도 3d는 상기 디스플레이 장치에 디스플레이되는 3차원 영상의 예시이다. 마치 거울을 통해 자신을 보는 것과 동일하게 영상이 디스플레이된다. 도 3a는 실제 전면 영상을 나타낸 것이고, 도 3b는 실제 후면 영상을 나타낸 것이며, 도 3c는 실제 측면 영상을 나타낸 것이고, 도 3d는 상기 전면, 후면 및 측면 영상 모두를 하나의 화면에 동시에 디스플레이한 것이다.

디스플레이 장치에 3차원 영상이 표출되는 상태에서 사용자는 3차원 영상의 조작이 가능하며, 이러한 사용자의 조작 신호는 사용자 인터페이스부(165)를 통해 중앙제어부(160)에 전달된다. 예컨대, 사용자 인터페이스부(165)는 디스플레이 장치와 사용자 간의 상호작용을 위한 것으로, 사용자가 디스플레이 장치를 제어할 수 있는 기능을 제공한다. 여기서 기능 제어는 리모컨이나 터치 방식에 의한 메뉴 기반의 기능 제어 또는 사용자의 제스처 인식에 의한 기능 제어 방식으로 이루어질 수 있다.

사용자 인터페이스부(165)를 통해 사용자 조작 명령이 수신되면, 중앙제어부(160)는 3차원 영상 제어부(170)에 조작 명령을 전달하여, 3차원 영상 화면을 제어하도록 한다. 예컨대, 3차원 영상 제어부(170)는 디스플레이 장치상에 출력되는 3차원 영상 화면을 제어하는 기능을 하는 데, 그 기능으로는 의류를 착용한 3차원 영상을 좌우로 회전하면서 옷맵시를 관찰하는 기능, 전면 모습, 뒷면 모습, 측면 모습을 한 화면에 동시에 출력하여 한눈에 전체 옷맵시를 관찰하는 기능, 여러 다른 종류의 의류를 착용한 모습을 한 화면에서 동시에 비교 관찰 가능한 기능을 제어한다. 다시 말해, 사용자가 조작명령을 입력하는 것에 대응하여 3차원 영상의 디스플레이를 제어하게 된다.

도 4a 내지 도 4d는 실사 3차원 의류 착용 모습을 사용자의 인터페이스에 따라 디스플레이 장치에 표시하게 된다. 도 4a는 의류 A의 착용 모습을 디스플레이한 것이고, 도 4b는 의류 B의 착용 모습을 디스플레이한 것이며, 도 4c는 의류 C의 착용 모습을 디스플레이한 것이고, 도 4d는 상기 의류 A 내지 C의 착용 모습을 비교할 수 있도록 화면에 3가지 의류 착용 영상을 동시에 디스플레이한 것이다.

한편, 본 발명의 특징으로서 디스플레이 장치상에 출력되는 영상의 녹화가 가능하다는 것이다. 예컨대, 상기 3차원 영상 녹화부(180)는 디스플레이 장치에 출력되는 사용자(구매자) 자신의 의류 착용한 영상을 녹화(기록, Recording)한다. 녹화는 사용자 인터페이스부(165)를 통해 사용자가 <녹화 시작>과 <녹화 종료> 버튼을 선택하는 것에 대응하여 사용자가 원하는 시간 동안 녹화가 진행된다.

상기 3차원 영상 녹화부(180)에 의해 녹화되는 영상은 3차원 영상 저장부(185)의 제어에 의해 중앙제어부(160)의 내부 메모리에 임시 저장된 후, 기타 저장장치에 저장된다. 여기서 저장장치로는 하드 디스크 드라이브(HDD), USB, CD, DVD, 클라우드 등 인터넷을 통한 외부 저장 장치 등을 포함할 수 있다.

또한, 본 발명의 다른 특징으로서 상기와 같이 내부 메모리에 저장한 녹화 영상을 다른 외부 장치나 인터넷 등을 통해 서버 등에 저장할 수 있다는 것이다. 예컨대, 3차원 영상 전송부(190)는 상기 3차원 영상 녹화부(180)에 의해 중앙제어부(160)의 메모리에 임시 저장된 녹화 영상이나 저장 장치에 저장된 영상을 인터넷과 같은 네트워크를 통해 중앙 서버로 전송하거나 무선 통신을 통해 구매자의 스마트기기로 직접 다운로드 할 수 있다.

도 7은 본 발명에 따른 실사 영상 기반의 스마트 피팅장치를 이용한 소셜 서비스 시스템의 블록 구성도이다.

도 7에 도시한 바와 같이, 본 발명에 따른 실사 영상 기반의 스마트 피팅장치를 이용한 소셜 서비스 시스템은 실사 영상을 획득하고 그 획득한 실사 영상을 3차원 영상으로 모델링하여 3차원 영상을 획득하는 스마트 피팅장치(100); 상기 스마트 피팅장치(100)와 네트워크(300)를 통해 접속되어 실사 영상 기반의 3차원 영상을 수신하여 데이터베이스에 등록하고 상기 네트워크(300)를 통해 상기 데이터베이스에 등록한 3차원 영상을 서비스해주는 소셜 서비스 서버(200); 상기 네트워크(300)를 통해 상기 소셜 서비스 서버(200) 또는 상기 스마트 피팅장치(100)에서 제공되는 3차원 영상을 다운로드하여 화면에 표시해주는 사용자 단말기(400); 상기 네트워크(300)를 통해 상기 소셜 서비스 서버(200)에서 제공해주는 사용자의 3차원 영상을 다운로드하여 화면에 디스플레이해주는 지인 단말기(500)를 포함한다.

여기서 스마트 피팅장치(100)는 도 1에 도시한 구성과 동일한 구성을 갖으며, 작용 또한 동일하게 작용한다.

이와 같이 구성된 본 발명에 따른 실사 영상 기반의 스마트 피팅장치를 이용한 소셜 서비스 시스템의 동작을 설명하면 다음과 같다.

먼저, 스마트 피팅장치(100)는 3차원 영상 전송부(190)를 통해 메모리 또는 저장장치에 저장해 놓은 3차원 영상을 네트워크(300)를 통해 소셜 서비스 서버(200)에 전송한다. 여기서 네트워크(300)는 인터넷, 이동통신망과 같은 네트워크를 통칭한 것이다.

상기 소셜 서비스 서버(200)는 상기 스마트 피팅장치(100)로부터 전송된 3차원 영상을 내부의 데이터베이스에 등록한다. 여기서 3차원 영상 데이터에는 해당 사용자(구매자)를 구분하기 위한 식별정보가 포함되므로, 이러한 식별정보를 통해 3차원 영상 데이터를 구분할 수 있다. 식별정보는 사용자의 핸드폰 번호이거나 성명일 수 있다. 상기 소셜 서비스 서버(200)는 인터넷과 같은 네트워크를 통해 스마트 피팅에 대한 사이트를 개설하고, 각각의 스마트 피팅장치 및 스마트기기와 네트워크를 통해 접속한다. 그리고 상기 스마트 피팅장치에서 전송된 3차원 영상을 데이터베이스에 등록하고, 사용자 단말기(400)나 지인 단말기(500)에 다운로드해주고, 상기 사용자 단말기(400)로부터 업로드 되는 3차원 영상을 데이터베이스에 등록하고 상기 스마트 피팅장치(100)로 전송하거나 지인 단말기(500)에 전송해준다. 이러한 소셜 서비스 서버(200)는 서버 급 컴퓨터로 구현하는 것이 바람직하다.

또한, 본 발명의 소셜 서비스 시스템은 스마트 피팅장치(100)에서 스마트폰과 같은 단말기기인 사용자 단말기(400)에 직접 3차원 영상을 다운로드해주는 것도 가능하다. 예컨대, 스마트 피팅장치(100)의 3차원 영상 전송부(190)와 사용자 단말기(400)는 블루투스, WiFi, WCDMA, LTE(Long Term Evolution) 등과 같은 무선 통신을 통해 3차원 영상 데이터를 전송한다. 이를 위해 액세스 포인트(AP; Access Point)를 중계장치로 구현할 필요도 있다.

아울러 지인 단말기(500)를 휴대한 지인들은 지인 단말기(500)로 다운로드 한 사용자(구매자)의 3차원 영상을 보고, 그에 대한 의견을 문자메시지와 같은 형태로 전송할 수 있다. 이렇게 전송되는 지인들의 의견은 소셜 서비스 서버(200)를 통해 사용자 단말기(400)로 전송된다. 따라서 사용자는 의류를 구매할 매장에서 직접 구매대상 의류를 착용하고 촬영을 하며, 이를 전송해주는 것만으로, 현재 의류 착용 모습에 대한 지인들의 의견을 수렴할 수 있다. 또한, 자신의 의견은 문자 메시지와 같은 형태로 만들어 상기와 같이 소셜 서비스 서버(200)를 통해 지인 단말기(500)로 전송함으로써, 구매 의상에 대한 자신의 의견도 지인들에게 전송할 수 있다. 이러한 과정을 통해 구매자는 원격에 위치한 지인들과 구매 대상 의류에 대해 의견을 나누면서 의류를 구매할 수 있게 되는 것이다.

도 6은 본 발명에 따른 실사 영상을 이용한 스마트 피팅방법을 보인 흐름도이다. 도 6에 도시된 바와 같이, 본 발명에 따른 실사 영상을 이용한 스마트 피팅방법은 (a) 3차원 실사 영상 획득을 위한 다수의 깊이 카메라의 위치를 조정한 상태에서, 상기 다수의 깊이 카메라를 통해 배경 공간을 촬영하여 배경 공간 영상을 획득하는 단계(S101 ~ S102); (b) 상기 획득한 배경 공간 영상으로부터 특징을 모델링하여 배경 영상을 설정하는 단계(S103); (c) 촬영 영상이 수신되면 상기 설정한 배경 영상을 기반으로 상기 촬영 영상에서 배경을 제거하는 단계(S104 ~ S105); (d) 배경이 제거된 영상을 3차원 영상으로 모델링하는 단계(S106); (e) 상기 (d) 단계에서 모델링된 3차원 영상의 처리를 제어하는 단계(S107); (f) 사용자 인터페이스 발생 여부를 확인하여, 사용자 인터페이스 발생시 사용자 인터페이스에 따라 영상을 조정하는 단계(S108 ~ S109); (g) 상기 (f) 단계에서 조정된 영상 또는 상기 (e) 단계에서 제어된 영상을 표시하는 단계(S110); (f) 상기 (g) 단계에서 표시하는 영상을 녹화 및 저장하는 단계(S111)를 포함한다.

상기에서 (e) 단계는 3차원 영상의 디스플레이를 제어하고, 상기 디스플레이되는 3차원 영상의 녹화를 제어하며, 상기 녹화된 3차원 영상의 저장을 제어하며, 상기 저장한 3차원 영상의 전송을 제어하게 된다.

이와 같이 구성된 본 발명에 따른 실사 영상을 이용한 스마트 피팅방법은 단계 S101에서 3차원 실사 영상 획득을 위한 다수의 깊이 카메라의 위치를 조정하고, 단계 S102에서 상기 다수의 깊이 카메라를 통해 배경 공간을 촬영하여 배경 공간 영상을 획득한다.

이후 단계 S103에서 상기 획득한 배경 공간 영상으로부터 특징을 모델링하여 배경 영상을 설정하고, 단계 S104에서는 촬영 영상이 취득되는지를 확인한다. 이 확인 결과 영상이 취득될 경우 즉, 구매자(사용자)의 의류 착용 3차원 영상이 취득된 경우 단계 S105로 이동하여 상기 설정한 배경 영상을 기반으로 상기 촬영 영상에서 배경을 제거하게 된다. 배경 영상의 제거 방법은 촬영하여 획득한 구매자의 3차원 영상과 기 등록된 배경 영상을 중첩시켜 동일한 부분을 제거하는 방식으로 배경 영상을 제거하게 된다.

다음으로, 단계 S106에서는 배경이 제거된 영상을 3차원 영상으로 모델링하고, 단계 S107에서는 상기 모델링된 3차원 영상의 처리를 제어하게 된다. 여기서 3차원 영상 제어는 디스플레이 제어, 3차원 영상의 녹화 제어, 3차원 영상의 저장 제어, 저장한 3차원 영상의 전송 제어를 포함할 수 있다.

이후 단계 S108에서 사용자 인터페이스 발생 여부를 확인하여, 사용자 인터페이스가 발생한 경우에는 단계 S109로 이동하여 사용자 인터페이스에 따라 영상을 조정하게 된다. 여기서 영상의 조정은 의류를 착용한 3차원 영상을 좌우로 회전시키는 것, 의류를 착용한 전면 영상과 후면 영상 및 측면 영상을 한 화면에 동시에 디스플레이하는 것, 다른 종류의 의류를 착용한 3차원 영상을 하나의 화면에 동시에 디스플레이해주는 것 등을 포함할 수 있다.

다음으로, 단계 S110에서는 조정된 영상 또는 상기 3차원 영상 제어 단계에서 제어된 영상을 디스플레이 장치에 표시하게 된다.

이후 단계 S111에서는 상기 디스플레이 장치에 표시하는 영상을 녹화 및 저장하게 된다.

이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

본 발명은 의류 매장에서 실사 영상 기반의 의류 피팅 기술에 적용된다. 특히, 구매할 의류를 착용한 영상을 원격에 위치한 지인에게 전송하고, 해당 의류 착용에 대해서 실시간으로 원격에 위치한 지인과 의견을 나누고, 지인의 의견을 수렴할 수 있는 의류 구매에 효과적으로 적용할 수 있다.

100… 스마트 피팅장치
130… 배경 모델링부
140… 배경 제거부
150… 3차원 영상 모델링부
160… 중앙제어부
170… 3차원 영상 제어부
180… 3차원 영상 녹화부
200… 소셜 서비스 서버
400… 사용자 단말기
500… 지인 단말기

Claims

사용자(구매자)의 의류 착용 모습을 촬영하기 위한 다수의 깊이(Depth) 카메라를 연결하기 위한 카메라 인터페이스부;
기준 공간 좌표계 설정을 위해 상기 다수의 깊이 카메라의 위치를 조정하는 카메라 조정(Calibration)부;
사용자(구매자)의 모습이 없는 배경 공간을 각각의 카메라를 통해 촬영하고 촬영된 배경 영상을 특징 영상으로 변환하여 배경 영상을 설정하는 배경 모델링부;
상기 다수의 깊이 카메라로부터 입력된 영상에서 구매자의 신체를 제외한 배경을 제거하는 배경 제거부;
상기 카메라 조정부에서 획득한 조정(Calibration) 정보를 이용하여 3차원 공간좌표들을 정렬하여 3차원 영상을 생성하는 3차원 영상 모델링부;
상기 생성한 3차원 영상의 디스플레이와 저장을 제어하며, 저장 영상의 전송을 제어하는 중앙제어부;
상기 중앙제어부의 제어에 따라 디스플레이 장치에 3차원 영상을 디스플레이하는 영상 디스플레이부;
사용자의 제스처 인식이나 메뉴 방식으로 사용자와의 인터랙션에 의해 3차원 영상 화면을 제어하는 3차원 영상 제어부를 포함하는 것을 특징으로 하는 실사 영상 기반의 스마트 피팅장치.
청구항 1에 있어서, 상기 중앙제어부의 제어에 따라 상기 디스플레이 장치에 디스플레이되는 구매자의 의류 착용 모습을 녹화(기록)하는 3차원 영상 녹화부; 구매자의 의류 착용 모습이 녹화된 영상을 데이터베이스에 등록하는 3차원 영상 저장부; 구매자의 의류 착용 모습이 녹화된 영상을 외부로 전송하기 위한 3차원 영상 전송부를 더 포함하는 것을 특징으로 하는 실사 영상 기반의 스마트 피팅장치.
청구항 1에 있어서, 상기 사용자와의 인터페이스를 위한 사용자 인터페이스부를 더 포함하는 것을 특징으로 하는 실사 영상 기반의 스마트 피팅장치.
청구항 1에 있어서, 상기 배경 모델링부는 사용자(구매자)의 모습이 없는 배경 공간 영상을 획득하는 배경공간 획득부; 상기 배경공간 획득부에서 획득한 배경 공간 영상의 특징을 모델링하여 배경 영상을 설정하는 특징 모델링부를 포함하는 것을 특징으로 하는 실사 영상 기반의 스마트 피팅장치.
청구항 1에 있어서, 상기 배경 제거부는 깊이 카메라로 촬영한 사용자의 의류 착용 영상과 상기 설정한 배경 영상을 비교하여 특징이 같은 부분을 제거하고 사용자(구매자)의 모습만 남은 영상을 추출하는 것을 특징으로 하는 실사 영상 기반의 스마트 피팅장치.
청구항 1에 있어서, 상기 3차원 영상 모델링부는 상기 카메라 조정부에서 획득한 각 카메라의 조정(Calibration) 정보를 이용하여, 배경까지 제거된 각 카메라로 촬영된 사용자 영상을 3차원 공간좌표로 정렬하여 3차원 영상을 생성하는 것을 특징으로 하는 실사 영상 기반의 스마트 피팅장치.
청구항 1에 있어서, 상기 3차원 영상 제어부는 의류를 착용한 3차원 영상을 좌우로 회전하면서 디스플레이해주는 기능, 의류를 착용한 사용자의 전면 영상과 후면 영상 및 측면 영상을 한 화면에 동시에 출력해주는 기능, 상이한 의류를 착용한 영상을 한 화면에서 동시에 다수 출력해주는 기능을 제어하는 것을 특징으로 하는 실사 영상 기반의 스마트 피팅장치.
실사 영상을 획득하고 그 획득한 실사 영상을 3차원 영상으로 모델링하여 3차원 영상을 획득하는 스마트 피팅장치;
상기 스마트 피팅장치와 네트워크를 통해 접속되어 실사 영상 기반의 3차원 영상을 수신하여 데이터베이스에 등록하고 상기 네트워크를 통해 상기 데이터베이스에 등록한 3차원 영상을 서비스해주는 소셜 서비스 서버;
상기 네트워크를 통해 상기 소셜 서비스 서버 또는 상기 스마트 피팅장치에서 제공되는 3차원 영상을 다운로드하여 화면에 표시해주는 사용자 단말기;
상기 네트워크를 통해 상기 소셜 서비스 서버에서 제공해주는 사용자의 3차원 영상을 다운로드 하여 화면에 디스플레이해주는 지인 단말기를 포함하는 것을 특징으로 하는 실사 영상 기반의 스마트 피팅장치를 이용한 소셜 서비스 시스템.
청구항 8에 있어서, 상기 스마트 피팅장치는 사용자(구매자)의 의류 착용 모습을 촬영하기 위한 다수의 깊이(Depth) 카메라를 연결하기 위한 카메라 인터페이스부; 기준 공간 좌표계 설정을 위해 상기 다수의 깊이 카메라의 위치를 조정하는 카메라 조정(Calibration)부; 사용자(구매자)의 모습이 없는 배경 공간을 각각의 카메라를 통해 촬영하고 촬영된 배경 영상을 특징 영상으로 변환하여 배경 영상을 설정하는 배경 모델링부; 상기 다수의 깊이 카메라로부터 입력된 영상에서 구매자의 신체를 제외한 배경을 제거하는 배경 제거부; 상기 카메라 조정부에서 획득한 조정(Calibration) 정보를 이용하여 3차원 공간좌표들을 정렬하여 3차원 영상을 생성하는 3차원 영상 모델링부; 상기 생성한 3차원 영상의 디스플레이와 저장을 제어하며, 저장 영상의 전송을 제어하는 중앙제어부; 상기 중앙제어부의 제어에 따라 디스플레이 장치에 3차원 영상을 디스플레이하는 영상 디스플레이부; 사용자의 제스처 인식이나 메뉴 방식으로 사용자와의 인터랙션에 의해 3차원 영상 화면을 제어하는 3차원 영상 제어부를 포함하는 것을 특징으로 하는 실사 영상 기반의 스마트 피팅장치를 이용한 소셜 서비스 시스템.
청구항 8에 있어서, 상기 사용자 단말기는 상기 네트워크를 통해 상기 지인 단말기와 접속하고, 사용자의 의견을 문자 데이터로 만들어 상기 네트워크를 통해 상기 지인 단말기에 전송하는 것을 특징으로 하는 실사 영상 기반의 스마트 피팅장치를 이용한 소셜 서비스 시스템.
청구항 8에 있어서, 상기 지인 단말기는 상기 네트워크를 통해 상기 사용자 단말기와 접속하고, 지인이 입력하는 의견을 문자 데이터로 만들어 상기 네트워크를 통해 상기 사용자 단말기에 전송하는 것을 특징으로 하는 실사 영상 기반의 스마트 피팅장치를 이용한 소셜 서비스 시스템.
(a) 3차원 실사 영상 획득을 위한 다수의 깊이 카메라의 위치를 조정한 상태에서, 상기 다수의 깊이 카메라를 통해 배경 공간을 촬영하여 배경 공간 영상을 획득하는 단계;
(b) 상기 획득한 배경 공간 영상으로부터 특징을 모델링하여 배경 영상을 설정하는 단계;
(c) 촬영 영상이 수신되면 상기 설정한 배경 영상을 기반으로 상기 촬영 영상에서 배경을 제거하는 단계;
(d) 배경이 제거된 영상을 3차원 영상으로 모델링하는 단계;
(e) 상기 (d) 단계에서 모델링된 3차원 영상의 처리를 제어하는 단계;
(f) 사용자 인터페이스 발생 여부를 확인하여, 사용자 인터페이스 발생시 사용자 인터페이스에 따라 영상을 조정하는 단계;
(g) 상기 (f) 단계에서 조정된 영상 또는 상기 (e) 단계에서 제어된 영상을 표시하는 단계;
(f) 상기 (g) 단계에서 표시하는 영상을 녹화 및 저장하는 단계를 포함하는 것을 특징으로 하는 실사 영상 기반의 스마트 피팅방법.
청구항 12에 있어서, 상기 (e) 단계는 모델링된 3차원 영상의 디스플레이를 제어하는 기능, 상기 디스플레이되는 3차원 영상의 녹화를 제어하는 기능, 상기 녹화된 3차원 영상의 저장을 제어하는 기능, 상기 저장한 3차원 영상의 전송을 제어하는 기능 중 적어도 어느 하나 이상을 포함하는 것을 특징으로 하는 실사 영상 기반의 스마트 피팅방법.
청구항 12에 있어서, 상기 (f) 단계는 의류를 착용한 3차원 영상을 좌우로 회전시키는 조정, 의류를 착용한 전면 영상과 후면 영상 및 측면 영상을 한 화면에 동시에 디스플레이하는 조정, 다른 종류의 의류를 착용한 3차원 영상을 하나의 화면에 동시에 디스플레이해주는 조정 중 적어도 어느 하나 이상을 포함하는 것을 특징으로 하는 실사 영상 기반의 스마트 피팅방법.