KR20170143223A - 3d 실감체험 콘텐츠 서비스 제공 장치 및 방법 - Google Patents
3d 실감체험 콘텐츠 서비스 제공 장치 및 방법 Download PDFInfo
- Publication number
- KR20170143223A KR20170143223A KR1020160077145A KR20160077145A KR20170143223A KR 20170143223 A KR20170143223 A KR 20170143223A KR 1020160077145 A KR1020160077145 A KR 1020160077145A KR 20160077145 A KR20160077145 A KR 20160077145A KR 20170143223 A KR20170143223 A KR 20170143223A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- experience
- information
- avatar
- item
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000009877 rendering Methods 0.000 claims abstract description 29
- 230000037237 body shape Effects 0.000 claims abstract description 26
- 230000003993 interaction Effects 0.000 claims description 34
- 238000012795 verification Methods 0.000 claims description 33
- 238000003860 storage Methods 0.000 claims description 32
- 238000005259 measurement Methods 0.000 claims description 18
- 230000000737 periodic effect Effects 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 238000012951 Remeasurement Methods 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 230000003190 augmentative effect Effects 0.000 description 6
- 210000000988 bone and bone Anatomy 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 239000002131 composite material Substances 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 238000012482 interaction analysis Methods 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 235000014510 cooky Nutrition 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Tourism & Hospitality (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
3D 실감체험 콘텐츠 서비스 제공 장치 및 방법이 개시된다. 본 발명에 따른 3D 실감체험 콘텐츠 서비스 제공 장치는, 사용자에 상응하는 RGBD 영상을 이용하여 생성된 아바타를 이용하여 상기 사용자에 상응하는 체형, 성별, 나이, 스타일 중에서 적어도 하나를 포함하는 사용자 정보를 추출하는 사용자 인식 및 검증부, 상기 사용자에게 체험 아이템 리스트를 제공하고, 상기 사용자로부터 3D 실감체험 할 체험 아이템을 선택받는 체험 아이템 선택부, 선택받은 상기 체험 아이템을 상기 아바타 또는 상기 사용자 정보에 상응하도록 변형하는 인터랙션부, 그리고 변형된 상기 체험 아이템과 상기 아바타 및 상기 RGBD 영상 중 어느 하나를 오버레이하는 렌더링부를 포함한다.
Description
본 발명은 3D 실감체험 콘텐츠 서비스에 관한 것으로, 특히 사용자의 특성 정보 및 체험 아이템 인터랙션 정보를 생성 및 관리하여, 사용자가 다양한 디바이스 환경에서 실감체험 서비스를 제공받을 수 있도록 하는 기술에 관한 것이다.
증강현실 3D 실감체험 콘텐츠 서비스란 사용자와 3D 오브젝트를 같은 3차원 좌표계 공간에 매핑하여, 인터랙션이 가능한 증강현실 기반의 서비스를 의미한다. 증강현실 3D 실감체험 콘텐츠 서비스의 대표적인 예로 실감체험 쇼핑이 있다.
실감체험 쇼핑은 상품을 구매하기 전에 가상으로 착장해 볼 수 있는 서비스로, 영상 센서를 장착한 키오스크 앞에선 사용자를 영상 분석을 통해 인식하고, 신체 부위에 가상의 3D 의복 혹은 악세서리(안경, 가방 등)를 착장시켜 영상 형태로 사용자에게 제공한다. 이를 통하여 사용자가 상품을 구매 전에 본인에게 잘 어울리는지를 판단할 수 있도록 하는 서비스이다.
증강현실 3D 실감체험 콘텐츠 서비스에서, 체험 아이템을 착장한 사용자의 움직임에 반응하여 출렁이거나 펄럭거리는 것과 같은 인터랙션을 표현하기 위해서는 사용자를 3D 가상화한 후, 3D 체험 아이템과 같은 좌표계 공간에 배치하는 작업이 필요하다. 종래 기술에 따르면, 영상 센서로부터 단순히 사용자의 자세를 추정하여 사용자 가상화를 수행하였다. 그리고 사용자가 선택한 체험 아이템을 사용자의 자세에 상응하도록 변형하는 방법으로 실감체험 쇼핑 서비스를 제공하였다.
이러한 종래의 기술들은 단발성 체험으로, 공공장소나 매장 등에 설치된 키오스크를 이용하여 한번 실감체험 쇼핑 서비스를 경험하고 나면, 재방문하기 전까지 실감체험 쇼핑 서비스를 다시 체험하기 힘들다. 또한, 체험시 인식된 사용자의 특성 정보와 체험 아이템 인터랙션 정보가 고급 정보로 활용되지 못한다는 단점이 있다.
따라서, 사용자 특성 정보와 체험 아이템 인터랙션 정보를 지속적으로 축적 및 가공하고, 다양한 디바이스 환경에서 사용자에게 실감체험 서비스를 제공할 수 있는 기술의 개발이 필요하다. 또한, 사용자 특성 정보에 포함된 예민한 개인 정보가 부정 사용되지 않도록 방지하는 기술과 사용자 특성 정보 및 체험 아이템 인터랙션 정보를 가공하여 유의미한 데이터를 생성하는 기술의 필요성이 절실하게 대두된다.
본 발명의 목적은 사용자 특성 정보와 사용자 특성 정보에 상응하도록 변형된 체험 아이템에 관한 정보인 체험 아이템 인터랙션 정보를 저장 및 관리하여, 다양한 디바이스 환경에서 사용자가 언제, 어디서나 실감체험 서비스를 제공받을 수 있도록 하는 것이다.
또한, 본 발명의 목적은 사용자 특성 정보에 포함된 예민한 개인 정보가 부정 사용되지 않도록 방지할 수 있도록 하는 것이다.
또한, 본 발명의 목적은 사용자 특성 정보 및 체험 아이템 인터랙션 정보를 가공하여 체험 아이템 보고서와 같은 유의미한 데이터를 생성할 수 있도록 하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 3D 실감체험 콘텐츠 서비스 제공 장치는, 사용자에 상응하는 RGBD 영상을 이용하여 생성된 아바타를 이용하여 상기 사용자에 상응하는 체형, 성별, 나이, 스타일 중에서 적어도 하나를 포함하는 사용자 정보를 추출하는 사용자 인식 및 검증부, 상기 사용자에게 체험 아이템 리스트를 제공하고, 상기 사용자로부터 3D 실감체험 할 체험 아이템을 선택받는 체험 아이템 선택부, 선택받은 상기 체험 아이템을 상기 아바타 또는 상기 사용자 정보에 상응하도록 변형하는 인터랙션부, 그리고 변형된 상기 체험 아이템과 상기 아바타 및 상기 RGBD 영상 중 어느 하나를 오버레이하는 렌더링부를 포함한다.
이 때, 상기 사용자 인식 및 검증부는, 상기 RGBD 영상의 깊이 정보를 이용하여, 상기 RGBD 영상에 상응하는 사용자의 재계측 여부를 판단하고, 상기 재계측이 필요한 것으로 판단된 경우 상기 사용자에게 재계측을 요청할 수 있다.
이 때, 상기 사용자에 상응하는 어깨라인의 키 대비 높이값, 어깨라인 부근 깊이 정보의 상대적 변이, 배 부근 깊이 정보의 변이 정도, 가슴둘레 대비 허리둘레의 상대적 계측값 중에서 적어도 하나를 이용하여 상기 재계측 여부를 판단할 수 있다.
이 때, 상기 사용자 인식 및 검증부는, 상기 RGBD 영상을 이용하여 상기 사용자에 상응하는 상기 아바타를 생성하고, 상기 사용자의 체형 정보를 추정하는 아바타 생성부, 상기 사용자의 모션을 추적하고, 추적된 상기 사용자의 모션 정보를 이용하여 상기 아바타를 자세를 변형시키는 모션 추적부, 상기 체형정보 및 상기 모션 정보를 이용하여 상기 사용자의 성별, 나이, 스타일 중에서 적어도 하나를 포함하는 사용자 정보를 추정하는 사용자 인식부를 포함할 수 있다.
이 때, 상기 사용자 인식 및 검증부는, 상기 사용자 정보의 부정 사용 여부를 검증하고, 상기 사용자 정보를 관리하는 사용자 검증부를 더 포함할 수 있다.
이 때, 상기 사용자 검증부는, 상기 아바타에 상응하는 상기 사용자가 체험 영역 내에 존재하는지 여부를 판단하고, 상기 사용자가 기 설정된 시간 이상 상기 체험 영역 내에 존재하지 않을 경우, 상기 사용자에 상응하는 사용자 정보를 삭제할 수 있다.
이 때, 상기 사용자 검증부는, 주기적으로 상기 RGBD 영상을 인식하여 생성한 주기적 사용자 정보와 상기 사용자 정보를 비교하고, 상기 주기적 사용자 정보와 상기 사용자 정보가 상이한 것으로 판단한 경우, 상기 사용자 정보를 삭제할 수 있다.
이 때, 상기 사용자 검증부는, 상기 사용자에 상응하는 상기 사용자 정보, 상기 아바타, 상기 RGBD 영상 중에서 적어도 하나를 저장하고, 제1 사용자로부터 위임을 받은 제2 사용자가 저장된 상기 제1 사용자에 상응하는 사용자 정보를 이용하여 상기 3D 실감체험을 수행할 수 있도록 승인할 수 있다.
이 때, 상기 체험 아이템 선택부는, 상기 사용자로부터 계층적 구조로 저장된 체험 아이템 리스트의 상위 카테고리를 입력받고, 상기 상위 카테고리에 상응하는 하위 카테고리를 상기 사용자에게 제공하여 상기 사용자로부터 상기 체험 아이템을 선택받을 수 있다.
이 때, 상기 인터랙션부는, 상기 체험 아이템이 상기 사용자에게 잘 어울리는지 확인할 수 있도록 상기 체험 아이템의 크기를 변형하여 상기 사용자에게 제공하거나, 상기 체험 아이템의 사이즈와 상기 사용자의 신체 사이즈를 비교하여 생성된 사이즈 정보를 상기 사용자에게 제공할 수 있다.
이 때, 상기 인터랙션부는, 상기 체험 아이템에 상응하는 표준 아바타와 상기 사용자에 상응하는 상기 아바타의 변형 관계를 이용하여 상기 체험 아이템의 크기를 변형하는 체험 아이템 크기 변형부, 상기 사용자에 상응하는 아바타와 상기 체험 아이템간 충돌이 발생하는지 여부를 탐지하는 아바타 충돌 탐지부, 상기 아바타와 상기 체험 아이템간에 발생한 충돌에 상응하도록 상기 체험 아이템의 형상을 변형하는 체험 아이템 형상 변형부, 그리고 상기 체험 아이템의 크기 변형 정도 또는 형상 변형 정도를 이용하여, 상기 체험 아이템과 상기 아바타에 상응하는 사용자간 사이즈 적합 여부를 판단하는 인터랙션 분석부를 포함할 수 있다.
이 때, 상기 렌더링부는, 상기 오버레이된 아바타를 제거하거나, 상기 깊이 버퍼 렌더링만 수행하고, 상기 아바타가 포함되지 않은 렌더링 영상을 상기 사용자에게 제공할 수 있다.
이 때, 입력받은 상기 RGBD 영상, 추적된 모션 정보, 상기 사용자 정보, 상기 RGBD 영상을 촬영한 촬영 장치의 파라미터 정보, 환경맵 정보 중에서 적어도 하나를 저장하는 아바타 저장부를 더 포함할 수 있다.
이 때, 하나 이상의 상기 체험 아이템, 체험 아이템의 피팅 정보, 상기 체험 아이템을 피팅한 사용자의 정보 중에서 적어도 하나를 저장하는 체험아이템 저장부를 더 포함할 수 있다.
이 때, 상기 인터랙션부는, 사용자 단말로부터 수신된 아바타 정보에 상응하는 상기 사용자 정보를 이용하여, 상기 사용자 단말로부터 수신된 체험 아이템 정보에 상응하는 상기 체험 아이템을 변형하고, 상기 렌더링부는, 변형된 상기 체험 아이템을 기 저장된 상기 RGBD 영상과 오버레이하여 상기 사용자 단말로 전송할 수 있다.
이 때, 상기 아바타 저장부 또는 상기 체험아이템 저장부에 저장된 정보를 이용하여 체험 아이템 보고서를 생성하는 보고서 생성부를 더 포함할 수 있다.
또한, 본 발명의 일실시예에 따른 3D 실감체험 콘텐츠 서비스 제공 장치에 의해 수행되는 3D 실감체험 콘텐츠 서비스 제공 방법은, 사용자에 상응하는 RGBD 영상을 이용하여 생성된 아바타를 이용하여 상기 사용자에 상응하는 체형, 성별, 나이, 스타일 중에서 적어도 하나를 포함하는 사용자 정보를 추출하는 단계, 상기 사용자에게 체험 아이템 리스트를 제공하고, 상기 사용자로부터 3D 실감체험할 체험 아이템을 선택받는 단계, 선택받은 상기 체험 아이템을 상기 아바타 또는 상기 사용자 정보에 상응하도록 변형하는 단계, 그리고 변형된 상기 체험 아이템과 상기 아바타 및 상기 RGBD 영상 중 어느 하나를 오버레이하는 단계를 포함한다.
본 발명에 따르면, 사용자 특성 정보와 체험 아이템 인터랙션 정보를 저장 및 관리하여, 다양한 디바이스 환경에서 사용자가 언제, 어디서나 실감체험 서비스를 제공받을 수 있다.
또한, 본 발명에 따르면 사용자 특성 정보에 포함된 예민한 개인 정보가 부정 사용되지 않도록 방지할 수 있다.
또한, 본 발명에 따르면 사용자 특성 정보 및 체험 아이템 인터랙션 정보를 가공하여 체험 아이템 보고서와 같은 유의미한 데이터를 생성할 수 있다.
도 1은 본 발명의 일실시예에 따른 3D 실감체험 콘텐츠 서비스 제공 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 사용자 인식 및 검증부의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 인터랙션부의 구성을 나타낸 블록도이다.
도 4는 본 발명이 실시예에 따른 3D 실감체험 콘텐츠 서비스 제공 방법을 나타낸 순서도이다.
도 5는 도 4의 S460 단계에서 3차원 공간 상에서의 아바타 및 체험 아이템 배치를 설명하기 위한 도면이다.
도 6은 도 4의 S470 단계에서 체험 아이템의 오버레이를 설명하기 위한 도면이다.
도 7은 사용자 단말을 이용하여 3D 실감체험 콘텐츠 서비스를 제공하는 방법을 설명하기 위한 도면이다.
도 8은 3D 실감체험 콘텐츠 서비스 제공 장치가 실감체험 피트니스 서비스를 제공하는 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 사용자 인식 및 검증부의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 인터랙션부의 구성을 나타낸 블록도이다.
도 4는 본 발명이 실시예에 따른 3D 실감체험 콘텐츠 서비스 제공 방법을 나타낸 순서도이다.
도 5는 도 4의 S460 단계에서 3차원 공간 상에서의 아바타 및 체험 아이템 배치를 설명하기 위한 도면이다.
도 6은 도 4의 S470 단계에서 체험 아이템의 오버레이를 설명하기 위한 도면이다.
도 7은 사용자 단말을 이용하여 3D 실감체험 콘텐츠 서비스를 제공하는 방법을 설명하기 위한 도면이다.
도 8은 3D 실감체험 콘텐츠 서비스 제공 장치가 실감체험 피트니스 서비스를 제공하는 방법을 설명하기 위한 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 3D 실감체험 콘텐츠 서비스 제공 장치의 구성을 나타낸 도면이다.
도 1에 도시한 바와 같이, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사용자 인식 및 검증부(110), 체험 아이템 선택부(120), 인터랙션부(130), 렌더링부(140), 아바타 저장부(150), 체험 아이템 저장부(160) 및 보고서 생성부(170)를 포함한다.
먼저, 사용자 인식 및 검증부(110)는 사용자에 상응하는 RGBD 영상을 이용하여 아바타를 생성한다. 그리고 사용자 인식 및 검증부(110)는 생성된 아바타를 이용하여 사용자에 상응하는 체형, 성별, 나이, 스타일 중에서 적어도 하나를 포함하는 사용자 정보를 추출한다.
또한, 사용자 인식 및 검증부(110)는 RGBD 영상의 깊이 정보를 이용하여, RGBD 영상에 상응하는 사용자의 재계측 여부를 판단하고, 재계측이 필요한 것으로 판단된 경우 사용자에게 재계측을 요청한다.
이때, 사용자 인식 및 검증부(110)는 사용자에 상응하는 어깨라인의 키 대비 높이값, 어깨라인 부근 깊이 정보의 상대적 변이, 배 부근 깊이 정보의 변이 정도, 가슴둘레 대비 허리둘레의 상대적 계측값 중에서 적어도 하나를 이용하여 재계측 여부를 판단할 수 있다.
다음으로 체험 아이템 선택부(120)는 사용자에게 체험 아이템 리스트를 제공하고, 사용자로부터 3D 실감체험 할 체험 아이템을 선택받는다. 이때, 체험 아이템 선택부(120)는 사용자로부터 계층적 구조로 저장된 체험 아이템 리스트의 상위 카테고리를 입력받고, 상위 카테고리에 상응하는 하위 카테고리를 사용자에게 제공하여 사용자로부터 체험 아이템을 선택받을 수 있다.
그리고 인터랙션부(130)는 선택받은 체험 아이템을 아바타 또는 사용자 정보에 상응하도록 변형한다.
또한, 인터랙션부(130)는 체험 아이템이 사용자에게 잘 어울리는지 확인할 수 있도록 체험 아이템의 크기를 변형하여 사용자에게 제공하거나, 체험 아이템의 사이즈와 사용자의 신체 사이즈를 비교하여 생성된 사이즈 정보를 사용자에게 제공할 수 있다.
다음으로 렌더링부(140)는 변형된 체험 아이템과 아바타 및 RGBD 영상 중 어느 하나를 오버레이한다. 이때, 렌더링부(140)는 오버레이된 아바타를 제거하거나, 깊이 버퍼 렌더링만 수행하고, 아바타가 포함되지 않은 렌더링 영상을 사용자에게 제공할 수 있다.
그리고 아바타 저장부(150)는 입력받은 RGBD 영상, 추적된 모션 정보, 사용자 정보, RGBD 영상을 촬영한 촬영 장치의 파라미터 정보, 환경맵 정보 중에서 적어도 하나를 저장한다.
또한, 체험 아이템 저장부(160)는 하나 이상의 체험 아이템, 체험 아이템의 피팅 정보, 체험 아이템을 피팅한 사용자의 정보 중에서 적어도 하나를 저장한다.
본 발명의 실시예에 따른 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 아바타 저장부(150)와 체험 아이템 저장부(160)에 사용자 특성 정보 및 체험 아이템 인터랙션 정보를 저장하고 관리한다. 이를 통하여, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 다양한 디바이스 환경에서 사용자에게 실감체험 서비스를 제공할 수 있다.
이 때, 인터랙션부(130)는 사용자 단말로부터 수신된 아바타 정보에 상응하는 사용자 정보를 이용하여, 사용자 단말로부터 수신된 체험 아이템 정보에 상응하는 체험 아이템을 변형한다. 그리고 렌더링부(140)는 변형된 체험 아이템을 기 저장된 RGBD 영상과 오버레이하여 사용자 단말로 전송한다.
이로써, 사용자는 모바일 디바이스 또는 TV의 셋탑 박스 등과 같이, 컴퓨팅 성능이 부족한 다양한 디바이스 환경에서도 아바타 저장부(150) 및 체험 아이템 저장부(160)에 기 저장된 정보를 이용하여 3D 실감체험 콘텐츠 서비스를 제공받을 수 있다.
마지막으로, 보고서 생성부(170)는 아바타 저장부 또는 체험아이템 저장부에 저장된 정보를 이용하여 체험 아이템 보고서를 생성한다.
설명의 편의상, 3D 실감체험 콘텐츠 서비스 제공 장치(100)가 사용자 인식 및 검증부(110), 체험 아이템 선택부(120), 인터랙션부(130), 렌더링부(140), 아바타 저장부(150), 체험 아이템 저장부(160) 및 보고서 생성부(170)를 모두 포함하는 것으로 설명하였다.
그러나 이에 한정하지 않고, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사용자 인식 및 검증부(110), 체험 아이템 선택부(120), 인터랙션부(130) 및 렌더링부(140)를 키오스크 또는 스마트 TV와 같이 다수의 장소에 설치된 컴퓨팅 디바이스 형태로 구현하고, 아바타 저장부(150), 체험 아이템 저장부(160) 및 보고서 생성부(170)를 웹 상의 서버에서 공통 운영되는 형태로 구현될 수 있다.
도 2는 본 발명의 일실시예에 따른 사용자 인식 및 검증부의 구성을 나타낸 블록도이다.
도 2에 도시한 바와 같이, 사용자 인식 및 검증부(110)는 아바타 생성부(111), 모션 추적부(113), 사용자 인식부(115) 및 사용자 검증부(117)를 포함한다.
먼저, 아바타 생성부(111)는 RGBD 영상을 이용하여 사용자에 상응하는 아바타를 생성하고, 사용자의 체형 정보를 추정한다.
그리고 모션 추적부(113)는 사용자의 모션을 추적하고, 추적된 사용자의 모션 정보를 이용하여 아바타를 자세를 변형시킨다.
다음으로 사용자 인식부(115)는 체형정보 및 모션 정보를 이용하여 사용자의 성별, 나이, 스타일 중에서 적어도 하나를 포함하는 사용자 정보를 추정한다.
마지막으로, 사용자 검증부(117)는 사용자 정보의 부정 사용 여부를 검증하고, 사용자 정보를 관리한다.
사용자 검증부(117)는 아바타에 상응하는 사용자가 체험 영역 내에 존재하는지 여부를 판단하고, 사용자가 기 설정된 시간 이상 체험 영역 내에 존재하지 않을 경우, 사용자에 상응하는 사용자 정보를 삭제할 수 있다.
또한, 사용자 검증부(117)는 주기적으로 RGBD 영상을 인식하여 생성한 주기적 사용자 정보와 사용자 정보를 비교하고, 주기적 사용자 정보와 사용자 정보가 상이한 것으로 판단한 경우, 사용자 정보를 삭제할 수 있다.
그리고 사용자 검증부(117)는 사용자에 상응하는 사용자 정보, 아바타, RGBD 영상 중에서 적어도 하나를 저장하고, 제1 사용자로부터 위임을 받은 제2 사용자가 저장된 제1 사용자에 상응하는 사용자 정보를 이용하여 3D 실감체험을 수행할 수 있도록 승인할 수 있다.
도 3은 본 발명의 일실시예에 따른 인터랙션부의 구성을 나타낸 블록도이다.
인터랙션부(130)는 체험 아이템 크기 변형부(131), 아바타 충돌 탐지부(133), 체험 아이템 형상 변형부(135) 및 인터랙션 분석부(137)를 포함한다.
먼저, 체험 아이템 크기 변형부(131)는 체험 아이템에 상응하는 표준 아바타와 사용자에 상응하는 아바타의 변형 관계를 이용하여 체험 아이템의 크기를 변형한다.
그리고 아바타 충돌 탐지부(133)는 사용자에 상응하는 아바타와 체험 아이템간 충돌이 발생하는지 여부를 탐지한다.
다음으로 체험 아이템 형상 변형부(135)는 아바타와 체험 아이템간에 발생한 충돌에 상응하도록 체험 아이템의 형상을 변형한다.
마지막으로 인터랙션 분석부(137)는 체험 아이템의 크기 변형 정도 또는 형상 변형 정도를 이용하여, 체험 아이템과 아바타에 상응하는 사용자간 사이즈 적합 여부를 판단한다.
이하에서는 도 4 내지 도 6을 통하여 본 발명의 일실시예에 따른 3D 실감체험 콘텐츠 서비스 제공 장치에 의해 수행되는 3D 실감체험 콘텐츠 서비스 제공 방법에 대하여 더욱 상세하게 설명한다.
도 4는 본 발명이 실시예에 따른 3D 실감체험 콘텐츠 서비스 제공 방법을 나타낸 순서도이다.
먼저, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사용자에 상응하는 RGBD 영상을 이용하여 아바타를 생성한다(S410).
S410 단계에서 3D 실감체험 콘텐츠 서비스 제공 장치(100)는, 사용자에 상응하는 아바타를 생성하고, 생성된 아바타를 이용하여 사용자의 체형 정보를 추정한다. 그리고 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사용자의 모션을 추적하고, 추적된 모션 정보를 이용하여 아바타의 자세를 변형시킨다.
3D 실감체험 콘텐츠 서비스 제공 장치(100)는 RGBD 센서를 이용하여 촬영하거나 외부의 RGBD 센서로부터 RGBD 영상을 입력받는다. 여기서, RGBD 영상은 카메라로 촬영된 RGB 컬러 영상 이외에 피사체까지의 깊이(Depth)가 부가적으로 제공되는 영상을 의미한다.
또한, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사용자 특성 정보를 기반으로 3차원 공간 상에 사용자에 상응하는 아바타를 구성한다. 이 때, 아바타는 외형적으로 사용자와 같은 성별, 체형 모션을 취하고 있으며, 속성으로는 나이 및 스타일을 포함할 수 있다.
3D 실감체험 콘텐츠 서비스 제공 장치(100)는 RGBD 센서가 제공하는 저수준의 관절 스켈렉톤 정보와 깊이 영상을 이용하여 고수준 관절 스켈렉톤 정보를 생성한다. 그리고 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 생성된 고수준 관절 스켈렉톤 정보를 기반으로 어깨, 허리, 힙 등과 같은 주요 관절에 대한 사용자의 외형적 치수를 계측한다. 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 계측된 외형적 치수를 이용하여 표준 아바타 스켈렉톤 구조와 3D 형상을 변형함으로써, 사용자에 상응하는 아바타를 생성할 수 있다.
3D 실감체험 콘텐츠 서비스 제공 장치(100)가 실측 기반으로 아바타를 생성하면, 그 결과물로 파라메트릭 형태의 외형과 애니메이션이 가능한 본 구조를 갖는 아바타가 출력된다.
그리고 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 파라메트릭 형태로 표현된 아바타의 외형을 이용하여 사용자에 상응하는 체형 정보를 추정할 수 있다. 이때, 체형 정보는 사용자의 키, 팔길이, 다리길이, 어깨너비, 허리둘레, 가슴둘레, 머리둘레, 목둘레, 팔둘레, 팔목둘레, 허벅지둘레, 종아리둘레 등 콘텐츠 서비스에서 필요로 하는 체형에 관한 정보를 의미한다.
아바타를 생성하는 과정에서, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 RGBD 영상의 깊이 정보를 이용하여 재계측이 필요한지 여부를 판단한다(S420).
3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사용자의 머리카락이나 착용한 외투 등으로 인하여 사용자에 상응하는 아바타를 정확하게 생성하지 못하는 경우를 방지하기 위하여, 사용자의 초기 상태를 감지하고 사용자가 정밀한 계측을 할 수 있도록 유도한다.
3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사용자에 상응하는 어깨라인의 키 대비 높이값, 어깨라인 부근 깊이 정보의 상대적 변이, 배 부근 깊이 정보의 변이 정도, 가슴둘레 대비 허리둘레의 상대적 계측값 중에서 적어도 하나를 이용하여 재계측이 필요한지 여부를 판단할 수 있다. 3D 실감체험 콘텐츠 서비스 제공 장치(100)가 아바타를 생성하기 위하여 사용자의 외형적 치수를 계측할 때, 검출한 사용자의 어깨라인을 기준으로 RGBD 센서의 저수준 스켈렉톤 정보에 대한 수정 및 보완을 수행한다. 이 때, 사용자의 긴 머리카락이 어깨라인을 모두 가리거나, 사용자가 두꺼운 외투를 착용하고 있는 경우 정밀하게 신체를 계측할 수 없어 오류가 발생할 수 있다.
따라서, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 저수준 스켈렉톤 정보를 이용하여 RGBD 센서의 깊이 영상에서 사용자의 목선에서 어깨 및 팔의 상부를 연결하는 부분의 깊이 정보를 분석한다. 또한, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 깊이 영상의 머리쪽 3D 정보와 연계된 RGBD 영상에서 머리카락 부분을 검출하여 사용자의 키 정보를 추출할 수 있다.
그리고 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 인체 계측학적 정보와 어깨라인의 키 대비 높이값, 어깨라인 근처에 상응하는 깊이 값의 상대적인 변이를 분석하여, 머리카락에 의한 가림 현상 또는 두꺼운 의류에 의한 어깨라인의 왜곡을 검출하고, 이를 통하여 어깨라인의 검출 신뢰도를 추정할 수 있다.
또한, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 배 부위에 상응하는 깊이값의 변이 정도나, 계측된 가슴둘레에 대비한 허리둘레의 상대적 계측값을 통해서도 추가적으로 외투에 의한 왜곡을 검출할 수 있다.
재계측이 필요한 것으로 판단된 경우, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사용자에게 재계측을 요청한다(S430).
이때, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사용자에게 머리를 묶거나, 외투를 벗어달라는 등의 적절한 조치를 취한 후 다시 계측에 임해달라는 메시지를 출력하여 사용자에게 제공할 수 있다.
또한, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 정교하게 사용자의 외형적 치수를 계측하고, 아바타를 정밀하게 생성하기 위하여, 사용자에게 측면 및 후면의 촬영을 요구할 수 있다.
이 경우, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 새롭게 입력받은 새 RGBD 영상과 모션 추적 스켈렉톤 정보를 이용하여 초기에 생성된 아바타를 변형한다. 그리고 변형된 아바타를 새 RGBD 영상의 깊이 영상과 비교하여, 새 RGBD 영상의 깊이 영상 내에서 사용자의 외형적 깊이 정보를 추출할 수도 있다. 이때, 외형적 깊이 정보는 스켈렉톤 정보에 의한 주요 관절에 대응되는 단면에 상응하도록 해당 관절의 계측 정보에 업데이트 될 수 있다.
3D 실감체험 콘텐츠 서비스 제공 장치(100)는 누적된 주요 계측 부위의 정보와 360도의 RGBD 영상을 이용하여 주요 관절의 길이 및 둘레 정보를 정교하게 계측할 수 있고, 계측된 사용자의 외형적 치수를 이용하여 아바타를 정교하게 갱신할 수 있다.
그리고 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사용자의 재계측을 수행한 경우, 다시 재계측된 RGBD 영상을 이용하여 S410 단계를 수행할 수 있다.
이와 같이 생성된 아바타를 이용하여 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 후술할 S440 단계에서 사용자의 움직임을 실시간으로 추적할 수 있고, 이를 통하여 사용자의 고수준 스켈렉톤 정보를 획득할 수 있다.
반면, 재계측이 필요하지 않은 것으로 판단된 경우, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 생성된 아바타를 이용하여 사용자 정보를 추출한다(S440).
S420 단계에서 재계측이 필요하지 않은 것으로 판단되거나, S430 단계에서 계측하여 아바타를 정교하게 갱신한 후, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 S440 단계를 통하여 사용자 정보를 추출한다.
이때, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사용자의 모션을 추적하여 모션 정보를 생성하고, 생성된 모션 정보를 이용하여 아바타의 자세를 변형시킨다. 또한, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 체형 정보 및 모션 정보를 이용하여 사용자의 성별, 나이, 스타일 중에서 적어도 하나를 포함하는 사용자 정보를 추정한다.
첫 번째로, 3D 실감체험 콘텐츠 서비스 제공 장치(100)가 사용자의 모션을 추적하여 모션 정보를 생성하고, 생성된 모션 정보를 이용하여 아바타의 자세를 변형시키는 과정에 대하여 더욱 자세하게 설명한다.
3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사용자의 움직임을 실시간으로 추적하여 모션 정보를 생성한다. 그리고 모션 정보를 이용하여 부정확한 초기 자세로 생성된 아바타의 자세를 변형시킨다. 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 아바타를 구성하는 3차원 정점 또는 메쉬와 깊이 영상 간의 대응 관계를 탐색하고, 3차원 정점 또는 메쉬와 깊이 영상 사이의 오차를 측정한다. 이때, 대응 관계 및 오차는 2차원으로 투영된 영상에서도 측정이 가능하다.
아바타의 각 정점 또는 메쉬는 내부의 뼈와 매핑되어 있다. 따라서, 계층적인 뼈 구조를 따라 뼈의 위치와 각도를 변형시켜, 오차를 최소화시키는 작업이 필요하다.
예를 들어, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 아바타의 손과 깊이 영상에서의 손 사이의 오차를 계산하고, inverse kinematics 알고리즘을 이용하여 손의 계층적 상부 뼈들로 오차를 전이시켜가며, 오차가 줄어드는 방향으로 각도를 조절한다. 그리고 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 이와 같은 방법으로 전신에 상응하는 대응 관계를 탐색하고, 오차를 측정한다.
오차가 줄어드는 방향으로 각도를 조절하는 과정은, 대응 관계 사이의 평균 오차 또는 RMS 오차가 임계치보다 큰 경우 반복하여 수행된다. 그리고 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 대응 관계 사이의 평균 오차 또는 RMS 오차가 임계치 이하인 경우, 반복과정을 더 이상 수행하지 않고, 현재의 자세(뼈 구조)를 최종 결과물로 반환(return)한다.
추정된 체형 정보와 실제 사용자의 체형 사이에 오차가 발생하는 경우, 자세를 정밀하게 추적할 수 없다. 즉, 정밀한 자세의 추적 여부는 최종 오차인 대응 관계 사이의 평균 오차 또는 RMS 오차에 의해 결정된다. 따라서, 3D 실감체험 콘텐츠 서비스 제공 장치(100) 최종 오차가 임계치보다 큰 경우, 아바타를 생성하는 과정으로 피드백을 제공하여, 체형 정보를 변형시킬 수 있다. 이 때, 임계치 이상인 자세의 RGBD 영상과 오차가 큰 자세에 상응하는 관절의 길이 및 회전각 값들이 반환된다.
이때, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 오차가 큰 관절의 부모 및 자식 관절의 위치와 깊이 영상상의 3D 오차값을 이용하여 관절의 길이를 조절할 수 있다. 예를 들어, 사용자가 팔을 편 상태인 RGBD 영상을 이용하여 최초의 아바타를 생성한 경우, 팔꿈치의 관절 길이를 정확하게 계측할 수 없다. 이로 인하여 향후 사용자가 움직이는 경우, 에러가 발생할 수 있다.
그러나, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 최종 오차가 임계치보다 큰 경우 위와 같이 체형 정보를 변형시킴으로써, 관절의 길이에 대한 정확한 입력 정보를 획득할 수 있으며, 획득된 입력 정보를 이용하여 아바타 생성의 정밀도를 향상시킬 수 있다.
다음으로, 체형 정보 및 모션 정보를 이용하여 사용자 정보를 추정하는 과정에 대하여 더욱 상세하게 설명한다.
3D 실감체험 콘텐츠 서비스 제공 장치(100)는 추출된 체형 정보 및 모션 정보를 이용하여 사용자의 성별, 나이, 스타일 중에서 적어도 하나를 포함하는 사용자 정보를 추정한다. 이때, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 얼굴 영상 분석을 통하여 사용자 정보를 추정할 수 있다.
3D 실감체험 콘텐츠 서비스 제공 장치(100)는 모션 정보 상에서의 머리 위치값을 이용하여 현재의 RGBD 영상에서 얼굴의 위치를 추정할 수 있다. 이때, 정확도를 높이기 위하여, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 부스팅(boosting) 알고리즘을 적용할 수도 있다. 그리고 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 얼굴 영역이 검출되면 학습용 얼굴 영상을 이용하여 통계적으로 특성을 학습하는 방식인 Eigen-Face, Independent Component Analysis (ICA), Local Feature Analysis (LFA), Locally Linear Embedding (LLE), Tensor-Face, Fisher-Face 등의 특징 분석 방법을 적용하여 사용자 정보를 추정할 수도 있다.
특히, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 상세하게 추정된 체형 정보를 Bayesian Learning, Neural Network, Support Vector Machine, Randomized Forest 등의 알고리즘에 적용하여 더 높은 정확도로 성별, 나이 등을 추정할 수 있다.
또한, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 성별 및 나이 외에 스타일에 관한 정보를 사용자 정보로 추정한다. 여기서 스타일 정보는 상의 및 하의의 종류(ex. 셔츠, 니트, 자켓, 바지, 반바지, 치마, 원피스 등), 의류 색상, 패턴(ex. 물방울, 가로줄무늬, 세로줄무늬 등), 악세서리(ex. 가방, 핸드백, 목도리 등) 등을 포함한다.
그리고 스타일 정보는 아이템의 스타일 속성(attribute)을 기반으로 각 아이템을 정의한 후에, 이를 바탕으로 검색(retrieval)을 수행하는 방식인 semantic-preserving visual phrases(SPVP) representation, Multi-Attribute Retrieval and Ranking(MARR), Multi-Fractal Spectrum(MFS) 방법을 통해 추정할 수 있다.
또한, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 추정된 체형 정보 및 사용자 정보를 사용자 ID에 상응하도록 저장한다. 이때, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사용자에 상응하는 코디용 사진을 더 저장할 수 있다. 여기서, 코디용 사진은 사용자를 실시간으로 촬영하여 생성한 RGBD 영상을 대신하여 사용자가 선택한 체험 아이템을 렌더링하는 대상이 된다.
코디용 사진은 한 장 이상 저장될 수 있으며, 사용자 ID에 상응하도록 저장된다. 또한, 코디용 사진은 코디용 사진을 촬영할 때 입력받은 깊이 영상, 사진 촬영시 추적된 모션 정보를 더 포함할 수 있다. 또한, 코디용 사진은 사진을 촬영한 RGBD 센서의 카메라 파라미터(ex. 6자유도의 자세(3차원 공간 상의 위치, 3자유도 기울기값), principal points, skewness, focal length, 픽셀 가로/세로비, 방사왜곡(radial distortion)) 중에서 적어도 하나를 더 포함할 수 있다. 그리고 코디용 사진은 키오스크 및 스마트 TV 등의 디바이스 주변에 상응하는 환경맵(environment map)이 포함될 수도 있다.
추후 사용자가 모바일 또는 셋탑기기와 같은 사용자 단말을 이용하여 실감체험 서비스를 제공받고자 하는 경우, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 선택된 체험 아이템과 저장된 코디용 사진을 오버레이하여 사용자 단말 상에 출력되도록 한다.
다시 도 4에 관하여 설명하면, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사용자로부터 3D 실감 체험할 체험 아이템을 선택받는다(S450).
이때, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 체험 아이템 저장부에 등록된 체험 아이템을 나열하고, 사용자로부터 제스처, 터치, 키보드, 마우스 등을 이용하여 3D 실감체험할 체험 아이템을 선택받을 수 있다. 그리고 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사용자로부터 3D 실감체험할 체험 아이템의 사이즈 정보도 입력받을 수 있다.
또한, 사용자가 선택할 수 있는 체험 아이템의 종류가 다양한 경우, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 복수의 체험 아이템을 계층적인 구조로 저장하고, 카테고리를 제시하는 방법으로 사용자에게 등록된 체험 아이템에 대한 정보를 제공할 수 있다.
그리고 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사용자로부터 먼저 상위 카테고리를 선택받고, 상위 카테고리에 상응하는 하위 카테고리를 선택받는 단계적인 선택 방법을 통하여 3D 실감 체험할 체험 아이템을 선택받을 수 있다.
S450 단계에서, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사용자로부터 선택받아 3D 실감체험에 사용된 체험 아이템의 정보를 체험아이템 저장부에 저장할 수 있다. 이때, 체험아이템 저장부에는 해당 체험 아이템을 체험한 사용자의 성별, 나이, 체형 정보, 스타일 정보 등이 익명성 정보 형태로 저장될 수 있다.
또한, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 선택받은 체험 아이템을 아바타 또는 사용자 정보에 상응하도록 변형시킨다(S460).
3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사용자에 상응하는 체형 정보 및 모션 정보를 포함하는 3D 아바타 데이터와 선택받은 체험 아이템에 상응하는 체험 아이템 데이터를 이용하여 체험 아이템을 아바타에 상응하도록 변형한다.
이때, 체험 아이템을 아바타에 상응하도록 변형하는 방법은 3D 실감체험 서비스의 세부 종류에 따라 달라질 수 있다. 여기서, 3D 실감체험 서비스의 세부 종류로는 대표적으로 체험 아이템이 전체적으로 사용자에게 잘 어울리는지 확인하는 룩(Look)확인 서비스와, 체험 아이템의 크기가 사용자의 몸에 잘 맞는지 확인하는 사이즈(size) 확인 서비스가 있다.
또한, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 체험 아이템을 아바타에 상응하도록 변형하기 위하여, 체험 아이템에 스키닝 정보를 이용한 뼈구조 기반 애니메이션을 수행하거나, 물리 기반 시뮬레이션 방법을 적용할 수 있다. 그리고 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 체험 아이템의 전역 물리 속성 정보(ex. 질량, 촉감, 뻣뻣한 정도 등) 및 정점별 물리 속성 정보(ex. 질량, 탄성, 스키닝 가중치, 최대 이동거리 등)을 이용하여 체험 아이템을 변형할 수 있다.
필요에 따라, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 아바타의 체형을 반영하여 체험 아이템의 크기를 변형할 수 있다. 이 때, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 체험 아이템에 상응하는 표준 아바타와 사용자에 상응하는 아바타의 변형 관계를 이용하여 체험 아이템의 크기를 변형할 수 있다.
예를 들어, 룩(Look)확인 서비스에서는 체험 아이템의 크기(Size)가 사용자와 맞지 않더라도, 3D 실감체험 콘텐츠 서비스 제공 장치(100)가 체험 아이템의 크기를 변형하여, 자연스러운 실감체험을 지원할 수 있다.
다음으로, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 아바타와 체험 아이템간 충돌이 발생하는지 여부를 판단하고, 충돌 발생시 충돌에 상응하도록 체험 아이템의 형상을 변형한다.
이때, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 물리 기반 시뮬레이션 방법을 적용하여 체험 아이템을 아바타에 상응하도록 변형할 수 있다. 물리 기반 시뮬레이션 방법을 적용하는 경우, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 체험 아이템의 외부 힘과 내부 힘을 반영한 운동 방정식을 이용하여 각 정점의 위치를 계산한다. 여기서, 외부 힘은 체험 아이템의 각각의 정점에 상응하는 중력, 아바타와의 상호 작용에 의한 힘 등이 포함되고, 내부 힘은 체험 아이템의 정점 사이의 탄성 등이 포함된다.
3D 실감체험 콘텐츠 서비스 제공 장치(100)는 운동방정식을 이용하여 각 정점의 위치를 계산하기 위하여, 사용자에 상응하는 아바타와 체험 아이템 간의 충돌이 발생하는 부분을 탐지한다. 여기서, 아바타는 실시간으로 움직이거나 정지상태일 수 있다. 그리고 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 연산 속도를 향상시키기 위하여 아바타를 연산량이 적은 형태로 재가공하여 사용할 수 있다.
또한, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 아바타와 체험 아이템 간의 관계를 이용하여, 아바타의 변형에 따른 아이템의 3D 형상 변형을 계산한다. 이때, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 아바타의 관절 구조와 체험 아이템의 각 정점간의 스키닝(Skinning) 과정을 통하여 관절 제어에 따른 가중치를 연산하고, 연산된 가중치(weighting)를 이용하여 3D 형상 변형을 계산할 수 있다.
또한, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 아바타와의 상호 작용에 의하여 각 정점에 가해지는 힘과 운동방정식을 이용하여 정점의 위치를 계산할 수도 있다. 그리고 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 3D 실감체험 서비스의 종류에 따라 물리적 사실성, 안정성, 연산 속도 등을 고려하여 적절한 알고리즘을 선택하여 적용할 수도 있다.
예를 들어, 체험 아이템의 크기가 아바타에 잘 맞는지 확인하는 사이즈(size) 확인 서비스인 경우, 물리적 사실성이 높은 알고리즘을 적용할 수 있고, 실시간 응답이 필요한 룩 확인 서비스인 경우, 연산 속도가 빠른 알고리즘을 선택하여 적용할 수 있다.
그리고 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 체험 아이템의 크기 변형 정도 또는 형상 변형 정도를 이용하여 아바타와 체험 아이템의 사이즈 적합 여부를 판단할 수 있다.
애니메이션 또는 시뮬레이션에 의해 체험 아이템의 공간상의 위치 및 형태가 결정되면, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사이즈 적합 여부를 판단한다.
예를 들어 사이즈(size) 확인 서비스인 경우, 물리 시뮬레이션 등에 의해 체험 아이템이 기 설정된 값 이상으로 변형되었거나, 시뮬레이션에 가중된 부하가 기 설정된 값 이상인 경우, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 해당 체험 아이템의 사이즈가 사용자에게 맞지 않는다고 판단할 수 있다.
그리고 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사용자에게 사이즈가 맞지 않음을 알리는 메시지를 출력하거나, 사용자에게 적합할 것으로 판단되는 사이즈를 연산하여 사용자에게 사이즈 추천 정보를 제공할 수 있다. 이때, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 전체적인 사이즈에 대한 정보 또는 신체 부위별 사이즈에 대한 정보를 사용자에게 제공할 수 있다.
또한, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 쿠기 및 형상이 변형된 체험 아이템을 3D 실감체험 중인 사용자에 상응하는 아바타와 동일한 3차원 공간에 배치한다.
도 5는 도 4의 S460 단계에서 3차원 공간 상에서의 아바타 및 체험 아이템 배치를 설명하기 위한 도면이다.
도 5와 같이, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 3D 실감체험 서비스를 이용 중인 사용자를 촬영한 RGBD 영상(510)을 이용하여 아바타(520)를 변형한다. 그리고 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 아바타에 상응하도록 체험 아이템(530)을 변형한다.
또한, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사용자 정보 및 사용자의 모션에 상응하도록 변형된 아바타(520)와 변형된 체험 아이템(530)을 동일한 3차원 공간 상에 배치한다.
마지막으로 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 변형된 체험 아이템을 오버레이하여 사용자에게 제공한다(S470).
이때, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 변형된 체험 아이템과 아바타 및 사용자에 상응하는 RGBD 영상 중에서 어느 하나를 오버레이하여 룩/사이즈 합성 이미지를 생성하고, 생성된 룩/사이즈 합성 이미지를 사용자에게 제공할 수 있다.
3D 실감체험 콘텐츠 서비스 제공 장치(100)는 아바타 및 체험 아이템을 RGBD 영상에 상응하도록 오버레이한다. 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사전에 카메라 캘리브레이션 과정을 수행하여 추출한 RGBD 센서의 카메라 파라미터를 이용하여 오버레이를 수행할 수 있다. 여기서, 카메라 파라미터는 6자유도의 자세(3차원 상의 위치, 3자유도 기울기값), principal points, skewness, 초점거리, 픽셀 가로/세로비, 방사왜곡(radial distortion) 중에서 적어도 하나를 포함할 수 있다.
그리고 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 RGBD 센서의 카메라 파라미터를 가상 카메라의 파라미터와 일치시키고, 아바타와 체험 아이템을 렌더링한다.
도 6은 도 4의 S470 단계에서 체험 아이템의 오버레이를 설명하기 위한 도면이다.
도 6의 렌더링 영상(610)과 같이, 아바타(620)와 체험 아이템(630)을 렌더링하면, RGBD 영상 위에 아바타 및 체험 아이템이 정합되어 표시된다. 그러나 실감체험 쇼핑과 같은 증강현실 3D 실감체험 콘텐츠 서비스에서 아바타를 함께 표시하는 경우, 실감성을 저해한다.
따라서, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 도 6의 우측에 도시한 바와 같이, 렌더링 수행시 아바타를 제거하거나, 컬러 버퍼 렌더링을 생략하고 깊이 버퍼 렌더링만 수행하여 체험 아이템만 표시할 수 있다.
또한, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 카메라 영상을 이용하여 거울 영상을 생성하지 않고, 실제 거울을 사용하는 거울형 키오스크 형태로 구현될 수도 있다.
거울형 키오스크 형태로 구현될 경우, 거울에 맺히는 상은 카메라에 의한 것이 아니라, 사용자의 망막에 맺힌 상이다. 따라서, 앞 서 기술한 카메라 영상 형태로 구현하는 경우와 같이 RGBD 카메라 파라미터를 이용하여 가상 카메라를 구성하는 방법으로는 실제 거울 상에 체험 아이템을 정합할 수 없다.
따라서, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사용자의 눈 위치(3자유도 위치, 3자유도 방향)를 이용하여 가상 카메라를 구성한 뒤, 렌더링하여 정합한다. 이때, 사용자의 눈 위치는 사용자 머리 위치로 근사할 수 있으며, 사용자의 모션 추적으로 추적된 위치로 계산될 수도 있다.
그리고 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 현실감을 증대시키기 위하여, 체험 아이템의 재질 특성을 반영하여 렌더링을 수행할 수도 있다. 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 체험 아이템의 광학적 반사 특성(BRDF, Bidirectional Reflectance Distribution Function) 및 조명 환경을 이용하여, 렌더링 영상의 각 픽셀마다 렌더링 시점, 반사 특성, 대응되는 체험 아이템 정점의 법선(normal), 조명 정보 중에서 적어도 하나를 이용하여 각 픽셀의 색상을 결정한다. 이때, 색상을 결정하는 과정인 쉐이딩(shading) 알고리즘은 서비스의 목적과 요구하는 품질, 하드웨어의 성능 등에 따라 달라질 수 있다.
카메라를 통해 입력받는 RGBD 영상은 키오스크가 설치된 환경의 조명이 반영된다. 따라서, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 체험아이템 렌더링시, 키오스크가 설치된 환경의 조명을 반영하여 현실감을 높일 수 있다.
그리고 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 입력받은 RGBD 영상을 분석하여 환경맵을 생성하고, 체험아이템 각 정점에서 방향에 따른 조명의 색상 및 밝기 등을 계산하여 쉐이딩 연산에 반영하여 보다 현실감이 높아진 룩/사이즈 합성 이미지를 생성할 수 있다.
또한, 본 발명의 실시예에 따른 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 아바타 저장부 및 체험 아이템 저장부에 저장된 정보를 이용하여 보고서를 생성할 수 있다. 이때, 보고서는 성별 선호하는 체험 아이템, 나이별 선호하는 체험 아이템, 체형별 선호하는 체험 아이템, 스타일별 선호하는 체험 아이템 등의 정보를 포함할 수 있다.
3D 실감체험 콘텐츠 서비스 제공 장치(100)는 종래의 기술에 비하여 체형 정보를 정밀하게 계산할 수 있으므로, 세분화된 체형 정보에 따라 선호하는 체험 아이템 보고서를 생성할 수도 있다. 그리고 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 스타일 정보를 이용하여, 흰색 니트류를 입은 사람이 선호하는 체험 아이템, 물방울 무늬 원피스를 입은 사람이 선호하는 체험 아이템과 같이 스타일별 선호하는 체험 아이템 보고서를 생성할 수도 있다.
이때, 생성된 보고서는 제조업체 또는 유통업체로 제공되어, 상품의 제조, 홍보, 마케팅 분야에 활용될 수 있다. 즉, 3D 실감체험 콘텐츠 서비스 제공 장치(100)가 생성한 보고서를 통하여 업체는 체험 아이템에 관심을 갖는 사용자의 신체적 및 스타일 트랜드를 파악할 수 있으며, 파악된 정보를 신제품 기획에 반영할 수 있다. 그리고 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 국가별 표준 체형, 인종별 표준 체형에 관한 보고서를 생성할 수도 있다.
또한, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 생성된 보고서와 3D 실감체험 서비스를 체험중인 사용자의 사용자 정보를 비교하여, 해당 사용자가 선호할만한 체험 아이템을 선정하여 사용자에게 추천할 수 있다. 이때, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 추천하고자 하는 체험 아이템을 다른 체험 아이템보다 우선적으로 사용자에게 제시하거나, 추천 카테고리 형태로 사용자에게 제시할 수 있다.
종래에는 사용자가 입력한 정보 또는 구매이력, 페이지 방문이력 등의 정보를 이용하여 사용자에게 아이템을 추천하였다. 그러나, 본 발명의 실시예에 따른 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 3D 실감체험을 체험중인 사용자의 성별, 나이, 신체 정보 및 스타일 정보를, 체험 아이템에 관심을 가졌던 다른 사용자들의 성별, 나이, 신체 정보, 스타일 정보와 매칭하여, 사용자에게 체험 아이템을 추천한다. 따라서, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사용자에게 보다 가치있고, 유의미한 추천을 제공할 수 있다.
또한, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사용자 정보를 보호하기 위하여, 사용자 정보 관리 및 삭제하는 과정을 수행할 수 있다.
3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사용자의 민감한 개인정보인 성별, 나이, 체형 정보 및 스타일 정보 등을 다룬다. 따라서, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 추출한 사용자 정보가 다른 사람에 의해 부정적으로 사용되고 있는지를 지속적으로 모니터링하여, 개인정보를 보호할 수 있다.
3D 실감체험 콘텐츠 서비스 제공 장치(100)는 키오스크 또는 스마트 TV와 같은 공용 디바이스 형태로, 주로 공공장소에 설치되어 다양한 사용자들이 짧은 시간 체험할 수 있도록 한다. 이때, 제1 사용자가 3D 실감체험 콘텐츠 서비스 제공 장치(100)를 이용하여 3D 실감체험을 체험하는 경우, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 제1 사용자에 의해 개인화되고, 기기 내부적으로는 제1 사용자의 개인정보를 다룬다.
해당 사용자가 로그아웃 절차를 수행하지 않고 퇴장하는 경우, 뒤이어 사용하는 제2 사용자는 제1 사용자의 정보에 기반한 3D 실감체험 서비스를 제공받을 수 있다. 따라서, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 제1 사용자가 체험 영역 내에 위치하는지 여부를 판단하고, 제1 사용자가 기 설정된 시간 이상 체험 영역을 이탈한 경우 제1 사용자가 퇴장한 것으로 간주하고, 제1 사용자에 상응하는 사용자 정보(성별, 나이, 체형 정보 및 스타일 정보)를 삭제한다.
또한, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 주기적으로 RGBD 영상을 인식하여 생성한 주기적 사용자 정보와 제1 사용자의 기 저장된 사용자 정보를 비교한다. 비교 결과, 주기적 사용자 정보와 제1 사용자의 기 저장된 사용자 정보가 상이한 것으로 판단되면, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 제1 사용자와 상이한 다른 사용자인 것으로 판단하고, 제1 사용자의 기 저장된 사용자 정보를 삭제할 수 있다.
이때, 3D 실감체험 콘텐츠 서비스 제공 장치(100) 아바타 저장부에 저장된 사용자 정보를 삭제하는 것이 아니라, 현재 3D 실감체험 서비스를 제공하기 위하여 로딩된 사용자 정보를 삭제하는 것이거나, 사용자 정보에 상응하는 사용자를 로그아웃 시키는 것일 수 있다.
그리고 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 제2 사용자가 마치 제1 사용자인 것처럼 부정로그인하는 경우 제1 사용자의 로그인 상태를 로그아웃 시킬 수 있다. 이때, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 로딩한 제1 사용자의 사용자 정보와 3D 실감체험을 체험중인 제2 사용자의 RGBD 영상을 인식하여 추출한 제2 사용자의 사용자 정보를 비교하여, 두 사용자 정보가 상이한 것으로 판단한 경우 제1 사용자를 로그아웃 시킨다.
반면, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 제1 사용자로부터 위임을 받은 제3 사용자가 저장된 제1 사용자에 상응하는 사용자 정보를 이용하여 3D 실감체험을 대리 수행할 수 있도록 승인할 수 있다. 예를 들어, 제1 사용자가 가족 또는 친구인 제3 사용자에게 제1 사용자에 상응하는 사용자 정보의 사용을 위임하면, 제3 사용자는 제1 사용자의 사용자 정보를 이용하여 3D 실감체험을 진행할 수 있다.
이때, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 제1 사용자로부터 제3 사용자의 사용자 정보 활용에 대한 동의를 입력받아, 제3 사용자에게 제1 사용자의 사용자 정보를 제공할 수 있다. 그리고 사용자 정보 활용에 대한 동의 절차는 문자 인증 또는 전화 인증 등의 방법으로 수행될 수 있다.
즉, 제3 사용자가 제1 사용자의 사용자 정보를 이용하여 로그인을 시도하는 경우, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 제3 사용자가 로그인 시도에 상응하는 제1 사용자와 동일하지 않다는 것을 내부 검증 프로세스를 통하여 확인한다. 그리고 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 위임 가능성을 확인하고, 위임 절차에 따라 제3 사용자가 일련의 동의 과정에 따라 제1 사용자로부터 위임 받은 경우, 제3 사용자에게 제1 사용자의 사용자 정보 접근을 승인한다.
반면, 제3 사용자가 제1 사용자로부터 위임 받지 못한 경우, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 로그인이 시도된 제1 사용자에 상응하는 로그인 정보를 로그아웃 시킨다. 이와 같이, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사용자의 본인 확인 또는 적법한 사용자인지 여부 판단 과정을 통하여 적법한 사용자에게만 3D 실감체험의 기회를 제공할 수 있다.
이하에서는 도 7을 통하여, 사용자 단말을 이용하여 3D 실감체험 콘텐츠 서비스를 제공하는 방법에 대하여 더욱 상세하게 설명한다.
본 발명의 실시예에 따른 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 도 4에 도시한 바와 같이, 컴퓨터 성능이 충분하고, RGBD 센서가 구비된 컴퓨팅 디바이스에서 운용될 수 있다. 또한, 사용자가 컴퓨팅 파워가 부족하거나 RGBD 센서를 구비하지 못한 사용자 단말을 이용하여 3D 실감체험 콘텐츠 서비스를 제공받을 수 있도록 사용자 단말과 통신을 수행할 수 있는 웹 상의 서버 형태로 구현될 수 있다.
도 7은 사용자 단말을 이용하여 3D 실감체험 콘텐츠 서비스를 제공하는 방법을 설명하기 위한 도면이다.
도 7에 도시한 바와 같이, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 통신망을 통하여 사용자 단말과 통신을 수행함으로써 사용자 단말에 상응하는 사용자에게 3D 실감체험 서비스를 제공할 수 있다.
여기서, 사용자 단말은 모바일 디바이스 및 셋탑박스 등과 같이 컴퓨터 파워가 부족하거나, RGBD 센서가 부족한 디바이스를 의미한다. 도 5에 도시된 3D 실감체험 콘텐츠 서비스 제공 장치(100)가 공공장소, 매장, 길거리 등에 설치되어 운용되는 반면, 사용자 단말은 가정과 같이 개인화된 장소에서 3D 실감체험 서비스를 제공할 수 있다.
사용자 단말은 실시간으로 RGBD 영상을 입력받을 수 없고, 연산량이 많은 사용자의 아바타를 생성하는 작업 및 아바타와 체험 아이템을 3차원 공간 상에 배치하는 작업을 수행할 수 없다. 사용자 단말은 RGBD 영상을 이용하여 아바타를 생성할 수 없으므로, 3D 실감체험 콘텐츠 서비스 제공 장치(100)의 아바타 저장부에 기 저장된 아바타 및 아바타에 상응하도록 저장된 코디용 사진을 이용한다.
여기서, 코디용 사진은 코디용 사진 촬영시 입력받은 깊이 영상, 추적된 모션 정보를 포함할 수 있으며, 코디용 사진을 촬영한 RGBD 센서의 카메라 파라미터들이 포함될 수 있고, 촬영된 키오스크 또는 스마트 TV 등의 디바이스 주변에 상응하는 환경맵(environment map)을 더 포함할 수 있다. 또한, 코디용 사진 이외에 모션 정보, 카메라 파라미터, 환경맵 등은 RGBD 영상을 대체하여 활용될 수 있다.
사용자 단말은 웹 상의 서버인 3D 실감체험 콘텐츠 서비스 제공 장치(100)로 아바타 ID 및 체험 아이템 ID를 전송한다 여기서, 아바타 ID는 단순 문자열이거나, 아바타 저장부에 저장된 특정 아바타를 지칭할 수 있는 QR코드, 바코드와 같은 이미지형 코드이거나, 사운드형 코드일 수 있다. 그리고 체험 아이템 ID는 사용자가 3D 실감체험 해보고 싶은 체험 아이템을 식별할 수 있는 정보를 의미한다.
사용자 단말로부터 아바타 ID 및 체험 아이템 ID를 수신한 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사용자 ID에 상응하는 사용자의 사용자 정보와 코디용 사진, 모션 정보, 카메라 파라미터, 환경맵 등과 체험 아이템 ID에 상응하는 체험 아이템의 3D 메쉬, 전역 물리 속성 정보, 정점별 물리 속성 정보 등을 이용하여 렌더링한다. 그리고 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 사용자의 코디용 사진 상에 체험 아이템을 합성한 룩/사이즈 합성 이미지를 생성하여 사용자 단말로 전송한다.
사용자는 사용자 단말 상에 표시된 룩/사이즈 합성 이미지를 이용하여, 해당 체험 아이템이 잘 어울리는지, 해당 체험 아이템의 사이즈가 잘 맞는지 등을 확인하며 스마트한 쇼핑을 체험할 수 있다. 이 때, 사용자 단말은 사용자가 직관적으로 사이즈를 확인할 수 있도록 하기 위하여, 룩/사이즈 합성 이미지를 증강현실 기반으로 표시하는 것뿐만 아니라, 3D 공간 상에서 아바타와 체험 아이템을 직접적으로 가시화하여, 사용자가 자유롭게 아바타를 돌려보면서 사이즈를 확인할 수 있도록 할 수 있다.
체험 아이템의 사이즈를 3D로 가시화 할 때, 사용자 단말은 사이즈별 체험 아이템을 아바타에 직접 적용하여 사용자에게 제공함으로써, 사용자가 가장 적합한 사이즈를 선택할 수 있도록 한다. 그리고 3D 공간 상에 중첩된 아바타와 체험 아이템의 공간 인접성을 통한 상대적 거리를 수치적으로 표시하거나, 오차에 대한 컬러맵으로 표시하여 사용자에게 제공할 수 있다.
이때, 사용자 단말은 허리둘레, 어깨너비 등과 같은 주요 부위 정보에 대한 오차 분석 또는 체험 아이템 전체에 대한 오차 분석을 통하여 사이즈에 대한 정보를 제시할 수 있다. 그리고 사용자 단말은 아바타의 몸통, 팔, 다리 등의 구분 정보와 신체부위에 상응하는 체험 아이템의 3D 부위간의 매핑 관계를 이용하여 오차 분석을 수행할 수 있다.
이와 같이, 3D 실감체험 콘텐츠 서비스 제공 장치(100)는 컴퓨터 성능이 충분하고, RGBD 센서가 구비된 컴퓨팅 디바이스에서 운용되거나, 웹 상의 서버 형태로 구현되어 사용자 단말을 이용하여 사용자에게 3D 실감체험 콘텐츠 서비스를 제공할 수 있다. 즉, 사용자에게 언제 어디서나 3D 실감체험 콘텐츠 서비스를 제공할 수 있다.
본 발명의 또다른 실시예에 따른 3D 실감체험 콘텐츠 서비스 제공 장치는 실감체험 피트니스 서비스도 제공할 수 있다.
3D 실감체험 콘텐츠 서비스 제공 장치는 미러형 키오스크에 사용자에 상응하도록 생성된 아바타가 피트니스 동작을 출력하고, 출력된 동작을 따라 수행하는 사용자의 동작을 인식한다. 그리고 3D 실감체험 콘텐츠 서비스 제공 장치는 인식된 사용자의 동작과 출력된 동작을 비교하고, 사용자가 출력된 동작과 다른 동작을 취한 경우 동작을 교정해준다. 이때, 아바타는 거울에 비친 사용자와 겹쳐서 출력됨으로써, 사용자가 어떠한 동작을 취해야 할지 쉽게 인지할 수 있도록 한다.
따른 3D 실감체험 콘텐츠 서비스 제공 장치가 실감체험 피트니스 서비스를 제공하는 경우, 도 1에 도시한 3D 실감체험 콘텐츠 서비스 제공 장치(100)와 실질적으로 동일하게 동작한다. 도 1의 체험 아이템은 피트니스 서비스에서 피트니스 동작에 대응되고, 3D 실감체험 콘텐츠 서비스 제공 장치는 사용자에 상응하는 아바타를 생성하고, 사용자 정보를 추출하며, 사용자로부터 제스처, 터치, 키보드 및 마우스 중에서 어느 하나의 방법으로 피트니스 동작을 선택받는다.
그리고 3D 실감체험 콘텐츠 서비스 제공 장치는 생성된 사용자 아바타에 선택된 피트니스 동작을 애니메이션화한다. 또한, 3D 실감체험 콘텐츠 서비스 제공 장치는 사용자의 모션을 추적하고, 재생되고 있는 피트니스 동작에 상응하는 트레이너의 동작과 모션 추적된 사용자의 동작을 비교하여, 관절별 위치 오차, 각도 오차를 계산한다. 그리고 계산된 오차를 이용하여 사용자의 피트니스 동작에서 잘못된 부분을 검출하고, 검출된 내용을 출력한다.
도 8은 3D 실감체험 콘텐츠 서비스 제공 장치가 실감체험 피트니스 서비스를 제공하는 방법을 설명하기 위한 도면이다.
도 8에 도시한 바와 같이, 3D 실감체험 콘텐츠 서비스 제공 장치는 가상 카메라를 구성하고, 가상 카메라로 렌더링하여 아바타를 사용자의 모습 위에 오버레이하여 표시한다. 여기서, 3D 실감체험 콘텐츠 서비스 제공 장치는 카메라 기반 가상 거울 키오스크인 경우 카메라 파라미터로 가상 카메라를 구성하고, 실제 거울을 이용하는 키오스크인 경우 사용자의 눈 또는 머리의 6자유도 자세로 가상 카메라를 구성할 수 있다.
이때, 아바타는 체험 아이템에 상응하는 트레이너의 동작을 수행하여 사용자에게 피트니스 동작을 알려주며, 메쉬 형태로 출력되거나, 테두리만 출력될 수 있다. 그리고 3D 실감체험 콘텐츠 서비스 제공 장치는 검출된 잘못된 동작 부분을 특정 색으로 강조하여 표시할 수 있다.
또한, 3D 실감체험 콘텐츠 서비스 제공 장치는 사용자 정보, 생성된 아바타 등을 저장하고, 복수의 피트니스 동작들을 저장하며, 사용자 정보를 이용하여 해당 사용자의 체형 또는 선호도에 알맞은 피트니스 동작을 사용자에게 추천할 수도 있으며, 저장된 사용자 정보 및 피트니스 동작 정보를 이용하여 체험 아이템 보고서를 생성할 수도 있다.
이상에서와 같이 본 발명에 따른 3D 실감체험 콘텐츠 서비스 제공 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
100: 3D 실감체험 콘텐츠 서비스 제공 장치
110: 사용자 인식 및 검증부
111: 아바타 생성부
113: 모션 추적부
115: 사용자 인식부
117: 사용자 검증부
120: 체험 아이템 선택부
130: 인터랙션부
131: 체험 아이템 크기 변형부
133: 아바타 충돌 탐지부
135: 체험 아이템 형상 변형부
137: 인터랙션 분석부
140: 렌더링부
150: 아바타 저장부
160: 체험 아이템 저장부
170: 보고서 생성부
510: RGBD 영상
520: 아바타
530: 체험 아이템
610: 렌더링 영상
620: 아바타
630: 체험 아이템
110: 사용자 인식 및 검증부
111: 아바타 생성부
113: 모션 추적부
115: 사용자 인식부
117: 사용자 검증부
120: 체험 아이템 선택부
130: 인터랙션부
131: 체험 아이템 크기 변형부
133: 아바타 충돌 탐지부
135: 체험 아이템 형상 변형부
137: 인터랙션 분석부
140: 렌더링부
150: 아바타 저장부
160: 체험 아이템 저장부
170: 보고서 생성부
510: RGBD 영상
520: 아바타
530: 체험 아이템
610: 렌더링 영상
620: 아바타
630: 체험 아이템
Claims (20)
- 사용자에 상응하는 RGBD 영상을 이용하여 생성된 아바타를 이용하여 상기 사용자에 상응하는 체형, 성별, 나이, 스타일 중에서 적어도 하나를 포함하는 사용자 정보를 추출하는 사용자 인식 및 검증부,
상기 사용자에게 체험 아이템 리스트를 제공하고, 상기 사용자로부터 3D 실감체험 할 체험 아이템을 선택받는 체험 아이템 선택부,
선택받은 상기 체험 아이템을 상기 아바타 또는 상기 사용자 정보에 상응하도록 변형하는 인터랙션부, 그리고
변형된 상기 체험 아이템과 상기 아바타 및 상기 RGBD 영상 중 어느 하나를 오버레이하는 렌더링부
를 포함하는 3D 실감체험 콘텐츠 서비스 제공 장치. - 제1항에 있어서,
상기 사용자 인식 및 검증부는,
상기 RGBD 영상의 깊이 정보를 이용하여, 상기 RGBD 영상에 상응하는 사용자의 재계측 여부를 판단하고, 상기 재계측이 필요한 것으로 판단된 경우 상기 사용자에게 재계측을 요청하는 3D 실감체험 콘텐츠 서비스 제공 장치. - 제2항에 있어서,
상기 사용자에 상응하는 어깨라인의 키 대비 높이값, 어깨라인 부근 깊이 정보의 상대적 변이, 배 부근 깊이 정보의 변이 정도, 가슴둘레 대비 허리둘레의 상대적 계측값 중에서 적어도 하나를 이용하여 상기 재계측 여부를 판단하는 3D 실감체험 콘텐츠 서비스 제공 장치. - 제1항에 있어서,
상기 사용자 인식 및 검증부는,
상기 RGBD 영상을 이용하여 상기 사용자에 상응하는 상기 아바타를 생성하고, 상기 사용자의 체형 정보를 추정하는 아바타 생성부,
상기 사용자의 모션을 추적하고, 추적된 상기 사용자의 모션 정보를 이용하여 상기 아바타를 자세를 변형시키는 모션 추적부,
상기 체형정보 및 상기 모션 정보를 이용하여 상기 사용자의 성별, 나이, 스타일 중에서 적어도 하나를 포함하는 사용자 정보를 추정하는 사용자 인식부를 포함하는 3D 실감체험 콘텐츠 서비스 제공 장치. - 제4항에 있어서,
상기 사용자 인식 및 검증부는,
상기 사용자 정보의 부정 사용 여부를 검증하고, 상기 사용자 정보를 관리하는 사용자 검증부를 더 포함하는 3D 실감체험 콘텐츠 서비스 제공 장치. - 제5항에 있어서,
상기 사용자 검증부는,
상기 아바타에 상응하는 상기 사용자가 체험 영역 내에 존재하는지 여부를 판단하고, 상기 사용자가 기 설정된 시간 이상 상기 체험 영역 내에 존재하지 않을 경우, 상기 사용자에 상응하는 사용자 정보를 삭제하는 3D 실감체험 콘텐츠 서비스 제공 장치. - 제5항에 있어서,
상기 사용자 검증부는,
주기적으로 상기 RGBD 영상을 인식하여 생성한 주기적 사용자 정보와 상기 사용자 정보를 비교하고, 상기 주기적 사용자 정보와 상기 사용자 정보가 상이한 것으로 판단한 경우, 상기 사용자 정보를 삭제하는 3D 실감체험 콘텐츠 서비스 제공 장치. - 제5항에 있어서,
상기 사용자 검증부는,
상기 사용자에 상응하는 상기 사용자 정보, 상기 아바타, 상기 RGBD 영상 중에서 적어도 하나를 저장하고, 제1 사용자로부터 위임을 받은 제2 사용자가 저장된 상기 제1 사용자에 상응하는 사용자 정보를 이용하여 상기 3D 실감체험을 수행할 수 있도록 승인하는 3D 실감체험 콘텐츠 서비스 제공 장치. - 제1항에 있어서,
상기 체험 아이템 선택부는,
상기 사용자로부터 계층적 구조로 저장된 체험 아이템 리스트의 상위 카테고리를 입력받고, 상기 상위 카테고리에 상응하는 하위 카테고리를 상기 사용자에게 제공하여 상기 사용자로부터 상기 체험 아이템을 선택받는 3D 실감체험 콘텐츠 서비스 제공 장치. - 제1항에 있어서,
상기 인터랙션부는,
상기 체험 아이템이 상기 사용자에게 잘 어울리는지 확인할 수 있도록 상기 체험 아이템의 크기를 변형하여 상기 사용자에게 제공하거나, 상기 체험 아이템의 사이즈와 상기 사용자의 신체 사이즈를 비교하여 생성된 사이즈 정보를 상기 사용자에게 제공하는 3D 실감체험 콘텐츠 서비스 제공 장치. - 제1항에 있어서,
상기 인터랙션부는,
상기 체험 아이템에 상응하는 표준 아바타와 상기 사용자에 상응하는 상기 아바타의 변형 관계를 이용하여 상기 체험 아이템의 크기를 변형하는 체험 아이템 크기 변형부,
상기 사용자에 상응하는 아바타와 상기 체험 아이템간 충돌이 발생하는지 여부를 탐지하는 아바타 충돌 탐지부,
상기 아바타와 상기 체험 아이템간에 발생한 충돌에 상응하도록 상기 체험 아이템의 형상을 변형하는 체험 아이템 형상 변형부, 그리고
상기 체험 아이템의 크기 변형 정도 또는 형상 변형 정도를 이용하여, 상기 체험 아이템과 상기 아바타에 상응하는 사용자간 사이즈 적합 여부를 판단하는 인터랙션 분석부를 포함하는 3D 실감체험 콘텐츠 서비스 제공 장치. - 제1항에 있어서,
상기 렌더링부는,
상기 오버레이된 아바타를 제거하거나, 상기 깊이 버퍼 렌더링만 수행하고, 상기 아바타가 포함되지 않은 렌더링 영상을 상기 사용자에게 제공하는 3D 실감체험 콘텐츠 서비스 제공 장치. - 제1항에 있어서,
입력받은 상기 RGBD 영상, 추적된 모션 정보, 상기 사용자 정보, 상기 RGBD 영상을 촬영한 촬영 장치의 파라미터 정보, 환경맵 정보 중에서 적어도 하나를 저장하는 아바타 저장부를 더 포함하는 3D 실감체험 콘텐츠 서비스 제공 장치. - 제13항에 있어서,
하나 이상의 상기 체험 아이템, 체험 아이템의 피팅 정보, 상기 체험 아이템을 피팅한 사용자의 정보 중에서 적어도 하나를 저장하는 체험아이템 저장부를 더 포함하는 3D 실감체험 콘텐츠 서비스 제공 장치. - 제14항에 있어서,
상기 인터랙션부는,
사용자 단말로부터 수신된 아바타 정보에 상응하는 상기 사용자 정보를 이용하여, 상기 사용자 단말로부터 수신된 체험 아이템 정보에 상응하는 상기 체험 아이템을 변형하고,
상기 렌더링부는,
변형된 상기 체험 아이템을 기 저장된 상기 RGBD 영상과 오버레이하여 상기 사용자 단말로 전송하는 3D 실감체험 콘텐츠 서비스 제공 장치. - 제14항에 있어서,
상기 아바타 저장부 또는 상기 체험아이템 저장부에 저장된 정보를 이용하여 체험 아이템 보고서를 생성하는 보고서 생성부를 더 포함하는 3D 실감체험 콘텐츠 서비스 제공 장치. - 3D 실감체험 콘텐츠 서비스 제공 장치에 의해 수행되는 3D 실감체험 콘텐츠 서비스 제공 방법에 있어서,
사용자에 상응하는 RGBD 영상을 이용하여 생성된 아바타를 이용하여 상기 사용자에 상응하는 체형, 성별, 나이, 스타일 중에서 적어도 하나를 포함하는 사용자 정보를 추출하는 단계,
상기 사용자에게 체험 아이템 리스트를 제공하고, 상기 사용자로부터 3D 실감체험할 체험 아이템을 선택받는 단계,
선택받은 상기 체험 아이템을 상기 아바타 또는 상기 사용자 정보에 상응하도록 변형하는 단계, 그리고
변형된 상기 체험 아이템과 상기 아바타 및 상기 RGBD 영상 중 어느 하나를 오버레이하는 단계
를 포함하는 3D 실감체험 콘텐츠 서비스 제공 방법. - 제17항에 있어서,
상기 사용자 정보를 추출하는 단계는,
상기 RGBD 영상의 깊이 정보를 이용하여, 상기 RGBD 영상에 상응하는 사용자의 재계측 여부를 판단하는 단계, 그리고
상기 재계측이 필요한 것으로 판단된 경우, 상기 사용자에게 재계측을 요청하는 단계를 포함하며,
상기 사용자의 재계측 여부를 판단하는 단계는,
상기 사용자에 상응하는 어깨라인의 키 대비 높이값, 어깨라인 부근 깊이 정보의 상대적 변이, 배 부근 깊이 정보의 변이 정도, 가슴둘레 대비 허리둘레의 상대적 계측값 중에서 적어도 하나를 이용하여 상기 재계측 여부를 판단하는 3D 실감체험 콘텐츠 서비스 제공 방법. - 제17항에 있어서,
상기 아바타에 상응하는 상기 사용자가 체험 영역 내에 존재하는지 여부를 판단하는 단계, 그리고
상기 사용자가 기 설정된 시간 이상 상기 체험 영역 내에 존재하지 않을 경우, 상기 사용자에 상응하는 사용자 정보를 삭제하는 단계를 더 포함하는 3D 실감체험 콘텐츠 서비스 제공 방법. - 제17항에 있어서,
주기적으로 상기 RGBD 영상을 인식하여 생성한 주기적 사용자 정보와 상기 사용자 정보를 비교하는 단계, 그리고
상기 주기적 사용자 정보와 상기 사용자 정보가 상이한 것으로 판단한 경우, 상기 사용자 정보를 삭제하는 단계를 더 포함하는 3D 실감체험 콘텐츠 서비스 제공 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160077145A KR20170143223A (ko) | 2016-06-21 | 2016-06-21 | 3d 실감체험 콘텐츠 서비스 제공 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160077145A KR20170143223A (ko) | 2016-06-21 | 2016-06-21 | 3d 실감체험 콘텐츠 서비스 제공 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20170143223A true KR20170143223A (ko) | 2017-12-29 |
Family
ID=60939128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160077145A KR20170143223A (ko) | 2016-06-21 | 2016-06-21 | 3d 실감체험 콘텐츠 서비스 제공 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20170143223A (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190114604A (ko) * | 2018-03-30 | 2019-10-10 | 경일대학교산학협력단 | 인공신경망을 이용한 거울형 가상 피팅 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체 |
| WO2023022494A1 (ko) * | 2021-08-20 | 2023-02-23 | 삼성전자 주식회사 | 아바타 생성 및 가상 피팅을 위한 전자 장치 및 전자 장치의 동작 방법 |
-
2016
- 2016-06-21 KR KR1020160077145A patent/KR20170143223A/ko unknown
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190114604A (ko) * | 2018-03-30 | 2019-10-10 | 경일대학교산학협력단 | 인공신경망을 이용한 거울형 가상 피팅 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체 |
| WO2023022494A1 (ko) * | 2021-08-20 | 2023-02-23 | 삼성전자 주식회사 | 아바타 생성 및 가상 피팅을 위한 전자 장치 및 전자 장치의 동작 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11593871B1 (en) | Virtually modeling clothing based on 3D models of customers | |
| CN109598798B (zh) | 虚拟物拟合方法及虚拟物拟合服务系统 | |
| CN110609617B (zh) | 虚拟镜子的装置、系统和方法 | |
| KR101728588B1 (ko) | 디지털 의류를 이용하여 가상 체험 서비스 방법을 제공하는 스마트 단말 및 가상 체험 제공 서버 | |
| US9369638B2 (en) | Methods for extracting objects from digital images and for performing color change on the object | |
| US8976160B2 (en) | User interface and authentication for a virtual mirror | |
| US8982110B2 (en) | Method for image transformation, augmented reality, and teleperence | |
| US8970569B2 (en) | Devices, systems and methods of virtualizing a mirror | |
| CN104813340B (zh) | 从2d图像序列导出准确身体尺寸测量的系统和方法 | |
| KR101707707B1 (ko) | 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템 | |
| US20220188897A1 (en) | Methods and systems for determining body measurements and providing clothing size recommendations | |
| CN106127552B (zh) | 一种虚拟场景显示方法、装置及系统 | |
| CN105787751A (zh) | 三维人体虚拟试衣方法和系统 | |
| JP6720385B1 (ja) | プログラム、情報処理方法、及び情報処理端末 | |
| KR102506352B1 (ko) | 전자상거래를 위한 3d 인체 측정 데이터 기반의 디지털 트윈 아바타 제공 시스템 | |
| CN108549484B (zh) | 基于人体动态姿态的人机交互方法和装置 | |
| KR20170143223A (ko) | 3d 실감체험 콘텐츠 서비스 제공 장치 및 방법 | |
| KR20190057516A (ko) | 증강현실을 이용한 인공지능형 토탈패션 스타일링 시스템 | |
| WO2022081745A1 (en) | Real-time rendering of 3d wearable articles on human bodies for camera-supported computing devices | |
| Tharaka | Real time virtual fitting room with fast rendering |