KR102459198B1 - 컨텐츠를 표시하는 디스플레이 장치 - Google Patents

컨텐츠를 표시하는 디스플레이 장치 Download PDF

Info

Publication number
KR102459198B1
KR102459198B1 KR1020200169898A KR20200169898A KR102459198B1 KR 102459198 B1 KR102459198 B1 KR 102459198B1 KR 1020200169898 A KR1020200169898 A KR 1020200169898A KR 20200169898 A KR20200169898 A KR 20200169898A KR 102459198 B1 KR102459198 B1 KR 102459198B1
Authority
KR
South Korea
Prior art keywords
user
recognized
content
image
virtual character
Prior art date
Application number
KR1020200169898A
Other languages
English (en)
Other versions
KR20220080609A (ko
Inventor
김상준
이유진
박구만
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020200169898A priority Critical patent/KR102459198B1/ko
Publication of KR20220080609A publication Critical patent/KR20220080609A/ko
Application granted granted Critical
Publication of KR102459198B1 publication Critical patent/KR102459198B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
    • G09F9/30—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

컨텐츠를 표시하는 디스플레이 장치는 카메라로부터 촬영된 영상을 수신하는 영상 수신부, 상기 수신한 영상으로부터 소정의 인식 범위 내에 위치한 사용자의 위치, 상기 사용자의 행동 및 착용 오브젝트 중 적어도 하나를 인식하는 인식부, 상기 인식된 사용자의 행동에 기초하여 데이터베이스로부터 애니메이션 데이터를 추출하는 추출부, 상기 인식된 사용자의 위치, 상기 인식된 사용자의 행동 및 상기 인식된 착용 오브젝트 중 적어도 하나에 기초하여 가상 캐릭터 모델을 생성하고, 상기 생성된 가상 캐릭터 모델에 상기 추출된 애니메이션 데이터를 적용하여 컨텐츠를 생성하는 컨텐츠 생성부 및 상기 생성된 컨텐츠를 표시하는 표시부를 포함한다.

Description

컨텐츠를 표시하는 디스플레이 장치{APPARATUS FOR DISPLAYING CONTENTS}
본 발명은 컨텐츠를 표시하는 디스플레이 장치 및 방법에 관한 것이다.
디지털 사이니지(Digital Signage)란 디지털 정보 디스플레이(DID, Digital Information Display)를 이용한 옥외 광고로, 관제 센터에서 통신망을 통해 광고 내용을 제어할 수 있는 광고판을 의미한다. 최근의 디지털 사이니지는 지하철 역사, 버스정류장, 아파트 엘리베이터, 은행 등 유동 인구가 많은 장소에 설치되어 다양한 광고를 제공하고 있다.
이러한 디지털 사이니지와 관련하여, 선행기술인 한국공개특허 제 2016-0066286호는 디지털 사이니지, 디지털 사이니지를 이용한 컨텐츠 디스플레이 방법, 디지털 사이니지 기반의 정보 전달 시스템 및 컴퓨터 프로그램이 기록된 기록매체를 개시하고 있다.
디지털 사이니지는 터치스크린 인터랙션을 통해 정보 제공자와 사용자 사이에 양방향 커뮤니케이션을 가능하게 한다. 그러나 종래의 디지털 사이니지는 사용자들과의 인터랙션이 한정적이었으며, 재미적 요소보다는 정보 제공을 목적으로 함으로써, 사용자의 흥미를 유발시키기 어렵다는 단점을 가지고 있었다.
카메라로부터 촬영된 영상을 수신하고, 수신한 영상으로부터 소정의 인식 범위 내에 위치한 사용자의 위치, 사용자의 행동 및 착용 오브젝트 중 적어도 하나를 인식하는 디스플레이 장치를 제공하고자 한다.
사용자의 인식된 행동에 기초하여 데이터베이스로부터 애니메이션 데이터를 추출하는 디스플레이 장치를 제공하고자 한다.
사용자의 위치, 사용자의 행동 및 사용자의 착용 오브젝트 중 적어도 하나에 기초하여 가상 캐릭터 모델을 생성하고, 생성된 가상 캐릭터 모델에 추출된 애니메이션 데이터를 적용하여 컨텐츠를 생성하고, 생성된 컨텐츠를 표시하는 디스플레이 장치를 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 카메라로부터 촬영된 영상을 수신하는 영상 수신부, 상기 수신한 영상으로부터 소정의 인식 범위 내에 위치한 사용자의 위치, 상기 사용자의 행동 및 착용 오브젝트 중 적어도 하나를 인식하는 인식부, 상기 인식된 사용자의 행동에 기초하여 데이터베이스로부터 애니메이션 데이터를 추출하는 추출부, 상기 인식된 사용자의 위치, 상기 인식된 사용자의 행동 및 상기 인식된 착용 오브젝트 중 적어도 하나에 기초하여 가상 캐릭터 모델을 생성하고, 상기 생성된 가상 캐릭터 모델에 상기 추출된 애니메이션 데이터를 적용하여 컨텐츠를 생성하는 컨텐츠 생성부 및 상기 생성된 컨텐츠를 표시하는 표시부를 포함하는 디스플레이 장치를 제공할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자의 위치, 행동, 착용 오브젝트를 손쉽게 인식하고, 인식된 사용자의 위치, 행동, 착용 오브젝트에 기초하여 가상 캐릭터 모델, 날씨, 배경 공간 및 배경 시간 등을 변화시켜 몰입감이 향상된 컨텐츠를 생성할 수 있도록 하는 디스플레이 장치를 제공할 수 있다.
사용자와의 양방향 인터랙션을 통해 사용자의 흥미를 유발시키고, 몰입도 높은 실감형 컨텐츠를 제공할 수 있도록 하는 디스플레이 장치를 제공할 수 있다.
다수의 사용자가 가상 캐릭터 모델 및 애니메이션을 생성 및 변경하고, 이를 디스플레이 장치에 적용할 수 있도록 하는 디스플레이 장치를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 컨텐츠 제공 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 사용자의 행동에 기초하여 생성된 애니메이션 데이터가 서버의 데이터베이스에 저장되는 과정을 설명하기 위한 예시적인 도면이다.
도 3은 본 발명의 일 실시예에 따른 디스플레이 장치의 구성도이다.
도 4는 본 발명의 일 실시예에 따른 사용자의 착용 오브젝트에 기초하여 변화되는 가상 캐릭터 모델, 날씨 및 배경 공간을 설명하기 위한 예시적인 도면이다.
도 5는 본 발명의 일 실시예에 따른 사용자의 위치에 기초하여 변화되는 배경 공간을 설명하기 위한 예시적인 도면이다.
도 6은 본 발명의 일 실시예에 따른 사용자의 위치에 기초하여 변화되는 날씨의 강도 및 배경 시간을 설명하기 위한 예시적인 도면이다.
도 7은 본 발명의 일 실시예에 따른 날씨의 강도 및 배경 시간에 기초하여 변화되는 가상 캐릭터 모델의 행동을 설명하기 위한 예시적인 도면이다.
도 8은 본 발명의 일 실시예에 따른 디스플레이 장치에서 컨텐츠를 표시하는 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 컨텐츠 제공 시스템의 구성도이다. 도 1을 참조하면, 컨텐츠 제공 시스템(1)은 서버(100) 및 디스플레이 장치(110)를 포함할 수 있다. 서버(100) 및 디스플레이 장치(110)는 컨텐츠 제공 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다.
도 1의 컨텐츠 제공 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 디스플레이 장치(110)는 서버(100)와 동시에 또는 시간 간격을 두고 연결될 수 있다.
네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
서버(100)는 사용자 단말(미도시)에 의해 생성된 애니메이션 데이터를 수신하여 서버(100)의 데이터베이스에 저장할 수 있다. 애니메이션 데이터가 생성되는 과정에 대해서는 도 2를 통해 설명하도록 한다.
사용자 단말(미도시)은 카메라로부터 사용자의 특정 행동을 촬영한 영상(201)을 수신할 수 있다. 이 때, 사용자 단말(미도시)은 영상(201)으로부터 FAVE(FBX Auto Viewer Engine)을 이용하여 사용자의 특정 행동에 기초하여 생성된 스켈레탈 메쉬(skeletal mesh)로부터 3D 모델링 애니메이션 데이터(202)를 생성할 수 있다. 이 때, 생성된 3D 모델링 애니메이션 데이터(202)는 3D 애니메이션 툴(3D Animation tool)을 통해 보정 또는 편집 과정을 거쳐 서버(100)로 전송될 수 있다.
종래에는 사용자가 직접 수작업으로 애니메이션 데이터를 생성해야 했지만, FAVE를 이용함으로써, 손쉽게 3D 모델링 애니메이션 데이터(202)가 생성되도록 할 수 있다.
서버(100)는 사용자 단말(미도시)로부터 3D 모델링 애니메이션 데이터(202)를 수신하고, 수신한 애니메이션 데이터(202)를 사용자의 특정 행동과 매칭시켜 데이터베이스(210)에 저장할 수 있다. 예를 들어, 서버(100)는 수신한 애니메이션 데이터(202)가 특정 행동 중 '댄스(Dance)'와 관련된 경우, 특정 행동인 '댄스(Dance)'와 애니메이션 데이터(202)인 'Dance.Fbx'를 매칭시켜 데이터베이스(210)에 저장할 수 있다.
이 때, 사용자의 특정 행동과 매칭되어 저장된 애니메이션 데이터(202)는 관리자에 의해 추가, 변경, 삭제가 가능하며, 모델링된 애니메이션 데이터(202)를 통해 가상 캐릭터의 행동이 제어되도록 할 수 있다.
다시 도 1로 돌아와서, 서버(100)는 디스플레이 장치(110)로부터 인식된 사용자의 행동에 매칭되는 애니메이션 데이터를 요청받고, 요청받은 애니메이션 데이터를 데이터베이스로부터 추출하여 디스플레이 장치(110)로 전송할 수 있다.
디스플레이 장치(110)는 카메라로부터 촬영된 영상을 수신할 수 있다. 여기서, 디스플레이 장치(110)를 RGB-D 카메라를 구비할 수 있으며 또는 별도의 RGB-D 카메라가 설치된 것일 수도 있다. 영상은 RGB 영상 및 깊이 영상을 포함할 수 있다.
디스플레이 장치(110)는 수신한 영상으로부터 소정의 인식 범위 내에 위치한 사용자의 위치, 사용자의 행동 및 착용 오브젝트 등을 인식할 수 있다.
디스플레이 장치(110)는 영상으로부터 사용자의 관절 위치 정보 및 관절 회전 정보를 추출하고, 추출된 관절 위치 정보 및 관절 회전 정보에 기초하여 사용자의 행동을 인식할 수 있다.
디스플레이 장치(110)는 머신 러닝을 통해 RGB 영상으로부터 사용자가 위치한 영역을 추출하고, 깊이 영상을 이용하여 추출된 사용자가 위치한 영역의 픽셀 값의 깊이를 평균화하여 사용자의 위치를 인식할 수 있다.
디스플레이 장치(110)는 인식된 사용자의 행동에 기초하여 데이터베이스로부터 애니메이션 데이터를 추출할 수 있다.
디스플레이 장치(110)는 인식된 사용자의 위치, 인식된 사용자의 행동 및 인식된 착용 오브젝트 중 적어도 하나에 기초하여 가상 캐릭터 모델을 생성하고, 생성된 가상 캐릭터 모델에 추출된 애니메이션 데이터를 적용하여 컨텐츠를 생성할 수 있다.
디스플레이 장치(110)는 인식된 착용 오브젝트에 기초하여 가상 캐릭터 모델, 날씨 및 배경 공간 중 적어도 하나를 변화시킬 수 있다.
디스플레이 장치(110)는 인식된 사용자의 위치에 기초하여 날씨의 강도 및 배경 시간을 변화시킬 수 있다.
디스플레이 장치(110)는 변화된 날씨의 강도 및 배경 시간에 기초하여 가상 캐릭터 모델의 행동을 변화시킬 수 있다.
디스플레이 장치(110)는 생성된 컨텐츠를 표시할 수 있다.
즉, 디스플레이 장치(110)는 인식된 사용자의 위치, 사용자의 행동 및 착용 오브젝트와 관련된 값에 기초하여 서버(100)의 데이터베이스에 저장된 애니메이션 데이터를 찾은 후, 이를 가상 캐릭터 모델에 적용하여 디스플레이를 통해 표시할 수 있다. 이러한 디스플레이 장치(110)는 사이니지 장치, 키오스크, 대형 옥외 전광판 등일 수 있으며, 이에 한정하지 않는다.
도 3은 본 발명의 일 실시예에 따른 디스플레이 장치의 구성도이다. 도 3을 참조하면, 디스플레이 장치(110)는 영상 수신부(310), 인식부(320), 추출부(330), 컨텐츠 생성부(340) 및 표시부(350)를 포함할 수 있다.
영상 수신부(310)는 카메라로부터 촬영된 영상을 수신할 수 있다. 여기서, 카메라는 단일 RGB-D(RGB-Depth) 카메라일 수 있으며, 영상은 RGB 영상 및 깊이(Depth) 영상을 포함할 수 있다. RGB 영상은 사용자의 위치, 사용자의 행동 및 사용자의 착용 오브젝트를 인식하기 위해 이용될 수 있으며, 깊이 영상은 사용자의 위치 및 사용자의 행동을 인식하기 위해 이용될 수 있다.
인식부(320)는 수신한 영상으로부터 소정의 인식 범위 내에 위치한 사용자의 위치, 사용자의 행동 및 착용 오브젝트 등을 인식할 수 있다. 예를 들어, 인식부(320)는 사용자가 소정의 인식 범위 내에 진입한 경우, 사용자의 위치, 사용자의 행동 및 착용 오브젝트 등을 인식할 수 있다. 이 때, 인식부(320)는 딥러닝(Deep Learning) 중 이미지 인식 분야에서 많이 활용되는 CNN(Convolution Neural Network)을 이용하여 사용자의 위치, 사용자의 행동 및 착용 오브젝트 등을 인식할 수 있다.
인식부(320)는 RGB 영상 및 깊이 영상을 이용하여 사용자의 위치를 인식할 수 있다. 예를 들어, 인식부(320)는 CNN(Convolution Neural Network)을 이용하여 RGB 영상으로부터 사용자가 위치한 영역을 추출하고, 깊이 영상을 이용하여 추출된 사용자가 위치한 영역의 픽셀 값의 깊이를 평균화하여 사용자의 위치를 인식할 수 있다.
인식부(320)는 RGB 영상 및 깊이 영상을 이용하여 영상으로부터 사용자의 관절 위치 정보인 'Joint_location(X, Y, Z)' 및 관절 회전 정보인 'Joint_rotation(X, Y, Z, W)'를 추출하고, 추출된 관절 위치 정보 및 관절 회전 정보에 기초하여 사용자의 행동을 인식할 수 있다. 예를 들어, 인식부(320)는 CNN(Convolution Neural Network)을 이용하여 인식된 사용자의 위치에 기초하여 사용자의 각 관절을 찾아 관절 위치 정보 및 관절 회전 정보를 추출할 수 있다. 이후, 인식부(320)는 사용자의 각 관절의 관절 위치 정보 및 관절 회전 정보를 시계열로 정리하여, RNN(Recurrent Neural Network)을 통해 분석함으로써, 현재 사용자의 행동이 어떤 행동(예를 들어, 댄스, 걷기, 서기 등)을 취하고 있는지 인식할 수 있다.
인식부(320)는 RGB 영상을 CNN(Convolution Neural Network)에 입력하여 사용자의 착용 오브젝트를 인식할 수 있다. 예를 들어, 인식부(320)는 사용자의 착용 오브젝트가 태블릿 PC, 휴대폰, 웨어러블 디바이스 등 인지를 인식할 수 있다.
추출부(330)는 인식된 사용자의 행동에 기초하여 데이터베이스로부터 애니메이션 데이터를 추출할 수 있다. 예를 들어, 추출부(330)는 인식된 사용자의 행동이 '댄스'인 경우, 댄스와 관련된 애니메이션 데이터인 'Dance.Fbx'를 추출할 수 있다.
컨텐츠 생성부(340)는 인식된 사용자의 위치, 인식된 사용자의 행동 및 인식된 착용 오브젝트 중 적어도 하나에 기초하여 가상 캐릭터 모델을 생성하고, 생성된 가상 캐릭터 모델에 추출된 애니메이션 데이터를 적용하여 컨텐츠를 생성할 수 있다.
표시부(350)는 생성된 컨텐츠를 표시할 수 있다.
이하에서는, 컨텐츠를 생성하는 과정에 대해 도 4 내지 도 7을 통해 상세히 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 사용자의 착용 오브젝트에 기초하여 변화되는 가상 캐릭터 모델, 날씨 및 배경 공간을 설명하기 위한 예시적인 도면이다. 도 4를 참조하면, 컨텐츠 생성부(340)는 인식된 착용 오브젝트(400)에 기초하여 가상 캐릭터 모델(410), 날씨(411) 및 배경 공간(412) 중 적어도 하나를 변화시킬 수 있다.
예를 들어, 컨텐츠 생성부(340)는 인식된 착용 오브젝트(400)가 '태블릿 PC'(401)인 경우, 가상 캐릭터 모델(410)을 '모델-1'로 생성할 수 있다. 이 때, 컨텐츠 생성부(340)는 착용 오브젝트(400)가 '태블릿 PC'(401)인 경우, 날씨(411)를 '비(Rainy)', 배경 공간(412)을 '집(Home)'으로 변화시킬 수 있다.
다른 예를 들어, 컨텐츠 생성부(340)는 인식된 착용 오브젝트(400)가 '휴대폰'(402)인 경우, 가상 캐릭터 모델(410)을 '모델-2'로 생성할 수 있다. 이 때, 컨텐츠 생성부(340)는 착용 오브젝트(400)가 '휴대폰'(402)인 경우, 날씨(411)를 '흐림(Cloudy)', 배경 공간(412)을 '사무실(Office)'로 변화시킬 수 있다.
또 다른 예를 들어, 컨텐츠 생성부(340)는 착용 오브젝트(400)가 '태블릿 PC' 및 '휴대폰'(403)가 함께 인식된 경우, 가상 캐릭터 모델(410)을 '모델-3'으로 생성할 수 있다. 이 때, 컨텐츠 생성부(340)는 착용 오브젝트(400)가 '태블릿 PC' 및 '휴대폰'(403)인 경우, 날씨(411)를 '맑음(Sunny)', 배경 공간(412)을 '방(Room)'으로 변화시킬 수 있다.
즉, 착용 오브젝트별로 가상 캐릭터 모델, 날씨, 배경 공간 등이 기설정되어 있으며, 컨텐츠 생성부(340)는 인식된 사용자의 착용 오브젝트에 기초하여 가상 캐릭터 모델, 날씨, 배경 공간 등을 변화시킬 수 있다.
도 5는 본 발명의 일 실시예에 따른 사용자의 위치에 기초하여 변화되는 배경 공간을 설명하기 위한 예시적인 도면이다. 도 5를 참조하면, 컨텐츠 생성부(340)는 인식된 사용자의 위치에 기초하여 디스플레이 장치(110)를 통해 3D 배경 공간의 보여지는 공간이 달라지도록, 카메라 구도를 변화시킬 수 있다.
예를 들어, 컨텐츠 생성부(340)는 인식된 사용자의 위치가 디스플레이 장치(110)의 좌측에 위치한 경우(501), 배경 공간이 좌측 영역(511)이 기준이 되어 보여지도록 카메라의 구도를 좌측으로 변화시킬 수 있다.
다른 예를 들어, 컨텐츠 생성부(340)는 인식된 사용자의 위치가 디스플레이 장치(110)의 중심에 위치한 경우(502), 배경 공간이 중심 영역(512)이 기준이 되어 보여지도록 카메라의 구도를 가운데로 변화시킬 수 있다.
또 다른 예를 들어, 컨텐츠 생성부(340)는 인식된 사용자의 위치가 디스플레이 장치(110)의 우측에 위치한 경우(503), 배경 공간이 우측 영역(513)이 기준이 되어 보여지도록 카메라의 구도를 우측으로 변화시킬 수 있다.
도 6은 본 발명의 일 실시예에 따른 사용자의 위치에 기초하여 변화되는 날씨의 강도 및 배경 시간을 설명하기 위한 예시적인 도면이다. 도 6을 참조하면, 컨텐츠 생성부(340)는 RGB-D 카메라(600)가 구비 또는 별도 설치된 디스플레이 장치(110)의 인식 범위(610) 내에서 인식된 사용자(620)의 위치에 기초하여 날씨의 강도(예를 들어, 1~10) 및 배경 시간(예를 들어, 12~24)을 변화시킬 수 있다.
예를 들어, 컨텐츠 생성부(340)는 RGB-D 카메라(600)의 x축(640)의 중심을 기준으로 하여, 사용자(620)가 RGB-D 카메라(600)의 좌측으로 이동하는 경우, 배경 시간을 '아침'으로 변화시키고, 사용자(620)가 RGB-D 카메라(600)의 우측으로 이동하는 경우, 배경 시간을 '저녁'으로 변화시킬 수 있다.
다른 예를 들어, 컨텐츠 생성부(340)는 RGB-D 카메라(600)의 z축(630)의 중심을 기준으로 하여, 사용자(620)가 RGB-D 카메라(600)에 접근할수록, 날씨의 강도가 강해지도록 변화시키고, 사용자(620)가 RGB-D 카메라(600)에 멀어질수록, 날씨의 강도를 약해지도록 변화시킬 수 있다.
도 7은 본 발명의 일 실시예에 따른 날씨의 강도 및 배경 시간에 기초하여 변화되는 가상 캐릭터 모델의 행동을 설명하기 위한 예시적인 도면이다. 도 7을 참조하면, 컨텐츠 생성부(340)는 변화된 날씨의 강도 및 배경 시간에 기초하여 가상 캐릭터 모델의 행동을 변화시킬 수 있다.
컨텐츠 생성부(340)는 인식된 사용자의 행동(700)을 날씨의 강도 및 배경 시간에 기초하여 세분화시켜, 가상 캐릭터 모델의 행동을 변화시킬 수 있다. 예를 들어, 인식된 사용자의 행동이 '댄스'인 경우, 댄스와 관련된 애니메이션 데이터(701 내지 704) 중 날씨의 강도 '3' 및 배경 시간 '14시'에 기초하여 '댄스 1'(701)과 관련된 애니메이션 데이터를 가상 캐릭터 모델에 적용함으로써, 가상 캐릭터 모델의 행동을 변화시킬 수 있다.
도 8은 본 발명의 일 실시예에 따른 디스플레이 장치에서 컨텐츠를 표시하는 방법의 순서도이다. 도 8에 도시된 디스플레이 장치(110)에서 컨텐츠를 표시하는 방법은 도 1 내지 도 7에 도시된 실시예에 따른 컨텐츠 제공 시스템(1)에 의해 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 7에 도시된 실시예에 따른 디스플레이 장치(110)에서 컨텐츠를 표시하는 방법에도 적용된다.
단계 S810에서 디스플레이 장치(110)는 카메라로부터 촬영된 영상을 수신할 수 있다.
단계 S820에서 디스플레이 장치(110)는 수신한 영상으로부터 소정의 인식 범위 내에 위치한 사용자의 위치, 사용자의 행동 및 착용 오브젝트 중 적어도 하나를 인식할 수 있다.
단계 S830에서 디스플레이 장치(110)는 인식된 사용자의 행동에 기초하여 데이터베이스로부터 애니메이션 데이터를 추출할 수 있다.
단계 S840에서 디스플레이 장치(110)는 인식된 사용자의 위치, 인식된 사용자의 행동 및 인식된 착용 오브젝트 중 적어도 하나에 기초하여 가상 캐릭터 모델을 생성하고, 생성된 가상 캐릭터 모델에 추출된 애니메이션 데이터를 적용하여 컨텐츠를 생성할 수 있다.
단계 S850에서 디스플레이 장치(110)는 생성된 컨텐츠를 표시할 수 있다.
상술한 설명에서, 단계 S810 내지 S850은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 1 내지 도 8을 통해 디스플레이 장치에서 컨텐츠를 표시하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 8을 통해 디스플레이 장치에서 컨텐츠를 표시하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 서버
110: 디스플레이 장치
310: 영상 수신부
320: 인식부
330: 추출부
340: 컨텐츠 생성부
350: 표시부

Claims (5)

  1. 컨텐츠를 표시하는 디스플레이 장치에 있어서,
    카메라로부터 촬영된 영상을 수신하는 영상 수신부;
    상기 수신한 영상으로부터 소정의 인식 범위 내에 위치한 사용자의 위치, 상기 사용자의 행동 및 착용 오브젝트 중 적어도 하나를 인식하는 인식부;
    상기 인식된 사용자의 행동에 기초하여 데이터베이스로부터 애니메이션 데이터를 추출하는 추출부;
    상기 인식된 사용자의 위치, 상기 인식된 사용자의 행동 및 상기 인식된 착용 오브젝트 중 적어도 하나에 기초하여 가상 캐릭터 모델을 생성하고, 상기 생성된 가상 캐릭터 모델에 상기 추출된 애니메이션 데이터를 적용하여 컨텐츠를 생성하는 컨텐츠 생성부; 및
    상기 생성된 컨텐츠를 표시하는 표시부
    를 포함하되,
    상기 컨텐츠 생성부는 상기 인식된 착용 오브젝트에 기초하여 상기 가상 캐릭터 모델, 날씨 및 배경 공간 중 적어도 하나를 변화시키고,
    상기 컨텐츠 생성부는 상기 인식된 사용자의 위치에 기초하여 상기 날씨의 강도 및 배경 시간을 변화시키고,
    상기 변화된 날씨의 강도 및 상기 배경 시간에 기초하여 상기 가상 캐릭터 모델의 행동을 변화시키는 것인, 디스플레이 장치.
  2. 제 1 항에 있어서,
    상기 인식부는 상기 영상으로부터 상기 사용자의 관절 위치 정보 및 관절 회전 정보를 추출하고, 상기 추출된 관절 위치 정보 및 관절 회전 정보에 기초하여 상기 사용자의 행동을 인식하는 것인, 디스플레이 장치.
  3. 제 1 항에 있어서,
    상기 영상은 RGB 영상 및 깊이 영상을 포함하고,
    상기 인식부는 머신 러닝을 통해 상기 RGB 영상으로부터 상기 사용자가 위치한 영역을 추출하고, 상기 깊이 영상을 이용하여 상기 추출된 사용자가 위치한 영역의 픽셀 값의 깊이를 평균화하여 상기 사용자의 위치를 인식하는 것인, 디스플레이 장치.
  4. 삭제
  5. 삭제
KR1020200169898A 2020-12-07 2020-12-07 컨텐츠를 표시하는 디스플레이 장치 KR102459198B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200169898A KR102459198B1 (ko) 2020-12-07 2020-12-07 컨텐츠를 표시하는 디스플레이 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200169898A KR102459198B1 (ko) 2020-12-07 2020-12-07 컨텐츠를 표시하는 디스플레이 장치

Publications (2)

Publication Number Publication Date
KR20220080609A KR20220080609A (ko) 2022-06-14
KR102459198B1 true KR102459198B1 (ko) 2022-10-26

Family

ID=81980065

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200169898A KR102459198B1 (ko) 2020-12-07 2020-12-07 컨텐츠를 표시하는 디스플레이 장치

Country Status (1)

Country Link
KR (1) KR102459198B1 (ko)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101886511B1 (ko) * 2015-09-30 2018-08-07 가부시키가이샤 리코 정보 처리 장치 및 시스템

Also Published As

Publication number Publication date
KR20220080609A (ko) 2022-06-14

Similar Documents

Publication Publication Date Title
EP3382993A1 (en) Method, device and system for generating ar application and presenting ar instance
CN111654746B (zh) 视频的插帧方法、装置、电子设备和存储介质
US11450044B2 (en) Creating and displaying multi-layered augemented reality
US20090257730A1 (en) Video server, video client device and video processing method thereof
CN112684894A (zh) 增强现实场景的交互方法、装置、电子设备及存储介质
US9076345B2 (en) Apparatus and method for tutoring in convergence space of real and virtual environment
CN107135387A (zh) 基于vr技术的在线客户接待方法及其系统
CN113840049A (zh) 图像处理方法、视频流场景切换方法、装置、设备及介质
KR20210036212A (ko) 증강 현실 서비스를 제공하는 서버, 사용자 단말 및 방법
KR20140083654A (ko) 객체에 대한 부가정보를 생성하는 장치 및 방법 그리고, 부가정보를 공유하는 서버
CN113194254A (zh) 图像拍摄方法及装置、电子设备和存储介质
CN113453027B (zh) 直播视频、虚拟上妆的图像处理方法、装置及电子设备
CN114630057B (zh) 确定特效视频的方法、装置、电子设备及存储介质
CN112492231A (zh) 远程交互方法、装置、电子设备和计算机可读存储介质
CN106101575A (zh) 一种增强现实照片的生成方法、装置及移动终端
CN114187392B (zh) 虚拟偶像的生成方法、装置和电子设备
CN107204026B (zh) 一种用于显示动画的方法和装置
CN113849575B (zh) 数据处理方法、装置和系统
CN106027815A (zh) 来电信息显示方法和系统、服务器、客户端
US20190114675A1 (en) Method and system for displaying relevant advertisements in pictures on real time dynamic basis
CN108320331B (zh) 一种生成用户场景的增强现实视频信息的方法与设备
KR102459198B1 (ko) 컨텐츠를 표시하는 디스플레이 장치
CN113014960B (zh) 一种在线制作视频的方法、装置及存储介质
KR20170127354A (ko) 페이셜 모션 캡쳐를 이용한 얼굴 변환 화상 대화 장치 및 방법
CN103294193A (zh) 多终端互动的方法、装置和系统

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)