KR20240016727A - 경험 공유 시스템 및 방법 - Google Patents

경험 공유 시스템 및 방법 Download PDF

Info

Publication number
KR20240016727A
KR20240016727A KR1020220094843A KR20220094843A KR20240016727A KR 20240016727 A KR20240016727 A KR 20240016727A KR 1020220094843 A KR1020220094843 A KR 1020220094843A KR 20220094843 A KR20220094843 A KR 20220094843A KR 20240016727 A KR20240016727 A KR 20240016727A
Authority
KR
South Korea
Prior art keywords
experience
user
image
content
experience content
Prior art date
Application number
KR1020220094843A
Other languages
English (en)
Inventor
장경진
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020220094843A priority Critical patent/KR20240016727A/ko
Priority to US18/200,111 priority patent/US20240037867A1/en
Publication of KR20240016727A publication Critical patent/KR20240016727A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q2220/00—Business processing using cryptography
    • G06Q2220/10—Usage protection of distributed data files
    • G06Q2220/16—Copy protection or prevention
    • G06Q2220/165—Having origin or program ID
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Tourism & Hospitality (AREA)
  • Computing Systems (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Optics & Photonics (AREA)
  • Remote Sensing (AREA)
  • Architecture (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 가상현실을 이용하여 타인과 경험을 공유하는 경험 공유 시스템 및 방법에 관한 것으로, 카메라 및 마이크로폰을 이용하여 제1 사용자의 주변 환경 영상, 사용자 반응 영상 및 주변 소리를 기록하여 경험 콘텐츠를 생성하는 VR(Virtual Reality) 녹화 장치, 상기 경험 콘텐츠를 재생하여 제2 사용자에게 제공하는 VR 재생 장치, 및 상기 VR 녹화 장치 및 상기 VR 재생 장치와 통신망을 통해 연결되는 데이터 처리 장치를 포함하고, 상기 데이터 처리 장치는, 상기 VR 녹화 장치로부터 수신한 상기 경험 콘텐츠를 사전 분석하여 카테고리를 분류하고, 분류된 카테고리에 매칭되는 3차원 이미지를 상기 경험 콘텐츠에 추가하고, 상기 3차원 이미지가 추가된 상기 경험 콘텐츠를 DB에 저장하고, 상기 VR 재생 장치의 요청에 따라 상기 경험 콘텐츠를 상기 DB에서 액세스하여 상기 VR 재생 장치에 전송할 수 있다.

Description

경험 공유 시스템 및 방법{EXPERIENCE SHARING SYSTEM AND METHOD}
본 발명은 가상현실(Virtual Reality)을 이용하여 타인과 경험을 공유하는 경험 공유 시스템 및 방법에 관한 것이다.
가상현실(Virtual Reality, VR) 및 메타버스(metaverse) 등과 같은 기술이 발달함에 따라 가상 환경에서 타인과 상호작용할 수 있는 몰입형 경험(immersive experience) 즉, 초경험(Hyper Reality Experience)에 대한 관심이 증가하고 있다. 기존의 대표적인 VR 시스템인 HMD(Head Mounted Display)는 메이커(maker)가 설계한 가상환경만을 제공할 수 있어 사용자가 경험할 수 있는 환경이 제한되고 사용자가 개별적으로 경험한 환경을 녹화하고 녹화본(recoding)을 다른 사용자들과 공유할 수 없다.
또한, 차량용 AVN(Audio, Video, Navigation) 등과 같은 영상 시청 장치는 녹화된 영상을 단순 재생할 뿐, 녹화된 영상 속 제3자가 바라보는 시각(viewpoint)에서 함께 바라보도록 영상 및 소리를 현실감 있게 재생할 수 없다.
KR 1020170081456 A KR 1020200003291 A
본 발명은 유명한 스타 또는 인플루언서(influencer) 등과 같은 사용자가 특별한 장소(특정 장소)에서 자신의 멋진 경험을 녹화하고, 다른 사용자들이 그 녹화본을 받아서 재생함으로써, 그들의 경험을 공유하는 경험 공유 시스템 및 방법을 제공하고자 한다.
본 발명의 실시 예들에 따른 경험 공유 시스템은 카메라 및 마이크로폰을 이용하여 제1 사용자의 주변 환경 영상, 사용자 반응 영상 및 주변 소리를 기록하여 경험 콘텐츠를 생성하는 VR(Virtual Reality) 녹화 장치, 상기 경험 콘텐츠를 재생하여 제2 사용자에게 제공하는 VR 재생 장치, 및 상기 VR 녹화 장치 및 상기 VR 재생 장치와 통신망을 통해 연결되는 데이터 처리 장치를 포함하고, 상기 데이터 처리 장치는, 상기 VR 녹화 장치로부터 수신한 상기 경험 콘텐츠를 사전 분석하여 카테고리를 분류하고, 분류된 카테고리에 매칭되는 이미지를 상기 경험 콘텐츠에 추가하고, 상기 이미지가 추가된 상기 경험 콘텐츠를 DB에 저장하고, 상기 VR 재생 장치의 요청에 따라 상기 경험 콘텐츠를 상기 DB에서 액세스하여 상기 VR 재생 장치에 전송할 수 있다.
상기 사용자 반응 영상은, 상기 제1 사용자의 얼굴 표정 또는 동작 중 적어도 하나를 포함할 수 있다.
상기 주변 소리는, 상기 제1 사용자의 주변 환경 소리 및 음성을 포함할 수 있다.
상기 VR 녹화 장치는, 상기 경험 콘텐츠에 상기 제1 사용자의 고유 정보를 추가할 수 있다.
상기 데이터 처리 장치는, AI 알고리즘을 이용하여 계절 및 장소 유형을 분류할 수 있다.
상기 이미지는, 군중, 건물 또는 자연 환경 중 적어도 하나에 대한 3차원 이미지를 포함할 수 있다.
상기 VR 재생 장치는, 상기 제2 사용자에 의한 경험 콘텐츠 선택 정보, 제1 옵션 선택 정보 및 제2 옵션 선택 정보를 상기 데이터 처리 장치에 전송하고, 상기 데이터 처리 장치는, 상기 제1 옵션 선택 정보 및 상기 제2 옵션 선택 정보에 기반하여 상기 경험 콘텐츠의 상기 주변 환경 영상 및 주변 소리를 보정하고, 보정된 경험 콘텐츠를 상기 VR 재생 장치에 전송할 수 있다.
상기 제1 옵션 선택 정보는, 날씨 변경, 시간 변경 또는 배경 소리 추가 중 적어도 하나와 관련된 정보를 포함하고, 상기 제2 옵션 선택 정보는, 배경 추가와 관련된 정보를 포함할 수 있다.
상기 경험 공유 시스템은 상기 데이터 처리 장치의 요청에 따라 상기 경험 콘텐츠를 판매용 콘텐츠로 등록하는 거래 서버를 더 포함할 수 있다.
상기 경험 공유 시스템은 상기 거래 서버의 요청에 따라 상기 판매용 콘텐츠로 등록된 경험 콘텐츠를 NFT(Non-Fungible Token)로 변환하여 디지털 자산화하는 NFT 변환 서버를 더 포함할 수 있다.
본 발명의 실시 예들에 따른 경험 공유 방법은 VR(Virtual Reality) 녹화 장치가 카메라 및 마이크로폰을 이용하여 제1 사용자의 주변 환경 영상, 사용자 반응 영상 및 주변 소리를 기록하여 경험 콘텐츠를 생성하는 단계, 상기 VR 녹화 장치가 상기 경험 콘텐츠를 데이터 처리 장치로 전송하는 단계, 상기 데이터 처리 장치가 상기 VR 녹화 장치로부터 수신되는 상기 경험 콘텐츠를 사전 분석하여 카테고리를 분류하는 단계, 상기 데이터 처리 장치가 분류된 카테고리에 매칭되는 이미지를 상기 경험 콘텐츠에 추가하는 단계, 상기 데이터 처리 장치가 이미지가 추가된 경험 콘텐츠를 DB에 저장하는 단계, 상기 데이터 처리 장치가 VR 재생 장치의 요청에 따라 상기 경험 콘텐츠를 상기 DB에서 액세스하여 상기 VR 재생 장치로 전송하는 단계, 및 상기 VR 재생 장치가 상기 경험 콘텐츠를 재생하여 제2 사용자에게 제공하는 단계를 포함할 수 있다.
상기 사용자 반응 영상은, 상기 제1 사용자의 얼굴 표정 또는 동작 중 적어도 하나를 포함할 수 있다.
상기 주변 소리는, 상기 제1 사용자의 주변 환경 소리 및 음성을 포함할 수 있다.
상기 경험 콘텐츠를 생성하는 단계는, 상기 VR 녹화 장치가 상기 경험 콘텐츠에 상기 제1 사용자의 고유 정보를 추가하는 단계를 포함할 수 있다.
상기 카테고리를 분류하는 단계는, 상기 데이터 처리 장치가 AI 알고리즘을 이용하여 계절 및 장소 유형을 분류하는 단계를 포함할 수 있다.
상기 이미지는, 군중, 건물 또는 자연 환경 중 적어도 하나에 대한 3차원 이미지를 포함할 수 있다.
상기 VR 재생 장치로 전 송하는 단계는, 상기 VR 재생 장치가 상기 제2 사용자에 의한 경험 콘텐츠 선택 정보, 제1 옵션 선택 정보 및 제2 옵션 선택 정보를 상기 데이터 처리 장치에 전송하는 단계, 상기 데이터 처리 장치가 상기 제1 옵션 선택 정보 및 상기 제2 옵션 선택 정보에 기반하여 상기 경험 콘텐츠의 상기 주변 환경 영상 및 주변 소리를 보정하는 단계, 및 상기 데이터 처리 장치가 보정된 경험 콘텐츠를 상기 VR 재생 장치에 전송하는 단계를 포함할 수 있다.
상기 제1 옵션 선택 정보는, 날씨 변경, 시간 변경 또는 배경 소리 추가 중 적어도 하나와 관련된 정보를 포함하고, 상기 제2 옵션 선택 정보는, 배경 추가와 관련된 정보를 포함할 수 있다.
상기 경험 공유 방법은 상기 데이터 처리 장치가 상기 경험 콘텐츠를 거래 서버에 판매용 콘텐츠로 등록하는 단계를 더 포함할 수 있다.
상기 경험 공유 방법은 상기 거래 서버가 상기 판매용 콘텐츠로 등록된 경험 콘텐츠의 디지털 자산화를 NFT(Non-Fungible Token) 변환 서버에 요청하는 단계, 및 상기 NFT 변환 서버가 상기 판매용 콘텐츠로 등록된 경험 콘텐츠를 NFT로 변환하는 단계를 더 포함할 수 있다.
본 발명에 따르면, 유명한 스타 또는 인플루언서(influencer) 등과 같은 사용자가 특별한 장소(특정 장소)에서 자신의 멋진 경험을 녹화하고, 다른 사용자들이 그 녹화본을 받아서 재생함으로써, 그들의 경험을 공유할 수 있다.
도 1은 본 발명의 실시 예들에 따른 경험 공유 시스템을 도시한 구성도이다.
도 2는 본 발명의 실시 예들에 따른 VR 녹화 장치(100)의 블록구성도를 도시한다.
도 3은 본 발명의 실시 예들에 따른 VR 녹화 장치의 구현 예를 도시한다.
도 4는 본 발명의 실시 예들에 따른 VR 재생 장치를 도시한 블록구성도이다.
도 5 및 도 6은 본 발명의 실시 예들에 따른 영상 표시 예를 도시한 도면이다.
도 7는 본 발명의 실시 예들에 따른 VR 녹화 과정을 도시한 흐름도이다.
도 8은 본 발명의 실시 예들에 따른 데이터 처리 장치의 경험 콘텐츠 업로드 과정을 도시한 흐름도이다.
도 9는 본 발명의 실시 예들에 따른 데이터 처리 장치의 경험 콘텐츠 다운로드 과정을 도시한 흐름도이다.
도 10은 본 발명의 실시 예들에 따른 경험 콘텐츠 보정 일 예를 도시한 도면이다.
도 11은 본 발명의 실시 예들에 따른 경험 콘텐츠 보정 다른 일 예를 도시한 도면이다.
도 12는 본 발명의 실시 예들에 따른 VR 재생 장치의 작동 과정을 도시한 흐름도이다.
도 13은 본 발명의 실시 예들에 따른 사용자 반응 영상 보정하는 과정을 도시한 흐름도이다.
도 14는 본 발명의 실시 예들에 따른 경험 콘텐츠 거래 과정을 도시한 흐름도이다.
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명은 유명한 스타 또는 인플루언서(influencer) 등과 같은 사용자가 특정 장소에서 자신의 경험을 기록한 경험 콘텐츠를 다른 사용자들과 공유하는 기술에 관한 것이다. 경험 콘텐츠는 미래 모빌리티에서 메타버스를 활용하는 엔터테인먼트용 상품들 중 하나이다. 경험 콘텐츠 공유는 일상 생활에서 사용도 가능하고 자율주행차량 내부에서 휴식하면서 사용도 가능하다. 경험 콘텐츠 공유 기술을 차량에 임베딩시켜 레이싱 경험 파일 등을 제공하는 상품도 개발 가능하다.
도 1은 본 발명의 실시 예들에 따른 경험 공유 시스템을 도시한 구성도이다.
본 실시 예에서는 제1 사용자(U1)의 경험 콘텐츠를 제2 사용자(U2)에게 공유하는 것을 일 예로 설명한다. 제1 사용자(U1)는 유명한 배우, 가수, 스포츠 스타, 또는 인플루언서 등일 수 있다. 제2 사용자(U2)는 일반 사용자로, 제1 사용자(U1)의 팬(supporter)일 수 있다.
도 1을 참조하면, 경험 공유 시스템은 통신망(예: 무선 통신망, 유선 통신망, 또는 이동통신망 등)을 통해 연결되는 VR(Virtual Reality) 녹화 장치(100), 데이터 처리 장치(200), VR 재생 장치(300), 거래 서버(400) 및 NFT(Non-Fungible Token) 변환 서버(500)를 포함할 수 있다.
VR 녹화 장치(100)는 제1 사용자(U1)가 특정 장소(예: 첨성대 또는 경복궁 등)에서 색다른 경험을 하면서 주변 환경 영상(배경 영상), 주변 소리(또는, 주변 사운드) 및 제1 사용자(U1)의 반응 영상 등과 같은 정보를 녹화(기록)할 수 있다. 주변 소리는 주변 환경 소리(배경 소리) 및 제1 사용자(U1)의 음성 등을 포함할 수 있다. VR 녹화 장치(100)는 녹화본(또는, 녹화 파일)을 이용하여 경험 콘텐츠를 생성할 수 있다. 경험 콘텐츠는 주변 영상 정보, 주변 소리 정보 및 제1 사용자(U1)의 반응 영상 정보 외 제1 사용자(U1)의 고유 정보를 포함할 수 있다. 여기서, 고유 정보는 제1 사용자(U1)를 식별하기 위한 정보이다. VR 녹화 장치(100)는 생성된 경험 콘텐츠를 데이터 처리 장치(200)로 출력할 수 있다.
데이터 처리 장치(200)는 제1 사용자(U1)가 자신의 녹화 파일을 데이터 처리 장치(200)에 업로딩 및 저장할 수 있게 한다. 다시 말해서, 데이터 처리 장치(200)는 VR 녹화 장치(100)로부터 전송되는 경험 콘텐츠를 수신하여 데이터베이스(DB)에 저장할 수 있다. 데이터 처리 장치(200)는 제2 사용자(U2)에 의해 선택된 옵션에 따라 해당 녹화 파일(즉, 제1 사용자(U1)의 경험 콘텐츠)의 영상과 소리를 보정할 수 있다. 이러한 데이터 처리 장치(200)는 통신 회로(210), 저장소(220) 및 프로세서(230) 등을 포함할 수 있다.
통신 회로(210)는 VR 녹화 장치(100), VR 재생 장치(300) 및/또는 거래 서버(400)와 데이터 처리 장치(200)의 유무선 통신을 지원할 수 있다. 통신 회로(210)는 무선 통신 회로(예: 와이파이(Wi-Fi) 통신 회로, 블루투스 통신 회로, NFC(Near Field Communication) 통신 회로, 및/또는 이동 통신 회로 등) 및/또는 유선 통신 회로(예: LAN(local area network) 통신 회로, 이더넷(Ethernet) 통신 회로 및/또는 ISDN(Integrated Services Digital Network) 통신 회로 등) 등을 포함할 수 있다.
저장소(220)에는 경험 콘텐츠 DB가 구현될 수 있다. 저장소(220)는 사전에 학습된 AI(Artificial Intelligence) 알고리즘, 사전 분석 모듈 및 실시간 분석 모듈 등을 저장할 수 있다. 여기서, 사전 분석 모듈 및 실시간 분석 모듈은 소프트웨어 모듈로, 프로세서(230)에 의해 실행될 수 있다. 저장소(220)는 프로세서(230)에 의해 실행되는 명령어들(instructions)을 저장하는 저장매체(non-transitory storage medium)일 수 있다. 저장소(220)는 플래시 메모리(flash memory), 하드디스크(hard disk), SSD(Solid State Disk), SD 카드(Secure Digital Card), RAM(Random Access Memory), SRAM(Static Random Access Memory), ROM(Read Only Memory), PROM(Programmable Read Only Memory), EEPROM(Electrically Erasable and Programmable ROM), EPROM(Erasable and Programmable ROM), 착탈형 디스크 및 웹 스토리지(web storage) 등의 저장매체(기록매체) 중 적어도 하나로 구현될 수 있다.
프로세서(230)는 데이터 처리 장치(200)의 전반적인 동작을 제어할 수 있다. 프로세서(230)는 ASIC(Application Specific Integrated Circuit), DSP(Digital Signal Processor), PLD(Programmable Logic Device), FPGA(Field Programmable Gate Array), CPU(Central Processing unit), 마이크로컨트롤러(microcontroller) 및/또는 마이크로프로세서(microprocessor) 등의 처리장치 중 적어도 하나로 구현될 수 있다.
프로세서(230)는 통신 회로(210)를 통해 VR 녹화 장치(100)에서 전송되는 제1 사용자(U1)의 경험 콘텐츠를 수신할 수 있다. 프로세서(230)는 VR 녹화 장치(100)에 의해 녹화된 주변 환경 영상 및 사용자 반응 영상과 녹음된 주변 소리를 기반으로 생성된 경험 콘텐츠를 수신할 수 있다. 프로세서(230)는 수신된 경험 콘텐츠를 저장소(220)에 저장할 수 있다.
프로세서(230)는 경험 콘텐츠 내 주변 환경 영상을 사전 분석하여 카테고리를 분류할 수 있다. 프로세서(230)는 사전에 학습된 AI 알고리즘을 이용하여 사전 분석을 수행할 수 있다. AI 알고리즘으로는 SSD(Single Shot Detector), YOLO(You Only Look Once) 및/또는 Reginal CNN(Convolutional Neural Networks) 알고리즘 등과 같은 딥러닝(Deep Learning) 알고리즘이 사용될 수 있다. 프로세서(230)는 주변 환경 영상(경험 콘텐츠의 배경 화면)에 대한 사전 분석을 통해 주변 환경 영상 속 계절과 장소 유형 등을 분류할 수 있다. 여기서, 장소 유형은 눈 덮인 산, 푸른 산, 바위산, 들판, 도시, 바닷가 및 강가 등으로 분류될 수 있다. 일 예로, 프로세서(230)는 딥러닝 알고리즘을 이용하여 이미지 내 객체들(예: 나무, 빌딩, 차량 등)을 캐치한 후 해당 객체들의 특징을 분석하고 그 분석결과를 토대로 장소 유형을 분류할 수 있다. 다른 일 예로, 프로세서(230)는 딥러닝 알고리즘을 이용하여 영상 속 주변 객체를 파악한 후 해당 주변 객체가 어떤 계절과 관련 있는지를 미리 학습시킨 후 이를 이용하여 계절을 분류할 수 있다.
프로세서(230)는 3차원 이미지 DB로부터 분류된 카테고리에 매칭되는 3차원 이미지를 선정하여 경험 콘텐츠에 추가할 수 있다. 프로세서(230)는 분류된 계절 및 장소에 어울리는 의상을 착용한 군중, 분류된 장소에 어울리는 건물, 분류된 계절 및/또는 장소에 어울리는 자연 환경 요소 등의 3차원 이미지를 선정하고 선정된 3차원 이미지를 경험 콘텐츠에 추가할 수 있다. 프로세서(230)는 선정된 3차원 이미지가 추가된 경험 콘텐츠를 저장소(220) 내 경험 콘텐츠 DB에 저장할 수 있다.
프로세서(230)는 경험 콘텐츠 내 사용자 반응 영상에서 사용자의 VR 녹화 장치(100)의 이미지를 제거할 수 있다. 프로세서(230)는 사용자의 VR 녹화 장치(100)의 이미지가 제거된 경험 콘텐츠를 저장소(220)에 저장할 수 있다.
프로세서(230)는 VR 재생 장치(300)로부터 전송되는 제2 사용자(U2)의 경험 콘텐츠 선택 정보를 수신할 수 있다. 프로세서(230)는 제2 사용자(U2)에 의해 선택된 제1 사용자(U1)의 경험 콘텐츠를 저장소(220) 내 경험 콘텐츠 DB로부터 액세스할 수 있다.
프로세서(230)는 사용자의 VR 재생 장치(300)로부터 제1 옵션 선택 정보를 수신할 수 있다. 여기서, 제1 옵션 선택 정보는 날씨 변경, 시간 변경 및/또는 배경 소리 추가(주변 소리 추가) 등의 정보를 포함할 수 있다. 프로세서(230)는 제1 옵션 선택 정보에 기반하여 경험 콘텐츠 내 주변 환경 영상 및 주변 소리를 수정(보정)할 수 있다.
프로세서(230)는 제1 옵션 선택 정보가 날씨 변경 정보인 경우, 날씨 변경 정보에 포함된 날씨 종류 및/또는 강도 등에 따라 주변 환경 영상을 보정할 수 있다. 프로세서(230)는 날씨 종류가 맑음 또는 흐림인 경우, 햇살의 형상 및 강도 등에 따라 전체 화면의 밝기를 결정하고, 햇살의 형상을 추가하여 주변 환경 영상을 보정할 수 있다. 프로세서(230)는 날씨 종류가 비, 바람 및/또는 안개인 경우, 날씨 종류에 매칭되는 객체 이미지와 선택된 강도(예: 0~100%)에 비례하는 빈도수를 결정할 수 있다. 프로세서(230)는 빈도수에 기반하여 주변 환경 영상 위에 객체 이미지를 추가하고, 움직이는 형태로 재생할 수 있다.
프로세서(230)는 제1 옵션 선택 정보가 시간 변경 정보인 경우, 시간 변경 정보에 포함된 선택된 시간에 따라 전체 화면의 밝기를 결정하고, 결정된 밝기에 따라 주변 환경 영상의 밝기를 보정할 수 있다. 예컨대, 프로세서(230)는 낮 시간대가 선택된 경우 화면 밝기를 상대적으로 높게 결정하고, 밤 시간대가 선택된 경우 화면 밝기를 상대적으로 낮게 결정할 수 있다.
프로세서(230)는 제1 옵션 선택 정보가 배경 소리 추가 정보인 경우, 배경 소리 추가 정보에 포함된 배경 소리(배경 사운드) 종류(예: 천둥소리, 빗소리 등)에 따른 미리 저장된 음원을 결정할 수 있다.
프로세서(230)는 제1 옵션 선택 정보에 기반하여 주변 환경 영상을 실시간으로 보정하여 준비할 수 있다. 또한, 프로세서(230)는 경험 콘텐츠에 추가할 배경 소리 음원도 실시간으로 준비할 수 있다.
프로세서(230)는 VR 재생 장치(300)로부터 제2 옵션 선택 정보를 수신할 수 있다. 제2 옵션 선택 정보는 사용자에 의해 선택되는 것으로, 군중, 건물 및/또는 자연 환경(자연 환경 요소) 등의 배경 추가 정보를 포함할 수 있다. 프로세서(230)는 AI 알고리즘을 이용하여 경험 콘텐츠의 주변 환경 영상 위에 제2 옵션 선택 정보에 기반한 3차원 이미지를 배치할 수 있다. 다시 말해서, 프로세서(230)는 제2 옵션 선택 정보에 따른 군중, 건물 및/또는 자연 환경 등의 3차원 이미지를 주변 환경 영상 상에 배치할 수 있다.
구체적으로, 군중의 3차원 이미지를 추가하는 경우, 프로세서(230)는 AI 알고리즘을 이용하여 경험 콘텐츠의 주변 환경 영상(오리지널 배경 화면)의 계절을 분석하여 군중의 의상 종류(예: 여름 옷, 겨울 옷)를 결정할 수 있다. 또한, 프로세서(230)는 AI 알고리즘을 이용하여 주변 환경 영상의 장소를 분석하고 분석결과에 따라 의상 종류(예: 등산복, 스키복, 수영복, 작업복 등)를 추가적으로 결정할 수 있다. 프로세서(230)는 결정된 의상을 입고 있는 군중의 3차원 이미지를 미리 저장된 DB로부터 불러올 수 있다.
다른 예로, 건물의 3차원 이미지를 추가하는 경우, 프로세서(230)는 AI 알고리즘을 이용하여 주변 환경 영상의 장소를 분석하고 분석결과에 따라 건물의 형태(예: 펜션, 오두막, 아파트, 빌딩 등)를 결정할 수 있다. 프로세서(230)는 결정된 건물 형태에 매칭되는 건물의 3차원 이미지를 미리 저장된 DB로부터 액세스할 수 있다.
또 다른 예로, 자연 환경을 추가하는 경우, 프로세서(230)는 AI 알고리즘을 이용하여 주변 환경 영상의 계절을 분석하고 그 분석결과에 따라 자연 환경의 계절(예: 여름, 겨울 등)을 결정할 수 있다. 프로세서(230)는 AI 알고리즘을 이용하여 주변 환경 영상의 장소를 분석하고 그 분석결과를 토대로 자연 환경의 종류(예: 바위산, 숲 속, 들판, 바닷가, 강가, 도시 등)를 결정할 수 있다. 프로세서(230)는 룩업테이블을 참조하여 결정된 자연 환경의 계절과 종류에 매칭되는 추가적인 자연 환경 요소를 결정할 수 있다. 프로세서(230)는 결정된 자연 환경 요소의 3차원 이미지(예: 작은 나무, 풀밭, 꽃밭, 바위, 활엽수, 침엽수 등)를 미리 저장된 DB로부터 액세스할 수 있다.
프로세서(230)는 DB로부터 액세스한 3차원 이미지를 주변 환경 영상 상의 앞쪽 가장자리에 임의로 배치할 수 있다. 프로세서(230)는 주변 환경 영상의 변화를 분석하여 제1 사용자(U1)의 이동 방향 및 빠르기 등을 추정할 수 있다. 프로세서(230)는 추정된 이동 방향 및 빠르기 등에 비례하여 추가된 3차원 이미지를 회전시키고, 제1 사용자(U1)의 이동에 따라 추가된 3차원 이미지의 뷰포인트도 함께 변하도록 만들 수 있다. 프로세서(230)는 제1 옵션 선택 정보에 기반한 보정 영상과 제2 옵션 선택 정보에 기반한 보정 영상을 합성하여 준비할 수 있다. 이때, 프로세서(230)는 GAN(Generative Adversarial Network) 알고리즘을 이용하여 이미지 합성을 수행할 수 있다.
프로세서(230)는 통신 회로(210)를 통해 제1 옵션 선택 정보 및 제2 옵션 선택 정보에 기반하여 보정된 경험 콘텐츠를 VR 재생 장치(200)로 전송할 수 있다.
VR 재생 장치(300)는 제2 사용자(U2)가 녹화 파일을 다운받아서 제1 사용자(U1)가 경험한 주변 환경 영상, 주변 환경 소리 및 제1 사용자(U1)의 반응 영상을 VR 화면에서 재생하고 그 영상과 소리를 보정할 수 있다. 따라서, VR 재생 장치(300)는 보다 현실감 있는 사운드, 영상 및 특정인의 반응을 함께 느낄 수 있게 한다.
거래 서버(400)는 데이터 처리 장치(200)와 유선 및/또는 무선 통신망을 통해 연결되며, 제1 사용자(U1)와 제2 사용자(U2) 간의 경험 콘텐츠 거래를 중개할 수 있다. 도면에 도시하지 않았지만, 거래 서버(400)는 데이터 처리 장치(200) 및 NFT 변환 서버(500)와의 통신을 지원하는 통신 회로를 포함할 수 있다. 또한, 거래 서버(400)는 기정해진 경험 콘텐츠 거래 프로세스에 따라 콘텐츠 거래를 처리하는 프로세서 및 프로세서에 의해 실행되는 명령어들을 저장하는 메모리 등을 포함할 수 있다. 메모리는 판매용 경험 콘텐츠를 별도로 저장할 수도 있다.
NFT 변환 서버(500)는 거래 서버(400)로부터 경험 콘텐츠의 디지털 자산화를 요청받으면, 경험 콘텐츠를 NFT로 변환하여 디지털 자산화할 수 있다. NFT 변환 서버(500)는 디지털 자산인 경험 콘텐츠에 고유한 인식 값을 부여하고 부여된 고유한 인식 값을 블록 체인에 기록할 수 있다. 또한, NFT 변환 서버(500)는 경험 콘텐츠의 소유자를 블록 체인에 기록할 수도 있다.
도 2는 본 발명의 실시 예들에 따른 VR 녹화 장치(100)의 블록구성도를 도시한다.
도 2를 참조하면, VR 녹화 장치(100)는 제1 카메라(110), 제2 카메라(120), 마이크로폰(130), 사용자 인터페이스(140), 메모리(150), 통신 회로(160) 및 프로세서(170)를 포함할 수 있다.
제1 카메라(110)는 외부 영상을 촬영할 수 있다. 즉, 제1 카메라(110)는 사용자의 주변 환경 영상을 획득할 수 있다. 제1 카메라(110)는 서로 다른 위치에 설치되는 적어도 둘 이상의 소형 카메라를 포함할 수 있다.
제2 카메라(120)는 사용자 반응 영상 정보를 촬영할 수 있다. 제2 카메라(120)는 VR 녹화 장치(100)를 착용하는 사용자를 향하도록 설치되며 사용자의 얼굴 표정 및/또는 동작 등을 촬영할 수 있다. 다시 말해서, 제2 카메라(120)는 사용자의 얼굴 영상 및/또는 동작 영상 등을 획득할 수 있다. 제2 카메라(120)는 적어도 하나의 소형 카메라를 포함할 수 있다.
제1 카메라(110) 및 제2 카메라(120)는 이미지 센서 및 이미지 센서를 통해 획득한 영상에 대해 노이즈(noise) 제거, 컬러재현, 파일 압축, 화질 조절 및 채도 조절 등의 이미지 처리를 수행하는 이미지 처리기 등을 포함할 수 있다.
마이크로폰(130)은 외부 소리를 녹음할 수 있다. 마이크로폰(130)은 서로 다른 위치에 설치되는 적어도 둘 이상의 소형 마이크로폰을 포함할 수 있다. 마이크로폰(130)은 사용자의 주변 환경 소리 및/또는 사용자 음성 등의 주변 소리를 녹음할 수 있다.
사용자 인터페이스(140)는 디지털 자산화를 위해 사용자 고유 정보를 입력받을 수 있다. 사용자 인터페이스(140)는 사용자와의 상호 작용을 위한 것으로, 키보드, 터치 스크린, 터치 패드 및/또는 버튼 등으로 구현될 수 있다.
메모리(150)는 제1 카메라(110) 및 제2 카메라(120)에 의해 촬영된 주변 환경 영상 및 사용자 반응 영상을 저장할 수 있다. 메모리(150)는 마이크로폰(130)에 의해 녹음된 주변 소리 즉, 주변 환경 소리 및 사용자 음성을 저장할 수 있다. 메모리(150)는 프로세서(170)에 의해 실행되는 명령어들을 저장하는 저장매체일 수 있다. 메모리(150)는 플래시 메모리, 하드디스크, SSD, RAM, SRAM, ROM, PROM, EEPROM 및 EPROM 등의 저장매체 중 적어도 하나를 포함할 수 있다.
통신 회로(160)는 VR 녹화 장치(100)와 외부 장치(예: 데이터 처리 장치(200) 또는 거래 서버(400) 등) 사이의 유선 및/또는 무선 통신을 지원할 수 있다. 통신 회로(160)는 무선 통신 회로(예: Wi-Fi 통신 회로, 블루투스 통신 회로, NFC 통신 회로, 및/또는 이동 통신 회로 등) 및/또는 유선 통신 회로(예: LAN 통신 회로, 이더넷 통신 회로 및/또는 ISDN 통신 회로 등) 등을 포함할 수 있다.
프로세서(170)는 VR 녹화 장치(100)의 전반적인 동작을 제어할 수 있다. 프로세서(170)는 ASIC, DSP, PLD, FPGA, CPU, 마이크로컨트롤러 및/또는 마이크로프로세서 등의 처리장치 중 적어도 하나로 구현될 수 있다.
프로세서(170)는 특정 장소에서의 사용자 경험을 기록할 수 있다. 먼저, 프로세서(170)는 사용자 인터페이스(140)를 통해 입력되는 사용자 입력에 따라 제2 카메라(120)를 이용해 VR 녹화 장치(100)를 착용하지 않은 사용자(도 1의 제1 사용자(U1))의 얼굴 정지 영상을 획득할 수 있다. 이때, 프로세서(170)는 사용자의 얼굴 영상을 적어도 하나 이상 촬영할 수 있다.
프로세서(170)는 제1 카메라(110)를 이용하여 사용자의 주변 환경 영상을 획득할 수 있다. 프로세서(170)는 마이크로폰(130)을 통해 사용자의 주변 소리를 녹음할 수 있다. 다시 말해서, 프로세서(170)는 사용자의 주변 환경 소리 및 사용자 음성을 획득할 수 있다. 프로세서(170)는 제2 카메라(120)를 통해 사용자 반응 영상을 획득할 수 있다. 사용자 반응 영상은 사용자의 얼굴 표정 및 동작 등을 포함할 수 있다. 프로세서(170)는 주변 환경 영상, 주변 소리 및 사용자 반응 영상을 이용하여 경험 콘텐츠를 생성할 수 있다. 이때, 프로세서(170)는 경험 콘텐츠에 사용자의 고유 정보를 추가할 수 있다. 프로세서(170)는 생성된 경험 콘텐츠를 메모리(150)에 저장할 수 있다. 또한, 프로세서(170)는 통신 회로(160)를 통해 생성된 경험 콘텐츠를 데이터 처리 장치(200)로 전송할 수 있다.
도 3은 본 발명의 실시 예들에 따른 VR 녹화 장치의 구현 예를 도시한다.
VR 녹화 장치(100)는 도 3에 도시된 바와 같이 모자형(101), 헤드폰형(102) 및 머리띠형(103) 등과 같이 착용이 간편한 형태로 제작될 수 있다. VR 녹화 장치(100)는 작고 가벼우며 사용자의 머리 또는 이마 등에 쉽게 탈착 가능한 형태여야 한다. 또한, VR 녹화 장치(100)는 입체감 있는 주변 영상 녹화를 위해 서로 다른 위치에 장착되는 적어도 둘 이상의 제1 카메라를 포함할 수 있다. 제1 카메라는 소형 카메라일 수 있다. VR 녹화 장치(100)는 녹화하는 사용자의 실감나는 얼굴 반응 영상을 녹화하기 위해 사용자의 전방을 향하는 지지대의 단부에 설치되는 제2 카메라를 포함할 수 있다. 또한, VR 녹화 장치(100)는 방향성 있는 주변 소음과 사용자(녹화자)의 음성을 녹음하기 위하여 적어도 2채널 이상의 마이크로폰(소형 마이크로폰)을 포함할 수 있다.
도 4는 본 발명의 실시 예들에 따른 VR 재생 장치를 도시한 블록구성도이다. 도 5 및 도 6은 본 발명의 실시 예들에 따른 영상 표시 예를 도시한 도면이다.
VR 재생 장치(300)는 차량용 디스플레이 장치 또는 HMD 등일 수 있다. VR 재생 장치(300)는 송수신기(transceiver)(310), 선택 스위치(320), 디스플레이(330), 스피커(340) 및 제어기(350) 등을 포함할 수 있다.
송수신기(310)는 VR 재생 장치(300)와 외부 장치(예: 데이터 처리 장치(200) 또는 거래 장치(400) 등) 간의 유선 및/또는 무선 통신을 지원할 수 있다. 송수신기(310)는 제어기(350)의 지시에 따라 데이터(정보)를 송신하거나 수신할 수 있다.
선택 스위치(320)는 사용자가 옵션을 선택하기 위해 사용하는 사용자 인터페이스이다. 선택 스위치(320)는 물리적 스위치 또는 터치 스위치 등으로 구현될 수 있다.
디스플레이(330)는 경험 콘텐츠의 재생 화면을 출력할 수 있다. 디스플레이(330)는 재생되는 주변 환경 영상 또는 사용자 반응 영상 중 적어도 하나를 표시할 수 있다. 디스플레이(330)는 제어기(350)의 지시에 따라 화면을 적어도 둘 이상의 표시 영역으로 분할할 수 있다. 디스플레이(330)는 분할된 각 표시 영역에 서로 다른 영상을 표시할 수 있다. 디스플레이(330)는 기존에 공지된 3차원(3D) 표시 기술을 이용하여 주변 환경 영상을 입체감 있게 재현할 수 있다. 디스플레이(330)는 유기 발광 다이오드(Organic Light-Emitting Diode, OLED) 디스플레이, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 투명디스플레이 또는 터치 스크린 등의 표시 수단 중 적어도 하나를 포함할 수 있다.
스피커(340)는 경험 콘텐츠의 재생 소리를 출력할 수 있다. 스피커(340)는 재생되는 주변 소리를 외부로 출력할 수 있다. 스피커(340)는 공간 음향 기능을 활용하여 주변 소리를 방향성 있게 재현할 수 있다. 공간 음향 기능은 기존에 공지된 기술이 활용될 수 있다.
제어기(350)는 송수신기(transceiver)(310), 선택 스위치(320), 디스플레이(330) 및 스피커(340)와 전기적으로 연결된다. 제어기(350)는 VR 재생 장치(300)의 전반적인 동작을 제어할 수 있다. 제어기(350)는 적어도 하나의 프로세서 및 메모리 등을 포함할 수 있다.
제어기(350)는 선택 스위치(320)로부터 수신되는 사용자(도 1의 제2 사용자(U2))의 입력에 따라 데이터 처리 장치(200)의 저장소(220)에 저장된 경험 콘텐츠 중 적어도 하나의 경험 콘텐츠를 선택할 수 있다.
제어기(350)는 선택 스위치(320)에서 전송되는 데이터(신호)에 기반하여 제1 옵션 및 제2 옵션을 선택할 수 있다. 제1 옵션은 날씨 변경, 시간 변경 및/또는 배경 소리 추가 등을 포함할 수 있다. 제2 옵션은 군중, 건물 및/또는 자연 환경 요소 등의 배경 추가를 포함할 수 있다.
제어기(350)는 경험 콘텐츠 선택 정보, 제1 옵션 선택 정보 및 제2 옵션 선택 정보를 송수신기(310)를 통해 데이터 처리 장치(200)로 전송할 수 있다. 제어기(350)는 송수신기(310)를 통해 데이터 처리 장치(200)로부터 전송되는 제1 옵션 선택 정보 및 제2 옵션 선택 정보에 기반하여 수정된 경험 콘텐츠를 수신할 수 있다.
제어기(350)는 수신된 경험 콘텐츠를 재생할 수 있다. 제어기(350)는 경험 콘텐츠의 주변 환경 영상 및/또는 사용자 반응 영상을 재생하여 디스플레이(330)에 표시할 수 있다. 이때, 제어기(350)는 기설정된 표시 모드에 따라 영상 표시를 처리할 수 있다. 여기서, 표시 모드는 주변 환경 영상과 사용자 반응 영상을 표시 방식에 따라 통합 모드, 분할 모드, 단독 모드로 구분할 수 있다. 일 예로, 제어기(350)는 표시 모드가 통합 모드로 설정된 경우, 도 5와 같이 주변 환경 영상과 사용자 반응 영상을 서로 다른 레이어 L1 및 L2에 각각 배치할 수 있다. 즉, 제어기(350)는 주변 환경 영상을 제1 레이어 L1에 배치하고, 사용자 반응 영상을 제2 레이어 L2에 배치할 수 있다. 제어기(350)는 제1 레이어 L1과 제2 레이어 L2를 중첩시켜 하나의 영상(550)으로 통합하여 디스플레이(330)에 표시할 수 있다. 이 경우, 다른 사용자(도 1의 제2 사용자(U2))는 주변 환경 영상을 보면서 사용자의 반응도 함께 파악할 수 있다. 다른 일 예로, 제어기(350)는 표시 모드가 분할 모드로 설정된 경우, 디스플레이(330)의 화면(610)을 2개로 분할하고 분할된 2개의 표시 영역(611 및 612)에 주변 환경 영상과 사용자 반응 영상을 각각 표시할 수 있다(도 6 참조). 또 다른 일 예로, 제어기(350)는 표시 모드가 단독 모드로 설정된 경우, 디스플레이(330)에 사용자 반응 영상을 제외한 주변 환경 영상(620)만 재생하여 단독으로 표시할 수 있다(도 6 참조). 또한, 제어기(350)는 경험 콘텐츠 재생 시 주변 소리를 재생하여 스피커(340)를 통해 외부로 출력할 수 있다.
도 7는 본 발명의 실시 예들에 따른 VR 녹화 과정을 도시한 흐름도이다.
본 실시 예에 따른 VR 녹화 과정은 도 2에 도시된 VR 녹화 장치(100)의 프로세서(170)에 의해 수행될 수 있다.
프로세서(170)는 제1 카메라(110)를 통해 사용자(도 1의 제1 사용자(U1))의 주변 환경 영상을 촬영할 수 있다(S100). 다시 말해서, 프로세서(170)는 제1 카메라(110)를 이용하여 사용자가 특정 장소에서 경험하는 동안 사용자의 주변 환경을 촬영할 수 있다.
프로세서(170)는 마이크로폰(130)을 이용하여 주변 소리를 녹음할 수 있다(S110). 프로세서(170)는 주변 환경 영상을 촬영할 때 마이크로폰(130)을 통해 사용자의 주변 환경 소리 및 사용자 음성 등을 녹음할 수 있다.
프로세서(170)는 제2 카메라(120)를 통해 사용자의 얼굴 표정 및/또는 동작 등과 같은 사용자 반응 영상을 촬영할 수 있다(S120). 프로세서(170)는 제2 카메라(120)를 사용하여 특정 장소에서의 경험에 따른 사용자의 얼굴 표정 변화 및/또는 동작 변화 등을 사용자 반응 영상으로 기록할 수 있다.
프로세서(170)는 촬영된 주변 환경 영상 및 사용자 반응 영상과 녹음된 주변 소리를 메모리(150)에 저장할 수 있다(S130). 프로세서(170)는 주변 환경 영상, 사용자 반응 영상 및 주변 소리를 메모리(150) 내 서로 다른 공간에 개별적으로 저장할 수 있다.
프로세서(170)는 주변 환경 영상, 사용자 반응 영상 및 주변 소리를 이용하여 경험 콘텐츠를 생성하여 전송할 수 있다(S140). 경험 콘텐츠 생성 시, 프로세서(170)는 사용자의 고유 정보를 경험 콘텐츠에 추가할 수 있다. 프로세서(170)는 통신 회로(160)를 통해 경험 콘텐츠를 데이터 처리 장치(200)에 전송할 수 있다.
본 실시 예에서는 상기한 주변 환경 영상 촬영, 주변 소리 녹음 및 사용자 반응 영상 촬영이 순차적으로 이루어지는 것으로 설명하고 있으나, 이는 발명의 이래를 돕기 위한 것으로 이에 한정되지 않고 주변 환경 영상 촬영, 주변 소리 녹음 및 사용자 반응 영상 촬영이 동시에 실시될 수 있다.
도 8은 본 발명의 실시 예들에 따른 데이터 처리 장치의 경험 콘텐츠 업로드 과정을 도시한 흐름도이다.
데이터 처리 장치(200)의 프로세서(230)는 통신 회로(210)를 통해 VR 녹화 장치(100)에서 전송되는 경험 콘텐츠를 수신할 수 있다(S200). 데이터 처리 장치(200)는 VR 녹화 장치(100)에 의해 녹화된 주변 환경 영상 및 사용자 반응 영상과 녹음된 주변 소리를 기반으로 생성된 경험 콘텐츠를 수신할 수 있다. 데이터 처리 장치(200)는 수신된 경험 콘텐츠를 저장소(220)에 저장할 수 있다.
프로세서(230)는 경험 콘텐츠 내 주변 환경 영상을 사전 분석하여 카테고리를 분류할 수 있다(S210). 프로세서(230)는 사전에 학습된 AI 알고리즘을 이용하여 사전 분석을 수행할 수 있다. 프로세서(230)는 주변 환경 영상(경험 콘텐츠의 배경 화면)에 대한 사전 분석을 통해 주변 환경 영상 속 계절과 장소 유형 등을 분류할 수 있다. 여기서, 장소 유형은 눈 덮인 산, 푸른 산, 바위산, 들판, 도시, 바닷가 및 강가 등으로 분류될 수 있다.
프로세서(230)는 3차원 이미지 DB로부터 분류된 카테고리에 매칭되는 3차원 이미지를 선정하여 경험 콘텐츠에 추가할 수 있다(S220). 프로세서(230)는 분류된 계절 및 장소에 어울리는 의상을 착용한 군중, 분류된 장소에 어울리는 건물, 분류된 계절 및/또는 장소에 어울리는 자연 환경 요소 등의 3차원 이미지를 선정하고 선정된 3차원 이미지를 경험 콘텐츠에 추가할 수 있다. 프로세서(230)는 선정된 3차원 이미지가 추가된 경험 콘텐츠를 저장소(220)에 저장할 수 있다.
프로세서(230)는 경험 콘텐츠 내 사용자 반응 영상에서 사용자의 VR 녹화 장치(100)의 이미지를 제거할 수 있다(S230). 프로세서(230)는 사용자의 VR 녹화 장치(100)의 이미지가 제거된 경험 콘텐츠를 저장소(220)에 저장할 수 있다.
도 9는 본 발명의 실시 예들에 따른 데이터 처리 장치의 경험 콘텐츠 다운로드 과정을 도시한 흐름도이다.
본 실시 예에서는 사용자(도 1의 제2 사용자(U2))에 의해 선택된 경험 콘텐츠를 다운로드하는 과정을 설명한다.
데이터 처리 장치(200)의 프로세서(230)는 사용자의 VR 재생 장치(300)로부터 제1 옵션 선택 정보를 수신할 수 있다(S300). 여기서, 제1 옵션 선택 정보는 날씨 변경, 시간 변경 및/또는 배경 소리 추가 등과 관련된 정보를 포함할 수 있다.
프로세서(230)는 제1 옵션 선택 정보에 기반하여 경험 콘텐츠 내 주변 환경 영상 및 주변 소리를 수정할 수 있다(S310).
프로세서(230)는 VR 재생 장치(300)로부터 제2 옵션 선택 정보를 수신할 수 있다(S320). 제2 옵션 선택 정보는 사용자에 의해 선택되는 것으로, 군중, 건물 및/또는 자연 환경 요소 등의 배경 추가 정보를 포함할 수 있다.
프로세서(230)는 AI 알고리즘을 이용하여 경험 콘텐츠의 주변 환경 영상 위에 제2 옵션 선택 정보에 기반한 3차원 이미지를 배치할 수 있다(S330). 다시 말해서, 프로세서(230)는 제2 옵션 선택 정보에 따른 군중, 건물 및/또는 자연 환경 요소 등의 3차원 이미지를 주변 환경 영상 상에 배치할 수 있다.
프로세서(230)는 제1 옵션 선택 정보 및 제2 옵션 선택 정보가 반영된 경험 콘텐츠를 VR 재생 장치(200)로 전송할 수 있다(S340).
도 10은 본 발명의 실시 예들에 따른 경험 콘텐츠 보정 일 예를 도시한 도면이다.
도 10을 참조하면, 데이터 처리 장치(200)의 프로세서(230)는 사용자에 의해 선택된 경험 콘텐츠의 주변 환경 영상 원본(700)을 저장소(220) 내 경험 콘텐츠 DB로부터 액세스할 수 있다. 프로세서(230)는 VR 재생 장치(300)로부터 수신된 제1 옵션 선택 정보인 날씨 변경 정보, 시간 변경 정보 및/또는 배경 소리 추가 정보 등에 기반하여 주변 환경 영상 원본(700) 및 주변 소리 원본을 수정(보정)할 수 있다.
먼저, 프로세서(230)는 제1 옵션 선택 정보에 기반하여 추가할 이미지, 밝기 및 배경 음원 등을 선정할 수 있다. 또한, 프로세서(230)는 선정된 추가할 이미지, 밝기 및 배경 음원을 경험 콘텐츠에 반영할 수 있다.
일 예로, 프로세서(230)는 제1 옵션 선택 정보에 따라 주변 환경 영상 원본(700)에 눈 이미지를 추가하여 눈 내리는 날씨의 배경 화면(710)으로 수정할 수 있다.
다른 일 예로, 프로세서(230)는 제1 옵션 선택 정보에 기반하여 주변 환경 영상 원본(700)에 비 이미지를 추가하여 비 내리는 날씨의 배경 화면(720)으로 수정할 수 있다.
또 다른 일 예로, 프로세서(230)는 제1 옵션 선택 정보에 포함된 시간 정보에 기반하여 주변 환경 영상 원본(700)의 밝기를 조정하여 밝기 조정된 영상(730)을 출력할 수 있다.
또 다른 일 예로, 프로세서(230)는 제1 옵션 선택 정보에 따라 천둥 소리, 빗소리 및/또는 새소리 등의 사운드스케이프 추가를 선정하고, 주변 환경 영상 원본(700)에 사운드스케이프를 추가할 수 있다. 프로세서(230)는 사운드스케이프가 추가된 영상(740)을 출력할 수 있다.
도 11은 본 발명의 실시 예들에 따른 경험 콘텐츠 보정 다른 일 예를 도시한 도면이다.
도 11을 참조하면, 데이터 처리 장치(200)의 프로세서(230)는 사용자에 의해 선택된 경험 콘텐츠의 주변 환경 영상 원본(800)을 저장소(220) 내 경험 콘텐츠 DB로부터 액세스할 수 있다. 프로세서(230)는 VR 재생 장치(300)로부터 수신된 제2 옵션 선택 정보 예컨대, 군중, 건물 및/또는 자연 환경(자연 환경 요소) 등에 기반하여 추가할 3차원 영상(810)을 선택할 수 있다.
프로세서(230)는 주변 환경 영상 원본(800)을 기반으로 선택된 3차원 영상(810)의 크기 및 주변 환경 영상 내 위치 등을 선정할 수 있다. 또한, 프로세서(230)는 주변 환경 영상 원본(800)의 뷰포인트의 변화에 3차원 영상(810)의 뷰포인트를 동기화시키고 시간에 따른 변화를 적용할 수 있다.
일 예로, 프로세서(230)는 제2 옵션 선택 정보에 따른 군중 이미지를 선정한 경우, 선정된 군중 이미지를 주변 환경 영상 원본(800)에 추가하여 배경 영상(820)을 생성할 수 있다.
다른 일 예로, 프로세서(230)는 제2 옵션 선택 정보에 따라 건물 이미지를 선정한 경우, 선정된 건물 이미지를 주변 환경 영상 원본(800)에 추가하여 배경 영상(830)을 생성할 수 있다.
또 다른 일 예로, 프로세서(230)는 제2 옵션 선택 정보에 따라 자연 환경 이미지를 선정한 경우, 선정된 자연 환경 이미지를 주변 환경 영상 원본(800)에 추가하여 배경 영상(840)을 생성할 수 있다.
도 12는 본 발명의 실시 예들에 따른 VR 재생 장치의 작동 과정을 도시한 흐름도이다. 본 실시 예는 도 1에 도시된 제2 사용자(U2)에 의해 선택된 제1 사용자(U1)의 경험 콘텐츠를 재생하는 경우를 예로 들어 설명한다.
VR 재생 장치(300)의 제어기(350)는 제2 사용자(U2)의 입력에 따라 데이터 처리 장치(200)에 등록된 제1 사용자(U1)의 경험 콘텐츠 중 어느 하나의 경험 콘텐츠를 선택할 수 있다(S400).
제어기(350)는 선택 스위치(320)를 이용하여 제1 옵션과 제2 옵션을 선택할 수 있다(S410). 제어기(350)는 선택 스위치(320)로부터 수신되는 데이터(신호)에 근거하여 제1 옵션 선택 정보 및/또는 제2 옵션 선택 정보를 생성할 수 있다.
제어기(350)는 선택된 제1 옵션과 제2 옵션에 따른 경험 콘텐츠 수정을 데이터 처리 장치(200)에 요청할 수 있다(S420). 제어기(350)는 경험 콘텐츠 수정 요청 시 경험 콘텐츠 선택 정보와 함께 제1 옵션 선택 정보 및/또는 제2 옵션 선택 정보를 전송할 수 있다. 데이터 처리 장치(200)는 제어기(350)의 요청에 따라 도 9에 도시된 처리 과정을 통해 경험 콘텐츠 내 주변 환경 영상과 주변 소리를 수정할 수 있다.
제어기(350)는 데이터 처리 장치(200)에 의해 수정된 경험 콘텐츠를 다운로드할 수 있다(S430). 제어기(350)는 송수신기(310)를 통해 데이터 처리 장치(200)로부터 전송되는 경험 콘텐츠 수정본을 수신할 수 있다.
제어기(350)는 VR 재생 장치(200)의 표시 모드에 따라 경험 콘텐츠의 영상 재생을 처리할 수 있다(S440). 제어기(350)는 경험 콘텐츠 내 주변 환경 영상 또는 사용자 반응 영상 중 적어도 하나를 재생하여 출력할 수 있다. 주변 환경 영상과 사용자 반응 영상을 출력할 때, 제어기(350)는 표시 모드가 통합 모드로 설정된 경우 주변 환경 영상과 사용자 반응 영상을 서로 다른 레이어에 배치하고 그 레이어들을 서로 투명하게 중첩시켜 하나의 화면에 통합하여 표시할 수 있다. 제어기(350)는 표시 모드가 분할 모드로 설정된 경우, 화면을 2개로 분할하고 분할된 표시 영역에 주변 환경 영상과 사용자 반응 영상의 재생 화면을 각각 표시할 수 있다. 제어기(350)는 표시 모드가 단독 모드로 설정된 경우, 사용자 반응 영상을 제외한 주변 환경 영상만 재생하여 디스플레이(330)에 단독으로 표시할 수 있다.
제어기(350)는 영상 표시와 함께 주변 소리를 재생하여 출력할 수 있다(S450). 주변 소리는 주변 환경 소리 및 사용자 음성 등을 포함할 수 있다.
도 13은 본 발명의 실시 예들에 따른 사용자 반응 영상 보정하는 과정을 도시한 흐름도이다.
VR 녹화 장치(100)는 VR 녹화 장치(100)를 착용하지 않은 사용자(도 1의 제1 사용자(U1))의 얼굴 정지 영상을 촬영할 수 있다(S500).
VR 녹화 장치(100)는 경험 콘텐츠를 데이터 처리 장치(200)에 전송할 때 얼굴 정지 영상을 함께 전송할 수 있다(S510).
데이터 처리 장치(200)는 얼굴 정지 영상을 기반으로 경험 콘텐츠의 사용자 반응 영상에서 VR 녹화 장치(100)에 해당하는 이미지를 제거할 수 있다(S520).
데이터 처리 장치(200)는 VR 녹화 장치(100)가 제거된 사용자 반응 영상을 VR 재생 장치(300)로 전송할 수 있다(S530).
VR 재생 장치(300)는 보정된 사용자 반응 영상을 수신하여 재생할 수 있다(S540).
도 14는 본 발명의 실시 예들에 따른 경험 콘텐츠 거래 과정을 도시한 흐름도이다.
도 14를 참조하면, VR 녹화 장치(100)는 제1 사용자(U1)의 경험을 녹화할 수 있다(S600). VR 녹화 장치(100)는 제1 카메라(110), 제2 카메라(120) 및 마이크로폰(130)을 이용하여 주변 환경 영상, 사용자 반응 영상 및 주변 소리를 기록할 수 있다.
VR 녹화 장치(100)는 녹화본으로 경험 콘텐츠를 생성할 수 있다(S610). VR 녹화 장치(100)는 주변 환경 영상, 사용자 반응 영상 및 주변 소리를 포함하는 경험 콘텐츠를 생성할 수 있다. 이때, VR 녹화 장치(100)는 제1 사용자(U1)의 고유 정보를 경험 콘텐츠에 추가할 수 있다.
VR 녹화 장치(100)는 경험 콘텐츠를 데이터 처리 장치(200)에 업로드할 수 있다(S620). VR 녹화 장치(100)는 통신 회로(160)를 통해 생성된 경험 콘텐츠를 데이터 처리 장치(200)로 전송할 수 있다. 데이터 처리 장치(200)는 수신된 경험 콘텐츠를 저장소(220) 내 경험 콘텐츠 DB에 등록할 수 있다. 이때, 데이터 처리 장치(200)는 클라우드 서버일 수 있다.
데이터 처리 장치(200)는 업로드된 경험 콘텐츠를 거래 서버(400)에 판매 등록할 수 있다(S630). 데이터 처리 장치(200)는 제1 사용자(U1)의 요청에 따라 경험 콘텐츠를 거래 서버(400)에 판매용 콘텐츠로 등록할 수 있다. 거래 서버(400)는 NFT 변환 서버(500)와 연동하여 판매 등록이 요청된 경험 콘텐츠를 NFT로 변환하여 디지털 자산화하여 등록(저장)할 수 있다.
이후, VR 재생 장치(300)는 제2 사용자(U2)의 입력에 따라 선택된 경험 콘텐츠 구매를 거래 서버(400)에 요청할 수 있다(S640). 이때, VR 재생 장치(300)와 거래 서버(400)는 기정해진 거래 절차를 따라 경험 콘텐츠 거래를 수행할 수 있다.
VR 재생 장치(300)는 거래 서버(400)로부터 구매한 경험 콘텐츠를 다운로드할 수 있다(S650).
VR 재생 장치(300)는 다운로드한 경험 콘텐츠를 재생할 수 있다(S660). VR 재생 장치(300)는 경험 콘텐츠 재생 시 제2 사용자(U2)에 의해 선택된 옵션 정보에 기반하여 경험 콘텐츠의 주변 환경 영상, 사용자 반응 영상 및 주변 소리 등을 보정할 수 있다. 이와 같이, 제2 사용자(U2)는 VR 재생 장치(300)를 착용하고 미리 구매한 경험 콘텐츠를 재생함으로써, 제1 사용자(U1)와 같은 경험을 체험할 수 있으며 제1 사용자(U1)의 반응을 실시간으로 느끼며 감정을 공유할 수 있다.
상기한 실시 예에서는 VR 재생 장치(300)가 거래 서버(400)에 직접 접속하여 경험 콘텐츠를 구매하는 것을 예로 들어 설명하고 있으나, 데이터 처리 장치(200)를 통해 경험 콘텐츠 구매를 실시하도록 구현할 수도 있다. 예를 들어, 데이터 처리 장치(200)는 VR 재생 장치(300)의 요청에 따른 경험 콘텐츠를 거래 서버(400)에서 구매하고, 구매한 경험 콘텐츠를 거래 서버(400)로부터 다운로드하여 VR 재생 장치(300)에 전송할 수 있다.
상기한 실시 예들에 따르면, 유명인(예: 배우, 가수 및 인플루언서 등)이 멋진 경치를 보며 색다른 경험을 하거나 일상적인 경험을 기록으로 남겨 공유하고 싶을 때, VR 녹화 장치(100)를 이용하여 녹화하고 이를 공유 사이트 또는 판매 사이트 등에 업로드할 수 있다. 일반 사용자들은 유명인과 경험을 공유하고 싶거나 또는 다양한 경험 파일들 중에서 자신이 경험하지 못한 새로운 경험을 대리로 체험해 보고 싶은 경우에 그들의 경험 콘텐츠(경험 파일)을 구매하여 VR 재생 장치(300)를 통해 재생할 수 있다.
또한, 유명인은 자신의 팬들에게 본인의 경험과 느낌을 제공함으로써 팬층을 확대할 수 있고 경험 콘텐츠의 판매를 통해 수익도 창출할 수 있다.
또한, 일반인들은 유명인의 경험과 반응을 본인도 함께 느끼며 팬의식을 강화할 수 있고, 본인이 접해 보지 못한 멋진 장소에서 색다른 경험(예: 최상급 슬로프에서 활강하는 스키 경험, 고공 낙하 경험, 무대에서 공연 경험 등)을 가상으로 경험하며 대리만족을 느낄 수 있다.
또한, 경험 콘텐츠를 NFT(Non-Fungible Token) 방식으로 디지털 자산화하여 부가가치가 높은 시장을 창출할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 카메라 및 마이크로폰을 이용하여 제1 사용자의 주변 환경 영상, 사용자 반응 영상 및 주변 소리를 기록하여 경험 콘텐츠를 생성하는 VR(Virtual Reality) 녹화 장치;
    상기 경험 콘텐츠를 재생하여 제2 사용자에게 제공하는 VR 재생 장치; 및
    상기 VR 녹화 장치 및 상기 VR 재생 장치와 통신망을 통해 연결되는 데이터 처리 장치를 포함하고,
    상기 데이터 처리 장치는,
    상기 VR 녹화 장치로부터 수신한 상기 경험 콘텐츠를 사전 분석하여 카테고리를 분류하고,
    분류된 카테고리에 매칭되는 이미지를 상기 경험 콘텐츠에 추가하고,
    상기 이미지가 추가된 상기 경험 콘텐츠를 DB에 저장하고,
    상기 VR 재생 장치의 요청에 따라 상기 경험 콘텐츠를 상기 DB에서 액세스하여 상기 VR 재생 장치에 전송하는 것을 특징으로 하는 경험 공유 시스템.
  2. 청구항 1에 있어서,
    상기 사용자 반응 영상은,
    상기 제1 사용자의 얼굴 표정 또는 동작 중 적어도 하나를 포함하는 것을 특징으로 하는 경험 공유 시스템.
  3. 청구항 1에 있어서,
    상기 주변 소리는,
    상기 제1 사용자의 주변 환경 소리 및 음성을 포함하는 것을 특징으로 하는 경험 공유 시스템.
  4. 청구항 1에 있어서,
    상기 VR 녹화 장치는,
    상기 경험 콘텐츠에 상기 제1 사용자의 고유 정보를 추가하는 것을 특징으로 하는 경험 공유 시스템.
  5. 청구항 1에 있어서,
    상기 데이터 처리 장치는,
    AI 알고리즘을 이용하여 계절 및 장소 유형을 분류하는 것을 특징으로 하는 경험 공유 시스템.
  6. 청구항 1에 있어서,
    상기 이미지는,
    군중, 건물 또는 자연 환경 중 적어도 하나에 대한 3차원 이미지를 포함하는 것을 특징으로 하는 경험 공유 시스템.
  7. 청구항 1에 있어서,
    상기 VR 재생 장치는,
    상기 제2 사용자에 의한 경험 콘텐츠 선택 정보, 제1 옵션 선택 정보 및 제2 옵션 선택 정보를 상기 데이터 처리 장치에 전송하고,
    상기 데이터 처리 장치는,
    상기 제1 옵션 선택 정보 및 상기 제2 옵션 선택 정보에 기반하여 상기 경험 콘텐츠의 상기 주변 환경 영상 및 주변 소리를 보정하고,
    보정된 경험 콘텐츠를 상기 VR 재생 장치에 전송하는 것을 특징으로 하는 경험 공유 시스템.
  8. 청구항 7에 있어서,
    상기 제1 옵션 선택 정보는,
    날씨 변경, 시간 변경 또는 배경 소리 추가 중 적어도 하나와 관련된 정보를 포함하고,
    상기 제2 옵션 선택 정보는,
    배경 추가와 관련된 정보를 포함하는 것을 특징으로 하는 경험 공유 시스템.
  9. 청구항 1에 있어서,
    상기 데이터 처리 장치의 요청에 따라 상기 경험 콘텐츠를 판매용 콘텐츠로 등록하는 거래 서버를 더 포함하는 것을 특징으로 하는 경험 공유 시스템.
  10. 청구항 9에 있어서,
    상기 거래 서버의 요청에 따라 상기 판매용 콘텐츠로 등록된 경험 콘텐츠를 NFT(Non-Fungible Token)로 변환하여 디지털 자산화하는 NFT 변환 서버를 더 포함하는 것을 특징으로 하는 경험 공유 시스템.
  11. VR(Virtual Reality) 녹화 장치가 카메라 및 마이크로폰을 이용하여 제1 사용자의 주변 환경 영상, 사용자 반응 영상 및 주변 소리를 기록하여 경험 콘텐츠를 생성하는 단계;
    상기 VR 녹화 장치가 상기 경험 콘텐츠를 데이터 처리 장치로 전송하는 단계;
    상기 데이터 처리 장치가 상기 VR 녹화 장치로부터 수신되는 상기 경험 콘텐츠를 사전 분석하여 카테고리를 분류하는 단계;
    상기 데이터 처리 장치가 분류된 카테고리에 매칭되는 이미지를 상기 경험 콘텐츠에 추가하는 단계;
    상기 데이터 처리 장치가 이미지가 추가된 경험 콘텐츠를 DB에 저장하는 단계;
    상기 데이터 처리 장치가 VR 재생 장치의 요청에 따라 상기 경험 콘텐츠를 상기 DB에서 액세스하여 상기 VR 재생 장치로 전송하는 단계; 및
    상기 VR 재생 장치가 상기 경험 콘텐츠를 재생하여 제2 사용자에게 제공하는 단계를 포함하는 것을 특징으로 하는 경험 공유 방법.
  12. 청구항 11에 있어서,
    상기 사용자 반응 영상은,
    상기 제1 사용자의 얼굴 표정 또는 동작 중 적어도 하나를 포함하는 것을 특징으로 하는 경험 공유 방법.
  13. 청구항 11에 있어서,
    상기 주변 소리는,
    상기 제1 사용자의 주변 환경 소리 및 음성을 포함하는 것을 특징으로 하는 경험 공유 방법.
  14. 청구항 11에 있어서,
    상기 경험 콘텐츠를 생성하는 단계는,
    상기 VR 녹화 장치가 상기 경험 콘텐츠에 상기 제1 사용자의 고유 정보를 추가하는 단계를 포함하는 것을 특징으로 하는 경험 공유 방법.
  15. 청구항 11에 있어서,
    상기 카테고리를 분류하는 단계는,
    상기 데이터 처리 장치가 AI 알고리즘을 이용하여 계절 및 장소 유형을 분류하는 단계를 포함하는 것을 특징으로 하는 경험 공유 방법.
  16. 청구항 11에 있어서,
    상기 이미지는,
    군중, 건물 또는 자연 환경 중 적어도 하나에 대한 3차원 이미지를 포함하는 것을 특징으로 하는 경험 공유 방법.
  17. 청구항 11에 있어서,
    상기 VR 재생 장치로 전송하는 단계는,
    상기 VR 재생 장치가 상기 제2 사용자에 의한 경험 콘텐츠 선택 정보, 제1 옵션 선택 정보 및 제2 옵션 선택 정보를 상기 데이터 처리 장치에 전송하는 단계;
    상기 데이터 처리 장치가 상기 제1 옵션 선택 정보 및 상기 제2 옵션 선택 정보에 기반하여 상기 경험 콘텐츠의 상기 주변 환경 영상 및 주변 소리를 보정하는 단계; 및
    상기 데이터 처리 장치가 보정된 경험 콘텐츠를 상기 VR 재생 장치에 전송하는 단계를 포함하는 것을 특징으로 하는 경험 공유 방법.
  18. 청구항 17에 있어서,
    상기 제1 옵션 선택 정보는,
    날씨 변경, 시간 변경 또는 배경 소리 추가 중 적어도 하나와 관련된 정보를 포함하고,
    상기 제2 옵션 선택 정보는,
    배경 추가와 관련된 정보를 포함하는 것을 특징으로 하는 경험 공유 방법.
  19. 청구항 11에 있어서,
    상기 데이터 처리 장치가 상기 경험 콘텐츠를 거래 서버에 판매용 콘텐츠로 등록하는 단계를 더 포함하는 것을 특징으로 하는 경험 공유 방법.
  20. 청구항 19에 있어서,
    상기 거래 서버가 상기 판매용 콘텐츠로 등록된 경험 콘텐츠의 디지털 자산화를 NFT(Non-Fungible Token) 변환 서버에 요청하는 단계; 및
    상기 NFT 변환 서버가 상기 판매용 콘텐츠로 등록된 경험 콘텐츠를 NFT로 변환하는 단계를 더 포함하는 것을 특징으로 하는 경험 공유 방법.
KR1020220094843A 2022-07-29 2022-07-29 경험 공유 시스템 및 방법 KR20240016727A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220094843A KR20240016727A (ko) 2022-07-29 2022-07-29 경험 공유 시스템 및 방법
US18/200,111 US20240037867A1 (en) 2022-07-29 2023-05-22 Experience sharing system and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220094843A KR20240016727A (ko) 2022-07-29 2022-07-29 경험 공유 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20240016727A true KR20240016727A (ko) 2024-02-06

Family

ID=89664638

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220094843A KR20240016727A (ko) 2022-07-29 2022-07-29 경험 공유 시스템 및 방법

Country Status (2)

Country Link
US (1) US20240037867A1 (ko)
KR (1) KR20240016727A (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170081456A (ko) 2016-01-04 2017-07-12 한국전자통신연구원 가상현실 기반 개인형 체험요소 공유 시스템 및 그 방법
KR20200003291A (ko) 2020-01-02 2020-01-08 삼성전자주식회사 서버, 사용자 단말 장치 및 그 제어 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170081456A (ko) 2016-01-04 2017-07-12 한국전자통신연구원 가상현실 기반 개인형 체험요소 공유 시스템 및 그 방법
KR20200003291A (ko) 2020-01-02 2020-01-08 삼성전자주식회사 서버, 사용자 단말 장치 및 그 제어 방법

Also Published As

Publication number Publication date
US20240037867A1 (en) 2024-02-01

Similar Documents

Publication Publication Date Title
US11977670B2 (en) Mixed reality system for context-aware virtual object rendering
US10713831B2 (en) Event enhancement using augmented reality effects
US9704298B2 (en) Systems and methods for generating 360 degree mixed reality environments
US11755275B2 (en) Generating augmented reality experiences utilizing physical objects to represent analogous virtual objects
Pavlik Drones, augmented reality and virtual reality journalism: Mapping their role in immersive news content
US20140178029A1 (en) Novel Augmented Reality Kiosks
US10198846B2 (en) Digital Image Animation
US20150058709A1 (en) Method of creating a media composition and apparatus therefore
JP6773190B2 (ja) 情報処理システム、制御方法、および記憶媒体
US20140306995A1 (en) Virtual chroma keying in real time
US9542975B2 (en) Centralized database for 3-D and other information in videos
US20240296570A1 (en) Digital representation of multi-sensor data stream
US20080260184A1 (en) Virtual Recording Studio
WO2018139117A1 (ja) 情報処理装置、情報処理方法およびそのプログラム
CN106557512B (zh) 图像分享方法、装置和系统
KR20200028830A (ko) 실시간 cg 영상 방송 서비스 시스템
KR20240016727A (ko) 경험 공유 시스템 및 방법
JP7081162B2 (ja) 画像処理装置、画像処理システム、及び画像処理方法
CN110634190A (zh) 一种远程摄像vr体验系统
US20080247727A1 (en) System for creating content for video based illumination systems
US20230070050A1 (en) Compositing non-immersive media content to generate an adaptable immersive content metaverse
WO2022102446A1 (ja) 情報処理装置、情報処理方法、情報処理システム、及びデータ生成方法
US20230343036A1 (en) Merging multiple environments to create an extended reality environment
EP3351007B1 (fr) Procédé de visualisation de données relatives à un événement et système associé
Gu A Study on the 3D Contents Production Technology of Taepyungmu