KR20210044609A - 가상 공간 제공 방법 및 이를 위한 컴퓨터 프로그램 - Google Patents

가상 공간 제공 방법 및 이를 위한 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20210044609A
KR20210044609A KR1020190128002A KR20190128002A KR20210044609A KR 20210044609 A KR20210044609 A KR 20210044609A KR 1020190128002 A KR1020190128002 A KR 1020190128002A KR 20190128002 A KR20190128002 A KR 20190128002A KR 20210044609 A KR20210044609 A KR 20210044609A
Authority
KR
South Korea
Prior art keywords
spatial
user terminal
information
freedom
media server
Prior art date
Application number
KR1020190128002A
Other languages
English (en)
Inventor
나민수
이종민
김대혁
박종한
박해성
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020190128002A priority Critical patent/KR20210044609A/ko
Publication of KR20210044609A publication Critical patent/KR20210044609A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2385—Channel allocation; Bandwidth allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 공간 미디어 서버가, 사용자 단말과 통신 채널을 형성하는 단계, 상기 사용자 단말 요청에 따라, 다중 3차원 공간 영상들을 획득하는 단계, 상기 다중 3차원 공간 영상들을 결합하여 6 자유도 공간 정보를 생성하는 단계 및 상기 공간 미디어 서버가, 상기 6 자유도 공간 정보를 사용자 단말에 전송하는 단계를 포함하는 가상 공간 제공 방법 및 이와 관련한 장치를 개시한다.

Description

가상 공간 제공 방법 및 이를 위한 컴퓨터 프로그램{Providing Method for Virtual Space and computer program for same}
본 발명은 가상 공간 제공에 관한 것으로, 특히, 사용자의 시점 및 이동에 따라 적응적으로 변화되는 가상 공간을 제공할 수 있는 가상 공간 제공 방법 및 이를 위한 컴퓨터 프로그램에 관한 것이다.
휴대용 전자 장치의 발달로 인하여, 많은 사용자들이 장소나 시간에 제한되지 않고, 다양한 정보를 다양한 시점에 획득할 수 있는 세상이 전개되고 있다. 종래 휴대용 전자 장치는 통신 회로와 프로세서 및 디스플레이를 포함하고, 통신 회로를 통해 수신된 정보를 디스플레이에 출력하는 형태의 서비스를 제공하고 있다. 이와 같이 종래 휴대용 전자 장치는 단순히 정보를 소형 디스플레이에 출력하는 기능만을 제공하고 있기 때문에, 정보에 대한 몰입도 등이 낮은 문제점이 있었다.
한편, 종래에는 랜드 마크, 매장, 관광지, 교육 기관, 공영 및 스포츠 경기장과 같이 고정된 사이트(site)나 건물에 대한 정보를 획득하고, 획득된 정보를 가상 공간 형태로 제공하는 서비스에 대한 연구가 지속되고 있다. 그러나, 이러한 종래 가상 공간을 제공하는 서비스 역시, 단순히 정보를 3D 형태로 구현하여 제공하기 때문에, 정보에 대한 몰입감이 떨어지며, 장소나 사이트에 고정되기 때문에 휴대성이나 이동성이 떨어지는 문제가 있었다.
본 발명은 상술한 요구를 충족하기 위한 것으로, 정보에 대한 몰입감을 높이고, 정보 이용을 위한 공간의 휴대성 및 이동성을 제공할 수 있는 가상 공간 제공 방법 및 이를 위한 컴퓨터 프로그램을 제공한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시 예에 따른 가상 공간 제공 방법은 공간 미디어 서버가, 사용자 단말과 통신 채널을 형성하는 단계, 상기 사용자 단말 요청에 따라, 상기 공간 미디어 서버가, 다중 3차원 공간 영상들을 획득하는 단계, 상기 공간 미디어 서버가, 상기 다중 3차원 공간 영상들을 결합하여 6 자유도 공간 정보를 생성하는 단계, 상기 공간 미디어 서버가, 상기 6 자유도 공간 정보를 사용자 단말에 전송하는 단계를 포함할 수 있다.
여기서, 상기 다중 3차원 공간 영상들을 획득하는 단계는 공간 미디어 생성 장치로부터 다중 3차원 공간 영상들을 수신하는 단계 및 메모리에 기 저장된 다중 3차원 공간 영상들을 독출하는 단계 중 어느 하나의 단계를 포함할 수 있다.
한편, 상기 방법은 사용자 단말과의 통신 채널 형성 후, 상기 공간 미디어 서버가 적어도 하나의 6 자유도 공간 정보 선택을 위한 접속 화면을 상기 사용자 단말에 제공하는 단계를 더 포함할 수 있다.
또한, 상기 방법은 상기 공간 미디어 서버가 상기 사용자 단말로부터 이동 거리, 이동 방향 및 시점 변화 중 적어도 하나를 포함하는 상태 정보를 수신하는 단계, 상기 공간 미디어 서버가 상기 상태 정보에 따라 변경된 6 자유도 공간 정보를 상기 사용자 단말에 제공하는 단계를 더 포함할 수 있다.
이 경우, 상기 변경된 6 자유도 공간 정보를 상기 사용자 단말에 제공하는 단계는 상기 공간 미디어 서버가, 상기 사용자 단말의 이동 거리에 따라 상기 6 자유도 공간 정보에서의 사용자 시청 위치를 검출하는 단계, 상기 공간 미디어 서버가, 변경된 사용자 시청 위치를 기준으로 새로운 6 자유도 공간 정보를 생성하는 단계, 상기 공간 미디어 서버가, 상기 새로운 6 자유도 공간 정보를 상기 사용자 단말에 제공하는 단계를 포함할 수 있다.
또는, 상기 변경된 6 자유도 공간 정보를 상기 사용자 단말에 제공하는 단계는 상기 공간 미디어 서버가, 상기 사용자 단말의 이동 거리 및 상기 이동 방향에 따라 상기 6 자유도 공간 정보에서의 사용자 시청 위치를 검출하는 단계, 상기 공간 미디어 서버가, 변경된 사용자 시청 위치를 기준으로 새로운 6 자유도 공간 정보를 생성하는 단계, 상기 공간 미디어 서버가, 상기 새로운 6 자유도 공간 정보를 상기 사용자 단말에 제공하는 단계를 포함할 수 있다.
또는, 상기 변경된 6 자유도 공간 정보를 상기 사용자 단말에 제공하는 단계는 상기 공간 미디어 서버가, 상기 사용자 단말의 이동 거리, 이동 방향 및 시점 변화에 따라 상기 6 자유도 공간 정보에서의 사용자 시청 위치를 검출하는 단계, 상기 공간 미디어 서버가, 변경된 사용자 시청 위치를 기준으로 새로운 6 자유도 공간 정보를 생성하는 단계, 상기 공간 미디어 서버가, 상기 새로운 6 자유도 공간 정보를 상기 사용자 단말에 제공하는 단계를 포함할 수 있다.
한편, 본 발명의 공간 미디어 서버는 통신 채널을 형성하는 통신 회로, 상기 통신 회로와 기능적으로 연결된 프로세서를 포함하고, 상기 프로세서는 사용자 단말과 통신 채널을 형성하고, 상기 사용자 단말 요청에 따라, 상기 공간 미디어 서버가, 다중 3차원 공간 영상들을 획득한 후, 상기 공간 미디어 서버가, 상기 다중 3차원 공간 영상들을 결합하여 6 자유도 공간 정보를 생성하고, 상기 6 자유도 공간 정보를 사용자 단말에 전송하도록 제어할 수 있다.
또한, 본 발명의 사용자 단말은 통신 채널을 형성하는 통신 회로, 상기 통신 회로와 기능적으로 연결된 프로세서를 포함하고, 상기 프로세서는 다중 3차원 공간 결합을 통해 생성한 6 자유도 공간 정보를 제공하는 장치와 통신 채널을 형성하고, 상기 장치로부터 상기 6 자유도 공간 정보를 수신하고, 수신된 상기 6 자유도 공간 정보를 출력하도록 제어할 수 있다.
여기서, 상기 프로세서는 상기 사용자 단말의 이동 거리, 이동 방향 및 시점 변화 중 적어도 하나를 포함하는 상태 정보를 상기 장치에 전송하고, 상기 장치로부터 상기 이동 거리 및 이동 방향 중 적어도 하나에 대응하여 상기 6 자유도 공간 정보에서 변경된 사용자 시청 위치를 기준으로 새로운 6 자유도 공간 정보를 수신하고, 상기 새로운 6 자유도 공간 정보를 출력하도록 제어할 수 있다.
본 발명은 가상 공간을 제공하되, 사용자의 다양한 상태 정보를 획득하고, 획득된 상태 정보에 대응하는 6 자유도 공간 정보를 제공함으로써, 정보에 대한 사용자의 몰입감을 극적으로 개선할 수 있으며, 사용자의 위치나 이동 상황 등에 따라 다양한 공간 정보를 제공할 수 있도록 함으로써, 가상 공간 정보에 대한 이동성을 제공할 수 있다.
도 1은 본 발명의 실시 예에 따른 가상 공간 제공 시스템의 각 구성의 한 예를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 가상 공간 제공과 관련한 공간 미디어 생성 장치 구성의 한 예를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 가상 공간 제공과 관련한 공간 미디어 서버 구성의 한 예를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 가상 공간 제공과 관련한 사용자 단말의 한 예를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 가상 공간 제공 방법과 관련한 사용자 단말과 공간 미디어 생성 장치 간의 신호 흐름을 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 특정 가상 공간 제공과 관련한 시스템 운용을 개략적으로 나타낸 도면이다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
도 1은 본 발명의 실시 예에 따른 가상 공간 제공 시스템의 각 구성의 한 예를 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 가상 공간 제공 시스템(10)은 공간 미디어 생성 장치(100), 공간 미디어 서버(200), 사용자 단말(300) 및 통신망(500)을 포함할 수 있다.
상기 통신망(500)은 가상 공간 제공 시스템(10)에 포함된 구성들 간의 신호 전송을 지원할 수 있다. 예를 들어, 통신망(500)은 지정된 데이터 전송 속도(예: 1Gbps) 이상을 지원할 수 있는 네트워크 요소를 기반으로 구성될 수 있다. 예를 들어, 통신망(500)은 공간 미디어 생성 장치(100) 및 공간 미디어 서버(200) 간의 통신 채널을 형성하고, 공간 미디어 생성 장치(100)가 생성한 6 자유도(DoF: degree of freedom) 공간 정보를 공간 미디어 서버(200)에 제공할 수 있다. 또한, 통신망(500)은 공간 미디어 서버(200) 및 사용자 단말(300) 간의 통신 채널을 형성하고, 공간 미디어 서버(200)에 저장된 6 자유도 공간 정보를 사용자 단말(300)에 제공할 수 있다. 또는, 통신망(500)은 공간 미디어 생성 장치(100)와 사용자 단말(300) 간의 통신 채널을 형성하고, 사용자 단말(300)의 요청에 따라 공간 미디어 생성 장치(100)가 생성한 6 자유도 공간 정보를 실시간으로 사용자 단말(300)에 제공할 수 있다.
상기 공간 미디어 생성 장치(100)는 복수의 영상 수집 장치들 및 복수의 오디오 수집 장치들을 기반으로 특정 공간에 대한 공간 정보를 수집할 수 있다. 이 과정에서, 공간 미디어 생성 장치(100)는 6 자유도 공간 정보를 획득할 수 있다. 이와 관련하여, 공간 미디어 생성 장치(100)는 6 자유도에 해당하는 공간 정보를 획득할 수 있도록 복수의 방위(예: 전후좌우 및 상하 방향)에 대한 영상을 획득할 수 있도록 배치된 복수의 영상 수집 장치들을 포함할 수 있다. 또한, 공간 미디어 생성 장치(100)는 복수의 방위에 대한 오디오를 획득할 수 있도록 복수의 방위를 향하도록 배치된 복수의 오디오 수집 장치들을 포함할 수 있다. 공간 미디어 생성 장치(100)는 획득된 6 자유도 공간 정보를 공간 미디어 서버(200)에 제공할 수 있다. 한 예로서, 공간 미디어 생성 장치(100)는 공간 미디어 서버(200) 요청에 대응하여 6 자유도 공간 정보를 취득하고, 취득된 6 자유도 동간 정보를 공간 미디어 서버(200)에 제공할 수 있다. 또는, 공간 미디어 생성 장치(100)는 복수의 방위에 해당하는 복수개의 영상을 포함하는 공간 영상 정보를 공간 미디어 서버(200)에 전송할 수 있다. 이 과정에서, 공간 미디어 생성 장치(100)는 복수의 방위로 구분되는 오디오 신호에 해당하는 공간 오디오 정보를 함께 공간 미디어 생성 장치(100)에 전송할 수 있다. 상기 공간 미디어 생성 장치(100)는 장치 이용자의 요청에 따라 6 자유도 공간 정보를 수집하거나, 공간 미디어 서버(200) 또는 사용자 단말(300)의 요청에 따라 6 자유도 공간 정보를 수집하여 공간 미디어 서버(200)에 전송할 수 있다. 다른 예로서, 공간 미디어 생성 장치(100)는 사용자 단말(300)과 직접적으로 통신 채널을 형성하고, 사용자 단말(300)의 요청에 대응하여 6 자유도 공간 정보를 생성하여 실시간으로 사용자 단말(300)에 제공할 수도 있다.
상기 공간 미디어 서버(200)는 통신망(500)을 통해 공간 미디어 생성 장치(100)와 통신 채널을 형성할 수 있다. 공간 미디어 서버(200)는 공간 미디어 생성 장치(100)가 제공하는 6 자유도 공간 정보를 수신하고, 이를 저장할 수 있다. 공간 미디어 서버(200)는 상기 6 자유도 공간 정보에 대하여 지정된 분류 정보를 기입할 수 있다. 예를 들어, 공간 미디어 서버(200)는 6 자유도 공간 정보를 제작한 공간 미디어 생성 장치(100)의 식별 정보, 상기 6 자유도 공간 정보가 제작된 위치 정보, 6 자유도 공간 정보가 제작된 시간 정보, 6 자유도 공간 정보와 관련한 제목 정보 등을 상기 6 자유도 공간 정보와 함께 저장할 수 있다. 상기 공간 미디어 서버(200)는 복수의 공간 미디어 생성 장치(100)들로부터 복수의 6 자유도 공간 정보들을 수신할 경우, 이를 카테고리 별로 분류 저장할 수 있다. 상기 공간 미디어 서버(200)는 지정된 주기에 따라 또는 사용자 요청에 따른 6 자유도 공간 정보 생성을 공간 미디어 생성 장치(100)에 요청하고, 요청에 따른 6 자유도 공간 정보를 수신할 수도 있다.
상기 공간 미디어 서버(200)는 사용자 단말(300)과 통신 채널을 형성할 수 있다. 공간 미디어 서버(200)는 저장된 6 자유도 공간 정보 중 적어도 일부를 사용자 단말(300)의 요청에 따라 사용자 단말(300)에 제공할 수 있다. 이와 관련하여, 공간 미디어 서버(200)는 적어도 하나의 6 자유도 공간 정보 리스트를 사용자 단말(300)에 제공하고, 사용자 단말(300)의 선택에 해당하는 6 자유도 공간 정보를 제공할 수 있다. 상기 6 자유도 공간 정보 리스트는 각 6 자유도 공간 정보의 분류 정보를 포함할 수 있다. 다른 예로서, 공간 미디어 서버(200)는 6 자유도 공간 정보 검색 기능을 제공하고, 사용자 검색에 해당하는 6 자유도 공간 정보를 검색하고, 검색 결과를 사용자 단말(300)에 제공할 수 있다. 또한, 공간 미디어 서버(200)는 사용자 단말(300)이 요구하는 형태 또는 타입의 6 자유도 공간 정보 컨셉을 공간 미디어 생성 장치(100)에 제공하고, 공간 미디어 생성 장치(100)로부터 해당 컨셉에 대응하는 6 자유도 공간 정보를 수신하여 사용자 단말(300)에 제공할 수도 있다. 특히, 공간 미디어 서버(200)는 사용자 단말(300)로부터 시점 변화 및 이동에 관한 정보를 수신하고, 수신된 시점 변화 및 이동에 따라 새로운 6 자유도 공간 정보를 사용자 단말(300)에 제공할 수 있다.
상기 사용자 단말(300)은 통신망(500)을 통하여 공간 미디어 서버(200)에 접속하고, 공간 미디어 서버(200)에 저장된 6 자유도 공간 정보를 검색할 수 있다. 사용자 단말(300)은 사용자 선택에 따른 6 자유도 공간 정보를 공간 미디어 서버(200)로부터 수신하여 출력할 수 있다. 이 과정에서, 사용자 단말(300)은 시점 정보 및 이동 위치 정보를 공간 미디어 서버(200)에 제공하고, 공간 미디어 서버(200)로부터 시점 정보 및 이동 위치 정보에 대응하는 새로운 6 자유도 공간 정보를 수신할 수 있다. 이러한 사용자 단말(300)은 수신된 6 자유도 공간 정보를 출력할 수 있는 적어도 하나의 디스플레이 및 적어도 하나의 스피커를 포함할 수 있다. 예를 들어, 사용자 단말(300)은 복수의 디스플레이 각각에 6 자유도 공간 정보 중 공간 영상 정보들을 출력하고, 복수의 스피커에 공간 오디오 정보를 출력하여 사용자에게 입체감 있는 영상 시청을 지원할 수 있다. 한편, 사용자 단말(300)은 통신망(500)을 통해 공간 미디어 생성 장치(100)와 직접적으로 통신 채널을 형성하고, 공간 미디어 생성 장치(100)로부터 직접적으로 6 자유도 공간 정보를 수신하여 출력할 수도 있다.
상술한 바와 같이, 본 발명의 실시 예에 따른 가상 공간 제공 시스템은 공간 미디어 생성 장치(100)는 복수의 방위에 해당하는 영상들을 촬영하여 6 자유도 공간 정보를 생성하고, 생성된 6 자유도 공간 정보를 사용자 단말(300)이 시청할 수 있도록 지원할 수 있다. 이때, 6 자유도 공간 정보 중 공간 영상 정보는 HMD(Head Mounted Device) 또는 복수의 입체감을 가지는 디스플레이(또는 복수의 방향에서 영상 시청이 가능한 디스플레이)를 통해 출력되는 한편, 공간 오디오 정보는 복수개의 스피커(또는 스테레오 스피커)를 통해 출력함으로써, 사용자에게 현실감 및 입체감 있는 컨텐츠를 시청할 수 있도록 지원할 수 있다.
도 2는 본 발명의 실시 예에 따른 가상 공간 제공과 관련한 공간 미디어 생성 장치 구성의 한 예를 나타낸 도면이다.
도 2를 참조하면, 본 발명의 실시 예에 따른 공간 미디어 생성 장치(100)는 음향 수집 장치들(120), 영상 수집 장치들(130), 제1 프로세서(160), 제1 통신 회로(110) 및 제1 메모리(140)를 포함할 수 있다.
상기 제1 통신 회로(110)는 공간 미디어 생성 장치(100)의 통신 기능을 지원하는 적어도 하나의 통신 모듈 또는 통신 칩을 포함할 수 있다. 앞서 언급한 바와 같이, 공간 미디어 생성 장치(100)의 제1 통신 회로(110)는 6 자유도 공간 정보를 획득하여 제공하기 때문에, 복수의 방위를 촬영한 영상들을 수집하고, 이를 공간 미디어 서버(200) 또는 사용자 단말(300)에 제공하기 위하여 복수의 영상 채널을 생성할 수 있다. 예를 들어, 제1 통신 회로(110)는 그룹핑된 6개의 통신 채널을 형성하고, 상기 6개의 통신 채널을 통하여 복수개의 방위에서 촬영한 영상들을 공간 미디어 서버(200) 또는 사용자 단말(300)에 전송할 수 있다. 또한, 제1 통신 회로(110)는 영상 획득 시 함께 획득된 공간 오디오 정보를 전송하기 위한 통신 채널을 더 형성할 수 있다. 예를 들어, 제1 통신 회로(110)는 적어도 2개의 오디오 채널을 포함하고, 상기 적어도 2개의 오디오 채널을 통하여 각 방향별로 구분되는 공간 오디오 정보를 공간 미디어 서버(200) 또는 사용자 단말(300)에 전송할 수 있다.
상기 제1 메모리(140)는 공간 미디어 생성 장치(100)와 관련한 다양한 데이터를 저장할 수 있다. 예컨대, 제1 메모리(140)는 복수의 영상 수집 장치들(130)이 수집한 각 영상들을 각각 저장할 수 있다. 또는, 제1 메모리(140)는 복수의 영상들을 통해 생성된 6 자유도 공간 영상 정보를 저장할 수 있다. 제1 메모리(140)는 음향 수집 장치들(120)이 수집한 오디오 정보 또는 복수의 음향 채널로 구성된 공간 오디오 정보를 저장할 수 있다. 제1 메모리(140)는 6 자유도 공간 정보 저장 시, 해당 컨텐츠가 제작된 위치와 시간 정보, 해당 컨텐츠의 제목 정보, 6 자유도 공간 정보를 설명하는 태그 정보 등을 함께 저장할 수 있다.
상기 음향 수집 장치들(120)은 공간에 대해 다양한 방위의 오디오를 수집할 수 있다. 이와 관련하여, 음향 수집 장치들(120)은 복수의 방향을 지향하도록 배치될 수 있다. 음향 수집 장치들(120)은 획득된 오디오 정보를 제1 메모리(140)에 저장할 수 있다. 이때, 제1 메모리(140)에 저장되는 오디오 정보는 각 음향 수집 장치들(120)이 향하는 방향에 대한 정보를 포함할 수 이다.
상기 영상 수집 장치들(130)은 복수의 방향 또는 방위에 대한 영상을 획득할 수 있다. 예컨대, 영상 수집 장치들(130)은 서로 다른 방향에 대한 영상을 촬영할 수 있도록 배치된 복수개의 카메라를 포함할 수 있다. 또는, 영상 수집 장치들(130)은 동일한 현실 공간을 다양한 방위 또는 방향에서 촬영할 수 있도록 배치될 수 있다. 영상 수집 장치들(130)이 수집한 영상들은 제1 메모리(140)에 저장될 수 있다. 또한, 영상 수집 장치들(130)은 360도 영상 및 이동 중심형 3차원 공간에 관한 6 자유도 공간의 영상을 획득하도록 구성될 수 있다.
상기 제1 프로세서(160)는 사용자 요청에 따라 또는 지정된 주기에 따라 특정 현실 공간에 대한 영상을 촬영할 수 있도록 배치된 복수의 영상 수집 장치들(130)의 활성화 및 현실 공간에서 발생하는 오디오 정보를 수집할 수 있도록 배치된 음향 수집 장치들(120)의 활성화를 제어할 수 있다. 제1 프로세서(160)는 영상 수집 장치들(130)이 획득한 영상 정보와 음향 수집 장치들(120)이 수집한 오디오 정보의 싱크를 일치시켜 제1 메모리(140)에 저장할 수 있다. 제1 프로세서(160)는 제1 메모리(140)에 저장된 영상들 및 오디오 정보들을 기반으로 6 자유도 공간 정보를 생성하고, 이를 공간 미디어 서버(200) 또는 사용자 단말(300)에 제공할 수 있다. 또는, 제1 프로세서(160)는 제1 메모리(140)에 저장된 영상들 및 오디오 정보들을 공간 미디어 서버(200) 또는 사용자 단말(300)에 제공할 수 도 있다.
상기 제1 프로세서(160)는 사용자 단말(300) 장치의 시점 변화 정보 및 위치 이동 정보를 수신할 수 있다. 제1 프로세서(160)는 상기 시점 변화 정보 및 위치 이동 정보에 대응하여 영상 수집 장치들(130)의 촬영 각도 및 줌 기능을 조절하여, 해당 위치에 대응하는 새로운 6 자유도 공간 정보를 수집할 수 있다. 새로운 6 자유도 공간 정보는 사용자 단말(300)의 이동 거리 및 시점 변화에 따른 현실 공간(예: 공간 미디어 생성 장치(100)가 위치한 현실 공간)에서의 주변 영상을 포함할 수 있다. 이에 따라, 본 발명의 가상 공간 제공 기능은 사용자 단말(300)을 소유한 사용자의 시점 변화뿐만 아니라, 사용자 단말(300)의 이동에 따른 가상 공간 변화(예: 새로운 6 자유도 공간 정보)를 제공할 수 있다. 또는, 제1 프로세서(160)는 사용자 단말(300)의 이동 거리에 대응하는 가상 공간의 변화를 제공할 수 있다. 상기 새로운 6 자유도 공간 정보는 공간 미디어 서버(200)를 통해 사용자 단말(300)에 전달되거나 또는 사용자 단말(300)에 직접적으로 전달될 수 있다.
도 3은 본 발명의 실시 예에 따른 가상 공간 제공과 관련한 공간 미디어 서버 구성의 한 예를 나타낸 도면이다.
도 3을 참조하면, 본 발명의 실시 예에 따른 공간 미디어 서버(200)는 제2 통신 회로(210), 제2 메모리(240) 및 제2 프로세서(260)를 포함할 수 있다.
상기 제2 통신 회로(210)는 공간 미디어 서버(200)의 통신 기능을 지원할 수 있다. 예를 들어, 제2 통신 회로(210)는 공간 미디어 생성 장치(100)와 통신 채널을 형성하고, 공간 미디어 생성 장치(100)로부터 6 자유도 공간 정보 또는 새로운 6 자유도 공간 정보를 수신할 수 있다. 또한, 제2 통신 회로(210)는 사용자 단말(300)과 통신 채널을 형성할 수 있다. 제2 통신 회로(210)는 사용자 단말(300) 접속에 대응하여 지정된 접속 화면을 사용자 단말(300)에 제공하고, 사용자 단말(300)의 요청에 따라 또는 디폴트로 정해진 6 자유도 공간 정보를 사용자 단말(300)에 제공할 수 있다.
상기 제2 메모리(240)는 공간 미디어 서버(200) 운용에 필요한 데이터를 저장할 수 있다. 예를 들어, 상기 제2 메모리(240)는 사용자 단말(300)에 제공할 6 자유도 공간 정보(241)를 저장할 수 있다. 상기 6 자유도 공간 정보(241)는 공간 미디어 생성 장치(100)로부터 수신된 정보일 수 있다. 또는, 상기 6 자유도 공간 정보(241)는 공간 미디어 생성 장치(100)로부터 수신된 공간 오디오 정보 및 공간 영상 정보(241b)를 토대로 생성된 정보일 수 있다. 상기 공간 오디오 정보(241a)는 공간 미디어 생성 장치(100)의 음향 수집 장치들(120)이 수집한 복수의 오디오 신호들을 포함할 수 있다. 공간 영상 정보(241b)는 공간 미디어 생성 장치(100)의 영상 수집 장치들(130)이 수집한 복수의 영상들을 포함할 수 있다.
상기 제2 프로세서(260)는 공간 미디어 서버(200) 운용에 필요한 신호의 전달과 처리를 수행할 수 있다. 예를 들어, 제2 프로세서(260)는 설정된 스케줄에 따라 또는 사용자 단말(300)의 요청에 따라 공간 미디어 생성 장치(100)와 통신 채널을 형성하고, 공간 미디어 생성 장치(100)로부터 6 자유도 공간 정보(241)를 수신할 수 있다. 또는, 제2 프로세서(260)는 공간 미디어 생성 장치(100)로부터 공간 오디오 정보(241a) 및 공간 영상 정보(241b)를 수신할 수 있다. 이 과정에서, 제2 프로세서(260)는 제2 통신 회로(210)를 이용하여 복수의 영상 수신 채널 및 복수의 오디오 수신 채널을 할당하고, 상기 공간 영상 정보(241b) 및 공간 오디오 정보(241a)를 수신할 수 있다. 제2 프로세서(260)는 수신된 공간 영상 정보(241b) 및 공간 오디오 정보(241a)를 이용하여 6 자유도 공간 정보(241)를 생성할 수 있다. 상기 6 자유도 공간 정보(241)는 수신된 공간 영상 정보(241b)들을 다중의 3차원 공간들을 결합한 영상이며, 이동 중심형 고화질의 6 자유도 공간 영상을 포함할 수 있다. 다중 3차원 공간들의 결합과 관련하여, 제2 프로세서(260)는 다중 3차원 공간 영상들의 가장자리를 부분 중 동일 또는 유사한 객체 또는 배경을 가지는 가장자리들을 서로 이어서 붙이는 방법을 통해 6 자유도 공간 정보를 생성할 수 있다. 또한, 6 자유도 공간 정보(241)는 영상 획득 시점에 따라 싱크된 공간 오디오 정보(241a)를 포함할 수 있다. 상기 공간 오디오 정보(241a)는 스테레오 방식으로 출력되는 오디오 신호를 포함할 수 있다. 예컨대, 상기 공간 오디오 정보(241a)는 오디오가 획득된 방향에 대한 정보를 포함할 수 있다.
상기 제2 프로세서(260)는 미디어 전송 및 컨테이너 포맷, 프로토콜, 클라우드 엣지 간 자원 최적화를 통해 MTP(Media transfer protocol) 지연을 최소화하여, 사용자 단말(300)에서 자유로운 시점 이동을 가능하도록 지원할 수 있다. 상기 제2 프로세서(260)는 평면이 아닌 공간을 표현하거나, 완전한 3차원 객체를 표현하는 영상(volumetric video)에 맞는 압축 부호화를 수행할 수 있다. 이러한, 제2 프로세서(260)는 사용자의 시점 변환 및 이동에 따른 영상 신호 및 오디오 신호의 지연을 최소화하면서도 고품질의 이동 공간 영상 및 공간 음향을 제공할 수 있다.
도 4는 본 발명의 실시 예에 따른 가상 공간 제공과 관련한 사용자 단말의 한 예를 나타낸 도면이다.
도 4를 참조하면, 본 발명의 실시 예에 따른 사용자 단말(300)은 제3 통신 회로(310), 스피커(320), 입력부(330), 제3 메모리(340), 디스플레이(350), 제3 프로세서(360), 카메라(370) 및 센서(380)를 포함할 수 있다.
상기 제3 통신 회로(310)는 사용자 단말(300)의 통신 기능을 지원할 수 있다. 예를 들어, 제3 통신 회로(310)는 통신망(500)을 통해 공간 미디어 서버(200)와 통신 채널을 형성하고, 사용자 요청에 따른 6 자유도 공간 정보(241)를 수신할 수 있다. 또는, 제3 통신 회로(310)는 통신망(500)을 통해 공간 미디어 생성 장치(100)와 통신 채널을 형성하고, 사용자 요청에 따른 6 자유도 공간 정보(241)를 직접적으로 수신할 수 있다.
상기 스피커(320)는 사용자 단말(300)의 오디오 신호를 출력할 수 있다. 이러한 스피커(320)는 예컨대, 이어폰 또는 헤드셋 형태로 대체될 수 있다. 상기 스피커(320)는 사용자 단말(300)의 복수의 위치에 복수개가 배치될 수 있다. 스피커(320)는 복수의 위치별로 서로 다른 오디오 신호를 출력하여 스테레오 오디오 출력 기능을 지원할 수 있다. 상술한 스피커(320)는 공간 오디오 정보(241a)를 출력하되, 공간 오디오 정보(241a)를 부분적으로 다르게 출력하거나, 부분적으로 다른 위치에 배치된 스피커를 통해 출력할 수 있다. 예를 들어, 스피커(320)는 제3 프로세서(360) 제어에 따라 사용자 단말(300)의 시점 정보를 기준으로 서로 다른 위치의 스피커들을 통해 공간 오디오 정보(241a)를 부분적으로 출력할 수 있다. 예를 들어, 사용자 단말(300)은 제1 위치에 배치되는 제1 스피커, 제1 위치와 다른 제2 위치에 배치된 제2 스피커를 포함하고, 사용자 시점 변화에 따라, 제1 위치에 출력되는 오디오 신호와 제2 스피커에 출력되는 오디오 신호의 종류, 크기, 효과를 다르게 적용할 수 있다.
상기 입력부(330)는 사용자 단말(300)의 입력 기능을 지원할 수 있다. 예를 들어, 입력부(330)는 적어도 하나의 물리키, 터치키, 터치스크린, 터치 패널, 전자 팬, 음성 입력을 위한 마이크를 포함할 수 있다. 입력부(330)는 사용자 입력에 따라, 사용자 단말(300) 운용과 관련한 다양한 입력 신호를 생성하고, 생성된 입력 신호를 제3 프로세서(360)에 제공할 수 있다.
상기 제3 메모리(340)는 상기 사용자 단말(300)의 운용과 관련한 다양한 데이터 또는 어플리케이션 프로그램을 저장할 수 있다. 예를 들어, 제3 메모리(340)는 공간 미디어 서버(200) 또는 공간 미디어 생성 장치(100) 접속과 관련한 어플리케이션을 저장할 수 있다. 상기 제3 메모리(340)는 공간 미디어 서버(200) 또는 공간 미디어 생성 장치(100)로부터 6 자유도 공간 정보(241)를 수신하고 저장할 수 있다.
상기 디스플레이(350)는 사용자 단말(300) 운용과 관련한 적어도 하나의 화면을 출력할 수 있다. 예를 들어, 디스플레이(350)는 공간 미디어 서버(200) 접속에 따른 화면, 6 자유도 공간 정보 선택을 위한 화면, 6 자유도 공간 정보(241) 출력 화면을 출력할 수 있다. 상기 디스플레이(350)는 사용자 단말(300)의 종류에 따라 다양한 형태 및 개수를 포함할 수 있다. 예를 들어, 상기 사용자 단말(300)이 HMD인 경우 상기 디스플레이(350)는 양안 시청을 위해 두 개의 디스플레이를 포함할 수 있다. 상기 디스플레이(350)는 사용자 단말(300)이 바 타입 스마트폰인 경우 하나의 디스플레이만을 포함할 수도 있다. 또는, 사용자 단말(300)이 우산형 전자 장치인 경우 상기 디스플레이(350)는 우산의 부분 영역들에 배치된 복수개의 디스플레이를 포함할 수 있다. 또는, 사용자 단말(300)이 우산형인 경우 디스플레이(350)는 프로젝션 타입의 디스플레이 장치를 포함할 수 있다.
상기 카메라(370)는 상기 사용자 단말(300)의 주변 영상을 획득할 수 있다. 예컨대, 카메라(370)는 상기 6 자유도 공간 정보(241)를 출력하는 기능이 실행된 경우, 자동으로 활성화되어, 주변 영상을 촬영하고, 촬영된 영상을 공간 미디어 서버(200) 또는 공간 미디어 생성 장치(100)에 제공할 수 있다. 카메라(370)가 획득한 영상은 6 자유도 공간 정보(241)를 생성하는데 이용될 수 있다. 예컨대, 공간 미디어 생성 장치(100) 또는 공간 미디어 서버(200)는 공간 미디어 생성 장치(100)가 획득한 영상에 사용자 단말(300)이 제공한 카메라(370)의 영상을 혼합하여 가상 공간을 제공할 수 있다. 이에 따라, 사용자는 디스플레이(350)에 출력된 영상 확인을 통하여 사용자의 주변 장애물이나 구조물 등을 확인할 수 있다.
상기 센서(380)는 사용자 단말(300)의 이동과 관련한 센싱 신호를 수집할 수 있다. 이러한 센서(380)는 예컨대, 사용자 단말(300)의 위치 이동을 감지할 수 있는 위치 정보 수집 센서(예: GPS), 또는 이동에 따른 신호를 센싱하는 가속도 센서, 움직임 관련 신호를 센싱하는 자이로 센서 또는 지자기 센서 등을 포함할 수 있다. 센서(380)가 수집한 센싱 정보는 공간 미디어 생성 장치(100) 또는 공간 미디어 서버(200)에 제공될 수 있다. 상기 공간 미디어 생성 장치(100) 또는 공간 미디어 서버(200)는 수신된 센싱 정보를 기반으로, 사용자 단말(300)의 이동 방향 및 이동 거리를 판별할 수 있다. 또한, 센서(380)는 사용자의 시점 변화를 관측할 수 있는 센서(예: 카메라 센서)를 포함할 수 있다. 센서(380)가 수집한 사용자의 시점 변화(예: 홍채 모니터링을 통한 시점 변환) 정보는 공간 미디어 생성 장치(100) 또는 공간 미디어 서버(200)에 제공될 수 있다.
상기 제3 프로세서(360)는 사용자 단말(300)의 운용과 관련한 신호 처리 또는 전달을 수행할 수 있다. 예컨대, 제3 프로세서(360)는 사용자 입력에 대응하여 공간 미디어 서버(200) 접속을 수행하고, 공간 미디어 서버(200)가 제공하는 6 자유도 공간 정보(241)를 수신하여 디스플레이(350)에 출력할 수 있다. 특히, 제3 프로세서(360)는 센서(380) 또는 카메라(370) 운용을 통해, 사용자의 주변 영상 및 주변 센싱 정보를 획득하고, 획득된 주변 영상 및 주변 센싱 정보를 공간 미디어 서버(200)에 전송할 수 있다. 상기 제3 프로세서(360)는 공간 미디어 서버(200)로부터 상기 주변 영상 및 주변 센싱 정보를 토대로 새롭게 생성된 6 자유도 공간 정보를 수신할 수 있다. 제3 프로세서(360)는 상술한 주변 영상 및 주변 센싱 정보 중 적어도 일부를 실시간으로 공간 미디어 서버(200)에 제공하고, 공간 미디어 서버(200)로부터 전송된 주변 영상 및 주변 센싱 정보 중 적어도 일부에 맞추어 새롭게 변경된 6 자유도 공간 정보를 수신할 수 있다. 한편, 제3 프로세서(360)는 공간 미디어 서버(200)와의 연결 없이, 공간 미디어 생성 장치(100)와 직접적으로 통신 채널을 형성하고, 공간 미디어 생성 장치(100)에 주변 영상 및 주변 센싱 정보를 제공하고, 주변 영상 및 주변 센싱 정보에 대응하여 새롭게 변경된 6 자유도 공간 정보를 수신할 수도 있다.
상술한 사용자 단말(300)은 예컨대, 휴대형 우산 전자 장치, 해변이나 야외에 설치되는 우산 전자 장치, 또는 프로젝션을 통한 공간 미디어 장치를 포함할 수 있다. 예컨대, 우산형 사용자 단말의 경우, 손잡이에 인접 영역에 프로젝션 장치가 배치되거나 또는 우산의 원단이 디스플레이로 구성될 수 있다. 또한, 우산형 사용자 단말은 이동에 따른 센싱 정보를 수집할 수 있는 센서를 포함하고, 센서를 통해 이동에 따른 이동 방향 및 이동 거리에 대한 정보를 공간 미디어 서버(200) 또는 공간 미디어 생성 장치(100)에 제공할 수 있다. 공간 미디어 서버(200) 또는 공간 미디어 생성 장치(100)는 사용자 단말(300)의 이동 거리 및 이동 방향에 따라 촬영되는 공간의 방향과 촬영 거리를 조정(예: 줌 기능을 통한 거리 조정)하여 새로운 6 자유도 공간 정보를 획득하고, 이를 우산형 사용자 단말의 디스플레이에 출력할 수 있다. 상술한 우산형 사용자 단말의 디스플레이는 예컨대, 디즈니, 유니버셜 스튜디어 등의 공간 체험 정보가 제공되며, 사용자의 이동에 따라 출력되는 공간 체험 정보가 변경될 수 있다. 또는, 우산형 사용자 단말의 디스플레이는 스포츠 또는 게임 플레이 영상이 출력되며, 사용자의 이동 방향, 이동 거리, 시점 변화 중 적어도 하나에 의해 위치가 변경된 스포츠 또는 게임 플레이의 공간 영상이 출력될 수 있다.
한편, 상기 사용자 단말(300)은 큐브 타입의 6 자유도 공간 정보를 출력할 수 있는 장치(예: 증강된 HMD)를 포함할 수 있다. 이 경우, 사용자 단말(300)은 러닝 머신 및 HMD 결합형 하드웨어, 자전거 및 HMD 결합형 하드웨어 등을 포함할 수 있다. 또는, 증강된 HMD는 해변이나 바닷가와 같은 공간 체험 정보를 출력하고, 사용자의 위치 이동에 따라 해변에 가깝게 다가가는 공간 영상 또는 해변으로부터 멀어지는 공간 영상 등을 출력할 수 있다.
도 5는 본 발명의 실시 예에 따른 가상 공간 제공 방법과 관련한 사용자 단말과 공간 미디어 생성 장치 간의 신호 흐름을 나타낸 도면이다.
도 5를 참조하면, 501 단계에서, 사용자 단말(300)과 공간 미디어 생성 장치(100)는 통신 채널을 형성할 수 있다. 예컨대, 사용자 단말(300)은 사용자 입력에 대응하여 공간 미디어 생성 장치(100)와 접속할 수 있는 어플리케이션을 실행하고, 상기 어플리케이션 실행에 따라 통신망(500)을 통해 공간 미디어 생성 장치(100)에 접속할 수 있다. 또는, 상기 사용자 단말(300)은 공간 미디어 서버(200)를 통해 상기 공간 미디어 생성 장치(100)에 접속할 수도 있다. 상기 공간 미디어 생성 장치(100)는 사용자 단말(300) 접속과 관련하여, 접속 화면을 사용자 단말(300)에 제공할 수 있다.
503 단계에서, 공간 미디어 생성 장치(100)는 6 자유도 공간 정보를 획득할 수 있다. 이와 관련하여, 공간 미디어 생성 장치(100)는 다중 3차원 공간 영상을 확보할 수 있는 복수의 360도 영상 획득 장치를 이용하거나, 지정된 공간에 대한 다중 3차원 공간 영상을 획득할 수 있도록 복수의 방위를 촬영할 수 있도록 배치된 복수의 카메라를 포함할 수 있다. 또한, 공간 미디어 생성 장치(100)는 복수의 방위에서 발생하는 오디오 신호를 수집할 수 있도록 복수의 방위를 향하도록 배치된 복수의 마이크를 포함할 수 있다. 상기 공간 미디어 생성 장치(100)는 다중 3차원 공간 영상을 결합하여 6 자유도 공간 정보를 생성할 수 있다. 이 과정에서, 공간 미디어 생성 장치(100)는 오디오 신호를 공간 영상 정보에 싱크시켜 6 자유도 공간 정보를 생성할 수 있다.
505 단계에서, 공간 미디어 생성 장치(100)는 6 자유도 공간 정보를 사용자 단말(300)에 제공할 수 있다. 이와 관련하여, 공간 미디어 생성 장치(100)는 6 자유도 공간 정보 전송과 관련한 부호화 및 전송 채널 할당, 데이터 전송을 제어할 수 있다. 또는, 공간 미디어 생성 장치(100)는 공간 미디어 서버(200)를 통하여 6 자유도 공간 정보를 사용자 단말(300)에 제공할 수도 있다. 전송 지연과 관련하여, 공간 미디어 생성 장치(100)는 1Gbps 이상의 전송 속도 또는 1ms 이하의 전송 지연을 만족하는 통신망(500)을 기반으로 6 자유도 공간 정보를 사용자 단말(300)에 전송할 수 있다.
507 단계에서, 사용자 단말(300)은 수신된 6 자유도 공간 정보를 출력할 수 있다. 사용자 단말(300)은 6 자유도 공간 정보를 수신하고, 디스플레이(350)를 통하여 6 자유도 공간 정보를 출력할 수 있다. 출력 과정에서, 사용자 단말(300)은 디스플레이(350)의 형태에 따라 다양한 방식의 정보 출력을 수행할 수 있다. 예를 들어, 우산형 전자 장치 타입의 사용자 단말(300)의 내측에 6 자유도 공간 정보의 적어도 일부가 출력될 수 있다. 또는, HMD 타입의 사용자 단말(300)을 통해 상기 6 자유도 공간 정보의 적어도 일부가 출력될 수 있다.
509 단계에서, 사용자 단말(300)은 카메라(370) 및 센서(380) 중 적어도 하나를 이용하여 상태 정보를 수집하고, 수집된 상태 정보를 공간 미디어 생성 장치(100)에 제공할 수 있다. 예를 들어, 사용자 단말(300)은 카메라를 이용하여 눈 또는 눈동자를 촬영하고, 눈 또는 눈동자의 움직임 검출을 통하여 시점 변화를 검출할 수 있다. 또는, 사용자 단말(300)은 GPS, 가속도 센서, 지자기 센서 등을 이용하여 사용자의 이동 거리 및 이동 방향에 대한 정보를 검출할 수 있다. 상기 사용자 단말(300)은 검출된 시점 변화 정보, 이동 거리, 이동 방향 정보 중 적어도 하나를 포함하는 상태 정보를 공간 미디어 생성 장치(100)에 제공할 수 있다.
511 단계에서, 공간 미디어 생성 장치(100)는 상태 정보에 따른 새로운(New) 6 자유도 공간 정보를 획득할 수 있다. 예컨대, 공간 미디어 생성 장치(100)는 사용자 단말(300)을 이용하는 사용자의 이동 거리에 따라, 현재 촬영 중인 공간에서의 이동 거리를 매핑하고, 이동 거리가 매핑된 위치에서의 새로운 6 자유도 공간 정보를 획득할 수 있다. 또는, 공간 미디어 생성 장치(100)는 사용자의 이동 방향 및 이동 거리를 현재 촬영 공간에 매핑하고, 매핑 위치를 기준으로 새로운 6 자유도 공간 정보를 획득할 수 있다. 또는, 공간 미디어 생성 장치(100)는 이동 방향, 이동 거리 및 시점 변화를 현재 촬영 공간에 매핑하고, 매핑 위치를 기준으로 새로운 6 자유도 공간 정보를 획득할 수 있다.
513 단계에서, 공간 미디어 생성 장치(100)는 New 6 자유도 공간 정보를 사용자 단말(300)에 제공할 수 있다. New 6 자유도 공간 정보 전송 방식은 앞서 설명한 505 단계에서 6 자유도 공간 정보의 전송 방식과 동일한 방식일 수 있다. 또한, 515 단계에서, 사용자 단말(300)은 New 6 자유도 공간 정보를 출력할 수 있다. 상기 New 6 자유도 공간 정보의 출력 역시, 앞서 설명한 507 단계에서 6 자유도 공간 정보의 출력 동작과 동일한 방식일 수 있다.
상기 공간 미디어 생성 장치(100) 및 상기 사용자 단말(300)은 상기 6 자유도 공간 정보 출력 기능의 종료 요청이 발생하기 이전까지 앞서 설명한 509 단계 내지 515 단계를 반복적으로 수행할 수 있다. 종료 요청이 발생하는 경우, 공간 미디어 생성 장치(100)는 6 자유도 공간 정보 획득 동작을 종료할 수 있다. 사용자 단말(300)은 종료 요청에 따라, 6 자유도 공간 정보의 출력을 중지하고, 사용자 선택에 따라 메모리에 저장하거나, 삭제할 수 있다.
상술한 설명에서는 사용자 단말(300)과 공간 미디어 생성 장치(100) 간의 통신 채널을 형성 후, 6 자유도 공간 정보(241)를 공간 미디어 생성 장치(100)가 사용자 단말(300)에 제공하는 것으로 설명하였으나, 본 발명이 이에 한정되는 것은 아니다. 예컨대, 상기 사용자 단말(300)은 공간 미디어 서버(200)와 통신 채널을 형성하고, 6 자유도 공간 정보(241)를 공간 미디어 서버(200)로부터 수신할 수 있다. 이 경우, 공간 미디어 서버(200)는 사용자 단말(300)과 공간 미디어 생성 장치(100) 간의 중계 역할을 통해, 공간 미디어 생성 장치(100)가 생성한 6 자유도 공간 정보(241)를 사용자 단말(300)에 제공할 수 있다. 또는, 공간 미디어 서버(200)는 공간 미디어 생성 장치(100)로부터 공간에 대한 다양한 촬영 방향, 다양한 촬영 거리, 다양한 객체들에 대한 공간 영상들을 사전에 획득하여 저장하고, 사용자 단말(300)의 시점 변화 및 위치 변화에 대응하여 6 자유도 공간 정보를 새롭게 생성하여 사용자 단말(300)에 제공할 수도 있다. 예를 들어, 공간 미디어 서버(200)는 사용자 단말(300)에 6 자유도 공간 정보를 제공하고, 사용자 단말(300)로부터 상태 정보를 수신하는 경우, 수신된 상태 정보에서의 사용자 시청 위치를 기 저장된 6 자유도 공간 정보에 매핑하고, 매핑된 사용자 시청 위치를 기준으로 기 저장된 새로운 6 자유도 공간 정보를 수집하고, 수집된 새로운 6 자유도 공간 정보를 사용자 단말(300)에 전송할 수 있다.
상술한 공간 미디어 서버(200)의 가상 공간 제공 방법은, 사용자 단말(300)과 통신 채널을 형성하고, 상기 사용자 단말(300) 요청에 따라, 다중 3차원 공간 영상들을 획득한 후, 상기 다중 3차원 공간 영상들을 결합하여 6 자유도 공간 정보를 생성하고, 상기 6 자유도 공간 정보를 사용자 단말에 전송할 수 있다. 여기서 다중 3차원 공간 영상들을 획득하는 단계는 공간 미디어 생성 장치(100)로부터 수신하거나 또는 제2 메모리(240)에 기 저장된 정보를 수집하는 단계를 포함할 수 있다.
도 6은 본 발명의 실시 예에 따른 특정 가상 공간 제공과 관련한 시스템 운용을 개략적으로 나타낸 도면이다.
도 6을 참조하면, 601 상태에서와 같이, 공간 미디어 생성 장치(100)는 현실 공간에 대한 다양한 정보를 획득할 수 있다. 예를 들어, 공간 미디어 생성 장치(100)는 실제 3차원 공간에 대하여 전방위 영상/공간 데이터를 확보할 수 있다. 공간 미디어 생성 장치(100)는 완전한 3D 객체(volumetric 모델링 객체)를 수집할 수 있다. 또한, 공간 미디어 생성 장치(100)는 실제 3차원 공간에 대하여 Light Field 영상을 확보할 수 있다.
603 상태에서와 같이, 공간 미디어 생성 장치(100)는 획득한 다양한 정보를 공간 미디어 서버(200) 또는 클라우드 에지 서버에 제공할 수 있다. 이 과정에서, 공간 미디어 생성 장치(100)는 초고속 무선 통신망을 통해 전송률이 1Gbps 이상인 전송 채널을 운용할 수 있다.
605 상태에서와 같이, 공간 미디어 서버(200)는 6 자유도 공간 정보 전송을 위한 부호화 및 사용자 단말(300)로의 전송 처리를 수행할 수 있다. 부호화/전송 과정에서, 공간 미디어 서버(200)는 저지연 모바일 랜더링 처리를 위한 부호화 및 전송을 수행할 수 있다. 공간 미디어 서버(200)는 초저지연 양방향 통신과 관련하여 예컨대 전송 지연이 1ms 이하인 데이터 전송 채널을 운용할 수 있다.
사용자 단말(300)은 수신된 6 자유도 공간 정보를 디스플레이를 통해 재현할 수 있다. 예를 들어, 사용자 단말(300)은 사용자의 머리에 착용하는 HMD를 포함할 수 있다. 사용자는 사용자 단말(300)을 통해 다중 3차원 가상 리얼 공간을 시청할 수 있다. 다중 3차원 가상 리얼 공간에서 사용자는 6 자유도 공간 시청에 따라 자유로운 네비게이션(예: 위치 이동과 시점 변화)을 수행할 수 있으며, 완전한 3차원 객체(volumetric 객체)를 시청할 수 있다.
본 발명에 따른 방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 소프트웨어 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.
또한, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.
아울러, 본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.
본 명세서에서 설명한 주제의 특정한 실시형태를 설명하였다. 기타의 실시형태들은 이하의 청구항의 범위 내에 속한다. 예컨대, 청구항에서 인용된 동작들은 상이한 순서로 수행되면서도 여전히 바람직한 결과를 성취할 수 있다. 일 예로서, 첨부도면에 도시한 프로세스는 바람직한 결과를 얻기 위하여 반드시 그 특정한 도시된 순서나 순차적인 순서를 요구하지 않는다. 특정한 구현예에서, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.
본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.
따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.
본 발명은 가상 공간 제공에 적용되는 것으로서, 특히, 사용자의 시점 및 위치 변화에 대응하는 공간 정보를 제공하는 기술과 관련된다.
특히, 본 발명은 사용자 위치 및 시점 변화에 대응하여 6 자유도 공간 정보를 제공함으로써, 사용자의 정보에 대한 몰입감을 극대화하고, 정보 습득과 관련한 사용자의 이동성 및 휴대성을 개선할 수 있어, 보다 다양한 정보 이용 환경을 제공할 수 있다.
100: 공간 미디어 생성 장치
200: 공간 미디어 서버
300: 사용자 단말
500: 통신망

Claims (10)

  1. 공간 미디어 서버가, 사용자 단말과 통신 채널을 형성하는 단계;
    상기 사용자 단말 요청에 따라, 상기 공간 미디어 서버가, 다중 3차원 공간 영상들을 획득하는 단계;
    상기 공간 미디어 서버가, 상기 다중 3차원 공간 영상들을 결합하여 6 자유도 공간 정보를 생성하는 단계;
    상기 공간 미디어 서버가, 상기 6 자유도 공간 정보를 사용자 단말에 전송하는 단계;를 포함하는 것을 특징으로 하는 가상 공간 제공 방법.
  2. 제1항에 있어서,
    상기 다중 3차원 공간 영상들을 획득하는 단계는
    공간 미디어 생성 장치로부터 다중 3차원 공간 영상들을 수신하는 단계;
    메모리에 기 저장된 다중 3차원 공간 영상들을 독출하는 단계; 중 어느 하나의 단계를 포함하는 것을 특징으로 하는 가상 공간 제공 방법.
  3. 제1항에 있어서,
    사용자 단말과의 통신 채널 형성 후, 상기 공간 미디어 서버가 적어도 하나의 6 자유도 공간 정보 선택을 위한 접속 화면을 상기 사용자 단말에 제공하는 단계;를 더 포함하는 것을 특징으로 하는 가상 공간 제공 방법.
  4. 제1항에 있어서,
    상기 공간 미디어 서버가 상기 사용자 단말로부터 이동 거리, 이동 방향 및 시점 변화 중 적어도 하나를 포함하는 상태 정보를 수신하는 단계;
    상기 공간 미디어 서버가 상기 상태 정보에 따라 변경된 6 자유도 공간 정보를 상기 사용자 단말에 제공하는 단계;를 더 포함하는 것을 특징으로 하는 가상 공간 제공 방법.
  5. 제4항에 있어서,
    상기 변경된 6 자유도 공간 정보를 상기 사용자 단말에 제공하는 단계는
    상기 공간 미디어 서버가, 상기 사용자 단말의 이동 거리에 따라 상기 6 자유도 공간 정보에서의 사용자 시청 위치를 검출하는 단계;
    상기 공간 미디어 서버가, 변경된 사용자 시청 위치를 기준으로 새로운 6 자유도 공간 정보를 생성하는 단계;
    상기 공간 미디어 서버가, 상기 새로운 6 자유도 공간 정보를 상기 사용자 단말에 제공하는 단계;를 포함하는 것을 특징으로 하는 가상 공간 제공 방법.
  6. 제4항에 있어서,
    상기 변경된 6 자유도 공간 정보를 상기 사용자 단말에 제공하는 단계는
    상기 공간 미디어 서버가, 상기 사용자 단말의 이동 거리 및 상기 이동 방향에 따라 상기 6 자유도 공간 정보에서의 사용자 시청 위치를 검출하는 단계;
    상기 공간 미디어 서버가, 변경된 사용자 시청 위치를 기준으로 새로운 6 자유도 공간 정보를 생성하는 단계;
    상기 공간 미디어 서버가, 상기 새로운 6 자유도 공간 정보를 상기 사용자 단말에 제공하는 단계;를 포함하는 것을 특징으로 하는 가상 공간 제공 방법.
  7. 제4항에 있어서,
    상기 변경된 6 자유도 공간 정보를 상기 사용자 단말에 제공하는 단계는
    상기 공간 미디어 서버가, 상기 사용자 단말의 이동 거리, 이동 방향 및 시점 변화에 따라 상기 6 자유도 공간 정보에서의 사용자 시청 위치를 검출하는 단계;
    상기 공간 미디어 서버가, 변경된 사용자 시청 위치를 기준으로 새로운 6 자유도 공간 정보를 생성하는 단계;
    상기 공간 미디어 서버가, 상기 새로운 6 자유도 공간 정보를 상기 사용자 단말에 제공하는 단계;를 포함하는 것을 특징으로 하는 가상 공간 제공 방법.
  8. 통신 채널을 형성하는 통신 회로;
    상기 통신 회로와 기능적으로 연결된 프로세서를 포함하고,
    상기 프로세서는
    사용자 단말과 통신 채널을 형성하고, 상기 사용자 단말 요청에 따라, 상기 공간 미디어 서버가, 다중 3차원 공간 영상들을 획득한 후, 상기 공간 미디어 서버가, 상기 다중 3차원 공간 영상들을 결합하여 6 자유도 공간 정보를 생성하고,
    상기 6 자유도 공간 정보를 사용자 단말에 전송하도록 제어하는 것을 특징으로 하는 가상 공간 제공을 지원하는 공간 미디어 서버.
  9. 사용자 단말이, 다중 3차원 공간 결합을 통해 생성한 6 자유도 공간 정보를 제공하는 장치와 통신 채널을 형성하는 단계;
    상기 장치로부터 상기 6 자유도 공간 정보를 수신하는 단계;
    수신된 상기 6 자유도 공간 정보를 출력하도록 제어하는 단계;를 포함하는 상기 사용자 단말 기반 가상 공간 제공 방법을 컴퓨터에서 실행시키기 위하여 컴퓨터 판독 가능한 매체에 저장된 컴퓨터 프로그램.
  10. 제9항에 있어서,
    이동 거리, 이동 방향 및 시점 변화 중 적어도 하나를 포함하는 상태 정보를 상기 장치에 전송하는 단계;
    상기 장치로부터 상기 이동 거리 및 이동 방향 중 적어도 하나에 대응하여 상기 6 자유도 공간 정보에서 변경된 사용자 시청 위치를 기준으로 새로운 6 자유도 공간 정보를 수신하는 단계;
    상기 새로운 6 자유도 공간 정보를 출력하도록 제어하는 단계;를 더 포함하는 상기 사용자 단말 기반 가상 공간 제공 방법을 컴퓨터에서 실행시키기 위하여 컴퓨터 판독 가능한 매체에 저장된 컴퓨터 프로그램.
KR1020190128002A 2019-10-15 2019-10-15 가상 공간 제공 방법 및 이를 위한 컴퓨터 프로그램 KR20210044609A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190128002A KR20210044609A (ko) 2019-10-15 2019-10-15 가상 공간 제공 방법 및 이를 위한 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190128002A KR20210044609A (ko) 2019-10-15 2019-10-15 가상 공간 제공 방법 및 이를 위한 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
KR20210044609A true KR20210044609A (ko) 2021-04-23

Family

ID=75738200

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190128002A KR20210044609A (ko) 2019-10-15 2019-10-15 가상 공간 제공 방법 및 이를 위한 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR20210044609A (ko)

Similar Documents

Publication Publication Date Title
CN110544280B (zh) Ar系统及方法
US9858643B2 (en) Image generating device, image generating method, and program
JP5992210B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP2019533372A (ja) パノラマ画像の表示制御方法、装置及び記憶媒体
JP7026819B2 (ja) カメラの位置決め方法および装置、端末並びにコンピュータプログラム
JP6348741B2 (ja) 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
US20130176403A1 (en) Heads up display (HUD) sensor system
CN107534784A (zh) 服务器、用户终端装置及其控制方法
JP2014127987A (ja) 情報処理装置および記録媒体
US20220164159A1 (en) Method for playing audio, terminal and computer-readable storage medium
KR102565977B1 (ko) 시선에 기반한 관심 영역 검출 방법 및 이를 위한 전자 장치
WO2021147921A1 (zh) 图像处理方法、电子设备及计算机可读存储介质
US10156898B2 (en) Multi vantage point player with wearable display
CN106357966A (zh) 全景图像拍摄装置及全景图像获取方法
CN114170349A (zh) 图像生成方法、装置、电子设备及存储介质
JP2017208676A (ja) 仮想空間を提供する方法、プログラム及び記録媒体
KR20180017736A (ko) Hmd 및 그 hmd의 제어 방법
CN112581571A (zh) 虚拟形象模型的控制方法、装置、电子设备及存储介质
CN112381729B (zh) 图像处理方法、装置、终端及存储介质
CN113573120A (zh) 音频的处理方法及电子设备
EP3665656A1 (en) Three-dimensional video processing
WO2019034804A2 (en) THREE-DIMENSIONAL VIDEO PROCESSING
CN112822544A (zh) 视频素材文件生成方法、视频合成方法、设备及介质
JP2017208808A (ja) 仮想空間を提供する方法、プログラム及び記録媒体
JP7378510B2 (ja) ストリートビューワーシステム

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E601 Decision to refuse application