KR102181859B1 - 홀로포테이션 제공 시스템 및 방법 - Google Patents

홀로포테이션 제공 시스템 및 방법 Download PDF

Info

Publication number
KR102181859B1
KR102181859B1 KR1020180160364A KR20180160364A KR102181859B1 KR 102181859 B1 KR102181859 B1 KR 102181859B1 KR 1020180160364 A KR1020180160364 A KR 1020180160364A KR 20180160364 A KR20180160364 A KR 20180160364A KR 102181859 B1 KR102181859 B1 KR 102181859B1
Authority
KR
South Korea
Prior art keywords
model
model information
terminal device
information
relay server
Prior art date
Application number
KR1020180160364A
Other languages
English (en)
Other versions
KR20200072321A (ko
Inventor
황영배
김성제
김명균
김유라
박종근
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020180160364A priority Critical patent/KR102181859B1/ko
Publication of KR20200072321A publication Critical patent/KR20200072321A/ko
Application granted granted Critical
Publication of KR102181859B1 publication Critical patent/KR102181859B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명의 실시예들은 제1객체를 센싱하는 제1센서부; 상기 센싱을 통해 제1객체의 3차원 모델을 복원하여 제1모델정보를 생성하고 생성된 제1모델정보를 전송하는 제1복원서버; 상기 제1모델정보를 수신하여 변환하고 변환된 제1모델정보를 전송하는 제1중계서버; 및 상기 변환된 제1모델정보를 수신하여 제1객체를 표시하는 제1단말장치를 포함하여 구성되는 홀로포테이션 제공 시스템을 제공한다.
이에, 본 발명의 홀로포테이션 제공 시스템은 다양한 종류의 단말장치를 지원할 수 있다.

Description

홀로포테이션 제공 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING HOLOPORTATION}
본 발명은 홀로포테이션 제공 시스템 및 방법에 관한 것으로서, 더욱 상세하게는, 다양한 종류의 단말장치를 지원하고 양방향 전송이 가능한 홀로포테이션 서비스를 제공하기 위한 것이다.
홀로포테이션(Holoportation)이란 AR(증강현실, Augmented Reality)/VR(가상현실, Virtual Reality)을 이용한 텔레프레즌스(telepresence) 또는 가상 순간이동(Virtual Teleportation)을 의미한다. 여기에서, 텔레프레즌스 또는 가상 순간이동은 원격지에 있는 사람 또는 물건이 자신과 동일한 공간에 있는 것처럼 느끼도록 하는 기술로서 주로 원격 회의 등에 사용되고 있다.
홀로포테이션과 관련된 종래기술을 살펴본다.
한국등록특허 제10-1659849호는 아바타를 이용한 텔레프레즌스 제공 시스템에 관한 것으로서, 아바타를 이용한 텔레프레즌스 시스템에 있어서, 현 공간인 제1 공간에 인간 X 가 존재하고 원격지인 제2 공간에 인간 Y 가 존재하며 상기 제1 공간에 상기 인간 Y에 대응되는 아바타 Y'가 존재하고 상기 제2 공간에 상기 인간 X에 대응되는 아바타 X'가 존재하는 초기 상태에서, 상기 인간 Y의 상기 제2 공간 내 위치의 변화가 감지되면, (i) 상기 제1 공간과 상기 제2 공간의 공간 정보, (ii) 상기 제1 공간과 상기 제2 공간에서의 상기 인간 X, 상기 인간 Y, 및 상기 아바타 X'의 위치 정보 및 (iii) 상기 제1 공간과 상기 제2 공간에서의 상기 인간 X 및 상기 인간 Y의 시선 정보를 참조로 하여, 상기 제1 공간 내 상기 아바타 Y'가 위치할 지점을 결정하는 대응점 탐색부, 및 상기 아바타 Y'가 위치할 지점에 대한 정보를 참조로 하여, 상기 아바타 Y'의 동작을 생성하는 아바타 동작 생성부를 포함하는 시스템을 개시한다.
그러나, 종래기술은 홀로포테이션 제공 시스템에서 다양한 AR/VR 장치를 지원할 수 있는 방법이나 양방향 홀로포테이션을 제공하기 위한 구체적인 구성을 제시하지 않는다.
전술한 문제점을 해결하기 위하여, 본 발명의 실시예들은 다양한 종류의 단말장치에서 홀로포테이션 서비스를 제공하는 시스템 및 방법을 제공하는데 그 목적이 있다.
또한, 본 발명의 실시예들은 양방향 홀로포테이션 제공 시스템을 제공하는데 그 목적이 있다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예는 제1객체를 센싱하는 제1센서부; 상기 센싱을 통해 제1객체의 3차원 모델을 복원하여 제1모델정보를 생성하고 생성된 제1모델정보를 전송하는 제1복원서버; 상기 제1모델정보를 수신하여 변환하고 변환된 제1모델정보를 전송하는 제1중계서버; 및 상기 변환된 제1모델정보를 수신하여 제1객체를 표시하는 제1단말장치를 포함하여 구성되는 홀로포테이션 제공 시스템을 제공한다.
일 실시예에서, 상기 제1중계서버는 상기 제1모델정보의 포맷을 변환하거나 제1모델정보에 해당하는 3차원모델의 품질, 크기 또는 종류를 변환하는 컨버터를 포함할 수 있다.
일 실시예에서, 상기 컨버터는 상기 제1단말장치에서 지원되는 3차원모델정보의 포맷에 따라 상기 제1모델정보의 포맷을 변환할 수 있다.
일 실시예에서, 상기 컨버터는 상기 제1단말장치의 성능에 따라 상기 제1모델정보에 해당하는 3차원모델의 정점의 개수를 조절하여 3차원모델의 품질을 변환할 수 있다.
일 실시예에서, 상기 제1단말장치는 제1단말장치가 사용되는 공간에 대한 깊이정보를 측정하고, 상기 컨버터는 상기 깊이정보를 기초로 상기 제1객체가 표시될 위치 또는 거리를 설정하고 상기 제1모델정보에 해당하는 3차원모델의 크기를 변환할 수 있다.
일 실시예에서, 상기 컨버터는 상기 제1단말장치에서 지원되는 3차원모델의 종류에 따라 상기 제1모델정보에 해당하는 3차원모델을 3차원 포인트 클라우드 또는 3차원 메쉬로 변환할 수 있다.
일 실시예에서, 상기 홀로포테이션 제공 시스템은, 제2객체를 센싱하는 제2센서부; 상기 센싱을 통해 제2객체의 3차원 모델을 복원하고 제2모델정보를 생성하며 생성된 제2모델정보를 전송하는 제2복원서버; 상기 제2모델정보를 수신하여 변환하고 변환된 제2모델정보를 전송하는 제2중계서버; 및 상기 변환된 제2모델정보를 수신하여 제2객체를 표시하는 제2단말장치를 포함하고, 제1단말장치는 제2객체에게 제1객체를 표시하고 제2단말장치는 제1객체에게 제2객체를 표시할 수 있다.
일 실시예에서, 상기 제1복원서버는 상기 제2중계서버를 경유하여 상기 제1중계서버로 제1모델정보를 전송하고, 상기 제2복원서버는 상기 제1 중계서버를 경유하여 상기 제2중계서버로 제2모델정보를 전송할 수 있다.
또한, 전술한 목적을 달성하기 위한 본 발명의 다른 실시예는 제1객체를 센싱하여 2차원영상정보 또는 거리정보를 생성하는 센싱단계; 상기 2차원영상정보 또는 거리정보를 기초로 제1객체의 3차원모델을 복원하여 제1모델정보를 생성하고 생성된 제1모델정보를 전송하는 복원단계; 상기 제1모델정보를 수신하여 변환하고 변환된 제1모델정보를 전송하는 중계단계; 및 상기 변환된 제1모델정보를 수신하여 제1객체를 표시하는 표시단계를 포함하여 구성되는 홀로포테이션 제공 방법을 제공한다.
이상과 같이, 본 발명의 실시예들은 제1객체를 센싱하는 제1센서부, 상기 센싱을 통해 제1객체의 3차원 모델을 복원하여 제1모델정보를 생성하고 생성된 제1모델정보를 전송하는 제1복원서버, 상기 제1모델정보를 수신하여 변환하고 변환된 제1모델정보를 전송하는 제1중계서버 및 상기 변환된 제1모델정보를 수신하여 제1객체를 표시하는 제1단말장치를 포함하여 구성되는 홀로포테이션 제공 시스템을 제공함으로써, 다양한 종류의 단말장치에서 홀로포테이션 서비스가 제공될 수 있다.
또한, 본 발명의 실시예들은 제1모델정보의 포맷을 변환하거나 제1모델정보에 해당하는 3차원모델의 품질, 크기 또는 종류를 변환하는 컨버터를 포함함으로써, 다양한 종류의 단말장치에서 홀로포테이션 서비스가 제공될 수 있다.
또한, 본 발명의 실시예들은 제1단말장치에서 지원되는 3차원모델정보의 포맷에 따라 제1모델정보의 포맷을 변환함으로써, 다양한 종류의 단말장치에서 홀로포테이션 서비스가 제공될 수 있다.
또한, 본 발명의 실시예들은 제1단말장치의 성능에 따라 제1모델정보에 해당하는 3차원모델의 정점의 개수를 조절하여 3차원모델의 품질을 변환함으로써, 다양한 종류의 단말장치에서 홀로포테이션 서비스가 제공될 수 있다.
또한, 본 발명의 실시예들은 제1단말장치가 사용되는 공간에 대한 깊이정보를 기초로 제1객체가 표시될 위치 또는 거리를 설정하고 제1모델정보에 해당하는 3차원모델의 크기를 변환함으로써, 다양한 종류의 단말장치에서 홀로포테이션 서비스가 제공될 수 있다.
또한, 본 발명의 실시예들은 제1단말장치에서 지원되는 3차원모델의 종류에 따라 제1모델정보에 해당하는 3차원모델을 3차원 포인트 클라우드 또는 3차원 메쉬로 변환함으로써, 다양한 종류의 단말장치에서 홀로포테이션 서비스가 제공될 수 있다.
또한, 본 발명의 실시예들은 제2객체를 센싱하는 제2센서부; 상기 센싱을 통해 제2객체의 3차원 모델을 복원하고 제2모델정보를 생성하며 생성된 제2모델정보를 전송하는 제2복원서버; 상기 제2모델정보를 수신하여 변환하고 변환된 제2모델정보를 전송하는 제2중계서버; 및 상기 변환된 제2모델정보를 수신하여 제2객체를 표시하는 제2단말장치를 포함하고, 제1단말장치는 제2객체에게 제1객체를 표시하고 제2단말장치는 제1객체에게 제2객체를 표시함으로써, 양방향 홀로포테이션 서비스가 제공될 수 있다.
또한, 본 발명의 실시예들은 제1복원서버는 제2중계서버를 경유하여 제1중계서버로 제1모델정보를 전송하고, 제2복원서버는 제1중계서버를 경유하여 제2중계서버로 제2모델정보를 전송함으로써, 제1중계서버 및 제2중계서버를 제외한 다른 구성은 사설IP주소가 할당될 수 있으므로 네트워크를 구축하기 위해 필요한 공인IP주소의 개수를 최소화하여 비용을 절감할 수 있고 사용 가능한 공인IP주소의 개수에 제한되지 않고 사설망 내부의 네트워크를 확장할 수 있다.
이상의 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있다.
도 1은 일 실시예에 따른 단방향 홀로포테이션 제공 시스템을 예시적으로 나타낸 도면이고 도 2는 양방향 홀로포테이션 제공 시스템을 예시적으로 나타낸 도면이다.
도 3은 일 실시예에 따른 복원서버를 예시적으로 나타낸 도면이다.
도 4는 일 실시예에 따른 중계서버를 예시적으로 나타낸 도면이다.
도 5는 다른 일 실시예에 따른 양방향 홀로포테이션 제공 시스템을 예시적으로 나타낸 도면이다.
도 6은 일 실시예에 따른 홀로포테이션 제공 시스템에서 객체의 크기를 조절하는 일례를 예시적으로 나타낸 도면이다.
도 7은 일 실시예에 따른 홀로포테이션 제공 시스템에서 데이터흐름의 일례를 예시적으로 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 홀로포테이션 제공 방법을 나타낸 순서도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예들에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예들에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 본 실시예들은 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
또한, 이하에 첨부되는 도면들은 본 발명의 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시예들을 제공한다. 다만, 본 발명의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시예로 구성될 수 있다.
이하의 실시예들에서 개시되는 홀로포테이션 제공 시스템에 대해 각 도면을 참조하여 보다 구체적으로 살펴보기로 한다.
도 1은 일 실시예에 따른 단방향 홀로포테이션 제공 시스템을 예시적으로 나타낸 도면이고 도 2는 양방향 홀로포테이션 제공 시스템을 예시적으로 나타낸 도면이다.
여기에서, 홀로포테이션(Holoportation)이란 AR(증강현실, Augmented Reality)/VR(가상현실, Virtual Reality)을 이용하여 원격지에 있는 사람 또는 물건이 자신과 동일한 공간에 있는 것처럼 느끼도록 하는 기술을 의미할 수 있다.
도 1을 참조하면, 일 실시예에 따른 단방향 홀로포테이션 제공 시스템(10)은 센서부(100), 복원서버(200), 중계서버(300) 및 단말장치(400)를 포함하여 구성된다.
도 2를 참조하면, 일 실시예에 따른 양방향 홀로포테이션 제공 시스템(20)은 제1/제2센서부(100a, 100b), 제1/제2복원서버(200a, 200b), 제1/제2중계서버(300a, 300b), 제1/제2단말장치(400a, 400b)를 포함하여 구성된다.
도 2는 도 1과 달리 양방향 홀로포테이션 서비스를 제공하기 위해서 도 1의 센서부(100), 복원서버(200), 중계서버(300) 및 단말장치(400)가 양쪽으로 두 개씩(100a/100b, 200a/200b, 300a/300b, 400a/400b) 구성될 수 있다.
단방향 및 양방향 홀로포테이션 제공 시스템(10 및 20)에 대하여 간단하게 살펴본다.
도 1의 단방향 홀로포테이션 제공 시스템(10)에서, 제1객체(500a)는 센서부(100)에 의해 센싱되어 복원서버(200), 중계서버(300) 및 단말장치(400)를 거쳐서 제2객체(500b)에게 표시될 수 있다. 따라서, 제2객체(500b)만 단말장치(400)를 통해 제1객체(500a)와 동일한 공간에 위치한다고 인식할 수 있다.
여기에서, 단말장치(400)는 홀로렌즈(Hololens), HMD(Head Mounted Display), 스마트워치, 노트북, 휴대폰, 스마트 폰(2G/3G/4G/LET, smart phone), PMP(Portable Media Player), PDA(Personal Digital Assistant) 및 타블렛 PC(Tablet PC) 중 어느 하나일 수 있다. 또한 여기에서, 제1객체(500a) 및 제2객체(500b)는 사람에 해당할 수 있다. 한편, 도 1 및 도 2에서 통신 네트워크는 유선 또는 무선 통신망을 포함하는 넓은 개념의 네트워크를 의미할 수 있다.
그러나, 이러한 경우에 제1객체(500a) 및 제2객체(500b) 간에 상호작용이 불가능하므로 제1객체(500a) 및 제2객체(500b)는 모두가 동시에 홀로포테이션 서비스를 이용하여 상호작용할 수 있는 도 2의 양방향 홀로포테이션 제공 시스템(20)이 필요하다.
도 2에서, (i) 제1객체(500a)는 제1센서부(100a)에 의해 센싱되어 제1복원서버(200a), 제1중계서버(300a) 및 제1단말장치(400a)를 거쳐서 제2객체(500b)에게 표시될 수 있다. 따라서, 제2객체(500b)는 제1단말장치(400a)를 통해 제1객체(500a)와 동일한 공간에 위치한다고 인식할 수 있다.
또한, 동일한 방법으로 (ii) 제2객체(500b)도 제2센서부(100b)에 의해 센싱되어 제2복원서버(200b), 제2중계서버(300b) 및 제2단말장치(400b)를 거쳐서 제1객체(500a)에게 표시될 수 있다. 따라서, 제2객체(500b)는 제2단말장치(400b)를 통해 제1객체(500a)와 동일한 공간에 위치한다고 인식할 수 있다.
도 1 및 도 2의 각 구성에 대해서 살펴본다. 이 때에, 도 2의 제1센서부(100a)와 제2센서부(100b), 제1복원서버(200a)와 제2복원서버(200b), 제1중계서버(300a)와 제2중계서버(300b), 제1단말장치(400a)와 제2단말장치(400b)는 각각 도 1의 센서부(100), 복원서버(200), 중계서버(300), 단말장치(400)와 구성, 작용, 효과가 유사하므로 도 1의 구성을 중심으로 살펴본다.
센서부(100)는 복수의 카메라, 양안 카메라, 레이저 스캐너 등의 센서로 구성될 수 있고 제1객체(500a) 또는 제2객체(500b)를 센싱하여 2차원 영상정보 또는 거리정보를 생성할 수 있다.
복원서버(200)와 관련하여, 도 3을 살펴본다.
도 3은 일 실시예에 따른 복원서버를 예시적으로 나타낸 도면이다.
도 3을 참조하면, 일 실시예에 따른 복원서버(200)는 복원부(210), 압축부(220), 암호화부(230), 제1통신부(240), 제1데이터베이스(250) 및 제1제어부(260)을 포함하여 구성된다.
복원부(210)는 센싱을 통해 생성된 영상정보 또는 거리정보를 기초로 제1객체(500a) 또는 제2객체(500b)의 3차원 모델을 복원하여 제1객체(500a)에 대한 제1모델정보 또는 제2객체(500b)에 대한 제2모델정보를 생성할 수 있다. 제1모델정보 또는 제2모델정보는 3차원 포인트 클라우드 또는 메쉬정보에 해당할 수 있다. 이하, 제1모델정보 또는 제2모델정보는 3차원모델정보와 혼용한다.
압축부(220)는 네트워크를 통해 데이터를 빠르게 전송하기 위해 제1모델정보 또는 제2모델정보를 압축할 수 있다. 제1모델정보 또는 제2모델정보와 같은 3차원모델정보에는 3차원모델의 정점의 기하정보, 색상정보, 법선정보 또는 연결정보가 포함될 수 있는데, 3차원모델이 정교해질수록 3차원모델정보의 크기가 기하급수적으로 커질 수 있다. 따라서, 압축부(220)는 3차원모델을 압축하여 전송함으로써 네트워크 사용량을 감소시키고 3차원모델정보를 빠르게 전송할 수 있다.
암호화부(230)는 위조 또는 변조를 방지하기 위해 제1모델정보, 제2모델정보, 압축된 제1모델정보 또는 압축된 제2모델정보를 암호화할 수 있다. 이 때에, 암호화부(230)는 AES (Advanced Encryption Standard) 암호화 방식을 이용하여 압축된 제1모델정보 또는 압축된 제2모델정보에서 헤더를 제외한 payload에 암호화 과정을 수행할 수 있다. 암호화부(230)는 암호화 과정에서 생성된 키를 중계서버(300)로 전달할 수 있다.
또한, 암호화부(230)는 제1모델정보, 제2모델정보, 압축된 제1모델정보 또는 압축된 제2모델정보에 워터마크를 삽입할 수 있다.
제1통신부(240)는 센서부(100)로부터 센싱을 통해 생성된 영상정보 또는 거리정보를 수신할 수 있고 복원부(210)에서 생성된 제1모델정보 또는 제2모델정보나 압축부(220) 또는 암호화부(230)에서 압축되거나 암호화된 제1모델정보 또는 제2모델정보를 중계서버(300)에 송신할 수 있다.
제1통신부(240)의 송신과 관련하여 살펴보면, 복원서버(200)의 제1통신부(240)는 도 1과 같이, 제1모델정보를 제1모델정보가 표시될 단말장치(400)와 연결된 중계서버(300)로 곧바로 전송할 수 있다.
따라서, 도 2와 달리, 제1복원서버(200a)의 제1통신부(240)는 제1모델정보를 제1모델정보가 표시될 제1단말장치와 연결된 제1중계서버(300a)로 곧바로 전송할 수 있고 제2복원서버(200b)의 제1통신부(240)는 제2모델정보를 제2모델정보가 표시될 제2단말장치와 연결된 제2중계서버(300b)로 곧바로 전송할 수 있다.
그러나, 도 2와 같이, 제1복원서버(200a)의 제1통신부(240)는 제1모델정보를 제2중계서버(300b)에 전송하고 제2복원서버(200b)의 제1통신부(240)는 제2모델정보를 제1중계서버(300a)에 전송할 수도 있다.
즉, 제1복원서버(200a)는 제1모델정보를 제2중계서버(300b)를 경유하여 제1중계서버(300a)로 전송할 수 있고 제2복원서버(200b)는 제2모델정보를 제1중계서버(300a)를 경유하여 제2중계서버(300b)에 전송할 수 있다. 이와 관련하여 중계서버(300)의 연결관리부(310)에서 구체적으로 살펴본다.
제1데이터베이스(250)는 센싱을 통해 생성된 영상정보 또는 거리정보, 복원부(210)에서 생성된 제1모델정보 또는 제2모델정보나 압축되거나 암호화된 제1모델정보 또는 제2모델정보를 저장할 수 있다.
제1제어부(260)는 복원서버(200)의 전체적인 동작을 제어하고, 복원부(210), 압축부(220), 암호화부(230), 제1통신부(240) 및 제1데이터베이스(250) 간의 제어 흐름 또는 데이터 흐름을 제어할 수 있다.
중계서버(300)와 관련하여, 도 4를 살펴본다.
도 4는 일 실시예에 따른 중계서버를 예시적으로 나타낸 도면이다.
도 4를 참조하면, 일 실시예에 따른 중계서버(300)는 연결관리부(310), 암호해독부(320), 압축해제부(330), 컨버터(340), 단말장치관리부(350), 렌더링부(360), 플레이어부(370), 제2통신부(380), 제2데이터베이스(390) 및 제2제어부(395)을 포함하여 구성된다.
연결관리부(310)는 로컬(local)과 원격지(remote) 사이에 통신연결이 가능하게 하고 통신연결을 관리할 수 있다. 여기에서, 로컬 및 원격지와 관련하여 도 5를 살펴본다.
도 5는 다른 일 실시예에 따른 양방향 홀로포테이션 제공 시스템을 예시적으로 나타낸 도면이다.
도 5를 참조하면, 다른 일 실시예에 따른 양방향 홀로포테이션 제공 시스템(20)에서 (i) 제1센서부(100a), 제1복원서버(200a), 제2중계서버(300b), 제2단말장치(400b)는 사설망(private network) A로 연결되고 (ii) 제2센서부(100b), 제2복원서버(200b), 제1중계서버(300a), 제1단말장치(400a)는 또 다른 사설망 B로 연결되며 (iii) 제1중계서버(300a)와 제2중계서버(300b)는 공중망(public network)으로 연결된다.
제1/제2 중계서버(300a, 300b)의 연결관리부(310)는 로컬(local)과 원격지(remote) 사이에 통신이 가능하게 하고 통신연결을 관리할 수 있는데 여기에서, 로컬이란 제2중계서버(300b)가 속한 사설망 A의 내부 또는 제1중계서버(300a)가 속한 사설망 B의 내부를 의미하고 원격지란 각 중계서버(300)를 기준으로 상기 사설망의 외부를 의미할 수 있다.
예를 들면, 제2중계서버(300b)의 연결관리부(310)는 로컬에 존재하는 제1복원서버(200a)와 원격지에 존재하는 제1중계서버(300a) 또는 제1단말장치(400a) 사이의 통신이 가능하게 하고 설정된 통신연결을 관리함으로써 로컬에 존재하는 복원서버(200)에서 생성된 3차원모델정보가 원격지에 존재하는 단말장치(400)로 송신될 수 있도록 할 수 있다.
또한, 제2중계서버(300b)의 연결관리부(310)는 원격지에 존재하는 제2복원서버(200b) 또는 제1중계서버(300a)와 로컬에 존재하는 제2단말장치(100b) 사이의 통신이 가능하게 하고 설정된 통신연결을 관리함으로써 원격지에 존재하는 복원서버(200)에서 생성된 3차원모델정보가 로컬에 존재하는 단말장치(400)로 수신될 수 있도록 할 수 있다.
한편, 도 5와 같이, 제1복원서버(200a)는 제1모델정보를 제2중계서버(300b)를 경유하여 제1중계서버(300a)로 전송할 수 있고 제2복원서버(200b)는 제2모델정보를 제1중계서버(300a)를 경유하여 제2중계서버(300b)에 전송할 수 있다.
이와 같은 구성을 통해 공중망에 연결된 제1/제2중계서버(300a, 300b)에는 공인IP주소가 할당되어야 하지만 사설망 A 또는 사설망 B에만 연결된 제1/제2복원서버(200a, 200b), 제1/제2단말장치(400a, 400b)에는 사설망 A 또는 사설망 B에서만 사용되는 사설IP주소가 할당될 수 있으므로 네트워크를 구축하기 위해 필요한 공인IP주소의 개수를 최소화하여 비용을 절감할 수 있고 사용 가능한 공인IP주소의 개수에 제한되지 않고 사설망 내부의 네트워크를 확장할 수 있다.
또한, 연결관리부(310)는 로컬에 존재하는 복원서버(200) 또는 디바이스(400)의 종류 및 리스트를 관리할 수 있고 이들에게 접속하고자 하는 원격지에 존재하는 단말장치(400), 중계서버(300) 또는 복원서버(200)에게 로컬의 복원서버(200) 또는 단말장치(400)가 접속이 가능한 상태인지, 어떠한 기능을 제공할 수 있는 상태인지 등을 알려줄 수 있다.
또한, 연결관리부(310)는 로컬에 존재하는 복원서버(200) 또는 디바이스(400)와 원격지에 존재하는 단말장치(400), 중계서버(300) 또는 복원서버(200) 사이에 통신연결이 특정한 조건으로 설정된 후에는 특정한 조건에 부합하는 통신연결이 유지되도록 할 수 있다.
여기에서, 특정한 조건에는 예를 들면, 일반적인 네트워크 설정이나 후술할 3차원모델정보의 포맷이나 3차원모델의 품질, 크기 또는 종류가 포함될 수 있다.
또한, 연결관리부(310)는 아이피 스위칭 기능을 제공하여 중계서버(300)를 경유하는 데이터의 전송 속도를 향상시킬 수 있다. 여기에서, 아이피 스위칭(IP Switching)이란 OSI 3계층의 스위치를 이용하여 종래의 라우팅보다 데이터를 빠르게 전송할 수 있는 라우팅 기술을 의미할 수 있다.
또한, 연결관리부(310)는 로컬 또는 원격지에 존재하는 복수의 단말장치(400) 또는 중계서버(300)가 로컬 또는 원격지에 존재하는 복원서버(200)에게 3차원모델정보를 요청하는 경우에 3차원모델정보를 효율적으로 전송하기 위한 다양한 네트워크 기술을 수행할 수 있다.
예를 들면, 연결관리부(310)는 복수의 단말장치(400) 또는 중계서버(300)의 3차원모델정보 요청을 병합하여 복원서버(200)에게 3차원모델정보 요청을 한 번만 한 후에 복원서버(200)로부터 수신한 3차원모델정보를 복수의 단말장치(400) 또는 중계서버(300)에게 송신할 수 있다.
암호해독부(320)는 암호화된 3차원모델정보 및 암호화 키를 전달 받아서 암호 해독을 할 수 있고 삽입된 워터마크를 검출하여 전달받은 3차원모델정보의 진위 여부를 판별할 수 있다.
압축해제부(330)는 압축된 3차원모델정보를 전달받아서 압축을 해제할 수 있다.
컨버터(340)는 포맷변환부(342), 3D모델품질변환부(344), 3D모델크기변환부(346) 및 3D모델종류변환부(348)를 포함하여 구성될 수 있다.
컨버터(340)는 제1모델정보 또는 제2모델정보의 포맷을 변환하거나 제1모델정보 또는 제2모델정보에 해당하는 3차원모델의 품질, 크기 또는 종류를 변환할 수 있다. 컨버터(340)의 각 구성에 대해 구체적으로 살펴본다.
포맷변환부(342)는 후술할 단말장치관리부(350)로부터 각 단말장치(400)에서 지원되는 3차원모델정보의 포맷을 전달받을 수 있다.
또한, 포맷변환부(342)는 3차원모델정보를 연결관리부(310), 암호해독부(320) 또는 압축해제부(330) 등으로부터 전달받은 경우에 3차원모델정보를 수신할 단말장치(400)에서 지원되는 3차원모델정보의 포맷에 따라 전달받은 3차원모델정보의 포맷을 변환할 수 있다.
다만, 포맷변환부(342)는 전달받은 3차원모델정보의 포맷이 3차원모델정보를 수신할 단말장치(400)에서 지원되는 경우에는 3차원모델정보의 포맷을 변환할 필요가 없다.
여기에서, 3차원모델정보의 포맷이란 3차원모델정보를 표현하는 OBJ, MTL, STL, PLY, 3DS, COLLADA, XML, VRML, X3D, FBX, U3D, O3D 등의 다양한 포맷을 의미할 수 있다.
3D모델품질변환부(344)는 후술할 단말장치관리부(350)로부터 각 단말장치(400)의 성능에 대한 정보를 전달받을 수 있다. 여기에서, 단말장치(400)의 성능은 단말장치(400)에서 실시간으로 표시할 수 있는 3차원모델의 정점 또는 면의 개수를 기준으로 정해질 수 있다.
또한, 3D모델품질변환부(344)는 3차원모델정보를 연결관리부(310), 암호해독부(320), 압축해제부(330) 등으로부터 전달받은 경우에 3차원모델정보를 수신할 단말장치(400)의 성능에 따라 3차원모델정보에 해당하는 3차원모델의 정점의 개수를 조절하여 3차원모델의 품질을 변환할 수 있다.
구체적으로, 3D모델품질변환부(344)는 단말장치(400)의 성능에 따라 3차원모델의 정점의 개수를 비율적으로 줄임으로써 단말장치(400)에 표시되는 AR/VR 등의 화질을 조절 또는 개선할 수 있는데, 3D모델품질변환부(344)는 전달받은 3차원모델정보에 해당하는 3차원모델의 정점의 전체 개수를 1로 보고 단말장치(400)의 성능에 따라 4단계의 비율(4/5, 3/5, 2/5, 1/5)중 적절한 비율로 3차원모델의 정점의 개수를 줄일 수 있다.
여기에서, 3차원 메쉬는 3차원모델의 정점(vertex) 및 면(face)으로 구성되는 3차원모델의 한 종류로서 정점의 좌표에 관한 기하정보(geometry information) 및 면을 구성하는 정점의 연결관계에 해당하는 연결정보(connectivity information)를 포함하는 3차원모델정보로 표현될 수 있다.
3차원 메쉬의 정점의 개수가 줄어들면 면의 개수도 줄어들 수 있으므로 기하정보뿐만 아니라 연결정보도 함께 줄어들게 되는데 면의 개수(연결정보)는 줄어든 정점 개수(기하정보)의 약 2배수로 줄어들게 되므로 3D모델품질변환부(344)는 3차원모델정보에 해당하는 3차원모델의 정점의 개수를 조절하는 것만으로 3차원모델정보를 수신할 단말장치(400)의 성능에 따라 3차원모델의 품질을 효과적으로 변환할 수 있다.
3D모델크기변환부(346)는 후술할 단말장치관리부(350)로부터 각 단말장치(400)가 사용되는 공간에 대한 깊이정보를 전달받을 수 있다.
또한, 3D모델크기변환부(346)는 3차원모델정보를 연결관리부(310), 암호해독부(320), 압축해제부(330) 등으로부터 전달받은 경우에 3차원모델정보를 수신할 단말장치(400)가 사용되는 공간에 대한 깊이정보를 기초로 제1객체(500a) 또는 제2객체(500b)가 표시될 위치 또는 거리를 설정하고 전달받은 3차원모델정보에 해당하는 3차원모델의 크기를 변환할 수 있다.
예를 들면, 3D모델크기변환부(346)는 단말장치(400)가 사용되는 공간이 좁을수록 3차원모델을 표시하는 거리 및 3차원모델의 크기를 작게 설정하고 단말장치(400)가 사용되는 공간이 넓을수록 3차원모델을 표시하는 거리 및 3차원모델의 크기를 크게 설정할 수 있다. 이 때에, 3D모델크기변환부(346)는 작아진 3차원모델이 표시되는 최소거리는 1.25m로 설정하고 커진 3차원모델이 표시되는 최대거리는 5m로 설정할 수 있다.
여기에서, 3차원모델을 표시하는 거리란 단말장치(400)에 표시되는 3차원모델과 단말장치(400)에 설정된 기준좌표 사이의 거리를 의미할 수 있다.
또한 여기에서, 단말장치(400)가 사용되는 공간이 좁다는 것은 단말장치(400)의 정면에 장애물이 가까운 곳에 위치한다는 것을 의미할 수 있고 단말장치(400)가 사용되는 공간이 넓다는 것은 단말장치(400)의 정면에 장애물이 없거나 먼 곳에 위치한다는 것을 의미할 수 있다.
도 6은 일 실시예에 따른 홀로포테이션 제공 시스템에서 객체의 크기를 조절하는 일례를 예시적으로 나타낸 도면이다.
도 6을 참조하면, 일 실시예에 따른 홀로포테이션 제공 시스템(10, 20)에서 3D모델크기변환부(346)는 단말장치(400)가 사용되는 공간이 좁은 실내에서는 3차원모델을 표시하는 거리 및 3차원모델의 크기를 작게 설정할 수 있고 (왼쪽 도면) 단말장치(400)가 사용되는 공간이 넓은 야외에서는 3차원모델을 표시하는 거리 및 3차원모델의 크기를 크게 설정할 수 있다. (오른쪽 도면)
3D모델종류변환부(348)는 후술할 단말장치관리부(350)로부터 각 단말장치(400)에서 지원되는 3차원모델의 종류를 전달받을 수 있다.
여기에서, 3차원모델의 종류는 예를 들면, 3차원 포인트 클라우드(point cloud) 또는 3차원 메쉬(mesh)가 있다. 3차원 메쉬는 전술한 바와 같고 3차원 포인트 클라우드는 3차원모델의 정점으로만 구성되는 3차원모델의 한 종류로서 정점의 좌표에 관한 기하정보(geometry information)를 포함하는 3차원모델정보로 표현될 수 있다.
또한, 3D모델종류변환부(348)는 3차원모델정보를 연결관리부(310), 암호해독부(320), 압축해제부(330) 등으로부터 전달받은 경우에 3차원모델정보를 수신할 단말장치(400)에서 지원되는 3차원모델의 종류에 따라 3차원모델정보에 해당하는 3차원모델을 3차원 포인트 클라우드 또는 3차원 메쉬로 변환할 수 있다.
이 때에, 3D모델종류변환부(348)는 3차원 포인트 클라우드를 3차원 메쉬로 변환하기 위해 3차원 포인트 클라우드의 기하정보를 이용하여 연결정보를 새로 생성할 수도 있다.
여기에서, 3D모델종류변환부(348)가 3차원모델정보에 해당하는 3차원모델을 3차원 포인트 클라우드 또는 3차원 메쉬로 변환하는 방법에는 선택변환과 자동변환의 두 가지 방식이 있다.
선택변환은 3D모델종류변환부(348)가 단말장치(400)에서 선택된 3차원모델의 종류에 따라 3차원모델을 3차원 포인트 클라우드 또는 3차원 메쉬로 변환하는 것이다. 다만, 3D모델종류변환부(348)는 단말장치(400)의 성능을 확인하고 단말장치(400)에서 선택된 3차원모델의 종류가 단말장치(400)에서 정상적으로 동작한다고 판단한 경우에만 3차원모델을 선택된 3차원모델의 종류로 변환하도록 제한될 수 있다.
여기에서, 단말장치(400)의 성능은 단말장치(400)가 3차원 포인트 클라우드 또는 3차원 메쉬를 표시할 수 있는지 여부로 정해질 수 있다.
또한 여기에서, 단말장치(400)의 성능을 확인하거나 선택된 3차원모델의 종류가 단말장치(400)에서 정상적으로 동작하는지 판단하기 위해서 예컨대, 3D모델종류변환부(348)는 단말장치(400)에서 선택된 3차원모델의 종류에 해당하는 테스트데이터를 단말장치(400)에게 전송하여 테스트데이터가 단말장치(400)에서 정상적으로 수행되는지 여부를 확인할 수 있다.
자동변환은 3D모델종류변환부(348)가 단말장치(400)에서 선택된 3차원모델의 종류에 구속되지 않고 단말장치(400)의 성능을 확인한 후에 적합한 3차원모델의 종류를 선택하고 선택된 3차원모델의 종류에 따라 3차원모델을 3차원 포인트 클라우드 또는 3차원 메쉬로 변환하는 것이다.
예를 들면, 단말장치(400)에서 3차원모델 종류로 3차원 메쉬가 선택되었더라도 3D모델종류변환부(348)는 단말장치(400)의 성능을 확인한 후에 3차원 메쉬가 단말장치(400)에서 정상적으로 표시될 수 없다고 판단하면 3D모델종류변환부(348)는 3차원모델정보에 해당하는 3차원모델을 3차원 포인트 클라우드로 변환할 수 있다.
이와 같이, 중계서버(300)는 3차원모델정보의 포맷을 변환하거나 3차원모델정보에 해당하는 3차원모델의 품질, 크기 또는 종류를 변환하는 컨버터(340)를 포함함으로써, 홀로포테이션 제공 시스템(10, 20)은 다양한 종류의 단말장치(400)를 지원할 수 있다.
단말장치관리부(350)는 각 단말장치(400)로부터 단말장치(400)의 식별자 또는 IP주소와 단말장치(400)에서 지원되는 3차원모델정보의 포맷을 수신할 수 있다. 구체적으로, 단말장치관리부(350)는 단말장치(400)가 중계서버(300)에 접속할 때에 단말장치(400)에게 단말장치(400)의 식별자 또는 IP주소와 단말장치(400)에서 지원되는 3차원모델정보의 포맷에 대한 정보를 요청할 수도 있고 단말장치(400)를 제어하여 단말장치(400)에서 지원되는 3차원모델정보의 포맷에 대한 정보를 단말장치(400)로부터 추출하여 능동적으로 파악할 수도 있다.
또한, 단말장치관리부(350)는 각 단말장치(400)로부터 단말장치(400)의 식별자 또는 IP주소와 단말장치(400)의 성능에 대한 정보를 수신할 수 있다. 여기에서, 단말장치(400)의 성능이란 전술한 바와 같다. 구체적으로, 단말장치관리부(350)는 단말장치(400)가 중계서버(300)에 접속할 때에 단말장치(400)에게 단말장치(400)의 식별자 또는 IP주소와 단말장치(400)의 성능에 대한 정보를 요청할 수도 있고 단말장치(400)를 제어하여 단말장치(400)의 성능에 대한 정보를 단말장치(400)로부터 추출하여 능동적으로 파악할 수도 있다.
또한, 단말장치관리부(350)는 각 단말장치(400)로부터 단말장치(400)의 식별자 또는 IP주소와 단말장치(400)가 사용되는 공간에 대한 깊이정보를 수신할 수 있다. 구체적으로, 단말장치관리부(350)는 단말장치(400)가 중계서버(300)에 접속할 때에 단말장치(400)에게 단말장치(400)의 식별자 또는 IP주소와 단말장치(400)가 사용되는 공간에 대한 깊이정보를 요청할 수도 있고 단말장치(400)를 제어하여 단말장치(400)가 사용되는 공간에 대한 깊이정보를 단말장치(400)로부터 추출하여 능동적으로 파악할 수도 있다.
또한, 단말장치관리부(350)는 각 단말장치(400)로부터 단말장치(400)에서 지원되는 3차원모델의 종류에 대한 정보를 수신할 수 있다. 구체적으로, 단말장치관리부(350)는 단말장치(400)가 중계서버(300)에 접속할 때에 단말장치(400)에게 단말장치(400)의 식별자 또는 IP주소와 단말장치(400)에서 지원되는 3차원모델의 종류에 대한 정보를 요청할 수도 있고 단말장치(400)를 제어하여 단말장치(400)에서 지원되는 3차원모델의 종류에 대한 정보를 단말장치(400)로부터 추출하여 능동적으로 파악할 수도 있다.
또한, 단말장치관리부(350)는 상기 언급한 단말장치(400)의 기능 또는 성능 외에 단말장치(400)의 다양한 속성정보 또는 상태정보를 단말장치(400)로부터 수신할 수 있고 수신한 단말장치(400)의 기능, 성능 등의 속성정보 또는 상태정보를 연결관리부(310) 또는 컨버터(340) 등에 전달할 수 있다.
렌더링부(360)는 3차원모델정보를 연결관리부(310), 암호해독부(320), 압축해제부(330), 컨버터(340) 등으로부터 전달받고 전달받은 3차원모델정보를 렌더링(rendering)하여 2차원이미지정보를 생성할 수 있고 생성된 2차원이미지정보를 후술할 플레이어부(370)에 전달할 수 있다.
여기에서, 렌더링이란 컴퓨터 프로그램을 통해 3차원모델로부터 사실적 또는 비 사실적 이미지를 자동으로 생성하는 프로세스를 의미할 수 있다.
플레이어부(370)는 3차원모델정보를 연결관리부(310), 암호해독부(320), 압축해제부(330) 등으로부터 전달받거나 2차원이미지정보를 렌더링부(360)로부터 전달받고 3차원모델정보 또는 2차원이미지정보를 화면에 표시할 수 있다. 플레이어부(370)는 3차원모델정보 또는 2차원이미지정보를 재생 또는 정지하는 등의 기본적인 제어기능을 갖출 수 있다.
플레이어부(370)는 연결관리부(310), 암호해독부(320), 압축해제부(330) 등으로부터 전달받은 3차원모델정보의 오류발생여부 또는 오류발생정도 등을 확인하기 위해서 사용될 수 있다.
또한, 플레이어부(370)는 컨버터(340)에서 각 디바이스에 따라 변환되기 전의 원본에 해당하는 3차원모델정보를 확인하기 위해 사용될 수 있다.
또한, 플레이어부(370)는 3차원모델정보에 대한 카메라 좌표, 3차원모델의 좌표 중심 등을 설정할 수 있는 사용자 인터페이스를 제공하여 컨버터(340)에서 해당 설정 값을 활용할 수 있도록 할 수 있다.
제2통신부(380)는 로컬의 단말장치(400)로부터 단말장치(400)의 상태정보, 속성정보 등을 수신할 수 있으며 원격지에 존재하는 중계서버(300)로부터 원격지의 복원서버(200) 또는 단말장치(400)가 접속이 가능한 상태인지, 어떠한 기능을 제공할 수 있는 상태인지 등을 수신할 수 있으며 로컬 또는 원격지의 복원서버(200)에서 생성되거나 압축되거나 암호화된 제1모델정보 또는 제2모델정보를 수신할 수 있다.
또한, 제2통신부(380)는 로컬의 복원서버(200) 또는 단말장치(400)가 접속이 가능한 상태인지, 어떠한 기능을 제공할 수 있는 상태인지 등을 송신할 수 있고 로컬의 복원서버(200)에서 생성되거나 압축되거나 암호화된 제1모델정보 또는 제2모델정보를 송신할 수 있으며 3차원모델정보를 단말장치(400)에 송신할 수 있다.
제2데이터베이스(390)는 로컬 또는 원격지의 복원서버(200) 또는 단말장치(400)의 상태정보, 속성정보 등을 저장할 수 있고 로컬 또는 원격지의 복원서버(200)에서 생성되거나 압축되거나 암호화된 제1모델정보 또는 제2모델정보를 저장할 수 있다.
제2제어부(395)는 중계서버(300)의 전체적인 동작을 제어하고, 연결관리부(310), 암호해독부(320), 압축해제부(330), 컨버터(340), 단말장치관리부(350), 렌더링부(360), 플레이어부(370), 제2통신부(380) 및 제2데이터베이스(390) 간의 제어 흐름 또는 데이터 흐름을 제어할 수 있다.
단말장치(400)는 전술한 바와 같이 홀로렌즈(Hololens), HMD(Head Mounted Display), 스마트워치, 노트북, 휴대폰, 스마트 폰, PMP(Portable Media Player), PDA(Personal Digital Assistant) 또는 타블렛 PC(Tablet PC) 등에 해당할 수 있다.
또한, 단말장치(400)는 중계서버(300)로부터 변환된 제1모델정보 또는 제2모델정보를 수신하여 제1객체(500a) 또는 제2객체(500b)를 화면 등에 표시할 수 있다.
또한, 단말장치(400)는 단말장치(400)에서 지원되는 3차원모델정보의 포맷, 3차원모델의 종류, 단말장치(400)의 성능 등 단말장치(400)의 다양한 속성정보 또는 상태정보를 중계서버(300)에 송신할 수 있다.
또한, 단말장치(400)는 단말장치(400)가 사용되는 공간에 대한 깊이정보를 단말장치(400)에 구비된 양안 카메라, RGB-D 카메라, 레이저 스캐너 등의 센서를 이용하여 측정할 수 있고 측정된 깊이정보를 단말장치관리부(350)에 송신할 수 있다.
예를 들면, 단말장치(400)의 정면 가까운 곳에 벽면 등의 장애물이 위치하는 경우에는 단말장치(400)는 벽면까지의 최단 거리를 깊이정보로 정하여 단말장치관리부(350)에 송신할 수 있고 단말장치(400)의 정면 먼 곳까지 장애물이 없는 경우에는 단말장치(400)는 미리 정해진 최장 거리를 깊이정보로 정하여 단말장치관리부(350)에 송신할 수 있다.
또한, 단말장치(400)에는 전술한 바와 같이 공인IP뿐만 아니라 사설IP도 설정될 수 있다.
도 7은 일 실시예에 따른 홀로포테이션 제공 시스템에서 데이터흐름의 일례를 예시적으로 나타낸 도면이다.
도 7을 참조하면, 일 실시예에 따른 홀로포테이션 제공 시스템(10, 20)에서 복원서버(200)는 로컬에 존재하는 중계서버(300)의 연결관리부(310) 및 제2통신부(380)를 통해 복원서버(200)에서 생성되거나 압축되거나 암호화된 제1모델정보 또는 제2모델정보를 원격지로 전송할 수 있고 단말장치(400)는 중계기(300)를 통해 원격지의 복원서버(200)에서 생성되거나 압축되거나 암호화된 제1모델정보 또는 제2모델정보를 수신할 수 있다.
이 때에, 단말장치(400)는 제2통신부(380), 연결관리부(310), 암호해독부(320), 압축해제부(330), 컨버터(340), 제2통신부(380)를 거쳐서 원격지의 복원서버(200)에서 생성되거나 압축되거나 암호화된 제1모델정보 또는 제2모델정보를 수신할 수 있다. 여기에서, 중계서버(300)는 3차원모델정보를 원격지로부터 수신하여 로컬에 존재하는 단말장치(400)에 송신해야 하므로 제2통신부(380)를 두 번(수신, 송신) 거치게 된다.
도 8은 본 발명의 일 실시예에 따른 홀로포테이션 제공 방법을 나타낸 순서도이다.
도 8을 참조하면, 일 실시예에 따른 홀로포테이션 제공 방법(600)은 센싱단계(S610), 복원단계(S620), 중계단계(S630) 및 표시단계(S640)를 포함하여 구성될 수 있다.
센싱단계(S610)에서, 홀로포테이션 제공 시스템(100)은 복수의 카메라, 양안 카메라, 레이저 스캐너 등의 센서로 제1객체(500a) 또는 제2객체(500b)를 센싱하여 2차원영상정보 또는 거리정보를 생성할 수 있다.
복원단계(S620)에서, 홀로포테이션 제공 시스템(100)은 센싱을 통해 생성된 2차원영상정보 또는 거리정보를 기초로 제1객체(500a) 또는 제2객체(500b)의 3차원모델을 복원하여 제1객체(500a)에 대한 제1모델정보 또는 제2객체(500b)에 대한 제2모델정보를 생성할 수 있다.
또한, 홀로포테이션 제공 시스템(100)은 네트워크를 통해 데이터를 빠르게 전송하기 위해 제1모델정보 또는 제2모델정보를 압축할 수 있고 위조 또는 변조를 방지하기 위해 제1모델정보, 제2모델정보, 압축된 제1모델정보 또는 압축된 제2모델정보를 암호화하거나 워터마크를 삽입할 수 있다.
또한, 홀로포테이션 제공 시스템(100)은 생성된 제1모델정보 또는 제2모델정보나 압축되거나 암호화된 제1모델정보 또는 제2모델정보를 중계서버(300)에 송신할 수 있다. 이하, 제1모델정보 또는 제2모델정보는 3차원모델정보와 혼용한다.
중계단계(S630)에서, 홀로포테이션 제공 시스템(100)은 3차원모델정보를 수신하여 변환하고 변환된 3차원모델정보를 전송할 수 있다.
구체적으로, 홀로포테이션 제공 시스템(100)은 암호화된 3차원모델정보 및 암호화 키를 전달받아서 암호 해독을 할 수 있고 삽입된 워터마크를 검출하여 수신한 3차원모델정보의 진위 여부를 판별할 수 있으며 압축된 3차원모델정보를 전달받아서 압축을 해제할 수 있다.
또한, 홀로포테이션 제공 시스템(100)은 제1모델정보 또는 제2모델정보의 포맷을 변환하거나 제1모델정보 또는 제2모델정보에 해당하는 3차원모델의 품질, 크기 또는 종류를 변환할 수 있다.
보다 구체적으로, 홀로포테이션 제공 시스템(100)은 3차원모델정보를 수신할 단말장치(400)에서 지원되는 3차원모델정보의 포맷에 따라 3차원모델정보의 포맷을 변환할 수 있다.
또한, 홀로포테이션 제공 시스템(100)은 3차원모델정보를 수신할 단말장치(400)의 성능에 따라 3차원모델정보에 해당하는 3차원모델의 정점의 개수를 조절하여 3차원모델의 품질을 변환할 수 있다.
또한, 홀로포테이션 제공 시스템(100)은 3차원모델정보를 수신할 단말장치(400)가 사용되는 공간에 대한 깊이정보를 기초로 제1객체(500a) 또는 제2객체(500b)가 표시될 위치 또는 거리를 설정하고 3차원모델정보에 해당하는 3차원모델의 크기를 변환할 수 있다.
또한, 홀로포테이션 제공 시스템(100)은 3차원모델정보를 수신할 단말장치(400)에서 지원되는 3차원모델의 종류에 따라 3차원모델정보에 해당하는 3차원모델을 3차원 포인트 클라우드 또는 3차원 메쉬로 변환할 수 있다.
표시단계(S640)에서, 홀로포테이션 제공 시스템(100)은 변환된 제1모델정보 또는 제2모델정보를 수신하여 제1객체(500a) 또는 제2객체(500b)를 화면 등에 표시할 수 있다.
이상에서와 같이, 본 출원의 바람직한 실시예 들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 출원을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10 : 단방향 홀로포테이션 제공 시스템
20 : 양방향 홀로포테이션 제공 시스템
100 : 센서부 200 : 복원서버
300 : 중계서버
310 : 연결관리부 320 : 암호해독부
330 : 압축해제부 340 : 컨버터
342 : 포맷변환부 344 : 3D모델품질변환부
346 : 3D모델크기변환부 348 : 3D모델종류변환부
350 : 단말장치관리부
400 : 단말장치

Claims (9)

  1. 제1객체를 센싱하는 제1센서부;
    상기 센싱을 통해 제1객체의 3차원 모델을 복원하여 제1모델정보를 생성하고 생성된 제1모델정보를 전송하는 제1복원서버;
    상기 제1모델정보를 수신하여 변환하고 변환된 제1모델정보를 전송하는 제1중계서버; 및
    상기 변환된 제1모델정보를 수신하여 제1객체를 표시하는 제1단말장치를 포함하고,
    상기 제1중계서버는 상기 제1모델정보의 포맷을 변환하거나 상기 제1모델정보에 해당하는 3차원모델의 품질, 크기 또는 종류를 변환하는 컨버터를 포함하고,
    상기 제1단말장치는 제1단말장치가 사용되는 공간에 대한 깊이정보를 측정하고,
    상기 컨버터는 상기 깊이정보를 기초로 상기 제1객체가 표시될 위치 또는 거리를 설정하고 상기 제1모델정보에 해당하는 3차원모델의 크기를 변환하는 것을 특징으로 하는 홀로포테이션 제공 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 컨버터는 상기 제1단말장치에서 지원되는 3차원모델정보의 포맷에 따라 상기 제1모델정보의 포맷을 변환하는 것을 특징으로 하는 홀로포테이션 제공 시스템.
  4. 제1항에 있어서,
    상기 컨버터는 상기 제1단말장치의 성능에 따라 상기 제1모델정보에 해당하는 3차원모델의 정점의 개수를 조절하여 3차원모델의 품질을 변환하는 것을 특징으로 하는 홀로포테이션 제공 시스템.
  5. 삭제
  6. 제1항에 있어서,
    상기 컨버터는 상기 제1단말장치에서 지원되는 3차원모델의 종류에 따라 상기 제1모델정보에 해당하는 3차원모델을 3차원 포인트 클라우드 또는 3차원 메쉬로 변환하는 것을 특징으로 하는 홀로포테이션 제공 시스템.
  7. 제1항에 있어서,
    상기 홀로포테이션 제공 시스템은,
    제2객체를 센싱하는 제2센서부;
    상기 센싱을 통해 제2객체의 3차원 모델을 복원하고 제2모델정보를 생성하며 생성된 제2모델정보를 전송하는 제2복원서버;
    상기 제2모델정보를 수신하여 변환하고 변환된 제2모델정보를 전송하는 제2중계서버; 및
    상기 변환된 제2모델정보를 수신하여 제2객체를 표시하는 제2단말장치를 포함하고,
    제1단말장치는 제2객체에게 제1객체를 표시하고 제2단말장치는 제1객체에게 제2객체를 표시하는 것을 특징으로 하는 홀로포테이션 제공 시스템.
  8. 제7항에 있어서,
    상기 제1복원서버는 상기 제2중계서버를 경유하여 상기 제1중계서버로 제1모델정보를 전송하고,
    상기 제2복원서버는 상기 제1 중계서버를 경유하여 상기 제2중계서버로 제2모델정보를 전송하는 것을 특징으로 하는 홀로포테이션 제공 시스템.
  9. 제1객체를 센싱하여 2차원영상정보 또는 거리정보를 생성하는 센싱단계;
    상기 2차원영상정보 또는 거리정보를 기초로 제1객체의 3차원모델을 복원하여 제1모델정보를 생성하고 생성된 제1모델정보를 전송하는 복원단계;
    상기 제1모델정보를 수신하여 변환하고 변환된 제1모델정보를 전송하는 중계단계; 및
    상기 변환된 제1모델정보를 수신하여 제1객체를 표시하는 표시단계를 포함하고,
    상기 중계단계는, 상기 제1 모델정보를 수신할 단말장치가 사용되는 공간에 대해 측정된 깊이정보를 기초로 상기 제1객체가 표시될 위치 또는 거리를 설정하고 상기 제1모델정보에 해당하는 3차원모델의 크기를 변환하는 것을 특징으로 하는 홀로포테이션 제공 시스템.
KR1020180160364A 2018-12-12 2018-12-12 홀로포테이션 제공 시스템 및 방법 KR102181859B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180160364A KR102181859B1 (ko) 2018-12-12 2018-12-12 홀로포테이션 제공 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180160364A KR102181859B1 (ko) 2018-12-12 2018-12-12 홀로포테이션 제공 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200072321A KR20200072321A (ko) 2020-06-22
KR102181859B1 true KR102181859B1 (ko) 2020-11-23

Family

ID=71142483

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180160364A KR102181859B1 (ko) 2018-12-12 2018-12-12 홀로포테이션 제공 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102181859B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210056220A1 (en) * 2019-08-22 2021-02-25 Mediatek Inc. Method for improving confidentiality protection of neural network model
KR20220012658A (ko) * 2020-07-23 2022-02-04 삼성전자주식회사 3d xr 미디어 데이터를 전송하는 방법 및 장치
KR20220018760A (ko) 2020-08-07 2022-02-15 삼성전자주식회사 단말에 3d 캐릭터 이미지를 제공하는 엣지 데이터 네트워크 및 그 동작 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101732135B1 (ko) * 2010-11-05 2017-05-11 삼성전자주식회사 3차원 영상통신장치 및 3차원 영상통신장치의 영상처리방법
KR102184766B1 (ko) * 2013-10-17 2020-11-30 삼성전자주식회사 3차원 모델 복원 시스템 및 방법

Also Published As

Publication number Publication date
KR20200072321A (ko) 2020-06-22

Similar Documents

Publication Publication Date Title
KR102181859B1 (ko) 홀로포테이션 제공 시스템 및 방법
US10567449B2 (en) Apparatuses, methods and systems for sharing virtual elements
CN1856819B (zh) 通过分布式应用程序的图形数据的网络传输的系统和方法
US20100134494A1 (en) Remote shading-based 3d streaming apparatus and method
US20140139619A1 (en) Communication method and device for video simulation image
WO2009029423A1 (en) Mobile virtual and augmented reality system
CN105204347A (zh) 基于增强现实技术的智能家居交互方法、装置和系统
CN103399977A (zh) 互动式三维房屋结构和装修效果虚拟展示系统
KR20170132988A (ko) 타일 지도 서비스 장치 및 그 동작 방법
WO2018012628A1 (ja) 画像表示装置及び画像表示システム
US20160202945A1 (en) Apparatus and method for controlling multiple display devices based on space information thereof
US20230410443A1 (en) Method and device for rendering content in mobile communication system
KR101063153B1 (ko) 입체영상 상영을 위한 동기제어시스템 및 동기제어방법
US10482671B2 (en) System and method of providing a virtual environment
JP6091850B2 (ja) テレコミュニケーション装置及びテレコミュニケーション方法
CN108693953A (zh) 一种增强现实ar投影方法及云端服务器
CN100534174C (zh) 信息分发装置、信息分发系统及信息分发方法
JP7471034B1 (ja) 画像処理システム及び画像処理方法
Yang et al. Research on network architecture and communication protocol of network virtual reality based on image rendering
US20240177354A1 (en) 3d object streaming method, device, and non-transitory computer-readable recording medium
JP7029118B2 (ja) 画像表示方法、画像表示システム、及び画像表示プログラム
US20240212294A1 (en) Augmenting video or external environment with 3d graphics
CN116414330A (zh) 一种沉浸式办公方法、系统、电子设备及存储介质
CN117424996A (zh) 图像的共享方法、装置、电子设备及可读存储介质
CN116774824A (zh) 基于新通信平台的xr交互方法及系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant