WO2020241979A1 - 사용자의 하드웨어 사양에 상관없이 ar, vr, xr 및 mr을 포함하는 이기종 어플리케이션에 대한 실시간 스트리밍 서비스가 가능한 클라우드 플랫폼 - Google Patents

사용자의 하드웨어 사양에 상관없이 ar, vr, xr 및 mr을 포함하는 이기종 어플리케이션에 대한 실시간 스트리밍 서비스가 가능한 클라우드 플랫폼 Download PDF

Info

Publication number
WO2020241979A1
WO2020241979A1 PCT/KR2019/013050 KR2019013050W WO2020241979A1 WO 2020241979 A1 WO2020241979 A1 WO 2020241979A1 KR 2019013050 W KR2019013050 W KR 2019013050W WO 2020241979 A1 WO2020241979 A1 WO 2020241979A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
user
image
application program
control
Prior art date
Application number
PCT/KR2019/013050
Other languages
English (en)
French (fr)
Inventor
김성균
이성환
Original Assignee
(주)온넷시스템즈코리아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)온넷시스템즈코리아 filed Critical (주)온넷시스템즈코리아
Publication of WO2020241979A1 publication Critical patent/WO2020241979A1/ko
Priority to US17/378,277 priority Critical patent/US11272261B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2223—Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/226—Characteristics of the server or Internal components of the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4431—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB characterized by the use of Application Program Interface [API] libraries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics

Definitions

  • the present invention is a high-quality AR (Augmented Reality; Augmented Reality), VR (Virtual Reality; Virtual Reality), XR (eXtended Reality; Extended Reality) and MR (Mixed Reality; mixed reality) heterogeneous applications or 5G including mobile content
  • AR Augmented Reality
  • VR Virtual Reality
  • XR Extended Reality
  • MR Magnetic Reality
  • All services of the times can be implemented on a cloud basis regardless of the consumer's hardware specifications and can be streamed in real time, so users can easily enjoy them without the need for additional equipment, and from the perspective of the provider, Since a lot of effort and cost can be drastically reduced, high-quality Augmented Reality (AR), Virtual Reality (VR), eXtended Reality (XR), and Mixed Reality (MR) of high quality can be achieved. It relates to a cloud platform that enables popularization and generalization of applications or mobile contents.
  • cloud-based application program platforms are becoming more and more popular. Instead of downloading and installing large files, for example, platform users simply connect to a cloud server from a variety of devices.
  • the present invention is intended to solve the problems of the prior art. Even if the user does not upgrade or replace the existing device, the user can use graphic-intensive or device-dependent AR, VR, XR and MR applications such as games. It can be easily streamed and used in real time in real time through IPTV, mobile, set-top box and PC.
  • AR, VR, XR, and MR app service providers reduce a lot of costs for app launching and dramatically shorten the series of processes required to be provided to consumers, enabling app services to be available within a short time. It is about AR cloud platform that is user- and provider-friendly for XR and MR apps.
  • the present invention implements graphic-intensive or device-dependent applications such as games to which state-of-the-art technologies such as NVidia CUDA, DirectX, OpenGL, Unity3D, Unreal, and OpenCL are applied on a cloud basis, thereby implementing IPTV, mobile, and It is an object of the invention to provide a cloud platform that can easily run and operate heterogeneous applications or mobile content including high-quality AR, VR, XR and MR by streaming in real time through set-top boxes and PCs.
  • state-of-the-art technologies such as NVidia CUDA, DirectX, OpenGL, Unity3D, Unreal, and OpenCL are applied on a cloud basis, thereby implementing IPTV, mobile, and
  • app developers can provide high-quality AR , VR, XR, and MR to provide a cloud platform that allows users to directly service heterogeneous applications or mobile contents through the platform, thereby significantly reducing a lot of effort and cost for individual launching. It is an object of the invention.
  • the present invention includes an image input unit for receiving an image captured by a user's terminal capable of photographing, and then performing uncompressed conversion and transmitting the image to the application program unit,
  • a control unit After receiving the control event data input through the user's control terminal, a control unit that analyzes the control event data and transmits a driving control signal to the application program unit,
  • one app is selected and driven from among heterogeneous apps including AR, VR, XR, and MR, and the virtual image implemented by the app and the real image transmitted from the image input unit are fused.
  • a result output unit for receiving the video content generated through the application program unit, compressing and converting it, and streaming real-time to a video terminal of a user capable of playing the video through a streaming engine;
  • It provides a heterogeneous cloud platform including AR, VR, XR and MR, comprising a data synchronization processing unit for synchronizing the image input unit, a control unit, a result output unit, and the application program unit.
  • a cloud platform capable of real-time streaming service for heterogeneous applications including AR, VR, XR, and MR regardless of the user's hardware specifications according to the present invention has the following effects.
  • FIG. 1 is an overall configuration diagram of a cloud platform according to the present invention.
  • FIG. 2 is a block diagram of an image input unit constituting a cloud platform according to the present invention.
  • FIG. 3 is a block diagram of a control unit constituting a cloud platform according to the present invention.
  • Figure 4 is a configuration diagram of an application program unit constituting a cloud platform according to the present invention.
  • FIG. 5 is a configuration diagram of a result output unit configuring a cloud platform according to the present invention.
  • FIG 6 is an overall configuration diagram showing the overall flow relationship of the cloud platform according to the present invention.
  • An image input unit 10 for receiving an image captured by a user's terminal capable of shooting, and then performing uncompressed conversion processing to transmit the image to the application program unit;
  • a control unit 20 After receiving the control event data input through the user's control terminal, a control unit 20 that analyzes the control event data and transmits a driving control signal to the application program unit,
  • one app is selected and driven from among heterogeneous apps including AR, VR, XR, and MR, and a virtual image implemented by the app and the image input unit 10
  • An application program unit 30 that creates video content by fusing the transmitted actual video
  • Hardware specifications of the user characterized in that it comprises the image input unit 10, the control unit 20, the result output unit 40, and a data synchronization processing unit 50 for synchronizing between the application program unit 30
  • a cloud platform that enables real-time streaming services for heterogeneous applications, including AR, VR, XR and MR, regardless of.
  • the cloud platform 1 according to the present invention is
  • An image input unit 10 for receiving an image captured by a user's terminal capable of shooting, and then performing uncompressed conversion processing to transmit the image to the application program unit;
  • a control unit 20 After receiving the control event data input through the user's control terminal, a control unit 20 that analyzes the control event data and transmits a driving control signal to the application program unit,
  • one app is selected and driven from among heterogeneous apps including AR, VR, XR, and MR, and a virtual image implemented by the app and the image input unit 10
  • An application program unit 30 that creates video content by fusing the transmitted actual video
  • the cloud platform 1 of the present invention including the above technology configuration allows a user to shoot graphics-intensive AR, VR, XR, and MR app contents that require specific hardware and OS environments such as games, regardless of the user's hardware specifications.
  • Video content is created by fusion with real-time video, and the resulting screen can be streamed in real time through user terminals such as IPTV, mobile, STB (Set-top Box), or PC.
  • users can easily control the app through external input devices such as joystick, keyboard, mouse, remote control, and gestures.
  • the cloud platform 1 having such a function can be applied to various fields such as graphic-intensive game content field, education content field, print media content field, web content field, and mobile content field.
  • the user's motion may be recognized and entered into a scene in the game, and the game may be implemented according to the user's motion.
  • print media such as magazines and books and augmented reality are fused to overcome flat and unilateral limitations of magazines and books, thereby expanding the concept of print media.
  • a more realistic advertisement can be provided to a user by synthesizing and displaying advertisement-related characters and graphics with the real world in real time.
  • Image input unit (10) 1. Image input unit (10)
  • the image input unit 10 serves to transmit the image to the application program unit after receiving the image captured through the user's terminal, performing uncompressed conversion processing.
  • the image input unit 10 The image input unit 10
  • An AV receiver 101 for receiving an image captured in real time with a user's terminal capable of shooting, and
  • a transmission unit 103 for transmitting the video converted by the AV uncompressed conversion unit 102 to an application program unit through a data synchronization processing unit.
  • Examples of a user terminal used to transmit an image to the AV receiver 101 include a smartphone camera, a web cam, a VDSLR, a handy cam, and a 360VR device.
  • the AV receiver 101 receives the image transmitted from the user's terminal in real time, and decodes the video and audio data in real time through the AV uncompressed converter 102 to the transmission unit ( 103) to the application program unit.
  • the AV decompression conversion unit 102 is capable of high-speed processing through GPU-based parallel processing, and through such a technology configuration, the image captured by the user and input in real time is fused with the virtual screen of the app to be displayed on the user's monitor in real time. Make it printable.
  • the image input by the user in real time is a virtual screen of the app. Since the time between the fusion and final output is within the range of several tens of milliseconds (ms), the user can stream in real time to the extent that the time difference between the input video and the output video can hardly be felt.
  • ms milliseconds
  • real-time streaming video content provided through the cloud platform (1) in a state that users do not have any burden on reaction speed as a large amount of video can be processed in real time. You can experience comfortably.
  • the controller 20 serves to transmit a driving control signal of an app by analyzing the control event data after receiving the control event data input through the user's control terminal,
  • the control unit 20 controls the driving unit 20 .
  • a control event receiving unit 201 for receiving a control event input through a user's control terminal
  • a data analysis unit 202 that analyzes data of a control event received through the control event receiving unit 201, and
  • a transmission unit 203 for transmitting the data analyzed by the data analysis unit 202 to an application program unit through a data synchronization processing unit.
  • the application program unit 30 selects and drives one of heterogeneous apps including AR, VR, XR, and MR according to a control signal transmitted from the control unit 20, and a virtual image of the driven app and It serves to create image content by fusing the actual image transmitted from the image input unit 10.
  • the application program unit 30 is composed of a plurality of video content generation unit 31,
  • the video content generation unit 31 The video content generation unit 31
  • the actual image input through the AV input processing unit 311 and the virtual image generated by the application 313 are fused to generate video content, and synchronize them. It is configured to include a result processing generating unit 314 that transmits processing to the result output unit 40.
  • the present invention is a cloud-based technology that can be implemented according to a user's control signal through a single platform by integrating a plurality of different types of AR, VR, XR, and MR apps, and the user includes a number of AR, VR, XR and MR. You can receive real-time streaming services of heterogeneous applications.
  • the cloud platform 1 includes high-quality Augmented Reality (AR), Virtual Reality (VR), eXtended Reality (XR), and Mixed Reality (MR) applications of high quality.
  • AR Augmented Reality
  • VR Virtual Reality
  • XR eXtended Reality
  • MR Mixed Reality
  • many options for mobile content can be provided through the user's terminal by making a menu, and the user selects the desired program and runs it immediately without the need to download and install a large file to provide the video content service in real time. You can get it through.
  • the result output unit 40 serves to receive video content generated through the application program unit 30, compress and convert, and then stream it to the user's terminal through a streaming engine in real time.
  • the result output unit 40 is the result output unit 40
  • It is configured to include a streaming engine unit 404 for stably streaming the image transmitted through the AV compression conversion unit 402 in real time to the user's terminal.
  • the result output unit 40 may be configured to further include a transport packet conversion unit 403.
  • the AV compression conversion unit 402 can process video images at high speed through GPU-based parallel processing, and the video content processed at high speed is real-time streaming to the user's terminal through the streaming engine unit 404 It is serviced.
  • the video content provided through the streaming engine unit 404 is implemented on a cloud basis and is streamed in real time, users can use the existing IPTV, mobile, STB (Set-top Box) and PC as they are, even without a high-end terminal. It can be used to stream and experience graphics-intensive content in real time.
  • the data synchronization processing unit 50 is located between the image input unit 10, the control unit 20, the result output unit 40 and the application program unit 30, as shown in Figs. It plays a role of synchronizing transmitted/received data signals.
  • the cloud platform capable of performing heterogeneous real-time streaming services including AR, VR, XR, and MR according to the present invention is implemented on a cloud basis and can be streamed in real time, so the user's current IPTV, mobile, set-top box or PC High-quality AR (Augmented Reality), VR (Virtual Reality), XR (eXtended Reality), and MR (Mixed Reality) applications or mobile content burden on data capacity It can be easily executed and operated without restrictions on use due to overheating,

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Library & Information Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 고품질의 AR(Augmented Reality;증강현실), VR(Virtual Reality;가상현실), XR(eXtended Reality;확장현실) 및 MR(Mixed Reality;혼합현실)의 이기종 어플리케이션 또는 모바일 콘텐츠를 포함하는 5G 시대의 모든 서비스를 소비자 하드웨어 사양에 관계없이 클라우드 기반으로 구현하고 이를 실시간으로 스트리밍할 수 있는 클라우드 플랫폼에 관한 것이다.

Description

사용자의 하드웨어 사양에 상관없이 AR, VR, XR 및 MR을 포함하는 이기종 어플리케이션에 대한 실시간 스트리밍 서비스가 가능한 클라우드 플랫폼
본 발명은 고품질의 AR(Augmented Reality;증강현실), VR(Virtual Reality;가상현실), XR(eXtended Reality;확장현실) 및 MR(Mixed Reality;혼합현실)의 이기종 어플리케이션 또는 모바일 콘텐츠를 포함하는 5G 시대의 모든 서비스를 소비자의 하드웨어 사양에 관계없이 클라우드 기반으로 구현하고 이를 실시간으로 스트리밍할 수 있어, 사용자의 입장에서는 별도의 장비가 필요없이 손쉽게 즐길 수 있고, 공급자의 입장에서는 개발한 앱 런칭에 따른 많은 노력 및 비용을 획기적으로 절감할 수 있기 때문에, 고품질의 AR(Augmented Reality;증강현실), VR(Virtual Reality;가상현실), XR(eXtended Reality;확장현실) 및 MR(Mixed Reality;혼합현실) 어플리케이션 또는 모바일 콘텐츠의 대중화 및 일반화를 가능하게 하는 클라우드 플랫폼에 관한 것이다.
최근 클라우드 기반 응용 프로그램 플랫폼이 점점 더 대중화되고 있다. 예를 들어 대용량 파일을 다운로드하고 설치하는 대신 플랫폼 사용자는 다양한 장치에서 클라우드 서버에 연결하기만 하면 된다.
그러나 현재 플랫폼은 그래픽 집약적인 어플리케이션에 대한 요구 사항이 충족되지 않는 CPU(Central Processing Unit) 집약적인 어플리케이션으로 제한되어 있으며, 결과적으로 GPU(Graphics Processing Unit) 집약적인 어플리케이션은 클라우드를 통해 액세스 할 수 없다는 단점을 갖고 있다.
따라서 종래 상기 GPU(Graphics Processing Unit) 집약적인 어플리케이션을 클라우드를 통해 액세스 하기 위해서는 특정 하드웨어 및 OS(Windows, Linux, Android 등) 환경이 조성되어야 하기 때문에, 고품질의 AR(Augmented Reality;증강현실), VR(Virtual Reality;가상현실), XR(eXtended Reality;확장 현실) 및 MR(Mixed Reality;혼합현실) 어플리케이션 또는 모바일 콘텐츠의 일반화 및 대중화에 많은 어려움이 있었다.
또한 사용자들이 어플리케이션 별로 하드웨어 사양, OS 등의 동작환경을 고려한 별도의 설치작업이 필요하며, 설치 이후 사용시에는 고사양 어플리케이션 연산처리에 따른 발열 및 지속적 업데이트 등의 문제가 발생하기 때문에 추가 관리와 사용에 많은 어려움이 있었다.
본 발명은 이와 같은 종래 기술의 문제점을 해결하고자 하는 것으로서, 사용자가 기존에 갖고 있던 기기를 업그레이드하거나 교체하지 않더라도, 게임 등의 그래픽 집약적, 혹은 디바이스 의존적인 AR, VR, XR 및 MR 응용 프로그램을 사용자의 IPTV, 모바일, 셋톱 박스 및 PC를 통해 실시간으로 손쉽게 실시간으로 스트리밍하여 이용할 수 있으며,
AR, VR, XR 및 MR 앱 서비스 공급자는 앱 런칭에 소요되는 많은 비용의 절감과, 소비자에게 제공되기까지 소요되는 일련의 과정을 획기적으로 단축시켜, 단시간 내에 앱 서비스가 가능하도록 하는 AR, VR, XR, MR 앱 사용자 및 공급자 친화형의 AR 클라우드 플랫폼에 관한 것이다.
본 발명은 NVidia CUDA, DirectX, OpenGL, Unity3D, Unreal 및 OpenCL과 같은 최첨단 기술이 적용된 게임 등의 그래픽 집약적, 혹은 디바이스 의존적인 응용 프로그램을 클라우드 기반으로 구현함으로써, 사용자가 기존에 사용하던 IPTV, 모바일, 셋톱 박스 및 PC를 통해서도 실시간으로 스트리밍하여, 고품질의 AR, VR, XR 및 MR을 포함하는 이기종 어플리케이션 또는 모바일 콘텐츠를 손쉽게 실행, 동작시킬 수 있는 클라우드 플랫폼을 제공하고자 하는 것을 발명의 목적으로 한다.
또한 서비스 사업자(KT, SKT, LG유플러스 등 국내 이동통신사 및 각 방송사, 신규컨텐츠를 이용한 새로운 서비스를 계획하고 있는 사업자 등)는 본 발명에서 제시하는 플랫폼의 구축을 통해, 앱 개발자들이 고품질의 AR, VR, XR 및 MR을 포함하는 이기종 어플리케이션 또는 모바일 콘텐츠를 상기 플랫폼을 통해 바로 소비자에게 서비스할 수 있도록 하여, 개별적 런칭에 따른 많은 노력 및 비용을 획기적으로 절감할 수 있도록 하는 클라우드 플랫폼을 제공하고자 하는 것을 발명의 목적으로 한다.
상기 목적을 달성하기 위하여,
본 발명은 촬영이 가능한 사용자의 단말기로 촬영한 영상을 수신한 후, 비압축 변환처리하여 응용프로그램부로 영상을 전송하는 영상입력부와,
상기 사용자의 제어단말기를 통해 입력된 제어 이벤트 데이터를 수신한 후, 상기 제어 이벤트 데이터를 분석하여 응용프로그램부로 구동 제어신호를 전송하는 제어부와,
상기 제어부로부터 전송되는 제어신호에 따라 AR, VR, XR 및 MR을 포함하는 이기종 앱 중 하나의 앱을 선택하여 구동시키고, 상기 앱에 의해 구현되는 가상 영상과 상기 영상입력부로부터 전송되는 실제 영상을 융합시켜 영상 콘텐츠를 생성하는 응용프로그램부와,
상기 응용프로그램부를 통해 생성된 영상 콘텐츠를 수신하여 압축 변환 후 스트리밍 엔진을 통해 영상 재생이 가능한 사용자의 영상단말기로 실시간 스트리밍하는 결과출력부와,
상기 영상입력부, 제어부, 결과출력부와, 상기 응용프로그램부 사이를 동기화하는 데이터동기화처리부를 포함하여 구성되는, AR, VR, XR 및 MR을 포함하는 이기종 클라우드 플랫폼을 제공한다.
본 발명에 따른 사용자의 하드웨어 사양에 상관없이 AR, VR, XR 및 MR을 포함하는 이기종 어플리케이션에 대한 실시간 스트리밍 서비스가 가능한 클라우드 플랫폼은 다음의 효과를 갖는다.
첫째. 고품질의 AR(Augmented Reality;증강현실), VR(Virtual Reality;가상현실), XR(eXtended Reality;확장현실) 및 MR(Mixed Reality;혼합현실)의 이기종 어플리케이션 또는 모바일 콘텐츠를 클라우드 기반으로 구현하기 때문에,
서비스 사용자 측면에서, 종래 특정 하드웨어 및 OS(Windows, Linux, Android 등) 환경에서만 구동되던 GPU(Graphics Processing Unit) 집약적인 어플리케이션을 사용자가 보유하고 있던 기존의 IPTV, 모바일, 셋톱 박스 및 PC를 업그레이드하거나 또는 교체하지 않더라도 손쉽게 실시간 스트리밍 서비스를 받을 수 있다는 장점을 가지며,
서비스 사업자(KT, SKT, LG유플러스 등 국내 이동통신사 및 각 방송사, 신규컨텐츠를 이용한 새로운 서비스를 계획하고 있는 사업자 등)는 본 발명에 따른 플랫폼 구축을 통해, 서비스 공급자로써 고품질의 AR, VR, XR 및 MR 어플리케이션 또는 모바일 콘텐츠를 상기 플랫폼을 통해 바로 소비자에게 제공할 수 있어, 개별적인 런칭에 따른 많은 비용 절감하고, 관련 절차를 획기적으로 줄여 서비스의 대중화 및 일반화가 가능하다는 장점을 갖는다.
둘째. AR, VR, XR 및 MR을 포함한 다양한 이기종 프로그램을 통합하여 하나의 플랫폼을 통해 실시간 스트리밍 서비스를 제공할 수 있다는 장점을 갖는다.
셋째. 사용자는 어플리케이션 별로 하드웨어 사양, OS 등의 동작환경을 고려한 별도의 설치작업을 하지 않더라도 고품질의 AR, VR, XR 및 MR 어플리케이션 또는 모바일 콘텐츠를 손쉽게 실행 및 동작시킬 수 있으며, 또한 고사양 어플리케이션이 클라우드 기반으로 구동됨으로써 사용자의 단말기에서 발열 문제가 발생하지 않기 때문에 사용 편의성을 극대화시킬 수 있다.
도 1은 본 발명에 따른 클라우드 플랫폼의 전체 구성도.
도 2는 본 발명에 따른 클라우드 플랫폼을 구성하는 영상입력부의 구성도.
도 3은 본 발명에 따른 클라우드 플랫폼을 구성하는 제어부의 구성도.
도 4는 본 발명에 따른 클라우드 플랫폼을 구성하는 응용프로그램부의 구성도.
도 5는 본 발명에 따른 클라우드 플랫폼을 구성하는 결과출력부의 구성도.
도 6은 본 발명에 따른 클라우드 플랫폼의 전체 흐름관계를 나타낸 전체 구성도.
촬영이 가능한 사용자의 단말기로 촬영한 영상을 수신한 후, 비압축 변환처리하여 응용프로그램부로 영상을 전송하는 영상입력부(10)와,
상기 사용자의 제어단말기를 통해 입력된 제어 이벤트 데이터를 수신한 후, 상기 제어 이벤트 데이터를 분석하여 응용프로그램부로 구동 제어신호를 전송하는 제어부(20)와,
상기 제어부(20)로부터 전송되는 제어신호에 따라 AR, VR, XR 및 MR을 포함하는 이기종 앱 중 하나의 앱을 선택하여 구동시키고, 상기 앱에 의해 구현되는 가상 영상과 상기 영상입력부(10)로부터 전송되는 실제 영상을 융합시켜 영상 콘텐츠를 생성하는 응용프로그램부(30)와,
상기 응용프로그램부(30)를 통해 생성된 영상 콘텐츠를 수신하여 압축 변환후 스트리밍 엔진을 통해 영상 재생이 가능한 사용자의 영상단말기로 실시간으로 스트리밍하는 결과출력부(40)와,
상기 영상입력부(10), 제어부(20), 결과출력부(40)와, 상기 응용프로그램부(30) 사이를 동기화하는 데이터동기화처리부(50)를 포함하여 구성되는 것임을 특징으로 하는 사용자의 하드웨어 사양에 상관없이 AR, VR, XR 및 MR을 포함하는 이기종 어플리케이션에 대한 실시간 스트리밍 서비스가 가능한 클라우드 플랫폼.
본 발명에 따른 사용자의 하드웨어 사양에 상관없이 AR, VR, XR 및 MR을 포함하는 이기종 어플리케이션에 대한 실시간 스트리밍 서비스가 가능한 클라우드 플랫폼의 구체적인 내용을 도면과 함께 살펴보도록 한다.
도 1 및 도 6에 도시된 바와 같이, 본 발명에 따른 클라우드 플랫폼(1)은
촬영이 가능한 사용자의 단말기로 촬영한 영상을 수신한 후, 비압축 변환처리하여 응용프로그램부로 영상을 전송하는 영상입력부(10)와,
상기 사용자의 제어단말기를 통해 입력된 제어 이벤트 데이터를 수신한 후, 상기 제어 이벤트 데이터를 분석하여 응용프로그램부로 구동 제어신호를 전송하는 제어부(20)와,
상기 제어부(20)로부터 전송되는 제어신호에 따라 AR, VR, XR 및 MR을 포함하는 이기종 앱 중 하나의 앱을 선택하여 구동시키고, 상기 앱에 의해 구현되는 가상 영상과 상기 영상입력부(10)로부터 전송되는 실제 영상을 융합시켜 영상 콘텐츠를 생성하는 응용프로그램부(30)와,
상기 응용프로그램부(30)를 통해 생성된 영상 콘텐츠를 수신하여 압축 변환후 스트리밍 엔진을 통해 영상 재생이 가능한 사용자의 영상단말기로 실시간 스트리밍하는 결과출력부(40)와,
상기 영상입력부(10), 제어부(20), 결과출력부(40)와, 상기 응용프로그램부(30) 사이를 동기화하는 데이터동기화처리부(50)를 포함하여 구성된다.
상기 기술 구성을 포함하는 본 발명의 클라우드 플랫폼(1)은 사용자의 하드웨어 사양에 관계없이 게임 등의 특정 하드웨어 및 OS 환경이 요구되는 그래픽 집약적인 AR, VR, XR 및 MR 앱 콘텐츠를 사용자가 촬영하는 실시간 영상과 함께 융합하여 영상 콘텐츠를 생성하고, 그 결과 화면을 IPTV, 모바일, STB(Set-top Box) 또는 PC 등의 사용자 단말기를 통해 실시간으로 스트리밍할 수 있다.
또한 사용자는 조이스틱, 키보드, 마우스, 리모컨, 제스처 등의 외부 입력장치를 통해 손쉽게 앱을 제어할 수도 있다.
이와 같은 기능을 갖는 클라우드 플랫폼(1)은 그래픽 집약적인 게임 콘텐츠 분야, 교육 콘텐츠 분야, 인쇄 미디어 콘텐츠 분야, 웹 콘텐츠 분야, 모바일 콘텐츠 분야 등 다양한 분야에 적용이 가능하다.
예를 들어, 상기 게임 콘텐츠 분야의 경우, 클라우드 기반으로, 사용자가 직접 그린 콘텐츠를 게임 화면에 3D 실감형 콘텐츠로 바꿔서 삽입하거나,
또는 클라우드 기반으로, 사용자의 동작이 인식시켜 게임 속 장면에 들어가, 사용자의 동작에 따라 게임이 진행되도록 구현될 수 있다.
또한 상기 인쇄 미디어 콘텐츠 분야의 경우, 잡지, 도서 등의 인쇄 미디어와 증강현실이 융합되어 잡지나 책이 가지는 평면적이고 일방적인 한계를 극복하여 인쇄 미디어 개념을 확장시킬 수 있다.
그리고 상기 광고 콘텐츠 분야의 경우, 광고 관련 문자와 그래픽을 현실세계와 실시간으로 합성하여 보여줌으로써 사용자에게 보다 현실감 있는 광고를 제공할 수 있다.
이하, 상기 클라우드 플랫폼(1)을 구성하는 각 부 구성에 대해 살펴보도록 한다.
1. 영상입력부(10)
상기 영상입력부(10)는 사용자의 단말기를 통해 촬영된 영상을 수신한 후, 비압축 변환처리하여 응용프로그램부로 영상을 전송하는 역할을 한다.
도 1, 도 2 및 도 6에 도시된 바와 같이,
상기 영상입력부(10)는
촬영이 가능한 사용자의 단말기로 실시간 촬영하는 영상을 수신하는 AV 수신부(101)와,
상기 AV 수신부(101)를 통해 수신된 영상을 비압축 변환처리하는 AV 비압축변환부(102)와,
상기 AV 비압축변환부(102)를 통해 변환된 영상을 데이터 동기화 처리부를 거쳐 응용프로그램부로 전송하는 전송부(103)를 포함하여 구성된다.
상기 AV 수신부(101)로 영상을 전송하는데 사용되는 사용자의 단말기의 예로는, 스마트폰 카메라, 웹켐, VDSLR, 핸디캠, 360VR 장비 등이 있다.
상기 AV 수신부(101)는 상기 사용자의 단말기로부터 전송되는 영상을 실시간으로 수신하고, 이와 같이 수신된 영상을 상기 AV 비압축변환부(102)를 통해 비디오 및 오디오 데이터를 실시간 디코딩하여 상기 전송부(103)를 통해 응용프로그램부로 전송된다.
상기 AV 비압축변환부(102)는 GPU 기반 병렬 프로세싱으로 고속 처리가 가능하며, 이와 같은 기술 구성을 통해 사용자가 촬영하여 실시간으로 입력되는 영상이 앱의 가상 화면과 융합되어 사용자의 모니터에 실시간으로 출력될 수 있도록 한다.
그리고 상기 영상입력부(10)의 AV 비압축변환부(102)와 결과출력부(40)의 AV 압축변환부(402)의 기술 구성을 통해, 사용자에 의해 실시간으로 입력되는 영상이 앱의 가상 화면과 융합되어 최종 츨력되는데 까지의 시간이 수십 밀리초(ms) 범위 내에서 이루어지기 때문에 사용자는 입력되는 영상과 출력되는 영상의 시간차를 거의 느낄 수 없을 정도로 실시간 스트리밍할 수 있다.
이와 같은 기술 구성이 클라우드 플랫폼(1)에 포함됨으로써, 대용량의 영상도 실시간 처리가 가능함에 따라 사용자는 반응속도에 대한 부담감이 전혀 없는 상태에서 상기 클라우드 플랫폼(1)을 통해 제공되는 실시간 스트리밍 영상 콘텐츠를 편하게 경험할 수 있다.
2. 제어부(20)
상기 제어부(20)는 사용자의 제어단말기를 통해 입력된 제어 이벤트 데이터를 수신한 후, 상기 제어 이벤트 데이터를 분석하여 앱의 구동 제어신호를 전송하는 역할을 하는 것으로서,
도 1, 도 3 및 도 6에 도시된 바와 같이,
상기 제어부(20)는
사용자의 제어단말기를 통해 입력되는 제어 이벤트를 수신하는 제어 이벤트 수신부(201)와,
상기 제어 이벤트 수신부(201)를 통해 수신되는 제어 이벤트의 데이터를 분석하는 데이터 분석부(202)와,
상기 데이터 분석부(202)를 통해 분석된 데이터를 데이터 동기화 처리부를 거쳐 응용프로그램부로 전송하는 전송부(203)를 포함하여 구성된다.
상기 제어 이벤트 수신부(201)로 제어 이벤트를 전송하는 사용자의 제어단말기의 구체적인 예로는, 조이스틱, 키보드, 마우스, 리모컨 등의 외부 입력장치가 있다.
3. 응용프로그램부(30)
상기 응용프로그램부(30)는 상기 제어부(20)로부터 전송되는 제어신호에 따라 AR, VR, XR 및 MR을 포함하는 이기종 앱 중 하나의 앱을 선택하여 구동시키고, 상기 구동되는 앱의 가상 영상과 상기 영상입력부(10)로부터 전송되는 실제 영상을 융합시켜 영상 콘텐츠를 생성하는 역할을 한다.
도 1, 도 4 및 도 6에 도시된 바와 같이,
상기 응용프로그램부(30)는 다수의 영상콘텐츠생성부(31)로 구성되는 것으로서,
상기 영상콘텐츠생성부(31)는
영상입력부(10)로부터 전송되는 영상을 입력처리하는 AV입력처리부(311)와,
제어부(20)로부터 전송되는 제어신호를 입력처리하는 제어입력처리부(312)와,
다수의 AR, VR, XR 및 MR의 이기종 앱 중 선택되는 어느 하나의 어플리케이션(313)과,
상기 제어입력처리부(312)의 제어신호에 따라 상기 AV입력처리부(311)를 통해 입력되는 실제 영상과 상기 어플리케이션(313)에 의해 생성되는 가상의 영상을 융합하여 영상 콘텐츠를 생성하고, 이를 동기화하여 결과출력부(40)로 전송처리하는 결과처리생성부(314)를 포함하여 구성된다.
본 발명은 클라우드 기반으로 다수의 AR, VR, XR 및 MR의 이기종 앱을 통합하여 하나의 플랫폼을 통해 사용자의 제어신호에 따라 구현가능한 기술로서, 사용자는 AR, VR, XR 및 MR을 포함하는 다수의 이기종 어플리케이션의 실시간 스트리밍 서비스를 받을 수 있다.
즉, 본 발명에 따른 클라우드 플랫폼(1)은 고품질의 AR(Augmented Reality;증강현실), VR(Virtual Reality;가상현실), XR(eXtended Reality;확장현실) 및 MR(Mixed Reality;혼합현실) 어플리케이션 또는 모바일 콘텐츠에 대한 많은 선택지를 메뉴화하여 사용자의 단말기를 통해 제공할 수 있으며, 사용자는 대용량의 파일을 다운로드하고 설치할 필요 없이 원하는 프로그램을 선택 후 바로 구동시켜 실시간으로 영상 콘텐츠 서비스를 자신의 단말기를 통해 받을 수 있다.
4. 결과출력부(40)
상기 결과출력부(40)는 상기 응용프로그램부(30)를 통해 생성된 영상 콘텐츠를 수신하여 압축 변환후 스트리밍 엔진을 통해 상기 사용자의 단말기로 실시간으로 스트리밍하는 역할을 한다.
도 1, 도 5 및 도 6에 도시된 바와 같이,
상기 결과출력부(40)는
응용프로그램부(30)를 통해 생성된 영상 콘텐츠를 수신하는 출력수신부(401)와,
상기 출력수신부(401)를 통해 수신된 영상 콘텐츠를 압축변환하는 AV 압축변환부(402)와,
상기 AV 압축변환부(402)를 통해 전송되는 영상이 사용자의 단말기에 실시간 안정적으로 스트리밍하게 해주는 스트리밍 엔진부(404)를 포함하여 구성된다.
이때 상기 결과출력부(40)는 전송 패킷 변환부(403)를 더 포함하여 구성될 수 있다.
상기 AV 압축변환부(402)는 영상이미지를 GPU 기반 병렬연산처리에 의해 고속처리가 가능하며, 이와 같이 고속으로 영상처리된 영상콘텐츠는 상기 스트리밍 엔진부(404)를 통해 사용자의 단말기로 실시간 스트리밍 서비스 된다.
상기 스트리밍 엔진부(404)를 통해 제공되는 영상 콘텐츠는 클라우드 기반으로 구현되어 실시간으로 스트리밍되기 때문에 사용자는 고사양의 단말기가 없더라도 기존에 사용하던 IPTV, 모바일, STB(Set-top Box) 및 PC를 그대로 사용하여 그래픽 집약적인 콘텐츠를 실시간으로 스트리밍하여 경험할 수 있다.
5. 데이터동기화처리부(50)
상기 데이터동기화처리부(50)는 도 1 및 도 6에 도시된 바와 같이, 영상입력부(10), 제어부(20), 결과출력부(40)와 응용프로그램부(30)의 사이에 위치하여, 상호 송/수신되는 데이터 신호를 동기화하는 역할을 한다.
본 발명에 따른 AR, VR, XR 및 MR을 포함하는 이기종 실시간 스트리밍 서비스가 모두 가능한 클라우드 플랫폼은 클라우드 기반으로 구현되고 실시간으로 스트리밍할 수 있기 때문에 사용자가 현재 보유하고 있는 IPTV, 모바일, 셋톱 박스 또는 PC 등을 통해서도 고품질의 AR(Augmented Reality;증강현실), VR(Virtual Reality;가상현실), XR(eXtended Reality;확장 현실) 및 MR(Mixed Reality;혼합현실) 어플리케이션 또는 모바일 콘텐츠를 데이터 용량에 대한 부담과 발열에 따른 사용상의 제약없이 손쉽게 실행 및 동작시킬 수 있고,
서비스 사업자(KT, SKT, LG유플러스 등 국내 이동통신사 및 각 방송사, 신규컨텐츠를 이용한 새로운 서비스를 계획하고 있는 사업자 등)는 본 발명에 따른 플랫폼의 구축을 통해, 앱 개발자들이 개발한 응용 프로그램을 소비자들이 바로 이용할 수 있도록 함으로써 개별적인 런칭에 따른 많은 노력과 비용을 획기적으로 줄여줄 수 있으므로 산업상 이용가능성이 크다.

Claims (10)

  1. 촬영이 가능한 사용자의 단말기로 촬영한 영상을 수신한 후, 비압축 변환처리하여 응용프로그램부로 영상을 전송하는 영상입력부(10)와,
    상기 사용자의 제어단말기를 통해 입력된 제어 이벤트 데이터를 수신한 후, 상기 제어 이벤트 데이터를 분석하여 응용프로그램부로 구동 제어신호를 전송하는 제어부(20)와,
    상기 제어부(20)로부터 전송되는 제어신호에 따라 AR, VR, XR 및 MR을 포함하는 이기종 앱 중 하나의 앱을 선택하여 구동시키고, 상기 앱에 의해 구현되는 가상 영상과 상기 영상입력부(10)로부터 전송되는 실제 영상을 융합시켜 영상 콘텐츠를 생성하는 응용프로그램부(30)와,
    상기 응용프로그램부(30)를 통해 생성된 영상 콘텐츠를 수신하여 압축 변환후 스트리밍 엔진을 통해 영상 재생이 가능한 사용자의 영상단말기로 실시간으로 스트리밍하는 결과출력부(40)와,
    상기 영상입력부(10), 제어부(20), 결과출력부(40)와, 상기 응용프로그램부(30) 사이를 동기화하는 데이터동기화처리부(50)를 포함하여 구성되는 것임을 특징으로 하는 사용자의 하드웨어 사양에 상관없이 AR, VR, XR 및 MR을 포함하는 이기종 어플리케이션에 대한 실시간 스트리밍 서비스가 가능한 클라우드 플랫폼.
  2. 청구항 1에 있어서,
    영상입력부(10)는
    촬영이 가능한 사용자의 단말기로 실시간 촬영하는 영상을 수신하는 AV 수신부(101)와,
    상기 AV 수신부(101)를 통해 수신된 영상을 비압축 변환처리하는 AV 비압축변환부(102)와,
    상기 AV 비압축변환부(102)를 통해 변환된 영상을 데이터 동기화 처리부를 거쳐 응용프로그램부로 전송하는 전송부(103)를 포함하여 구성되는 것임을 특징으로 하는 사용자의 하드웨어 사양에 상관없이 AR, VR, XR 및 MR을 포함하는 이기종 어플리케이션에 대한 실시간 스트리밍 서비스가 가능한 클라우드 플랫폼.
  3. 청구항 1에 있어서,
    제어부(20)는
    사용자의 제어단말기를 통해 입력되는 제어 이벤트를 수신하는 제어 이벤트 수신부(201)와,
    상기 제어 이벤트 수신부(201)를 통해 수신되는 제어 이벤트의 데이터를 분석하는 데이터 분석부(202)와,
    상기 데이터 분석부(202)를 통해 분석된 데이터를 데이터 동기화 처리부를 거쳐 응용프로그램부로 전송하는 전송부(203)를 포함하여 구성되는 것임을 특징으로 하는 사용자의 하드웨어 사양에 상관없이 AR, VR, XR 및 MR을 포함하는 이기종 어플리케이션에 대한 실시간 스트리밍 서비스가 가능한 클라우드 플랫폼.
  4. 청구항 1에 있어서,
    응용프로그램부(30)는 다수의 영상콘텐츠생성부(31)로 구성되는 것으로서,
    상기 영상콘텐츠생성부(31)는
    영상입력부(10)로부터 전송되는 영상을 입력처리하는 AV입력처리부(311)와,
    제어부(20)로부터 전송되는 제어신호를 입력처리하는 제어입력처리부(312)와,
    다수의 AR, VR XR 및 MR을 포함하는 이기종 앱 중 선택되는 어느 하나의 어플리케이션(313)과,
    상기 제어입력처리부(312)의 제어신호에 따라 상기 AV입력처리부(311)를 통해 입력되는 실제 영상과 상기 어플리케이션(313)에 의해 생성되는 가상의 영상을 융합하여 영상 콘텐츠를 생성하고, 이를 동기화하여 결과출력부(40)로 전송처리하는 결과처리생성부(314)를 포함하여 구성되는 것임을 특징으로 하는 사용자의 하드웨어 사양에 상관없이 AR, VR, XR 및 MR을 포함하는 이기종 어플리케이션에 대한 실시간 스트리밍 서비스가 가능한 클라우드 플랫폼.
  5. 청구항 1에 있어서,
    결과출력부(40)는 응용프로그램부(30)를 통해 생성된 영상 콘텐츠를 수신하는 출력수신부(401)와,
    상기 출력수신부(401)를 통해 수신된 영상 콘텐츠를 압축변환하는 AV 압축변환부(402)와,
    상기 AV 압축변환부(402)를 통해 전송되는 영상이 사용자의 단말기에 실시간 안정적으로 스트리밍하게 해주는 스트리밍 엔진부(404)를 포함하여 구성되는 것임을 특징으로 하는 사용자의 하드웨어 사양에 상관없이 AR, VR, XR 및 MR을 포함하는 이기종 어플리케이션에 대한 실시간 스트리밍 서비스가 가능한 클라우드 플랫폼.
  6. 청구항 5에 있어서,
    결과출력부(40)는 전송 패킷 변환부(403)를 더 포함하여 구성되는 것임을 특징으로 하는 사용자의 하드웨어 사양에 상관없이 AR, VR, XR 및 MR을 포함하는 이기종 어플리케이션에 대한 실시간 스트리밍 서비스가 가능한 클라우드 플랫폼.
  7. 청구항 2에 있어서,
    AV 비압축변환부(102)는 영상이미지를 GPU 기반 병렬연산처리에 의해 고속처리하는 것임을 특징으로 하는 사용자의 하드웨어 사양에 상관없이 AR, VR, XR 및 MR을 포함하는 이기종 어플리케이션에 대한 실시간 스트리밍 서비스가 가능한 클라우드 플랫폼.
  8. 청구항 5에 있어서,
    AV 압축변환부(402)는 영상이미지를 GPU 기반 병렬연산처리에 의해 고속처리하는 것임을 특징으로 하는 사용자의 하드웨어 사양에 상관없이 AR, VR, XR 및 MR을 포함하는 이기종 어플리케이션에 대한 실시간 스트리밍 서비스가 가능한 클라우드 플랫폼.
  9. 사용자가 촬영한 영상을 수신한 후, 비압축 변환처리하여 응용프로그램부로 영상을 전송하는 영상입력부(10)와,
    상기 사용자의 제어단말기를 통해 입력된 제어 이벤트 데이터를 수신한 후, 상기 제어 이벤트 데이터를 분석하여 응용프로그램부로 구동 제어신호를 전송하는 제어부(20)와,
    상기 제어부(20)로부터 전송되는 제어신호에 따라 AR, VR, XR 및 MR을 포함하는 이기종 앱 중 하나의 앱을 선택하여 구동시키고, 상기 앱에 의해 구현되는 가상 영상과 상기 영상입력부(10)로부터 전송되는 실제 영상을 융합시켜 영상 콘텐츠를 생성하도록 다수의 영상콘텐츠생성부(31)로 구성되는 것으로서, 상기 영상콘텐츠생성부(31)는 영상입력부(10)로부터 전송되는 영상을 입력처리하는 AV입력처리부(311)와, 제어부(20)로부터 전송되는 제어신호를 입력처리하는 제어입력처리부(312)와, 다수의 AR, VR XR 및 MR을 포함하는 이기종 앱 중 선택되는 어느 하나의 어플리케이션(313)과, 상기 제어입력처리부(312)의 제어신호에 따라 상기 AV입력처리부(311)를 통해 입력되는 실제 영상과 상기 어플리케이션(313)에 의해 생성되는 가상의 영상을 융합하여 영상 콘텐츠를 생성하고, 이를 동기화하여 결과출력부(40)로 전송처리하는 결과처리생성부(314)를 포함하여 구성되는 것을 특징으로 하는 응용프로그램부(30)와,
    상기 응용프로그램부(30)를 통해 생성된 영상 콘텐츠를 수신하여 압축 변환후 스트리밍 엔진을 통해 상기 사용자의 영상단말기로 실시간으로 스트리밍하는 결과출력부(40)와,
    상기 영상입력부(10), 제어부(20), 결과출력부(40)와, 상기 응용프로그램부(30) 사이를 동기화하는 데이터동기화처리부(50)를 포함하여 구성되는 것을 특징으로 하는 사용자의 하드웨어 사양에 상관없이 AR, VR, XR 및 MR을 포함하는 이기종 어플리케이션에 대한 실시간 스트리밍 서비스가 가능한 클라우드 플랫폼.
  10. 사용자가 촬영한 영상을 수신한 후, 비압축 변환처리하여 응용프로그램부로 영상을 전송하는 영상입력부(10)와,
    상기 사용자의 제어단말기를 통해 입력된 제어 이벤트 데이터를 수신한 후, 상기 제어 이벤트 데이터를 분석하여 응용프로그램부로 구동 제어신호를 전송하는 제어부(20)와,
    상기 제어부(20)로부터 전송되는 제어신호에 따라 AR, VR, XR 및 MR을 포함하는 이기종 앱 중 하나의 앱을 선택하여 구동시키고, 상기 앱에 의해 구현되는 가상 영상과 상기 영상입력부(10)로부터 전송되는 실제 영상을 융합시켜 영상 콘텐츠를 생성하는 응용프로그램부(30)와,
    상기 응용프로그램부(30)를 통해 생성된 영상 콘텐츠를 수신하여 압축 변환후 스트리밍 엔진을 통해 상기 사용자의 영상단말기로 실시간으로 스트리밍하는 것으로서, 응용프로그램부(30)를 통해 생성된 영상 콘텐츠를 수신하는 출력수신부(401)와, 상기 출력수신부(401)를 통해 수신된 영상 콘텐츠를 압축변환하는 AV 압축변환부(402)와, 상기 AV 압축변환부(402)를 통해 전송되는 영상이 사용자의 단말기에 실시간 안정적으로 스트리밍하게 해주는 스트리밍 엔진부(404)를 포함하여 구성되는 결과출력부(40)와,
    상기 영상입력부(10), 제어부(20), 결과출력부(40)와, 상기 응용프로그램부(30) 사이를 동기화하는 데이터동기화처리부(50)를 포함하여 구성되는 것을 특징으로 하는 사용자의 하드웨어 사양에 상관없이 AR, VR, XR 및 MR을 포함하는 이기종 어플리케이션에 대한 실시간 스트리밍 서비스가 가능한 클라우드 플랫폼.
PCT/KR2019/013050 2019-05-31 2019-10-04 사용자의 하드웨어 사양에 상관없이 ar, vr, xr 및 mr을 포함하는 이기종 어플리케이션에 대한 실시간 스트리밍 서비스가 가능한 클라우드 플랫폼 WO2020241979A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/378,277 US11272261B2 (en) 2019-05-31 2021-07-16 Cloud platform capable of providing real-time streaming services for heterogeneous applications including AR, VR, XR, and MR irrespective of specifications of hardware of user

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190064436A KR102024551B1 (ko) 2019-05-31 2019-05-31 사용자의 하드웨어 사양에 상관없이 ar, vr, xr 및 mr을 포함하는 이기종 어플리케이션에 대한 실시간 스트리밍 서비스가 가능한 클라우드 플랫폼
KR10-2019-0064436 2019-05-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/378,277 Continuation US11272261B2 (en) 2019-05-31 2021-07-16 Cloud platform capable of providing real-time streaming services for heterogeneous applications including AR, VR, XR, and MR irrespective of specifications of hardware of user

Publications (1)

Publication Number Publication Date
WO2020241979A1 true WO2020241979A1 (ko) 2020-12-03

Family

ID=68068048

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/013050 WO2020241979A1 (ko) 2019-05-31 2019-10-04 사용자의 하드웨어 사양에 상관없이 ar, vr, xr 및 mr을 포함하는 이기종 어플리케이션에 대한 실시간 스트리밍 서비스가 가능한 클라우드 플랫폼

Country Status (3)

Country Link
US (1) US11272261B2 (ko)
KR (1) KR102024551B1 (ko)
WO (1) WO2020241979A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111290124A (zh) * 2020-03-31 2020-06-16 北京塞傲时代信息技术有限公司 基于5g云渲染的vr眼镜
KR102265886B1 (ko) 2020-07-24 2021-06-16 (주)온넷시스템즈코리아 Arm 서버 기반의 가상 클라우드 서비스 플랫폼
KR102361178B1 (ko) 2020-12-02 2022-02-15 한국전자기술연구원 저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 서버 및 방법
KR20220124961A (ko) 2021-03-04 2022-09-14 주식회사 볼트홀 스테레오스코픽 영상과 파노라마 영상의 스위칭을 이용한 클라우드 게임 제공 방법 및 장치
KR102391074B1 (ko) * 2021-08-26 2022-04-28 주식회사 아이스크림미디어 실감형 포맷의 영상 콘텐츠를 제공하는 교육용 플랫폼

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101179554B1 (ko) * 2009-03-26 2012-09-05 한국전자통신연구원 모바일 클라우드 플랫폼을 구비한 모바일 단말 장치
US20140243083A1 (en) * 2013-02-27 2014-08-28 Electronics And Telecommunications Research Institute Apparatus and method of providing cloud service using game platform based on streaming
KR101826498B1 (ko) * 2017-05-02 2018-02-07 나무기술 주식회사 클라우드 플랫폼 시스템
KR101867319B1 (ko) * 2017-02-21 2018-06-15 (주)온넷시스템즈코리아 스트리밍 서비스 제공 방법
KR101894955B1 (ko) * 2017-01-05 2018-09-05 주식회사 미디어프론트 가상 휴먼 인식 및 실시간 증강 합성 기술을 이용한 라이브 소셜 미디어 시스템 및 증강 합성 서버

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
WO2015104235A1 (en) * 2014-01-07 2015-07-16 Dacuda Ag Dynamic updating of composite images
KR101915065B1 (ko) 2017-07-12 2018-11-05 주식회사 볼트홀 Vr 콘텐츠에 대한 라이브 스트리밍 시스템 및 그 시스템의 동작 방법
KR101921621B1 (ko) 2017-07-18 2018-11-23 주식회사 씨제이헬로 클라우드 기반의 실시간 비디오 가상화를 이용한 커머스 서비스 제공방법 및 이를 수행하는 가상화 서버

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101179554B1 (ko) * 2009-03-26 2012-09-05 한국전자통신연구원 모바일 클라우드 플랫폼을 구비한 모바일 단말 장치
US20140243083A1 (en) * 2013-02-27 2014-08-28 Electronics And Telecommunications Research Institute Apparatus and method of providing cloud service using game platform based on streaming
KR101894955B1 (ko) * 2017-01-05 2018-09-05 주식회사 미디어프론트 가상 휴먼 인식 및 실시간 증강 합성 기술을 이용한 라이브 소셜 미디어 시스템 및 증강 합성 서버
KR101867319B1 (ko) * 2017-02-21 2018-06-15 (주)온넷시스템즈코리아 스트리밍 서비스 제공 방법
KR101826498B1 (ko) * 2017-05-02 2018-02-07 나무기술 주식회사 클라우드 플랫폼 시스템

Also Published As

Publication number Publication date
KR102024551B1 (ko) 2019-09-25
US20210345011A1 (en) 2021-11-04
US11272261B2 (en) 2022-03-08

Similar Documents

Publication Publication Date Title
WO2020241979A1 (ko) 사용자의 하드웨어 사양에 상관없이 ar, vr, xr 및 mr을 포함하는 이기종 어플리케이션에 대한 실시간 스트리밍 서비스가 가능한 클라우드 플랫폼
WO2013077525A1 (ko) 제어 방법 및 그를 이용한 장치
WO2014014185A1 (en) Method of controlling display of display device by mobile terminal and mobile terminal for the same
WO2013042844A1 (en) Smart set-top box and operating method for providing smart service and digital television service using default media player included in single operating system
WO2018212521A1 (ko) Ｔｖ 방송에서 쇼핑상품에 관한 증강현실 마커나 실물사진을 방송신호에 적용하고 스마트단말에서 이를 이용한 상품주문 구현방법 및 시스템
WO2011115424A2 (ko) 컨텐츠 출력 시스템 및 그 시스템에서 코덱 정보 공유 방법
WO2018074618A1 (ko) 영상을 위한 효과 공유 방법 및 시스템
WO2021029756A1 (ko) 응용 프로그램의 스트리밍 영상 제공 장치 및 방법
WO2018080123A1 (ko) 멀티 화면을 위한 영상 송출 장치
WO2022154198A1 (ko) 스트리밍 이벤트 효과 조정 기능을 제공하는 서버 및 방법
WO2022131602A1 (ko) 메타버스 공간 스트리밍 시스템 및 방법
WO2019189959A1 (ko) 라이브 방송 시 게스트 방송의 딜레이를 상쇄하는 방법과 시스템 및 비-일시적인 컴퓨터 판독가능한 기록 매체
WO2013187684A1 (ko) 안드로이드 플랫폼 기반 수신기에서의 연동형 애플리케이션 제공 방법
WO2015064854A1 (ko) 멀티앵글영상서비스의 사용자인터페이스 메뉴 제공방법 및 사용자 인터페이스메뉴 제공장치
EP2441252A1 (en) Method and apparatus for receiving broadcasting signal, and broadcasting system using the same
WO2013154364A1 (ko) 스트리밍 재생 방법 및 이를 이용한 컴퓨팅 장치
WO2016080585A1 (en) System and method for providing cloud based user interfaces
WO2015046824A1 (en) Display apparatus and control method thereof
WO2019050067A1 (ko) 비디오 품질 제어
WO2016018102A1 (ko) 클라우드 스트리밍 기반 방송 연동형 서비스 시스템, 방송 연동형 서비스 클라이언트 장치, 트리거 컨텐츠 제공 서버 및 이를 이용한 방법
WO2022231267A1 (ko) 싱글 스트림을 이용하여 관심 영역 고화질 영상을 제공하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램
WO2009126001A2 (ko) 디지털 방송의 데이터 애플리케이션 제공 방법 및 이를 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체
WO2022055198A1 (ko) 다중 라이브 송출 환경에서의 채널 간 고속 전환 모드를 구현하는 방법, 시스템, 및 컴퓨터 판독가능한 기록 매체
WO2022050625A1 (ko) 다중 라이브 송출 환경에서의 채널 간 심리스 전환 모드를 구현하는 방법, 시스템, 및 컴퓨터 판독가능한 기록 매체
WO2022173128A1 (ko) 개인화 채널 서비스를 제공하는 미디어 재생 장치, 방법 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19931065

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19931065

Country of ref document: EP

Kind code of ref document: A1