KR20240026648A - Method for providing real-time streaming broadcasting service in which 360vr video is transmitted in pip format together with pgm video and system thereof - Google Patents

Method for providing real-time streaming broadcasting service in which 360vr video is transmitted in pip format together with pgm video and system thereof Download PDF

Info

Publication number
KR20240026648A
KR20240026648A KR1020220104766A KR20220104766A KR20240026648A KR 20240026648 A KR20240026648 A KR 20240026648A KR 1020220104766 A KR1020220104766 A KR 1020220104766A KR 20220104766 A KR20220104766 A KR 20220104766A KR 20240026648 A KR20240026648 A KR 20240026648A
Authority
KR
South Korea
Prior art keywords
video
pgm
screen
screen mode
user
Prior art date
Application number
KR1020220104766A
Other languages
Korean (ko)
Inventor
이태경
Original Assignee
가톨릭관동대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가톨릭관동대학교산학협력단 filed Critical 가톨릭관동대학교산학협력단
Priority to KR1020220104766A priority Critical patent/KR20240026648A/en
Publication of KR20240026648A publication Critical patent/KR20240026648A/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

PGM 영상과 함께 360VR 영상이 PIP 형태로 송출되는 실시간 스트리밍 방송 서비스 제공 시스템이 개시된다. 본 발명의 일 측면에 따르면, 일반 카메라로 촬영된 PGM 영상 및 360VR 카메라로 촬영된 360VR 영상을 수신하는 제1 수신부, PGM 영상 및 360VR 영상에 자막, 효과 및 오디오를 믹싱하는 믹싱부, 믹싱된 PGM 영상 및 360VR 영상을 스트리밍 서버로 전송하는 전송부, 스트리밍 서버로부터 PGM 영상 및 360VR 영상에 대해 생성된 영상 송출 URL을 수신하는 제2 수신부, 및 영상 송출 URL을 이용해 PGM 영상과 함께 360VR 영상이 PIP 형태로 송출되는 시청 화면을 구성하여 사용자에게 제공하는 구성부를 포함하는 PGM 영상과 함께 360VR 영상이 PIP 형태로 송출되는 실시간 스트리밍 방송 서비스 제공 시스템이 제공된다.A real-time streaming broadcasting service provision system will be launched in which 360VR video will be transmitted in PIP format along with PGM video. According to one aspect of the present invention, a first receiving unit for receiving a PGM video captured with a general camera and a 360VR video captured with a 360VR camera, a mixing unit for mixing subtitles, effects and audio with the PGM video and 360VR video, and a mixed PGM A transmission unit that transmits the video and 360VR video to the streaming server, a second receiver that receives the video transmission URL generated for the PGM video and 360VR video from the streaming server, and a 360VR video along with the PGM video in PIP format using the video transmission URL. A real-time streaming broadcasting service provision system is provided in which 360VR video is transmitted in PIP format along with PGM video that includes a component that configures the viewing screen transmitted to the user and provides it to the user.

Description

PGM 영상과 함께 360VR 영상이 PIP 형태로 송출되는 실시간 스트리밍 방송 서비스 제공 방법 및 그 시스템{METHOD FOR PROVIDING REAL-TIME STREAMING BROADCASTING SERVICE IN WHICH 360VR VIDEO IS TRANSMITTED IN PIP FORMAT TOGETHER WITH PGM VIDEO AND SYSTEM THEREOF}Method and system for providing real-time streaming broadcasting service in which 360VR video is transmitted in PIP format along with PGM video

본 발명은 PGM 영상과 함께 360VR 영상이 PIP 형태로 송출되는 실시간 스트리밍 방송 서비스 제공 방법 및 그 시스템에 관한 것이다.The present invention relates to a method and system for providing a real-time streaming broadcasting service in which 360 VR video is transmitted in PIP format along with PGM video.

MICE 산업 분야에서 컨벤션, 회의, 전시회, 박람회, 세미나 등을 온라인에서도 참여 시청 가능하도록 실시간으로 중계하는 방송 서비스 시장이 최근 COVID-19에 의한 팬데믹 상황과 맞물려 크게 성장하고 있다.In the MICE industry, the broadcasting service market that broadcasts conventions, meetings, exhibitions, expositions, seminars, etc. in real time so that participants can watch online is growing significantly in conjunction with the recent pandemic situation caused by COVID-19.

그러나 종래 실시간 중계 방송 서비스는 현장에서 최종 결정된 영상만이 송출되어 사용자에게 제공되는 수준에 그치고 있는 바, 행사 진행 중 시청자가 원하는 다른 방향의 영상이나 확대된 영상 등을 볼 수 없어 영상에 대한 몰입도 및 관심도 등이 현저히 떨어진다는 문제점이 있다.However, the conventional real-time broadcasting service is limited to transmitting only the video that has been finalized on site and providing it to the user. As the viewer cannot see the video in a different direction or enlarged video as desired during the event, there is a lack of immersion in the video. There is a problem that the level of interest is significantly low.

대한민국 공개특허공보 제10-2018-0040809호 (2018.04.23. 공고)Republic of Korea Patent Publication No. 10-2018-0040809 (announced on April 23, 2018)

본 발명은 전술한 문제점을 해결하기 위한 것으로써, PGM 영상과 함께 360VR 영상을 PIP 형태로 송출하여 영상에 대한 몰입도 및 관심도를 효과적으로 향상시킬 수 있는 실시간 스트리밍 방송 서비스를 제공하고자 하는 것이다.The present invention is intended to solve the above-described problems and aims to provide a real-time streaming broadcast service that can effectively improve immersion and interest in the video by transmitting 360 VR video in PIP format along with PGM video.

본 발명의 일 측면에 따르면, 일반 카메라로 촬영된 PGM 영상 및 360VR 카메라로 촬영된 360VR 영상을 수신하는 제1 수신부, PGM 영상 및 360VR 영상에 자막, 효과 및 오디오를 믹싱하는 믹싱부, 믹싱된 PGM 영상 및 360VR 영상을 스트리밍 서버로 전송하는 전송부, 스트리밍 서버로부터 PGM 영상 및 360VR 영상에 대해 생성된 영상 송출 URL을 수신하는 제2 수신부, 및 영상 송출 URL을 이용해 PGM 영상과 함께 360VR 영상이 PIP 형태로 송출되는 시청 화면을 구성하여 사용자에게 제공하는 구성부를 포함하는 PGM 영상과 함께 360VR 영상이 PIP 형태로 송출되는 실시간 스트리밍 방송 서비스 제공 시스템이 제공된다.According to one aspect of the present invention, a first receiving unit for receiving a PGM video captured with a general camera and a 360VR video captured with a 360VR camera, a mixing unit for mixing subtitles, effects and audio with the PGM video and 360VR video, and a mixed PGM A transmission unit that transmits the video and 360VR video to the streaming server, a second receiver that receives the video transmission URL generated for the PGM video and 360VR video from the streaming server, and a 360VR video along with the PGM video in PIP format using the video transmission URL. A real-time streaming broadcasting service provision system is provided in which 360VR video is transmitted in PIP format along with PGM video that includes a component that configures the viewing screen transmitted to the user and provides it to the user.

360VR 영상은, 시청 화면에서, 사용자의 동작 지시 입력에 따라, 영상 내 이동 및 확대 축소 중 적어도 어느 하나가 가능하게 마련될 수 있다.The 360VR video may be provided so that at least one of movement and enlargement/reduction within the video is possible according to the user's input of an operation instruction on the viewing screen.

구성부는, 시청 화면의 전체 영역에 PGM 영상이 배치되고 시청 화면의 하부 일측에 마련된 PIP 영역에 360VR 영상이 배치되는 제1 화면 모드를 기본값으로 하여 시청 화면을 제공할 수 있다.The configuration unit may provide a viewing screen with the first screen mode as the default, in which the PGM image is placed in the entire area of the viewing screen and the 360VR image is placed in the PIP area provided on one lower side of the viewing screen.

구성부는, 제1 화면 모드의 시청 화면을, PIP 영역에 대한 사용자의 선택 지시 입력에 따라, 제1 화면 모드에서 360VR 영상과 PGM 영상이 배치 전환된 제2 화면 모드로 전환하고, 제2 화면 모드의 시청 화면을, PIP 영역에 대한 사용자의 선택 지시 입력에 따라, 제1 화면 모드로 전환할 수 있다.The configuration unit switches the viewing screen of the first screen mode to the second screen mode in which the 360VR video and the PGM video are arranged in the first screen mode according to the user's selection instruction input for the PIP area, and sets the second screen mode to the second screen mode. The viewing screen of can be switched to the first screen mode according to the user's selection instruction input for the PIP area.

구성부는, 제1 화면 모드의 시청 화면을, PGM 영상의 자막 내 문자 및 오디오 내 음성 중 적어도 어느 하나에서 360VR 영상의 시청을 유도하는 의미를 갖는 제1 설정 명령이 인식됨에 따라, 360VR 영상과 PGM 영상이 서로 동일한 크기로 변경되어 이웃해 배치되는 제3 화면 모드로 전환할 수 있다.As the configuration unit recognizes the first setting command that has the meaning of inducing viewing of the 360VR video in the viewing screen of the first screen mode in at least one of the text in the subtitle and the voice in the audio of the PGM video, the 360VR video and the PGM It is possible to switch to a third screen mode in which the images are changed to the same size and placed next to each other.

구성부는, 제3 화면 모드의 시청 화면을, 사용자의 동작 지시 입력에 따라, 제2 화면 모드로 전환할 수 있다.The configuration unit may switch the viewing screen in the third screen mode to the second screen mode according to the user's operation instruction input.

구성부는, 제2 화면 모드의 시청 화면을, PGM 영상의 자막 내 문자 및 오디오 내 음성 중 적어도 어느 하나에서 PGM 영상의 시청을 유도하는 의미를 갖는 제2 설정 명령이 인식됨에 따라, PGM 영상과 360VR 영상이 서로 동일한 크기로 변경되어 이웃해 배치되는 제3 화면 모드로 전환할 수 있다.As the configuration unit recognizes a second setting command that has the meaning of inducing viewing of the PGM video in at least one of the text in the subtitle and the voice in the audio of the viewing screen in the second screen mode, the PGM video and the 360VR It is possible to switch to a third screen mode in which the images are changed to the same size and placed next to each other.

구성부는, 제2 화면 모드에서, 사용자 선택 지시 입력에 따라, PGM 영상 중 오디오만 송출할 수 있다.In the second screen mode, the configuration unit may transmit only audio among the PGM images according to the user's selection instruction input.

구성부는, 제2 화면 모드로 전환된 동안의 360VR 영상, 및 PGM 영상 중 오디오를 저장한 리뷰 영상을 생성하여 시청 화면의 상부 일측에 마련된 리뷰 영역에 배치할 수 있다.The configuration unit may generate a review image storing audio among the 360VR video and the PGM video while switched to the second screen mode and place the review video in a review area provided on one upper side of the viewing screen.

본 발명의 다른 측면에 따르면, 제1 수신부가, 일반 카메라로 촬영된 PGM 영상 및 360VR 카메라로 촬영된 360VR 영상을 수신하는 단계, 믹싱부가 PGM 영상 및 360VR 영상에 자막, 효과 및 오디오를 믹싱하는 단계, 전송부가 믹싱된 PGM 영상 및 360VR 영상을 스트리밍 서버로 전송하는 단계, 제2 수신부가 스트리밍 서버로부터 PGM 영상 및 360VR 영상에 대해 생성된 영상 송출 URL을 수신하는 단계, 및 구성부가 영상 송출 URL을 이용해 PGM 영상과 함께 360VR 영상이 PIP 형태로 송출되는 시청 화면을 구성하여 사용자에게 제공하는 단계를 포함하는 PGM 영상과 함께 360VR 영상이 PIP 형태로 송출되는 실시간 스트리밍 방송 서비스 제공 방법이 제공된다.According to another aspect of the present invention, the first receiving unit receives a PGM video captured with a general camera and a 360VR video captured with a 360VR camera, and the mixing unit mixes subtitles, effects, and audio with the PGM video and the 360VR video. , the transmission unit transmitting the mixed PGM video and 360VR video to the streaming server, the second receiving unit receiving the video transmission URL generated for the PGM video and 360VR video from the streaming server, and the configuration unit using the video transmission URL. A method of providing a real-time streaming broadcasting service in which 360VR video is transmitted in PIP format along with PGM video is provided, including the step of configuring a viewing screen in which 360VR video is transmitted in PIP format along with PGM video and providing it to the user.

본 발명에 따르면, PGM 영상과 함께 360VR 영상을 PIP 형태로 송출하여 영상에 대한 몰입도 및 관심도를 효과적으로 향상시킬 수 있는 실시간 스트리밍 방송 서비스를 제공할 수 있다.According to the present invention, it is possible to provide a real-time streaming broadcasting service that can effectively improve immersion and interest in the video by transmitting 360VR video in PIP format along with PGM video.

도 1은 본 발명의 일 실시예에 따른 PGM 영상과 함께 360VR 영상이 PIP 형태로 송출되는 실시간 스트리밍 방송 서비스 제공 시스템을 나타낸 구성도.
도 2는 시청 화면의 (a) 제1 화면 모드, (b) 제2 화면 모드 및 (c) 제3 화면 모드를 나타낸 도면.
도 3은 시청 화면이 (a) 제1 화면 모드에서, (b) 제3 화면 모드로 전환되는 모습을 나타낸 도면.
도 4는 시청 화면이 (a) 제2 화면 모드에서, (b) 제3 화면 모드로 전환되는 모습을 나타낸 도면.
도 5는 제1 화면 모드의 시청 화면 내 리뷰 영역에 리뷰 영상이 배치된 모습을 나타낸 도면.
도 6은 제2 화면 모드의 시청 화면에서, (a) 사용자의 동작 지시 입력에 따른 360VR 영상의 영상 내 이동 후 (b) 구분 효과가 믹싱된 단위 영상이 영상 내 표시되는 모습을 나타낸 도면.
도 7은 본 발명의 일 실시예에 따른 PGM 영상과 함께 360VR 영상이 PIP 형태로 송출되는 실시간 스트리밍 방송 서비스 제공 방법을 나타낸 순서도.Figure 1 is a configuration diagram showing a real-time streaming broadcasting service providing system in which 360 VR video is transmitted in PIP format along with PGM video according to an embodiment of the present invention.
Figure 2 is a diagram showing (a) a first screen mode, (b) a second screen mode, and (c) a third screen mode of a viewing screen.
Figure 3 is a diagram showing a viewing screen switching from (a) a first screen mode to (b) a third screen mode.
Figure 4 is a diagram showing the viewing screen switching from (a) the second screen mode to (b) the third screen mode.
Figure 5 is a diagram showing a review video arranged in a review area within the viewing screen of the first screen mode.
Figure 6 is a diagram showing (a) a 360VR video moving within the video according to a user's action instruction input, and then (b) a unit video with a division effect mixed in being displayed within the video on the viewing screen of the second screen mode.
Figure 7 is a flowchart showing a method of providing a real-time streaming broadcasting service in which 360VR video is transmitted in PIP format along with PGM video according to an embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Since the present invention can be modified in various ways and can have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all transformations, equivalents, and substitutes included in the spirit and technical scope of the present invention. In describing the present invention, if it is determined that a detailed description of related known technologies may obscure the gist of the present invention, the detailed description will be omitted.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. Terms such as first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in this application are only used to describe specific embodiments and are not intended to limit the invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, terms such as “comprise” or “have” are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.

이하, 본 발명에 따른 PGM 영상과 함께 360VR 영상이 PIP 형태로 송출되는 실시간 스트리밍 방송 서비스 제공 방법 및 그 시스템(100)을 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, a method for providing a real-time streaming broadcasting service in which 360 VR video is transmitted in PIP format along with PGM video according to the present invention and the system 100 thereof will be described in detail with reference to the attached drawings. , identical or corresponding components will be assigned the same drawing numbers and duplicate descriptions thereof will be omitted.

먼저, 본 발명의 일 실시예에 따른 PGM 영상과 함께 360VR 영상이 PIP 형태로 송출되는 실시간 스트리밍 방송 서비스 제공 시스템(100)에 대해 설명한다.First, a real-time streaming broadcasting service providing system 100 in which 360 VR video is transmitted in PIP format along with PGM video according to an embodiment of the present invention will be described.

도 1은 본 발명의 일 실시예에 따른 PGM 영상과 함께 360VR 영상이 PIP 형태로 송출되는 실시간 스트리밍 방송 서비스 제공 시스템(100)을 나타낸 구성도이다.Figure 1 is a configuration diagram showing a real-time streaming broadcasting service providing system 100 in which 360 VR video is transmitted in PIP format along with PGM video according to an embodiment of the present invention.

본 실시예에 따르면, 도 1에 도시된 바와 같이, 일반 카메라(10)로 촬영된 PGM 영상 및 360VR 카메라(20)로 촬영된 360VR 영상을 수신하는 제1 수신부(110), PGM 영상 및 360VR 영상에 자막, 효과 및 오디오를 믹싱하는 믹싱부(120), 믹싱된 PGM 영상 및 360VR 영상을 스트리밍 서버(30)로 전송하는 전송부(130), 스트리밍 서버(30)로부터 PGM 영상 및 360VR 영상에 대해 생성된 영상 송출 URL을 수신하는 제2 수신부(140), 및 영상 송출 URL을 이용해 PGM 영상과 함께 360VR 영상이 PIP 형태로 송출되는 시청 화면(S)을 구성하여 사용자에게 제공하는 구성부(150)를 포함하는 PGM 영상과 함께 360VR 영상이 PIP 형태로 송출되는 실시간 스트리밍 방송 서비스 제공 시스템(100)이 제공된다.According to this embodiment, as shown in FIG. 1, the first receiver 110 receives the PGM image captured with the general camera 10 and the 360VR image captured with the 360VR camera 20, the PGM image and the 360VR image. A mixing unit 120 for mixing subtitles, effects and audio, a transmission unit 130 for transmitting the mixed PGM video and 360VR video to the streaming server 30, and a transmission unit 130 for transmitting the PGM video and 360VR video from the streaming server 30. A second receiving unit 140 that receives the generated video transmission URL, and a configuration unit 150 that uses the video transmission URL to configure a viewing screen (S) on which the 360 VR video is transmitted in PIP format along with the PGM video and provides it to the user. A real-time streaming broadcasting service providing system 100 is provided in which 360 VR video is transmitted in PIP format along with PGM video including.

이와 같은 본 실시예에 따르면, PGM 영상과 함께 360VR 영상을 PIP 형태로 송출하여 영상에 대한 몰입도 및 관심도를 효과적으로 향상시킬 수 있는 실시간 스트리밍 방송 서비스를 제공할 수 있다.According to this embodiment, it is possible to provide a real-time streaming broadcasting service that can effectively improve immersion and interest in the video by transmitting the 360VR video in PIP format along with the PGM video.

이하 도 1 내지 도 6을 참조하여 본 실시예에 따른 PGM 영상과 함께 360VR 영상이 PIP 형태로 송출되는 실시간 스트리밍 방송 서비스 제공 시스템(100)의 각 구성에 대하여 설명하도록 한다.Hereinafter, with reference to FIGS. 1 to 6, each configuration of the real-time streaming broadcasting service providing system 100 in which 360 VR video is transmitted in PIP format along with PGM video according to this embodiment will be described.

제1 수신부(110)는, 일반 카메라(10)로 촬영된 PGM 영상 및 360VR 카메라(20)로 촬영된 360VR 영상을 수신할 수 있다.The first receiver 110 can receive a PGM image captured with the general camera 10 and a 360VR image captured with the 360VR camera 20.

여기서 일반 카메라(10)는, 360VR 영상을 촬영 가능한 360VR 카메라(20)가 아닌 평면 영상을 촬영 가능한 범용 카메라를 의미하는 것으로 이해될 수 있다.Here, the general camera 10 can be understood to mean a general-purpose camera capable of shooting flat images, rather than the 360VR camera 20 capable of shooting 360VR images.

또한 PGM(program monitor) 영상은, 중계 현장에서 최종 커트된 화면 영상, 즉 최종적으로 확정된 메인 화면 영상을 의미하는 것으로 이해될 수 있다.Additionally, PGM (program monitor) video can be understood to mean the final cut screen video at the broadcast site, that is, the final confirmed main screen video.

일반 카메라(10)는 1대 이상 현장에 배치될 수 있으며 이 때 일반 카메라(10)가 1대 배치되는 경우에는 해당 카메라 영상이 곧 PGM 영상이 될 수 있고 일반 카메라(10)가 복수개로 배치되는 경우에는 복수의 카메라 영상 중 선택된 어느 하나가 PGM 영상이 될 수 있으며, 여기서는 위 내용을 간단히 제1 수신부(110)가 일반 카메라(10)로 촬영된 PGM 영상을 수신하는 것으로 표현한다.One or more general cameras 10 may be placed on site. In this case, if one general camera 10 is placed, the camera image may soon become a PGM image, and a plurality of general cameras 10 may be placed. In this case, one selected among a plurality of camera images may be a PGM image, and here, the above is simply expressed as the first receiver 110 receiving the PGM image captured by the general camera 10.

360VR(360-degree virtual reality) 영상은, 복수의 카메라로 360도 전 방향을 동시 촬영한 후 촬영된 영상들을 마치 하나의 카메라로 촬영한 것과 같이 스티칭한 영상으로 이해될 수 있다.360VR (360-degree virtual reality) video can be understood as an image that is simultaneously filmed in all 360-degree directions with multiple cameras and then stitched together as if the captured images were filmed with a single camera.

360VR 카메라(20)는, 전술한 360VR 영상을 촬영 가능한 카메라 장비로서, 구체적으로 범용 카메라 여러 대를 특수한 리그(rig)에 장착한 구조로 형성되는 리그형 360도 카메라를 포함할 수 있다.The 360VR camera 20 is a camera equipment capable of shooting the above-described 360VR video, and may specifically include a rig-type 360-degree camera formed by mounting several general-purpose cameras on a special rig.

믹싱부(120)는, PGM 영상 및 360VR 영상에 자막, 효과 및 오디오를 믹싱할 수 있다.The mixing unit 120 can mix subtitles, effects, and audio with PGM video and 360VR video.

즉 믹싱부(120)는, PGM 영상 및 360VR 영상에 싱크(sync)하여 자막, 효과(화면 효과) 및 오디오(음향)를 결합시킴으로써 믹싱할 수 있다.That is, the mixing unit 120 can mix the PGM video and the 360VR video by combining subtitles, effects (screen effects), and audio (sound).

이 때 자막, 효과 및 오디오는 이후 후술할 구성부(150)에 의해 인식될 수 있으며, 이를 위해 문자, 영상 및 음성 인식 프로그램 내지 시스템이 이용될 수 있다.At this time, subtitles, effects, and audio can be recognized by the component 150, which will be described later, and for this purpose, text, video, and voice recognition programs or systems can be used.

믹싱부(120)는, 비디오 스위처(video switcher), 오디오 믹서(audio mixer) 등을 포함할 수 있다.The mixing unit 120 may include a video switcher, an audio mixer, etc.

전송부(130)는, 믹싱된 PGM 영상 및 360VR 영상을 스트리밍 서버(30)로 전송할 수 있다.The transmission unit 130 can transmit the mixed PGM video and 360VR video to the streaming server 30.

다시 말해 전송부(130)는 자막, 효과 및 오디오가 믹싱된 PGM 영상 및 360VR 영상을 실시간으로 스트리밍하기 위하여 RTMP 등을 사용하는 스트리밍 서버(30)로 전송할 수 있다.In other words, the transmission unit 130 can transmit PGM video and 360VR video mixed with subtitles, effects, and audio to the streaming server 30 using RTMP, etc. for real-time streaming.

여기서 RTMP(real time messaging protocol)는 오디오, 비디오 및 기타 데이터를 인터넷을 통해 실시간으로 스트리밍하는데 이용되는 컴퓨터 통신 규약으로 이해될 수 있다.Here, RTMP (real time messaging protocol) can be understood as a computer communication protocol used to stream audio, video, and other data in real time over the Internet.

전술한 스트리밍 서버(30)에는 예를 들어 국내 서버로서 팟플레이어, 아프리카티비 등이 있으며, 해외 서버로서 유튜브, 트위치, 유스트림 등이 있다.The above-mentioned streaming server 30 includes, for example, PotPlayer and Afreeca TV as domestic servers, and YouTube, Twitch, Ustream, etc. as overseas servers.

제2 수신부(140)는, 스트리밍 서버(30)로부터 PGM 영상 및 360VR 영상에 대해 생성된 영상 송출 URL을 수신할 수 있다.The second receiving unit 140 may receive a video transmission URL generated for the PGM video and the 360VR video from the streaming server 30.

즉 스트리밍 서버(30)로 전송된 PGM 영상 및 360VR 영상에는 해당 영상을 시청 가능한 인터넷 접속 주소인 영상 송출 URL(uniform resource locator)이 부여되고, 제2 수신부(140)는 이와 같은 영상 송출 URL을 후술할 구성부(150)에서 이용 가능하도록 스트리밍 서버(30)로부터 수신할 수 있다.That is, the PGM video and 360VR video transmitted to the streaming server 30 are given a video transmission URL (uniform resource locator), which is an Internet access address where the video can be viewed, and the second receiver 140 receives this video transmission URL, as described later. It can be received from the streaming server 30 so that it can be used by the streaming configuration unit 150.

구성부(150)는, 영상 송출 URL을 이용해 PGM 영상과 함께 360VR 영상이 PIP 형태로 송출되는 시청 화면(S)을 구성하여 사용자에게 제공할 수 있다.The configuration unit 150 can use the video transmission URL to configure a viewing screen (S) in which the 360VR video is transmitted in PIP format along with the PGM video and provide it to the user.

다시 말해 구성부(150)는, 미리 코딩된 프로그램 등에 영상 송출 URL을 입력하여 시청 화면(S) 상에 PGM 영상과 360VR 영상이 함께 배치되어 동시 송출되도록 할 수 있다.In other words, the configuration unit 150 can input the video transmission URL to a pre-coded program, etc., so that the PGM video and the 360VR video are placed together on the viewing screen (S) and transmitted simultaneously.

이 때 360VR 영상은 PGM 영상과 함께 PIP 형태로 송출될 수 있으며, 여기서 PIP(picture in picture) 형태는 주 영상 속에 부가적으로 작게 들어가는 부 영상 형태로 이해될 수 있다.At this time, the 360VR video can be transmitted in PIP form along with the PGM video, and here, the PIP (picture in picture) form can be understood as a form of sub-video that is added in a small size to the main video.

이에 따라 사용자는 PGM 영상과 더불어 360VR 영상을 시청 및 이용할 수 있게 되므로 사용자의 영상에 대한 몰입도 및 관심도를 효과적으로 증가시킬 수 있으며, PGM 영상과 360VR 영상을 시청 및 이용 모습에 대한 보다 구체적인 내용은 후술하도록 한다.Accordingly, users can watch and use 360VR videos in addition to PGM videos, effectively increasing users' immersion and interest in the videos. More specific details on watching and using PGM videos and 360VR videos will be described later. Let's do it.

전술한 구성부(150)는 방송 시청 서비스 제공 서버와 같이 이해될 수 있으며, 사용자는 사용자 단말을 이용해 해당 서버에 접속하여 시청 화면(S)을 제공받아 시청할 수 있다.The above-described component 150 can be understood as a server providing a broadcast viewing service, and a user can access the server using a user terminal to receive and view a viewing screen S.

사용자 단말은 데스크톱, 노트북 등의 PC, 및 iOS 내지 android 운영 체제 기반의 모바일 단말기를 포함할 수 있다.User terminals may include PCs such as desktops and laptops, and mobile terminals based on iOS or Android operating systems.

이 경우 사용자는 전용 프로그램 또는 애플리케이션을 사용자 단말에 설치 후 실행시킴으로써 방송 시청 서비스 제공 서버로 접속할 수 있으며, 이 때 구성부(150)는 사용자에게 일종의 방송 시청 플레이어와 같이 인식될 수 있다.In this case, the user can connect to the broadcast viewing service providing server by installing and executing a dedicated program or application on the user terminal. At this time, the component 150 may be recognized by the user as a type of broadcast viewing player.

360VR 영상은, 시청 화면(S)에서, 사용자의 동작 지시 입력에 따라, 영상 내 이동 및 확대 축소 중 적어도 어느 하나가 가능하게 마련될 수 있다.The 360VR video may be provided so that at least one of movement and enlargement/reduction within the video is possible according to the user's operation instruction input on the viewing screen (S).

다시 말해 시청 화면(S) 상의 360VR 영상은 입력 장치를 통한 사용자의 동작 지시 입력에 따라 360도 범위에서 영상이 회전 이동될 수 있고 또한 영상의 특정 부분이 확대 내지 축소될 수 있다.In other words, the 360VR video on the viewing screen (S) can be rotated and moved in a 360-degree range according to the user's operation instruction input through the input device, and a specific part of the video can be enlarged or reduced.

이 경우 사용자는 360VR 영상을 움직여 PGM 영상과는 다른 방향의 영상이나 확대된 영상을 볼 수 있으므로, 이에 따라 사용자의 영상에 대한 몰입도 및 관심도가 효과적으로 증가될 수 있다.In this case, the user can move the 360VR video to view an image in a different direction from the PGM video or an enlarged video, thereby effectively increasing the user's immersion and interest in the video.

여기서 사용자의 동작 지시 입력은 영상 내 이동을 위한 마우스 이동 내지 터치 화면 상 드래그일 수 있고, 영상 내 확대 축소를 위한 마우스 휠 스크롤 내지 터치 화면 상 핀치-아웃이나 핀치-인일 수 있다.Here, the user's action instruction input may be mouse movement or dragging on the touch screen to move within the image, or mouse wheel scrolling or pinch-out or pinch-in on the touch screen to zoom in or out within the image.

도 2는 시청 화면(S)의 (a) 제1 화면 모드, (b) 제2 화면 모드 및 (c) 제3 화면 모드를 나타낸 도면이다.Figure 2 is a diagram showing (a) a first screen mode, (b) a second screen mode, and (c) a third screen mode of the viewing screen (S).

구성부(150)는, 시청 화면(S)의 전체 영역에 PGM 영상이 배치되고 시청 화면(S)의 하부 일측에 마련된 PIP 영역(P)에 360VR 영상이 배치되는 제1 화면 모드를 기본값으로 하여 시청 화면(S)을 제공할 수 있다.The configuration unit 150 defaults to the first screen mode in which the PGM image is placed in the entire area of the viewing screen (S) and the 360VR image is placed in the PIP area (P) provided on one lower side of the viewing screen (S). A viewing screen (S) may be provided.

즉 제1 화면 모드는, 시청 화면(S)의 전체 영역에 배치된 PGM 영상의 하부 일측으로 360VR 영상이 전술한 PIP 형태로 배치된 상태로서, 여기서 PIP 영역(P)은 PIP 형태로 송출될 영상이 배치되도록 설정된 구역으로 이해될 수 있다.That is, the first screen mode is a state in which the 360VR video is arranged in the above-described PIP format on the lower side of the PGM video arranged in the entire area of the viewing screen (S), where the PIP area (P) is the video to be transmitted in PIP format. It can be understood as an area set to be placed.

구성부(150)는, 제1 화면 모드의 PIP 영역(P) 내에서 360VR 영상을 송출하여 사용자에게 360VR 영상의 정보를 실시간으로 제공할 수 있다.The configuration unit 150 can transmit 360VR video within the PIP area (P) of the first screen mode and provide information about the 360VR video to the user in real time.

또한 구성부(150)는, 제1 화면 모드에서, 사용자의 선택에서 따라, 360VR 영상의 송출을 중단 또는 재개할 수 있다.Additionally, the configuration unit 150 can stop or resume transmission of the 360VR video in the first screen mode according to the user's selection.

이 경우 사용자 단말로의 데이터 전송량을 감소시켜 영상 송출 원활도를 높일 수 있을 뿐만 아니라, 사용자는 사용자 단말의 사양, 사용 요금제 등에 따라 360VR 영상의 송출 여부를 선택함으로써 보다 원활하게 영상을 시청할 수 있게 된다.In this case, not only can the smoothness of video transmission be improved by reducing the amount of data transmission to the user terminal, but the user can also watch the video more smoothly by selecting whether to transmit 360 VR video depending on the specifications of the user terminal, usage plan, etc. .

구성부(150)는, 제1 화면 모드의 시청 화면(S)을, PIP 영역(P)에 대한 사용자의 선택 지시 입력에 따라, 제1 화면 모드에서 360VR 영상과 PGM 영상이 배치 전환된 제2 화면 모드로 전환하고, 제2 화면 모드의 시청 화면(S)을, PIP 영역(P)에 대한 사용자의 선택 지시 입력에 따라, 제1 화면 모드로 전환할 수 있다.The configuration unit 150 converts the viewing screen (S) of the first screen mode into a second screen in which the 360VR video and the PGM video are arranged and switched in the first screen mode according to the user's selection instruction input for the PIP area (P). The screen mode can be switched, and the viewing screen (S) of the second screen mode can be switched to the first screen mode according to the user's selection instruction input to the PIP area (P).

시청 화면(S)이 PIP 영역(P)에 대한 사용자의 선택 지시 입력에 따라 제1 화면 모드에서 제2 화면 모드로 전환되는 경우, 사용자는 360VR 영상을 용이하게 영상 내 이동 및/또는 확대 축소하여 보다 효과적으로 시청 및 이용할 수 있다.When the viewing screen (S) switches from the first screen mode to the second screen mode according to the user's selection instruction input for the PIP area (P), the user can easily move and/or zoom in and out of the 360VR video within the video. You can view and use it more effectively.

이 경우에서 사용자의 선택 지시 입력은 PIP 영역(P) 내 마우스 클릭 내지 터치 화면 상 터치일 수 있다.In this case, the user's selection instruction input may be a mouse click in the PIP area (P) or a touch on the touch screen.

도 3은 시청 화면(S)이 (a) 제1 화면 모드에서, (b) 제3 화면 모드로 전환되는 모습을 나타낸 도면이다.Figure 3 is a diagram showing the viewing screen (S) switching from (a) the first screen mode to (b) the third screen mode.

구성부(150)는, 제1 화면 모드의 시청 화면(S)을, PGM 영상의 자막 내 문자 및 오디오 내 음성 중 적어도 어느 하나에서 360VR 영상의 시청을 유도하는 의미를 갖는 제1 설정 명령이 인식됨에 따라, 360VR 영상과 PGM 영상이 서로 동일한 크기로 변경되어 이웃해 배치되는 제3 화면 모드로 전환할 수 있다.The configuration unit 150 recognizes a first setting command that has the meaning of inducing viewing of a 360VR video in at least one of the text in the subtitles and the voice in the audio of the viewing screen (S) in the first screen mode. Accordingly, it is possible to switch to a third screen mode in which the 360VR video and the PGM video are changed to the same size and placed next to each other.

이는 시청 화면(S)이 사용자 의사와 상관없이 PGM 영상의 자막 등 콘텐츠에 따라 제1 화면 모드에서 제3 화면 모드로 전환되는 것으로서, 사용자의 동작 지시 입력이 없는 상태를 전제하는 것일 수 있다.This means that the viewing screen (S) switches from the first screen mode to the third screen mode according to content such as subtitles of the PGM video regardless of the user's intention, and may be premised on the absence of the user's input of action instructions.

다시 말해 시청 화면(S)이 PGM 영상의 자막 등 콘텐츠에 따라 능동적으로 변환되는 것으로 볼 수 있으며, 이에 따라 사용자에게 PGM 영상 및 360VR 영상을 보다 동적으로 제공할 수 있다.In other words, the viewing screen (S) can be viewed as being actively converted according to content such as subtitles of the PGM video, and thus PGM video and 360VR video can be provided to users more dynamically.

또한 제1 화면 모드에서는 전환되는 제3 화면 모드는, 제2 화면 모드와 달리, 360VR 영상과 PGM 영상이 서로 동일한 크기로 변경되어 이웃해 배치되는 것일 수 있다.Additionally, in the third screen mode that is switched from the first screen mode, unlike the second screen mode, the 360VR video and the PGM video may be changed to the same size and placed adjacent to each other.

구성부(150)는, PGM 영상의 자막 내 문자 및 오디오 내 음성 중 적어도 어느 하나에서 제1 설정 명령을 인식할 수 있으며, 이를 위해 문자, 영상 및 음성 인식 프로그램 내지 시스템 중 적어도 어느 하나가 이용될 수 있다.The configuration unit 150 may recognize the first setting command from at least one of text in the subtitles of the PGM video and voice in the audio, and for this purpose, at least one of text, video, and voice recognition programs or systems may be used. You can.

여기서 제1 설정 명령은, 360VR 영상의 시청을 유도하는 의미를 가질 수 있으며, 예를 들어 '360VR and 보시죠', 'VR and 볼까요', '함께 and 볼까요', '같이 and 보시죠' 등일 수 있다.Here, the first setting command may have the meaning of encouraging viewing of the 360VR video, and may be, for example, ‘360VR and let’s watch’, ‘VR and let’s watch’, ‘let’s and watch together’, ‘let’s and watch together’, etc.

위 예에서 볼 수 있듯이, 제1 설정 명령은, 제1 화면 모드에서 제3 화면 모드로 무분별하게 전환되는 것을 방지하기 위하여 적어도 2단어 이상의 조합으로 이루어지는 것이 바람직할 수 있다.As can be seen in the above example, the first setting command may preferably be composed of a combination of at least two words to prevent indiscriminate switching from the first screen mode to the third screen mode.

구성부(150)는, 제3 화면 모드의 시청 화면(S)을, 사용자의 동작 지시 입력에 따라, 제2 화면 모드로 전환할 수 있다.The configuration unit 150 may switch the viewing screen S from the third screen mode to the second screen mode according to the user's operation instruction input.

즉 사용자는 동작 지시 입력을 통해, 제1 화면 모드에서 전화된 제3 화면 모드를 제2 화면 모드로 전환함으로써 PGM 영상의 자막 등 콘텐츠에 따라 시청이 유도된 360VR 영상을 보다 자세하게 시청할 수 있다.In other words, the user can view the 360VR video in more detail, guided by content such as subtitles of the PGM video, by switching the third screen mode switched from the first screen mode to the second screen mode by inputting an operation instruction.

이 경우에서 사용자의 동작 지시 입력은 시청 화면(S) 내 마우스 이동 내지 터치 화면 상 터치 또는 드래그일 수 있다.In this case, the user's action instruction input may be a mouse movement within the viewing screen (S) or a touch or drag on the touch screen.

도 4는 시청 화면(S)이 (a) 제2 화면 모드에서, (b) 제3 화면 모드로 전환되는 모습을 나타낸 도면이다.Figure 4 is a diagram showing the viewing screen (S) being switched from (a) the second screen mode to (b) the third screen mode.

구성부(150)는, 제2 화면 모드의 시청 화면(S)을, PGM 영상의 자막 내 문자 및 오디오 내 음성 중 적어도 어느 하나에서 PGM 영상의 시청을 유도하는 의미를 갖는 제2 설정 명령이 인식됨에 따라, PGM 영상과 360VR 영상이 서로 동일한 크기로 변경되어 이웃해 배치되는 제3 화면 모드로 전환할 수 있다.The configuration unit 150 recognizes a second setting command that has the meaning of inducing viewing of the PGM video in at least one of the text in the subtitles and the voice in the audio of the viewing screen S in the second screen mode. Accordingly, it is possible to switch to a third screen mode in which the PGM video and the 360VR video are changed to the same size and placed adjacent to each other.

이는 시청 화면(S)이 사용자 의사와 상관없이 PGM 영상의 자막 등 콘텐츠에 따라 제2 화면 모드에서 제3 화면 모드로 전환되는 것으로서, 사용자의 동작 지시 입력이 없는 상태를 전제하는 것일 수 있다.This means that the viewing screen (S) switches from the second screen mode to the third screen mode according to content such as subtitles of the PGM video regardless of the user's intention, and may be premised on the absence of the user's input of action instructions.

다시 말해 시청 화면(S)이 PGM 영상의 자막 등 콘텐츠에 따라 능동적으로 변환되는 것으로 볼 수 있으며, 이에 따라 사용자에게 PGM 영상 및 360VR 영상을 보다 동적으로 제공할 수 있다.In other words, the viewing screen (S) can be viewed as being actively converted according to content such as subtitles of the PGM video, and thus PGM video and 360VR video can be provided to users more dynamically.

이 때 제2 화면 모드에서는 전환되는 제3 화면 모드는, 360VR 영상과 PGM 영상이 서로 동일한 크기로 변경되어 이웃해 배치되는 것일 수 있다.At this time, the third screen mode that is switched from the second screen mode may be one in which the 360VR video and the PGM video are changed to the same size and placed adjacent to each other.

구성부(150)는, PGM 영상의 자막 내 문자 및 오디오 내 음성 중 적어도 어느 하나에서 제2 설정 명령을 인식할 수 있으며, 이를 위해 문자, 영상 및 음성 인식 프로그램 내지 시스템 중 적어도 어느 하나가 이용될 수 있다.The configuration unit 150 may recognize the second setting command from at least one of text in the subtitle of the PGM video and voice in the audio, and for this purpose, at least one of a text, video, and voice recognition program or system may be used. You can.

여기서 제2 설정 명령은, PGM 영상의 시청을 유도하는 의미를 가질 수 있으며, 예를 들어 '여기 and 보시죠', '여기 and 볼까요' 등일 수 있다.Here, the second setting command may have the meaning of encouraging viewing of the PGM video, and may be, for example, 'Let's look here and', 'Let's look here and', etc.

위 예에서 볼 수 있듯이, 제2 설정 명령은, 제2 화면 모드에서 제3 화면 모드로 무분별하게 전환되는 것을 방지하기 위하여 적어도 2단어 이상의 조합으로 이루어지는 것이 바람직할 수 있다.As can be seen in the above example, the second setting command may preferably be composed of a combination of at least two words to prevent indiscriminate switching from the second screen mode to the third screen mode.

구성부(150)는, 제3 화면 모드의 시청 화면(S)을, 사용자의 동작 지시 입력에 따라, 제2 화면 모드로 전환할 수 있다.The configuration unit 150 may switch the viewing screen S from the third screen mode to the second screen mode according to the user's operation instruction input.

즉 사용자는 원하는 경우 동작 지시 입력을 통해, 제2 화면 모드에서 전환된 제3 화면 모드를 다시 제2 화면 모드로 전환하여 360VR 영상을 계속해 시청할 수 있다.That is, if desired, the user can continue watching the 360VR video by switching the third screen mode, which has been switched from the second screen mode, back to the second screen mode by inputting an operation instruction.

이 경우에서 사용자의 동작 지시 입력은 시청 화면(S) 내 마우스 이동 내지 터치 화면 상 터치 또는 드래그일 수 있다.In this case, the user's action instruction input may be a mouse movement within the viewing screen (S) or a touch or drag on the touch screen.

구성부(150)는, 제2 화면 모드에서, 사용자 선택 지시 입력에 따라, PGM 영상 중 오디오만 송출할 수 있다.In the second screen mode, the configuration unit 150 may transmit only audio among the PGM images according to the user's selection instruction input.

제2 화면 모드에서는 PGM 영상이 PIP 영역(P)에 배치되어 시각적으로 얻는 정보량이 감소되지만 PGM 영상의 오디오는 정보량이 그대로 유지되므로, 사용자는 PGM 영상 중 오디오만 송출되도록 선택해 데이터 전송량을 감소시키면서도 PGM 영상의 정보를 오디오를 통해 얻으면서 360VR 영상을 시청할 수 있게 된다.In the second screen mode, the PGM video is placed in the PIP area (P), reducing the amount of information visually obtained, but the audio of the PGM video maintains the same amount of information, so the user can select to transmit only audio among the PGM video, reducing the amount of data transmission while reducing the amount of PGM video. You will be able to watch 360VR video while receiving video information through audio.

도 5는 제1 화면 모드의 시청 화면(S) 내 리뷰 영역(R)에 리뷰 영상이 배치된 모습을 나타낸 도면이다.Figure 5 is a diagram showing a review image arranged in the review area (R) within the viewing screen (S) in the first screen mode.

구성부(150)는, 제2 화면 모드로 전환된 동안의 360VR 영상, 및 PGM 영상 중 오디오를 저장한 리뷰 영상을 생성하여 시청 화면(S)의 상부 일측에 마련된 리뷰 영역(R)에 배치할 수 있다.The component 150 generates a review video storing audio among the 360VR video and the PGM video while switched to the second screen mode and places it in the review area (R) provided on one upper side of the viewing screen (S). You can.

즉 구성부(150)는, 사용자가 필요에 따라 현시점 이전에 제2 화면 모드에서 시청했던 360VR 영상 및 PGM 영상 중 오디오를 재시청할 수 있도록 리뷰 영상을 생성해 리뷰 영역(R)에 배치시켜 둘 수 있다.That is, the configuration unit 150 can generate a review video and place it in the review area (R) so that the user can rewatch the audio among the 360VR video and PGM video that was viewed in the second screen mode before the present time, if necessary. there is.

리뷰 영상은, 리뷰 영역(R)에 대한 사용자의 선택 지시 입력에 따라 재생되고, 구성부(150)는, 리뷰 영상이 재생되는 경우 리뷰 영상의 재생 시점부터 PGM 영상 및 360VR 영상을 저장하고, 리뷰 영상의 재생 종료 시 리뷰 영상 재생 시점부터 저장된 PGM 영상 및 360VR 영상을 지연 송출할 수 있다.The review video is played according to the user's selection instruction input for the review area (R), and when the review video is played, the configuration unit 150 stores the PGM video and the 360VR video from the time of playback of the review video, and stores the review video. When the video playback ends, PGM video and 360VR video saved from the time of review video playback can be transmitted with a delay.

여기서 사용자의 선택 지시 입력은 리뷰 영역(R) 내 마우스 클릭 내지 터치 화면 상 터치일 수 있다.Here, the user's selection instruction input may be a mouse click in the review area (R) or a touch on the touch screen.

이에 따라 사용자는 리뷰 영상을 시청하더라도 리뷰 영상의 시청 종료 후에는 리뷰 영상이 재생된 시점 이후부터의 PGM 영상 및 360VR 영상을 연속하여 시청할 수 있게 된다.Accordingly, even if the user watches the review video, after finishing watching the review video, the user can continuously watch the PGM video and 360VR video from the time the review video was played.

이 때 구성부(150)는, 사용자 선택에 따라, 지연 송출되는 PGM 영상 및 360VR 영상을 현재 실시간 송출 중인 PGM 영상 및 360VR 영상으로 변환할 수 있다.At this time, the configuration unit 150 may convert the delayed PGM video and 360VR video into the PGM video and 360VR video currently transmitted in real time, according to user selection.

리뷰 영상은, 제2 화면 모드로 전환 시마다 생성되고, 저장된 시간 순으로 줄지어 배치되되 최신순으로 크게 형성되는 리뷰 영역(R)에 배치될 수 있다.The review video is generated each time the second screen mode is switched, and may be arranged in a large review area (R) in the order of saved time and in the most recent order.

이 경우 사용자는 저장된 시간 순으로 줄지어 배치된 리뷰 영상들 중 어느 하나를 필요에 따라 선택하여 재생할 수 있으며, 특히 리뷰 영역(R)은 최신순으로 크게 형성되므로 사용자는 보다 빠르게 최신 리뷰 영상을 확인할 수 있다.In this case, the user can select and play any one of the review videos arranged in the order of saved time as needed. In particular, the review area (R) is large in order of latest, so the user can check the latest review videos more quickly. there is.

또한 리뷰 영역(R)의 상단 또는 하단에는 리뷰 영상이 저장되기 시작한 시점의 시간이 표시될 수 있다.Additionally, the time when the review video started to be saved may be displayed at the top or bottom of the review area (R).

도 6은 제2 화면 모드의 시청 화면(S)에서, (a) 사용자의 동작 지시 입력에 따른 360VR 영상의 영상 내 이동 후 (b) 구분 효과(D)가 믹싱된 단위 영상이 영상 내 표시되는 모습을 나타낸 도면이다.Figure 6 shows, in the viewing screen (S) of the second screen mode, (a) after the 360VR video is moved within the video according to the user's action instruction input, (b) the unit video with the division effect (D) mixed is displayed within the video. This is a drawing showing what it looks like.

믹싱부(120)는, 360VR 영상에 포함된 복수의 단위 영상 중 PGM 영상에 대응되는 어느 하나에 복수의 단위 영상 중 나머지와 구분 가능한 구분 효과(D)를 믹싱할 수 있다.The mixing unit 120 may mix a distinction effect (D) that can be distinguished from the rest of the plurality of unit images with any one of the plurality of unit images included in the 360VR video corresponding to the PGM image.

360VR 영상의 경우 시청 자유도가 높다는 장점이 있지만 시청 방향성을 잃게 될 경우 도리어 영상에 대한 흥미가 감소될 수 있으므로, 360VR 영상 중 PGM 영상에 대응되는 단위 영상에 구분 효과(D)를 믹싱하여 사용자가 시청 방향성을 잃지 않도록 할 수 있다.360VR video has the advantage of high viewing freedom, but if the viewing direction is lost, interest in the video may decrease. Therefore, the division effect (D) is mixed with the unit video corresponding to the PGM video among the 360VR video so that the user can watch it. You can avoid losing direction.

여기서 구분 효과(D)는 PGM 영상에 대응되는 단위 영상의 주변부를 따라 연장된 프레임을 표시하는 것을 포함할 수 있다.Here, the division effect (D) may include displaying a frame extended along the periphery of the unit image corresponding to the PGM image.

보다 구체적으로, 360VR 영상은, 시청 화면(S)에서, 사용자의 동작 지시 입력에 따라, 영상 내 이동 및 확대 축소 중 적어도 어느 하나가 가능하고, 구성부(150)는, 시청 화면(S)에서, 사용자의 복귀 지시 입력에 따라 구분 효과(D)를 인식하여, 구분 효과(D)가 믹싱된 단위 영상이 영상 내 표시되도록 할 수 있다.More specifically, the 360VR video allows at least one of movement and enlargement or reduction within the video according to the user's operation instruction input on the viewing screen (S), and the configuration unit 150 is configured to display the 360 VR video on the viewing screen (S). , the division effect (D) can be recognized according to the user's return instruction input, and a unit image mixed with the division effect (D) can be displayed in the video.

다시 말해 사용자는 동작 지시 입력을 통해 시청 화면(S) 상 360VR 영상을 영상 내 이동 또는 확대 축소하면서 시청하다가도, 필요에 따라 복귀 지시 입력을 통해 PGM 영상에 대응하는 단위 영상으로 용이하게 복귀할 수 있다.In other words, the user can watch the 360VR video on the viewing screen (S) by moving or zooming in and out of the video by inputting action instructions, but can easily return to the unit video corresponding to the PGM video by inputting return instructions when necessary. .

이 때 구성부(150)는 사용자의 복귀 지시 입력에 따라 구분 효과(D)를 인식함으로써 구분 효과(D)가 믹싱된 단위 영상이 영상 내 표시되도록 할 수 있으며, 이를 위해 영상 인식 프로그램 내지 시스템이 이용될 수 있다.At this time, the configuration unit 150 can recognize the division effect (D) according to the user's return instruction input so that the unit image mixed with the division effect (D) is displayed in the video. For this, an image recognition program or system is used. It can be used.

이 경우에서 사용자의 동작 지시 입력은 영상 내 이동을 위한 마우스 이동 내지 터치 화면 상 드래그일 수 있고, 영상 내 확대 축소를 위한 마우스 휠 스크롤 내지 터치 화면 상 핀치-아웃이나 핀치-인일 수 있고, 또한 사용자의 복귀 지시 입력은 영상 내 마우스 클릭 내지 터치 화면 상 터치일 수 있다.In this case, the user's action instruction input may be mouse movement or dragging on the touch screen to move within the image, mouse wheel scrolling to zoom in or out within the image, or pinch-out or pinch-in on the touch screen, and may also be the user's input. The return instruction input may be a mouse click in the video or a touch on the touch screen.

다음으로, 본 발명의 일 실시예에 따른 PGM 영상과 함께 360VR 영상이 PIP 형태로 송출되는 실시간 스트리밍 방송 서비스 제공 방법에 대해 설명한다.Next, a method for providing a real-time streaming broadcasting service in which 360VR video is transmitted in PIP format along with PGM video according to an embodiment of the present invention will be described.

도 7은 본 발명의 일 실시예에 따른 PGM 영상과 함께 360VR 영상이 PIP 형태로 송출되는 실시간 스트리밍 방송 서비스 제공 방법을 나타낸 순서도이다.Figure 7 is a flowchart showing a method of providing a real-time streaming broadcasting service in which 360VR video is transmitted in PIP format along with PGM video according to an embodiment of the present invention.

본 실시예에 따르면, 도 7에 도시된 바와 같이, 제1 수신부(110)가 일반 카메라(10)로 촬영된 PGM 영상 및 360VR 카메라(20)로 촬영된 360VR 영상을 수신하는 단계(S110), 믹싱부(120)가 PGM 영상 및 360VR 영상에 자막, 효과 및 오디오를 믹싱하는 단계(S120), 전송부(130)가 믹싱된 PGM 영상 및 360VR 영상을 스트리밍 서버(30)로 전송하는 단계(S130), 제2 수신부(140)가 스트리밍 서버(30)로부터 PGM 영상 및 360VR 영상에 대해 생성된 영상 송출 URL을 수신하는 단계(S140), 및 구성부(150)가 영상 송출 URL을 이용해 PGM 영상과 함께 360VR 영상이 PIP 형태로 송출되는 시청 화면(S)을 구성하여 사용자에게 제공하는 단계(S150)를 포함하는 PGM 영상과 함께 360VR 영상이 PIP 형태로 송출되는 실시간 스트리밍 방송 서비스 제공 방법이 제공된다.According to this embodiment, as shown in FIG. 7, the first receiver 110 receives the PGM image captured with the general camera 10 and the 360VR image captured with the 360VR camera 20 (S110), A step in which the mixing unit 120 mixes subtitles, effects, and audio with the PGM video and 360VR video (S120), and a step in which the transmitting unit 130 transmits the mixed PGM video and 360VR video to the streaming server 30 (S130). ), the second receiving unit 140 receives the video transmission URL generated for the PGM video and the 360VR video from the streaming server 30 (S140), and the component 150 uses the video transmission URL to transmit the PGM video and A method of providing a real-time streaming broadcasting service in which a 360VR video is transmitted in PIP form along with a PGM video including a step (S150) of configuring and providing a viewing screen (S) on which a 360VR video is transmitted in PIP form to the user is provided.

이와 같은 본 실시예에 따르면, PGM 영상과 함께 360VR 영상을 PIP 형태로 송출하여 영상에 대한 몰입도 및 관심도를 효과적으로 향상시킬 수 있는 실시간 스트리밍 방송 서비스를 제공할 수 있다.According to this embodiment, it is possible to provide a real-time streaming broadcasting service that can effectively improve immersion and interest in the video by transmitting the 360VR video in PIP format along with the PGM video.

이하 도 1 내지 도 7을 참조하여 본 실시예에 따른 PGM 영상과 함께 360VR 영상이 PIP 형태로 송출되는 실시간 스트리밍 방송 서비스 제공 방법의 각 단계에 대하여 설명하도록 하되, 전술한 PGM 영상과 함께 360VR 영상이 PIP 형태로 송출되는 실시간 스트리밍 방송 서비스 제공 시스템(100)과 공통되는 내용은 전술한 설명을 따르도록 하고 이하에서는 생략한다.Hereinafter, with reference to FIGS. 1 to 7, each step of the method of providing a real-time streaming broadcasting service in which the 360VR video is transmitted in PIP form along with the PGM video according to this embodiment will be described. However, the 360VR video together with the PGM video described above is Contents in common with the real-time streaming broadcast service providing system 100 transmitted in PIP format will follow the above description and will be omitted below.

단계110에서는, 제1 수신부(110)가 일반 카메라(10)로 촬영된 PGM 영상 및 360VR 카메라(20)로 촬영된 360VR 영상을 수신할 수 있다.In step 110, the first receiver 110 may receive a PGM image captured with the general camera 10 and a 360VR image captured with the 360VR camera 20.

단계120에서는, 믹싱부(120)가 PGM 영상 및 360VR 영상에 자막, 효과 및 오디오를 믹싱할 수 있다.In step 120, the mixing unit 120 can mix subtitles, effects, and audio with the PGM video and 360VR video.

단계130에서는, 전송부(130)가 믹싱된 PGM 영상 및 360VR 영상을 스트리밍 서버(30)로 전송할 수 있다.In step 130, the transmission unit 130 may transmit the mixed PGM video and 360VR video to the streaming server 30.

단계140에서는, 제2 수신부(140)가 스트리밍 서버(30)로부터 PGM 영상 및 360VR 영상에 대해 생성된 영상 송출 URL을 수신할 수 있다.In step 140, the second receiver 140 may receive a video transmission URL generated for the PGM video and the 360VR video from the streaming server 30.

단계150에서는, 구성부(150)가 영상 송출 URL을 이용해 PGM 영상과 함께 360VR 영상이 PIP 형태로 송출되는 시청 화면(S)을 구성하여 사용자에게 제공할 수 있다.In step 150, the configuration unit 150 can use the video transmission URL to configure a viewing screen (S) in which the 360VR video is transmitted in PIP format along with the PGM video and provide it to the user.

360VR 영상은, 시청 화면(S)에서, 사용자의 동작 지시 입력에 따라, 영상 내 이동 및 확대 축소 중 적어도 어느 하나가 가능하게 마련될 수 있다.The 360VR video may be provided so that at least one of movement and enlargement/reduction within the video is possible according to the user's operation instruction input on the viewing screen (S).

구성부(150)는, 시청 화면(S)의 전체 영역에 PGM 영상이 배치되고 시청 화면(S)의 하부 일측에 마련된 PIP 영역(P)에 360VR 영상이 배치되는 제1 화면 모드를 기본값으로 하여 시청 화면(S)을 제공할 수 있다.The configuration unit 150 defaults to the first screen mode in which the PGM image is placed in the entire area of the viewing screen (S) and the 360VR image is placed in the PIP area (P) provided on one lower side of the viewing screen (S). A viewing screen (S) may be provided.

또한 구성부(150)는, 제1 화면 모드에서, 사용자의 선택에서 따라, 360VR 영상의 송출을 중단 또는 재개할 수 있다.Additionally, the configuration unit 150 can stop or resume transmission of the 360VR video in the first screen mode according to the user's selection.

구성부(150)는, 제1 화면 모드의 시청 화면(S)을, PIP 영역(P)에 대한 사용자의 선택 지시 입력에 따라, 제1 화면 모드에서 360VR 영상과 PGM 영상이 배치 전환된 제2 화면 모드로 전환하고, 제2 화면 모드의 시청 화면(S)을, PIP 영역(P)에 대한 사용자의 선택 지시 입력에 따라, 제1 화면 모드로 전환할 수 있다.The configuration unit 150 converts the viewing screen (S) of the first screen mode into a second screen in which the 360VR video and the PGM video are arranged and switched in the first screen mode according to the user's selection instruction input for the PIP area (P). The screen mode can be switched, and the viewing screen (S) of the second screen mode can be switched to the first screen mode according to the user's selection instruction input to the PIP area (P).

구성부(150)는, 제1 화면 모드의 시청 화면(S)을, PGM 영상의 자막 내 문자 및 오디오 내 음성 중 적어도 어느 하나에서 360VR 영상의 시청을 유도하는 의미를 갖는 제1 설정 명령이 인식됨에 따라, 360VR 영상과 PGM 영상이 서로 동일한 크기로 변경되어 이웃해 배치되는 제3 화면 모드로 전환할 수 있다.The configuration unit 150 recognizes a first setting command that has the meaning of inducing viewing of a 360VR video in at least one of the text in the subtitles and the voice in the audio of the viewing screen (S) in the first screen mode. Accordingly, it is possible to switch to a third screen mode in which the 360VR video and the PGM video are changed to the same size and placed next to each other.

구성부(150)는, 제3 화면 모드의 시청 화면(S)을, 사용자의 동작 지시 입력에 따라, 제2 화면 모드로 전환할 수 있다.The configuration unit 150 may switch the viewing screen S from the third screen mode to the second screen mode according to the user's operation instruction input.

구성부(150)는, 제2 화면 모드의 시청 화면(S)을, PGM 영상의 자막 내 문자 및 오디오 내 음성 중 적어도 어느 하나에서 PGM 영상의 시청을 유도하는 의미를 갖는 제2 설정 명령이 인식됨에 따라, PGM 영상과 360VR 영상이 서로 동일한 크기로 변경되어 이웃해 배치되는 제3 화면 모드로 전환할 수 있다.The configuration unit 150 recognizes a second setting command that has the meaning of inducing viewing of the PGM video in at least one of the text in the subtitles and the voice in the audio of the viewing screen S in the second screen mode. Accordingly, it is possible to switch to a third screen mode in which the PGM video and the 360VR video are changed to the same size and placed adjacent to each other.

구성부(150)는, 제3 화면 모드의 시청 화면(S)을, 사용자의 동작 지시 입력에 따라, 제2 화면 모드로 전환할 수 있다.The configuration unit 150 may switch the viewing screen S from the third screen mode to the second screen mode according to the user's operation instruction input.

구성부(150)는, 제2 화면 모드에서, 사용자 선택 지시 입력에 따라, PGM 영상 중 오디오만 송출할 수 있다.In the second screen mode, the configuration unit 150 may transmit only audio among the PGM images according to the user's selection instruction input.

구성부(150)는, 제2 화면 모드로 전환된 동안의 360VR 영상, 및 PGM 영상 중 오디오를 저장한 리뷰 영상을 생성하여 시청 화면(S)의 상부 일측에 마련된 리뷰 영역(R)에 배치할 수 있다.The component 150 generates a review video storing audio among the 360VR video and the PGM video while switched to the second screen mode and places it in the review area (R) provided on one upper side of the viewing screen (S). You can.

리뷰 영상은, 리뷰 영역(R)에 대한 사용자의 선택 지시 입력에 따라 재생되고, 구성부(150)는, 리뷰 영상이 재생되는 경우 리뷰 영상의 재생 시점부터 PGM 영상 및 360VR 영상을 저장하고, 리뷰 영상의 재생 종료 시 리뷰 영상 재생 시점부터 저장된 PGM 영상 및 360VR 영상을 지연 송출할 수 있다.The review video is played according to the user's selection instruction input for the review area (R), and when the review video is played, the configuration unit 150 stores the PGM video and the 360VR video from the time of playback of the review video, and stores the review video. When the video playback ends, PGM video and 360VR video saved from the time of review video playback can be transmitted with a delay.

리뷰 영상은, 제2 화면 모드로 전환 시마다 생성되고, 저장된 시간 순으로 줄지어 배치되되 최신순으로 크게 형성되는 리뷰 영역(R)에 배치될 수 있다.The review video is generated each time the second screen mode is switched, and may be arranged in a large review area (R) in the order of saved time and in the most recent order.

믹싱부(120)는, 360VR 영상에 포함된 복수의 단위 영상 중 PGM 영상에 대응되는 어느 하나에 복수의 단위 영상 중 나머지와 구분 가능한 구분 효과(D)를 믹싱할 수 있다.The mixing unit 120 may mix a distinction effect (D) that can be distinguished from the rest of the plurality of unit images with any one of the plurality of unit images included in the 360VR video corresponding to the PGM image.

보다 구체적으로, 360VR 영상은, 시청 화면(S)에서, 사용자의 동작 지시 입력에 따라, 영상 내 이동 및 확대 축소 중 적어도 어느 하나가 가능하고, 구성부(150)는, 시청 화면(S)에서, 사용자의 복귀 지시 입력에 따라 구분 효과(D)를 인식하여, 구분 효과(D)가 믹싱된 단위 영상이 영상 내 표시되도록 할 수 있다.More specifically, the 360VR video allows at least one of movement and enlargement or reduction within the video according to the user's operation instruction input on the viewing screen (S), and the configuration unit 150 is configured to display the 360 VR video on the viewing screen (S). , the division effect (D) can be recognized according to the user's return instruction input, and a unit image mixed with the division effect (D) can be displayed in the video.

한편, 전술된 실시예의 구성 요소는 프로세스적인 관점에서 용이하게 파악될 수 있다. 즉 각각의 구성 요소는 각각의 프로세스로 파악될 수 있다. 또한 전술된 실시예의 프로세스는 장치의 구성 요소 관점에서 용이하게 파악될 수 있다.Meanwhile, the components of the above-described embodiment can be easily understood from a process perspective. In other words, each component can be understood as a separate process. Additionally, the processes of the above-described embodiments can be easily understood from the perspective of the components of the device.

또한 앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Additionally, the technical contents described above may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be specially designed and configured for the embodiments or may be known and available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc. A hardware device may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상, 본 발명의 일 실시예에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.Above, an embodiment of the present invention has been described, but those skilled in the art can add, change, delete or add components without departing from the spirit of the present invention as set forth in the patent claims. The present invention may be modified and changed in various ways, and this will also be included within the scope of rights of the present invention.

10: 일반 카메라
20: 360VR 카메라
30: 스트리밍 서버
100: PGM 영상과 함께 360VR 영상이 PIP 형태로 송출되는 실시간 스트리밍 방송 서비스 제공 시스템
110: 제1 수신부
120: 믹싱부
130: 전송부
140: 제2 수신부
150: 구성부
S: 시청 화면
P: PIP 영역
R: 리뷰 영역
D: 구분 효과10: General camera
20: 360VR camera
30: Streaming Server
100: A real-time streaming broadcasting service provision system in which 360 VR video is transmitted in PIP format along with PGM video.
110: first receiving unit
120: mixing section
130: Transmission unit
140: second receiving unit
150: component part
S: Viewing screen
P:PIP area
R: Review area
D: Separation effect

Claims (10)

일반 카메라로 촬영된 PGM 영상 및 360VR 카메라로 촬영된 360VR 영상을 수신하는 제1 수신부;
상기 PGM 영상 및 상기 360VR 영상에 자막, 효과 및 오디오를 믹싱하는 믹싱부;
믹싱된 상기 PGM 영상 및 상기 360VR 영상을 스트리밍 서버로 전송하는 전송부;
상기 스트리밍 서버로부터 상기 PGM 영상 및 상기 360VR 영상에 대해 생성된 영상 송출 URL을 수신하는 제2 수신부; 및
상기 영상 송출 URL을 이용해 상기 PGM 영상과 함께 상기 360VR 영상이 PIP 형태로 송출되는 시청 화면을 구성하여 사용자에게 제공하는 구성부를 포함하는 PGM 영상과 함께 360VR 영상이 PIP 형태로 송출되는 실시간 스트리밍 방송 서비스 제공 시스템.
A first receiving unit that receives PGM images captured with a general camera and 360VR images captured with a 360VR camera;
A mixing unit that mixes subtitles, effects, and audio with the PGM video and the 360VR video;
A transmission unit that transmits the mixed PGM video and the 360VR video to a streaming server;
a second receiver that receives a video transmission URL generated for the PGM video and the 360VR video from the streaming server; and
Providing a real-time streaming broadcasting service in which the 360VR video is transmitted in PIP form along with the PGM video, including a component that configures a viewing screen in which the 360VR video is transmitted in PIP form along with the PGM video using the video transmission URL and provides it to the user. system.
 제1항에 있어서,
상기 360VR 영상은,
상기 시청 화면에서, 상기 사용자의 동작 지시 입력에 따라, 영상 내 이동 및 확대 축소 중 적어도 어느 하나가 가능하게 마련되는,
According to paragraph 1,
The 360VR video above is,
On the viewing screen, at least one of movement and enlargement/reduction within the video is possible according to the user's input of an operation instruction.
 제1항에 있어서,
상기 구성부는,
상기 시청 화면의 전체 영역에 상기 PGM 영상이 배치되고 상기 시청 화면의 하부 일측에 마련된 PIP 영역에 상기 360VR 영상이 배치되는 제1 화면 모드를 기본값으로 하여 상기 시청 화면을 제공하는,
According to paragraph 1,
The component part is,
Providing the viewing screen with a first screen mode as the default in which the PGM image is placed in the entire area of the viewing screen and the 360VR image is placed in the PIP area provided on one lower side of the viewing screen,
 제3항에 있어서,
상기 구성부는,
상기 제1 화면 모드의 상기 시청 화면을, 상기 PIP 영역에 대한 상기 사용자의 선택 지시 입력에 따라, 상기 제1 화면 모드에서 상기 360VR 영상과 상기 PGM 영상이 배치 전환된 제2 화면 모드로 전환하고,
상기 제2 화면 모드의 상기 시청 화면을, 상기 PIP 영역에 대한 상기 사용자의 선택 지시 입력에 따라, 상기 제1 화면 모드로 전환하는,
According to paragraph 3,
The component part is,
Converting the viewing screen of the first screen mode to a second screen mode in which the 360VR video and the PGM video are arranged from the first screen mode according to the user's input of a selection instruction for the PIP area,
Converting the viewing screen of the second screen mode to the first screen mode according to the user's selection instruction input to the PIP area,
 제4항에 있어서,
상기 구성부는,
상기 제1 화면 모드의 상기 시청 화면을, 상기 PGM 영상의 상기 자막 내 문자 및 상기 오디오 내 음성 중 적어도 어느 하나에서 상기 360VR 영상의 시청을 유도하는 의미를 갖는 제1 설정 명령이 인식됨에 따라, 상기 360VR 영상과 상기 PGM 영상이 서로 동일한 크기로 변경되어 이웃해 배치되는 제3 화면 모드로 전환하는,
According to paragraph 4,
The component part is,
As a first setting command having the meaning of inducing viewing of the 360VR video in the viewing screen of the first screen mode is recognized in at least one of the text in the subtitle and the voice in the audio of the PGM video, Converting to a third screen mode in which the 360VR video and the PGM video are changed to the same size and placed next to each other,
 제5항에 있어서,
상기 구성부는,
상기 제3 화면 모드의 상기 시청 화면을, 상기 사용자의 동작 지시 입력에 따라, 상기 제2 화면 모드로 전환하는,
According to clause 5,
The component part is,
Converting the viewing screen of the third screen mode to the second screen mode according to the user's operation instruction input,
 제4항에 있어서,
상기 구성부는,
상기 제2 화면 모드의 상기 시청 화면을, 상기 PGM 영상의 상기 자막 내 문자 및 상기 오디오 내 음성 중 적어도 어느 하나에서 상기 PGM 영상의 시청을 유도하는 의미를 갖는 제2 설정 명령이 인식됨에 따라, 상기 PGM 영상과 상기 360VR 영상이 서로 동일한 크기로 변경되어 이웃해 배치되는 제3 화면 모드로 전환하는,
According to paragraph 4,
The component part is,
As a second setting command having the meaning of inducing viewing of the PGM video in the viewing screen of the second screen mode is recognized in at least one of the text in the subtitle and the voice in the audio of the PGM video, Converting to a third screen mode in which the PGM video and the 360VR video are changed to the same size and placed next to each other,
 제4항에 있어서,
상기 구성부는,
상기 제2 화면 모드에서, 상기 사용자 선택 지시 입력에 따라, 상기 PGM 영상 중 상기 오디오만 송출하는,
According to paragraph 4,
The component part is,
In the second screen mode, according to the user selection instruction input, only the audio of the PGM video is transmitted,
 제4항에 있어서,
상기 구성부는,
상기 제2 화면 모드로 전환된 동안의 상기 360VR 영상, 및 상기 PGM 영상 중 상기 오디오를 저장한 리뷰 영상을 생성하여 상기 시청 화면의 상부 일측에 마련된 리뷰 영역에 배치하는,
According to paragraph 4,
The component part is,
Generating a review video storing the audio among the 360VR video and the PGM video while switched to the second screen mode and placing it in a review area provided on one upper side of the viewing screen,
 제1 수신부가, 일반 카메라로 촬영된 PGM 영상 및 360VR 카메라로 촬영된 360VR 영상을 수신하는 단계;
믹싱부가 상기 PGM 영상 및 상기 360VR 영상에 자막, 효과 및 오디오를 믹싱하는 단계;
전송부가 믹싱된 상기 PGM 영상 및 상기 360VR 영상을 스트리밍 서버로 전송하는 단계;
제2 수신부가 상기 스트리밍 서버로부터 상기 PGM 영상 및 상기 360VR 영상에 대해 생성된 영상 송출 URL을 수신하는 단계; 및
구성부가 상기 영상 송출 URL을 이용해 상기 PGM 영상과 함께 상기 360VR 영상이 PIP 형태로 송출되는 시청 화면을 구성하여 사용자에게 제공하는 단계를 포함하는 PGM 영상과 함께 360VR 영상이 PIP 형태로 송출되는 실시간 스트리밍 방송 서비스 제공 방법.
A first receiving unit receiving a PGM image captured with a general camera and a 360VR image captured with a 360VR camera;
A mixing unit mixing subtitles, effects, and audio with the PGM video and the 360VR video;
A transmission unit transmitting the mixed PGM video and the 360VR video to a streaming server;
A second receiving unit receiving a video transmission URL generated for the PGM video and the 360VR video from the streaming server; and
A real-time streaming broadcast in which the 360VR video is transmitted in PIP form along with the PGM video, including a step of the configuration unit configuring a viewing screen in which the 360VR video is transmitted in PIP form along with the PGM video using the video transmission URL and providing it to the user. How we provide services.
KR1020220104766A 2022-08-22 2022-08-22 Method for providing real-time streaming broadcasting service in which 360vr video is transmitted in pip format together with pgm video and system thereof KR20240026648A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220104766A KR20240026648A (en) 2022-08-22 2022-08-22 Method for providing real-time streaming broadcasting service in which 360vr video is transmitted in pip format together with pgm video and system thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220104766A KR20240026648A (en) 2022-08-22 2022-08-22 Method for providing real-time streaming broadcasting service in which 360vr video is transmitted in pip format together with pgm video and system thereof

Publications (1)

Publication Number Publication Date
KR20240026648A true KR20240026648A (en) 2024-02-29

Family

ID=90041326

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220104766A KR20240026648A (en) 2022-08-22 2022-08-22 Method for providing real-time streaming broadcasting service in which 360vr video is transmitted in pip format together with pgm video and system thereof

Country Status (1)

Country Link
KR (1) KR20240026648A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180040809A (en) 2016-10-13 2018-04-23 이경희 360VR Indoor Cycling with panoramic scenery control by means of pedaling speed

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180040809A (en) 2016-10-13 2018-04-23 이경희 360VR Indoor Cycling with panoramic scenery control by means of pedaling speed

Similar Documents

Publication Publication Date Title
US10171875B2 (en) Method for providing previous watch list of contents provided by different sources, and display device which performs same
US10631032B2 (en) Dynamic video image synthesis using multiple cameras and remote control
KR101588660B1 (en) A display apparatus capable of moving image and the method thereof
CN103004227B (en) The method of composed view, server and terminal is generated from multiple content item
JP5395813B2 (en) Content and metadata consumption techniques
US20110154200A1 (en) Enhancing Media Content with Content-Aware Resources
WO2012043358A1 (en) Content supplying device, content supplying method, content reproduction device, content reproduction method, program, and content viewing system
EP2383984B1 (en) Image display apparatus and method for operating the same
US9288542B2 (en) Multi-option sourcing of content
CN105828163A (en) Video preview method and device
CN103139599A (en) Network multi-image live broadcast system
US20130091525A1 (en) Method and apparatus for providing cloud-based user menu
US20130205343A1 (en) Method & Apparatus for an Enhanced Television Viewing Experience
US10536754B2 (en) Digital device and controlling method thereof
CN112437317A (en) Live broadcast picture switching method, device and system
CN115379277B (en) VR panoramic video playing method and system based on IPTV service
KR20240026648A (en) Method for providing real-time streaming broadcasting service in which 360vr video is transmitted in pip format together with pgm video and system thereof
CN107333172B (en) Broadcasting method and device of broadcasting system and electronic equipment
CN115086722B (en) Display method and display device for secondary screen content
KR20140117196A (en) Broadcasting receiver and controlling method thereof
WO2023042403A1 (en) Content distribution server
US20180152751A1 (en) System and Method for Enhanced Media Presentation
KR101447785B1 (en) Contents service system, and intuitive user interface for providing contents connected with broadcast program
JP7096564B2 (en) Information communication terminal device and display control method in the device
KR20100047764A (en) Apparatus and method for output controlling main screen and sub screen by using pivot function of television