KR102273439B1 - 다면 영상 재생 시스템 및 실시간 중계 서비스 제공 방법 - Google Patents

다면 영상 재생 시스템 및 실시간 중계 서비스 제공 방법 Download PDF

Info

Publication number
KR102273439B1
KR102273439B1 KR1020190179937A KR20190179937A KR102273439B1 KR 102273439 B1 KR102273439 B1 KR 102273439B1 KR 1020190179937 A KR1020190179937 A KR 1020190179937A KR 20190179937 A KR20190179937 A KR 20190179937A KR 102273439 B1 KR102273439 B1 KR 102273439B1
Authority
KR
South Korea
Prior art keywords
image data
server
reproduction
playback
field image
Prior art date
Application number
KR1020190179937A
Other languages
English (en)
Inventor
장경윤
최노욱
이명선
고해정
박기수
이두희
Original Assignee
씨제이포디플렉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 씨제이포디플렉스 주식회사 filed Critical 씨제이포디플렉스 주식회사
Priority to KR1020190179937A priority Critical patent/KR102273439B1/ko
Application granted granted Critical
Publication of KR102273439B1 publication Critical patent/KR102273439B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/247—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명의 일 실시 예에 따른 다면 영상 재생 시스템은, 현장에 배치된 복수 대의 카메라, 상기 복수 대의 카메라로부터 복수의 현장 영상 데이터를 수신하고, 상기 복수의 현장 영상 데이터를 재생서버에 송신하는 중계서버 및 상기 중계서버로부터 수신한 영상을 재생하는 재생서버를 포함한다.
본 발명에 따르면, 복수 대의 카메라로 촬영된 영상을 하나의 고해상도 단일 영상으로 대체하고, 전송 경로를 단일화하여, 다면 재생 영역 내 재생 오류(각 재생 영역 별 음성, 영상 재생 속도 불일치)가 발생하는 것을 방지할 수 있다.

Description

다면 영상 재생 시스템 및 실시간 중계 서비스 제공 방법{MULTI-SCREEN PLAYING SYSTEM AND METHOD OF PROVIDING REAL-TIME RELAY SERVICE}
본 발명은 다면 영상 재생 시스템 및 실시간 중계 서비스 제공 방법에 관한 것이다. 보다 자세하게는 콘서트, 뮤지컬, 연극, 경기장 등 실시간으로 진행되는 현장 상황을 다면 영상 재생이 가능한 공간에서 기존보다 빠른 속도와 고해상도로 중계하여, 관객들의 몰입감을 향상시킬 수 있는 실시간 중계 서비스를 제공하는 다면 영상 재생 시스템 및 이의 제어 방법에 관한 것이다.
일반적으로 경기장, 공연장은 콘서트, 연극, 뮤지컬, 운동 경기 등 다양한 분야의 문화 콘텐츠를 진행한다. 그러나 대부분의 문화 콘텐츠가 수도권에 집중되어 있어, 지방에 거주하는 사람들은 공연장에 가기 위해 많은 시간과 비용을 지불해야 한다. 또한, 경기장, 공연장이 제한된 인원을 수용하기 때문에, 인기 있는 문화 콘텐츠는 짧은 시간에 티켓이 매진되어 많은 사람들이 공연을 실시간으로 관람할 수 없다.
그에 따라, 사용자가 개개인의 단말을 통해 문화 콘텐츠를 관람할 수 있는 스트리밍 서비스(Streaming Service)가 개시되었다. 스트리밍 서비스는 음성, 영상 등의 멀티미디어 정보를 실시간으로 볼 수 있는 장점을 가지고 있지만, 인터넷 환경이나 인터넷 회선에 따라 영상의 화질이 낮아질 수 밖에 없다.
한편, 영화 컨텐츠 시장의 성장과 맞물려 최근에는 중심에 배치된 하나의 정면 재생 영역을 이용하여 컨텐츠를 재생하던 것과 달리 좌우측면, 천장, 바닥면 등 재생 영역을 확장시켜, 보다 몰입감이 좋은 재생 환경을 가진 다면 상영관이 개시되고 있다. 최근 들어, 이러한 다면 상영관 활용을 극대화하기 위해, 영화와 같은 미리 제작된 영상물 외에도 실시간으로 진행되는 문화 콘텐츠를 실시간으로 중계해주는 스트리밍 서비스를 제공하고 있다.
그러나 다면 상영관을 이용하여 스트리밍 서비스를 제공할 경우, 각 재생 영역에 재생될 영상이 전송되는 과정에서 영상들 간의 재생 타이밍이 맞지 않아, 사용자의 영상 시청 및 영상 몰입을 방해하는 상황이 발생할 수 있다. 그에 따라, 관리자가 직접 다면 상영관에 방문하여 각 화면을 모니터링하고 각 재생 영역이 자연스럽게 이어지도록 영상 또는 카메라 촬영 설정을 조정해야 하는 번거로움이 존재한다.
이에 본 발명은 경기장, 공연장에 배치된 복수의 카메라로부터 입력 받는 영상을 유료 영화관인 다면 상영관은 물론, 자동차, 가정, 공연장이나 전시장 등 다양한 다면 재생 공간에 적합한 영상으로 조정하고, 각 재생 영역에서 재생되는 영상들을 동기화할 뿐만 아니라, 각 재생 영역에서의 영상의 품질을 최대한 개선시켜 사용자의 몰입감을 보다 향상시킬 수 있는 다면 영상 재생 시스템 및 이의 제어 방법을 제안한다.
한국공개특허공보 제10-2018-0057012호(2016.11.21.) 한국등록특허공보 제10-0393417호(2003.07.21.)
본 발명이 해결하고자 하는 기술적 과제는 다수의 영상을 하나의 스트림으로 인코딩하여, 다면 재생 공간의 각 재생 영역에서 영상 및 음성을 동기화시킬 수 있는 다면 영상 재생 시스템 및 이의 제어 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는 하나의 스트림으로 인코딩하는 과정에서 다면 재생 공간의 각 재생 영역 별로 가중치를 두어, 영상 재생의 효율성을 높일 수 있는 다면 영상 재생 시스템 및 이의 제어 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는 실시간으로 중계되는 영상을 분석하고, 해당 공간에 배치된 특수 효과 장치 및 특수 효과 의자를 제어하여, 사용자들의 몰입감 및 즐거움을 배가시킬 수 있는 다면 영상 재생 시스템 및 이의 제어 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는 복수의 카메라로 촬영된 다수의 영상을 스티칭하고, 다면 재생 공간에 적합한 크기로 분할하여, 다면 재생 공간 내 영상이 자연스럽게 이어질 수 있는 다면 영상 재생 시스템 및 이의 제어 방법을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 예에 따른 다면 영상 재생 시스템은, 현장에 배치된 복수 대의 카메라, 상기 복수 대의 카메라로부터 복수의 현장 영상 데이터를 수신하고, 상기 복수의 현장 영상 데이터를 재생서버에 송신하는 중계서버, 상기 중계서버로부터 수신한 영상을 재생하는 재생서버를 포함한다. 일 실시 예에 따르면, 상기 재생 서버는, 상기 중계 서버로부터 수신한 복수의 현장 영상 데이터를 재생 공간 별로 기 설정된 캘리브레이션(Calibration) 정보에 따라 렌더링(Rendering)하고, 렌더링된 복수의 현장 영상 데이터를 상기 재생 공간 내 복수의 재생 영역에 재생할 수 있다.
일 실시 예에 따르면, 상기 복수 대의 카메라는, 현장의 메인 영역을 촬영하는 메인 카메라 및 상기 메인 카메라와는 다른 서브 영역을 촬영하는 적어도 하나 이상의 서브 카메라를 포함할 수 있다.
일 실시 예에 따르면, 상기 다면 영상 재생 시스템은 현장에 배치된 복수 대의 컴퓨터 장치들을 더 포함하고, 상기 복수 대의 컴퓨터 장치들은 각 컴퓨터 장치로부터 수신한 데이터에 따른 영상을 표시하는 디스플레이 장치들을 포함하며, 상기 중계서버는 상기 컴퓨터 장치들로부터 영상 데이터를 수신하여, 상기 복수의 현장 영상 데이터와 함께 재생서버에 송신할 수 있다.
일 실시 예에 따르면, 상기 중계 서버는, 상기 복수의 현장 영상 데이터를 하나의 스트림(Stream)으로 인코딩할 수 있다.
일 실시 예에 따르면, 상기 중계 서버는, 상기 메인 카메라로부터 수신한 현장 영상 데이터와 상기 서브 카메라로부터 수신한 현장 영상 데이터를 기 설정된 가중치에 따라 서로 다른 품질(화질 또는 음질 등)로 인코딩할 수 있다.
일 실시 예에 따르면, 상기 중계 서버는, 상기 재생 서버가 제어하는 재생 공간에 따라 상기 메인 카메라로부터 수신한 현장 영상 데이터와 상기 서브 카메라로부터 수신한 현장 영상 데이터를 서로 다른 품질(화질 또는 음질)로 인코딩할 수 있다.
일 실시 예에 따르면, 상기 중계 서버는, 상기 복수의 현장 영상 데이터를 상기 메인 카메라로부터 수신한 현장 영상 데이터를 기준으로 동기화시키고, 동기화된 복수의 현장 영상 데이터를 다수의 채널을 가지는 하나의 전송 스트림에 포함시켜 인코딩할 수 있다.
일 실시 예에 따르면, 상기 전송 스트림 내 다수의 채널 각각은, 상기 복수의 현장 영상 데이터 및 상기 메인 카메라, 상기 서브 카메라의 위치 또는 방향에 따른 식별 정보를 포함할 수 있다.
일 실시 예에 따르면, 상기 재생 서버는, 인코딩된 복수의 현장 영상 데이터를 송신한 하나의 스트림 전체를 디코딩할 수 있다.
일 실시 예에 따르면, 상기 재생 서버는, 재생 공간 내 복수의 재생 영역을 확인하고, 확인된 재생 영역에 따라 인코딩된 복수의 현장 영상 데이터를 송신한 하나의 스트림을 개별적으로 디코딩할 수 있다.
일 실시 예에 따르면, 상기 재생 서버는, 상기 복수의 재생 영역에 재생될 복수의 현장 영상 데이터를 해당 영역 별로 기 설정된 가중치에 따라 보완할 수 있다.
일 실시 예에 따르면, 상기 중계 서버는, 상기 복수의 현장 영상 데이터와 함께 시간에 따른 특수 효과 제어 정보를 상기 재생 서버로 송신하고, 상기 재생 서버는, 상기 특수 효과 제어 정보를 기초로 상기 재생 공간에 배치된 특수 효과 장치를 제어할 수 있다.
일 실시 예에 따르면, 상기 재생 서버는, 상기 재생 공간의 파라미터를 기초로, 상기 복수의 재생 영역에 재생될 복수의 현장 영상 데이터에서 프레임 별 크기, 색상, 밝기, 비율 및 기울기 중 적어도 하나를 보정하는 렌더링을 수행 할 수 있다.
본 발명의 다른 실시 예에 따른 실시간 중계 서비스 제공 방법은 현장에 배치된 복수 대의 카메라가 현장 영상을 촬영하는 단계, 중계 서버가 상기 복수 대의 카메라로부터 복수의 현장 영상 데이터를 수신하는 단계 및 상기 중계 서버가, 상기 복수의 현장 영상 데이터를 적어도 하나의 재생 서버로 송신하는 단계를 포함한다.
일 실시 예에 따르면, 상기 재생 서버로 송신하는 단계 이후에, 상기 재생 서버가 상기 중계 서버로부터 수신한 복수의 현장 영상 데이터를 재생 공간 별로 기 설정된 캘리브레이션(Calibration) 정보에 따라 렌더링(Rendering)하는 단계 및 렌더링된 복수의 현장 영상 데이터를 상기 재생 공간 내 복수의 재생 영역에 재생하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 상기 복수 대의 카메라는, 현장의 메인 영역을 촬영하는 메인 카메라 및 상기 메인 카메라와는 다른 서브 영역을 촬영하는 적어도 하나 이상의 서브 카메라를 포함할 수 있다.
일 실시 예에 따르면, 상기 복수의 현장 영상 데이터를 수신하는 단계와 상기 재생 서버로 송신하는 단계 사이에서, 상기 중계 서버가 복수의 현장 영상 데이터를 하나의 스트림(Stream)으로 인코딩하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 상기 인코딩하는 단계는, 상기 중계 서버가 상기 메인 카메라로부터 수신한 현장 영상 데이터와 상기 서브 카메라로부터 수신한 현장 영상 데이터를 기 설정된 가중치에 따라 서로 다른 품질(화질 또는 음질 등)로 인코딩하는 단계일 수 있다.
일 실시 예에 따르면, 상기 인코딩하는 단계는, 상기 중계 서버가, 상기 재생 서버가 제어하는 재생 공간에 따라 상기 메인 카메라로부터 수신한 현장 영상 데이터와 상기 서브 카메라로부터 수신한 현장 영상 데이터를 서로 다른 품질(화질 또는 음질)로 인코딩하는 단계일 수 있다.
일 실시 예에 따르면, 상기 복수의 현장 영상 데이터를 수신하는 단계와 상기 재생 서버로 송신하는 단계 사이에서, 상기 중계 서버가 상기 복수의 현장 영상 데이터를 상기 메인 카메라로부터 수신한 현장 영상 데이터를 기준으로 동기화시키는 단계 및 동기화된 복수의 현장 영상 데이터를 하나의 전송 스트림에 포함시켜 인코딩하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 상기 전송 스트림 내 다수의 채널 각각은, 상기 복수의 현장 영상 데이터 및 상기 메인 카메라, 상기 서브 카메라의 위치 또는 방향에 따른 식별 정보를 포함할 수 있다.
일 실시 예에 따르면, 상기 재생 서버로 송신하는 단계와 상기 렌더링하는 단계 사이에서, 상기 재생 서버가 인코딩된 복수의 현장 영상 데이터를 송신한 하나의 스트림 전체를 디코딩하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 상기 재생 서버로 송신하는 단계와 상기 렌더링하는 단계 사이에서, 상기 재생 서버가 재생 공간 내 복수의 재생 영역을 확인하고, 확인된 재생 영역에 따라 인코딩된 복수의 현장 영상 데이터를 송신한 하나의 스트림을 개별적으로 디코딩하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 상기 재생하는 단계 이전에, 상기 재생 서버가, 상기 복수의 재생 영역에 재생될 복수의 현장 영상 데이터에서 프레임 별 해상도를 재생 영역 별로 기 설정된 가중치에 따라 보완하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 상기 재생 서버로 송신하는 단계는, 상기 중계 서버가, 상기 복수의 현장 영상 데이터와 함께 시간에 따른 특수 효과 제어 정보를 상기 재생 서버로 송신하는 단계이고, 상기 재생하는 단계는, 상기 재생 서버가 상기 특수 효과 제어 정보를 기초로 상기 재생 공간에 배치된 특수 효과 장치를 제어하는 단계를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 복수의 현장 영상 데이터를 수신하는 단계와 상기 재생 서버로 송신하는 단계 사이에서, 상기 재생 공간의 파라미터를 기초로, 상기 복수의 재생 영역에 재생될 복수의 현장 영상 데이터에서 프레임 별 크기, 색상, 밝기, 비율 및 기울기 중 적어도 하나를 보정하는 렌더링을 수행하는 단계를 더 포함할 수 있다.
본 발명에 의하면, 복수 대의 카메라로 촬영된 영상을 다면에 송출하여, 해당 공간에 착석한 사용자는 실제로 공간에 있는 듯한 사실감을 느낄 수 있다. 특히, 다면 재생 영역에 적합한 크기로 분할하여 영상이 자연스럽게 이어질 수 있으며, 이외에도, 각 재생 영역에 서로 다른 시점의 영상을 송출하여 현장의 전반적인 분위기를 느낄 수도 있다.
또한, 복수 대의 카메라로 촬영된 영상을 하나의 고해상도 단일 영상으로 대체하고, 전송 경로를 단일화하여, 다면 재생 영역 내 재생 오류(각 재생 영역 별 음성, 영상 재생 속도 불일치)가 발생하는 것을 방지할 수 있다.
또한, 다수의 영상을 하나의 스트림으로 인코딩하고, 영상을 다면에 송출하는 과정에서 하나의 스트림만을 디코딩할 수 있어, 시스템의 효율성을 높일 수 있다.
또한, 각 면의 영상 정보를 포함하는 하나의 고해상도 단일 스트림을 이용하는 바, 영상의 재생이 영화관 같은 특정 공간에 한정되지 않고, 차량, 집 등 복수의 출력장치가 배치 가능한 다양한 공간에 실시간 중계 서비스를 제공할 수 있다.
또한, 다수의 영상을 하나의 스트림으로 인코딩하는 과정에서 예약 영역을 포함시켜, 재생 영역이 추가되거나 해상도 또는 크기가 변경되는 상황을 대비할 수 있다. 뿐만 아니라, 각 재생 영역 별로 인코딩 품질(해상도)를 달리하는 가중치를 두어 영상 재생의 효율성을 높일 수 있다.
또한, 실시간으로 중계되는 영상을 분석하고, 다면 영상이 재생되는 공간에 배치된 특수 효과 장치 및 특수 효과 의자를 제어하여, 중계되는 영상을 관람하는 사용자에게 현장의 분위기와 효과에 따른 즐거움을 제공할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 다면 영상 재생 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따른 복수 대의 카메라가 촬영하는 영역을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 중계 서버의 구성을 나타낸 도면이다.
도 4는 본 발명의 일 실시 예에 따른 인코딩부의 영상 인코딩 방식을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시 예에 따른 인코딩부의 영상 인코딩 방식을 설명하기 위한 도면이다.
도 6은 본 발명의 또 다른 실시 예에 따른 인코딩부의 영상 인코딩 방식을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 보정부의 영상 정합 방식을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 재생 서버의 구성을 나타낸 도면이다.
도 9는 본 발명의 일 실시 예에 따른 디코딩부의 디코딩 방식을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 다면 영상 재생 시스템을 이용한 중계 서비스 제공 방법을 나타낸 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
본 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계 및/또는 동작은 하나 이상의 다른 구성요소, 단계 및/또는 동작의 존재 또는 추가를 배제하지 않는다.
이하 도 1 내지 도 9를 참조하여, 본 발명의 다면 영상 재생 시스템(1000)에 대하여 설명한다.
도 1은 본 발명의 일 실시 예에 따른 다면 영상 재생 시스템(1000)의 구성을 나타낸 도면이다.
도 1을 참조하면, 다면 영상 재생 시스템(1000)은 현장에 배치된 복수 대의 카메라(100), 중계 서버(200) 및 복수의 재생 서버(300)를 포함할 수 있다.
복수 대의 카메라(100)는 현장에 배치되어 현장 영상 데이터를 획득할 수 있다. 구체적으로, 복수 대의 카메라(100)는 현장이 촬영된 현장 영상 데이터를 생성하고, 현장 영상 데이터를 중계 서버(200)로 송신할 수 있다.
또한, 카메라(100)는 기본적으로 메인 영역(또는 중앙 영역)을 촬영하는 메인 카메라(100a)와 메인 카메라(100a)와는 다른 서브 영역을 촬영하는 서브 카메라(100b)를 포함할 수 있다. 아울러, 메인 카메라(100a)와 서브 카메라(100b)가 촬영한 현장 영상 데이터는 카메라의 위치 또는 방향에 따른 식별 정보를 포함할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 복수 대의 카메라가 촬영하는 영역을 설명하기 위한 도면이다.
도 2를 참조하면, 메인 카메라(100a)가 ①메인 영역(또는 중앙 영역)을 촬영할 수 있으며, 두 개의 서브 카메라(100b)가 ②좌우 영역을 촬영할 수 있다. 즉, 복수 대의 카메라(100) 중 서브 카메라(100b)는 정면 외에 좌측, 우측, 천장, 바닥, 후방 등 현장에 존재하지 않는 관객들도 현장 주변의 상황을 360°로 볼 수 있도록 다각도에 배치될 수 있으며, 그에 따라, 관객들이 보다 넓은 시야각을 가지는 중계 영상을 시청하여, 마치 현장에 존재하는 듯한 사실감을 느끼고 영상에 몰입할 수 있다.
또한, 도 2에 도시된 콘서트 현장 중계 외에도, 축구 경기, 야구 경기, 오페라 등의 이벤트 현장이 중계될 수 있으며, 관객은 다면 재생 공간에서 다각도의 중계 영상을 시청하고, 부가 정보(예. 스코어, 자막)를 동시에 확인할 수 있다.
다시 도 1을 참조하여 설명한다.
중계 서버(200)는 복수 대의 카메라(100)로부터 복수의 현장 영상 데이터를 수신하고, 복수의 현장 영상 데이터를 적어도 하나의 재생 서버(300)에 송신할 수 있다.
일반적으로, 방송 중계는 복수 대의 카메라(100)가 촬영한 영상 중 하나를 선택하여 중계하는 방식이다. 그러나 본 발명에서는 하나의 몰입감 있는 다면 영상을 중계하는 바, 영상 간에 동기화가 필요하고, 효율적인 전송 방식을 사용해야 한다. 그에 따라, 중계 서버(200)는 복수의 현장 영상 데이터를 하나의 스트림(Stream)으로 병합할 수 있으며, 기존과는 다른 전송 방식을 이용할 수 있다.
본 실시 예에서는 복수 대의 카메라(100)가 촬영한 현장 영상 데이터만을 중계하는 것으로 설명하지만, 예를 들어 게임 대회를 중계하는 경우와 같이, 현장의 카메라가 촬영한 게임 대회 현장 영상에 더하여, 게임 대회 현장의 모니터에 표시되는 게임 화면 자체도 중계될 수 있다.
이 경우, 중계서버(200)는 각 게이머들이 사용하는 컴퓨터 장치로부터 현재 모니터에 표시되는 게임 화면 데이터를 수신 받아 상기 촬영 영상 데이터와 함께 하나의 스트림으로 인코딩되어 재생서버(300)에 송신하고, 재생서버(300)는 이 게임 화면을 정해진 재생 영역에 재생할 수 있다. 예를 들어, 중앙 재생 영역에는 실제 게임 화면이 재생되면서, 그 좌측 또는 우측 재생 영역에는 각 게이머들을 촬영한 카메라 영상이 재생될 수도 있을 것이다.
도 3은 본 발명의 일 실시 예에 따른 중계 서버(200)의 구성을 나타낸 도면이다.
도 3-A를 참조하면, 중계 서버(200)는 영상 수신부(210), 인코딩부(220) 및 송신부(230)를 포함할 수 있다. 또한 도3-B와 같이 송신부는 별도의 배포서버에 송신하고, 상기 배포서버에 의해 하나 이상의 재생서버에 배포하게 할 수도 있다.
영상 수신부(210)는 메인과 서브 두 가지로 구분될 수 있으며((210a), (210b)), 각각 메인 카메라(100a)와 서브 카메라(100b)가 촬영한 현장 영상 데이터를 수신할 수 있다. 영상 수신부(210)는 메인 카메라(100a)와 서브 카메라(100b)가 촬영한 현장 영상 데이터와 함께 카메라의 위치 또는 방향에 따른 식별 정보를 함께 수신하고 저장할 수 있다.
이하, 설명의 편의를 위해 메인 카메라(100a)로부터 수신한 현장 영상 데이터를 "메인 영상 데이터"로 서브 카메라(100b)로부터 수신한 현장 영상 데이터를 "서브 영상 데이터"로 정의한다.
인코딩부(220)는 복수의 현장 영상 데이터를 하나의 영상으로 인코딩하거나(인코딩 방식 1), 영상 데이터 동기화 후 다수의 채널을 가지는 하나의 전송 스트림으로 인코딩할 수 있다(인코딩 방식 2).
구체적으로, 다면 재생 공간에서는 재생 영역 별로 서로 다른 전송 경로를 가지는 출력 장치가 존재하기 때문에, 모든 영상들이 동기화되어 있지 않고 서로 다른 속도로 재생될 수 있다. 인코딩부(220)는 이러한 문제점을 해결하기 위해 두 가지 인코딩 방식을 이용할 수 있다.
<인코딩 방식 1>
인코딩부(220)는 복수의 현장 영상 데이터를 하나의 현장 영상 데이터로 단일화하고, 이를 하나의 스트림으로 인코딩할 수 있으며, 송신 및 재생 과정에서 발생하는 싱크 오류를 방지할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 인코딩부(220)의 영상 인코딩 방식을 설명하기 위한 도면이다.
도 4를 참조하면, Center, Left, Right, Reserved 재생 영역에서 재생되는 표준 해상도(예: Full HD, FHD) 영상을 병합하여, 표준 해상도 설정에 맞는 배수(2x2)를 가지는 하나의 고해상도(예: Ultra HD) 영상을 생성할 수 있다. 만약, 다면 재생 공간에서 4개의 출력 장치가 표준 해상도 영상을 전송하는 전송 선로를 가지고 있을 경우, 인코딩부(220)는 표준 해상도인 4개의 영상을 하나의 고해상도 스트림으로 병합할 수 있다. 이렇게 하나의 고해상도 스트림을 이용해 재생하는 것에 의해, 해당 재생 공간에서 4개의 전송 선로를 통해 4개의 표준 해상도 영상 스트림을 각각 전송함으로 인해서 발생하는 전송 오류 및 지연 즉, 재생 비동기성을 방지할 수 있다.
아울러, Reserved 재생 영역은 재생되는 공간의 특성을 고려한 것으로서, 재생 공간의 여러 영역 중 특정 재생 영역에 추가적인 영상 데이터를 할당하기 위해 사용될 수 있다. 또는 원래의 기준 영역에 더하여 추가되는 추가 재생 영역을 위한 영상 데이터를 할당할 수도 있다.
또한, 인코딩부(220)는 다면 재생 공간의 네트워크 상태나 전송 속도에 따라 일부 재생 영역에서 영상이 끊기거나 느려지는 현상을 방지하기 위해, 하나의 고해상도 영상을 다양한 비트 레이트(Bit Rate)로 인코딩할 수 있다. 즉, 인코딩부(220)는 ABR(Adaptive Bit Rate) 인코딩을 통해 다양한 네트워크 대역폭에 적용 가능한 다수의 스트림을 생성할 수 있다. 인코딩부(220)는 ABR 인코딩을 통해 생성된 다수의 스트림을 송신부(230)에 모두 송신하여, 송신부(230)가 대역폭에 따라 선택적으로 전송할 수 있도록 한다. 수신부는 대역폭이 낮을 경우에 낮은 품질(비트 레이트가 낮음, 데이터 용량 적음)로 인코딩된 영상을 송신부(230) 또는 배포서버에 요청하여 수신할 수 있으며, 반대로 대역폭이 높을 경우 높은 품질(비트 레이트가 높음. 데이터 용량 큼)로 인코딩된 영상을 송신부(230)나 배포서버에 요청하여 수신할 수 있다.
한편, 인코딩부(220)는 메인 영상 데이터와 서브 영상 데이터를 기 설정된 가중치에 따라 서로 다른 해상도 또는 음질로 인코딩할 수 있다. 구체적으로, 인코딩부(220)는 메인 영상 데이터를 서브 영상 데이터보다 높은 해상도 또는 음질로 인코딩하여, 다면 재생 공간 중 메인 재생 영역에서의 고화질 영상을 보장할 수 있다.
도 5는 본 발명의 다른 실시 예에 따른 인코딩부(220)의 영상 인코딩 방식을 설명하기 위한 도면이다.
도 5를 참조하면, 시계 방향 순서대로, Main Video, Sub Video 1(Left), Sub Video 2(Right), Sub Video 5(Top), Sub Video 4(Right'), Sub Video 3(Left ')와 같이 메인 영상 데이터와 서브 영상 데이터가 하나의 스트림에서 서로 다른 해상도를 가지는 부분 영상으로 인코딩 될 수 있다.
또한, 인코딩부(220)는 재생 서버(300)가 제어하는 다면 재생 공간에 따라 메인 영상 데이터와 서브 영상 데이터를 서로 다른 품질로 인코딩할 수 있다. 여기서 품질은 화질이나 음질을 의미하고, 화질은 해상도, 비트레이트, 코덱 또는 효과(filter, 색상 변경 등)에 의해 달라질 수 있다. 즉, 다면 영상이 고화질로 재생될 수 있는 영화관, 공연장이 아니라, 일부 다면 영상이 고화질로 재생될 수 있는 차량, 집 등일 수도 있기 때문에, 인코딩부(220)는 다면 영상 각각을 서로 다른 품질로 인코딩할 수 있다.
그에 따라, 다시 도 3을 참조하면, 인코딩부(220)는 제1, 제2, 제3 인코딩부(220a)(220b)(220c)를 포함할 수 있으며, 제1, 제2, 제3 인코딩부(220a)(220b)(220c)는 다면 재생 공간의 특성에 따라 복수의 촬영 영상 데이터를 서로 다른 품질로 인코딩할 수 있다.
<인코딩 방식 2>
인코딩부(220)는 복수의 현장 영상 데이터를 서로 다른 채널을 포함하는 하나의 스트림으로 인코딩할 수 있다. 다만, 인코딩 전에 영상 간 비동기화 오류를 예방하기 위해, 인코딩부(220)는 메인 영상 데이터를 기준으로 서브 영상 데이터를 동기화시킬 수 있다.
예를 들어, 인코딩부(220)는 메인 영상 데이터를 마스터 싱크 제너레이터(Master Sync Generator)로 두고, 서브 영상 데이터를 슬레이브 싱크 제너레이터(Slave Sync Generator)로 두고, 이를 동기화시킬 수 있다.
한편, 인코딩부(220)는 MPEG-2 전송 스트림(MPEG transport stream, MPEG TS) 형태로 인코딩할 수 있으며, MPEG-2 전송 스트림 내 다수의 채널 각각은, 복수의 현장 영상 데이터 및 이에 대응되는 식별 정보를 포함할 수 있다. 이 때, 각 채널은 동일한 음성 신호와 타이밍 기준 신호(Reference Clock, RCR)를 공유할 수 있다.
도 6은 본 발명의 또 다른 실시 예에 따른 인코딩부(220)의 영상 인코딩 방식을 설명하기 위한 도면이다.
도 6을 참조하면, 하나의 전송 스트림(Single TS) 내에 다수의 채널이 포함되어 있으며, 각각의 채널은 Center, Left, Right, Reserved 재생 영역에서 재생되는 표준 해상도(예: Full HD, FHD) 영상을 전송할 수 있다. 아울러, Reserved 재생 영역은 재생되는 공간의 특성을 고려한 것으로서, 기준 보다 재생 영역이 추가되거나, 재생 영역의 해상도 및 크기 변경에 대응하기 위해 인코딩되는 하나의 스트림에 추가로 마련될 수 있다.
또한, 인코딩부(220)는 차후에 재생 면수가 증감하는 상황에 대비하기 위해 하나의 서브 영상 데이터에 여러 개의 전송 채널을 대응시킬 수 있으며(예. Ch 1, Ch 2, Ch 3 - 우측 서브 영상 데이터, Ch 4, Ch 5 - 좌측 서브 영상 데이터), 메인 재생 영역에서 고화질 영상이 재생될 수 있도록 여러 채널에 서로 다른 해상도를 가진 영상 데이터를 대응시킬 수 있다(예. Ch 6 - nxm 해상도의 메인 영상 데이터, Ch 7 - n'xm' 해상도의 메인 영상 데이터).
한편, 인코딩부(220)는 재생 서버(300)가 제어하는 다면 재생 공간에 따라 메인 영상 데이터와 서브 영상 데이터를 서로 다른 해상도 또는 음질로 인코딩할 수 있다. 즉, 다면 영상이 고화질로 재생될 수 있는 영화관, 공연장이 아니라, 일부 다면 영상이 고화질로 재생될 수 있는 경기장, 차량, 집 등일 수도 있기 때문에, 인코딩부(220)는 다면 영상 각각을 서로 다른 품질로 인코딩할 수 있다.
이와 같이, 인코딩부(220)가 복수의 현장 영상 데이터를 하나의 스트림으로 인코딩하여, 후술하게 될 재생 서버(300)는 높은 해상도의 영상들을 다면 재생 영역에 재생하기 위해 재생 영역 수에 맞게 디코딩하는 비효율적인 절차를 줄일 수 있다.
한편, 인코딩부(220)가 복수의 현장 영상 데이터를 인코딩 하기 전, 보정부(225)에 의해 영상이 정합될 수 있다. 구체적으로, 보정부(225)는 복수의 현장 영상 데이터에서 프레임을 편집하여 하나의 영상으로 스티칭(Stiching)할 수 있으며, 이를 각 재생 영역에 맞게 분할할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 보정부(225)의 영상 정합 방식을 설명하기 위한 도면이다.
도 7을 참조하면, 보정부(225)는 메인 카메라(100a)(CAM 2)가 촬영한 영상, 서브 카메라(100b)(CAM 1)(CAM 3)가 촬영한 영상을 하나의 이어진 영상으로 스티칭할 수 있다. 이 후, 보정부(225)는 스티칭된 영상을 기 설정된 캘리브레이션 정보를 기초로 분할할 수 있다.
이외에도, 보정부(225)는 메인 카메라(100a)가 촬영한 영상을 그대로 유지한 상태에서 서브 카메라(100b)가 촬영한 영상을 메인 카메라(100a)에 맞추어 편집할 수 있다.
다시 도 3을 참조하여 설명한다.
송신부(230)는 하나의 스트림으로 인코딩된 복수의 현장 영상 데이터를 재생 서버(300)로 송신할 수 있다. 또한, 송신부(230)는 복수의 현장 영상 데이터와 함께 시간에 따른 특수 효과 제어 정보를 재생 서버(300)로 송신할 수 있다. 예를 들어, 송신부(230)는 현장에서 진행되는 콘서트, 뮤지컬 등의 이벤트 시간표 및 이에 매칭되는 특수 효과 정보(예. 눈이 내리는 효과 10초, 의자 등받이가 진동하는 효과)를 송신할 수 있다.
한편, 도1과 도3에서는 중계서버(200)의 송신부(230)가 현장 영상 스트림을 재생서버(300)에 송신하여 배포하는 것으로 도시하였으나, 중계서버와 재생서버 사이에 별도의 배포서버(미도시)를 경유하게 하여, 중계서버의 송신부는 영상 스트림을 배포서버에 전송하고, 상기 배포서버가 하나 이상의 재생서버에 배포하는 것으로 할 수도 있다. 상기 배포서버는, 예를 들면, 클라우드 서버로 구성할 수도 있다.
재생 서버(300)는 중계 서버(200)로부터 수신한 복수의 현장 영상 데이터를 재생할 수 있다. 구체적으로, 재생 서버(300)는 재생 공간 별로 기 설정된 캘리브레이션(Calibration) 정보에 따라 렌더링(Rendering)하고, 복수의 현장 영상 데이터를 재생 공간 내 복수의 재생 영역에 재생할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 재생 서버(300)의 구성을 나타낸 도면이다.
도 8을 참조하면, 재생서버(300)는 통신부(310), 디코딩부(320), 렌더링부(330) 및 보완부(340)를 포함할 수 있다.
통신부(310)는 중계 서버(200)로부터 복수의 현장 영상 데이터를 수신할 수 있으며, 이는 하나의 스트림으로 인코딩된 데이터이다. 또한, 통신부(310)는 서로 다른 품질로 인코딩된 데이터를 수신할 수 있으며, 이는 다면 영상의 재생 공간에 맞게 인코딩된 데이터일 수 있다.
한편, 통신부(310)는 현장에서 진행되는 이벤트의 시간표와 함께 특수 효과 제어 정보를 수신할 수 있으며, 이는 특수 효과 장치(300)를 제어하기 위해 이용될 수 있다.
디코딩부(320)는 인코딩된 복수의 현장 영상 데이터를 디코딩할 수 있다. 이때, 디코딩부(320)는 메인 영상 데이터를 기준으로 보조 영상 데이터가 동기화될 수 있도록, 메인 영상에 포함된 데이터 중 영상 동기화 정보(싱크 정보)를 추출할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 디코딩부(320)의 디코딩 방식을 설명하기 위한 도면이다.
도 9를 참조하면, 디코딩부(320)는 인코딩된 하나의 영상을 전체 또는 개별적으로 디코딩할 수 있다. 예를 들어, 디코딩부(320)는 (a)와 같이, 하나의 스트림 전체를 한 번에 디코딩하거나, (b)와 같이, 하나의 스트림에서 각 재생 영역에 할당된 복수의 디코딩부(320a)(320b)(320c)가 각 영상(좌측 재생 영역에 대한 서브 영상 데이터, 우측 재생 영역에 대한 서브 영상 데이터, 메인 재생 영역에 대한 메인 영상 데이터)을 디코딩할 수 있다.
즉, 디코딩부(320)는 재생 공간 내 복수의 재생 영역을 확인하고, 확인된 재생 영역에 따라 인코딩된 복수의 현장 영상 데이터를 송신한 하나의 스트림을 개별적으로 디코딩할 수 있다.
한편, 디코딩부(320)에 의해 디코딩된 복수의 현장 영상 데이터는 각각의 보완부(340a)(340b)(340c) 또는 렌더링부(330a)(330b)(330c)에 의해 편집될 수 있으며, 이에 대한 구체적인 설명은 후술하도록 한다.
또한, 다시 도 8을 참조하면, 통신부(310)가 서로 다른 품질로 인코딩된 데이터를 수신한 바, 디코딩부(320)는 다면 영상이 재생되는 장소(장소 1, 장소 2, 장소 3)에 맞게 인코딩된 데이터를 디코딩할 수 있다.
렌더링부(330)는 복수의 현장 영상 데이터를 기 설정된 캘리브레이션(Calibration) 정보에 따라 렌더링(Rendering)할 수 있다. 이는 다면 재생 공간의 특성에 따라 다면 영상이 왜곡되는 것을 방지하기 위해 수행될 수 있다. 예를 들어, 렌더링부(330)는 복수의 현장 영상 데이터에서 프레임 별로 엣지 블렌딩(Edge Blending) 처리를 하거나, 형태를 보정할 수 있다.
즉, 렌더링부(330)는 재생 공간 파라미터, 공간 내 화면 구성 정보를 포함하는 파라미터 또는 파라미터에 따른 캘리브레이션 정보를 기초로 복수의 현장 영상 데이터에서 영역별 영상의 크기 또는 비율을 편집할 수 있으며, 이외에도 색상, 밝기, 기울기 등을 편집할 수 있다.
보완부(340)는 복수의 재생 영역에 재생될 복수의 현장 영상 데이터에서 프레임 별 해상도를 재생 영역 별로 기 설정된 가중치에 따라 보완할 수 있다. 구체적으로, 보완부(340)는 디코딩부(320)에 의해 디코딩된 복수의 현장 영상 데이터에서의 프레임을 보완하거나, 렌더링부(330)에 의해 렌더링된 복수의 현장 영상 데이터에서의 프레임을 보완할 수 있다.
즉, 보완부(340)는 기 설정된 가중치에 따라 각 영상의 해상도를 업 스케일링(Upscaling)할 수 있으며(초해상화(Super Resolution)), 이외에도, 보완부(340)는 각 영상의 명암비와 색상 개선, 감마 보정, 선명도 향상, 계단 현상 완화 처리를 할 수 있다.
아울러, 숫자로 표현 가능한 기 설정된 가중치는 서브 영상 데이터에서보다 메인 영상 데이터에서 더 높을 수 있다. 그에 따라, 보완부(340)의 보완에 의해 다면 재생 공간의 메인 재생 영역에서 고해상도의 영상이 재생될 수 있다.
한편, 도 8에 도시되지 않았으나, 재생 서버(300)는 특수 효과 장치(300')(예. 발향 장치, 분무 장치, 송풍 장치, 특수 효과 의자 등)를 제어하는 특수 효과 제어부(미도시)를 더 포함할 수 있다. 특수 효과 제어부는, 중계 서버(200)가 송신한 특수 효과 제어 정보를 기초로 재생 공간에 배치된 특수 효과 장치(300')를 제어할 수 있다.
또한, 특수 효과 제어부는 다면 재생 공간에서 재생되는 영상의 음원(오디오)을 분석하고, 음원의 속도, 박자, 높낮이에 따라 특수 효과 장치(300')를 제어할 수 있다. 그에 따라, 특수 효과 장치(300')가 특수 효과 의자일 경우, 특수 효과 제어부에 의해 의자의 기울기가 변화하거나, 회전할 수 있다.
아울러, 특수 효과 장치(300')의 제어 시점, 동작 시간 등은 다면 재생 공간을 관리하는 관리자에 의해 실시간으로 제어될 수도 있다.
지금까지 본 발명의 일 실시 예에 따른 다면 영상 재생 시스템(1000)에 대하여 설명하였다. 본 발명에 따르면, 복수 대의 카메라로 촬영된 영상을 하나의 고해상도 단일 영상으로 대체하거나, 전송 경로를 단일화하여, 다면 재생 영역에서 재생 오류(예. 각 재생 영역 별 음성, 영상 재생 속도의 불일치)가 발생하는 것을 방지할 수 있다. 또한, 실시간으로 빠르게 서로 다른 시점의 다면 영상을 재생하고, 이를 다면 재생 공간에 재생하여, 관객은 실제로 현장에 방문한 것과 같은 사실감을 느낄 수 있다.
이하에서는 상술한 다면 영상 재생 시스템(1000)을 이용하여 실시간으로 중계 서비스를 제공하는 방법에 대하여 설명하도록 한다.
도 10은 본 발명의 일 실시 예에 따른 다면 영상 재생 시스템(1000)을 이용한 중계 서비스 제공 방법을 나타낸 흐름도이다.
이는 본 발명의 목적을 달성하기 위한 바람직한 실시 예일 뿐이며, 필요에 따라 일부 단계가 삭제 또는 추가되거나, 어느 한 단계가 다른 단계에 포함되어 수행될 수 있음은 물론이다.
도 10을 참조하면, 현장에 배치된 복수 대의 카메라(100)가 현장 영상을 촬영한다(S110). 여기서, 복수 대의 카메라(100)는 현장이 촬영된 현장 영상 데이터를 생성하고, 현장 영상 데이터를 중계 서버(200)로 송신할 수 있다.
아울러, 카메라(100)는 기본적으로 메인 영역(또는 중앙 영역)을 촬영하는 메인 카메라(100a)와 메인 카메라(100a)와는 다른 서브 영역을 촬영하는 서브 카메라(100b)를 포함할 수 있다. 아울러, 메인 카메라(100a)와 서브 카메라(100b)가 촬영한 현장 영상 데이터는 카메라의 위치 또는 방향에 따른 식별 정보를 포함할 수 있다.
S110 단계 이후, 중계 서버(200)가 복수 대의 카메라(100)로부터 복수의 현장 영상 데이터를 수신한다(S120). 여기서, 중계 서버(200)는 각각 메인 카메라(100a)와 서브 카메라(100b)가 촬영한 현장 영상 데이터(메인 영상 데이터, 서브 영상 데이터)를 수신할 수 있다. 아울러, 중계 서버(200)는 메인 영상 데이터 및 서브 영상 데이터와 함께 카메라의 위치 또는 방향에 따른 식별 정보를 함께 수신하고 저장할 수 있다.
S120 단계 이후, 중계 서버(200)가 복수의 현장 영상 데이터를 적어도 하나의 재생 서버(300)로 송신한다(S130).
본 실시 예에서는 복수 대의 카메라(100)가 촬영한 현장 영상 데이터만을 중계하는 것으로 설명하지만, 예를 들어 게임 대회를 중계하는 경우와 같이, 현장의 카메라가 촬영한 게임 대회 현장 영상에 더하여, 게임 대회 현장의 모니터에 표시되는 게임 화면 자체도 중계될 수 있다.
이 경우, 중계서버(200)는 각 게이머들이 사용하는 컴퓨터 장치로부터 현재 모니터에 표시되는 게임 화면 데이터를 수신 받아 상기 촬영 영상 데이터와 함께 하나의 스트림으로 인코딩되어 재생서버(300)에 송신하고, 재생서버(300)는 이 게임 화면을 정해진 재생 영역에 재생할 수 있다. 예를 들어, 중앙 재생 영역에는 실제 게임 화면이 재생되면서, 그 좌측 또는 우측 재생 영역에는 각 게이머들을 촬영한 카메라 영상이 재생될 수도 있을 것이다.
다만 복수의 현장 영상 데이터를 송신하기 전에, 중계 서버(200)는 영상 간 동기화 문제를 해결하기 위해 복수의 현장 영상 데이터를 인코딩할 수 있으며, 이는 크게 두 가지로 방식이 존재한다.
<인코딩 방식 1>
중계 서버(200)는 복수의 현장 영상 데이터를 하나의 스트림으로 인코딩할 수 있다. 즉, 중계 서버(200)는 복수의 현장 영상 데이터를 하나의 현장 영상 데이터로 단일화하고, 이를 하나의 스트림으로 인코딩할 수 있으며, 송신 및 재생 과정에서 발생하는 싱크 오류를 방지할 수 있다.
여기서, 중계 서버(200)는 메인 영상 데이터와 서브 영상 데이터를 기 설정된 가중치에 따라 서로 다른 해상도 또는 음질로 인코딩할 수 있다. 구체적으로, 중계 서버(200)는 메인 영상 데이터를 서브 영상 데이터보다 높은 해상도 또는 음질로 인코딩하여, 다면 재생 공간 중 메인 재생 영역에서의 고화질 영상을 보장할 수 있다.
또한, 중계 서버(200)는 재생 서버(300)가 제어하는 다면 재생 공간에 따라 메인 영상 데이터와 서브 영상 데이터를 서로 다른 해상도 또는 음질로 인코딩할 수 있다. 즉, 다면 영상이 고화질로 재생될 수 있는 영화관, 공연장이 아니라, 일부 다면 영상이 고화질로 재생될 수 있는 차량, 집 등일 수도 있기 때문에, 중계 서버(200)는 다면 영상 각각을 서로 다른 품질로 인코딩할 수 있다.
뿐만 아니라, 중계 서버(200)는 다면 재생 공간의 네트워크 상태나 전송 속도에 따라 일부 재생 영역에서 영상이 끊기거나 느려지는 현상을 방지하기 위해, 하나의 고해상도 영상을 다양한 비트 레이트(Bit Rate)로 인코딩할 수도 있다.
<인코딩 방식 2>
중계 서버(200)는 복수의 현장 영상 데이터를 서로 다른 채널을 포함하는 하나의 스트림으로 인코딩할 수 있다. 다만, 인코딩 전에 영상 간 비동기화 오류를 예방하기 위해, 중계 서버(200)는 메인 영상 데이터를 기준으로 서브 영상 데이터를 동기화시킬 수 있다. 여기서, 중계 서버(200)는 MPEG-2 전송 스트림(MPEG transport stream, MPEG TS) 형태로 복수의 현장 영상 데이터를 인코딩할 수 있으며, MPEG-2 전송 스트림 내 다수의 채널 각각은, 복수의 현장 영상 데이터 및 이에 대응되는 식별 정보를 포함할 수 있다. 이 때, 각 채널은 동일한 음성 신호와 타이밍 기준 신호(Clock Reference, PCR)를 공유할 수 있다.
한편, 중계 서버(200)는 복수의 현장 영상 데이터와 함께 시간에 따른 특수 효과 제어 정보를 재생 서버(300)로 송신할 수 있다. 예를 들어, 중계 서버(200)는 현장에서 진행되는 콘서트, 뮤지컬 등의 이벤트 시간표 및 이에 매칭되는 특수 효과 정보(예. 비가 내리는 효과 10초, 의자가 상하 좌우로 이동하는 효과)를 송신할 수 있다.
다른 한편, 중계 서버(200)는 복수의 현장 영상 데이터를 인코딩 하기 전, 복수의 현장 영상 데이터에서 프레임을 편집하여, 하나의 영상으로 스티칭(Stiching)할 수 있으며, 이를 각 재생 영역에 맞게 분할할 수 있다.
S130 단계 이후, 재생 서버(300)가 중계 서버(200)로부터 수신한 복수의 현장 영상 데이터를 재생 공간 별로, 기 설정된 캘리브레이션(Calibration) 정보에 따라 렌더링(Rendering)한다(S140). 이는 다면 재생 공간의 특성에 따라 다면 영상이 왜곡되는 것을 방지하기 위해 수행될 수 있다. 구체적으로, 재생 서버(300)는 재생 공간 파라미터, 공간 내 화면 구성 정보를 포함하는 파라미터 또는 파라미터에 따른 캘리브레이션 정보를 기초로 복수의 현장 영상 데이터에서 영역별 영상의 크기 또는 비율을 편집하고, 이외에도 색상, 밝기, 기울기 등을 편집할 수 있다.
한편, 재생 서버(300)는 인코딩된 하나의 영상을 전체 또는 개별적으로 디코딩할 수 있다. 예를 들어, 재생 서버(300)는 하나의 스트림 전체를 한 번에 디코딩하거나, 하나의 스트림에서 각 재생 영역에 할당된 디코딩부(320)가 각 영상(좌측 재생 영역에 대한 서브 영상 데이터, 우측 재생 영역에 대한 서브 영상 데이터, 메인 재생 영역에 대한 메인 영상 데이터)을 디코딩할 수 있다.
즉, 재생 서버(300)는 재생 공간 내 복수의 재생 영역을 확인하고, 확인된 재생 영역에 따라 인코딩된 복수의 현장 영상 데이터를 송신한 하나의 스트림을 개별적으로 디코딩할 수 있다.
아울러, 재생 서버(300)는 복수의 재생 영역에 재생될 복수의 현장 영상 데이터에서 프레임 별 해상도를 재생 영역 별로 기 설정된 가중치에 따라 보완할 수 있다. 즉, 재생 서버(300)는 기 설정된 가중치에 따라 각 영상의 해상도를 업 스케일링(Upscaling)할 수 있으며(초해상화(Super Resolution)), 이외에도, 보완부(340)는 각 영상의 명암비와 색상 개선, 감마 보정, 선명도 향상, 계단 현상 완화 처리를 할 수 있다.
이는 디코딩 단계나 렌더링 단계 후에 수행될 수 있으며, 숫자로 표현 가능한 기 설정된 가중치는 서브 영상 데이터에서보다 메인 영상 데이터에서 더 높을 수 있다. 그에 따라, 재생 서버(300)의 보완에 의해 다면 재생 공간에서 메인 재생 영역에서 고해상도의 영상이 재생될 수 있다.
S140 단계 이후, 재생 서버(300)가 렌더링된 복수의 현장 영상 데이터를 재생 공간 내 복수의 재생 영역에 재생한다(S150). 아울러, 재생 서버(300)는 특수 효과 제어 정보를 기초로 재생 공간에 배치된 특수 효과 장치(300')(예. 송풍 장치, 분무 장치, 특수 효과 의자)를 제어할 수 있다.
지금까지 본 발명의 일 실시 예에 따른 다면 영상 재생 시스템(1000)을 이용하여 실시간 중계 서비스 제공 방법을 설명하였다. 본 발명에 따르면, 다면 영상을 라이브로 재생하기 위해 복수의 영상 데이터를 하나의 스트림으로 인코딩하고, 재생 영역에 따라 디코딩 방식에 변형을 주어, 다면 영상 재생 시스템(1000)은 관객들에게 끊김 없이 빠른 중계 서비스를 제공할 수 있다.
한편, 본 발명은 또한 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 마그네틱 저장매체, 광학적 판독 매체 등 모든 저장매체를 포함한다. 또한, 본 발명에서 사용되는 메시지의 데이터 포맷을 기록 매체에 기록하는 것이 가능하다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
1000: 다면 영상 재생 시스템
100: 카메라
100a: 메인 카메라
100b: 서브 카메라
200: 중계 서버
210: 영상 수신부
220: 인코딩부
225: 보정부
230: 송신부
300: 재생 서버
310: 통신부
320, 320a, 320b, 320c: 디코딩부
330, 330a, 330b, 330c: 렌더링부
340, 340a, 340b, 340c: 보완부
300': 특수 효과 장치

Claims (28)

  1. 현장의 메인 영역을 촬영하는 메인 카메라 및 상기 메인 카메라와는 다른 서브 영역을 촬영하는 적어도 하나 이상의 서브 카메라를 포함하는 복수 대의 카메라;
    상기 메인 카메라로부터 수신한 메인 영상 데이터와 상기 서브 카메라로부터 수신한 서브 영상 데이터를 포함하는 복수의 현장 영상 데이터 및 상기 복수 대의 카메라의 위치 또는 방향에 따른 식별 정보를 수신하고, 상기 복수의 현장 영상 데이터 및 식별 정보를 재생서버에 송신하는 중계서버; 및
    상기 중계서버로부터 수신한 메인 영상 데이터와 서브 영상 데이터를 상기 식별 정보에 기초하여 다면 재생 공간 내 복수의 재생 영역에 배치하여 재생하는 재생서버;
    를 포함하고,
    상기 중계 서버는,
    상기 복수의 현장 영상 데이터를 하나의 스트림(Stream)으로 인코딩하되,
    상기 메인 영상 데이터와 상기 서브 영상 데이터를 기 설정된 가중치에 따라 서로 다른 품질로 인코딩하는, 다면 영상 재생 시스템.
  2. 제1항에 있어서,
    상기 재생 서버는,
    상기 중계 서버로부터 수신한 복수의 현장 영상 데이터를 재생 공간 별로 기 설정된 캘리브레이션(Calibration) 정보에 따라 렌더링(Rendering)하고,
    렌더링된 복수의 현장 영상 데이터를 상기 재생 공간 내 복수의 재생 영역에 재생하는, 다면 영상 재생 시스템.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 중계 서버는,
    상기 재생 서버가 제어하는 재생 공간에 따라 상기 메인 영상 데이터와 상기 서브 영상 데이터를 서로 다른 해상도 또는 음질로 인코딩하는, 다면 영상 재생 시스템.
  7. 제1항에 있어서,
    상기 중계 서버는,
    상기 복수의 현장 영상 데이터를 상기 메인 카메라로부터 수신한 영상 데이터를 기준으로 동기화시키고, 동기화된 복수의 현장 영상 데이터를 다수의 채널을 가지는 하나의 전송 스트림에 포함시켜 인코딩하는, 다면 영상 재생 시스템.
  8. 제7항에 있어서,
    상기 전송 스트림 내 다수의 채널 각각은,
    상기 복수의 현장 영상 데이터 및 상기 메인 카메라, 상기 서브 카메라의 위치 또는 방향에 따른 식별 정보를 포함하는, 다면 영상 재생 시스템.
  9. 제1항 또는 제7항에 있어서,
    상기 재생 서버는,
    인코딩된 복수의 현장 영상 데이터를 송신한 하나의 스트림 전체를 디코딩하는, 다면 영상 재생 시스템.
  10. 제1항 또는 제7항에 있어서,
    상기 재생 서버는,
    상기 재생 공간 내 복수의 재생 영역을 확인하고, 확인된 재생 영역에 따라 인코딩된 복수의 현장 영상 데이터를 송신한 하나의 스트림을 개별적으로 디코딩하는, 다면 영상 재생 시스템.
  11. 제2항에 있어서,
    상기 재생 서버는,
    상기 복수의 재생 영역에 재생될 복수의 현장 영상 데이터에서 재생 영역 별 해상도를 기 설정된 가중치에 따라 보완하는, 다면 영상 재생 시스템.
  12. 제2항에 있어서,
    상기 중계 서버는,
    상기 복수의 현장 영상 데이터와 함께 시간에 따른 특수 효과 제어 정보를 상기 재생 서버로 송신하고,
    상기 재생 서버는,
    상기 특수 효과 제어 정보를 기초로 상기 재생 공간에 배치된 특수 효과 장치를 제어하는, 다면 영상 재생 시스템.
  13. 제2항에 있어서,
    상기 재생 서버는,
    상기 재생 공간의 파라미터를 기초로, 상기 복수의 재생 영역에 재생될 복수의 현장 영상 데이터에서 영역별 영상의 크기, 비율, 색상, 밝기 및 기울기 중 적어도 하나를 보정하여 재생하는, 다면 영상 재생 시스템.
  14. 제1항에 있어서,
    현장에 배치된 복수 대의 컴퓨터 장치들을 더 포함하고,
    상기 복수 대의 컴퓨터 장치들은 각 컴퓨터 장치로부터 수신한 데이터에 따른 영상을 표시하는 디스플레이 장치들을 포함하며,
    상기 중계서버는 상기 컴퓨터 장치들로부터 영상 데이터를 수신하여, 상기 복수의 현장 영상 데이터와 함께 재생서버에 송신하는,
    다면 영상 재생 시스템.
  15. 현장의 메인 영역을 촬영하는 메인 카메라 및 상기 메인 카메라와는 다른 서브 영역을 촬영하는 적어도 하나 이상의 서브 카메라를 포함하는 복수 대의 카메라로부터, 상기 메인 카메라로부터 수신한 메인 영상 데이터와 상기 서브 카메라로부터 수신한 서브 영상 데이터를 포함하는 복수의 현장 영상 데이터 및 상기 복수 대의 카메라의 위치 또는 방향에 따른 식별 정보를 수신하는 단계;
    상기 복수의 현장 영상 데이터를 하나의 스트림(Stream)으로 인코딩하는 단계;
    상기 복수의 현장 영상 데이터 및 식별 정보를 적어도 하나의 재생 서버로 송신하는 단계; 및
    상기 수신한 메인 영상 데이터와 서브 영상 데이터를 상기 식별 정보에 기초하여 다면 재생 공간 내 복수의 재생 영역에 배치하여 재생하는 단계;
    를 포함하고,
    상기 인코딩하는 단계는,
    상기 메인 영상 데이터와 상기 서브 영상 데이터를 기 설정된 가중치에 따라 서로 다른 화질 또는 음질로 인코딩하는 단계인, 실시간 중계 서비스 제공 방법.
  16. 제15항에 있어서,
    상기 재생 서버로 송신하는 단계 이후에,
    상기 재생 서버가 수신한 복수의 현장 영상 데이터를 재생 공간 별로 기 설정된 캘리브레이션(Calibration) 정보에 따라 렌더링(Rendering)하는 단계; 및
    렌더링된 복수의 현장 영상 데이터를 상기 재생 공간 내 복수의 재생 영역에 재생하는 단계;
    를 포함하는 실시간 중계 서비스 제공 방법.
  17. 삭제
  18. 삭제
  19. 삭제
  20. 제15항에 있어서,
    상기 인코딩하는 단계는,
    상기 재생 서버가 제어하는 재생 공간에 따라 상기 메인 영상 데이터와 상기 서브 영상 데이터를 서로 다른 화질 또는 음질로 인코딩하는 단계인, 실시간 중계 서비스 제공 방법.
  21. 제15항에 있어서,
    상기 복수의 현장 영상 데이터를 수신하는 단계와 상기 재생 서버로 송신하는 단계 사이에서,
    상기 복수의 현장 영상 데이터를 상기 메인 영상 데이터를 기준으로 동기화시키는 단계; 및
    동기화된 복수의 현장 영상 데이터를 다수의 채널을 가지는 하나의 전송 스트림에 포함시켜 인코딩하는 단계;
    를 포함하는 실시간 중계 서비스 제공 방법.
  22. 제21항에 있어서,
    상기 전송 스트림 내 다수의 채널 각각은,
    상기 복수의 영상 데이터 및 상기 메인 카메라, 상기 서브 카메라의 위치 또는 방향에 따른 식별 정보를 포함하는, 실시간 중계 서비스 제공 방법.
  23. 제16항에 있어서,
    상기 재생 서버로 송신하는 단계와 상기 렌더링하는 단계 사이에서,
    상기 재생 서버가 인코딩된 복수의 현장 영상 데이터를 송신한 하나의 스트림 전체를 디코딩하는 단계;
    를 포함하는 실시간 중계 서비스 제공 방법.
  24. 제16항에 있어서,
    상기 재생 서버로 송신하는 단계와 상기 렌더링하는 단계 사이에서,
    상기 재생 서버가 재생 공간 내 복수의 재생 영역을 확인하고, 확인된 재생 영역에 따라 인코딩된 복수의 현장 영상 데이터를 송신한 하나의 스트림을 개별적으로 디코딩하는 단계;
    를 포함하는 실시간 중계 서비스 제공 방법.
  25. 제16항에 있어서,
    상기 재생하는 단계 이전에,
    상기 재생 서버가, 상기 복수의 재생 영역에 재생될 복수의 현장 영상 데이터에서 프레임 별 해상도를 재생 영역 별로 기 설정된 가중치에 따라 보완하는 단계;
    를 포함하는 실시간 중계 서비스 제공 방법.
  26. 제16항에 있어서,
    상기 재생 서버로 송신하는 단계는,
    상기 복수의 현장 영상 데이터와 함께 시간에 따른 특수 효과 제어 정보를 상기 재생 서버로 송신하는 단계이고,
    상기 재생하는 단계는,
    상기 재생 서버가 상기 특수 효과 제어 정보를 기초로 상기 재생 공간에 배치된 특수 효과 장치를 제어하는 단계;
    를 더 포함하는 실시간 중계 서비스 제공 방법.
  27. 제15항에 있어서,
    상기 복수의 현장 영상 데이터를 수신하는 단계와 상기 재생 서버로 송신하는 단계 사이에서,
    상기 재생 공간의 파라미터를 기초로, 상기 복수의 재생 영역에 재생될 복수의 현장 영상 데이터에서 영역 별 크기, 비율, 색상, 밝기 및 기울기 중 적어도 하나를 보정하는 렌더링을 수행하는 단계;
    를 더 포함하는 실시간 중계 서비스 제공 방법.
  28. 제15항에 있어서,
    상기 복수의 현장 영상 데이터를 적어도 하나의 재생 서버로 송신하는 단계는,
    현장에 배치된 복수 대의 컴퓨터 장치들로부터 수신한 데이터를, 상기 복수의 현장 영상 데이터와 함께 재생서버에 송신하는,
    실시간 중계 서비스 제공 방법.
KR1020190179937A 2019-12-31 2019-12-31 다면 영상 재생 시스템 및 실시간 중계 서비스 제공 방법 KR102273439B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190179937A KR102273439B1 (ko) 2019-12-31 2019-12-31 다면 영상 재생 시스템 및 실시간 중계 서비스 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190179937A KR102273439B1 (ko) 2019-12-31 2019-12-31 다면 영상 재생 시스템 및 실시간 중계 서비스 제공 방법

Publications (1)

Publication Number Publication Date
KR102273439B1 true KR102273439B1 (ko) 2021-07-06

Family

ID=76861114

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190179937A KR102273439B1 (ko) 2019-12-31 2019-12-31 다면 영상 재생 시스템 및 실시간 중계 서비스 제공 방법

Country Status (1)

Country Link
KR (1) KR102273439B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023136706A1 (ko) * 2022-01-17 2023-07-20 삼성전자 주식회사 디스플레이 장치의 동작 방법 및 이를 위한 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100393417B1 (ko) 2000-01-20 2003-07-31 정윤호 공연 실황을 중계하는 인터넷 방송 방법 및 그 장치
KR101670328B1 (ko) * 2015-07-23 2016-10-31 서울과학기술대학교 산학협력단 다중 실시간 영상 획득 카메라를 통한 실감영상표출장치 및 이를 통한 영상 제어 인식방법
KR101851338B1 (ko) * 2016-12-02 2018-04-23 서울과학기술대학교 산학협력단 실감형 미디어 영상을 제공하는 장치
KR20180057012A (ko) 2016-11-21 2018-05-30 주식회사 삼육오엠씨네트웍스 실시간 중계가 가능한 공연 시스템 및 이의 이용 방법
KR20190032670A (ko) * 2017-09-18 2019-03-28 쿠도커뮤니케이션 주식회사 다시점 카메라를 이용한 실감 영상 서비스 제공 시스템
KR20190074911A (ko) * 2017-12-20 2019-06-28 김기효 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버
KR20190083906A (ko) * 2018-01-05 2019-07-15 주식회사 엘지유플러스 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100393417B1 (ko) 2000-01-20 2003-07-31 정윤호 공연 실황을 중계하는 인터넷 방송 방법 및 그 장치
KR101670328B1 (ko) * 2015-07-23 2016-10-31 서울과학기술대학교 산학협력단 다중 실시간 영상 획득 카메라를 통한 실감영상표출장치 및 이를 통한 영상 제어 인식방법
KR20180057012A (ko) 2016-11-21 2018-05-30 주식회사 삼육오엠씨네트웍스 실시간 중계가 가능한 공연 시스템 및 이의 이용 방법
KR101851338B1 (ko) * 2016-12-02 2018-04-23 서울과학기술대학교 산학협력단 실감형 미디어 영상을 제공하는 장치
KR20190032670A (ko) * 2017-09-18 2019-03-28 쿠도커뮤니케이션 주식회사 다시점 카메라를 이용한 실감 영상 서비스 제공 시스템
KR20190074911A (ko) * 2017-12-20 2019-06-28 김기효 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버
KR20190083906A (ko) * 2018-01-05 2019-07-15 주식회사 엘지유플러스 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023136706A1 (ko) * 2022-01-17 2023-07-20 삼성전자 주식회사 디스플레이 장치의 동작 방법 및 이를 위한 장치

Similar Documents

Publication Publication Date Title
WO2021179783A1 (zh) 基于自由视点的视频直播处理方法、设备、系统、芯片及介质
US20220232293A1 (en) Methods and apparatus for delivering content and/or playing back content
KR102407283B1 (ko) 콘텐트를 전달 및/또는 콘텐트를 재생하기 위한 방법들 및 장치
US6848219B2 (en) Integrated, adaptable theater, club and multiplex
US9160965B2 (en) Telepresence communications system and method
US20040032536A1 (en) Realistic replication of a live performance at remote locations
KR100607223B1 (ko) 동영상 공동 관람 서비스 제공 방법 및 시스템
CN105704399A (zh) 多画面电视节目的播出方法和系统
CN113014943A (zh) 一种视频播放方法、视频播放器及视频直播系统
KR102273439B1 (ko) 다면 영상 재생 시스템 및 실시간 중계 서비스 제공 방법
KR100939904B1 (ko) 동영상 공동 관람 서비스 제공 방법 및 시스템
GB2354388A (en) System and method for capture, broadcast and display of moving images
KR101194825B1 (ko) 멀티 앵글 디지털 방송 시스템 및 그 방법
de Jong et al. European athletics championship: lessons from a live, HDR, HFR, UHD, and next-generation audio sports event
JP6324829B2 (ja) 映像提供システムおよびプロラム
Aracena et al. Live VR end-to-end workflows: Real-life deployments and advances in VR and network technology
JP5581437B1 (ja) 映像提供システムおよびプロラム
KR101242478B1 (ko) 멀티 앵글 기반의 미디어 자키를 이용한 실시간 개인 방송 시스템
US20150341696A1 (en) Dual telepresence set-top box
Thomas et al. State‐of‐the‐Art and Challenges in Media Production, Broadcast and Delivery
Shingo Future-oriented Sports Viewing Project
Tricart Live-Action VR Capture and Post-Production
JP2004193766A (ja) 映像配信表示システム、映像配信システム、映像表示システム、および映像配信方法
Series Large screen digital imagery
Moody et al. Lighting for Film and Video

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant