KR102555481B1 - Method And System for Synchronizing Video for Multi-View Service - Google Patents

Method And System for Synchronizing Video for Multi-View Service Download PDF

Info

Publication number
KR102555481B1
KR102555481B1 KR1020210142745A KR20210142745A KR102555481B1 KR 102555481 B1 KR102555481 B1 KR 102555481B1 KR 1020210142745 A KR1020210142745 A KR 1020210142745A KR 20210142745 A KR20210142745 A KR 20210142745A KR 102555481 B1 KR102555481 B1 KR 102555481B1
Authority
KR
South Korea
Prior art keywords
view
time
input
sub
images
Prior art date
Application number
KR1020210142745A
Other languages
Korean (ko)
Other versions
KR20230058919A (en
Inventor
신재섭
류성걸
손세훈
박광우
김윤호
Original Assignee
주식회사 픽스트리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 픽스트리 filed Critical 주식회사 픽스트리
Priority to KR1020210142745A priority Critical patent/KR102555481B1/en
Publication of KR20230058919A publication Critical patent/KR20230058919A/en
Application granted granted Critical
Publication of KR102555481B1 publication Critical patent/KR102555481B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

멀티뷰 서비스를 위한 다중 입력 영상 동기화 방법 및 시스템을 개시한다.
본 실시예는 절대 시간을 기준으로 영상 간의 동기화를 수생하는 것이 아니라 상대 시간을 기준으로 영상간 동기화를 수행하여 네트워크 딜레이나 송출 지연이 발생하는 환경에서 시간이 동기화된 멀티뷰 서비스를 제공할 수 있도록 하는 멀티뷰 서비스를 위한 동기화 방법 및 시스템을 제공한다.A method and system for synchronizing multiple input images for multi-view service are disclosed.
This embodiment does not perform synchronization between images based on absolute time, but synchronizes between images based on relative time, so that time-synchronized multi-view services can be provided in an environment where network delay or transmission delay occurs. Provides a synchronization method and system for a multi-view service.

Description

멀티뷰 서비스를 위한 다중 입력 영상 동기화 방법 및 시스템{Method And System for Synchronizing Video for Multi-View Service}Multi-view video synchronization method and system for multi-view service {Method And System for Synchronizing Video for Multi-View Service}

본 발명의 일 실시예는 멀티뷰 서비스를 위한 다중 입력 영상 동기화 방법 및 시스템에 관한 것이다.An embodiment of the present invention relates to a method and system for synchronizing multiple input images for a multi-view service.

이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.The contents described below merely provide background information related to the present embodiment and do not constitute prior art.

최근 5G 네트워크 기술의 발전으로 보다 많은 양의 데이터를 보다 더 빠르게 전송하는 것들이 가능해지며 여러 대용량의 미디어를 제공하는 서비스들이 증가하고 있다. 특히 다양한 사용자 경험을 제공하는 멀티뷰 서비스는 5G를 대표하는 서비스로 자리매김하고 있다.Recently, with the development of 5G network technology, it is possible to transmit more and more data more quickly, and services providing various large-capacity media are increasing. In particular, the multi-view service that provides various user experiences is establishing itself as a representative service of 5G.

전술한 멀티뷰 서비스는 여러 영상들을 하나의 서비스로써 제공하기 때문에 영상 간의 동기화가 맞지 않으면 서비스 품질이 크게 저하될 수 있다. Since the above-described multi-view service provides multiple images as one service, service quality may significantly deteriorate if synchronization between images is not correct.

하지만, 대부분의 멀티뷰 서비스 방식이 입력 영상들을 플레이어에서 각각 스트리밍하여 재생하기 때문에 영상 간의 동기화를 맞추기가 어렵다. 특히 송출 시스템 다양성으로 인해 별도의 시간 정보를 얻기가 어려운 경우가 많고 네트워크의 지연 및 불가피한 송출 지연 등의 상황에 반응하여 영상 간 동기를 정확하게 맞추기란 거의 불가능하다.However, since most of the multi-view service methods stream and reproduce input images in a player, it is difficult to synchronize the images. In particular, it is often difficult to obtain separate time information due to the diversity of transmission systems, and it is almost impossible to precisely synchronize between images in response to situations such as network delay and unavoidable transmission delay.

따라서, 타일 인코딩 기술을 활용하여 입력 영상을 하나의 영상으로 병합하고 병합하는 과정에서 입력 영상 간의 동기화를 맞추는 기술을 필요로 한다.Therefore, a technique for merging input images into one image using tile encoding technology and matching synchronization between input images in the merging process is required.

본 실시예는 절대 시간을 기준으로 영상 간의 동기화를 수생하는 것이 아니라 상대 시간을 기준으로 영상간 동기화를 수행하여 네트워크 딜레이나 송출 지연이 발생하는 환경에서 시간이 동기화된 멀티뷰 서비스를 제공할 수 있도록 하는 멀티뷰 서비스를 위한 동기화 방법 및 시스템을 제공하는 데 목적이 있다.This embodiment does not perform synchronization between images based on absolute time, but synchronizes between images based on relative time, so that time-synchronized multi-view services can be provided in an environment where network delay or transmission delay occurs. An object of the present invention is to provide a synchronization method and system for a multi-view service.

본 실시예의 일 측면에 의하면, 복수의 장치로부터 상대적인 시간 기준의 복수의 입력 영상을 입력받는 실시간 입력 플랫폼; 상기 입력 영상 중 상대적인 시간으로 송출되어 서로 다른 타임 딜레이를 갖는 상기 복수의 입력 영상 내에서 동일한 특징을 기준으로 동기화를 수행하기 위한 오프셋 값을 산출하는 멀티뷰 매니저 서버; 상기 복수의 입력 영상에 상기 오프셋 값을 적용하여 동일한 타임 스탬프를 갖는 상태로 인코딩한 인코딩 영상을 송출하는 멀티뷰 인코더; 상기 인코딩 영상을 병합하여 멀티뷰 영상을 생성하는 멀티뷰 병합기; 상기 멀티뷰 영상을 스트리밍하는 스트리밍 서버;를 포함하는 것을 특징으로 하는 멀티뷰 서비스를 위한 다중 입력 영상 동기화 시스템을 제공한다.According to an aspect of the present embodiment, a real-time input platform for receiving a plurality of input images of a relative time basis from a plurality of devices; a multi-view manager server that calculates an offset value for performing synchronization based on the same feature in the plurality of input images having different time delays and transmitted at relative times among the input images; a multi-view encoder configured to transmit an encoded image having the same time stamp by applying the offset value to the plurality of input images; a multi-view merger generating a multi-view image by merging the encoded images; It provides a multi-input image synchronization system for a multi-view service comprising a; streaming server for streaming the multi-view image.

이상에서 설명한 바와 같이 본 실시예에 의하면, 절대 시간을 기준으로 영상 간의 동기화를 수생하는 것이 아니라 상대 시간을 기준으로 다중 입력 영상간 동기화를 수행하여 네트워크 딜레이나 송출 지연이 발생하는 환경에서 시간이 동기화된 멀티뷰 서비스를 제공할 수 있도록 하는 효과가 있다.As described above, according to the present embodiment, synchronization between images is not performed based on absolute time, but synchronization between multiple input images is performed based on relative time, so that time is synchronized in an environment where network delay or transmission delay occurs. This has the effect of providing a multi-view service.

본 실시예에 의하면, 멀티뷰 서비스를 위한 입력 영상 간 동기화를 맞추기 위한 방법으로 타일 인코딩 및 병합 기술과 타임스탬프 조절, 프레임 보간 및 병합 영상 모니터링 기법을 이용하여 네트워크 지연이나 불가피한 송출 지연 등으로 인해 발생하는 영상 간 동기 차이를 조절하며 1프레임 단위까지 정확한 동기를 제공하는 효과가 있다. According to this embodiment, tile encoding and merging technology, timestamp adjustment, frame interpolation, and merged video monitoring technique are used as a method for synchronizing input images for multi-view service, resulting in network delay or unavoidable transmission delay. It has the effect of providing accurate synchronization up to 1 frame unit by adjusting the synchronization difference between the images being played.

본 실시예에 의하면, 멀티뷰 서비스에서 정확한 영상 간 동기화를 제공함으로써 사용자에게 높은 서비스 품질을 제공할 수 있는 효과가 있다.According to the present embodiment, it is possible to provide users with high service quality by providing accurate synchronization between images in a multi-view service.

도 1은 본 실시예에 따른 멀티뷰 시스템 구조를 나타낸 도면이다.
도 2는 본 실시예에 따른 멀티뷰 서비스 동기화를 위한 모니터링을 나타낸 도면이다.
도 3은 본 실시예에 따른 시간 직접 입력으로 멀티뷰 서비스의 시간 동기화 조절하는 방법을 설명하기 위한 도면이다.
도 4,5,6은 본 실시예에 따른 동일 프레임 선택으로 멀티뷰 서비스의 시간 동기화 조절하는 방법을 설명하기 위한 도면이다.
도 7은 본 실시예에 따른 멀티뷰 서비스의 시간 동기화 흐름을 나타낸 도면이다.
도 8a,8b는 본 실시예에 따른 멀티뷰 화면을 나타낸 예시도이다.1 is a diagram showing the structure of a multi-view system according to this embodiment.
2 is a diagram illustrating monitoring for multi-view service synchronization according to the present embodiment.
3 is a diagram for explaining a method of controlling time synchronization of a multi-view service by direct time input according to the present embodiment.
4, 5, and 6 are diagrams for explaining a method of adjusting time synchronization of a multi-view service by selecting the same frame according to the present embodiment.
7 is a diagram illustrating a time synchronization flow of a multi-view service according to the present embodiment.
8a and 8b are exemplary diagrams illustrating a multi-view screen according to the present embodiment.

이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, this embodiment will be described in detail with reference to the accompanying drawings.

도 1은 본 실시예에 따른 멀티뷰 시스템 구조를 나타낸 도면이다.1 is a diagram showing the structure of a multi-view system according to this embodiment.

멀티뷰 시스템(100)은 복수의 입력 소스를 받아서 한 개의 환경을 기준으로 복수의 입력 소스를 모두 합쳐서 멀티뷰로 출력할 때, 복수의 입력 소스에 대한 시간 동기화를 수행한다. 멀티뷰 시스템(100)은 복수의 입력 소스를 하나로 합칠 때, 각 프레임마다 딜레이 없이 멀티뷰로 출력하도록 두 가지 방식을 제공한다.The multi-view system 100 performs time synchronization of the plurality of input sources when receiving a plurality of input sources and outputting the multi-view by combining all the plurality of input sources based on one environment. The multi-view system 100 provides two methods for outputting multi-view without delay for each frame when combining a plurality of input sources into one.

본 실시예에 따른 멀티뷰 시스템(100)은 타일 인코딩 기술을 활용하여 입력 영상을 하나의 영상으로 병합하고 병합하는 과정에서 입력 영상 간의 동기화를 맞춘다. The multi-view system 100 according to this embodiment merges input images into one image by utilizing tile encoding technology, and synchronizes the input images during the merging process.

멀티뷰 시스템(100)은 영상을 기준으로 자동으로 동기화 또는 수동 동기화를 수행한다. 멀티뷰 시스템(100)은 영상 기준 자동 동기화를 수행하기 위해, 입력 영상을 특정 위치의 패턴, 시간, 로고 등을 분석한다. 멀티뷰 시스템(100)은 영상 기준 자동 동기화 방식으로 복수의 입력 영상에서 동일한 프레임(특정 위치의 패턴, 시간, 로고)을 인식시켜서 동기화한다.The multi-view system 100 performs automatic synchronization or manual synchronization based on images. The multi-view system 100 analyzes an input image for a pattern, time, logo, and the like at a specific location in order to perform image-based automatic synchronization. The multi-view system 100 recognizes and synchronizes the same frame (pattern, time, logo at a specific position) in a plurality of input images in an image-based automatic synchronization method.

멀티뷰 시스템(100)은 복수의 장치로부터 각각 인코딩된 복수의 영상을 입력받을 때, 전송 속도에 따라 복수의 영상이 모두 상이한 타임딜레이를 가지므로 서로 다른 도착 시간으로 입력받는다.When the multi-view system 100 receives a plurality of images encoded respectively from a plurality of devices, the plurality of images have different time delays according to the transmission speed, so they are received at different arrival times.

복수의 장치는 초기 영상을 송출할 때, 특정 패턴을 출력한다. 복수의 장치(예컨대, 카메라)는 방송 출력 전 또는 방송 중에 특정 패턴을 출력하여, 멀티뷰 시스템(100)에서 특정 패턴들을 자동으로 분석해서 동기화를 수행할 수 있다.A plurality of devices output a specific pattern when transmitting an initial image. A plurality of devices (eg, cameras) may output specific patterns before or during broadcasting and automatically analyze specific patterns in the multi-view system 100 to perform synchronization.

다시 말해, 복수의 장치(예컨대, 카메라)는 특정 패턴을 복수의 프레임에 계속 연속해서 출력하는데, 한 영상 소스마다 복수 개의 프레임 패턴들이 프레임을 동일한 영상 패턴들이 표시가 된다. 멀티뷰 시스템(100)은 복수의 장치로부터 서로 특정 패턴을 수신한 후 복수의 특정 패턴에 포함된 타임, 숫자(프레임 수)을 확인하여 동기화 시킨다. 멀티뷰 시스템(100)은 복수의 장치로부터 절대 시간이 아닌 상대적 시간으로 영상 소스를 입력받으면, 특정 패턴마다 포함된 시간, 색깔 변경 시점(빨간색이 파란색으로 바뀌는 시점)을 확인한 후 시간차를 기반으로 영상간 동기화를 수행한다.In other words, a plurality of devices (eg, cameras) continuously output a specific pattern to a plurality of frames, and a plurality of frame patterns for each image source display the same image patterns. After receiving specific patterns from a plurality of devices, the multi-view system 100 checks and synchronizes the times and numbers (number of frames) included in the plurality of specific patterns. When the multi-view system 100 receives an image source input from a plurality of devices in relative time rather than absolute time, after checking the time included in each specific pattern and the time of color change (when red color changes to blue), the image is based on the time difference. perform inter-synchronization.

멀티뷰 시스템(100)은 복수의 장치로부터 입력받은 입력 영상에 대한 수동으로 동기화를 수행할 수 있다. 멀티뷰 시스템(100)은 복수의 장치로부터 입력받은 입력 영상에 화면으로 출력하여 사용자가 눈으로 보면서 동기화를 맞출 수 있도록 한다.The multi-view system 100 may manually synchronize input images received from a plurality of devices. The multi-view system 100 outputs input images received from a plurality of devices to a screen so that the user can synchronize them while viewing them with their eyes.

멀티뷰 시스템(100)은 오디오의 기준으로 자동으로 동기화 또는 수동 동기화를 수행한다. 멀티뷰 시스템(100)은 복수의 장치로부터 입력 영상을 수신한 후 입력 영상에 포함된 오디오 특정 파형을 확인한다. 멀티뷰 시스템(100)은 입력 영상에 포함된 특정 시간대에 발생하는 오디오 특정 파형을 비교하여 동일한 시간대로 인지하여 영상간 동기화를 수행한다.The multi-view system 100 automatically performs synchronization or manual synchronization based on audio. After receiving input images from a plurality of devices, the multi-view system 100 checks a specific audio waveform included in the input images. The multi-view system 100 performs synchronization between images by comparing audio specific waveforms generated in a specific time period included in input images and recognizing them as the same time period.

본 실시예에 따른 멀티뷰 시스템(100)은 실시간 입력 플랫폼(110), 멀티뷰 인코더(120), 멀티뷰 매니저 서버(130), 멀티뷰 병합기(140), 스트리밍 서버(150), 멀티뷰 플레이어(160)를 포함한다. 멀티뷰 시스템(100)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.The multi-view system 100 according to this embodiment includes a real-time input platform 110, a multi-view encoder 120, a multi-view manager server 130, a multi-view merger 140, a streaming server 150, a multi-view player 160. Components included in the multi-view system 100 are not necessarily limited thereto.

실시간 입력 플랫폼(110)은 복수의 장치로부터 입력 영상들을 입력받는다. 실시간 입력 플랫폼(110)은 복수의 장치부터 입력 영상을 수신한 후 입력 영상을 배포한다. 실시간 입력 플랫폼(110)은 복수의 장치로부터 복수의 입력 영상을 상대적인 시간으로 기준으로 입력받는다.The real-time input platform 110 receives input images from a plurality of devices. The real-time input platform 110 receives input images from a plurality of devices and then distributes the input images. The real-time input platform 110 receives a plurality of input images from a plurality of devices based on relative time.

멀티뷰 인코더(120)는 실시간 입력 플랫폼(110)으로부터 수신된 입력 영상에 타일 인코딩 및 영상 간 동기를 위한 타임스탬프 설정한다. 멀티뷰 인코더(120)는 각 입력 영상을 받아 정해진 형식에 따라 타일 인코딩하여 멀티뷰 병합기(140)로 전송한다. 멀티뷰 인코더(120)는 복수의 장치로부터 수신된 입력 영상의 시간을 시간 재조정한 후 동기화하여 인코딩한 데이터를 생성한다.The multi-view encoder 120 sets timestamps for tile encoding and synchronization between images in the input image received from the real-time input platform 110 . The multi-view encoder 120 receives each input image, encodes the tiles according to a predetermined format, and transmits them to the multi-view merger 140. The multi-view encoder 120 generates encoded data by rescheduling the times of input images received from a plurality of devices and synchronizing them.

멀티뷰 인코더(120)는 전달받은 시간 오프셋 값을 입력 스트림의 타임스탬프에 적용하고 필터에서 적용된 오프셋 만큼의 벌어진 프레임을 직전 프레임과 동일한 프레임으로 보간하여 생성한다. 멀티플렉서는 전달받은 스트림의 타임스탬프에 멀티뷰 서비스 시작 시의 UTC 시간을 더하여 스트리밍 서버(150)에서 캐시로 인해 이전 스트림이 재생되는 문제를 보완한다.The multi-view encoder 120 applies the received time offset value to the timestamp of the input stream and interpolates and interpolates frames as wide as the offset applied from the filter to the same frame as the previous frame. The multiplexer adds the UTC time when the multi-view service starts to the timestamp of the received stream to compensate for the problem that the previous stream is reproduced due to the cache in the streaming server 150.

멀티뷰 인코더(120)는 복수의 입력 영상에 오프셋 값을 적용하여 동일한 타임 스탬프를 갖는 상태로 인코딩한 인코딩 영상을 송출한다.The multi-view encoder 120 applies an offset value to a plurality of input images and transmits an encoded image having the same timestamp.

멀티뷰 매니저 서버(130)는 멀티뷰 인코더(120) 및 멀티뷰 병합기(140)와 연동하면서 서비스 운영 및 동기화 모니터링 및 조절을 수행한다.The multi-view manager server 130 performs service operation and synchronization monitoring and adjustment while interworking with the multi-view encoder 120 and the multi-view merger 140.

멀티뷰 매니저 서버(130)는 메인 장치로부터 수신된 입력 영상을 기준으로 베이스 타임을 결정한다. 멀티뷰 매니저 서버(130)는 메인 장치로부터 수신된 입력 영상의 시간값을 기준으로 제2 서브 장치 내지 제N 서브 장치로부터 수신된 입력 영상의 시간값을 차이를 오프셋값으로 계산한다.The multi-view manager server 130 determines the base time based on the input image received from the main device. The multi-view manager server 130 calculates, as an offset value, a difference between the time values of the input images received from the second sub-device to the N-th sub-device based on the time values of the input images received from the main device.

멀티뷰 매니저 서버(130)는 제2 서브 장치 내지 제N 서브 장치로부터 수신된 입력 영상마다 오프셋값을 적용하여 베이스 타임을 동일하게 결정한다. 멀티뷰 인코더(120)는 메인 장치를 기준으로 제2 서브 장치 내지 제N 서브 장치로부터 수신된 입력 영상의 베이스 타임을 동일하게 맞춘 상태로 인코딩을 수행한다.The multi-view manager server 130 determines the same base time by applying an offset value to each input image received from the second sub-device to the N-th sub-device. The multi-view encoder 120 performs encoding while matching the base times of the input images received from the second sub-device to the N-th sub-device based on the main device.

멀티뷰 매니저 서버(130)는 입력 영상들의 오디오 파형을 이미지화하고 같은 이미지를 찾고 이미지 간의 차이를 기준으로 시간 오프셋을 계산한다. 멀티뷰 매니저 서버(130)는 계산된 각 영상 간의 시간 차이를 멀티뷰 인코더(120)로 전달한다. 멀티뷰 인코더(120)는 멀티뷰 매니저 서버(130)로부터 수신된 값만큼의 오프셋을 입력 영상의 타임스탬프에 적용한다.The multi-view manager server 130 images audio waveforms of input images, finds the same image, and calculates a time offset based on a difference between the images. The multi-view manager server 130 transfers the calculated time difference between each image to the multi-view encoder 120. The multi-view encoder 120 applies an offset equal to the value received from the multi-view manager server 130 to the timestamp of the input video.

멀티뷰 매니저 서버(130)는 상대적인 시간 따른 서로 다른 타임 딜레이를 갖는 복수의 입력 영상 내에서 동일한 특징을 기준으로 동기화를 수행하기 위한 오프셋 값을 산출한다.The multi-view manager server 130 calculates an offset value for performing synchronization based on the same feature within a plurality of input images having different time delays according to relative time.

멀티뷰 매니저 서버(130)는 복수의 입력 영상 내에서 영상을 기반으로 동기화를 수행할 때, 복수의 입력 영상 중 특정 패턴, 시간, 숫자, 프레임수, 로고, 장면 전환 프레임 중 어느 하나를 선정한 특정 프레임을 선정한다. 멀티뷰 매니저 서버(130)는 복수의 입력 영상 내에 특정 프레임과 동일한 프레임을 인식하여 동기화하기 위한 오프셋 값을 산출한다.When the multi-view manager server 130 performs image-based synchronization within a plurality of input images, a specific pattern, time, number, number of frames, logo, or scene transition frame is selected among the plurality of input images. select a frame The multi-view manager server 130 recognizes a frame identical to a specific frame in a plurality of input images and calculates an offset value for synchronization.

멀티뷰 매니저 서버(130)는 복수의 입력 영상 내에서 오디오를 기반으로 동기화를 수행할 때, 복수의 입력 영상에 포함된 특정 오디오 파형을 확인한다. 멀티뷰 매니저 서버(130)는 특정 오디오 파형을 기준으로 복수의 입력 영상 내에 특정 오디오 파형을 갖는 특정 프레임을 선정한다. 멀티뷰 매니저 서버(130)는 복수의 입력 영상 내에 특정 프레임과 동일한 프레임을 인식하여 동기화하기 위한 오프셋 값을 산출한다.When the multi-view manager server 130 performs synchronization based on audio within a plurality of input images, it checks a specific audio waveform included in the plurality of input images. The multi-view manager server 130 selects a specific frame having a specific audio waveform within a plurality of input images based on the specific audio waveform. The multi-view manager server 130 recognizes a frame identical to a specific frame in a plurality of input images and calculates an offset value for synchronization.

멀티뷰 매니저 서버(130)는 복수의 장치를 화면상에 각 행에 표시하고, 복수의 장치 각각으로부터 입력받은 입력 영상의 프레임을 열로 표시하여 출력하며, 입력 영상의 프레임 중 특정 프레임을 선정하여 출력한다.The multi-view manager server 130 displays a plurality of devices in rows on the screen, displays and outputs frames of an input image received from each of the plurality of devices in columns, and selects and outputs a specific frame among the frames of the input image. do.

멀티뷰 매니저 서버(130)는 복수의 장치 중 메인 장치로부터 수신된 입력 영상의 시간값을 기준으로 결정하고, 기준값을 기반으로 복수의 장치 중 제2 서브 장치 내지 제N 서브 장치로부터 수신된 입력 영상의 시간값과의 차이를 오프셋값으로 계산한다.The multi-view manager server 130 determines based on the time value of the input image received from the main device among the plurality of devices, and based on the reference value, the input image received from the second sub-device to the N-th sub-device among the plurality of devices. The difference from the time value of is calculated as an offset value.

멀티뷰 매니저 서버(130)는 복수의 장치 중 메인 장치로부터 수신된 입력 영상의 시간값 기준으로 오프셋값을 적용한 베이스 타임을 결정한다. 멀티뷰 매니저 서버(130)는 메인 장치에 대응하는 베이스 타임을 기준으로 복수의 장치 중 제2 서브 장치 내지 제N 서브 장치로부터 수신된 입력 영상의 시간값에 오프셋값을 적용하여 메인 장치에 대응하는 베이스 타임과 동일한 베이스 타임을 갖도록 한다.The multi-view manager server 130 determines a base time by applying an offset value based on a time value of an input image received from a main device among a plurality of devices. The multi-view manager server 130 applies an offset value to the time value of the input video received from the second sub-device to the N-th sub-device among the plurality of devices based on the base time corresponding to the main device, thereby Make the base time the same as the base time.

멀티뷰 매니저 서버(130)는 멀티뷰 매니저 서버에 의해서 메인 장치로 정해진 장치로부터 수신된 입력 영상의 시간값인 T1을 기준으로 한 오프셋값인 Sync1을 산출한다. 멀티뷰 매니저 서버(130)는 메인 장치로부터 수신된 입력 영상의 시간값인 T1에 오프셋값인 Sync1을 적용하여 메인 장치에 대응하는 베이스 타임인 B1을 결정한다.The multi-view manager server 130 calculates an offset value Sync1 based on the time value T1 of the input video received from the device designated as the main device by the multi-view manager server. The multi-view manager server 130 determines base time B1 corresponding to the main device by applying the offset value Sync1 to the time value T1 of the input video received from the main device.

멀티뷰 매니저 서버(130)는 제2 서브 장치 내지 제N 서브 장치로부터 수신된 입력 영상의 시간값인 T2 내지 Tn마다 메인 장치에 대응하는 베이스 타임과 동일한 베이스 타임을 갖도록 하는 오프셋값인 Sync2 내지 SyncN을 각각 산출한다. 멀티뷰 매니저 서버(130)는 제2 서브 장치 내지 제N 서브 장치로부터 수신된 입력 영상의 시간값인 T2 내지 Tn에 오프셋값인 Sync2 내지 SyncN을 적용하여 제2 서브 장치 내지 제N 서브 장치에 대응하는 베이스 타임인 B2 내지 BN을 결정한다.The multi-view manager server 130 provides offset values Sync2 to SyncN to have the same base time as the base time corresponding to the main device for each time value T2 to Tn of the input video received from the second sub-device to the N-th sub-device. are calculated respectively. The multi-view manager server 130 applies offset values Sync2 to SyncN to time values T2 to Tn of the input video received from the second sub-device to N-th sub-device to correspond to the second sub-device to the N-th sub-device Determines B2 to BN, which are base times for

멀티뷰 매니저 서버(130)는 메인 장치에 대응하는 베이스 타임인 B1, 제2 서브 장치 내지 제N 서브 장치에 대응하는 베이스 타임인 B2 내지 BN에 각 장치의 필터값 F1 내지 FN을 적용한다.The multi-view manager server 130 applies the filter values F1 to FN of each device to base time B1 corresponding to the main device and base times B2 to BN corresponding to the second sub device to the Nth sub device.

멀티뷰 매니저 서버(130)는 메인 장치에 대응하는 베이스 타임인 B1, 제2 서브 장치 내지 제N 서브 장치에 대응하는 베이스 타임인 B2 내지 BN에 각 장치의 필터값 F1 내지 FN과 현재 시간(Current Time)을 적용 먹스한다.The multi-view manager server 130 sets the filter values F1 to FN of each device and the current time (Current Time) is applied and muxed.

멀티뷰 병합기(140)는 멀티뷰 인코더(120)로부터 수신된 타임스탬프가 설정된 복수의 입력 영상을 하나로 병합한다. 멀티뷰 병합기(140)는 멀티뷰 인코더(120)들부터 전송받은 영상들을 시간 기준으로 동기화하여 병합한 후 병합된 멀티뷰 영상을 스트리밍 서버(150)로 송출한다. 멀티뷰 병합기(140)는 시간을 동기화하여 동일한 시간에 있는 프레임으로 묶어서 타일을 생성한다.The multi-view merger 140 merges a plurality of input images with set timestamps received from the multi-view encoder 120 into one. The multi-view merger 140 synchronizes and merges the images transmitted from the multi-view encoders 120 based on time, and transmits the merged multi-view image to the streaming server 150. The multi-view merger 140 generates tiles by synchronizing time and combining frames at the same time.

멀티뷰 병합기(140)는 일정한 타임스탬프 흐름대로 영상을 전달받기 때문에 병합 시 문제가 없고 프레임이 보간된 만큼 병합된 영상의 동기를 조절한다. 멀티뷰 병합기(140)는 동기 조절 시 순간적으로 멀티뷰 인코더(120)의 필터 초기화나 동기를 맞추기 위한 프레임이 존재하지 않을 것을 대비하여 초기에 일정 시간 버퍼링을 수행한다.Since the multi-view merger 140 receives images according to a certain timestamp flow, there is no problem in merging, and synchronization of the merged images is adjusted as much as frames are interpolated. The multi-view merger 140 initially performs buffering for a certain period of time in preparation for instantaneously initializing the filters of the multi-view encoder 120 or in case there is no frame for synchronizing when adjusting the synchronization.

멀티뷰 병합기(140)는 인코딩 영상을 병합하여 멀티뷰 영상을 생성한다.The multi-view merger 140 generates a multi-view image by merging encoded images.

스트리밍 서버(150)는 멀티뷰 병합기(140)로부터 수신된 하나로 병합된 입력 영상을 CDN 서비스한다. 스트리밍 서버(150)는 멀티뷰 영상을 스트리밍한다. 멀티뷰 플레이어(160)는 스트리밍 서버(150)로부터 하나로 병합된 입력 영상을 수신하여 멀티뷰 서비스로 출력한다.The streaming server 150 provides a CDN service for the input images merged into one received from the multi-view merger 140. The streaming server 150 streams multi-view images. The multi-view player 160 receives input images merged into one from the streaming server 150 and outputs them to the multi-view service.

도 2는 본 실시예에 따른 멀티뷰 서비스 동기화를 위한 모니터링을 나타낸 도면이다.2 is a diagram illustrating monitoring for multi-view service synchronization according to the present embodiment.

도 2에 도시된 바와 같이, 멀티뷰 시스템(100)은 복수의 장치로부터 입력받은 입력 영상을 화면 상에 출력한다. 멀티뷰 시스템(100)은 복수의 장치를 화면상에 각 행에 표시하고, 각 장치별 프레임을 열로 표시하여 출력한다. As shown in FIG. 2 , the multi-view system 100 outputs input images received from a plurality of devices on a screen. The multi-view system 100 displays a plurality of devices in each row on a screen, and displays and outputs frames for each device in columns.

도 2에 도시된 바와 같이, 멀티뷰 시스템(100)은 메인 장치로부터 제1,2,3,4,5 프레임 순서로 입력받는다. 멀티뷰 시스템(100)은 메인 장치와 동시에 제1 서브 장치로부터 제3,4,5,6,7 프레임 순서로 입력받는다. 동시에 멀티뷰 시스템(100)은 메인 장치, 제1 서브 장치와 동시에 제2 서브 장치로부터 제5,6,7,8,9 프레임 순서로 입력받는다. 동시에 멀티뷰 시스템(100)은 메인 장치, 제1 서브 장치, 제2 서브 장치와 동시에 제3 서브 장치로부터 제1,2,3,4,5 프레임 순서로 입력받는다. 동시에 멀티뷰 시스템(100)은 메인 장치, 제1 서브 장치, 제2 서브 장치와 동시에 제3 서브 장치로부터 제1,2,3,4,5 프레임 순서로 입력받는다. 동시에 멀티뷰 시스템(100)은 메인 장치, 제1 서브 장치, 제2 서브 장치, 제3 서브 장치와 동시에 제4 서브 장치로부터 제2,3,4,5,6 프레임 순서로 입력받는다.As shown in FIG. 2, the multi-view system 100 receives input from the main device in the order of frames 1, 2, 3, 4, and 5. The multi-view system 100 receives input from the first sub-device in order of frames 3, 4, 5, 6, and 7 at the same time as the main device. At the same time, the multi-view system 100 receives input from the second sub device in the order of frames 5, 6, 7, 8, and 9 simultaneously with the main device and the first sub device. At the same time, the multi-view system 100 receives inputs from the main device, the first sub device, and the second sub device in the order of frames 1, 2, 3, 4, and 5 from the third sub device at the same time. At the same time, the multi-view system 100 receives inputs from the main device, the first sub device, and the second sub device in the order of frames 1, 2, 3, 4, and 5 from the third sub device at the same time. At the same time, the multi-view system 100 receives input from the fourth sub device in order of frames 2, 3, 4, 5, and 6 simultaneously with the main device, the first sub device, the second sub device, and the third sub device.

도 3은 본 실시예에 따른 시간 직접 입력으로 멀티뷰 서비스의 시간 동기화 조절하는 방법을 설명하기 위한 도면이다.3 is a diagram for explaining a method of controlling time synchronization of a multi-view service by direct time input according to the present embodiment.

멀티뷰 매니저 서버(130)는 멀티뷰 병합기(140)로부터 송출되는 병합된 영상을 1xN 화면으로 재배열하여 저장하고 지정한 시간만큼의 프레임 별 이미지를 추출한다. 멀티뷰 병합기(140)는 지정한 시간만큼의 프레임 별 이미지를 멀티뷰 매니저 서버(130)로 전달하고 멀티뷰 시스템 관리 Web UI 페이지 상에 표출한다. 서비스 운영자 단말기를 이용하여 멀티뷰 매니저 서버(130)에 접속한 후 UI 상 표출되는 이미지를 보며 현재 병합된 멀티뷰 영상의 프레임 별 동기를 확인할 수 있다. The multi-view manager server 130 rearranges and stores the merged images transmitted from the multi-view merger 140 into a 1xN screen, and extracts images for each frame for a designated time. The multi-view merger 140 transfers images for each frame for a designated time to the multi-view manager server 130 and displays them on the multi-view system management Web UI page. After accessing the multi-view manager server 130 using the service operator terminal, it is possible to check frame-by-frame synchronization of the currently merged multi-view image by looking at the image displayed on the UI.

도 3에 도시된 바와 같이, 멀티뷰 시스템(100)은 메인 장치, 제1 서브 장치, 제2 서브 장치, 제3 서브 장치로부터 수신된 입력 영상에 타입 오프셋을 적용할 수 있다. 관리자 멀티뷰 시스템(100)에서 출력하는 메인 장치, 제1 서브 장치, 제2 서브 장치, 제3 서브 장치로부터 수신된 입력 영상 마다 발생하는 프레임 차이를 확인 한다. 관리자는 멀티뷰 시스템(100)에서 메인 장치로부터 수신된 입력 영상을 기준으로 제1 서브 장치, 제2 서브 장치, 제3 서브 장치로부터 수신된 영상 영상마다의 시간 정보마다 오프셋 값을 적용하여 시간 값을 보정한다.As shown in FIG. 3 , the multi-view system 100 may apply a type offset to input images received from the main device, the first sub device, the second sub device, and the third sub device. A frame difference occurring for each input image received from the main device, the first sub device, the second sub device, and the third sub device output from the manager multi-view system 100 is checked. The manager applies an offset value to each time information received from the first sub device, the second sub device, and the third sub device based on the input image received from the main device in the multi-view system 100 to obtain a time value. correct the

예컨대, 멀티뷰 시스템(100)은 메인 장치로부터 수신된 제5 프레임을 기준 프레임으로 선택한다. 멀티뷰 시스템(100)은 제1 서브 장치로부터 수신된 입력 영상에 - 2를 적용하고, 제2 서브 장치로부터 수신된 입력 영상에 -4, 제3 서브 장치로부터 수신된 입력 영상에 -0, 제4 서브 장치로부터 수신된 입력 영상에 -1을 적용한다.For example, the multi-view system 100 selects the fifth frame received from the main device as a reference frame. The multi-view system 100 applies -2 to the input image received from the first sub device, -4 to the input image received from the second sub device, -0 to the input image received from the third sub device, and -0 to the input image received from the third sub device. 4 Apply -1 to the input image received from the sub device.

멀티뷰 시스템(100)은 메인 장치로부터 수신된 제5 프레임의 베이스 타임을 T1 + Sync1으로 정의하면, 제1 서브 장치로부터 수신된 입력 영상에 - 2를 적용하고, 제2 서브 장치로부터 수신된 입력 영상에 -4, 제3 서브 장치로부터 수신된 입력 영상에 -0, 제4 서브 장치로부터 수신된 입력 영상에 -1을 적용하는 형태로 오프셋 값을 더해준다.When the base time of the fifth frame received from the main device is defined as T1 + Sync1, the multi-view system 100 applies -2 to the input image received from the first sub device, and the input received from the second sub device An offset value is added in the form of applying -4 to the image, -0 to the input image received from the third sub-device, and -1 to the input image received from the 4th sub-device.

도 4,5,6은 본 실시예에 따른 동일 프레임 선택으로 멀티뷰 서비스의 시간 동기화 조절하는 방법을 설명하기 위한 도면이다.4, 5, and 6 are diagrams for explaining a method of adjusting time synchronization of a multi-view service by selecting the same frame according to the present embodiment.

서비스 운영자는 멀티뷰 매니저 서버(130)에 접속한 단말기를 이용하여 시간을 직접 입력하거나 동기를 맞추기 위한 장면들을 선택한다.The service operator directly inputs the time or selects scenes to be synchronized using a terminal connected to the multi-view manager server 130 .

멀티뷰 매니저 서버(130)는 직접 입력된 시간 또는 동기를 맞추기 위한 장면이 입력되면, 메인 스트림을 기준으로 선택된 각 영상 간의 시간 차이를 영상의 프레임 레이트와 프레임 간격을 기준으로 계산하여 적용한다. The multi-view manager server 130 calculates and applies the time difference between each video selected based on the main stream based on the frame rate and frame interval of the video when a directly input time or a scene for synchronizing is input.

멀티뷰 매니저 서버(130)는 멀티뷰 인코더(120)로 계산된 각 영상 간의 시간 차이를 전송한다. 멀티뷰 인코더(120)는 계산된 각 영상 간의 시간 차이를 수신하고, 수신된 값만큼의 오프셋을 입력 영상의 타임스탬프에 적용한다.The multi-view manager server 130 transmits the time difference between each image calculated by the multi-view encoder 120. The multi-view encoder 120 receives the calculated time difference between each image, and applies an offset equal to the received value to the timestamp of the input image.

멀티뷰 시스템(100)은 메인 장치로부터 수신된 제5 프레임(장면이 전환되는 프레임)을 기준 프레임으로 선택한다. The multi-view system 100 selects the fifth frame (the frame in which the scene changes) received from the main device as a reference frame.

도 4,5,6에 도시된 바와 같이, 멀티뷰 시스템(100)은 메인 장치를 기준으로 선택된 제5 프레임(장면이 전환되는 프레임)을 기준으로 제1 서브 장치, 제2 서브 장치, 제3 서브 장치로부터 수신된 입력 영상에 동일한 프레임이라고 인식되는 제5 프레임(장면이 전환되는 프레임)을 선택한 후, 해당 프레임을 기준으로 동기화를 적용할 수 있다.As shown in FIGS. 4, 5, and 6, the multi-view system 100 includes a first sub-device, a second sub-device, and a third sub-device based on a fifth frame (a scene switching frame) selected based on the main device. After selecting the fifth frame (the frame in which the scene is switched) recognized as the same frame as the input image received from the sub device, synchronization may be applied based on the corresponding frame.

도 4,5,6에 도시된 바와 같이, 멀티뷰 시스템(100)은 복수의 장치로부터 입력받은 입력 영상을 화면 상의 각 행이 입력 소스(프레임)로 출력한다.As shown in FIGS. 4, 5, and 6, the multi-view system 100 outputs input images received from a plurality of devices as input sources (frames) for each row on the screen.

멀티뷰 매니저 서버(130)는 입력 영상들의 특정 위치의 패턴(색, 시간, 로고 등)을 분석하여 동일한 패턴에 해당하는 영상의 이미지를 찾고 이미지 간의 차이를 기준으로 시간 오프셋을 계산한다. 멀티뷰 매니저 서버(130)는 계산된 각 영상 간의 시간 차이는 멀티뷰 인코더(120)로 전달한다. 멀티뷰 인코더(120)는 멀티뷰 매니저 서버(130)로부터 수신된 값만큼의 오프셋을 입력 영상의 타임스탬프에 적용한다.The multi-view manager server 130 analyzes the pattern (color, time, logo, etc.) of a specific position of the input images to find an image corresponding to the same pattern and calculates a time offset based on a difference between the images. The multi-view manager server 130 transfers the calculated time difference between images to the multi-view encoder 120. The multi-view encoder 120 applies an offset equal to the value received from the multi-view manager server 130 to the timestamp of the input video.

도 7은 본 실시예에 따른 멀티뷰 서비스의 시간 동기화 흐름을 나타낸 도면이다.7 is a diagram illustrating a time synchronization flow of a multi-view service according to the present embodiment.

멀티뷰 시스템(100)은 메인 장치로부터 수신된 입력 영상을 기준으로 베이스 타임이 T1 + Sync1이 된다. 여기서, T1은 메인 장치로부터 수신된 입력 영상의 시간값이며, T2, T3, T4, T5, T6, T7은 제2 서브 장치 내지 제6 서브 장치로부터 수신된 입력 영상의 시간값을 의미한다.In the multi-view system 100, the base time is T1 + Sync1 based on the input image received from the main device. Here, T1 is the time value of the input video received from the main device, and T2, T3, T4, T5, T6, and T7 mean the time value of the input video received from the second sub-device to the sixth sub-device.

Sync1은 메인 장치로부터 수신된 입력 영상의 시간 T1을 기준으로 한 오프셋값이므로 사실상 0의 값을 갖는다. Sync2, Sync3, Sync4, Sync5, Sync6, Sync7은 제2 서브 장치 내지 제6 서브 장치로부터 수신된 입력 영상의 시간값과 메인 장치로부터 수신된 입력 영상의 시간 T1에 대한 오프셋 값을 갖는다.Since Sync1 is an offset value based on time T1 of the input video received from the main device, it actually has a value of 0. Sync2, Sync3, Sync4, Sync5, Sync6, and Sync7 have a time value of input video received from the second to sixth sub-devices and an offset value with respect to time T1 of the input video received from the main device.

멀티뷰 시스템(100)은 복수의 입력 장치로부터 수신된 복수의 입력(T1, T2, T3, T4, T5, T6, T7)이 다 다르기 때문에, 특정 장치의 베이스 타임을 기준으로 나머지 장치의 베이스 타임(T1 + Sync1, T2 + Sync2, T3 + Sync3, T4 + Sync4, T5 + Sync5, T6 + Sync6, T7 + Sync7)을 다시 계산한다.In the multi-view system 100, since the plurality of inputs (T1, T2, T3, T4, T5, T6, T7) received from the plurality of input devices are different, the base time of the other device is based on the base time of the specific device. Recalculate (T1 + Sync1, T2 + Sync2, T3 + Sync3, T4 + Sync4, T5 + Sync5, T6 + Sync6, T7 + Sync7).

멀티뷰 시스템(100)은 메인 장치로부터 수신된 입력 영상의 시간 T1을 기준으로 하기 때문에 Sync1은 사실상 0의 값을 갖는다. 나머지 제2 서브 장치 내지 제6 서브 장치로부터 수신된 입력 영상의 시간 T1 내지 T7에 Sync1(0값)을 기준으로 차이값을 적용한다.Since the multi-view system 100 uses the time T1 of the input image received from the main device as a standard, Sync1 has a value of 0 in effect. A difference value based on Sync1 (value 0) is applied to times T1 to T7 of the input images received from the remaining second sub-devices to sixth sub-devices.

멀티뷰 시스템(100)은 복수의 입력 장치로부터 수신된 복수의 입력에 따른 베이스 타임(B1:T1 + Sync1, B2:T2 + Sync2, B3:T3 + Sync3, B4:T4 + Sync4, B5:T5 + Sync5, B6:T6 + Sync6, B7:T7 + Sync7)에 베이스 타임(B1, B2, B3, B4, B5, B6, B7)을 기준으로 각 장치의 필터값(F1, F2, F3, F4, F5, F6, F7)을 적용(B1+F1, B2+F2, B3+F3, B4+F4, B5+F5, B6+F6, B7+F7) 한다. The multi-view system 100 provides base times (B1:T1 + Sync1, B2:T2 + Sync2, B3:T3 + Sync3, B4:T4 + Sync4, B5:T5 +) according to a plurality of inputs received from a plurality of input devices. Sync5, B6:T6 + Sync6, B7:T7 + Sync7) and filter values (F1, F2, F3, F4, F5 , F6, F7) are applied (B1+F1, B2+F2, B3+F3, B4+F4, B5+F5, B6+F6, B7+F7).

멀티뷰 시스템(100)은 복수의 입력 장치로부터 수신된 복수의 입력마다 현재 시간을 적용(B1+F1+CurrentTime, B2+F2+CurrentTime, B3+F+CurrentTime3, B4+F4+CurrentTime, B5+F5+CurrentTime, B6+F6+CurrentTime, B7+F7+CurrentTime)하여 먹스한다.The multi-view system 100 applies the current time to each of a plurality of inputs received from a plurality of input devices (B1+F1+CurrentTime, B2+F2+CurrentTime, B3+F+CurrentTime3, B4+F4+CurrentTime, B5+F5 +CurrentTime, B6+F6+CurrentTime, B7+F7+CurrentTime) to mux.

도 8a,8b는 본 실시예에 따른 멀티뷰 화면을 나타낸 예시도이다.8a and 8b are exemplary diagrams illustrating a multi-view screen according to the present embodiment.

멀티뷰 시스템(100)은 공연, 스포츠 경기 실황 중계, 각자 생성한 동영상 스트리밍 데이터에서 정교하게 동기화하여 화면을 송출할 수 있다.The multi-view system 100 can accurately synchronize and transmit screens from performances, live broadcasts of sports games, and video streaming data created by each other.

멀티뷰 시스템(100)은 사이즈 큰 고해상도 영상들을 합쳐진 후 다시 크롭하여 인코딩하고 다음에 합치는 경우 타임 싱크가 하나 더 어긋나면 스포츠 경기 실황 중계에서 정상적으로 시청이 어렵게된다.The multi-view system 100 combines large-sized high-resolution images, crops them again, encodes them, and if the time sync is further out of sync, it becomes difficult to view normally in a live broadcast of a sports game.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely an example of the technical idea of the present embodiment, and various modifications and variations can be made to those skilled in the art without departing from the essential characteristics of the present embodiment. Therefore, the present embodiments are not intended to limit the technical idea of the present embodiment, but to explain, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of this embodiment should be construed according to the claims below, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of rights of this embodiment.

100: 멀티뷰 시스템
110: 실시간 입력 플랫폼
120: 멀티뷰 인코더
130: 멀티뷰 매니저 서버
140: 멀티뷰 병합기
150: 스트리밍 서버
160: 멀티뷰 플레이어100: multi-view system
110: real-time input platform
120: multiview encoder
130: multiview manager server
140: multiview merger
150: streaming server
160: multiview player

Claims (9)

복수의 장치로부터 상대적인 시간 기준의 복수의 입력 영상을 입력받는 실시간 입력 플랫폼;
상기 입력 영상 중 상대적인 시간으로 송출되어 서로 다른 타임 딜레이를 갖는 상기 복수의 입력 영상 내에서 프레임 특징 및 오디오 특징을 기반으로 동일한 특징을 기준으로 동기화를 수행하기 위한 오프셋 값을 산출하는 멀티뷰 매니저 서버;
상기 오프셋 값을 상기 복수의 입력 영상에 대한 입력 스트림의 타임 스탬프에 적용하고 기 설정된 필터에서 적용된 오프셋 만큼의 차이가 발생한 프레임을 직전 프레임과 동일한 프레임으로 보간하여 생성하는 타일 인코딩을 수행한 인코딩 영상을 송출하는 멀티뷰 인코더;
상기 오프셋 값이 적용된 상기 인코딩 영상을 병합하여 멀티뷰 영상을 생성하는 멀티뷰 병합기;
상기 멀티뷰 영상을 스트리밍하는 스트리밍 서버;
를 포함하는 것을 특징으로 하는 멀티뷰 서비스를 위한 다중 입력 영상 동기화 시스템.A real-time input platform that receives a plurality of input images based on relative time from a plurality of devices;
A multi-view manager server that calculates an offset value for performing synchronization based on the same feature based on frame characteristics and audio characteristics within the plurality of input images transmitted at relative times among the input images and having different time delays;
An encoded image obtained by performing tile encoding, which is generated by applying the offset value to the timestamp of the input stream for the plurality of input images and interpolating a frame having a difference by the offset applied in a preset filter to the same frame as the previous frame a multi-view encoder that transmits;
a multi-view merger generating a multi-view image by merging the encoded images to which the offset value is applied;
a streaming server that streams the multi-view image;
A multi-input image synchronization system for a multi-view service comprising a. 제1항에 있어서,
상기 멀티뷰 매니저 서버는,
상기 복수의 입력 영상 내에서 영상을 기반으로 동기화를 수행할 때, 상기 복수의 입력 영상 중 특정 패턴, 시간, 숫자, 프레임수, 로고, 장면 전환 프레임 중 어느 하나를 선정한 특정 프레임을 선정하고, 상기 복수의 입력 영상 내에 상기 특정 프레임과 동일한 프레임을 인식하여 동기화하기 위한 오프셋 값을 산출하는 것을 특징으로 하는 멀티뷰 서비스를 위한 다중 입력 영상 동기화 시스템.According to claim 1,
The multi-view manager server,
When synchronization is performed based on images in the plurality of input images, a specific frame selected from among a specific pattern, time, number, number of frames, logo, and scene transition frame is selected from among the plurality of input images, A system for synchronizing multiple input images for a multi-view service, characterized in that an offset value for synchronization is calculated by recognizing a frame identical to the specific frame in a plurality of input images. 제1항에 있어서,
상기 멀티뷰 매니저 서버는,
상기 복수의 입력 영상 내에서 오디오를 기반으로 동기화를 수행할 때, 상기 복수의 입력 영상에 포함된 특정 오디오 파형을 확인하고, 상기 특정 오디오 파형을 기준으로 상기 복수의 입력 영상 내에 상기 특정 오디오 파형을 갖는 특정 프레임을 선정하고, 상기 복수의 입력 영상 내에 상기 특정 프레임과 동일한 프레임을 인식하여 동기화하기 위한 오프셋 값을 산출하는 것을 특징으로 하는 멀티뷰 서비스를 위한 다중 입력 영상 동기화 시스템.According to claim 1,
The multi-view manager server,
When performing synchronization based on audio in the plurality of input images, a specific audio waveform included in the plurality of input images is identified, and the specific audio waveform is selected in the plurality of input images based on the specific audio waveform. A system for synchronizing multiple input images for a multi-view service, characterized in that: selecting a specific frame having a frame, recognizing a frame identical to the specific frame in the plurality of input images, and calculating an offset value for synchronization. 제1항에 있어서,
상기 멀티뷰 매니저 서버는,
상기 복수의 장치를 화면상에 각 행에 표시하고, 상기 복수의 장치 각각으로부터 입력받은 상기 입력 영상의 프레임을 열로 표시하여 출력하며, 상기 입력 영상의 프레임 중 특정 프레임을 선정하여 출력하는 것을 특징으로 하는 멀티뷰 서비스를 위한 다중 입력 영상 동기화 시스템.According to claim 1,
The multi-view manager server,
The plurality of devices are displayed in rows on the screen, frames of the input image received from each of the plurality of devices are displayed in columns and output, and a specific frame is selected and output from among the frames of the input image. Multi-input video synchronization system for multi-view service. 제1항에 있어서,
상기 멀티뷰 매니저 서버는,
상기 복수의 장치 중 메인 장치로부터 수신된 입력 영상의 시간값을 기준으로 결정하고, 상기 기준을 기반으로 상기 복수의 장치 중 제2 서브 장치 내지 제N 서브 장치로부터 수신된 입력 영상의 시간값과의 차이를 오프셋값으로 계산하는 것을 특징으로 하는 멀티뷰 서비스를 위한 다중 입력 영상 동기화 시스템.According to claim 1,
The multi-view manager server,
It is determined based on the time value of the input image received from the main device among the plurality of devices, and the time value of the input image received from the second sub device to the Nth sub device among the plurality of devices is determined based on the criterion. A multi-input image synchronization system for a multi-view service, characterized in that the difference is calculated as an offset value. 제1항에 있어서,
상기 멀티뷰 매니저 서버는,
상기 복수의 장치 중 메인 장치로부터 수신된 입력 영상의 시간값 기준으로 오프셋값을 적용한 베이스 타임을 결정하고, 상기 메인 장치에 대응하는 베이스 타임을 기준으로 상기 복수의 장치 중 제2 서브 장치 내지 제N 서브 장치로부터 수신된 입력 영상의 시간값에 오프셋값을 적용하여 상기 메인 장치에 대응하는 베이스 타임과 동일한 베이스 타임을 갖도록 하는 것을 특징으로 하는 멀티뷰 서비스를 위한 다중 입력 영상 동기화 시스템.According to claim 1,
The multi-view manager server,
Determines a base time to which an offset value is applied based on a time value of an input image received from a main device among the plurality of devices, and second to Nth sub devices among the plurality of devices based on the base time corresponding to the main device. A system for synchronizing multiple input images for a multi-view service, characterized in that by applying an offset value to a time value of an input video received from a sub device to have the same base time as a base time corresponding to the main device. 제6항에 있어서,
상기 멀티뷰 매니저 서버는,
상기 메인 장치로부터 수신된 입력 영상의 시간값인 T1을 기준으로 한 오프셋값인 Sync1을 산출하고, 상기 메인 장치로부터 수신된 입력 영상의 시간값인 T1에 상기 오프셋값인 Sync1을 적용하여 상기 메인 장치에 대응하는 베이스 타임인 B1을 결정하며,
제2 서브 장치 내지 제N 서브 장치로부터 수신된 입력 영상의 시간값인 T2 내지 Tn마다 상기 메인 장치에 대응하는 베이스 타임과 동일한 베이스 타임을 갖도록 하는 오프셋값인 Sync2 내지 SyncN을 각각 산출하며, 상기 제2 서브 장치 내지 제N 서브 장치로부터 수신된 입력 영상의 시간값인 T2 내지 Tn에 상기 오프셋값인 Sync2 내지 SyncN을 적용하여 상기 제2 서브 장치 내지 제N 서브 장치에 대응하는 베이스 타임인 B2 내지 BN을 결정하는 것을 특징으로 하는 멀티뷰 서비스를 위한 다중 입력 영상 동기화 시스템.According to claim 6,
The multi-view manager server,
Calculate an offset value Sync1 based on the time value T1 of the input video received from the main device, and apply the offset value Sync1 to the time value T1 of the input video received from the main device to obtain the main device Determining B1, which is a base time corresponding to
Calculate Sync2 to SyncN, which are offset values to have the same base time as the base time corresponding to the main device, for each time value T2 to Tn of the input video received from the second sub-device to the N-th sub-device, respectively, Base times B2 to BN corresponding to the second sub-device to the N-th sub-device by applying the offset values Sync2 to SyncN to the time values T2 to Tn of the input image received from the second sub-device to the N-th sub-device Multi-input image synchronization system for multi-view service, characterized in that for determining. 제7항에 있어서,
상기 멀티뷰 매니저 서버는,
상기 메인 장치에 대응하는 베이스 타임인 B1, 상기 제2 서브 장치 내지 제N 서브 장치에 대응하는 베이스 타임인 B2 내지 BN에 각 장치의 필터값 F1 내지 FN을 적용하는 것을 특징으로 하는 멀티뷰 서비스를 위한 다중 입력 영상 동기화 시스템.According to claim 7,
The multi-view manager server,
Filter values F1 to FN of each device are applied to the base time B1 corresponding to the main device and the base time B2 to BN corresponding to the second sub device to the Nth sub device. multi-input video synchronization system for 제7항에 있어서,
상기 멀티뷰 매니저 서버는,
상기 메인 장치에 대응하는 베이스 타임인 B1, 상기 제2 서브 장치 내지 제N 서브 장치에 대응하는 베이스 타임인 B2 내지 BN에 각 장치의 필터값 F1 내지 FN과 현재 시간(Current Time)을 적용 먹스하는 것을 특징으로 하는 멀티뷰 서비스를 위한 다중 입력 영상 동기화 시스템.
According to claim 7,
The multi-view manager server,
Applying filter values F1 to FN and the current time of each device to B1, which is the base time corresponding to the main device, and B2 to BN, which are base times corresponding to the second to Nth sub devices, apply muxing Multi-input video synchronization system for multi-view service, characterized in that.
KR1020210142745A 2021-10-25 2021-10-25 Method And System for Synchronizing Video for Multi-View Service KR102555481B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210142745A KR102555481B1 (en) 2021-10-25 2021-10-25 Method And System for Synchronizing Video for Multi-View Service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210142745A KR102555481B1 (en) 2021-10-25 2021-10-25 Method And System for Synchronizing Video for Multi-View Service

Publications (2)

Publication Number Publication Date
KR20230058919A KR20230058919A (en) 2023-05-03
KR102555481B1 true KR102555481B1 (en) 2023-07-13

Family

ID=86380943

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210142745A KR102555481B1 (en) 2021-10-25 2021-10-25 Method And System for Synchronizing Video for Multi-View Service

Country Status (1)

Country Link
KR (1) KR102555481B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101821145B1 (en) 2016-09-09 2018-01-23 주식회사 헤카스 Video live streaming system
KR101988157B1 (en) * 2018-01-26 2019-06-11 건국대학교 산학협력단 Timeline synchronization method and apparatus of video clips using sound waveform

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050022618A (en) * 2003-08-29 2005-03-08 삼성전자주식회사 Up-down scaling image signal processing device
KR20120084252A (en) * 2011-01-19 2012-07-27 삼성전자주식회사 Receiver for receiving a plurality of transport stream, transmitter for transmitting each of transport stream, and reproducing method thereof
KR101405276B1 (en) * 2011-08-10 2014-07-15 한국전자통신연구원 Content providing apparatus and method, and content reproduction apparatus and method for synchronization between left and right stream in the stationary-mobile hybrid 3dtv broadcast
JP2013134119A (en) * 2011-12-26 2013-07-08 Sony Corp Transmitter, transmission method, receiver, reception method, synchronous transmission system, synchronous transmission method, and program
KR102026454B1 (en) * 2018-01-05 2019-09-27 주식회사 엘지유플러스 System and method for transmitting a plurality of video image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101821145B1 (en) 2016-09-09 2018-01-23 주식회사 헤카스 Video live streaming system
KR101988157B1 (en) * 2018-01-26 2019-06-11 건국대학교 산학협력단 Timeline synchronization method and apparatus of video clips using sound waveform

Also Published As

Publication number Publication date
KR20230058919A (en) 2023-05-03

Similar Documents

Publication Publication Date Title
US10341672B2 (en) Method and system for media synchronization
US20080122986A1 (en) Method and system for live video production over a packeted network
US20140092254A1 (en) Dynamic delay handling in mobile live video production systems
US9462195B2 (en) System and method for distributed video and or audio production
KR100482287B1 (en) Apparatus and method for injection of synchronized stream data in digital broadcasting environment
US10595075B2 (en) Automatic timing of production devices in an internet protocol environment
KR20180090719A (en) Method and system for media synchronization
US20150113576A1 (en) Method and apparatus for ip video signal synchronization
WO2020241308A1 (en) Synchronization control device, synchronization control method, and synchronization control program
CN109495760A (en) A kind of method of multiple groups camera live broadcasting
KR101834934B1 (en) Transferring of 3d image data
WO2023279793A1 (en) Video playing method and apparatus
CN106797342B (en) Video network
KR102555481B1 (en) Method And System for Synchronizing Video for Multi-View Service
CN104202589A (en) Multichannel three-dimensional film video synchronous playing method
US20150296147A1 (en) Method of operating a video processing apparatus
KR100763441B1 (en) Synchronized multiplexing method, device therefor, demultiplexing method and device therefor
EP2920957B1 (en) Method of operating a video processing apparatus
JP6987567B2 (en) Distribution device, receiver and program
JP2002369163A (en) Method of controlling multistream output timing and control apparatus therefor
JP5771098B2 (en) COMMUNICATION CONTENT GENERATION DEVICE AND COMMUNICATION CONTENT GENERATION PROGRAM
KR101386031B1 (en) Apparatus and method for providing image in an image system
KR101682978B1 (en) Precision Time Protocol .
RU2513722C1 (en) Method for displaying audiovisual series on screen of mobile communication terminal, primarily relating to one event, formed by capturing with multiple cameras and user reproducing device - mobile communication terminal for realising said method
JP2005223821A (en) Multistream reproduction system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant