KR20230058919A - 멀티뷰 서비스를 위한 다중 입력 영상 동기화 방법 및 시스템 - Google Patents

멀티뷰 서비스를 위한 다중 입력 영상 동기화 방법 및 시스템 Download PDF

Info

Publication number
KR20230058919A
KR20230058919A KR1020210142745A KR20210142745A KR20230058919A KR 20230058919 A KR20230058919 A KR 20230058919A KR 1020210142745 A KR1020210142745 A KR 1020210142745A KR 20210142745 A KR20210142745 A KR 20210142745A KR 20230058919 A KR20230058919 A KR 20230058919A
Authority
KR
South Korea
Prior art keywords
view
time
input
sub
images
Prior art date
Application number
KR1020210142745A
Other languages
English (en)
Other versions
KR102555481B1 (ko
Inventor
신재섭
류성걸
손세훈
박광우
김윤호
Original Assignee
주식회사 픽스트리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 픽스트리 filed Critical 주식회사 픽스트리
Priority to KR1020210142745A priority Critical patent/KR102555481B1/ko
Publication of KR20230058919A publication Critical patent/KR20230058919A/ko
Application granted granted Critical
Publication of KR102555481B1 publication Critical patent/KR102555481B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

멀티뷰 서비스를 위한 다중 입력 영상 동기화 방법 및 시스템을 개시한다.
본 실시예는 절대 시간을 기준으로 영상 간의 동기화를 수생하는 것이 아니라 상대 시간을 기준으로 영상간 동기화를 수행하여 네트워크 딜레이나 송출 지연이 발생하는 환경에서 시간이 동기화된 멀티뷰 서비스를 제공할 수 있도록 하는 멀티뷰 서비스를 위한 동기화 방법 및 시스템을 제공한다.

Description

멀티뷰 서비스를 위한 다중 입력 영상 동기화 방법 및 시스템{Method And System for Synchronizing Video for Multi-View Service}
본 발명의 일 실시예는 멀티뷰 서비스를 위한 다중 입력 영상 동기화 방법 및 시스템에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
최근 5G 네트워크 기술의 발전으로 보다 많은 양의 데이터를 보다 더 빠르게 전송하는 것들이 가능해지며 여러 대용량의 미디어를 제공하는 서비스들이 증가하고 있다. 특히 다양한 사용자 경험을 제공하는 멀티뷰 서비스는 5G를 대표하는 서비스로 자리매김하고 있다.
전술한 멀티뷰 서비스는 여러 영상들을 하나의 서비스로써 제공하기 때문에 영상 간의 동기화가 맞지 않으면 서비스 품질이 크게 저하될 수 있다.
하지만, 대부분의 멀티뷰 서비스 방식이 입력 영상들을 플레이어에서 각각 스트리밍하여 재생하기 때문에 영상 간의 동기화를 맞추기가 어렵다. 특히 송출 시스템 다양성으로 인해 별도의 시간 정보를 얻기가 어려운 경우가 많고 네트워크의 지연 및 불가피한 송출 지연 등의 상황에 반응하여 영상 간 동기를 정확하게 맞추기란 거의 불가능하다.
따라서, 타일 인코딩 기술을 활용하여 입력 영상을 하나의 영상으로 병합하고 병합하는 과정에서 입력 영상 간의 동기화를 맞추는 기술을 필요로 한다.
본 실시예는 절대 시간을 기준으로 영상 간의 동기화를 수생하는 것이 아니라 상대 시간을 기준으로 영상간 동기화를 수행하여 네트워크 딜레이나 송출 지연이 발생하는 환경에서 시간이 동기화된 멀티뷰 서비스를 제공할 수 있도록 하는 멀티뷰 서비스를 위한 동기화 방법 및 시스템을 제공하는 데 목적이 있다.
본 실시예의 일 측면에 의하면, 복수의 장치로부터 상대적인 시간 기준의 복수의 입력 영상을 입력받는 실시간 입력 플랫폼; 상기 입력 영상 중 상대적인 시간으로 송출되어 서로 다른 타임 딜레이를 갖는 상기 복수의 입력 영상 내에서 동일한 특징을 기준으로 동기화를 수행하기 위한 오프셋 값을 산출하는 멀티뷰 매니저 서버; 상기 복수의 입력 영상에 상기 오프셋 값을 적용하여 동일한 타임 스탬프를 갖는 상태로 인코딩한 인코딩 영상을 송출하는 멀티뷰 인코더; 상기 인코딩 영상을 병합하여 멀티뷰 영상을 생성하는 멀티뷰 병합기; 상기 멀티뷰 영상을 스트리밍하는 스트리밍 서버;를 포함하는 것을 특징으로 하는 멀티뷰 서비스를 위한 다중 입력 영상 동기화 시스템을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 절대 시간을 기준으로 영상 간의 동기화를 수생하는 것이 아니라 상대 시간을 기준으로 다중 입력 영상간 동기화를 수행하여 네트워크 딜레이나 송출 지연이 발생하는 환경에서 시간이 동기화된 멀티뷰 서비스를 제공할 수 있도록 하는 효과가 있다.
본 실시예에 의하면, 멀티뷰 서비스를 위한 입력 영상 간 동기화를 맞추기 위한 방법으로 타일 인코딩 및 병합 기술과 타임스탬프 조절, 프레임 보간 및 병합 영상 모니터링 기법을 이용하여 네트워크 지연이나 불가피한 송출 지연 등으로 인해 발생하는 영상 간 동기 차이를 조절하며 1프레임 단위까지 정확한 동기를 제공하는 효과가 있다.
본 실시예에 의하면, 멀티뷰 서비스에서 정확한 영상 간 동기화를 제공함으로써 사용자에게 높은 서비스 품질을 제공할 수 있는 효과가 있다.
도 1은 본 실시예에 따른 멀티뷰 시스템 구조를 나타낸 도면이다.
도 2는 본 실시예에 따른 멀티뷰 서비스 동기화를 위한 모니터링을 나타낸 도면이다.
도 3은 본 실시예에 따른 시간 직접 입력으로 멀티뷰 서비스의 시간 동기화 조절하는 방법을 설명하기 위한 도면이다.
도 4,5,6은 본 실시예에 따른 동일 프레임 선택으로 멀티뷰 서비스의 시간 동기화 조절하는 방법을 설명하기 위한 도면이다.
도 7은 본 실시예에 따른 멀티뷰 서비스의 시간 동기화 흐름을 나타낸 도면이다.
도 8a,8b는 본 실시예에 따른 멀티뷰 화면을 나타낸 예시도이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 실시예에 따른 멀티뷰 시스템 구조를 나타낸 도면이다.
멀티뷰 시스템(100)은 복수의 입력 소스를 받아서 한 개의 환경을 기준으로 복수의 입력 소스를 모두 합쳐서 멀티뷰로 출력할 때, 복수의 입력 소스에 대한 시간 동기화를 수행한다. 멀티뷰 시스템(100)은 복수의 입력 소스를 하나로 합칠 때, 각 프레임마다 딜레이 없이 멀티뷰로 출력하도록 두 가지 방식을 제공한다.
본 실시예에 따른 멀티뷰 시스템(100)은 타일 인코딩 기술을 활용하여 입력 영상을 하나의 영상으로 병합하고 병합하는 과정에서 입력 영상 간의 동기화를 맞춘다.
멀티뷰 시스템(100)은 영상을 기준으로 자동으로 동기화 또는 수동 동기화를 수행한다. 멀티뷰 시스템(100)은 영상 기준 자동 동기화를 수행하기 위해, 입력 영상을 특정 위치의 패턴, 시간, 로고 등을 분석한다. 멀티뷰 시스템(100)은 영상 기준 자동 동기화 방식으로 복수의 입력 영상에서 동일한 프레임(특정 위치의 패턴, 시간, 로고)을 인식시켜서 동기화한다.
멀티뷰 시스템(100)은 복수의 장치로부터 각각 인코딩된 복수의 영상을 입력받을 때, 전송 속도에 따라 복수의 영상이 모두 상이한 타임딜레이를 가지므로 서로 다른 도착 시간으로 입력받는다.
복수의 장치는 초기 영상을 송출할 때, 특정 패턴을 출력한다. 복수의 장치(예컨대, 카메라)는 방송 출력 전 또는 방송 중에 특정 패턴을 출력하여, 멀티뷰 시스템(100)에서 특정 패턴들을 자동으로 분석해서 동기화를 수행할 수 있다.
다시 말해, 복수의 장치(예컨대, 카메라)는 특정 패턴을 복수의 프레임에 계속 연속해서 출력하는데, 한 영상 소스마다 복수 개의 프레임 패턴들이 프레임을 동일한 영상 패턴들이 표시가 된다. 멀티뷰 시스템(100)은 복수의 장치로부터 서로 특정 패턴을 수신한 후 복수의 특정 패턴에 포함된 타임, 숫자(프레임 수)을 확인하여 동기화 시킨다. 멀티뷰 시스템(100)은 복수의 장치로부터 절대 시간이 아닌 상대적 시간으로 영상 소스를 입력받으면, 특정 패턴마다 포함된 시간, 색깔 변경 시점(빨간색이 파란색으로 바뀌는 시점)을 확인한 후 시간차를 기반으로 영상간 동기화를 수행한다.
멀티뷰 시스템(100)은 복수의 장치로부터 입력받은 입력 영상에 대한 수동으로 동기화를 수행할 수 있다. 멀티뷰 시스템(100)은 복수의 장치로부터 입력받은 입력 영상에 화면으로 출력하여 사용자가 눈으로 보면서 동기화를 맞출 수 있도록 한다.
멀티뷰 시스템(100)은 오디오의 기준으로 자동으로 동기화 또는 수동 동기화를 수행한다. 멀티뷰 시스템(100)은 복수의 장치로부터 입력 영상을 수신한 후 입력 영상에 포함된 오디오 특정 파형을 확인한다. 멀티뷰 시스템(100)은 입력 영상에 포함된 특정 시간대에 발생하는 오디오 특정 파형을 비교하여 동일한 시간대로 인지하여 영상간 동기화를 수행한다.
본 실시예에 따른 멀티뷰 시스템(100)은 실시간 입력 플랫폼(110), 멀티뷰 인코더(120), 멀티뷰 매니저 서버(130), 멀티뷰 병합기(140), 스트리밍 서버(150), 멀티뷰 플레이어(160)를 포함한다. 멀티뷰 시스템(100)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
실시간 입력 플랫폼(110)은 복수의 장치로부터 입력 영상들을 입력받는다. 실시간 입력 플랫폼(110)은 복수의 장치부터 입력 영상을 수신한 후 입력 영상을 배포한다. 실시간 입력 플랫폼(110)은 복수의 장치로부터 복수의 입력 영상을 상대적인 시간으로 기준으로 입력받는다.
멀티뷰 인코더(120)는 실시간 입력 플랫폼(110)으로부터 수신된 입력 영상에 타일 인코딩 및 영상 간 동기를 위한 타임스탬프 설정한다. 멀티뷰 인코더(120)는 각 입력 영상을 받아 정해진 형식에 따라 타일 인코딩하여 멀티뷰 병합기(140)로 전송한다. 멀티뷰 인코더(120)는 복수의 장치로부터 수신된 입력 영상의 시간을 시간 재조정한 후 동기화하여 인코딩한 데이터를 생성한다.
멀티뷰 인코더(120)는 전달받은 시간 오프셋 값을 입력 스트림의 타임스탬프에 적용하고 필터에서 적용된 오프셋 만큼의 벌어진 프레임을 직전 프레임과 동일한 프레임으로 보간하여 생성한다. 멀티플렉서는 전달받은 스트림의 타임스탬프에 멀티뷰 서비스 시작 시의 UTC 시간을 더하여 스트리밍 서버(150)에서 캐시로 인해 이전 스트림이 재생되는 문제를 보완한다.
멀티뷰 인코더(120)는 복수의 입력 영상에 오프셋 값을 적용하여 동일한 타임 스탬프를 갖는 상태로 인코딩한 인코딩 영상을 송출한다.
멀티뷰 매니저 서버(130)는 멀티뷰 인코더(120) 및 멀티뷰 병합기(140)와 연동하면서 서비스 운영 및 동기화 모니터링 및 조절을 수행한다.
멀티뷰 매니저 서버(130)는 메인 장치로부터 수신된 입력 영상을 기준으로 베이스 타임을 결정한다. 멀티뷰 매니저 서버(130)는 메인 장치로부터 수신된 입력 영상의 시간값을 기준으로 제2 서브 장치 내지 제N 서브 장치로부터 수신된 입력 영상의 시간값을 차이를 오프셋값으로 계산한다.
멀티뷰 매니저 서버(130)는 제2 서브 장치 내지 제N 서브 장치로부터 수신된 입력 영상마다 오프셋값을 적용하여 베이스 타임을 동일하게 결정한다. 멀티뷰 인코더(120)는 메인 장치를 기준으로 제2 서브 장치 내지 제N 서브 장치로부터 수신된 입력 영상의 베이스 타임을 동일하게 맞춘 상태로 인코딩을 수행한다.
멀티뷰 매니저 서버(130)는 입력 영상들의 오디오 파형을 이미지화하고 같은 이미지를 찾고 이미지 간의 차이를 기준으로 시간 오프셋을 계산한다. 멀티뷰 매니저 서버(130)는 계산된 각 영상 간의 시간 차이를 멀티뷰 인코더(120)로 전달한다. 멀티뷰 인코더(120)는 멀티뷰 매니저 서버(130)로부터 수신된 값만큼의 오프셋을 입력 영상의 타임스탬프에 적용한다.
멀티뷰 매니저 서버(130)는 상대적인 시간 따른 서로 다른 타임 딜레이를 갖는 복수의 입력 영상 내에서 동일한 특징을 기준으로 동기화를 수행하기 위한 오프셋 값을 산출한다.
멀티뷰 매니저 서버(130)는 복수의 입력 영상 내에서 영상을 기반으로 동기화를 수행할 때, 복수의 입력 영상 중 특정 패턴, 시간, 숫자, 프레임수, 로고, 장면 전환 프레임 중 어느 하나를 선정한 특정 프레임을 선정한다. 멀티뷰 매니저 서버(130)는 복수의 입력 영상 내에 특정 프레임과 동일한 프레임을 인식하여 동기화하기 위한 오프셋 값을 산출한다.
멀티뷰 매니저 서버(130)는 복수의 입력 영상 내에서 오디오를 기반으로 동기화를 수행할 때, 복수의 입력 영상에 포함된 특정 오디오 파형을 확인한다. 멀티뷰 매니저 서버(130)는 특정 오디오 파형을 기준으로 복수의 입력 영상 내에 특정 오디오 파형을 갖는 특정 프레임을 선정한다. 멀티뷰 매니저 서버(130)는 복수의 입력 영상 내에 특정 프레임과 동일한 프레임을 인식하여 동기화하기 위한 오프셋 값을 산출한다.
멀티뷰 매니저 서버(130)는 복수의 장치를 화면상에 각 행에 표시하고, 복수의 장치 각각으로부터 입력받은 입력 영상의 프레임을 열로 표시하여 출력하며, 입력 영상의 프레임 중 특정 프레임을 선정하여 출력한다.
멀티뷰 매니저 서버(130)는 복수의 장치 중 메인 장치로부터 수신된 입력 영상의 시간값을 기준으로 결정하고, 기준값을 기반으로 복수의 장치 중 제2 서브 장치 내지 제N 서브 장치로부터 수신된 입력 영상의 시간값과의 차이를 오프셋값으로 계산한다.
멀티뷰 매니저 서버(130)는 복수의 장치 중 메인 장치로부터 수신된 입력 영상의 시간값 기준으로 오프셋값을 적용한 베이스 타임을 결정한다. 멀티뷰 매니저 서버(130)는 메인 장치에 대응하는 베이스 타임을 기준으로 복수의 장치 중 제2 서브 장치 내지 제N 서브 장치로부터 수신된 입력 영상의 시간값에 오프셋값을 적용하여 메인 장치에 대응하는 베이스 타임과 동일한 베이스 타임을 갖도록 한다.
멀티뷰 매니저 서버(130)는 멀티뷰 매니저 서버에 의해서 메인 장치로 정해진 장치로부터 수신된 입력 영상의 시간값인 T1을 기준으로 한 오프셋값인 Sync1을 산출한다. 멀티뷰 매니저 서버(130)는 메인 장치로부터 수신된 입력 영상의 시간값인 T1에 오프셋값인 Sync1을 적용하여 메인 장치에 대응하는 베이스 타임인 B1을 결정한다.
멀티뷰 매니저 서버(130)는 제2 서브 장치 내지 제N 서브 장치로부터 수신된 입력 영상의 시간값인 T2 내지 Tn마다 메인 장치에 대응하는 베이스 타임과 동일한 베이스 타임을 갖도록 하는 오프셋값인 Sync2 내지 SyncN을 각각 산출한다. 멀티뷰 매니저 서버(130)는 제2 서브 장치 내지 제N 서브 장치로부터 수신된 입력 영상의 시간값인 T2 내지 Tn에 오프셋값인 Sync2 내지 SyncN을 적용하여 제2 서브 장치 내지 제N 서브 장치에 대응하는 베이스 타임인 B2 내지 BN을 결정한다.
멀티뷰 매니저 서버(130)는 메인 장치에 대응하는 베이스 타임인 B1, 제2 서브 장치 내지 제N 서브 장치에 대응하는 베이스 타임인 B2 내지 BN에 각 장치의 필터값 F1 내지 FN을 적용한다.
멀티뷰 매니저 서버(130)는 메인 장치에 대응하는 베이스 타임인 B1, 제2 서브 장치 내지 제N 서브 장치에 대응하는 베이스 타임인 B2 내지 BN에 각 장치의 필터값 F1 내지 FN과 현재 시간(Current Time)을 적용 먹스한다.
멀티뷰 병합기(140)는 멀티뷰 인코더(120)로부터 수신된 타임스탬프가 설정된 복수의 입력 영상을 하나로 병합한다. 멀티뷰 병합기(140)는 멀티뷰 인코더(120)들부터 전송받은 영상들을 시간 기준으로 동기화하여 병합한 후 병합된 멀티뷰 영상을 스트리밍 서버(150)로 송출한다. 멀티뷰 병합기(140)는 시간을 동기화하여 동일한 시간에 있는 프레임으로 묶어서 타일을 생성한다.
멀티뷰 병합기(140)는 일정한 타임스탬프 흐름대로 영상을 전달받기 때문에 병합 시 문제가 없고 프레임이 보간된 만큼 병합된 영상의 동기를 조절한다. 멀티뷰 병합기(140)는 동기 조절 시 순간적으로 멀티뷰 인코더(120)의 필터 초기화나 동기를 맞추기 위한 프레임이 존재하지 않을 것을 대비하여 초기에 일정 시간 버퍼링을 수행한다.
멀티뷰 병합기(140)는 인코딩 영상을 병합하여 멀티뷰 영상을 생성한다.
스트리밍 서버(150)는 멀티뷰 병합기(140)로부터 수신된 하나로 병합된 입력 영상을 CDN 서비스한다. 스트리밍 서버(150)는 멀티뷰 영상을 스트리밍한다. 멀티뷰 플레이어(160)는 스트리밍 서버(150)로부터 하나로 병합된 입력 영상을 수신하여 멀티뷰 서비스로 출력한다.
도 2는 본 실시예에 따른 멀티뷰 서비스 동기화를 위한 모니터링을 나타낸 도면이다.
도 2에 도시된 바와 같이, 멀티뷰 시스템(100)은 복수의 장치로부터 입력받은 입력 영상을 화면 상에 출력한다. 멀티뷰 시스템(100)은 복수의 장치를 화면상에 각 행에 표시하고, 각 장치별 프레임을 열로 표시하여 출력한다.
도 2에 도시된 바와 같이, 멀티뷰 시스템(100)은 메인 장치로부터 제1,2,3,4,5 프레임 순서로 입력받는다. 멀티뷰 시스템(100)은 메인 장치와 동시에 제1 서브 장치로부터 제3,4,5,6,7 프레임 순서로 입력받는다. 동시에 멀티뷰 시스템(100)은 메인 장치, 제1 서브 장치와 동시에 제2 서브 장치로부터 제5,6,7,8,9 프레임 순서로 입력받는다. 동시에 멀티뷰 시스템(100)은 메인 장치, 제1 서브 장치, 제2 서브 장치와 동시에 제3 서브 장치로부터 제1,2,3,4,5 프레임 순서로 입력받는다. 동시에 멀티뷰 시스템(100)은 메인 장치, 제1 서브 장치, 제2 서브 장치와 동시에 제3 서브 장치로부터 제1,2,3,4,5 프레임 순서로 입력받는다. 동시에 멀티뷰 시스템(100)은 메인 장치, 제1 서브 장치, 제2 서브 장치, 제3 서브 장치와 동시에 제4 서브 장치로부터 제2,3,4,5,6 프레임 순서로 입력받는다.
도 3은 본 실시예에 따른 시간 직접 입력으로 멀티뷰 서비스의 시간 동기화 조절하는 방법을 설명하기 위한 도면이다.
멀티뷰 매니저 서버(130)는 멀티뷰 병합기(140)로부터 송출되는 병합된 영상을 1xN 화면으로 재배열하여 저장하고 지정한 시간만큼의 프레임 별 이미지를 추출한다. 멀티뷰 병합기(140)는 지정한 시간만큼의 프레임 별 이미지를 멀티뷰 매니저 서버(130)로 전달하고 멀티뷰 시스템 관리 Web UI 페이지 상에 표출한다. 서비스 운영자 단말기를 이용하여 멀티뷰 매니저 서버(130)에 접속한 후 UI 상 표출되는 이미지를 보며 현재 병합된 멀티뷰 영상의 프레임 별 동기를 확인할 수 있다.
도 3에 도시된 바와 같이, 멀티뷰 시스템(100)은 메인 장치, 제1 서브 장치, 제2 서브 장치, 제3 서브 장치로부터 수신된 입력 영상에 타입 오프셋을 적용할 수 있다. 관리자 멀티뷰 시스템(100)에서 출력하는 메인 장치, 제1 서브 장치, 제2 서브 장치, 제3 서브 장치로부터 수신된 입력 영상 마다 발생하는 프레임 차이를 확인 한다. 관리자는 멀티뷰 시스템(100)에서 메인 장치로부터 수신된 입력 영상을 기준으로 제1 서브 장치, 제2 서브 장치, 제3 서브 장치로부터 수신된 영상 영상마다의 시간 정보마다 오프셋 값을 적용하여 시간 값을 보정한다.
예컨대, 멀티뷰 시스템(100)은 메인 장치로부터 수신된 제5 프레임을 기준 프레임으로 선택한다. 멀티뷰 시스템(100)은 제1 서브 장치로부터 수신된 입력 영상에 - 2를 적용하고, 제2 서브 장치로부터 수신된 입력 영상에 -4, 제3 서브 장치로부터 수신된 입력 영상에 -0, 제4 서브 장치로부터 수신된 입력 영상에 -1을 적용한다.
멀티뷰 시스템(100)은 메인 장치로부터 수신된 제5 프레임의 베이스 타임을 T1 + Sync1으로 정의하면, 제1 서브 장치로부터 수신된 입력 영상에 - 2를 적용하고, 제2 서브 장치로부터 수신된 입력 영상에 -4, 제3 서브 장치로부터 수신된 입력 영상에 -0, 제4 서브 장치로부터 수신된 입력 영상에 -1을 적용하는 형태로 오프셋 값을 더해준다.
도 4,5,6은 본 실시예에 따른 동일 프레임 선택으로 멀티뷰 서비스의 시간 동기화 조절하는 방법을 설명하기 위한 도면이다.
서비스 운영자는 멀티뷰 매니저 서버(130)에 접속한 단말기를 이용하여 시간을 직접 입력하거나 동기를 맞추기 위한 장면들을 선택한다.
멀티뷰 매니저 서버(130)는 직접 입력된 시간 또는 동기를 맞추기 위한 장면이 입력되면, 메인 스트림을 기준으로 선택된 각 영상 간의 시간 차이를 영상의 프레임 레이트와 프레임 간격을 기준으로 계산하여 적용한다.
멀티뷰 매니저 서버(130)는 멀티뷰 인코더(120)로 계산된 각 영상 간의 시간 차이를 전송한다. 멀티뷰 인코더(120)는 계산된 각 영상 간의 시간 차이를 수신하고, 수신된 값만큼의 오프셋을 입력 영상의 타임스탬프에 적용한다.
멀티뷰 시스템(100)은 메인 장치로부터 수신된 제5 프레임(장면이 전환되는 프레임)을 기준 프레임으로 선택한다.
도 4,5,6에 도시된 바와 같이, 멀티뷰 시스템(100)은 메인 장치를 기준으로 선택된 제5 프레임(장면이 전환되는 프레임)을 기준으로 제1 서브 장치, 제2 서브 장치, 제3 서브 장치로부터 수신된 입력 영상에 동일한 프레임이라고 인식되는 제5 프레임(장면이 전환되는 프레임)을 선택한 후, 해당 프레임을 기준으로 동기화를 적용할 수 있다.
도 4,5,6에 도시된 바와 같이, 멀티뷰 시스템(100)은 복수의 장치로부터 입력받은 입력 영상을 화면 상의 각 행이 입력 소스(프레임)로 출력한다.
멀티뷰 매니저 서버(130)는 입력 영상들의 특정 위치의 패턴(색, 시간, 로고 등)을 분석하여 동일한 패턴에 해당하는 영상의 이미지를 찾고 이미지 간의 차이를 기준으로 시간 오프셋을 계산한다. 멀티뷰 매니저 서버(130)는 계산된 각 영상 간의 시간 차이는 멀티뷰 인코더(120)로 전달한다. 멀티뷰 인코더(120)는 멀티뷰 매니저 서버(130)로부터 수신된 값만큼의 오프셋을 입력 영상의 타임스탬프에 적용한다.
도 7은 본 실시예에 따른 멀티뷰 서비스의 시간 동기화 흐름을 나타낸 도면이다.
멀티뷰 시스템(100)은 메인 장치로부터 수신된 입력 영상을 기준으로 베이스 타임이 T1 + Sync1이 된다. 여기서, T1은 메인 장치로부터 수신된 입력 영상의 시간값이며, T2, T3, T4, T5, T6, T7은 제2 서브 장치 내지 제6 서브 장치로부터 수신된 입력 영상의 시간값을 의미한다.
Sync1은 메인 장치로부터 수신된 입력 영상의 시간 T1을 기준으로 한 오프셋값이므로 사실상 0의 값을 갖는다. Sync2, Sync3, Sync4, Sync5, Sync6, Sync7은 제2 서브 장치 내지 제6 서브 장치로부터 수신된 입력 영상의 시간값과 메인 장치로부터 수신된 입력 영상의 시간 T1에 대한 오프셋 값을 갖는다.
멀티뷰 시스템(100)은 복수의 입력 장치로부터 수신된 복수의 입력(T1, T2, T3, T4, T5, T6, T7)이 다 다르기 때문에, 특정 장치의 베이스 타임을 기준으로 나머지 장치의 베이스 타임(T1 + Sync1, T2 + Sync2, T3 + Sync3, T4 + Sync4, T5 + Sync5, T6 + Sync6, T7 + Sync7)을 다시 계산한다.
멀티뷰 시스템(100)은 메인 장치로부터 수신된 입력 영상의 시간 T1을 기준으로 하기 때문에 Sync1은 사실상 0의 값을 갖는다. 나머지 제2 서브 장치 내지 제6 서브 장치로부터 수신된 입력 영상의 시간 T1 내지 T7에 Sync1(0값)을 기준으로 차이값을 적용한다.
멀티뷰 시스템(100)은 복수의 입력 장치로부터 수신된 복수의 입력에 따른 베이스 타임(B1:T1 + Sync1, B2:T2 + Sync2, B3:T3 + Sync3, B4:T4 + Sync4, B5:T5 + Sync5, B6:T6 + Sync6, B7:T7 + Sync7)에 베이스 타임(B1, B2, B3, B4, B5, B6, B7)을 기준으로 각 장치의 필터값(F1, F2, F3, F4, F5, F6, F7)을 적용(B1+F1, B2+F2, B3+F3, B4+F4, B5+F5, B6+F6, B7+F7) 한다.
멀티뷰 시스템(100)은 복수의 입력 장치로부터 수신된 복수의 입력마다 현재 시간을 적용(B1+F1+CurrentTime, B2+F2+CurrentTime, B3+F+CurrentTime3, B4+F4+CurrentTime, B5+F5+CurrentTime, B6+F6+CurrentTime, B7+F7+CurrentTime)하여 먹스한다.
도 8a,8b는 본 실시예에 따른 멀티뷰 화면을 나타낸 예시도이다.
멀티뷰 시스템(100)은 공연, 스포츠 경기 실황 중계, 각자 생성한 동영상 스트리밍 데이터에서 정교하게 동기화하여 화면을 송출할 수 있다.
멀티뷰 시스템(100)은 사이즈 큰 고해상도 영상들을 합쳐진 후 다시 크롭하여 인코딩하고 다음에 합치는 경우 타임 싱크가 하나 더 어긋나면 스포츠 경기 실황 중계에서 정상적으로 시청이 어렵게된다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 멀티뷰 시스템
110: 실시간 입력 플랫폼
120: 멀티뷰 인코더
130: 멀티뷰 매니저 서버
140: 멀티뷰 병합기
150: 스트리밍 서버
160: 멀티뷰 플레이어

Claims (9)

  1. 복수의 장치로부터 상대적인 시간 기준의 복수의 입력 영상을 입력받는 실시간 입력 플랫폼;
    상기 입력 영상 중 상대적인 시간으로 송출되어 서로 다른 타임 딜레이를 갖는 상기 복수의 입력 영상 내에서 동일한 특징을 기준으로 동기화를 수행하기 위한 오프셋 값을 산출하는 멀티뷰 매니저 서버;
    상기 복수의 입력 영상에 상기 오프셋 값을 적용하여 동일한 타임 스탬프를 갖는 상태로 인코딩한 인코딩 영상을 송출하는 멀티뷰 인코더;
    상기 인코딩 영상을 병합하여 멀티뷰 영상을 생성하는 멀티뷰 병합기;
    상기 멀티뷰 영상을 스트리밍하는 스트리밍 서버;
    를 포함하는 것을 특징으로 하는 멀티뷰 서비스를 위한 다중 입력 영상 동기화 시스템.
  2. 제1항에 있어서,
    상기 멀티뷰 매니저 서버는,
    상기 복수의 입력 영상 내에서 영상을 기반으로 동기화를 수행할 때, 상기 복수의 입력 영상 중 특정 패턴, 시간, 숫자, 프레임수, 로고, 장면 전환 프레임 중 어느 하나를 선정한 특정 프레임을 선정하고, 상기 복수의 입력 영상 내에 상기 특정 프레임과 동일한 프레임을 인식하여 동기화하기 위한 오프셋 값을 산출하는 것을 특징으로 하는 멀티뷰 서비스를 위한 다중 입력 영상 동기화 시스템.
  3. 제1항에 있어서,
    상기 멀티뷰 매니저 서버는,
    상기 복수의 입력 영상 내에서 오디오를 기반으로 동기화를 수행할 때, 상기 복수의 입력 영상에 포함된 특정 오디오 파형을 확인하고, 상기 특정 오디오 파형을 기준으로 상기 복수의 입력 영상 내에 상기 특정 오디오 파형을 갖는 특정 프레임을 선정하고, 상기 복수의 입력 영상 내에 상기 특정 프레임과 동일한 프레임을 인식하여 동기화하기 위한 오프셋 값을 산출하는 것을 특징으로 하는 멀티뷰 서비스를 위한 다중 입력 영상 동기화 시스템.
  4. 제1항에 있어서,
    상기 멀티뷰 매니저 서버는,
    상기 복수의 장치를 화면상에 각 행에 표시하고, 상기 복수의 장치 각각으로부터 입력받은 상기 입력 영상의 프레임을 열로 표시하여 출력하며, 상기 입력 영상의 프레임 중 특정 프레임을 선정하여 출력하는 것을 특징으로 하는 멀티뷰 서비스를 위한 다중 입력 영상 동기화 시스템.
  5. 제1항에 있어서,
    상기 멀티뷰 매니저 서버는,
    상기 복수의 장치 중 메인 장치로부터 수신된 입력 영상의 시간값을 기준으로 결정하고, 상기 기준값을 기반으로 상기 복수의 장치 중 제2 서브 장치 내지 제N 서브 장치로부터 수신된 입력 영상의 시간값과의 차이를 오프셋값으로 계산하는 것을 특징으로 하는 멀티뷰 서비스를 위한 다중 입력 영상 동기화 시스템.
  6. 제1항에 있어서,
    상기 멀티뷰 매니저 서버는,
    상기 복수의 장치 중 메인 장치로부터 수신된 입력 영상의 시간값 기준으로 오프셋값을 적용한 베이스 타임을 결정하고, 상기 메인 장치에 대응하는 베이스 타임을 기준으로 상기 복수의 장치 중 제2 서브 장치 내지 제N 서브 장치로부터 수신된 입력 영상의 시간값에 오프셋값을 적용하여 상기 메인 장치에 대응하는 베이스 타임과 동일한 베이스 타임을 갖도록 하는 것을 특징으로 하는 멀티뷰 서비스를 위한 다중 입력 영상 동기화 시스템.
  7. 제6항에 있어서,
    상기 멀티뷰 매니저 서버는,
    상기 메인 장치로부터 수신된 입력 영상의 시간값인 T1을 기준으로 한 오프셋값인 Sync1을 산출하고, 상기 메인 장치로부터 수신된 입력 영상의 시간값인 T1에 상기 오프셋값인 Sync1을 적용하여 상기 메인 장치에 대응하는 베이스 타임인 B1을 결정하며,
    제2 서브 장치 내지 제N 서브 장치로부터 수신된 입력 영상의 시간값인 T2 내지 Tn마다 상기 메인 장치에 대응하는 베이스 타임과 동일한 베이스 타임을 갖도록 하는 오프셋값인 Sync2 내지 SyncN을 각각 산출하며, 상기 제2 서브 장치 내지 제N 서브 장치로부터 수신된 입력 영상의 시간값인 T2 내지 Tn에 상기 오프셋값인 Sync2 내지 SyncN을 적용하여 상기 제2 서브 장치 내지 제N 서브 장치에 대응하는 베이스 타임인 B2 내지 BN을 결정하는 것을 특징으로 하는 멀티뷰 서비스를 위한 다중 입력 영상 동기화 시스템.
  8. 제7항에 있어서,
    상기 멀티뷰 매니저 서버는,
    상기 메인 장치에 대응하는 베이스 타임인 B1, 상기 제2 서브 장치 내지 제N 서브 장치에 대응하는 베이스 타임인 B2 내지 BN에 각 장치의 필터값 F1 내지 FN을 적용하는 것을 특징으로 하는 멀티뷰 서비스를 위한 다중 입력 영상 동기화 시스템.
  9. 제7항에 있어서,
    상기 멀티뷰 매니저 서버는,
    상기 메인 장치에 대응하는 베이스 타임인 B1, 상기 제2 서브 장치 내지 제N 서브 장치에 대응하는 베이스 타임인 B2 내지 BN에 각 장치의 필터값 F1 내지 FN과 현재 시간(Current Time)을 적용 먹스하는 것을 특징으로 하는 멀티뷰 서비스를 위한 다중 입력 영상 동기화 시스템.
KR1020210142745A 2021-10-25 2021-10-25 멀티뷰 서비스를 위한 다중 입력 영상 동기화 방법 및 시스템 KR102555481B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210142745A KR102555481B1 (ko) 2021-10-25 2021-10-25 멀티뷰 서비스를 위한 다중 입력 영상 동기화 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210142745A KR102555481B1 (ko) 2021-10-25 2021-10-25 멀티뷰 서비스를 위한 다중 입력 영상 동기화 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20230058919A true KR20230058919A (ko) 2023-05-03
KR102555481B1 KR102555481B1 (ko) 2023-07-13

Family

ID=86380943

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210142745A KR102555481B1 (ko) 2021-10-25 2021-10-25 멀티뷰 서비스를 위한 다중 입력 영상 동기화 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102555481B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050022618A (ko) * 2003-08-29 2005-03-08 삼성전자주식회사 업다운 스케일링 영상 신호 처리 장치
KR20120084252A (ko) * 2011-01-19 2012-07-27 삼성전자주식회사 복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법
KR20130018170A (ko) * 2011-08-10 2013-02-20 한국전자통신연구원 고정 및 이동 융합형 ３ｄｔｖ에서 좌／우 스트림을 동기화하는 컨텐츠 제공 장치 및 방법, 그리고, 컨텐츠 재생 장치 및 방법
KR20140104969A (ko) * 2011-12-26 2014-08-29 소니 주식회사 비동기 네트워크를 통해 멀티미디어 콘텐츠를 동기 전송하는 장치 및 방법
KR101821145B1 (ko) * 2016-09-09 2018-01-23 주식회사 헤카스 영상 라이브 스트리밍 시스템
KR101988157B1 (ko) * 2018-01-26 2019-06-11 건국대학교 산학협력단 소리 파형을 이용한 다수 동영상 간 시간축 동기화 방법 및 장치
KR20190083905A (ko) * 2018-01-05 2019-07-15 주식회사 엘지유플러스 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050022618A (ko) * 2003-08-29 2005-03-08 삼성전자주식회사 업다운 스케일링 영상 신호 처리 장치
KR20120084252A (ko) * 2011-01-19 2012-07-27 삼성전자주식회사 복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법
KR20130018170A (ko) * 2011-08-10 2013-02-20 한국전자통신연구원 고정 및 이동 융합형 ３ｄｔｖ에서 좌／우 스트림을 동기화하는 컨텐츠 제공 장치 및 방법, 그리고, 컨텐츠 재생 장치 및 방법
KR20140104969A (ko) * 2011-12-26 2014-08-29 소니 주식회사 비동기 네트워크를 통해 멀티미디어 콘텐츠를 동기 전송하는 장치 및 방법
KR101821145B1 (ko) * 2016-09-09 2018-01-23 주식회사 헤카스 영상 라이브 스트리밍 시스템
KR20190083905A (ko) * 2018-01-05 2019-07-15 주식회사 엘지유플러스 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법
KR101988157B1 (ko) * 2018-01-26 2019-06-11 건국대학교 산학협력단 소리 파형을 이용한 다수 동영상 간 시간축 동기화 방법 및 장치

Also Published As

Publication number Publication date
KR102555481B1 (ko) 2023-07-13

Similar Documents

Publication Publication Date Title
US10341672B2 (en) Method and system for media synchronization
US20080122986A1 (en) Method and system for live video production over a packeted network
KR100482287B1 (ko) 디지털 데이터 방송을 위한 동기화 스트림 데이터 삽입장치 및 그 방법
US9462195B2 (en) System and method for distributed video and or audio production
JP7391936B2 (ja) 物理ディスプレイの代替画像コンテンツを異なる視聴者へ送信するための方法およびシステム
EP2866451A1 (en) Method and apparatus for IP video signal synchronization
JP2011083008A (ja) メディアサンプルを処理する方法
KR20180090719A (ko) 미디어 동기화 방법 및 시스템
US10595075B2 (en) Automatic timing of production devices in an internet protocol environment
CN109495760A (zh) 一种多组摄像头同步直播的方法
WO2020241308A1 (ja) 同期制御装置、同期制御方法及び同期制御プログラム
KR101834934B1 (ko) ３ｄ 이미지 데이터의 전송
CN106797342B (zh) 视频网络
KR102555481B1 (ko) 멀티뷰 서비스를 위한 다중 입력 영상 동기화 방법 및 시스템
CN104202589A (zh) 多通道立体电影视频同步播放方法
US20150296147A1 (en) Method of operating a video processing apparatus
KR100763441B1 (ko) 동기화된 다시점 입체 영상 전송 방법 및 그 시스템
JP6335913B2 (ja) 映像処理装置および同装置を操作する方法
JP6987567B2 (ja) 配信装置、受信装置及びプログラム
JP2002369163A (ja) マルチストリーム出力時刻制御方法及びその制御装置
JP5771098B2 (ja) 通信コンテンツ生成装置および通信コンテンツ生成プログラム
KR101386031B1 (ko) 영상 시스템에서 영상 제공 장치 및 방법
KR101682978B1 (ko) Precision Time Protocol를 이용한 영상 재생 동기화 시스템 및 방법
WO2022269723A1 (ja) 同期制御を行う通信システム、その同期制御方法、受信サーバ及び同期制御プログラム
RU2513722C1 (ru) Способ отображения на экране мобильного терминала связи аудиовизуального ряда, преимущественно относящегося к одному событию, сформированного при съемках несколькими камерами и пользовательское устройство воспроизведения - мобильный терминал связи для осуществления способа

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant