KR20220076761A

KR20220076761A - 복수의 미디어 소스를 동기화하여 통합 전송하는 시스템 및 그 방법

Info

Publication number: KR20220076761A
Application number: KR1020200165574A
Authority: KR
Inventors: 김동욱
Original assignee: 주식회사 마젠타컴퍼니
Priority date: 2020-12-01
Filing date: 2020-12-01
Publication date: 2022-06-08
Also published as: KR102445069B1

Abstract

본 발명은 복수의 미디어 소스를 동기화하여 통합 전송하는 시스템 및 그 방법에 관한 것으로, 서로 다른 장소에서 각각 독립적으로 생성되는 스포츠, 예술, 문화, 정치 또는 이들의 조합을 포함한 이벤트에 대한 미디어 소스를 각 채널별로 수신하고, 각 채널에 대해서 추적하여 확인한 지연 특징을 토대로 상기 수신한 각 미디어 소스를 동기화하고, 상기 동기화한 각 미디어 소스를 통합하여 수신 장치로 전송함으로써, 즉 수신자가 복수의 서로 다른 미디어 소스 간 지연의 차이 없이 시청할 수 있도록 하는 복수의 미디어 소스를 동기화하여 통합 전송하는 시스템 및 그 방법에 관한 것이다.

Description

복수의 미디어 소스를 동기화하여 통합 전송하는 시스템 및 그 방법{SYSTEM AND METHOD FOR INTEGRATED TRANSMISSION BY SYNCHRONIZING A PLURALITY OF MEDIA SOURCES}

본 발명은 복수의 미디어 소스를 동기화하여 통합 전송하는 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 서로 다른 장소에서 각각 독립적으로 생성되는 스포츠, 예술, 문화, 정치 또는 이들의 조합을 포함한 이벤트에 대한 미디어 소스를 각 채널별로 수신하고, 각 채널에 대해서 추적하여 확인한 지연 특징을 토대로 상기 수신한 각 미디어 소스를 동기화하고, 상기 동기화한 각 미디어 소스를 통합하여 수신 장치로 전송함으로써, 즉 수신자가 복수의 서로 다른 미디어 소스 간 지연의 차이 없이 시청할 수 있도록 하는 복수의 미디어 소스를 동기화하여 통합 전송하는 시스템 및 그 방법에 관한 것이다.

일반적으로 서로 다른 장소, 국가 등에서 스포츠, 예술, 문화, 정치 또는 이들의 조합을 포함한 다양한 이벤트가 동시에 분리되어 개최되고 있을 때, 상기 이벤트를 촬영한 각각의 미디어 소스를 동기화하여 시청자에게 제공하는 것이 필요하다.

하지만, 종래에는 서로 다른 장소, 국가 등에서 개최되는 이벤트를 개별적으로 화면, 자막 및 음향으로 분리하여 시청자에게 제공하거나, 돌아가면서 제공하였을 뿐, 네트워크 지연을 고려하여 각 미디어 소스를 동기화하고, 동기화된 각 미디어 소스를 시청자에게 실시간으로 제공하는 것이 어려웠다.

또한 종래에는 단순히 복수의 채널에 대해서 가장 지연이 많은 최악 지연 채널에 맞추어 다른 채널을 지연 혹은 버퍼링하는 방식으로 복수의 채널 간의 미디어를 동기화하였다.

하지만, 최악 지연 채널에 맞추어 다른 채널을 지연 혹은 버퍼링하게 되면 양호한 채널도 최악의 지연을 가진 채널에 지나치게 의존하게 되어, 전체적인 통신 품질이 나빠지는 문제가 있었다.

또한 종래에는 서로 다른 장소, 국가 등에서 개최되는 이벤트에 대한 각 미디어 소스를 통합하여 제공할 필요성이 그다지 대두되지 않았기 때문에, 이에 대해서 별도의 니즈가 없었던 것이 사실이다. 예를 들어, 동일 시간에 복수의 서로 다른 장소나 국가에서 스포츠 경기, 문화행사(전시회, 음악회 등), 정상회담 등이 진행되는 경우, 종래에는 별도의 편집을 통해서 서로 다른 장소나 국가에서 진행되는 이벤트 장면을 제공하였을 뿐, 네트워크 지연을 고려하여 각 미디어 소스의 동기를 맞추어 시청자에게 제공하지 못하는 실정이었다.

따라서 본 발명에서는 서로 다른 장소에서 각각 독립적으로 생성되는 각종 이벤트에 대한 미디어 소스를 각 채널별로 수신하고, 각 채널에 대해서 추적하여 확인한 지연 특징을 토대로 상기 수신한 각 미디어 소스를 동기화하고, 상기 동기화한 각 미디어 소스를 통합하여 수신 장치로 전송함으로써, 수신자가 복수의 서로 다른 미디어 소스 간 지연의 차이가 없이 각종 이벤트에 관련된 미디어를 시청할 수 있는 방안을 제시하고자 한다.

다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.

먼저 한국등록특허 제1934200호(2019.04.05.)는 미디어 동기화 방법 및 시스템에 관한 것으로, 다양한 콘텐츠 소스(content source)를 사용자단말로 실시간으로 제공함에 있어서, 제공되는 스트림을 동기화하여 제공하는 미디어 동기화 방법 및 시스템에 관한 것이다.

상기 선행기술은 서로 다른 종류의 복수의 촬영 장치들(예컨대, 액션 캠, 드론 캠 등) 각각에서 동일한 촬영 대상(예컨대, 객체 또는 장면)을 촬영하여 사용자 단말로 제공하는 경우에, 촬영 장치 별 하드웨어적 특성 차이, 코덱 특성 차이로 인한 지연, 그리고 복수의 촬영 장치들 각각에서 생성된 스트림 소스들을 복수의 사용자 단말들로 제공하는 과정에서 발생하는 지연을 고려하여 미디어 동기화를 수행하기 위한 미디어 동기화 방법 및 시스템에 대해 기재하고 있다.

하지만, 본 발명은 미디어 소스를 전송하는 각 채널에 대해서 지연 특징을 추적하여 확인하고, 상기 추적하여 확인한 지연 특징을 바탕으로 각 채널별로 수신한 미디어 소스를 동기화하고, 상기 동기화한 각 미디어 소스를 통합하여 미디어 수신 장치로 전송하는 것이므로 상기 선행기술과 본 발명은 현저한 구성상 차이점이 있다.

또한 한국공개특허 제2012-0084252호(2012.07.27.)는 복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법에 관한 것으로, 제1 실시간 전송 스트림을 방송망을 통해 수신하는 제1 수신부, 제2 실시간 전송 스트림을 통신망을 통해 수신하는 제2 수신부, 제1 및 제2 실시간 전송 스트림 중 적어도 하나를 지연(delay)시켜 동기화하는 지연 처리부, 제1 실시간 전송 스트림으로부터 제1 데이터를 검출하는 제1 검출부, 제2 실시간 전송 스트림으로부터 제2 데이터를 검출하는 제2 검출부, 제1 데이터 및 제2 데이터를 조합하여 멀티미디어 컨텐츠를 구성하는 신호 처리부 및 멀티미디어 컨텐츠를 재생하는 재생부를 포함하며, 이에 따라 안정적으로 멀티미디어 컨텐츠를 재생할 수 있도록 한다.

즉, 상기 선행기술은 하나의 멀티미디어 컨텐츠를 서로 다른 경로를 통해 송수신하는 수신 장치 및 송신 장치와 그 재생 방법에 대하여 기재하고 있다.

반면에 본 발명은, 미디어 소스를 전송하는 각 채널에 대해서 가장 지연이 많은 최악 지연 채널을 기준으로 다른 채널의 미디어 소스를 지연 혹은 버퍼링하여 각 채널 간에 해당 미디어를 동기화하는 것이 아니고, 각 채널에 대해서 추적하여 확인한 지연 특징을 바탕으로 각 채널별로 수신한 각각의 미디어 소스를 동기화하고, 상기 동기화한 각 미디어 소스를 통합하여 미디어 수신 장치로 전송하는 것이므로, 상기 선행기술과 본 발명은 기술적 구성의 차이점이 분명하다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 복수의 서로 다른 장소나 국가에서 진행되고 있는 스포츠, 예술, 문화, 정치 또는 이들의 조합을 포함한 각종 이벤트의 실황에 대한 각 미디어 소스를 동기화하고, 상기 동기화한 각 미디어 소스를 통합하여 수신자에게 전송할 수 있는 시스템 및 그 방법을 제공하는 것을 목적으로 한다.

또한 본 발명은 미디어 소스를 전송하는 각 채널에 대해서 가장 지연이 많은 최악 지연 채널(worst case delay channel)을 기준으로 다른 채널의 미디어 소스를 지연 혹은 버퍼링하여 각 채널 간에 해당 미디어를 동기화하는 것이 아닌, 각 채널에 대해서 지연 특징을 추적하여 확인하고, 상기 추적하여 확인한 지연 특징을 바탕으로 각 채널을 통해 수신한 미디어 소스를 동기화할 수 있는 시스템 및 그 방법을 제공하는 것을 다른 목적으로 한다.

상기 지연 특징은 미디어 제공장치, 수신장치 및 네트워크에 대한 시간별, 날짜별, 계절별 등에 대한 각 채널의 지연패턴을 기계학습하여 생성한 예측모델을 통해 각 채널의 지연을 예측하는 것으로, 상기 예측모델에 미디어를 송수신할 시점의 환경정보를 입력하면, 해당 입력을 바탕으로 예상되는 지연패턴을 추출하여 미리 해당 지연을 반영하여 미디어 소스를 동기화한다.

또한 본 발명은 각 채널별로 수신한 미디어 소스를 동기화하고, 상기 동기화한 각 미디어 소스를 통합하여 패킷으로 만들어 미디어 수신 장치로 전송하면, 미디어 수신 장치에서 상기 패킷을 동일한 전송 환경을 통해 수신함으로써, 미디어 소스 통합 전송 시스템과 미디어 수신 장치간의 네트워크 지연이나 방송 지연이 발생하더라도 각 미디어 소스 상호간의 지연 문제가 발생하지 않도록 하는 시스템 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.

또한 본 발명은 복수의 서로 다른 장소나 국가에서 진행되고 있는 다양한 이벤트에 대한 미디어 소스를 편집할 필요없이, 각 미디어 소스를 동기화한 후 동기화한 각 미디어 소스를 통합하여 수신자에게 실시간으로 제공할 수 있는 시스템 및 그 방법을 제공하는 것을 또 다른 목적으로 한다. 즉 본 발명은 동일 시간에 복수의 서로 다른 장소나 국가에서 진행되는 스포츠 경기, 문화행사(전시회, 음악회 등), 정상회담 등에 대한 장면을 수신자에게 제공하고자 하는 경우, 화면분할을 포함한 별도의 편집을 통해서 제공하는 것이 아니라, 별도의 편집 과정 없이 각 미디어 소스를 동기화하여 통합 전송할 수 있도록 한다.

본 발명의 일 실시예에 따른 복수의 미디어 소스를 동기화하여 통합 전송하는 시스템은, 서로 다른 장소에서 독립적으로 생성되는 미디어 소스를 각각의 채널을 통해 수신하는 미디어 수신부; 상기 수신한 각 미디어 소스에 대해 지연보상을 수행하고, 상기 지연보상을 수행한 각 미디어 소스를 동기화하는 동기화부; 및 상기 동기화한 각 미디어 소스를 통합하여 전송하는 통합 전송부;를 포함하며, 상기 동기화한 각 미디어 소스를 통합하여 미디어 수신 장치로 전송함으로써, 수신자가 복수의 서로 다른 미디어 소스 간 지연의 차이가 없이 시청할 수 있도록 하는 것을 특징으로 한다.

또한 상기 통합 전송부는, 상기 동기화한 각 미디어 소스를 통합하여 패킷으로 만들어 상기 미디어 수신 장치로 전송하는 것을 더 포함하며, 상기 미디어 수신 장치에서 수신한 상기 패킷은 동일한 전송 환경을 통해서 수신된 것으로서, 상기 시스템과 상기 미디어 수신 장치간의 네트워크 지연이 발생하여도 상기 각 미디어 소스 간의 지연 문제가 발생하지 않는 것을 특징으로 한다.

또한 상기 시스템은, 상기 미디어 소스를 수신하는 각각의 채널에 대한 지연상태를 감시하는 지연 감시부; 상기 감시한 각 채널의 지연에 대해서 상기 지연이 반복되는 패턴을 추출하는 지연패턴 추출부; 및 상기 추출한 패턴을 통해 시간 변화에 따른 각 채널별 지연을 예측하는 지연 예측부;를 더 포함하는 것을 특징으로 한다.

이때 상기 패턴은, 상기 지연의 시간에 따른 변화의 추세에 대한 반복되는 패턴으로서, 기계학습하여 예측모델을 기 저장하고 있으며, 상기 지연을 예측하는 것은, 상기 지연이 발생하는 단위시간당 변화율을 계산하고, 상기 계산한 변화율을 상기 예측모델에 입력하여 장래에 어떻게 변화할지를 예측함으로써, 수행되는 것을 특징으로 한다.

또한 상기 동기화부는, 상기 지연 예측부에서 예측한 각 채널별 지연을 토대로 각 채널별 버퍼링 시간을 결정하고, 상기 결정한 각 채널별 버퍼링 시간을 토대로 상기 미디어 수신부를 통해 수신한 각 미디어 소스에 대한 버퍼링을 수행하여 지연의 편차를 보상하며, 상기 버퍼링을 수행한 각 미디어 소스를 동기화하는 것을 더 포함하며, 상기 각 채널별 버퍼링 시간을 결정하는 것은, 각 채널별 상황의 변화에 따라 주기적으로 수행될 수 있으며, 상기 지연의 편차는, 상기 각 채널마다 발생한 지연의 차이인 것을 특징으로 한다.

아울러, 본 발명의 일 실시예에 따른 복수의 미디어 소스를 동기화하여 통합 전송하는 방법은, 미디어 소스 통합 전송 시스템에서, 서로 다른 장소에서 독립적으로 생성되는 미디어 소스를 각각의 채널을 통해 수신하는 미디어 수신 단계; 상기 미디어 소스 통합 전송 시스템에서, 상기 수신한 각 미디어 소스에 대해 지연보상을 수행하고, 상기 지연보상을 수행한 각 미디어 소스를 동기화하는 동기화 단계; 및 상기 미디어 소스 통합 전송 시스템에서, 상기 동기화한 각 미디어 소스를 통합하여 전송하는 통합 전송 단계;를 포함하며, 상기 미디어 소스 통합 전송 시스템에서, 상기 동기화한 각 미디어 소스를 통합하여 미디어 수신 장치로 전송함으로써, 수신자가 복수의 서로 다른 미디어 소스 간 지연의 차이가 없이 시청할 수 있도록 하는 것을 특징으로 한다.

또한 상기 통합 전송 단계는, 상기 미디어 소스 통합 전송 시스템에서, 상기 동기화한 각 미디어 소스를 통합하여 패킷으로 만들어 상기 미디어 수신 장치로 전송하는 것을 더 포함하며, 상기 미디어 수신 장치에서 수신한 상기 패킷은 동일한 전송 환경을 통해서 수신된 것으로서, 상기 시스템과 상기 미디어 수신 장치간의 네트워크 지연이 발생하여도 상기 각 미디어 소스 간의 지연 문제가 발생하지 않는 것을 특징으로 한다.

또한 상기 방법은, 상기 미디어 소스 통합 전송 시스템에서, 상기 미디어 소스를 수신하는 각각의 채널에 대한 지연상태를 감시하는 지연 감시 단계; 상기 미디어 소스 통합 전송 시스템에서, 상기 감시한 각 채널의 지연에 대해서 상기 지연이 반복되는 패턴을 추출하는 지연패턴 추출 단계; 및 상기 미디어 소스 통합 전송 시스템에서, 상기 추출한 패턴을 통해 시간 변화에 따른 각 채널별 지연을 예측하는 지연 예측 단계;를 더 포함하는 것을 특징으로 한다.

또한 상기 동기화 단계는, 상기 미디어 소스 통합 전송 시스템에서, 상기 지연 예측 단계에서 예측한 각 채널별 지연을 토대로 각 채널별 버퍼링 시간을 결정하는 단계; 상기 미디어 소스 통합 전송 시스템에서, 상기 결정한 각 채널별 버퍼링 시간을 토대로 상기 미디어 수신 단계를 통해 수신한 각 미디어 소스에 대한 버퍼링을 수행하여 지연의 편차를 보상하는 단계; 및 상기 미디어 소스 통합 전송 시스템에서, 상기 버퍼링을 수행한 각 미디어 소스를 동기화하는 단계;를 더 포함하며, 상기 각 채널별 버퍼링 시간을 결정하는 것은, 각 채널별 상황의 변화에 따라 주기적으로 수행될 수 있으며, 상기 지연의 편차는, 상기 각 채널마다 발생한 지연의 차이인 것을 특징으로 한다.

이상에서와 같이 본 발명의 복수의 미디어 소스를 동기화하여 통합 전송하는 시스템 및 그 방법에 따르면, 서로 다른 장소에서 각각 독립적으로 생성되는 스포츠, 예술, 문화, 정치 또는 이들의 조합을 포함한 각종 이벤트에 대한 미디어 소스를 각 채널별로 수신하고, 각 채널에 대해서 추적하여 확인한 지연 특징을 토대로 상기 수신한 각 미디어 소스를 동기화하며, 상기 동기화한 각 미디어 소스를 통합하여 미디어 수신 장치로 전송함으로써, 수신자가 복수의 서로 다른 미디어 소스 간 지연의 차이가 없이 각종 이벤트에 관련된 미디어를 편리하게 시청할 수 있는 효과가 있다.

또한 본 발명은 미디어 소스 통합 전송 시스템에서 각 채널별로 수신한 미디어 소스를 동기화하고, 상기 동기화한 각 미디어 소스를 통합하여 패킷으로 만들어 미디어 수신 장치로 전송하면, 상기 미디어 수신 장치에서 상기 패킷을 동일한 전송 환경을 통해 수신하기 때문에, 상기 미디어 소스 통합 전송 시스템과 상기 미디어 수신 장치간의 네트워크 지연이나 방송 지연이 발생하더라도 전체 미디어 소스에 공통으로 영향이 미치므로 각 미디어 소스 상호간의 지연 문제가 발생하지 않으며, 종래에서와 같이 개별적인 화면, 자막 및 음향으로 분리하는 등의 편집을 수행할 필요가 없는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 복수의 미디어 소스를 동기화하여 통합 전송하는 시스템의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 복수의 미디어 소스를 동기화하여 통합 전송하는 과정을 설명하기 위한 개념도이다.
도 3은 본 발명에 적용된 각 채널의 지연패턴의 예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 미디어 소스 통합 전송 시스템의 구성을 상세하게 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 복수의 미디어 소스를 동기화하여 통합 전송하는 방법의 동작과정을 상세하게 나타낸 순서도이다.
도 6은 본 발명에 적용된 동기화 수행과정을 보다 상세하게 나타낸 순서도이다.

이하, 첨부한 도면을 참조하여 본 발명의 복수의 미디어 소스를 동기화하여 통합 전송하는 시스템 및 그 방법에 대한 바람직한 실시 예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.

도 1은 본 발명의 일 실시예에 따른 복수의 미디어 소스를 동기화하여 통합 전송하는 시스템의 구성을 설명하기 위한 도면이다.

도 1에 도시된 바와 같이, 본 발명은 미디어 소스 통합 전송 시스템(100), 미디어 제공 장치(200), 미디어 수신 장치(300), 데이터베이스(400) 등을 포함하여 구성된다.

상기 미디어 소스 통합 전송 시스템(100)은 서로 다른 장소(예: 국가, 도시 등)에서 진행되고 있는 스포츠, 예술, 문화, 정치 또는 이들의 조합을 포함한 각종 이벤트를 촬영한 영상이나 오디오를 포함한 미디어 소스를 각 채널을 통해 미디어 제공 장치(200)로부터 수신하고, 각 채널을 통해 수신한 미디어 소스 각각을 동기화하고, 상기 동기화한 각 미디어 소스를 통합하여 다른 방송장비, 디스플레이 장치, 모바일 단말 등의 미디어 수신 장치(300)로 실시간으로 제공함으로써, 수신자(즉 시청자)가 복수의 서로 다른 미디어 소스 간 지연의 차이가 없이 각종 이벤트에 관련된 미디어를 시청할 수 있도록 한다.

즉 본 발명은 서로 다른 장소에서 진행되고 있는 각종 이벤트에 대한 실황을 수신자에게 제공할 때, 상기 수신자가 각각의 장소에서 진행되고 있는 이벤트 장면을 거리나 통신 환경에 따른 지연 없이 시청할 수 있도록, 각각의 미디어 소스를 동기화하여 통합적으로 제공할 수 있도록 하는 것이다.

이때 상기 미디어 제공 장치(200)로부터 각 채널을 통해 수신한 각각의 미디어 소스는 상기 미디어 소스 통합 전송 시스템(100)의 수신 처리 과정이나 네트워크 통신 상태에 따라 지연이 전부 다르게 발생할 수 있다.

이처럼 각 채널별로 지연이 다르게 발생하면 각 미디어 소스별 영상이나 오디오 신호의 동기가 맞지 않아 미디어의 품질이 크게 떨어지는 것은 물론, 각 채널별로 수신한 미디어 소스의 동기를 작업자가 일일이 맞추어야 하는 불편함이 발생된다. 이에 따라 종래에는 서로 다른 장소에서 개최되는 각종 이벤트를 개별적으로 화면과 오디오를 분리하여 제공하거나, 돌아가면서 제공하는 등의 편집을 수행하여 제공하였지만, 여러 장소에서 이루어지는 각종 이벤트에 대한 미디어 소스를 통합하여 제공받고자 하는 시청자의 니즈가 점차 증가하게 되었다.

이러한 수신자들의 니즈를 해결하기 위해서, 종래에 사용하던 대표적인 방식은 각 채널 중에서 지연이 가장 많은 최악 지연 채널(worst case delay channel)을 기준으로 다른 채널의 미디어 소스를 지연하거나 버퍼링하여 각 채널 간의 미디어 소스를 동기화하는 방식이다. 하지만, 상기 최악 지연 채널에 맞추어 다른 채널을 지연 혹은 버퍼링하는 경우에는 통신 품질이 양호한 채널도 최악의 지연을 가진 채널에 지나치게 의존하게 되기 때문에, 전체적인 통신 품질이 나빠질 수 있는 문제가 있다.

본 발명은 이러한 종래의 문제점을 해결하기 위해 제안된 것으로서, 상기 미디어 소스 통합 전송 시스템(100)은 상기 미디어 제공 장치(200)로부터 서로 다른 장소에서 개최되는 각종 이벤트에 대한 미디어 소스를 각 채널별로 수신하여 동기화 작업을 수행할 때, 각 채널에 대해서 네트워크 상태에 관련된 지연 특징을 추적하여 확인하고, 상기 추적하여 확인한 지연 특징을 바탕으로 각 채널의 상황에 따라 상기 미디어 제공 장치(200)로부터 수신한 각 미디어 소스를 동기화하고, 상기 동기화한 각 미디어 소스를 통합하여 수신자에게 제공할 수 있도록 한다.

즉 각 채널에 대해서 추적하여 확인한 지연 특징을 토대로 각 채널을 통해 수신한 미디어 소스를 동기화하여 수신자에게 제공함으로써, 수신자가 복수의 서로 다른 미디어 소스 간 지연의 차이 없이 서로 다른 장소에서 진행되고 있는 각종 이벤트에 관련한 콘텐츠(즉 영상이나 오디오 등)를 시청할 수 있도록 하는 것이다.

이때 상기 미디어 소스 통합 전송 시스템(100)은 상기 미디어 제공 장치(200)로부터 독립적으로 생성된 각 미디어 소스를 동기화할 때, 다음과 같은 방식으로 수행할 수 있다.

이를 구체적으로 설명하면, 상기 미디어 소스 통합 전송 시스템(100)은 상기 미디어 제공 장치(200)로부터 독립적으로 생성된 각 미디어 소스를 수신하는 각각의 채널에 대한 지연상태를 감시하고, 상기 감시한 각 채널의 지연에 대해서 각 지연이 반복되는 패턴을 추출하며, 상기 추출한 패턴을 통해 시간 변화에 따른 각 채널별 지연을 예측한다. 이때 상기 지연의 예측은, 상기 지연이 발생하는 단위시간당 변화율을 계산하고, 상기 계산한 변화율을 지연패턴을 미리 생성해둔 예측모델에 입력하여 상기 지연이 장래에 어떻게 변화할지를 예측하는 것을 의미하며, 상기 예측모델은 지연의 시간에 따른 변화의 추세에 대한 반복되는 패턴을 기계학습하여 생성한 것이다.

또한 상기 미디어 소스 통합 전송 시스템(100)은 상기 예측한 채널별 지연을 토대로 각 채널별 버퍼링 시간을 결정하고, 상기 결정한 각 채널별 버퍼링 시간을 토대로 상기 미디어 제공 장치(200)로부터 수신한 각 미디어 소스에 대한 버퍼링을 수행하여 지연의 편차를 보상을 수행한 다음, 각 미디어 소스를 동기화하며, 상기 동기화한 각 미디어 소스를 통합하여 상기 미디어 수신 장치(300)로 전송한다.

이때 상기 미디어 소스 통합 전송 시스템(100)은 상기 동기화한 각 미디어 소스를 통합하여 상기 미디어 수신 장치(300)로 전송할 때, 패킷으로 만들어 전송하고 상기 미디어 수신 장치(300)에서 상기 패킷을 동일한 전송 환경을 통해 수신하기 때문에, 상기 미디어 소스 통합 전송 시스템(100)과 상기 미디어 수신 장치(300) 간에 네트워크 지연이나 방송 지연이 발생하더라도 각 미디어 소스 상호간의 지연 문제가 발생하지 않는다. 즉 네트워크 지연 혹은 방송 지연이 발생하더라도 상기 미디어 소스 통합 전송 시스템(100)에서 통합하여 전송되는 각 미디어 소스 모두에 공통으로 영향을 미치므로 각 미디어 소스 간의 동기화 문제가 발생하지 않는 것이다.

또한 상기 미디어 소스 통합 전송 시스템(100)은 상기 미디어 수신 장치(300)로 동기화된 각 미디어 소스를 통합하여 패킷 형태로 제공하므로, 서로 다른 장소에서 동시에 진행되고 있는 다양한 이벤트를 개별적인 화면, 자막 및 음향으로 분리하여 편집하여 제공할 필요가 없다. 예를 들어, 순위 결정을 위한 복수의 스포츠 경기가 동일 시간에 복수의 서로 다른 장소나 국가에서 진행되거나, 각 국가의 정상들이 자신의 집무실이나 특정 장소에서 동시에 대화하면서 토론하는 경우, 상기 미디어 소스 통합 전송 시스템(100)에서 각 미디어 소스를 동기화하여 패킷 형태로 전송하면, 상기 미디어 수신 장치(300)에서 상기 패킷을 수신 및 복원하여 재생하거나 혹은 방송을 수행하므로, 상기 미디어 소스 통합 전송 시스템(100)에서 별다른 편집 과정이 필요없게 되는 것이다.

상기 미디어 제공 장치(200)는 스포츠, 예술, 문화, 정치 또는 이들의 조합을 포함한 이벤트가 수행되는 복수의 장소마다 설치된 마이크, 카메라, 네트워크 통신장비 등을 포함하여 구성되며, 상기 이벤트를 촬영한 영상, 오디오 또는 이들의 조합을 포함한 미디어 소스를 네트워크를 통해 상기 미디어 소스 통합 전송 시스템(100)으로 전송한다.

이때 상기 미디어 제공 장치(200)는 상기 각종 이벤트에 대한 영상, 오디오 또는 이들의 조합을 포함한 미디어 소스를 독립적으로 생성하여, 상기 생성한 미디어 소스를 상기 미디어 소스 통합 전송 시스템(100)과 접속된 특정 채널을 통해 전송한다.

상기 미디어 수신 장치(300)는 방송장비, TV, 스마트폰, 컴퓨터 등을 포함하여 구성되고, 상기 미디어 소스 통합 전송 시스템(100)으로부터 동기화된 각 미디어 소스를 통합한 패킷을 수신하며, 상기 수신한 패킷을 하위단의 수신 장치로 전달하여 방송하거나, 혹은 상기 수신한 패킷을 복원한 후 재생하여 수신자가 확인할 수 있도록 한다.

예를 들어, 상기 미디어 수신 장치(300)는 상기 미디어 소스 통합 전송 시스템(100)으로부터 수신한 동기화된 각 미디어 소스를 통합한 패킷을 복원하여, 화면을 분할한 형태로 각 미디어 소스를 재생하거나, 각 미디어 소스를 일정 시간 간격으로 순차적으로 재생하거나, 혹은 수신자가 선택한 특정 미디어 소스를 재생할 수 있다. 이때 상기 미디어 소스 통합 전송 시스템(100)은 상기 미디어 수신 장치(300)에서 요구하는 특정 방식(예: 화면 분할, 순차 재생 등)에 따라 상기 동기화한 각 미디어 소스를 패킷화하여 제공할 수 있다.

상기 데이터베이스(400)는 상기 미디어 소스 통합 전송 시스템(100)에서 사용하는 각 채널에 대한 네트워크 상태에 관련된 지연 특징을 추적하는데 필요한 각종 동작프로그램, 지연 추적 특징을 토대로 각 채널별 지연을 예측하기 위한 예측모델 등을 저장하여 관리한다.

이와 같은 복수의 미디어 소스를 동기화하여 통합 전송하기 위한 과정을 도 2를 참조하여 상세하게 설명하면 다음과 같다.

도 2는 본 발명의 일 실시예에 따른 복수의 미디어 소스를 동기화하여 통합 전송하는 과정을 설명하기 위한 개념도이다.

먼저, 상기 미디어 소스 통합 전송 시스템(100)은 서로 다른 장소에 위치한 각 미디어 제공 장치(200)로부터 동시에 진행되고 있는 스포츠, 예술, 문화, 정치 또는 이들의 조합을 포함한 특정 이벤트를 촬영한 미디어 소스를 각 채널을 통해 수신한다(①). 이때 상기 미디어 소스는 각 미디어 제공 장치(200)에서 독립적으로 생성되는 영상 및 오디오를 포함하고 있다.

또한 상기 미디어 소스 통합 전송 시스템(100)은 상기 미디어 소스를 전송하는 각 채널의 지연상태를 감시하고(②), 상기 감시한 각 채널의 지연에 대해서 상기 지연이 반복되는 패턴을 추출한다(③). 즉 각 채널에 대해서 네트워크 상태에 관련된 지연 특징을 추적하여 확인하는 것이다. 이때 상기 지연상태의 감시는 네트워크 상태 이외에 미디어 소스를 전송하는 미디어 제공 장치(200)와 상기 미디어 소스를 수신하는 미디어 소스 통합 전송 시스템(100)의 내부 처리과정에서의 지연을 더 포함할 수 있다.

이어서 상기 미디어 소스 통합 전송 시스템(100)은 상기 추출한 패턴을 통해 시간 변화에 따른 각 채널별 지연을 예측한다(④).

이때 상기 미디어 소스 통합 전송 시스템(100)은, 상기 미디어 소스 통합 전송 시스템(100)과 상기 미디어 제공 장치(200) 상호간의 시간별, 날짜별, 계절별 등에 대한 각 채널의 지연패턴을 기계학습하여 생성한 예측모델을 통해 각 채널의 지연을 예측한다. 즉 상기 미디어 소스 통합 전송 시스템(100)은 상기 지연이 발생하는 단위시간당 변화율(예: 도 3의 t1과 t2 시간 동안의 변화율 F(Δt))을 상기 생성한 예측모델에 입력하여 상기 지연이 향후 어떻게 변화될 것인가를 예측하는 것이다. 여기서, 상기 예측모델은 상기 지연에 대한 예측결과를 확률로 출력하며, 상기 미디어 소스 통합 전송 시스템(100)은 확률이 제일 높은 특정 지연패턴을 선택함으로써, 상기 선택한 특정 지연패턴을 통해 향후 발생할 지연을 예측할 수 있도록 한다.

이와 같이 상기 각 채널별 지연이 예측되면, 상기 미디어 소스 통합 전송 시스템(100)은 상기 수신한 각 미디어 소스에 대해 지연보상을 수행하고, 상기 지연보상을 수행한 각 미디어 소스를 동기화한다(⑤).

또한 상기 미디어 소스 통합 전송 시스템(100)은 상기 동기화한 각 미디어 소스를 통합하여 상기 미디어 수신 장치(300)로 전송함으로써, 상기 미디어 수신 장치(300)에서 다른 수신 장치로 전달하여 방송하거나, 또는 상기 통합하여 동기화된 미디어 소스를 재생하여 수신자가 확인할 수 있도록 한다(⑥).

이때 상기 미디어 소스 통합 전송 시스템(100)은 상기 동기화한 각 미디어 소스를 통합하여 전송할 때, 각 미디어 소스를 패킷화하여 상기 미디어 수신 장치(300)로 전송할 수 있다.

한편, 상기 미디어 소스 통합 전송 시스템(100)과 각 미디어 제공 장치(200) 간의 각 채널별 지연패턴은 네트워크 상태에 따라 매우 다양하게 나타나는데, 이를 도 3을 참조하여 설명하면 다음과 같다.

도 3은 본 발명에 적용된 각 채널의 지연패턴에 대한 예를 설명하기 위한 도면이다.

상기 각 채널별 지연패턴은 상기 미디어 제공 장치(200)에서 상기 미디어 소스 통합 전송 시스템(100)으로 전송하는 시간대, 사용량 등에 따라 다양하게 나타날 수 있다.

예를 들어, 도 3의 (a) 및 (b)에서와 같이 네트워크 사용량이 많은 낮 시간대에는 지연이 많이 발생하고, 네트워크 사용량이 적은 심야 시간대에는 지연이 적게 발생한다. 이러한 경우 상기 지연패턴은 선형적으로 나타날 수 있다.

하지만 상기 지연패턴은 네트워크 사용량에 따라 변동이 심하므로 상기 도 3의 (a) 및 (b)에서와 같이 선형적으로 나타나는 경우 이외에, 도 3의 (c)에서와 같이 비선형적으로 나타나는 경우도 빈번하다. 즉 일정시간동안 공연이나 행사 등의 특정 이벤트가 열리는 경우 초반에는 사용자들의 관심이 높아 네트워크 사용량이 활발해지고 이에 따라 지연이 많이 발생하지만, 시간이 지나감에 따라 네트워크 사용량이 적어지면 지연이 적게 발생하며, 말미에 다다르면 다시 네트워크 사용량이 늘어나 지연이 많이 발생할 수 있는 것이다.

이에 따라 본 발명에서는 상기 도 3의 예와 같은 다양한 각 채널별 지연패턴을 고려하여, 서로 다른 장소에서 독립적으로 생성되어 각 채널별로 수신되는 미디어 소스 각각의 동기화처리를 수행한다.

도 4는 본 발명의 일 실시예에 따른 미디어 소스 통합 전송 시스템의 구성을 상세하게 나타낸 도면이다.

도 4에 도시된 바와 같이, 상기 미디어 소스 통합 전송 시스템(100)은 미디어 수신부(110), 지연 감시부(120), 지연패턴 추출부(130), 지연 예측부(140), 동기화부(150), 통합 전송부(160) 등을 포함하여 구성된다.

또한 상기 미디어 소스 통합 전송 시스템(100)은 도면에 도시하지는 않았지만, 각 구성 부분에 동작전원을 공급하는 전원부, 각종 기능에 대한 데이터 입력을 위한 입력부, 각종 동작프로그램의 업데이트를 관리하는 업데이트 관리부, 미디어 소스와 관련된 데이터 송수신을 수행하는 통신 인터페이스부 등을 추가로 포함할 수 있다.

상기 미디어 수신부(110)는 네트워크를 통해 상기 미디어 제공 장치(200)로부터 서로 다른 장소에서 독립적으로 생성되는 미디어 소스를 각각의 채널을 통해 수신하고, 상기 수신한 미디어 소스를 상기 동기화부(150)로 출력한다.

이때 상기 미디어 수신부(110)는 저잡음 증폭기(Low Noise Amplifier), 아날로그/디지털 변환기(ADC), 디코더 등을 포함하여 구성될 수 있으며, 상기 수신한 미디어 소스를 저잡음 증폭, 디지털 변환 및 송신측 인코딩에 따른 디코딩 처리를 수행한 후 상기 동기화부(150)로 출력한다.

상기 지연 감시부(120)는 상기 미디어 소스를 수신하는 각각의 채널에 대한 지연상태를 감시하고, 상기 감시한 지연상태에 대한 정보를 상기 지연패턴 추출부(130)로 출력한다.

상기 지연패턴 추출부(130)는 상기 지연 감시부(120)부터 제공받은 상기 감시한 각 채널의 지연상태에 대한 정보를 토대로 상기 지연이 반복되는 패턴을 추출하고, 상기 추출한 지연에 대한 패턴을 상기 지연 예측부(140)로 출력한다.

이때 상기 패턴은 상기 지연의 시간에 따른 변화의 추세에 대한 반복되는 패턴을 의미한다.

상기 지연 예측부(140)는 상기 지연패턴 추출부(130)에서 추출한 지연패턴을 통해 시간 변화에 따른 각 채널별 지연을 예측하고, 상기 예측한 지연에 대한 정보를 상기 동기화부(150)로 출력한다.

이때 상기 지연 예측부(140)는 상기 지연이 발생하는 단위시간당 변화율을 계산하고, 상기 계산한 변화율을 사전에 생성해둔 예측모델에 입력하여 장래에 어떻게 변화할지를 예측한다.

상기 동기화부(150)는 적어도 하나 이상의 버퍼를 포함하고, 상기 버퍼를 이용하여 상기 미디어 수신부(110)에서 수신한 각 미디어 소스에 대해 지연보상을 수행하며, 상기 지연보상을 수행한 각 미디어 소스를 동기화하여 상기 통합 전송부(160)로 출력한다.

즉 상기 동기화부(150)는 상기 지연 예측부(140)에서 예측한 각 채널별 지연을 토대로 각 채널별 버퍼링 시간을 결정하고, 상기 결정한 각 채널별 버퍼링 시간을 토대로 상기 미디어 수신부(110)를 통해 수신한 각 미디어 소스에 대한 버퍼링을 수행하여 각 채널마다 발생한 지연의 편차를 보상하며, 상기 버퍼링을 수행한 각 미디어 소스를 동기화한다. 이때 상기 각 채널별 버퍼링 시간의 결정은 각 채널별 상황의 변화에 따라 주기적으로 수행될 수 있다.

예를 들어, 3개의 채널로 각각 수신되는 미디어 소스를 동기화한다고 가정하고, 특정 시점에서 예측된 채널 #1의 지연이 2초, 채널 #2의 지연이 1초, 채널 #3의 지연이 3초라고 가정하면, 상기 동기화부(150)는 채널 #1로 수신한 미디어 소스는 1초를 버퍼링하고, 채널 #2로 수신한 미디어 소스는 2초를 버퍼링하며, 채널 #3으로 수신한 미디어 소스는 버퍼링 없이 각 미디어 소스의 동기화를 수행한다.

또한 각 채널의 상황 변화에 따라 다른 시점에서 채널 #1의 지연이 3초, 채널 #2의 지연이 2초, 채널 #3의 지연이 1초로 예측되면, 상기 동기화부(150)는 채널 #1로 수신한 미디어 소스는 버퍼링을 수행하지 않고, 채널 #2로 수신한 미디어 소스는 1초를 버퍼링하며, 채널 #3으로 수신한 미디어 소스는 2초를 버퍼링한 후, 각 미디어 소스의 동기화를 수행한다.

상기 통합 전송부(160)는 상기 동기화부(150)에서 동기화한 각 미디어 소스를 통합하여 상기 미디어 수신 장치(300)로 전송한다.

즉 상기 통합 전송부(160)는 상기 동기화한 각 미디어 소스를 통합하여 상기 미디어 수신 장치(300)로 전송함으로써, 수신자가 상기 미디어 수신 장치(300)를 통해 복수의 서로 다른 미디어 소스 간 지연의 차이가 없이 시청할 수 있도록 하는 것이다.

또한 상기 통합 전송부(160)는 상기 동기화한 각 미디어 소스를 통합하여 패킷으로 만들고, 상기 패킷을 상기 미디어 수신 장치(300)로 전송할 수 있다. 이때 상기 미디어 수신 장치(300)에서 수신한 상기 패킷은 동일한 전송 환경을 통해서 수신되기 때문에, 상기 미디어 소스 통합 전송 시스템(100)과 상기 미디어 수신 장치(300) 간의 네트워크 지연이나 방송 지연이 발생하더라도 전체 미디어 소스에 공통으로 영향이 미치므로 각 미디어 소스 상호간의 지연 문제가 발생하지 않는다.

본 발명에서는 특정 채널에 대해서 지연 패턴을 예측하고, 상기 예측한 결과가 실제 지연을 측정한 결과와 차이가 나면, 해당 차이를 다시 기계학습 예측모델에 입력하여 지연 패턴을 다시 예측함으로써, 최적의 지연을 예측할 수 있도록 한다.

다음에는, 이와 같이 구성된 본 발명에 따른 복수의 미디어 소스를 동기화하여 통합 전송하는 방법의 일 실시예를 도 5와 도 6을 참조하여 상세하게 설명한다. 이때 본 발명의 방법에 따른 각 단계는 사용 환경이나 당업자에 의해 순서가 변경될 수 있다.

도 5는 본 발명의 일 실시예에 따른 복수의 미디어 소스를 동기화하여 통합 전송하는 방법의 동작과정을 상세하게 나타낸 순서도이며, 도 6은 본 발명에 적용된 동기화 수행과정을 보다 상세하게 나타낸 순서도이다.

우선, 상기 미디어 소스 통합 전송 시스템(100)에서는 각 미디어 제공 장치(200)로부터 서로 다른 장소에서 동시에 진행되는 특정 이벤트와 관련하여 독립적으로 생성되는 미디어 소스를 수신하는 미디어 수신 단계를 수행한다(S100).

또한 상기 미디어 소스 통합 전송 시스템(100)은 상기 S100 단계를 통해 상기 각 미디어 제공 장치(200)로부터 상기 각 미디어 소스를 수신하는 각각의 채널에 대한 지연상태를 감시하는 지연 감시 단계를 수행한다(S200).

또한 상기 미디어 소스 통합 전송 시스템(100)은 상기 S200 단계에서 감시한 각 채널의 지연에 대해서 상기 지연이 반복되는 패턴을 추출하는 지연패턴 추출 단계를 수행한다(S300). 이때 상기 S300 단계에서 추출되는 패턴은 상기 지연의 시간에 따른 변화의 추세에 대한 반복되는 패턴으로서, 상기 미디어 소스 통합 전송 시스템(100)은 상기 패턴에 대하여 기계학습하여 예측모델을 기 저장하고 있다.

이어서 상기 미디어 소스 통합 전송 시스템(100)은 상기 S300 단계에서 추출한 패턴을 통해 시간 변화에 따른 각 채널별 지연을 예측하는 지연 예측 단계를 수행한다(S400). 이때 상기 지연의 예측은 상기 지연이 발생하는 단위시간당 변화율을 계산하고, 상기 계산한 변화율을 상기 예측모델에 입력하여 장래에 어떻게 변화할지를 예측하는 것을 토대로 수행된다.

여기서 각 채널별 지연을 예측하는 것은, 상기 예측한 결과가 실제 지연을 측정한 결과와 차이가 나면, 해당 차이를 다시 기계학습 예측모델에 입력하여 지연 패턴을 다시 예측함으로써, 최적의 지연을 예측할 수 있도록 한다. 상기 예측모델의 입력에는 상기 예측모델로부터 예측된 지연과 실제 측정한 지연에 대한 차이를 입력하는 인공지능 기계학습 입력 포트를 구비하고 있다.

이처럼 상기 S400 단계를 통해 각 채널별 지연이 예측되면, 상기 미디어 소스 통합 전송 시스템(100)은 상기 예측한 각 채널별 지연을 토대로 상기 S100 단계를 통해 상기 각 미디어 제공 장치(200)로부터 수신한 각 미디어 소스에 대해 지연보상을 수행하고, 상기 지연보상을 수행한 각 미디어 소스를 동기화하는 동기화 단계를 수행한다(S500).

이를 도 6을 참조하여 보다 구체적으로 설명하면, 상기 미디어 소스 통합 전송 시스템(100)은 상기 S400 단계에서 예측한 각 채널별 지연을 토대로 각 채널별 버퍼링 시간을 결정한다(S510). 이때 상기 각 채널별 버퍼링 시간의 결정은 각 채널별 상황의 변화에 따라 주기적으로 수행될 수 있다.

또한 상기 미디어 소스 통합 전송 시스템(100)은 상기 S510 단계에서 결정한 각 채널별 버퍼링 시간을 토대로 상기 S100 단계를 통해 각 미디어 제공 장치(200)로부터 수신한 각 미디어 소스에 대한 버퍼링을 수행하여, 상기 각 채널마다 발생한 지연의 차이인 지연의 편차를 보상한다(S520).

또한 미디어 소스 통합 전송 시스템(100)은 S520 단계를 통해 버퍼링을 수행한 각 미디어 소스를 동기화한다(S530).

다시 도 5를 참조하면, 상기 미디어 소스 통합 전송 시스템(100)은 상기 S500 단계를 통해 동기화한 각 미디어 소스를 통합하여 상기 미디어 수신 장치(300)로 전송하는 통합 전송 단계를 수행한다(S600).

즉 상기 미디어 소스 통합 전송 시스템(100)에서 상기 동기화한 각 미디어 소스를 통합하여 상기 미디어 수신 장치(300)로 전송함으로써, 수신자가 복수의 서로 다른 미디어 소스 간 지연의 차이가 없이 특정 이벤트에 관련된 서로 다른 장소에서 생성되는 각 미디어 소스를 시청할 수 있도록 하는 것이다.

한편 상기 S600 단계에서 상기 동기화한 각 미디어 소스를 통합하여 상기 미디어 수신 장치(300)로 전송할 때, 상기 미디어 소스 통합 전송 시스템(100)은 상기 동기화한 각 미디어 소스를 통합하여 패킷으로 만들고, 이를 상기 미디어 수신 장치(300)로 전송할 수 있다. 이 경우 상기 미디어 수신 장치(300)에서 수신한 상기 패킷은 동일한 전송 환경을 통해서 수신되는 것이므로, 상기 미디어 소스 통합 전송 시스템(100)과 상기 미디어 수신 장치(300) 간의 네트워크 지연이나 방송 지연과 상관이 없다.

이처럼, 본 발명은 서로 다른 장소에서 각각 독립적으로 생성되는 스포츠, 예술, 문화, 정치 또는 이들의 조합을 포함한 각종 이벤트에 대한 미디어 소스를 각 채널별로 수신하고, 각 채널에 대해서 추적하여 확인한 지연 특징을 토대로 상기 수신한 각 미디어 소스를 동기화하고, 상기 동기화한 각 미디어 소스를 통합하여 미디어 수신 장치로 전송하기 때문에, 수신자가 복수의 서로 다른 미디어 소스 간 지연의 차이가 없이 각종 이벤트에 관련된 미디어를 편리하게 시청할 수 있다.

또한 본 발명은 미디어 소스 통합 전송 시스템에서 동기화한 각 미디어 소스를 통합하여 패킷으로 만들어 미디어 수신 장치로 전송하고, 상기 미디어 수신 장치에서 상기 패킷을 동일한 전송 환경을 통해 수신하기 때문에, 상기 미디어 소스 통합 전송 시스템과 상기 미디어 수신 장치간의 네트워크 지연이나 방송 지연이 발생하더라도 전체 미디어 소스에 공통으로 영향이 미치므로 각 미디어 소스 상호간의 지연 문제가 발생하지 않으며, 개별적인 화면, 자막 및 음향으로 분리하는 등의 편집을 수행할 필요가 없다.

이상에서와 같이 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 판단되어야 할 것이다.

100 : 미디어 소스 통합 전송 시스템
110 : 미디어 수신부 120 : 지연 감시부
130 : 지연패턴 추출부 140 : 지연 예측부
150 : 동기화부 160 : 통합 전송부
200 : 미디어 제공 장치 300 : 미디어 수신 장치
400 : 데이터베이스

Claims

서로 다른 장소에서 독립적으로 생성되는 미디어 소스를 각각의 채널을 통해 수신하는 미디어 수신부;
상기 수신한 각 미디어 소스에 대해 지연보상을 수행하고, 상기 지연보상을 수행한 각 미디어 소스를 동기화하는 동기화부; 및
상기 동기화한 각 미디어 소스를 통합하여 전송하는 통합 전송부;를 포함하며,
상기 동기화한 각 미디어 소스를 통합하여 미디어 수신 장치로 전송함으로써, 수신자가 복수의 서로 다른 미디어 소스 간 지연의 차이가 없이 시청할 수 있도록 하는 것을 특징으로 하는 복수의 미디어 소스를 동기화하여 통합 전송하는 시스템.
청구항 1에 있어서,
상기 통합 전송부는,
상기 동기화한 각 미디어 소스를 통합하여 패킷으로 만들어 상기 미디어 수신 장치로 전송하는 것을 더 포함하며,
상기 미디어 수신 장치에서 수신한 상기 패킷은 동일한 전송 환경을 통해서 수신된 것으로서, 상기 시스템과 상기 미디어 수신 장치간의 네트워크 지연이 발생하여도 상기 각 미디어 소스 간의 지연 문제가 발생하지 않는 것을 특징으로 하는 복수의 미디어 소스를 동기화하여 통합 전송하는 시스템.
청구항 1에 있어서,
상기 시스템은,
상기 미디어 소스를 수신하는 각각의 채널에 대한 지연상태를 감시하는 지연 감시부;
상기 감시한 각 채널의 지연에 대해서 상기 지연이 반복되는 패턴을 추출하는 지연패턴 추출부; 및
상기 추출한 패턴을 통해 시간 변화에 따른 각 채널별 지연을 예측하는 지연 예측부;를 더 포함하는 것을 특징으로 하는 복수의 미디어 소스를 동기화하여 통합 전송하는 시스템.
청구항 3에 있어서,
상기 패턴은,
상기 지연의 시간에 따른 변화의 추세에 대한 반복되는 패턴으로서, 기계학습하여 예측모델을 기 저장하고 있으며,
상기 지연을 예측하는 것은,
상기 지연이 발생하는 단위시간당 변화율을 계산하고, 상기 계산한 변화율을 상기 예측모델에 입력하여 장래에 어떻게 변화할지를 예측함으로써, 수행되는 것을 특징으로 하는 복수의 미디어 소스를 동기화하여 통합 전송하는 시스템.
청구항 3에 있어서,
상기 동기화부는,
상기 지연 예측부에서 예측한 각 채널별 지연을 토대로 각 채널별 버퍼링 시간을 결정하고, 상기 결정한 각 채널별 버퍼링 시간을 토대로 상기 미디어 수신부를 통해 수신한 각 미디어 소스에 대한 버퍼링을 수행하여 지연의 편차를 보상하며, 상기 버퍼링을 수행한 각 미디어 소스를 동기화하는 것을 더 포함하며,
상기 각 채널별 버퍼링 시간을 결정하는 것은, 각 채널별 상황의 변화에 따라 주기적으로 수행될 수 있으며,
상기 지연의 편차는, 상기 각 채널마다 발생한 지연의 차이인 것을 특징으로 하는 복수의 미디어 소스를 동기화하여 통합 전송하는 시스템.
미디어 소스 통합 전송 시스템에서, 서로 다른 장소에서 독립적으로 생성되는 미디어 소스를 각각의 채널을 통해 수신하는 미디어 수신 단계;
상기 미디어 소스 통합 전송 시스템에서, 상기 수신한 각 미디어 소스에 대해 지연보상을 수행하고, 상기 지연보상을 수행한 각 미디어 소스를 동기화하는 동기화 단계; 및
상기 미디어 소스 통합 전송 시스템에서, 상기 동기화한 각 미디어 소스를 통합하여 전송하는 통합 전송 단계;를 포함하며,
상기 미디어 소스 통합 전송 시스템에서, 상기 동기화한 각 미디어 소스를 통합하여 미디어 수신 장치로 전송함으로써, 수신자가 복수의 서로 다른 미디어 소스 간 지연의 차이가 없이 시청할 수 있도록 하는 것을 특징으로 하는 복수의 미디어 소스를 동기화하여 통합 전송하는 방법.
청구항 6에 있어서,
상기 통합 전송 단계는,
상기 미디어 소스 통합 전송 시스템에서, 상기 동기화한 각 미디어 소스를 통합하여 패킷으로 만들어 상기 미디어 수신 장치로 전송하는 것을 더 포함하며,
상기 미디어 수신 장치에서 수신한 상기 패킷은 동일한 전송 환경을 통해서 수신된 것으로서, 상기 시스템과 상기 미디어 수신 장치간의 네트워크 지연이 발생하여도 상기 각 미디어 소스 간의 지연 문제가 발생하지 않는 것을 특징으로 하는 복수의 미디어 소스를 동기화하여 통합 전송하는 방법.
청구항 6에 있어서,
상기 방법은,
상기 미디어 소스 통합 전송 시스템에서, 상기 미디어 소스를 수신하는 각각의 채널에 대한 지연상태를 감시하는 지연 감시 단계;
상기 미디어 소스 통합 전송 시스템에서, 상기 감시한 각 채널의 지연에 대해서 상기 지연이 반복되는 패턴을 추출하는 지연패턴 추출 단계; 및
상기 미디어 소스 통합 전송 시스템에서, 상기 추출한 패턴을 통해 시간 변화에 따른 각 채널별 지연을 예측하는 지연 예측 단계;를 더 포함하는 것을 특징으로 하는 복수의 미디어 소스를 동기화하여 통합 전송하는 방법.
청구항 8에 있어서,
상기 패턴은,
상기 지연의 시간에 따른 변화의 추세에 대한 반복되는 패턴으로서, 기계학습하여 예측모델을 기 저장하고 있으며,
상기 지연을 예측하는 것은,
상기 지연이 발생하는 단위시간당 변화율을 계산하고, 상기 계산한 변화율을 상기 예측모델에 입력하여 장래에 어떻게 변화할지를 예측함으로써, 수행되는 것을 특징으로 하는 복수의 미디어 소스를 동기화하여 통합 전송하는 방법.
청구항 8에 있어서,
상기 동기화 단계는,
상기 미디어 소스 통합 전송 시스템에서, 상기 지연 예측 단계에서 예측한 각 채널별 지연을 토대로 각 채널별 버퍼링 시간을 결정하는 단계;
상기 미디어 소스 통합 전송 시스템에서, 상기 결정한 각 채널별 버퍼링 시간을 토대로 상기 미디어 수신 단계를 통해 수신한 각 미디어 소스에 대한 버퍼링을 수행하여 지연의 편차를 보상하는 단계; 및
상기 미디어 소스 통합 전송 시스템에서, 상기 버퍼링을 수행한 각 미디어 소스를 동기화하는 단계;를 더 포함하며,
상기 각 채널별 버퍼링 시간을 결정하는 것은, 각 채널별 상황의 변화에 따라 주기적으로 수행될 수 있으며,
상기 지연의 편차는, 상기 각 채널마다 발생한 지연의 차이인 것을 특징으로 하는 복수의 미디어 소스를 동기화하여 통합 전송하는 방법.