KR102499474B1

KR102499474B1 - 복수의 원격 사이트에 대한 통합 제어 오케스트레이션 장치 및 그 방법

Info

Publication number: KR102499474B1
Application number: KR1020200165581A
Authority: KR
Inventors: 김동욱
Original assignee: 주식회사 마젠타컴퍼니
Priority date: 2020-12-01
Filing date: 2020-12-01
Publication date: 2023-02-14
Also published as: KR20220076766A

Abstract

본 발명은 복수의 원격 사이트에 대한 통합 제어 오케스트레이션 장치 및 그 방법에 관한 것으로, 독립적인 복수의 원격 사이트에서 동시에 서로 연관지어 진행되는 음악회, 공연, 뮤지컬 등의 이벤트를 촬영한 데이터를 하나의 미디어로 통합하여 실시간으로 방송하거나 혹은 전송할 때, 오케스트레이션을 수행하는 시점에 중앙의 통합 제어 오케스트레이션 장치에서 상기 복수의 원격 사이트별 시작시점 스케줄 정보를 정확하게 조절하여 제공함으로써, 상기 복수의 원격 사이트 각각에서 상기 결정한 시작시점 스케줄 정보를 통해 서로 연관지어 진행되는 이벤트를 동시에 시작하고 마칠 수 있도록 통합 제어하는 오케스트레이션 장치 및 그 방법에 관한 것이다.

Description

복수의 원격 사이트에 대한 통합 제어 오케스트레이션 장치 및 그 방법{APPARATUS AND METHOD OF INTEGRATED CONTROL ORCHESTRATION FOR A PLURALITY OF REMOTE SITES}

본 발명은 복수의 원격 사이트에 대한 통합 제어 오케스트레이션 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 독립적인 복수의 원격 사이트(remote sites)에서 동시에 서로 연관지어 진행되는 음악회, 공연, 뮤지컬 등의 이벤트를 촬영한 데이터를 하나의 미디어로 통합하여 실시간으로 방송하거나 혹은 전송할 때, 오케스트레이션을 수행하는 시점에 중앙의 통합 제어 오케스트레이션 장치에서 상기 복수의 원격 사이트별 시작시점 스케줄 정보를 정확하게 조절하여 제공함으로써, 상기 복수의 원격 사이트 각각에서 상기 결정한 시작시점 스케줄 정보를 통해 서로 연관지어 진행되는 이벤트를 동시에 시작하고 마칠 수 있도록 통합 제어하는 오케스트레이션 장치 및 그 방법에 관한 것이다.

일반적으로 음악회, 공연, 뮤지컬 등을 포함한 각종 이벤트를 개최하려면 해당 이벤트와 관련된 모든 사람이 특정된 어느 하나의 장소에 모여야 한다. 또한 상기 이벤트를 다수의 시청자들을 대상으로 방송하기 위해서는 상기 이벤트가 진행되는 장소에서 촬영한 데이터를 실시간으로 송출하여 방송하거나, 외부의 다른 방송 장치로 전달하여 방송되도록 하여야 한다.

하지만, 상기 이벤트와 관련된 사람들이 복수의 서로 다른 장소에 흩어져서 각자가 자신의 역할을 수행함으로써 전체적인 이벤트 행사를 완성할 수 있다면, 별도의 특정 장소에 사람들과 장비를 모아야 할 필요가 없을 것이다.

그러나 특정 이벤트에 대한 행동을 하나로 합쳐서 하나의 이벤트를 완성하는 것은 많은 사람들이 서로 다른 장소에 위치하고 있기 때문에, 시간적, 공간적으로 동일한 시점에 시작과 끝을 알리는 신호를 보낼 수 없으며, 이로 인해 상기 이벤트에 참여하는 서로 다른 장소에 위치하는 사람들이 일사분란하게 행동을 일치시킬 수 없는 문제가 있다.

이러한 문제를 해결하여 서로 다른 장소로 분리된 상황에서 특정 이벤트를 통합하여 개최하기 위해서는 복수의 장소에서 다른 장소와 상호 교신을 자유자재로 수행하는 것이 필수적이다. 이를 위해서 종래에는 인터콤을 사용하였으나 이는 단순한 통신기능만 제공하는 것일 뿐, 복수의 서로 다른 장소에 대해서 통합 제어를 수행하는 오케스트레이션에 대한 방법은 존재하지 아니하였다.

또한 복수의 서로 다른 장소에서 수행되는 이벤트에 대한 특정 행위에 대해 서로 교신하여 시작과 끝에 대한 정보를 주고받는다 하더라도, 실제 이를 통합하여 하나로 생성하려면 상호간의 지연으로 인해서 결국 동시에 행위를 시작하거나 끝낼 수 없게 될 수도 있다.

또한 복수의 서로 다른 장소와 중앙의 컨트롤 타워간의 통신 환경에 따라서 각 장소에 동시에 명령이 전달되도록 각 장소에서 현재 상황에 대한 정보를 시각적, 청각적으로 확인할 수 있도록 하는 방법이 필요하다.

따라서 본 발명에서는 독립적인 복수의 원격 사이트에서 동시에 서로 연관지어 진행되는 음악회, 공연, 뮤지컬 등을 포함한 하나의 이벤트를 동시에 시작하고 마칠 수 있도록 통합 제어하는 방안을 제시하고자 한다.

특히, 본 발명은 네트워크 정보, 시간 정보, 장소 정보, 편성 정보 또는 이들의 조합을 포함한 데이터를 2차원 학습 데이터로 만들어 기계학습을 통해 학습모델을 생성하고, 오케스트레이션이 이루어지는 시점의 입력 데이터를 미리 생성해둔 학습모델에 입력하여 각 원격 사이트의 지연패턴을 추출하며, 상기 추출한 지연패턴을 참조하여 각 원격 사이트에서의 시작시점 스케줄링을 수행함으로써, 각 원격 사이트에서 상기 시작시점 스케줄링 정보를 통해 서로 연관지어 진행되는 이벤트를 동시에 시작하고 마칠 수 있는 방안을 제시하고자 한다.

다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.

먼저 일본 공개특허공보 특개2005-128296호(2005.05.19.)는 오디오 믹서 장치에 관한 것으로, 통신시간 측정부는 각 오디오믹서 B2, C3에 대해 측정 신호를 송신하고 이것에 응답하는 신호를 수신함으로써 각 오디오믹서 B2, C3과의 사이의 통신 지연 시간을 측정하며, 연주 개시 신호 송신부는 측정된 통신 지연 시간에 따라 각 오디오믹서 B2, C3에 따른 연주 개시 신호를 작성하고 각 오디오믹서 B2, C3에 송신하며, 각 오디오믹서 B2, C3은 연주 개시 신호에 근거하여 연주 개시를 재촉하기 위한 통지음을 발생하고 전파 시계에 의한 시각에 따라 정확한 연주 조작을 재촉하기 위한 템포에 따른 통지음을 발생하는 것을 특징으로 하는 오디오 믹서 장치에 관한 것이다.

즉, 상기 선행기술은 복수의 연주자가 실시하는 연주에 의한 악음 신호를 소규모의 구성으로 동기시켜 믹싱할 수 있는 오디오 믹서 장치에 대하여 기재하고 있다.

하지만, 본 발명은 네트워크 정보, 시간 정보, 장소 정보, 편성 정보 또는 이들의 조합을 포함한 다양한 학습 데이터를 기계학습하여 학습모델을 생성해 두고, 오케스트레이션이 이루어지는 시점의 입력 데이터를 상기 학습모델에 입력하여 각 원격 사이트별 지연패턴을 추출하며, 상기 추출한 지연패턴을 토대로 각 원격 사이트에서의 시작시점 스케줄링을 정확하게 수행하는 것이므로, 상기 선행기술과 본 발명은 현저한 구성상 차이점이 있다.

또한 한국등록특허 제1133906호(2012.03.30.)는 합주 연주 서비스 제공 방법 및 그 시스템에 관한 것으로, 사용자 단말기와 통신망을 통해 연결되고, 사용자가 요청한 합주곡을 구성하는 각 악기의 연주 음악 파일을 동기화 및 재가공하여, 상기 사용자 단말기 및 그 단말기와 통신망을 통해 연결되어 있고 독자적인 IP 주소를 갖고 있는 하나 이상의 재생 단말기로 전송하여, 상기 사용자 단말기 및 재생 단말기 각각을 통해 각 악기의 연주 음악을 실시간으로 재생하도록 구성한 합주 연주 서비스 제공 방법 및 그 시스템에 관한 것이다.

즉, 상기 선행기술은 사용자의 요청에 의해 선택된 음악 파일을 추출하여, 사용자의 환경에 맞춰 상기 추출된 음악 파일의 합주 연주 서비스를 제공하는 방법 및 시스템을 기재하고 있다.

반면에 본 발명은, 중앙의 통합 제어 오케스트레이션 장치에서 독립적인 복수의 원격 사이트에서 동시에 서로 연관지어 진행되는 음악회, 공연, 뮤지컬 등의 이벤트를 촬영하여 실시간으로 방송하거나 전송하고자 할 때, 오케스트레이션을 수행하는 시점의 입력 데이터를 미리 생성해둔 학습모델에 적용하여 각 원격 사이트별 지연패턴을 추출하고, 상기 추출한 지연패턴을 참고하여 각 원격 사이트에서의 시작시점 스케줄링을 정확하게 수행하는 구성이므로, 상기 선행기술과 본 발명은 기술적 구성의 차이점이 분명하다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 독립적인 복수의 원격 사이트에서 동시에 서로 연관지어 진행되는 음악회, 공연, 뮤지컬 등을 포함한 하나의 이벤트를 동시에 시작하고 마칠 수 있도록 통합 제어하는 장치 및 그 방법을 제공하는 것을 목적으로 한다.

또한 본 발명은 독립적인 복수의 원격 사이트에서 진행되는 이벤트를 촬영한 데이터를 하나로 모아 오케스트레이션을 수행하는 시점에, 중앙의 통합 제어 오케스트레이션 장치에서 상기 복수의 원격 사이트 각각의 시작시점 스케줄링을 정확하게 조절하여 제공할 수 있는 장치 및 그 방법을 제공하는 것을 다른 목적으로 한다.

또한 본 발명은 네트워크 정보, 시간 정보, 장소 정보, 편성 정보 또는 이들의 조합을 포함한 데이터를 2차원 형태의 학습 데이터로 만들어 기계학습을 통해 학습모델을 생성하고, 오케스트레이션이 이루어지는 시점의 입력 데이터를 상기 생성한 학습모델에 입력하여 각 원격 사이트의 지연패턴을 추출하며, 상기 추출한 지연패턴을 참조하여 각 원격 사이트에서의 시작시점 스케줄링을 결정하여 제공함으로써, 각 원격 사이트에서 상기 시작시점 스케줄링 정보를 통해 서로 연관지어 진행되는 이벤트를 동시에 시작하고 마칠 수 있도록 하는 장치 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.

또한 본 발명은 서로 연관지어 진행되는 이벤트를 수행하는 각 원격 사이트에서 중앙의 통합 제어 오케스트레이션 장치로부터 제공받은 시작시점 스케줄링 정보에 따라 시작시점을 빛, 소리 또는 이들의 조합을 포함한 신호로 변환하여 출력함으로써, 상기 이벤트에 참여하는 참여자들이 이를 통해 상기 이벤트의 시작시점을 정확하게 인지할 수 있도록 하는 장치 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.

본 발명의 일 실시예에 따른 복수의 원격 사이트에 대한 통합 제어 오케스트레이션 장치는, 복수의 서로 다른 장소에서 진행되는 이벤트에 대한 각각의 미디어 소스를 제공받는 미디어 소스 수신부; 및 복수의 서로 다른 장소로부터 상기 미디어 소스를 수신함에 있어서, 네트워크 상황을 미리 예측하여 스케줄링하는 스케줄링부;를 포함하며, 상기 스케줄링에 따라 상기 복수의 서로 다른 장소에서 진행되는 이벤트에 대한 복수의 미디어 소스를 하나로 통합하여 오케스트레이션하는 것을 특징으로 한다.

또한 상기 통합 제어 오케스트레이션 장치는, 네트워크 정보, 시간 정보, 장소 정보, 편성 정보 또는 이들의 조합을 포함한 데이터를 전처리하여 2차원 형태의 지연패턴에 대한 학습 데이터 세트를 생성하는 학습 데이터 생성부; 및 상기 생성한 학습 데이터 세트를 기계학습하여 학습모델을 생성하는 학습모델 생성부;를 더 포함하는 것을 특징으로 한다.

이때 상기 네트워크 정보는, 상기 통합 제어 오케스트레이션 장치와 상기 복수의 서로 다른 장소에 구비된 미디어 생성 장치 간의 송신 시간, 수신 시간 및 로컬 지연에 대한 정보이며, 상기 시간 정보는, 시간대, 날짜 및 계절에 대한 정보이며, 상기 장소 정보는, 상기 장소의 위도 및 경도에 대한 정보이며, 상기 편성 정보는, 악단, 악기 및 합창단을 포함한 오디오 생성 주체에 대한 정보이며, 상기 학습 데이터 생성부는, 상기 시간 정보에 따른 상기 네트워크 정보에 대한 지연패턴을 2차원 형태로 구성하고, 상기 구성한 2차원 형태에 상기 장소 정보 및 편성 정보를 레이블링하여 상기 학습 데이터 세트를 생성하거나, 또는 상기 이벤트와 관련된 장소, 참여자, 악기, 시작시간, 네트워크 지연상황 또는 이들의 조합을 포함한 편성표를 전처리하여 2차원 형태의 상기 학습 데이터 세트를 생성하는 것을 더 포함하는 것을 특징으로 한다.

또한 상기 통합 제어 오케스트레이션 장치는, 상기 오케스트레이션이 이루어지는 시점에서 확인된 네트워크 정보, 시간 정보, 장소 정보, 편성 정보 또는 이들의 조합을 포함한 데이터를 전처리하여 2차원 형태의 지연패턴에 대한 입력 데이터 세트를 생성하는 입력 데이터 생성부; 상기 생성한 입력 데이터 세트를 미리 생성해둔 학습모델에 입력하여 상기 복수의 서로 다른 장소별 지연패턴을 추출하는 지연패턴 추출부; 및 상기 추출한 복수의 서로 다른 장소별 지연패턴을 토대로 상기 스케줄링부에서 수행한 스케줄링에 따른 상기 복수의 서로 다른 장소별 시작시점 스케줄링 정보를 생성하고, 상기 생성한 시작시점 스케줄링 정보를 상기 복수의 서로 다른 장소에 구비된 미디어 생성 장치로 제공하는 스케줄링 정보 제공부;를 더 포함하는 것을 특징으로 한다.

또한 상기 미디어 생성 장치는, 상기 통합 제어 오케스트레이션 장치로부터 제공받은 시작시점 스케줄링 정보에 따라 시작시점에서 빛, 소리 또는 이들의 조합을 포함한 신호로 변환하여 출력함으로써, 상기 이벤트에 참여하는 사용자가 상기 이벤트의 시작시점을 인지할 수 있도록 하는 것을 특징으로 한다.

아울러, 본 발명의 일 실시예에 따른 복수의 원격 사이트에 대한 통합 제어 오케스트레이션 방법은, 통합 제어 오케스트레이션 장치에서, 복수의 서로 다른 장소에서 진행되는 이벤트에 대한 각각의 미디어 소스를 제공받는 미디어 소스 수신 단계; 및 상기 통합 제어 오케스트레이션 장치에서, 복수의 서로 다른 장소로부터 상기 미디어 소스를 수신함에 있어서, 네트워크 상황을 미리 예측하여 스케줄링하는 스케줄링 단계;를 포함하며, 상기 스케줄링에 따라 상기 복수의 서로 다른 장소에서 진행되는 이벤트에 대한 복수의 미디어 소스를 하나로 통합하여 오케스트레이션하는 것을 특징으로 한다.

또한 상기 통합 제어 오케스트레이션 방법은, 상기 통합 제어 오케스트레이션 장치에서, 네트워크 정보, 시간 정보, 장소 정보, 편성 정보 또는 이들의 조합을 포함한 데이터를 전처리하여 2차원 형태의 지연패턴에 대한 학습 데이터 세트를 생성하는 학습 데이터 생성 단계; 및 상기 통합 제어 오케스트레이션 장치에서, 상기 생성한 학습 데이터 세트를 기계학습하여 학습모델을 생성하는 학습모델 생성 단계;를 더 포함하는 것을 특징으로 한다.

이때 상기 네트워크 정보는, 상기 통합 제어 오케스트레이션 장치와 상기 복수의 서로 다른 장소에 구비된 미디어 생성 장치 간의 송신 시간, 수신 시간 및 로컬 지연에 대한 정보이며, 상기 시간 정보는, 시간대, 날짜 및 계절에 대한 정보이며, 상기 장소 정보는, 상기 장소의 위도 및 경도에 대한 정보이며, 상기 편성 정보는, 악단, 악기 및 합창단을 포함한 오디오 생성 주체에 대한 정보이며, 상기 학습 데이터 생성 단계는, 상기 시간 정보에 따른 상기 네트워크 정보에 대한 지연패턴을 2차원 형태로 구성하고, 상기 구성한 2차원 형태에 상기 장소 정보 및 편성 정보를 레이블링하여 상기 학습 데이터 세트를 생성하거나, 또는 상기 이벤트와 관련된 장소, 참여자, 악기, 시작시간, 네트워크 지연상황 또는 이들의 조합을 포함한 편성표를 전처리하여 2차원 형태의 상기 학습 데이터 세트를 생성하는 것을 더 포함하는 것을 특징으로 한다.

또한 상기 통합 제어 오케스트레이션 방법은, 상기 통합 제어 오케스트레이션 장치에서, 상기 오케스트레이션이 이루어지는 시점에서 확인된 네트워크 정보, 시간 정보, 장소 정보, 편성 정보 또는 이들의 조합을 포함한 데이터를 전처리하여 2차원 형태의 지연패턴에 대한 입력 데이터 세트를 생성하는 입력 데이터 생성 단계; 상기 통합 제어 오케스트레이션 장치에서, 상기 생성한 입력 데이터 세트를 미리 생성해둔 학습모델에 입력하여 상기 복수의 서로 다른 장소별 지연패턴을 추출하는 지연패턴 추출 단계; 및 상기 통합 제어 오케스트레이션 장치에서, 상기 추출한 복수의 서로 다른 장소별 지연패턴을 토대로 상기 스케줄링 단계에서 수행한 스케줄링에 따른 상기 복수의 서로 다른 장소별 시작시점 스케줄링 정보를 생성하고, 상기 생성한 시작시점 스케줄링 정보를 상기 복수의 서로 다른 장소에 구비된 미디어 생성 장치로 제공하는 스케줄링 정보 제공 단계;를 더 포함하는 것을 특징으로 한다.

또한 상기 통합 제어 오케스트레이션 방법은, 상기 미디어 생성 장치에서, 상기 통합 제어 오케스트레이션 장치로부터 제공받은 시작시점 스케줄링 정보에 따라 시작시점에서 빛, 소리 또는 이들의 조합을 포함한 신호로 변환하여 출력함으로써, 상기 이벤트에 참여하는 사용자가 상기 이벤트의 시작시점을 인지할 수 있도록 하는 것을 더 포함하는 것을 특징으로 한다.

이상에서와 같이 본 발명의 복수의 원격 사이트에 대한 통합 제어 오케스트레이션 장치 및 그 방법에 따르면, 독립적인 복수의 원격 사이트에서 동시에 서로 연관지어 진행되는 음악회, 공연, 뮤지컬 등의 이벤트에 대한 각각의 미디어 소스를 하나로 통합하여 통합 미디어를 생성하고 이를 실시간으로 방송하거나 전송할 때, 오케스트레이션이 이루어지는 시점에 중앙의 통합 제어 오케스트레이션 장치에서 상기 복수의 원격 사이트별 시작시점 스케줄링 정보를 정확하게 예측하여 제공할 수 있으므로, 상기 복수의 원격 사이트 각각에서 상기 시작시점 스케줄링 정보를 통해 서로 연관지어 진행되는 이벤트를 동시에 시작하고 마치도록 통합 제어할 수 있는 효과가 있다.

특히, 본 발명은 네트워크 정보, 시간 정보, 장소 정보, 편성 정보 또는 이들의 조합을 포함한 데이터를 2차원 형태의 학습 데이터로 만들어 기계학습을 통해 학습모델을 생성하고, 실제 오케스트레이션이 이루어지는 시점의 네트워크 정보, 시간 정보, 장소 정보, 편성 정보 또는 이들의 조합을 포함한 데이터로부터 생성한 입력 데이터를 상기 학습모델에 입력하여 추출한 각 원격 사이트의 지연패턴을 통해서 각 원격 사이트에서의 시작시점 스케줄링을 정밀하게 수행할 수 있는 효과가 있다.

또한 본 발명은 서로 연관지어 진행되는 이벤트를 수행하는 각 원격 사이트에서 중앙의 통합 제어 오케스트레이션 장치로부터 제공받은 시작시점 스케줄링 정보에 따라 시작시점을 빛, 소리 또는 이들의 조합을 포함한 신호로 변환하여 출력함으로써, 상기 이벤트에 참여하는 참여자들이 상기 변환한 신호의 확인을 통해 상기 이벤트의 시작시점을 정확하게 인지할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 복수의 원격 사이트에 대한 통합 제어 오케스트레이션 장치의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 복수의 원격 사이트에 대한 통합 제어 오케스트레이션 과정을 설명하기 위한 개념도이다.
도 3은 본 발명에 적용되는 학습모델 생성 과정과 학습 네트워크 구조를 상세하게 설명하기 위한 도면이다.
도 4는 본 발명에 적용되는 학습모델을 생성할 때 사용되는 학습 데이터의 예를 나타낸 도면이다.
도 5는 본 발명에 적용되는 학습 데이터의 차원에 따라 생성되는 학습모델의 예를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 통합 제어 오케스트레이션 장치의 구성을 상세하게 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 복수의 원격 사이트에 대한 통합 제어 오케스트레이션 방법의 동작과정을 상세하게 나타낸 순서도이다.

이하, 첨부한 도면을 참조하여 본 발명의 복수의 원격 사이트에 대한 통합 제어 오케스트레이션 장치 및 그 방법에 대한 바람직한 실시 예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.

도 1은 본 발명의 일 실시예에 따른 복수의 원격 사이트에 대한 통합 제어 오케스트레이션 장치의 구성을 설명하기 위한 도면이다.

도 1에 도시된 바와 같이, 본 발명은 통합 제어 오케스트레이션 장치(100), 미디어 생성 장치(200), 미디어 수신 장치(300), 데이터베이스(400) 등을 포함하여 구성된다.

상기 통합 제어 오케스트레이션 장치(100)는 독립적인 복수의 서로 다른 장소(예를 들어, 서울, 뉴욕, 파리, 상해 등의 각 도시)에서 서로 연관지어 진행되는 음악회, 공연, 뮤지컬, 토론 등의 각종 이벤트를 동시에 시작하고 마칠 수 있도록 통합 제어하여, 상기 복수의 서로 다른 장소에서 각각 생성되는 미디어 소스를 하나로 통합하고, 하나로 통합한 통합 미디어를 상기 미디어 수신 장치(300)로 실시간으로 제공하여 재생하도록 함으로써, 시청자들이 상기 복수의 서로 다른 장소에서 생성된 각 미디어 소스를 지연 없이 하나의 미디어로 통합하여 시청할 수 있도록 한다.

즉 복수의 서로 다른 장소(사이트)에 구비된 상기 미디어 생성 장치(200)에서 특정 이벤트에 대해 생성한 각 미디어 소스를 중앙의 상기 통합 제어 오케스트레이션 장치(100)에서 수신하고, 상기 수신한 각 미디어 소스를 하나로 통합하여 하나의 미디어를 생성하고, 이를 상기 미디어 수신 장치(300)를 통해 시청자들에게 제공하는 것이다.

예를 들어, 서울에는 관련악단이 위치하고, 뉴욕에는 피아노 연주자가 위치하고, 파리에는 바이올린 연주자가 위치하고, 상해에는 합창단이 위치하고 있으며, 각 도시를 연결하여 동일한 시간에 음악회를 개최한다고 가정한다.

이때 중앙의 상기 통합 제어 오케스트레이션 장치(100)는 상기 음악회에 참여하는 사용자들이 서로 다른 장소에서 수행하는 연주, 합창 등에 대한 미디어 소스를 하나로 모아 통합하여야 한다.

이를 위하여, 상기 통합 제어 오케스트레이션 장치(100)는 오케스트레이션이 이루어지는 시점 이전(예를 들어, 오케스트레이션을 수행하기 수 분 이전)에, 상기 통합 제어 오케스트레이션 장치(100)와 상기 복수의 서로 다른 장소에 설치된 상기 미디어 생성 장치(200) 간의 송신 시간, 수신 시간, 각 장치의 내부 지연 등에 대한 네트워크 정보, 시간대, 날짜, 계절 등에 대한 시간 정보, 각 도시 위치, 송신측, 수신측 및 경유지 등에 대한 장소 정보, 및 악기, 합창단 등에 대한 편성 정보 또는 이들의 조합을 확인한다.

또한 상기 통합 제어 오케스트레이션 장치(100)는 상기 확인한 오케스트레이션이 이루어지는 시점 이전의 네트워크 정보, 시간 정보, 장소 정보 및 편성 정보 등을 2차원으로 입력 데이터 세트를 생성하고, 상기 생성한 입력 데이터 세트를 사전에 생성해둔 학습모델에 적용하여 각각의 서로 다른 장소별 지연패턴을 추출한다. 그리고 상기 추출한 각각의 서로 다른 장소별 지연패턴을 참조하여 각 장소별 네트워크 상황을 미리 예측하여 스케줄링을 수행한다. 즉 상기 통합 제어 오케스트레이션 장치(100)와 각 도시별로 설치된 상기 미디어 생성 장치(200) 간의 네트워크 상황을 미리 예측하여 각 도시마다 이벤트를 진행하는 시작시점을 정확하게 스케줄링하는 것이다.

이때 상기 스케줄링은 복수의 서로 다른 장소별로 연주, 합창 등을 시작하는 시작시점 정보를 나타낸 것으로서, 각 장소별 네트워크 상황에 따라 시작시간이 서로 다르게 결정될 수 있다. 예를 들어, 네트워크 상황을 미리 예측한 결과를 통해서 서울은 오전 10시 5초, 뉴욕은 10시 정각, 파리는 10시 1초, 상해는 10시 4초에 음악회를 진행하는 것으로 스케줄링될 수 있다.

또한 상기 학습모델은 상기 통합 제어 오케스트레이션 장치(100)와 상기 복수의 서로 다른 장소에 설치된 상기 미디어 생성 장치(200) 간의 네트워크 정보, 시간 정보, 장소 정보, 편성 정보 또는 이들의 조합을 포함한 데이터를 토대로 다양한 2차원 형태의 학습 데이터 세트를 생성하고, 상기 생성한 학습 데이터 세트를 기계학습하여 생성한 것이다.

또한 상기 학습 데이터 세트는 상기 시간 정보에 따른 상기 네트워크 정보에 대한 지연패턴을 2차원 형태의 데이터 세트로 구성하고, 상기 구성한 2차원 형태의 데이터 세트에 상기 장소 정보 및 편성 정보를 레이블링하여 생성할 수 있다. 또한 상기 방식 이외에, 상기 이벤트 진행과 관련하여 장소, 참여자, 악기, 시작시간, 네트워크 지연상황 등을 포함한 편성표를 구축하고, 상기 구축한 편성표를 전처리하여 2차원 형태의 학습 데이터 세트를 생성할 수도 있다.

또한 상기 통합 제어 오케스트레이션 장치(100)는 상기 수행한 스케줄링 정보(즉 시작시간 스케줄링 정보)를 복수의 서로 다른 장소별로 설치된 상기 미디어 생성 장치(200)로 전송한다.

이에 따라 상기 복수의 서로 다른 장소별로 설치된 상기 미디어 생성 장치(200)는 상기 스케줄링에 따라 시작시점을 정확하게 확인하여 연주, 합창 등을 시작할 수 있으며, 상기 통합 제어 오케스트레이션 장치(100)는 지연 및 버퍼링을 최소화하면서 상기 복수의 서로 다른 장소로부터 수신되는 미디어 소스를 하나로 통합하여 통합 미디어를 생성할 수 있게 된다.

한편 상기 통합 제어 오케스트레이션 장치(100)는 복수의 서로 다른 장소에서 진행되는 이벤트에 대한 각 미디어 소스를 실시간으로 수신하여 하나로 통합하는 것 이외에, 서로 다른 장소로부터 실시간으로 수신한 미디어 소스와 미리 생성하여 저장해둔 미디어 소스를 하나로 통합하는 등 다양한 방식으로 적용할 수 있음을 밝혀둔다.

상기 미디어 생성 장치(200)는 복수의 서로 다른 장소마다 설치되며, 마이크, 카메라, 네트워크 통신장비 등을 포함하여 구성할 수 있다.

또한 상기 미디어 생성 장치(200)는 상기 통합 제어 오케스트레이션 장치(100)로부터 제공받은 스케줄링에 따라 복수의 서로 다른 장소에서 서로 연관지어 진행되는 각종 이벤트를 시작하고, 상기 이벤트를 촬영한 영상, 오디오 또는 이들의 조합을 포함한 미디어 소스를 네트워크를 통해 상기 통합 제어 오케스트레이션 장치(100)로 전송한다.

또한 상기 미디어 생성 장치(200)는 상기 통합 제어 오케스트레이션 장치(100)로부터 제공받은 시작시점 스케줄링 정보에 따라 시작시점을 빛, 소리 또는 이들의 조합을 포함한 신호로 변환하여 출력할 수 있다. 이에 따라 상기 이벤트에 참여하는 사용자들은 상기 빛, 소리 등을 통해 상기 이벤트의 시작시점을 정확하게 인지하여 연주, 합창 등의 이벤트를 시작할 수 있다.

상기 미디어 수신 장치(300)는 방송장비, TV, 스마트폰, 컴퓨터 등을 포함하여 구성되고, 네트워크를 통해 상기 통합 제어 오케스트레이션 장치(100)로부터 하나로 통합된 통합 미디어를 패킷 형태로 수신한다.

또한 상기 미디어 수신 장치(300)는 상기 통합 제어 오케스트레이션 장치(100)로부터 수신한 패킷을 하위단의 다른 수신 장치로 전달하여 방송하거나, 혹은 상기 수신한 패킷을 복원한 후 재생하여 시청자들이 상기 통합 미디어를 시청할 수 있도록 한다.

상기 데이터베이스(400)는 상기 통합 제어 오케스트레이션 장치(100)에서 다양한 학습 데이터 세트를 토대로 기계학습하여 생성한 지연패턴 추출을 위한 학습모델을 저장하여 관리하며, 상기 학습 데이터 세트의 갱신에 따라 상기 학습모델을 업데이트하여 관리한다.

또한 상기 데이터베이스(400)는 상기 통합 제어 오케스트레이션 장치(100)에서 사용하는 네트워크 상황에 따른 스케줄링과 관련된 각종 동작프로그램을 저장하여 관리한다.

이와 같은 복수의 원격 사이트에 대한 통합 제어 오케스트레이션을 수행하기 위한 과정을 도 2를 참조하여 상세하게 설명하면 다음과 같다.

도 2는 본 발명의 일 실시예에 따른 복수의 원격 사이트에 대한 통합 제어 오케스트레이션 과정을 설명하기 위한 개념도이다.

먼저, 상기 통합 제어 오케스트레이션 장치(100)는 각 원격 사이트별로 다양한 네트워크 상황 변화, 시간 및 장소 정보, 오케스트레이션을 위한 각종 편성 정보 또는 이들의 조합을 포함한 데이터를 전처리하여 학습 데이터 세트를 생성한다(①).

즉 네트워크 정보, 시간 정보, 장소 정보, 편성 정보 또는 이들의 조합을 포함한 데이터를 2차원 형태의 데이터 세트로 전처리하여 다양한 학습 데이터 세트를 생성하는 것이다.

또한 상기 통합 제어 오케스트레이션 장치(100)는 상기 생성한 학습 데이터 세트를 기계학습하여 학습모델을 생성하고, 이를 상기 데이터베이스(400)에 저장하여 관리한다(②).

이때 상기 학습모델의 생성을 도 3을 참조하여 보다 상세하게 설명하면 다음과 같다.

도 3은 본 발명에 적용되는 학습모델 생성 과정과 학습 네트워크 구조를 상세하게 설명하기 위한 도면이다.

도 3의 (a)에 나타낸 바와 같이, 상기 통합 제어 오케스트레이션 장치(100)는 네트워크 정보, 시간 정보, 장소 정보, 편성 정보 또는 이들의 조합을 포함하고 있는 상기 학습 데이터 세트를 입력으로 학습을 수행하여, 각 원격 사이트별 지연패턴 추출을 위한 학습모델을 생성하고, 상기 생성한 학습모델을 상기 데이터베이스(400)에 저장하여 관리한다.

이때 학습을 진행하는 네트워크 구조는 도 3의 (b)에 나타낸 바와 같이, CNN(convolution neural network)을 사용할 수 있으며, CNN은 상기 학습 데이터 세트가 입력되는 입력 레이어, 컨볼루션(convolution) 레이어, 풀링(pooling) 레이어 및 완전연관(fully connected) 레이어로 구성된다.

상기 입력 레이어에 입력되는 상기 학습 데이터 세트는 2차원 형태의 데이터 세트를 구성하여 사용하는 것이 바람직하다.

또한 상기 컨볼루션 레이어는 특정 가중치를 가지는 커널을 미리 설정한 스트라이드(즉 상기 커널의 이동단위를 의미함)에 따라 상기 학습 데이터 세트의 특정 부분과 상기 커널의 가중치를 컨볼루션하여, 상기 데이터의 특정 부분에 대한 특징 맵을 생성하여 출력한다.

또한 풀링 레이어는 상기 커널과 스트라이드의 크기에 따라 상기 컨볼루션 레이어로부터 출력되는 특정 맵을 풀링함으로써, 상기 특징 맵을 적어도 하나 이상의 서브 데이터로 서브 샘플링한다.

또한 상기 컨볼루션 레이어와 상기 풀링 레이어가 하나의 쌍으로 구성되어 적어도 하나 이상으로 구현될 수 있다.

또한 완전연관 레이어는 상기 생성한 적어도 하나 이상의 특징 맵을 연결시켜 상기 학습 데이터 세트에 대한 지연패턴 정보를 출력할 수 있도록 한다. 이때, 출력되는 상기 지연패턴 정보는 0 ~ 1 사이의 확률 값을 가진다.

도 4는 본 발명에 적용되는 학습모델을 생성할 때 사용되는 학습 데이터의 예를 나타낸 도면이며, 도 5는 본 발명에 적용되는 학습 데이터의 차원에 따라 생성되는 학습모델의 예를 설명하기 위한 도면이다.

상기 통합 제어 오케스트레이션 장치(100)는 학습모델을 생성할 때, 2차원 형태의 학습 데이터를 기반으로 학습하여 지연 추정을 위한 학습모델을 생성하는 것을 예로 하였으나 이에 한정되지 않는다.

즉 상기 통합 제어 오케스트레이션 장치(100)는 도 4 및 도 5에 도시된 바와 같이, 상기 네트워크 정보, 시간 정보, 장소 정보 및 편성 정보 등의 요소를 참조하여 생성한 상기 학습 데이터의 차원(예를 들어, 1차원(예: 각 장비별 지연), 2차원(예: 1차원 요소에 계절이나 월별 지연을 포함), 3차원(예: 2차원 요소에 시간대별 지연을 포함))에 따라, 1차원 CNN, 2차원 CNN, 3차원 CNN을 이용하여 지연 추정을 위한 학습모델을 생성할 수 있는 것이다.

다시 도 2를 참조하면, 상기 통합 제어 오케스트레이션 장치(100)는 오케스트레이션이 이루어지는 시점 직전에, 상기 통합 제어 오케스트레이션 장치(100)와 복수의 서로 다른 장소에 설치된 상기 미디어 생성 장치(200) 간의 네트워크 정보(예: 송신 시간, 수신 시간, 각 장치의 내부 지연 등), 시간 정보(예: 시간대, 날짜, 계절 등), 장소 정보(예: 각 도시 위치, 송신측, 수신측 및 경유지 등), 편성 정보(예: 악기, 합창단 등) 또는 이들의 조합을 토대로 입력 데이터 세트를 생성한다(③).

즉 상기 통합 제어 오케스트레이션 장치(100)는 오케스트레이션이 이루어지는 시점에서의 네트워크 정보, 시간 정보, 장소 정보 및 편성 정보 등을 2차원 입력 데이터 세트를 생성하는 것으로서, 상기 시간 정보에 따른 상기 네트워크 정보에 대한 지연패턴을 2차원 형태로 구성한 다음, 상기 구성한 2차원 형태에 상기 장소 정보 및 편성 정보를 레이블링하여 상기 입력 데이터 세트를 생성할 수 있다. 또한 상기 입력 데이터 세트는 현재 진행되는 이벤트와 관련된 장소, 참여자, 악기, 시작시간, 네트워크 지연상황 등을 포함한 편성표를 전처리하여 2차원 형태로 생성할 수 있다.

또한 상기 통합 제어 오케스트레이션 장치(100)는 상기 생성한 입력 데이터 세트를 상기 생성한 학습모델에 입력하여, 오케스트레이션이 이루어지는 시점에서의 복수의 서로 다른 장소별 지연패턴을 추출한다(④).

이렇게 복수의 서로 다른 장소별 지연패턴이 추출되면, 상기 통합 제어 오케스트레이션 장치(100)는 상기 추출한 복수의 서로 다른 장소별 지연패턴을 바탕으로 각 장소에서 이벤트를 시작할 시작시점 스케줄링을 수행한다(⑤).

즉 네트워크 상황을 미리 예측하여 복수의 서로 다른 장소별로 이벤트를 진행하는 시작시점을 결정하는 것이다.

또한 통합 제어 오케스트레이션 장치(100)는 상기 생성한 시작시점 스케줄링 정보를 복수의 서로 다른 장소에 설치된 상기 미디어 생성 장치(200)로 제공한다(⑥).

이에 따라 상기 미디어 생성 장치(200)는 상기 통합 제어 오케스트레이션 장치(100)로부터 제공받은 시작시점 스케줄링 정보를 토대로 해당 시작시점에 복수의 서로 다른 장소에서 서로 연관지어 진행되는 각종 이벤트가 시작되도록 하며, 상기 이벤트에 대해 촬영한 영상, 오디오 또는 이들의 조합을 포함한 미디어 소스를 상기 통합 제어 오케스트레이션 장치(100)로 전송한다.

또한 상기 통합 제어 오케스트레이션 장치(100)는 상기 미디어 생성 장치(200)로부터 수신한 각 미디어 소스를 하나로 통합하여 통합 미디어를 생성하고(⑦), 상기 하나로 통합하여 생성한 통합 미디어를 상기 미디어 수신 장치(300)로 제공하여 시청자가 서로 다른 장소에서 진행되는 이벤트를 하나로 통합한 미디어를 시청할 수 있도록 한다.

도 6은 본 발명의 일 실시예에 따른 통합 제어 오케스트레이션 장치의 구성을 상세하게 나타낸 도면이다.

도 6에 도시된 바와 같이, 상기 통합 제어 오케스트레이션 장치(100)는 학습 데이터 생성부(110), 학습모델 생성부(120), 입력 데이터 생성부(130), 지연패턴 추출부(140), 스케줄링부(150), 스케줄링 정보 제공부(160), 미디어 소스 수신부(170), 통합 미디어 생성부(180), 미디어 송신부(190) 등을 포함하여 구성된다.

또한 상기 통합 제어 오케스트레이션 장치(100)는 도면에 도시하지는 않았지만, 각 구성 부분에 동작전원을 공급하는 전원부, 시작시점 스케줄링 정보, 미디어 소스에 대한 데이터 송수신을 수행하는 통신 인터페이스부, 각종 기능에 대한 데이터 입력을 위한 입력부, 각종 동작프로그램의 업데이트를 관리하는 업데이트 관리부 등을 추가로 포함할 수 있다.

상기 학습 데이터 생성부(110)는 네트워크 정보, 시간 정보, 장소 정보, 편성 정보 또는 이들의 조합을 포함한 데이터를 전처리하여 2차원 형태의 지연패턴에 대한 학습 데이터 세트를 생성하고, 상기 생성한 학습 데이터 세트를 상기 학습모델 생성부(120)로 제공한다.

즉 각종 이벤트를 진행하는 시간적, 공간적 상황을 고려하여, 다양한 상황에 대한 학습 데이터 세트를 구축하는 것이다.

이때 상기 네트워크 정보는 상기 통합 제어 오케스트레이션 장치(100)와 복수의 서로 다른 장소에 구비된 미디어 생성 장치(200) 간의 송신 시간, 수신 시간 및 로컬 지연에 대한 정보를 포함한다. 상기 시간 정보는 24시간의 시간대, 날짜 및 계절에 대한 정보를 포함한다. 상기 장소 정보는 이벤트가 진행되는 장소(예: 도시, 국가 등)의 위도 및 경도에 대한 정보를 포함한다. 상기 편성 정보는 악단, 악기, 합창단 등의 오디오 생성 주체에 대한 정보를 포함한다.

또한 상기 학습 데이터 생성부(110)는 상기 학습 데이터 세트를 생성할 때, 상기 시간 정보에 따른 상기 네트워크 정보에 대한 지연패턴을 2차원 형태로 구성한 다음 상기 구성한 2차원 형태에 상기 장소 정보 및 편성 정보를 레이블링하여 상기 학습 데이터 세트를 생성할 수 있다.

또한 상기 학습 데이터 생성부(110)는 상기 이벤트와 관련된 장소, 참여자, 악기, 시작시간, 네트워크 지연상황 또는 이들의 조합을 포함한 편성표를 전처리하여 2차원 형태의 학습 데이터 세트를 생성할 수도 있다.

상기 학습모델 생성부(120)는 상기 학습 데이터 생성부(110)에서 생성한 학습 데이터 세트를 기계학습하여 학습모델을 생성하고, 상기 생성한 학습모델을 상기 데이터베이스(400)에 저장한다.

이때 상기 학습모델은 주기적으로 학습 데이터 세트를 추가하여 지속적으로 업데이트할 수 있으며, 학습모델을 생성하는 네트워크 구조나 방식은 상기 도 3에서 설명한 바와 같다.

상기 입력 데이터 생성부(130)는 오케스트레이션이 이루어지는 시점(보다 구체적으로는 오케스트레이션이 이루어지는 특정 시점의 일정 시간 이전)에서 확인된 네트워크 정보, 시간 정보, 장소 정보, 편성 정보 또는 이들의 조합을 포함한 데이터를 전처리하여 2차원 형태의 지연패턴에 대한 입력 데이터 세트를 생성하고, 상기 생성한 입력 데이터 세트를 상기 지연패턴 추출부(140)로 제공한다.

이때 상기 입력 데이터 세트는 상기 학습 데이터 생성부(110)에서 학습 데이터 세트를 생성하는 방식과 동일한 방식으로 생성할 수 있다.

상기 지연패턴 추출부(140)는 상기 입력 데이터 생성부(130)에서 생성한 입력 데이터 세트를 상기 학습모델 생성부(120)에서 생성한 학습모델에 입력하여 상기 이벤트가 진행되는 복수의 서로 다른 장소별 지연패턴을 추출하고, 상기 추출한 지연패턴에 대한 정보를 상기 스케줄링부(150)로 출력한다.

상기 스케줄링부(150)는 상기 지연패턴 추출부(140)에서 추출한 지연패턴을 참조하여, 복수의 서로 다른 장소로부터 상기 이벤트에 대한 미디어 소스를 수신함에 있어서, 네트워크 상황을 미리 예측하여 스케줄링을 수행하고, 상기 수행한 스케줄링 정보를 상기 스케줄링 정보 제공부(160)로 출력한다.

즉 상기 스케줄링에 따라 상기 복수의 서로 다른 장소에서 진행되는 이벤트에 대한 복수의 미디어 소스를 하나로 통합하여 오케스트레이션을 수행할 수 있도록 하는 것이다.

상기 스케줄링 정보 제공부(160)는 상기 지연패턴 추출부(140)에서 추출한 복수의 서로 다른 장소별 지연패턴을 토대로 상기 스케줄링부(150)에서 수행한 스케줄링에 따른 상기 복수의 서로 다른 장소별 시작시점 스케줄링 정보를 생성하고, 상기 생성한 시작시점 스케줄링 정보를 네트워크를 통해 상기 복수의 서로 다른 장소에 구비된 미디어 생성 장치(200)로 제공한다.

이때 상기 시작시점 스케줄링 정보는 상기 복수의 서로 다른 장소별로 추출된 최적의 지연패턴을 바탕으로 산출된 스케줄링 정보에 따라 각 장소별로 상기 이벤트를 수행하여야 하는 시작시간을 알리기 위한 것이다.

예를 들어, 도 1의 상기 통합 제어 오케스트레이션 장치(100)와 서울, 뉴욕, 파리 및 상해에 각각 구비된 미디어 생성 장치(200) 간의 지연이 각각 1초, 5초, 4초 및 2초로 확인되었고, 상기 이벤트가 정각 10시에 시작하는 것으로 가정할 때, 상기 스케줄링 정보 제공부(160)는 상기 확인된 지연과 반비례하여 뉴욕은 10시, 파리는 10시 1초, 상해는 10시 3초, 사울은 10시 4초에 상기 이벤트를 시작하기 위한 시작시점 스케줄링 정보를 생성하고, 상기 생성한 시작시점 스케줄링 정보를 각 장소에 구비된 상기 미디어 생성 장치(200)로 제공하여, 해당 시작시점에 상기 이벤트를 진행하도록 한다. 이에 따라 상기 통합 제어 오케스트레이션 장치(100)는 각 도시에 흩어져 진행되는 상기 이벤트에 대한 미디어 소스를 지연 없이 하나로 모아 통합 미디어를 구축할 수 있게 된다.

상기 미디어 소스 수신부(170)는 상기 복수의 서로 다른 장소에 구비된 상기 미디어 생성 장치(200)로부터 서로 연관지어 동시에 진행되는 상기 이벤트에 대한 각각의 미디어 소스를 수신하고, 상기 수신한 미디어 소스를 상기 통합 미디어 생성부(180)로 출력한다.

이때 상기 미디어 소스 수신부(170)는 저잡음 증폭기(Low Noise Amplifier), 아날로그/디지털 변환기(ADC), 디코더 등을 포함하여 구성될 수 있으며, 상기 수신한 미디어 소스를 저잡음 증폭, 디지털 변환 및 송신측 인코딩에 따른 디코딩 처리를 수행한 후 상기 통합 미디어 생성부(180)로 출력한다.

상기 통합 미디어 생성부(180)는 상기 스케줄링에 따라 상기 미디어 소스 수신부(170)를 통해 상기 복수의 서로 다른 장소에 구비된 상기 미디어 생성 장치(200)로부터 수신한 복수의 미디어 소스를 하나로 통합하여 통합 미디어를 생성하고, 상기 생성한 통합 미디어를 상기 미디어 송신부(190)로 출력한다.

상기 미디어 송신부(190)는 상기 통합 미디어 생성부(180)에서 하나로 통합한 상기 이벤트에 대한 통합 미디어를 네트워크를 통해 상기 미디어 수신 장치(300)로 전송함으로써, 수신자가 상기 미디어 수신 장치(300)를 통해 서로 다른 장소에서 동시에 진행되는 이벤트에 대하여 통합한 미디어를 복수의 서로 다른 미디어 소스 간 지연의 차이없이 시청할 수 있도록 한다. 이때 상기 미디어 송신부(190)는 상기 각 미디어 소스를 통합하여 패킷 형태로 만들고, 상기 패킷을 상기 미디어 수신 장치(300)로 전송할 수 있다.

다음에는, 이와 같이 구성된 본 발명에 따른 복수의 원격 사이트에 대한 통합 제어 오케스트레이션 방법의 일 실시예를 도 7을 참조하여 상세하게 설명한다. 이때 본 발명의 방법에 따른 각 단계는 사용 환경이나 당업자에 의해 순서가 변경될 수 있다.

도 7은 본 발명의 일 실시예에 따른 복수의 원격 사이트에 대한 통합 제어 오케스트레이션 방법의 동작과정을 상세하게 나타낸 순서도이다.

우선, 상기 통합 제어 오케스트레이션 장치(100)는 네트워크 정보, 시간 정보, 장소 정보, 편성 정보 또는 이들의 조합을 포함한 데이터를 전처리하여 2차원 형태의 지연패턴에 대한 학습 데이터 세트를 생성하는 학습 데이터 생성 단계를 수행한다(S100). 즉 복수의 서로 다른 장소에서 동시에 진행되는 음악회, 공연, 토론 등의 각종 이벤트를 진행하는 다양한 시간적, 공간적 상황에 대한 학습 데이터 세트를 구축하는 것이다.

이때 상기 S100 단계에서 생성되는 학습 데이터 세트는 상기 시간 정보에 따른 상기 네트워크 정보에 대한 지연패턴을 2차원 형태로 구성한 다음 상기 구성한 2차원 형태에 상기 장소 정보 및 편성 정보를 레이블링하여 생성하거나, 또는 상기 이벤트와 관련된 장소, 참여자, 악기, 시작시간, 네트워크 지연상황 또는 이들의 조합을 포함한 편성표를 전처리하여 2차원 형태로 생성할 수 있다.

상기 S100 단계를 통해 다양한 학습 데이터 세트를 생성한 이후, 상기 통합 제어 오케스트레이션 장치(100)는 상기 학습 데이터 세트를 기계학습하여 학습모델을 생성하는 학습모델 생성 단계를 수행한다(S200).

이제, 상기 S100 단계 및 S200 단계를 통해 이벤트 진행에 대한 복수의 서로 다른 장소별로 지연패턴에 대한 학습모델을 구축한 이후, 상기 통합 제어 오케스트레이션 장치(100)는 오케스트레이션이 이루어지는 시점에서 확인된 네트워크 정보, 시간 정보, 장소 정보, 편성 정보 또는 이들의 조합을 포함한 데이터를 전처리하여 2차원 형태의 지연패턴에 대한 입력 데이터 세트를 생성하는 입력 데이터 생성 단계를 수행한다(S300).

또한 상기 통합 제어 오케스트레이션 장치(100)는 상기 S300 단계에서 생성한 입력 데이터 세트를 상기 S200 단계에서 생성한 학습모델에 입력하여 상기 복수의 서로 다른 장소별 지연패턴을 추출하는 지연패턴 추출 단계를 수행한다(S400). 즉 오케스트레이션이 이루어지는 시점에서의 복수의 서로 다른 장소별 지연패턴을 추출하는 것이다.

이어서, 상기 통합 제어 오케스트레이션 장치(100)는 상기 S400 단계에서 추출한 복수의 서로 다른 장소별 지연패턴을 토대로 복수의 서로 다른 장소로부터 상기 미디어 소스를 수신함에 있어서, 네트워크 상황을 미리 예측하여 스케줄링하는 스케줄링 단계를 수행한다(S500). 즉 복수의 서로 다른 장소에서 진행되는 이벤트에 대한 복수의 미디어 소스를 하나로 통합하여 오케스트레이션을 수행하기 위한 스케줄링을 수행하는 것이다.

또한 상기 통합 제어 오케스트레이션 장치(100)는 상기 S500 단계에서 수행한 스케줄링 정보를 토대로 상기 복수의 서로 다른 장소별 시작시점 스케줄링 정보를 생성하고, 상기 생성한 시작시점 스케줄링 정보를 네트워크를 통해 상기 복수의 서로 다른 장소에 구비된 상기 미디어 생성 장치(200)로 제공하는 스케줄링 정보 제공 단계를 수행한다(S600).

이에 따라 상기 미디어 생성 장치(200)는 상기 통합 제어 오케스트레이션 장치(100)로부터 제공받은 상기 시작시점 스케줄링 정보에 따라 시작시점에서 빛, 소리 또는 이들의 조합을 포함한 신호로 변환하여 출력하고, 이에 따라 상기 이벤트에 참여하는 사용자가 상기 이벤트의 시작시점을 정확하게 인지하여 이벤트를 시작할 수 있게 된다.

또한 상기 통합 제어 오케스트레이션 장치(100)는 상기 S600 단계를 통해 제공된 상기 시작시점 스케줄링 정보를 통해 이벤트를 진행하는 각 미디어 생성 장치(200)로부터 상기 이벤트에 대한 각 미디어 소스를 수신하고, 상기 수신한 각 미디어 소스를 하나로 통합하여 통합 미디어를 생성한다(S700).

이어서 상기 통합 제어 오케스트레이션 장치(100)는 상기 S700 단계에서 하나로 통합한 통합 미디어를 네트워크를 통해 상기 미디어 수신 장치(300)로 전송하여(S800), 시청자가 서로 다른 장소에서 진행되는 이벤트를 하나로 통합한 미디어를 지연 없이 시청할 수 있도록 한다.

이처럼, 본 발명은 독립적인 복수의 원격 사이트에서 동시에 서로 연관지어 진행되는 이벤트에 대한 각각의 미디어 소스를 하나로 통합하여 통합 미디어를 생성하고 이를 실시간으로 방송하거나 전송할 때, 오케스트레이션이 이루어지는 시점에 중앙의 통합 제어 오케스트레이션 장치에서 상기 복수의 원격 사이트별 시작시점 스케줄링 정보를 정확하게 예측하여 제공할 수 있으므로, 상기 복수의 원격 사이트 각각에서 상기 시작시점 스케줄링 정보를 통해 서로 연관지어 진행되는 이벤트를 동시에 시작하고 마치도록 통합 제어할 수 있다.

특히, 본 발명은 네트워크 정보, 시간 정보, 장소 정보, 편성 정보 또는 이들의 조합을 포함한 데이터를 2차원 학습 데이터로 만들어 기계학습을 통해 학습모델을 생성하고, 실제 오케스트레이션이 이루어지는 시점의 네트워크 정보, 시간 정보, 장소 정보, 편성 정보 또는 이들의 조합을 포함한 데이터로부터 생성한 입력 데이터를 상기 학습모델에 입력하여 추출한 각 원격 사이트의 지연패턴을 통해서 각 원격 사이트에서의 시작시점 스케줄링을 수행할 수 있다.

또한 본 발명은 서로 연관지어 진행되는 이벤트를 수행하는 각 원격 사이트에서 중앙의 통합 제어 오케스트레이션 장치로부터 제공받은 시작시점 스케줄링 정보에 따라 시작시점을 빛, 소리 또는 이들의 조합을 포함한 신호로 변환하여 출력하기 때문에, 상기 이벤트에 참여하는 참여자들이 상기 변환한 신호의 확인을 통해 상기 이벤트의 시작시점을 정확하게 인지할 수 있다.

이상에서와 같이 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 판단되어야 할 것이다.

100 : 통합 제어 오케스트레이션 장치
110 : 학습 데이터 생성부 120 : 학습모델 생성부
130 : 입력 데이터 생성부 140 : 지연패턴 추출부
150 : 스케줄링부 160 : 스케줄링 정보 제공부
170 : 미디어 소스 수신부 180 : 통합 미디어 생성부
190 : 미디어 송신부 200 : 미디어 생성 장치
300 : 미디어 수신 장치 400 : 데이터베이스

Claims

복수의 원격 사이트에 대한 통합 제어 오케스트레이션 장치에 있어서,
상기 복수의 원격 사이트에 대한 통합 제어 오케스트레이션을 위해서, 복수의 서로 다른 장소에서 서로 연관되어 진행되는 이벤트에 대한 영상, 오디오 또는 이들의 조합을 포함한 각각의 미디어 소스를 수신하는 미디어 소스 수신부;
상기 복수의 원격 사이트에 대한 상기 통합 제어 오케스트레이션을 위해서, 상기 복수의 서로 다른 장소별 네트워크 상황을 미리 예측하여 상기 복수의 서로 다른 장소로부터 상기 각각의 미디어 소스를 수신하도록 스케줄링하는 스케줄링부;
상기 복수의 원격 사이트에 대한 상기 통합 제어 오케스트레이션을 위해서, 상기 스케줄링에 따라 상기 복수의 서로 다른 장소에서 상기 서로 연관되어 진행되는 이벤트에 대한 상기 각각의 미디어 소스를 수신하여 하나로 통합하는 통합 미디어 생성부;
상기 복수의 원격 사이트에 대한 상기 통합 제어 오케스트레이션을 위해서, 상기 통합 제어 오케스트레이션이 이루어지는 시점에서 확인된 네트워크 정보, 시간 정보, 장소 정보, 편성 정보 또는 이들의 조합을 포함한 데이터를 전처리하여 2차원 형태의 지연패턴에 대한 입력 데이터 세트를 생성하는 입력 데이터 생성부;
상기 복수의 원격 사이트에 대한 상기 통합 제어 오케스트레이션을 위해서, 상기 생성한 입력 데이터 세트를 미리 생성한 학습모델에 입력하여 상기 복수의 서로 다른 장소별 지연패턴을 추출하는 지연패턴 추출부; 및
상기 복수의 원격 사이트에 대한 상기 통합 제어 오케스트레이션을 위해서, 상기 추출한 복수의 서로 다른 장소별 지연패턴을 토대로 상기 스케줄링부에서 수행한 스케줄링에 따른 상기 복수의 서로 다른 장소별 시작시점 스케줄링 정보를 생성하고, 상기 생성한 시작시점 스케줄링 정보를 상기 복수의 서로 다른 장소에 구비된 미디어 생성 장치로 제공하는 스케줄링 정보 제공부;를 포함하며,
상기 스케줄링부는, 상기 통합 제어 오케스트레이션이 이루어지는 시점의 시간 정보에 따른 상기 서로 연관되어 진행되는 이벤트가 개최되는 상기 복수의 서로 다른 장소별 지연패턴을 참조하여 상기 스케줄링을 수행하며, 상기 스케줄링에 따라, 상기 복수의 서로 다른 장소로부터 수신되는 상기 각각의 미디어 소스를 하나로 통합하여 통합 미디어를 생성하며,
상기 통합 제어 오케스트레이션 장치에서 상기 복수의 원격 사이트별 상기 통합 제어 오케스트레이션이 이루어지는 시작시점 스케줄링 정보를 상기 지연패턴에 따라 조절하여 제공함으로써, 상기 복수의 원격 사이트 각각에서 상기 시작시점 스케줄링 정보를 통해 서로 연관지어 진행되는 이벤트를 시작하고 마칠 수 있도록 통합 제어하고,
상기 지연패턴은, 시간 정보에 따른 네트워크 정보에 대한 패턴이며,
상기 시간 정보는, 시간대, 날짜 및 계절에 대한 정보를 포함하며,
상기 네트워크 정보는, 상기 통합 제어 오케스트레이션 장치와 상기 복수의 서로 다른 장소에 구비된 각 미디어 생성 장치 간의 송신 시간, 수신 시간 및 로컬 지연에 대한 정보를 포함하며,
상기 2차원 형태의 지연패턴 및 상기 2차원 형태의 지연패턴에 시간대별 지연을 더 포함한 3차원 지연패턴 중 적어도 하나를 포함하며,
상기 통합 제어 오케스트레이션 장치는 각 상기 복수의 서로 다른 장소별, 시간대별 또는 이들의 조합을 포함하는 지연패턴에 따라 상기 복수의 서로 다른 장소로부터 수신되는 미디어 소스를 하나로 통합하여 통합 미디어를 생성하는 것을 특징으로 하는 복수의 원격 사이트에 대한 통합 제어 오케스트레이션 장치.
청구항 1에 있어서,
상기 통합 제어 오케스트레이션 장치는,
상기 복수의 원격 사이트에 대한 상기 통합 제어 오케스트레이션을 위해서, 네트워크 정보, 시간 정보, 장소 정보, 편성 정보 또는 이들의 조합을 포함한 데이터를 전처리하여 2차원 형태의 지연패턴에 대한 학습 데이터 세트를 생성하는 학습 데이터 생성부; 및
상기 복수의 원격 사이트에 대한 상기 통합 제어 오케스트레이션을 위해서, 상기 생성한 학습 데이터 세트를 기계학습하여 학습모델을 생성하고, 상기 생성한 학습모델을 데이터베이스에 저장하는 학습모델 생성부;를 더 포함하며,
상기 장소 정보는, 상기 서로 연관되어 진행되는 이벤트가 진행되는 장소의 위도 및 경도에 대한 정보를 포함하며,
상기 편성 정보는, 악단, 악기 및 합창단을 포함한 오디오 생성 주체에 대한 정보이며,
상기 학습 데이터 생성부는,
상기 2차원 형태에 상기 장소 정보 및 편성 정보를 레이블링하여 상기 학습 데이터 세트를 생성하거나, 또는
상기 서로 연관되어 진행되는 이벤트와 관련된 장소, 참여자, 악기, 시작시간, 네트워크 지연상황 또는 이들의 조합을 포함한 편성표를 전처리하여 2차원 형태의 상기 학습 데이터 세트를 생성하는 것을 더 포함하며,
상기 통합 제어 오케스트레이션 장치는,
상기 복수의 원격 사이트에 대한 상기 통합 제어 오케스트레이션을 위해서, 상기 네트워크 정보, 시간 정보, 장소 정보, 편성 정보 또는 이들의 조합을 포함한 데이터를 참조하여 생성한 상기 2차원 형태의 상기 학습 데이터에 시간대별 지연을 더 포함한 3차원 지연 추정을 위한 학습모델을 생성하는 것을 더 포함하며,
상기 복수의 원격 사이트에 대한 상기 통합 제어 오케스트레이션을 위해서, 상기 네트워크 정보, 시간 정보, 장소 정보, 편성 정보 또는 이들의 조합을 포함한 데이터를 참조하여 생성한 상기 2차원 형태의 상기 학습 데이터에 시간대별 지연을 더 포함한 3차원 지연 추정을 위한 학습모델을 생성하는 것을 더 포함하는 것을 특징으로 하는 복수의 원격 사이트에 대한 통합 제어 오케스트레이션 장치.
삭제
청구항 1에 있어서,
상기 미디어 생성 장치는,
상기 시작시점 스케줄링 정보에 따라 시작시점에서 빛, 소리 또는 이들의 조합을 포함한 신호로 변환하여 출력함으로써, 상기 서로 연관되어 진행되는 이벤트에 참여하는 사용자가 상기 서로 연관되어 진행되는 이벤트의 시작시점을 인지할 수 있도록 하는 것을 특징으로 하는 복수의 원격 사이트에 대한 통합 제어 오케스트레이션 장치.
삭제
복수의 원격 사이트에 대한 통합 제어 오케스트레이션 장치에서, 복수의 서로 다른 장소에서 서로 연관되어 진행되는 이벤트에 대한 영상, 오디오 또는 이들의 조합을 포함한 각각의 미디어 소스를 수신하는 미디어 소스 수신 단계;
상기 통합 제어 오케스트레이션 장치에서, 상기 복수의 서로 다른 장소별 네트워크 상황을 미리 예측하여 상기 복수의 서로 다른 장소로부터 상기 각각의 미디어 소스를 수신하도록 스케줄링하는 스케줄링 단계;
상기 통합 제어 오케스트레이션 장치에서, 상기 스케줄링에 따라 상기 복수의 서로 다른 장소에서 상기 서로 연관되어 진행되는 이벤트에 대한 상기 각각의 미디어 소스를 수신하여 하나로 통합하는 단계;
상기 통합 제어 오케스트레이션 장치에서, 통합 제어 오케스트레이션이 이루어지는 시점에서 확인된 네트워크 정보, 시간 정보, 장소 정보, 편성 정보 또는 이들의 조합을 포함한 데이터를 전처리하여 2차원 형태의 지연패턴에 대한 입력 데이터 세트를 생성하는 입력 데이터 생성 단계;
상기 통합 제어 오케스트레이션 장치에서, 상기 생성한 입력 데이터 세트를 미리 생성한 학습모델에 입력하여 상기 복수의 서로 다른 장소별 지연패턴을 추출하는 지연패턴 추출 단계; 및
상기 통합 제어 오케스트레이션 장치에서, 상기 추출한 복수의 서로 다른 장소별 지연패턴을 토대로 상기 스케줄링 단계에서 수행한 스케줄링에 따른 상기 복수의 서로 다른 장소별 시작시점 스케줄링 정보를 생성하고, 상기 생성한 시작시점 스케줄링 정보를 상기 복수의 서로 다른 장소에 구비된 미디어 생성 장치로 제공하는 스케줄링 정보 제공 단계;를 포함하며,
상기 스케줄링 단계는, 상기 통합 제어 오케스트레이션이 이루어지는 시점의 시간 정보에 따른 상기 서로 연관되어 진행되는 이벤트가 개최되는 상기 복수의 서로 다른 장소별 지연패턴을 참조하여 상기 스케줄링을 수행하며,
상기 스케줄링에 따라, 상기 복수의 서로 다른 장소로부터 수신되는 상기 각각의 미디어 소스를 하나로 통합하여 통합 미디어를 생성하며,
상기 통합 제어 오케스트레이션 장치에서, 상기 복수의 원격 사이트별 상기 통합 제어 오케스트레이션이 이루어지는 시작시점 스케줄링 정보를 상기 지연패턴에 따라 조절하여 제공함으로써, 상기 복수의 원격 사이트 각각에서 상기 시작시점 스케줄링 정보를 통해 서로 연관지어 진행되는 이벤트를 시작하고 마칠 수 있도록 통합 제어하고,
상기 지연패턴은, 시간 정보에 따른 네트워크 정보에 대한 패턴이며,
상기 시간 정보는, 시간대, 날짜 및 계절에 대한 정보를 포함하며,
상기 네트워크 정보는, 상기 통합 제어 오케스트레이션 장치와 상기 복수의 서로 다른 장소에 구비된 각 미디어 생성 장치 간의 송신 시간, 수신 시간 및 로컬 지연에 대한 정보를 포함하며,
상기 2차원 형태의 지연패턴 및 상기 2차원 형태의 지연패턴에 시간대별 지연을 더 포함한 3차원 지연패턴 중 적어도 하나를 포함하며,
상기 통합 제어 오케스트레이션 장치는, 각 상기 복수의 서로 다른 장소별, 시간대별 또는 이들의 조합을 포함하는 지연패턴에 따라 상기 복수의 서로 다른 장소로부터 수신되는 미디어 소스를 하나로 통합하여 통합 미디어를 생성하는 것을 특징으로 하는 복수의 원격 사이트에 대한 통합 제어 오케스트레이션 방법.
청구항 6에 있어서,
상기 통합 제어 오케스트레이션 방법은,
상기 통합 제어 오케스트레이션 장치에서, 네트워크 정보, 시간 정보, 장소 정보, 편성 정보 또는 이들의 조합을 포함한 데이터를 전처리하여 2차원 형태의 지연패턴에 대한 학습 데이터 세트를 생성하는 학습 데이터 생성 단계; 및
상기 통합 제어 오케스트레이션 장치에서, 상기 생성한 학습 데이터 세트를 기계학습하여 학습모델을 생성하고, 상기 생성한 학습모델을 데이터베이스에 저장하는 학습모델 생성 단계;를 더 포함하며,
상기 장소 정보는, 상기 서로 연관되어 진행되는 이벤트가 진행되는 장소의 위도 및 경도에 대한 정보를 포함하며,
상기 편성 정보는, 악단, 악기 및 합창단을 포함한 오디오 생성 주체에 대한 정보이며,
상기 학습 데이터 생성 단계는,
상기 2차원 형태에 상기 장소 정보 및 편성 정보를 레이블링하여 상기 학습 데이터 세트를 생성하거나, 또는
상기 서로 연관되어 진행되는 이벤트와 관련된 장소, 참여자, 악기, 시작시간, 네트워크 지연상황 또는 이들의 조합을 포함한 편성표를 전처리하여 2차원 형태의 상기 학습 데이터 세트를 생성하는 것을 더 포함하며,
상기 통합 제어 오케스트레이션 장치에서, 상기 네트워크 정보, 시간 정보, 장소 정보, 편성 정보 또는 이들의 조합을 포함한 데이터를 참조하여 생성한 상기 2차원 형태의 상기 학습 데이터에 시간대별 지연을 더 포함한 3차원 지연 추정을 위한 학습모델을 생성하는 것을 더 포함하는 것을 특징으로 하는 복수의 원격 사이트에 대한 통합 제어 오케스트레이션 방법.
삭제
청구항 6에 있어서,
상기 통합 제어 오케스트레이션 방법은,
상기 미디어 생성 장치에서, 상기 시작시점 스케줄링 정보에 따라 시작시점에서 빛, 소리 또는 이들의 조합을 포함한 신호로 변환하여 출력함으로써, 상기 서로 연관되어 진행되는 이벤트에 참여하는 사용자가 상기 서로 연관되어 진행되는 이벤트의 시작시점을 인지할 수 있도록 하는 것을 특징으로 하는 복수의 원격 사이트에 대한 통합 제어 오케스트레이션 방법.
삭제