KR20190071303A - 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법 - Google Patents

복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법 Download PDF

Info

Publication number
KR20190071303A
KR20190071303A KR1020170172245A KR20170172245A KR20190071303A KR 20190071303 A KR20190071303 A KR 20190071303A KR 1020170172245 A KR1020170172245 A KR 1020170172245A KR 20170172245 A KR20170172245 A KR 20170172245A KR 20190071303 A KR20190071303 A KR 20190071303A
Authority
KR
South Korea
Prior art keywords
audio signal
photographed
cameras
signal
integrated
Prior art date
Application number
KR1020170172245A
Other languages
English (en)
Other versions
KR102024437B1 (ko
Inventor
김범준
구자령
홍세진
문지현
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020170172245A priority Critical patent/KR102024437B1/ko
Publication of KR20190071303A publication Critical patent/KR20190071303A/ko
Application granted granted Critical
Publication of KR102024437B1 publication Critical patent/KR102024437B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법에 관한 것이다. 본 발명에 따른 복수의 촬영 영상 전송 시스템의 제어방법은, 복수의 카메라로부터 각각의 촬영 영상 신호를 수신하는 단계와; 상기 복수의 카메라로부터 수신된 각각의 촬영 영상 신호에서 기 설정된 특정 오디오 신호를 검출하는 단계와; 상기 각각의 촬영 영상 신호에서 특정 오디오 신호가 검출되는 시점을 기초로 상기 각각의 촬영 영상 신호를 동기화시키는 단계와; 상기 동기화된 각각의 촬영 영상 신호를 다중화시켜 하나의 통합 영상 신호를 생성하는 단계와; 상기 단계에서 생성된 통합 영상 신호를 수신 단말기로 전송하는 단계를 포함하는 것을 특징으로 한다.

Description

복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법{SYSTEM AND METHOD FOR TRANSMITTING A PLURALITY OF VIDEO IMAGE}
본 발명은 영상 전송을 위한 시스템 및 그 제어방법에 관한 것으로, 보다 상세하게는 복수의 카메라에 의해 촬영되는 영상들을 전송하기 위한 시스템 및 그 제어방법에 관한 것이다.
최근 아날로그 방송에 국한되지 않고 다양한 방식의 방송 콘텐츠 서비스가 이루어지고 있다.
그런데 종래에는 방송국에서 하나의 카메라에 의해 촬영된 영상만을 송출함에 따라 시청자는 다양한 각도 또는 다양한 위치에서 촬영된 영상을 동시에 시청할 수 없는 문제점이 있었다.
특히 다중의 플레이어가 참여하는 스포츠의 경우 다양한 위치에 있는 플레이어의 모습을 확인 및 시청하고자 하는 시청자들의 요구가 있음에도 불구하고 종래에는 이러한 서비스가 제공되지 못하고 있는 실정이다.
예를 들어 야구 경기의 경우, 시청자들 중에는 투수가 투구하는 모습과 1루나 3루 주자의 모습을 동시에 확인하고픈 사람들이 있는데, 종래에는 특정 카메라의 각도가 투수와 주자를 동시에 촬영하는 위치에 있는 경우 또는 투수와 주자를 동시에 촬영하는 화각인 경우에 한하여 투수와 주자를 동시에 보여줄 수 있는데, 이 경우에는 카메라 각도 또는 화각이 상술한 조건을 만족하는 상황이어서 투수의 얼굴이나 주자의 얼굴을 크게 클로즈업하여 보여줄 수 없는 문제가 있어서, 여전히 시청자들의 니즈를 충족시키기에는 부족하다.
물론 방송국 자체에서 복수의 카메라로 촬영한 영상을 하나의 영상으로 편집하여 전송할 수는 있지만, 이 경우 시청 단말기 상에서 편집 영상에 포함된 일부 영상을 확대하거나 하는 등 별도로 제어할 수 없는 문제가 있다.
즉, 텔레비전 화면을 구분하여 여러 개의 방송 채널을 각각 구분된 영역에 표시되도록 하는 PIP 기술은 이용되고 있지만, 상술한 바와 같이 하나의 채널 내에서 별도로 구분된 다양한 종류의 영상이 동시에 표시되도록 하는 서비스가 제공되고 있지 못하므로, 이에 대한 개선이 필요한 상황이다.
등록특허 제10-0974638호
본 발명은 상기한 종래의 문제점을 해결하기 위해 안출된 것으로서, 그 목적은 스포츠 경기를 시청하는 경우 경기장 내의 다양한 위치를 동시에 시청할 수 있도록 하는 시스템 및 그 제어방법을 제공하는 것이다.
상기한 목적을 달성하기 위해 본 발명에 따른 복수의 촬영 영상 전송 시스템은, 복수의 카메라로부터 각각의 촬영 영상 신호를 수신하는 영상 수신부와; 상기 복수의 카메라로부터 수신된 각각의 촬영 영상 신호에서 기 설정된 특정 오디오 신호를 검출하는 검출부와; 상기 검출부에 의해 상기 각각의 촬영 영상 신호에서 특정 오디오 신호가 검출되는 시점을 기초로 상기 각각의 촬영 영상 신호를 동기화시키는 동기화 처리부와; 상기 동기화 처리부에 의해 동기화된 각각의 촬영 영상 신호를 다중화시켜 하나의 통합 영상 신호를 생성하는 통합 영상 생성부와; 상기 통합 영상 생성부에 의해 생성된 통합 영상 신호를 수신 단말기로 전송하는 전송부를 포함하여 구성된다.
또, 상기한 목적을 달성하기 위해 본 발명에 따른 복수의 촬영 영상 전송 시스템의 제어방법은, 복수의 카메라로부터 각각의 촬영 영상 신호를 수신하는 단계와; 상기 복수의 카메라로부터 수신된 각각의 촬영 영상 신호에서 기 설정된 특정 오디오 신호를 검출하는 단계와; 상기 각각의 촬영 영상 신호에서 특정 오디오 신호가 검출되는 시점을 기초로 상기 각각의 촬영 영상 신호를 동기화시키는 단계와; 상기 동기화된 각각의 촬영 영상 신호를 다중화시켜 하나의 통합 영상 신호를 생성하는 단계와; 상기 단계에서 생성된 통합 영상 신호를 수신 단말기로 전송하는 단계를 포함하여 이루어진다.
이상 설명한 바와 같이 본 발명에 따르면, 스포츠 경기 방송 시청자는 하나의 방송 채널에서 다양한 위치의 선수들, 또는 다양한 위치의 경기 상황을 동시에 시청할 수 있다.
특히, 촬영 영상 전송 시스템은 동기화된 정보가 포함된 통합 영상 신호를 전송하므로, 이를 이용하는 시청자 단말기에서는 동시에 표시되는 영상들간에 시간 동기화가 이루어지도록 할 수 있어, 각 영상들간의 시간 차이로 인한 시청자들의 불편을 최소화시킬 수 있다.
특히, 촬영 영상 전송 시스템은 복수 개의 카메라로부터 수신되는 촬영 영상들에 대해 동기화를 수행하기 위해 각 촬영 영상에 포함된 특정 오디오 신호를 이용하므로, 동기화 처리를 위한 복잡한 장치가 필요 없고, 특정 오디오 신호 검출 알고리즘만으로 정확한 시간 동기화를 처리할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 촬영 영상 전송 시스템을 포함하는 전체 통신 시스템의 개략 구성도이고,
도 2는 도 1의 기능 블록도이고,
도 3은 본 발명의 일 실시예에 따른 촬영 영상 전송 시스템을 포함하는 전체 통신 시스템의 제어 흐름도이다.
이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다.
이하 본 발명에 따른 각 실시예는 본 발명의 이해를 돕기 위한 하나의 예에 불과하고, 본 발명이 이러한 실시예에 한정되는 것은 아니다. 특히 본 발명은 각 실시예에 포함되는 개별 구성, 개별 기능, 또는 개별 단계 중 적어도 어느 하나 이상의 조합으로 구성될 수 있다.
특히, 편의상 청구 범위의 일부 청구항에는 '(a)'와 같은 알파벳을 포함시켰으나, 이러한 알파벳이 각 단계의 순서를 규정하는 것은 아니다.
또한 이하 본 발명에 따른 각 실시예에서 언급하는 각 신호는 한 번의 연결 등에 의해 전송되는 하나의 신호를 의미할 수도 있지만, 후술하는 특정 기능 수행을 목적으로 전송되는 일련의 신호 그룹을 의미할 수도 있다. 즉, 각 실시예에서는 소정의 시간 간격을 두고 전송되거나 상대 장치로부터의 응답 신호를 수신한 이후에 전송되는 복수 개의 신호들이 편의상 하나의 신호명으로 표현될 수 있는 것이다.
본 발명의 일 실시예에 따른 복수의 촬영 영상을 시청자 단말기(400)로 전송하는 촬영 영상 전송 시스템(100)을 포함하는 전체 통신 시스템의 개략 구성은 도 1에 도시된 바와 같다.
동 도면에서 각각의 카메라(210,220,230.240)는 영상을 촬영하여 전송하는 것으로서, 본 실시예에서는 동일한 장소(예를 들어 스포츠 경기장)에 설치되어 촬영을 하는 카메라(210,220,230.240)일 수 있다.
본 실시예에서는 각 카메라(210,220,230.240)가 야구 경기의 중계를 위해 야구 경기장의 곳곳에 설치된 것을 일 예로 한다.
이러한 각 카메라(210,220,230.240)는 촬영 영상 신호를 촬영 영상 전송 시스템(100)에 전송하는데, 이처럼 각 카메라(210,220,230.240)가 전송하는 촬영 영상 신호는 아날로그 신호 또는 디지털 신호일 수 있고, 이러한 촬영 영상 신호에는 당연히 비디오 신호와 사운드 신호가 포함될 수 있다.
한편, 오디오 신호 발생기(300)는 특정 사운드를 방출하는 것으로서, 예를 들어 기 설정된 비가청 오디오 신호를 방출할 수 있다. 물론 오디오 신호 발생기(300)는 비가청 오디도 신호만을 방출할 수 있는 것은 아니고, 가청 오디오 신호를 방출할 수도 있다.
오디오 신호 발생기(300)는 후술하는 바와 같이 각 카메라(210,220,230.240)의 촬영 영상을 동기화하기 위해 필요한 것이므로, 각 카메라(210,220,230.240)가 근처에 모여 있되 그 촬영 각도만 달리하는 경우라면 하나의 오디오 신호 발생기(300)만 구비될 수 있다.
반면에 각 카메라(210,220,230.240)가 서로 멀리 떨어져 있는 경우라면, 오디오 신호 발생기(300)에서 방출된 사운드가 각 카메라(210,220,230.240)에 도달하는 시간이 다를 수 있으므로, 이 경우에는 각 카메라(210,220,230.240)로부터 동일한 거리에 각각의 오디오 신호 발생기(300)가 설치될 수 있고, 또한 오디오 신호 발생기(300)사 특정 사운드를 방출하는 시점이 동일하게 되도록 제어할 필요가 있다.
물론 각 카메라(210,220,230.240)가 촬영하는 곳에서 자연적으로 특정 형태의 사운드가 주기적 또는 간헐적으로 발생하는 경우 등에는 이러한 별도의 오디오 신호 발생기(300)가 반드시 필요한 것은 아니다.
한편, 시청자 단말기(400)는 촬영 영상 전송 시스템(100)으로부터 영상 콘텐츠를 수신하여 표시하는 것으로서, 도 1에 도시된 바와 같이 셋탑박스(410)와 텔레비전(420)으로 이루어진 것일 수도 있고, 또는 스마트폰과 같은 휴대용 무선 통신 단말기에 해당할 수도 있다.
이처럼 시청자 단말기(400)는 촬영 영상 전송 시스템(100)이 전송하는 영상 콘텐츠 즉, 후술하는 통합 영상 신호를 수신하여 재생 및 표시하는 기능을 포함하는 모든 종류의 단말기에 해당할 수 있다.
촬영 영상 전송 시스템(100)은 앞서 설명한 각각의 카메라(210,220,230.240)로부터 촬영 영상 신호를 수신하여 그 각각의 촬영 영상 신호에 대한 동기화 처리를 수행한 후에 통합하여 시청자 단말기(400)로 전송하는 기능을 수행한다.
이러한 촬영 영상 전송 시스템(100)의 구체적인 기능 블록의 일 예는 도 2에 도시된 바와 같다.
동 도면에 도시된 바와 같이 촬영 영상 전송 시스템(100)은 영상 수신부(110), 검출부(120), 동기화 처리부(130), 통합 영상 생성부(140), 전송부(150)를 포함하여 구성될 수 있다.
영상 수신부(110)는 복수의 카메라(210,220,230.240)로부터 각각의 촬영 영상 신호를 수신하는 기능을 수행한다.
즉, 도 1을 참조하면 영상 수신부(110)는 1번 카메라(210), 2번 카메라(220), 3번 카메라(230), 4번 카메라(240)로부터 각각 촬영 영상 신호를 수신하는 것이다.
검출부(120)는 복수의 카메라(210,220,230.240)로부터 수신된 각각의 촬영 영상 신호에서 기 설정된 특정 오디오 신호를 검출하는 기능을 수행한다.
예를 들어 오디오 신호 발생기(300)가 가청 오디오 신호를 방출함에 따라 카메라(210,220,230.240)가 전송하는 촬영 영상 신호에 해당 오디오 신호 발생기(300)의 가청 오디오 신호가 포함되어 있는 경우, 검출부(120)는 이를 검출하는 기능을 수행한다.
물론 오디오 신호 발생기(300)가 비가청 오디오 신호를 방출함에 따라 카메라(210,220,230.240)가 전송하는 촬영 영상 신호에 해당 오디오 신호 발생기(300)의 비가청 오디오 신호가 포함되어 있는 경우, 검출부(120)는 이를 검출할 수도 있다.
검출부(120)가 어떠한 오디오 신호를 검출할지는 오디오 신호 발생기(300)가 방출하는 오디오 신호에 대응하여 미리 설정될 수 있다.
즉, 검출부(120)는 특정 가청 주파수 대역의 오디오 신호(즉, 가청 오디오 신호) 및/또는 비가청 주파수 대역의 오디오 신호(즉, 비가청 오디오 신호로서 예를 들어 초음파 신호)를 검출하도록 설정될 수 있다.
검출부(120)가 촬영 영상 신호에서 특정 오디오 신호를 검출하는 과정은 그 촬영 영상 신호의 사운드 신호를 시간 도메인, 또는 주파수 도메인에서 분석하면서 특정 패턴을 검출하는 방식으로 이루어질 수 있다.
동기화 처리부(130)는 검출부(120)에 의해 각각의 촬영 영상 신호에서 특정 오디오 신호가 검출되는 시점을 기초로 각각의 촬영 영상 신호를 동기화시키는 기능을 수행한다.
예를 들어 동기화 처리부(130)는, 각각의 촬영 영상 신호로부터 특정 오디오 신호가 검출되는 시점에 기초한 동기화용 시간 정보를 그 대응되는 각각의 촬영 영상 신호와 매칭시킨 각각의 동기화 영상 신호를 생성할 수 있다.
여기서 동기화 영상 신호는 아날로그 신호일 수도 있지만, 디지털 신호로 처리되는 경우에는 예를 들어 MPEG 트랜스포트 스트림(즉, MPEG transport stream, 줄여서 TS) 포맷으로 이루어진 것(이하 'TS 파일'이라 함)일 수 있다. MPEG 트랜스포트 스트림은 헤더와 페이로드를 포함하는 패킷을 그 기본 데이터 단위로 하는 것으로서, 그 구조 자체는 공지된 기술에 해당하므로 보다 상세한 설명은 생략한다.
이 경우 동기화 처리부(130)는 각 촬영 영상 신호에 대응되는 TS 파일을 생성함과 아울러 그 TS 파일 내(바람직하게는 TS 파일의 각 패킷마다) 각 촬영 영상 신호에서 특정 오디오 신호가 검출된 시점에 해당하는 시간 정보 즉, 상술한 동기화용 시간 정보를 포함시킨다.
즉, 이처럼 각 촬영 영상 신호에서 특정 오디오 신호가 검출된 시점에 해당하는 동기용 시간 정보를 각 촬영 영상 신호에 대응되는 TS 파일에 포함시키는 과정이 본 실시예에 언급하는 동기화 처리에 해당할 수 있다.
보다 구체적인 예를 든다면, 1번 카메라(210)에서 수신되는 촬영 영상 신호의 프레임 중 네 번째 프레임에서 첫 번째 특정 오디오 신호가 검출되고, 2번 카메라(220)에서 수신되는 촬영 영상 신호의 프레임 중 여섯 번째 프레임에서 첫 번째 특정 오디오 신호가 검출되는 경우 그 1번 카메라(210)의 촬영 영상 신호의 프레임 중 네 번째 프레임을 포함하는 TS 패킷과 2번 카메라(220)의 촬영 영상 신호의 프레임 중 여섯 번째 프레임을 포함하는 TS 패킷에 각각 '1'이라는 동기화 시간 정보를 포함시킬 수 있고, 다른 예로써, 1번 카메라(210)에서 수신되는 촬영 영상 신호의 프레임 중 여섯 번째 프레임에서 두 번째 특정 오디오 신호가 검출되고, 2번 카메라(220)에서 수신되는 촬영 영상 신호의 프레임 중 여덟 번째 프레임에서 두 번째 특정 오디오 신호가 검출되는 경우 그 1번 카메라(210)의 촬영 영상 신호의 프레임 중 여섯 번째 프레임을 포함하는 TS 패킷과 2번 카메라(220)의 촬영 영상 신호의 프레임 중 여덟 번째 프레임을 포함하는 TS 패킷에 '2'라는 동기화 시간 정보를 포함시킬 수 있는 것이다.
또한 동기화 처리부(130)는 각 촬영 영상 신호에 대응되는 동기화 영상 신호를 생성함에 있어서 각 촬영 영상 신호에 포함되어 있던 특정 오디오 신호를 제거할 수 있다.
즉, 동기화 처리부(130)는 복수의 카메라(210,220,230.240)로부터 수신되는 각각의 촬영 영상 신호에서 특정 오디오 신호가 검출되는 경우, 그 각각의 촬영 영상 신호에 포함된 특정 오디오 신호를 제거한 후 그 특정 오디오 신호가 제거된 촬영 영상 신호와 상술한 동기화용 시간 정보를 모두 포함하는 동기화 영상 신호를 생성할 수 있는 것이다.
이에 따라 특정 오디오 신호는 동기화용 시간 정보를 결정하는 데만 이용되고, 시청자 단말기(400)에서 해당 영상을 시청할 때는 출력되지 않을 수 있다.
특히, 동기화 처리부(130)는 특정 오디오 신호를 제거함에 있어서, 검출되는 특정 오디오 신호의 주파수 대역을 고려할 수 있다.
예를 들어 동기화 처리부(130)는, 검출부(120)에서 특정 가청 오디오 신호가 검출되는 경우에는 상술한 바와 같이 해당 특정 가청 오디오 신호를 각 촬영 영상 신호에서 제거하는 과정을 수행하고, 반면에 검출부(120)에서 특정 비가청 오디오 신호가 검출되는 경우에는 굳이 해당 특정 비가청 오디오 신호를 각 촬영 영상 신호에서 제거하는 과정을 수행하지 않을 수 있는 것이다.
이에 따라 시간 동기화용으로 삽입된 특정 가청 오디오 신호를 시청자가 듣지 않도록 하면서도, 특정 비가청 오디오 신호의 경우에는 제거 과정을 생략함으로써 시스템 처리 로드를 최소화할 수 있다.
한편, 통합 영상 생성부(140)는 동기화 처리부(130)에 의해 동기화된 각각의 촬영 영상 신호를 다중화시켜 하나의 통합 영상 신호를 생성하는 기능을 수행한다.
여기서 통합 영상 신호는 아날로그 신호일 수도 있지만, 본 실시예에서는 디지털 처리가 이루어지는 영상 데이터인 것을 일 예로 한다.
예를 들어 동기화 처리부(130)가 각각의 촬영 영상 신호로부터 특정 오디오 신호가 검출되는 시점에 기초한 동기화용 시간 정보를 그 대응되는 각각의 촬영 영상 신호와 매칭시킨 각각의 동기화 영상 신호를 생성한 경우, 통합 영상 생성부(140)는 그 각각의 동기화 영상 신호를 다중화시켜 하나의 통합 영상 신호로 생성하는 것이다.
여기서 통합 영상 생성부(140)에서 생성되는 하나의 통합 영상 신호는 하나의 시청 채널에서 시청할 수 있는 영상 신호에 해당할 수 있다.
즉, 앞서 언급한 바와 같이 동기화 영상 신호가 일종의 TS 포맷의 파일이라 한다면, 통합 영상 신호는 이러한 각각의 TS 파일들의 조합으로 이루어진 통합 파일이라 할 수 있는데, 이러한 통합 TS 파일은 하나의 방송 채널을 통해 스트리밍 방식으로 전송될 수 있는 것이다.
여기서 '파일'이라는 것이 반드시 영상의 시작부터 마지막까지 모두 포함하는 것을 의미하는 것은 아니고, 각 카메라(210,220,230.240)로부터 수신되는 촬영 영상 신호에 의해 실시간 생성되는 구간별 파일일 수 있다.
전송부(150)는 통합 영상 생성부(140)에 의해 생성된 통합 영상 신호를 수신 단말기로 전송하는 기능을 수행한다.
예를 들어 전송부(150)는 시청자 단말기(400)와 상호 통신이 가능한 통신 채널을 연결한 후 통합 영상 신호를 전송할 수도 있고, 또는 시청자 단말기(400)와 상호 통신 채널을 연결하지 않고 종래의 일 방향 방송국과 같이 무선 전파로 송출하는 방식으로 통합 영상 신호를 전송할 수도 있다.
이처럼 통합 영상 생성부(140)에 의해 생성된 후 전송부(150)에 의해 시청자 단말기(400)에 전송되는 통합 TS 파일 헤더와 페이로드를 포함하는 패킷 단위로 연이어서 전송되는데, 이때 세션 연결을 위한 최초의 헤더 내에 특정 정보를 포함시켜 시청자 단말기(400)로 하여금 복수의 TS 파일을 전송하는 스트림임을 알려 줄 수 있다.
예를 들어 세션 연결을 위한 헤더에 PID(패킷 아이디)가 0인 경우 시청자 단말기(400)는 그 다음의 페이로드에 몇 개의 TS 파일(즉, 몇 개의 프로그램)을 전송하는지를 지정한 값이 포함되어 있음을 알 수 있다.
예를 들어 세션 연결을 위한 최초의 통합 TS 파일 스트림의 헤더 및 페이로드를 통해 3 개의 프로그램이 해당 통합 TS 파일에 포함되어 있다고 지정되는 경우, 촬영 영상 전송 시스템(100)은 그 이후의 패킷(헤더+페이로드)에 3 개의 각각의 TS 파일(프로그램)을 순차적으로 이어서 보내게 되고, 이러한 과정은 반복될 수 있다.
즉, 촬영 영상 전송 시스템(100)은 1번 TS 패킷, 2번 TS 패킷, 3번 TS 패킷 이후에 다시 1번 TS 패킷, 2번 TS 패킷, 3번 TS 패킷과 같은 방식으로 전송할 수 있다.
첨언하면 상술한 통합 영상 생성부(140)가 통합 TS 파일을 생성한다는 것은 이처럼 몇 개의 TS 파일을 포함시켰는지에 대한 정보를 세선용 패킷(헤더 및 페이로드)에 포함시키는 과정과, 그 이후 각각의 개별 TS 파일을 순차적으로 이어서 붙이는 과정을 포함할 수 있다.
이하에서는 도 3을 참조하여 본 발명의 일 실시예에 따른 촬영 영상 전송 시스템(100)을 포함하는 전체적인 제어 흐름을 설명한다.
우선, 각 카메라(210,220,230.240)는 영상을 촬영하고, 그에 대응되는 촬영 영상 신호를 촬영 영상 전송 시스템(100)에 전송한다.
이에 촬영 영상 전송 시스템(100)은 각 카메라(210,220,230.240)로부터 수신되는 촬영 영상 신호에서 기 설정된 특정 오디오 신호가 검출되는지 여부를 판단한다.
판단 결과 각 촬영 영상 신호로부터 기 설정된 특정 오디오 신호가 검출되는 경우, 촬영 영상 전송 시스템(100)은 검출되는 특정 오디오 신호를 기초로 각 촬영 영상 신호에 대한 동기화 처리를 수행한다.
여기서 동기화 처리는 예를 들어 동일한 특정 오디오 신호가 검출되는 시점에 해당하는 프레임에 각각 동일한 동기화용 시간 정보를 매칭시키는 것일 수 있다.
이어서 촬영 영상 전송 시스템(100)은 각 카메라(210,220,230.240)로부터 수신된 촬영 영상 신호를 이용하여 전송을 위한 별도 포맷의 파일(일 예로 TS 파일)을 생성하는데, 상술한 바와 같이 동기화용 시간 정보를 매칭시킨 경우에는 각 TS 파일에 그 매칭된 동기화용 시간 정보를 포함시킬 수 있다.
물론 단계 S5에서의 판단 결과 각 촬영 영상 신호에서 특정 오디오 신호가 검출되지 않는 경우에는 촬영 영상 전송 시스템(100)은 상술한 동기화용 시간 정보가 포함되지 않은 각 TS 파일을 생성할 수 있다.
이후, 촬영 영상 전송 시스템(100)은 각각의 TS 파일을 다중화 처리한 통합 TS 파일을 생성한다.
여기서 TS 파일은 물론이고 통합 TS 파일은 실시간으로 생성되는 콘텐츠 스트림에 해당할 수 있다.
이어서 촬영 영상 전송 시스템(100)은 생성한 통합 TS 파일을 한 개의 방송 채널을 통해 시청자 단말기(400)에 전송할 수 있다.
예를 들어 시청자 단말기(400)가 방송 채널 번호 5번을 선택하여 야구 중계 경기를 시청하고자 하는 경우, 촬영 영상 전송 시스템(100)은 그 5번 방송 채널을 통해 상술한 복수의 카메라(210,220,230.240)에 의해 촬영된 촬영 영상은 물론이고 동기화를 위한 시간 정보를 각각 포함하는 복수 개의 TS 파일을 통합된 형태(통합 TS 파일)로 전송할 수 있는 것이다.
즉, 촬영 영상 전송 시스템(100)은 동일한 아이피:포트를 통해 시청자 단말기(400)에 상술한 통합 TS 파일을 전송하는 것이다.
이에 따라 시청자 단말기(400)에서는 촬영 영상 전송 시스템(100)이 전송한 통합 TS 파일에 포함된 개별 TS 파일을 각각 추출하여 디스플레이 할 수 있게 된다.
예를 들어 시청자 단말기(400)는 하나의 화면에 투수가 투구하는 영상을 주된 영상으로 표시함과 아울러 1루 주자의 영상 또는 외야수의 영상, 감독을 촬영한 영상 등을 동시에 표시할 수 있다.
특히, 각 개별 TS 파일에는 동기화용 시간 정보가 포함되어 있으므로 시청자 단말기(400)는 동시에 표시하는 영상들에 대해 같은 시간으로 동기화시킬 수 있다.
예를 들어 시청자 단말기(400)는 촬영 영상 전송 시스템(100)으로부터 1번 카메라(210)에 대응되는 TS 파일과 2번 카메라(220)에 대응되는 TS 파일 및, 3번 카메라(230)에 대응되는 TS 파일을 포함하는 통합 TS 파일을 스트리밍 방식으로 수신하여 그 각각의 카메라(210,220,230.240)에서 촬영된 영상을 동시에 화면상에 표시하는 경우, 그 수신되는 통합 TS 파일로부터 추출되는 TS 파일 내에 포함된 동기화용 시간 정보를 이용하여 같은 시간에 촬영된 영상들이 동시에 표시되도록 할 수 있다.
즉, 각 카메라(210,220,230.240)마다 촬영 영상을 전송하는 시간이 다를 수도 있고, 또는 네트워크 상황상 각 카메라(210,220,230.240)가 전송한 촬영 영상 신호 중 일부가 지연 처리될 수도 있는데, 상술한 바와 같이 촬영 영상 전송 시스템(100)이 각 촬영 영상 신호로부터 기 설정된 특정 오디오 신호가 검출되는 시점에 기초한 동기화용 시간 정보를 각 TS 파일에 포함시킴으로써, 시청자 단말기(400)는 각 통합 TS 파일에 포함된 각 TS 파일의 동기화용 시간 정보를 이용하여 동일한 시간에 촬영된 영상들을 동시에 표시할 수 있는 것이다.
한편, 상술한 각 실시예를 수행하는 과정은 소정의 기록 매체(예를 들어 컴퓨터로 판독 가능한)에 저장된 프로그램 또는 애플리케이션에 의해 이루어질 수 있음은 물론이다. 여기서 기록 매체는 RAM(Random Access Memory)과 같은 전자적 기록 매체, 하드 디스크와 같은 자기적 기록 매체, CD(Compact Disk)와 같은 광학적 기록 매체 등을 모두 포함한다.
이때, 기록 매체에 저장된 프로그램은 컴퓨터나 스마트폰 등과 같은 하드웨어 상에서 실행되어 상술한 각 실시예를 수행할 수 있다. 특히, 상술한 본 발명에 따른 촬영 영상 전송 시스템의 기능 블록 중 적어도 어느 하나는 이러한 프로그램 또는 애플리케이션에 의해 구현될 수 있다.
또한, 본 발명은 상기한 특정 실시예에 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 변형 및 수정하여 실시할 수 있는 것이다. 이러한 변형 및 수정이 첨부되는 특허청구범위에 속한다면 본 발명에 포함된다는 것은 자명할 것이다.
100 : 촬영 영상 전송 시스템 200 : 카메라
300 : 오디오 신호 발생기 400 : 시청자 단말기
110 : 영상 수신부 120 : 검출부
130 : 동기화 처리부 140 : 통합 영상 생성부
150 : 전송부

Claims (14)

  1. (a) 복수의 카메라로부터 각각의 촬영 영상 신호를 수신하는 단계와;
    (b) 상기 복수의 카메라로부터 수신된 각각의 촬영 영상 신호에서 기 설정된 특정 오디오 신호를 검출하는 단계와;
    (c) 상기 각각의 촬영 영상 신호에서 특정 오디오 신호가 검출되는 시점을 기초로 상기 각각의 촬영 영상 신호를 동기화시키는 단계와;
    (d) 상기 동기화된 각각의 촬영 영상 신호를 다중화시켜 하나의 통합 영상 신호를 생성하는 단계와;
    상기 (d) 단계에서 생성된 통합 영상 신호를 수신 단말기로 전송하는 단계를 포함하는 것을 특징으로 하는 복수의 촬영 영상 전송 시스템의 제어방법.
  2. 제1항에 있어서,
    상기 (c) 단계에서는, 상기 각각의 촬영 영상 신호로부터 특정 오디오 신호가 검출되는 시점에 기초한 동기화용 시간 정보를 그 대응되는 각각의 촬영 영상 신호와 매칭시킨 각각의 동기화 영상 신호를 생성하는 단계와;
    상기 (d) 단계에서는 상기 각각의 동기화 영상 신호를 다중화시켜 하나의 통합 영상 신호를 생성하는 것을 특징으로 하는 복수의 촬영 영상 전송 시스템의 제어방법.
  3. 제2항에 있어서,
    상기 (c) 단계에서는, 상기 각각의 촬영 영상 신호에서 상기 검출된 특정 오디오 신호를 제거한 후 상기 각각의 동기화 영상 신호를 생성하는 것을 특징으로 하는 복수의 촬영 영상 전송 시스템의 제어방법.
  4. 제1항에 있어서,
    상기 복수의 카메라로부터 수신되는 각각의 촬영 영상 신호에는 각 카메라 근처에 위치한 오디오 신호 발생기로부터 방출되는 특정 오디오 신호가 포함되고,
    상기 (b) 단계에서는 상기 복수의 카메라로부터 수신된 각각의 촬영 영상 신호에서 상기 오디오 신호 발생기로부터 방출되는 특정 오디오 신호를 검출하는 것을 특징으로 하는 복수의 촬영 영상 전송 시스템의 제어방법.
  5. 제4항에 있어서,
    상기 (b) 단계에서 상기 복수의 카메라로부터 수신된 각각의 촬영 영상 신호에서 검출하는 특정 오디오 신호는 기 설정된 비가청 오디오 신호인 것을 특징으로 하는 복수의 촬영 영상 전송 시스템의 제어방법.
  6. 제1항에 있어서,
    상기 (d) 단계에서 생성되는 하나의 통합 영상 신호는 하나의 시청 채널에서 시청할 수 있는 영상 신호인 것을 특징으로 하는 복수의 촬영 영상 전송 시스템의 제어방법.
  7. 제1항 내지 제6항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
  8. 하드웨어와 결합되어 제1항 내지 제6항 중 어느 한 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능 기록 매체에 저장된 응용 프로그램.
  9. 복수의 카메라로부터 각각의 촬영 영상 신호를 수신하는 영상 수신부와;
    상기 복수의 카메라로부터 수신된 각각의 촬영 영상 신호에서 기 설정된 특정 오디오 신호를 검출하는 검출부와;
    상기 검출부에 의해 상기 각각의 촬영 영상 신호에서 특정 오디오 신호가 검출되는 시점을 기초로 상기 각각의 촬영 영상 신호를 동기화시키는 동기화 처리부와;
    상기 동기화 처리부에 의해 동기화된 각각의 촬영 영상 신호를 다중화시켜 하나의 통합 영상 신호를 생성하는 통합 영상 생성부와;
    상기 통합 영상 생성부에 의해 생성된 통합 영상 신호를 수신 단말기로 전송하는 전송부를 포함하는 것을 특징으로 하는 복수의 촬영 영상 전송 시스템.
  10. 제9항에 있어서,
    상기 동기화 처리부는, 상기 각각의 촬영 영상 신호로부터 특정 오디오 신호가 검출되는 시점에 기초한 동기화용 시간 정보를 그 대응되는 각각의 촬영 영상 신호와 매칭시킨 각각의 동기화 영상 신호를 생성하고,
    상기 통합 영상 생성부는 상기 각각의 동기화 영상 신호를 다중화시켜 하나의 통합 영상 신호를 생성하는 것을 특징으로 하는 복수의 촬영 영상 전송 시스템.
  11. 제10항에 있어서,
    상기 동기화 처리부는, 상기 각각의 촬영 영상 신호에서 상기 검출된 특정 오디오 신호를 제거한 후 상기 각각의 동기화 영상 신호를 생성하는 것을 특징으로 하는 복수의 촬영 영상 전송 시스템.
  12. 제9항에 있어서,
    상기 복수의 카메라로부터 수신되는 각각의 촬영 영상 신호에는 각 카메라 근처에 위치한 오디오 신호 발생기로부터 방출되는 특정 오디오 신호가 포함되고,
    상기 검출부는 상기 복수의 카메라로부터 수신된 각각의 촬영 영상 신호에서 상기 오디오 신호 발생기로부터 방출되는 특정 오디오 신호를 검출하는 것을 특징으로 하는 복수의 촬영 영상 전송 시스템.
  13. 제12항에 있어서,
    상기 복수의 카메라로부터 수신된 각각의 촬영 영상 신호에서 검출하는 특정 오디오 신호는 기 설정된 비가청 오디오 신호인 것을 특징으로 하는 복수의 촬영 영상 전송 시스템.
  14. 제9항에 있어서,
    상기 통합 영상 생성부에서 생성되는 하나의 통합 영상 신호는 하나의 시청 채널에서 시청할 수 있는 영상 신호인 것을 특징으로 하는 복수의 촬영 영상 전송 시스템의 제어방법.
KR1020170172245A 2017-12-14 2017-12-14 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법 KR102024437B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170172245A KR102024437B1 (ko) 2017-12-14 2017-12-14 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170172245A KR102024437B1 (ko) 2017-12-14 2017-12-14 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20190071303A true KR20190071303A (ko) 2019-06-24
KR102024437B1 KR102024437B1 (ko) 2019-09-23

Family

ID=67055898

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170172245A KR102024437B1 (ko) 2017-12-14 2017-12-14 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법

Country Status (1)

Country Link
KR (1) KR102024437B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220076761A (ko) * 2020-12-01 2022-06-08 주식회사 마젠타컴퍼니 복수의 미디어 소스를 동기화하여 통합 전송하는 시스템 및 그 방법
KR102578058B1 (ko) * 2023-07-03 2023-09-12 주식회사 휴데이터스 거리뷰 영상을 생성하는 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100974638B1 (ko) 2009-06-23 2010-08-10 송지을 야구 경기 중계방송 시스템 및 방법
KR101703808B1 (ko) * 2015-11-13 2017-02-08 경북대학교 산학협력단 다중화 기법을 이용한 cctv 영상처리시스템 및 그 방법
KR101721085B1 (ko) * 2016-05-02 2017-03-29 고려대학교 산학협력단 촬영 장치 및 센서의 시간 동기화 장치 및 방법
KR101730115B1 (ko) * 2016-10-04 2017-04-26 주식회사 삼십구도씨 영상 처리 장치 및 영상 처리 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100974638B1 (ko) 2009-06-23 2010-08-10 송지을 야구 경기 중계방송 시스템 및 방법
KR101703808B1 (ko) * 2015-11-13 2017-02-08 경북대학교 산학협력단 다중화 기법을 이용한 cctv 영상처리시스템 및 그 방법
KR101721085B1 (ko) * 2016-05-02 2017-03-29 고려대학교 산학협력단 촬영 장치 및 센서의 시간 동기화 장치 및 방법
KR101730115B1 (ko) * 2016-10-04 2017-04-26 주식회사 삼십구도씨 영상 처리 장치 및 영상 처리 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220076761A (ko) * 2020-12-01 2022-06-08 주식회사 마젠타컴퍼니 복수의 미디어 소스를 동기화하여 통합 전송하는 시스템 및 그 방법
KR102578058B1 (ko) * 2023-07-03 2023-09-12 주식회사 휴데이터스 거리뷰 영상을 생성하는 방법 및 장치

Also Published As

Publication number Publication date
KR102024437B1 (ko) 2019-09-23

Similar Documents

Publication Publication Date Title
US10785547B2 (en) System and method for synchronizing metadata with audiovisual content
US10433002B1 (en) Simultaneously viewing multiple camera angles
EP2645727A2 (en) Reception device for receiving a plurality of real-time transfer streams, transmission device for transmitting same, and method for playing multimedia content
US11122344B2 (en) System and method for synchronizing metadata with audiovisual content
KR102025157B1 (ko) 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법
US9843613B2 (en) Synchronization of multimedia contents on second screen
TWI495331B (zh) 機上盒、快閃眼鏡及多個用戶同時觀看多套影音節目的方法
KR101640148B1 (ko) 대화형 마크를 스트리밍 콘텐츠에 동기화시키기 위한 디바이스 및 방법
KR101841313B1 (ko) 멀티미디어 흐름 처리 방법 및 대응하는 장치
TWI788701B (zh) 用於使用帶內元資料作為存取參考指紋的基礎來促進與內容相關的動作的方法及媒體客戶端
US20120154679A1 (en) User-controlled synchronization of audio and video
KR102024437B1 (ko) 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법
KR102026454B1 (ko) 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법
KR101020991B1 (ko) 중계 방송 시스템의 광고 삽입 방법 및 그 장치
US20110187932A1 (en) Digital broadcast method, data receiving device, and data transmitting device
KR102167276B1 (ko) 복수의 동영상 처리를 위한 장치 및 방법
JP2003283450A (ja) コンテンツ送受信システム、受信装置、コンテンツ送信システム、プログラム及びプログラムの記録媒体
JP2009182426A (ja) 表示制御装置及び表示制御方法
JP2012004991A (ja) 放送受信装置及びその制御方法
JP2003348489A (ja) 放送受信機
KR20140099146A (ko) 다중 영상 기반 방송 서비스를 위한 다중 영상의 기준 ｐｃｒ 결정 방법 및 그 장치
US10264241B2 (en) Complimentary video content
KR102012580B1 (ko) 멀티미디어 콘텐츠 처리를 위한 장치 및 그 제어방법
US10531136B2 (en) Data processing device, data processing method, and program
CN115802062A (zh) 一种视频流同步的方法以及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant