KR102167276B1

KR102167276B1 - 복수의 동영상 처리를 위한 장치 및 방법

Info

Publication number: KR102167276B1
Application number: KR1020180105675A
Authority: KR
Inventors: 이기태; 정순규; 백운규
Original assignee: 주식회사 엘지유플러스
Priority date: 2018-09-05
Filing date: 2018-09-05
Publication date: 2020-10-19
Also published as: KR20200027638A

Abstract

본 발명은 복수의 동영상 처리를 위한 장치 및 방법에 관한 것이다. 본 발명에 따른 동영상 처리 시스템의 제어방법은, 복수의 카메라로부터 촬영된 동영상을 수신하는 단계와; 상기 단계에서 수신되는 각 동영상의 동시점에 동일한 타임코드를 삽입하여 영상 데이터를 생성하는 단계와; 상기 생성된 영상 데이터에 포함된 상기 타임코드를 이용한 기 설정된 알고리즘에 따라 각 영상 데이터를 대응되는 구간별로 동일하게 구분하는 단계와; 상기 단계에서 구분된 각 영상 데이터를 기 설정된 포맷으로 인코딩한 인코딩 데이터를 생성하면서, 동일한 시점의 영상 프레임에 대응되는 각 인코딩 데이터 상의 특정 위치에 동일한 값의 시간 스탬프가 추가되도록 하는 단계와; 상기 단계에서 생성된 각각의 인코딩 데이터를 적어도 하나의 클립 영상 데이터로 생성하여 저장하는 단계와; 상기 단계에서 생성된 각각의 클립 영상 데이터를 외부 장치에 전송하는 단계를 포함하는 것을 특징으로 한다.

Description

복수의 동영상 처리를 위한 장치 및 방법{APPARATUS AND METHOD FOR PROCESSING A PLURALITY OF MOVING PICTURE}

본 발명은 동영상 처리를 위한 장치 및 방법에 관한 것으로, 보다 상세하게는 동일한 장소를 촬영하는 여러 대의 카메라에 의해 촬영된 동영상을 시청자가 선택적으로 시청할 때 각 동영상 간에 정확한 시간 동기화가 이루어지도록 하기 위한 장치 및 방법에 관한 것이다.

시청자들이 방송 콘텐츠를 시청함에 있어서 생방송이든 녹화방송이든 그 방송 화면은 이미 방송국 PD 등에 의해 선택되거나 편집된 화면에 해당한다.

예를 들어 가수들이 노래를 부르는 음악 방송(생방송)의 경우, 비록 복수의 카메라로 해당 무대를 촬영한다 하여도 결국 송출되는 방송 화면은 방송국 PD 또는 카메라 감독에 의해 실시간 선택되는 특정 카메라에 의해 촬영된 영상인 것이다.

그런데 최근에는 현장에 있는 관객에 의해 직접 촬영된 영상이 인터넷 상에서 실시간 공유되는 경우가 빈번해 지고 있는데, 이 경우 시청자들은 관객에 의해 직접 촬영된 영상과 방송 영상을 번갈아가며 시청할 수 있는 장점이 있다.

그런데 종래에는 이러한 각 별개의 카메라로 촬영된 영상 간에 정확한 동기화가 이루어지지 않아 상술한 바와 같이 각 영상을 번갈아가면 시청하는 시청자들의 불편을 초래하고 있다.

예를 들어 현장에 있는 복수의 관객에 의해 촬영된 영상들이 각기 동시에 촬영된 것이라 하더라도 촬영 영상을 인터넷에 동영상 파일로써 등록하는 과정에서 동영상 파일간에 싱크가 이루어지지 않게 되어, 서로 다른 각도에서 가수가 노래를 부르는 것을 촬영한 각각의 영상을 번갈아 시청하는 경우 노래가 자연스럽게 이어지지 않는 문제가 있는 것이다.

등록특허 제10-0889836호

본 발명은 상기한 종래의 문제점을 해결하기 위해 안출된 것으로서, 그 목적은 동일한 장소, 동일한 무대, 동일한 현장 등에 대해 여러 대의 카메라에 의해 촬영된 동영상을 시청자가 선택적으로 시청할 때 각 동영상 간에 정확한 시간 동기화가 이루어지도록 하는 장치 및 방법을 제공하는 것이다.

상기한 목적을 달성하기 위해 본 발명에 따른 동영상 처리 시스템은, 복수의 카메라로부터 촬영된 동영상을 수신하고, 그 수신된 각 동영상의 동시점에 동일한 타임코드를 삽입하여 영상 데이터를 생성하는 전처리 장치와; 상기 전처리 장치로부터 수신되는 영상 데이터에 포함된 상기 타임코드를 이용한 기 설정된 알고리즘에 따라 각 영상 데이터를 대응되는 구간별로 동일하게 구분하고, 그 구분된 각 영상 데이터를 기 설정된 포맷으로 인코딩한 각각의 인코딩 데이터를 생성하면서, 동일한 시점의 영상 프레임에 대응되는 각 인코딩 데이터 상의 특정 위치에 동일한 값의 시간 스탬프가 추가되도록 하고, 상기 시간 스탬프가 추가된 각각의 인코딩 데이터를 적어도 하나의 클립 영상 데이터로 생성하여 저장한 후, 그 저장된 클립 영상 데이터를 외부 장치에 전송하는 동영상 처리 장치를 포함하여 구성된다.

또, 상기한 목적을 달성하기 위해 본 발명에 따른 동영상 처리 장치는, 복수의 카메라에 의해 촬영된 동영상에 대응되는 각각의 영상 데이터를 수신하는 수신부와; 상기 수신부에 수신된 각 영상 데이터에 포함된 타임코드를 이용한 기 설정된 알고리즘에 따라 각 영상 데이터를 대응되는 구간별로 동일하게 구분하는 영상 데이터 구분부와; 상기 영상 데이터 구분부에 의해 구분된 각 영상 데이터를 기 설정된 포맷으로 인코딩한 각각의 인코딩 데이터를 생성하면서, 동일한 시점의 영상 프레임에 대응되는 각 인코딩 데이터 상의 특정 위치에 동일한 값의 시간 스탬프가 추가되도록 하고, 그 생성된 인코딩 데이터를 적어도 하나의 클립 영상 데이터로 생성하여 저장하는 인코딩 처리부와; 상기 인코딩 처리부에 의해 생성된 및 저장된 클립 영상 데이터를 외부 장치에 전송하는 전송부를 포함하여 구성된다.

또, 상기한 목적을 달성하기 위해 본 발명에 따른 동영상 처리 시스템의 제어방법은, 복수의 카메라로부터 촬영된 동영상을 수신하는 단계와; 상기 단계에서 수신되는 각 동영상의 동시점에 동일한 타임코드를 삽입하여 영상 데이터를 생성하는 단계와; 상기 생성된 영상 데이터에 포함된 상기 타임코드를 이용한 기 설정된 알고리즘에 따라 각 영상 데이터를 대응되는 구간별로 동일하게 구분하는 단계와; 상기 단계에서 구분된 각 영상 데이터를 기 설정된 포맷으로 인코딩한 인코딩 데이터를 생성하면서, 동일한 시점의 영상 프레임에 대응되는 각 인코딩 데이터 상의 특정 위치에 동일한 값의 시간 스탬프가 추가되도록 하는 단계와; 상기 단계에서 생성된 각각의 인코딩 데이터를 적어도 하나의 클립 영상 데이터로 생성하여 저장하는 단계와; 상기 단계에서 생성된 각각의 클립 영상 데이터를 외부 장치에 전송하는 단계를 포함하여 이루어진다.

또, 상기한 목적을 달성하기 위해 본 발명에 따른 동영상 처리 장치의 제어방법은, 복수의 카메라에 의해 촬영된 동영상에 대응되는 각각의 영상 데이터를 수신하는 단계와; 상기 단계에서 수신된 각 영상 데이터에 포함된 타임코드를 이용한 기 설정된 알고리즘에 따라 각 영상 데이터를 대응되는 구간별로 동일하게 구분하는 단계와; 상기 단계에서 구분된 각 영상 데이터를 기 설정된 포맷으로 인코딩한 인코딩 데이터를 생성하면서, 동일한 시점의 영상 프레임에 대응되는 각 인코딩 데이터 상의 특정 위치에 동일한 값의 시간 스탬프가 추가되도록 하는 단계와; 상기 단계에서 시간 스탬프가 추가된 인코딩 데이터를 기 설정된 알고리즘에 따라 소정의 크기를 갖는 적어도 하나의 클립 영상 데이터로 생성하여 저장하는 단계와; 상기 단계에서 생성 및 저장된 적어도 하나의 클립 영상 데이터를 외부 장치에 전송하는 단계를 포함하여 이루어진다.

이상 설명한 바와 같이 본 발명에 따르면, 복수 개의 카메라에 의해 촬영된 영상들에 대해 일괄적으로 동일한 구간들끼리 구분될 수 있으므로 사용자 편의성이 증대된다.

또한 복수 개의 카메라에 의해 촬영된 영상을 시청자 단말기에서 번갈아 시청하는 경우 각 영상들 간의 동기화가 정확하게 이루어짐으로써, 영상 끊김 등에 따른 사용자 불편을 최소화시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 동영상 처리 시스템을 포함하는 전체 시스템의 개략 구성도이고,
도 2는 도 1의 동영상 처리 장치의 기능 블록도이고,
도 3은 도 1의 동영상 처리 장치가 전처리 장치로부터 수신된 복수의 영상 데이터를 동기화시키는 과정을 나타낸 도면이고,
도 4는 도 1의 동영상 처리 장치의 제어 흐름도이다.

이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다.

이하 본 발명에 따른 각 실시예는 본 발명의 이해를 돕기 위한 하나의 예에 불과하고, 본 발명이 이러한 실시예에 한정되는 것은 아니다. 특히 본 발명은 각 실시예에 포함되는 개별 구성, 개별 기능, 또는 개별 단계 중 적어도 어느 하나 이상의 조합으로 구성될 수 있다.

특히, 편의상 청구 범위의 일부 청구항에는 '(a)'와 같은 알파벳을 포함시켰으나, 이러한 알파벳이 각 단계의 순서를 규정하는 것은 아니다.

또한 이하 본 발명에 따른 각 실시예에서 언급하는 각 신호는 한 번의 연결 등에 의해 전송되는 하나의 신호를 의미할 수도 있지만, 후술하는 특정 기능 수행을 목적으로 전송되는 일련의 신호 그룹을 의미할 수도 있다. 즉, 각 실시예에서는 소정의 시간 간격을 두고 전송되거나 상대 장치로부터의 응답 신호를 수신한 이후에 전송되는 복수 개의 신호들이 편의상 하나의 신호명으로 표현될 수 있는 것이다.

본 발명의 일 실시예에 따른 동영상 처리 시스템(1)을 포함하는 전체 시스템의 개략 구성은 도 1에 도시된 바와 같다.

도 1에서 시청자 단말기는 시청자가 소정의 방송 영상, 동영상 등을 시청할 수 있도록 하는 것으로서, 예를 들어 댁내에 구비된 텔레비전이나 무선 통신이 가능한 휴대용 통신 단말기에 해당할 수 있다.

동 도면에 도시된 바와 같이 동영상 처리 시스템(1)은 복수 개의 카메라(100), 전처리 장치(200), 동영상 처리 장치(300)를 포함하여 구성될 수 있다.

여기서 복수 개의 카메라(100)는 동일한 장소, 동일한 무대, 동일한 현장 등을 촬영하는 카메라(100)로서, 본 실시예서는 가수의 라이브 무대를 촬영하는 것을 일 예로 한다.

복수 개의 카메라(100)의 운영 주체는 다양할 수 있는데, 예를 들어 복수 개의 카메라(100) 중 어느 하나는 방송국에서 관리하는 카메라(100)이고, 나머지는 방청객이 소지하거나 또는 별도의 사업자가 관리하는 카메라(100)일 수 있다.

도 1에는 3 대의 카메라(100)(즉, 제1 카메라(110), 제2 카메라(120), 제3 카메라(130))가 도시되었는데, 이는 일 예에 불과하고 카메라(100)의 개수는 얼마든지 변경 가능하다.

전처리 장치(200)는 복수의 카메라(100)로부터 촬영된 동영상을 수신하고, 그 수신된 각 동영상의 동시점에 동일한 타임코드를 삽입하여 영상 데이터를 생성하는 기능을 수행한다.

여기서 복수의 카메라(100)로부터 수신하는 동영상은 촬영 영상 신호 또는 영상 프레임 데이터 등에 해당하고, 타임코드는 특정 시간을 나타낸 정보 또는 특정 워터마크에 해당할 수 있다.

전처리 장치(200)에 복수의 영상 입력 포트가 구비되어 있는 경우, 전처리 장치(200)는 각 카메라(100)의 동영상을 각각의 영상 입력 포트를 통해 동시에 입력받고, 그 동시에 입력받은 동영상에 동일한 타임코드를 삽입할 수 있다.

예를 들어 전처리 장치(200)는 주기적인 시점마다 현재의 시간에 대응되는 타임코드를 각 영상 입력 포트를 통해 동시에 입력되는 각 동영상에 삽입할 수 있는 것이다.

한편, 동영상 처리 장치(300)는 전처리 장치(200)로부터 복수의 카메라(100)에 의해 촬영된 동영상에 대응되는 각각의 영상 데이터를 수신하고, 그 수신한 영상 데이터에 대한 시간 동기화를 수행한 이후, 인코딩 처리를 수행하면서 새로운 시간 스탬프가 그 인코딩되는 데이터에 삽입되도록 하는 기능을 수행한다.

이러한 동영상 처리 장치(300)의 구체적인 기능 블록의 일 예는 도 2에 도시된 바와 같다.

동 도면에 도시된 바와 같이 동영상 처리 장치(300)는 수신부(110), 영상 데이터 구분부(120), 인코딩 처리부(130), 전송부(140)를 포함하여 구성될 수 있다.

수신부(110)는 전처리 장치(200)로부터 영상 데이터를 수신하는 기능을 수행하는 것으로서, 여기서 영상 데이터는 상술한 바와 같이 복수의 카메라(100)에 의해 촬영된 동영상에 소정의 타임코드가 포함된 것이다.

영상 데이터 구분부(120)는 수신부(110)에 수신된 각 영상 데이터에 포함된 정보, 일 예로 타임코드를 이용한 기 설정된 알고리즘에 따라 각 영상 데이터를 동일한 구간별로 구분하는 기능을 수행한다.

예를 들어 영상 데이터 구분부(120)는 수신부(110)에 수신된 각 영상 데이터에 시간을 나타내는 타임코드가 삽입되어 있는지를 판단하고, 타임코드가 삽입되어 있다면 해당 타임코드를 추출한 후 비교하면서 각 영상 데이터들에 대해 일괄 커팅 과정을 수행하는 것이다.

이때 영상 데이터 구분부(120)는 외부로부터 수신되는 소정의 구분 신호를 이용할 수 있는데, 예를 들어 영상 데이터 구분부(120)는 수신부(110)에 수신된 각 영상 데이터에 대해 외부로부터 소정의 구분 신호가 수신되는 시점의 타임코드를 기초로 일괄 커팅 과정을 수행할 수 있다.

구체적으로, 수신부(110)에 수신된 각 영상 데이터 중 어느 하나에 대해 외부로부터 구분 신호가 수신되는 경우, 영상 데이터 구분부(120)는 그 구분 신호가 수신된 시점의 해당 영상 데이터에 포함된 타임코드를 확인한 후, 그 확인된 타임코드를 이용하여 모든 영상 데이터에 대해 시간 동기화가 이루어지도록 일괄 커팅 과정을 수행할 수 있다.

즉, 각 영상 데이터가 미리 저장된 VOD(Video On demand)인 경우 복수의 카메라 중 어느 하나에 의해 촬영된 영상 데이터를 재생하던 중에 사용자가 특정 버튼을 누른 경우 영상 데이터 구분부(120)는 이를 감지하여 해당 버튼 누름 시점의 영상 데이터 내의 타임코드를 추출하여 확인하고, 다른 카메라에 의해 촬영된 영상 데이터 중에서 그 확인된 타임코드와 동일한 위치를 확인한 후, 각각의 영상 데이터를 해당 확인된 타임코드에 기초하여 커팅을 수행하는 것이다.

이때 사용자의 버튼 누름은 커팅 시작점과 커팅 종료점의 선택을 위해 이루어질 수도 있고, 또는 커팅 시작점의 선택을 위해서만 이루어질 수도 있는데, 영상 데이터 구분부(120)는 커팅 시작점의 선택을 위해서만 버튼 누름이 이루어지는 경우에는 기 설정된 크기 정보를 이용하여 커팅 종료점을 선정할 수 있다.

일 예로 타임코드가 일종의 시간 정보라고 한다면, 영상 데이터 구분부(120)는 동일한 시간 정보에 대응되는 영상 프레임(동일한 시간 정보가 포함되거나 동일한 시간 정보에 매칭된 영상 프레임)이 동일한 시점에 각 카메라(100)에 촬영된 영상이라 판단하고 해당 프레임들을 기준으로 앞서 설명한 커팅 과정을 수행하는 것이다.

다른 예로써, 영상 데이터 구분부(120)는 수신부(110)에 수신된 각 영상 데이터로부터 기 설정된 형식의 특정 워터마크를 검출하고, 해당 특정 워터마크 검출 시점에 기초하여 각 영상 데이터에 대해 구간별 구분 처리를 수행할 수도 있다.

여기서 워터마크는 각 카메라(100)에 의해 촬영된 이후 앞서 설명한 전처리 장치(200)에 의해 추가된 것으로서 기 설정된 마크, 이미지, 텍스트 등에 해당할 수 있고, 이러한 워터마크는 실제 시청자가 화면상에서 볼 수 있는 것들일 수 있다.

이에 따라 각 카메라에 의해 촬영된 영상 데이터들이 서로 대응되는 크기로 일괄 커팅될 수 있는 것이다.

이러한 영상 데이터 구분부(120)에 의해 이루어지는 과정은 일종의 동기화 과정을 포함한다고 할 수 있는데, 즉, 동일한 시점에 촬영된 각 영상 프레임을 상호 매칭시키는 것을 일종의 동기화 과정이라 할 수 있는 것이다.

특히, 영상 데이터 구분부(120)는 기 설정된 워터마크가 검출된 시점 이전의 각 카메라(100)의 영상 프레임을 삭제 처리하여 서로 다른 시간에 촬영된 각 카메라(100)의 영상 데이터의 시작 시간이 일치되도록 할 수도 있다.

도 3에는 이러한 영상 데이터 구분부(120)에 의해 각 카메라(100)에 의해 촬영된 영상간 동기화가 이루어지는 과정이 도시되어 있다.

동 도면에서는 1분 16초를 기준으로 각 카메라(100)의 영상 프레임들이 동기화되는 과정이 나타나 있는데, 제1 카메라(110)에 의한 영상 데이터는 2초 대기를 하고, 제3 카메라(130)에 의한 영상 데이터는 3초 대기를 하여 제2 카메라(120)의 영상 데이터와 시간적으로 일치시키는 것이다.

영상 데이터 구분부(120)는 이처럼 각 카메라(100)의 영상 데이터를 동기화시킨 이후, 각 영상 데이터에 포함되어 있던 타임코드나 워터마크를 삭제할 수도 있다.

이러한 영상 데이터 구분부(120)의 처리 과정에 의해 복수의 카메라에 의해 촬영된 영상 데이터들이 서로 대응되는 구간별로 나뉘어지고 서로 매칭될 수 있는 것이다.

예를 들어 제1 카메라(101)에 의해 촬영된 영상 데이터(제1 영상 데이터)와 제2 카메라(102)에 의해 촬영된 영상 데이터(제2 영상 데이터)가 실시간으로 수신되는 경우 영상 데이터 구분부(120)는 그 실시간으로 수신되는 제1 영상 데이터 및 제2 영상 데이터를 각각 동기화 과정(시간 일치 과정)을 거쳐 10개로 구분(커팅)할 수 있는데, 이 경우 제1 영상 데이터의 첫 번째로 구분된 영상 데이터와 제2 영상 데이터의 첫 번째로 구분된 영상 데이터는 서로 동일한 시점에 그러나 각도나 촬영된 대상이 상이한 영상 데이터에 해당하고, 마찬가지로 제1 영상 데이터의 두 번째로 구분된 영상 데이터와 제2 영상 데이터의 두 번째로 구분된 영상 데이터는 서로 동일한 시점에 그러나 각도나 촬영된 대상이 상이한 영상 데이터에 해당하는 것이다. 즉, 제1 카메라의 첫 번째 구분된 영상 데이터의 시작 시점의 영상과 제2 카메라의 첫 번째 구분된 영상 데이터의 시작 시점의 영상이 실제 피사체를 동일한 시점에 촬영한 영상이 되는 등, 각 구분된 영상 데이터들간의 시간적인 대응관계가 존재할 수 있게 되는 것이다.

인코딩 처리부(130)는 영상 데이터 구분부(120)에 의해 구분된 각 영상 데이터를 기 설정된 포맷으로 인코딩한 각각의 인코딩 데이터를 생성하면서, 동일한 시점의 영상 프레임에 대응되는 각 인코딩 데이터 상의 특정 위치에 동일한 값의 시간 스탬프가 추가되도록 하는 기능을 수행한다.

또한 인코딩 처리부(130)는 그 생성된 인코딩 데이터를 적어도 하나의 클립 영상 데이터로 생성하여 저장하는 기능도 수행한다.

예를 들어 수신부(110)에 수신되는 영상 데이터가 각 카메라(100)에 의해 촬영된 로 데이터(raw data) 즉, 어떠한 압축 처리나 영상 처리(앞서 설명한 타임코드 추가 제외)가 이루어지지 않은 데이터인 경우 인코딩 처리부(130)는 기 설정된 압축 코덱에 의해 압축된 ES(Elementary Stream) 또는 PES(Packetized Elementary Stream) 형태로 클립 영상 데이터를 생성할 수 있는 것이다.

중요한 것은 인코딩 처리부(130)는 이처럼 구분된 각 영상 데이터를 기 설정된 포맷으로 인코딩하는 과정에서 시간 스탬프가 각 카메라(100)의 영상 데이터에 대응되는 인코딩 데이터 상의 특정 위치에 포함되도록 하고, 그러한 인코딩 데이터를 클립 영상 데이터 형태로 저장하는 것이다.

여기서 각 클립 영상 데이터는 하나의 영상을 소정의 크기로 조각낸 각각의 영상을 의미하는 것으로서 각 카메라(100)에 의해 촬영되는 영상들이 상술한 인코딩 처리부(130)의 기능에 의해 복수의 클립 영상 데이터로 생성될 수 있는 것이다.

이러한 클립 영상 데이터는 소정의 압축 코뎅에 의해 압축된 데이터일 수 있다.

이처럼 인코딩 중에 새로운 시간 스탬프를 추가하는 것은 추후 시청자 단말기(400) 상에서 각 카메라(100)에 의해 촬영된 영상들을 서로 동기화시킬 수 있도록 하기 위함이다.

즉, 본 실시예에서는 영상 데이터 구분부(120)는 수신부(110)에 수신된 각 카메라(100)의 영상 데이터에 포함된 타임코드 등을 기초로 각 카메라(100)의 영상 데이터를 동기화시키면서 구분하는 역할을 수행하고, 인코딩 처리부(130)는 이러한 각 구분된 영상 데이터를 인코딩 시키면서 새로운 시간 스탬프가 인코딩 데이터 상의 특정 위치에 포함되도록(즉, 각 클립 영상 내의 특정 위치에 시간 스탬프가 포함되도록) 하고 있는데, 이는 시청자 단말기(400)에서 정확한 영상 동기화가 이루어지도록 하기 위함이다.

예를 들어 수신부(110)에 수신된 각 영상 데이터에 이미 포함되어 있었던 타임코드 등을 그대로 시청자 단말기(400)가 이용하도록 하는 경우에는 정교한 동기화가 이루어질 수 없다.

즉, 수신부(110)에 수신된 각 영상 데이터에 포함된 타임코드를 기준으로 각 카메라(100)의 동일한 영상 프레임을 선정하고, 그 선정된 영상 프레임을 기준으로 인코딩 처리부(130)가 인코딩 처리를 수행하는 경우, 인코딩 알고리즘에 따라 발생하는 소정의 딜레이(시간 지연)에 의해 각 카메라(100)의 영상 데이터간 동기화가 정확하게 이루어질 수 없는 것이다.

일 예로 제1 카메라(110)에 의해 촬영된 영상 데이터 중 두 번째 프레임에 타임코드가 포함되어 있고, 제2 카메라(120)에 의해 촬영된 영상 데이터 중 세 번째 프레임에 타임코드가 포함되어 있는 경우, 제1 카메라(110)에 의해 촬영된 영상 데이터 중 두 번째 프레임으로부터 인코딩이 이루어지고 제2 카메라(120)에 의해 촬영된 영상 데이터 중 세 번째 프레임으로부터 인코딩이 이루어질 수 있는데, 이 경우 막상 단말기에서 재생해보면 제1 카메라(110)에 의한 영상과 제2 카메라(120)에 의한 영상이 일치하지 않는 경우가 발생하는 것이다.

이는 인코딩 알고리즘이 압축 알고리즘(예를 들어 공간적 상관관계, 시간적 상관관계, 부호의 발생 확률의 편중을 이용한 압축을 이용하는 MPEG 등)을 이용하는 과정에서 각 영상 프레임이 그대로 남아 있지 않게 되면서 발생하는 문제인데, 이를 위해 본 발명에서는 로 데이터에 포함되어 있던 타임코드나 워터마크 등은 영상 데이터 구분부(120)에서만 이용하고, 실제 시청자 단말기(400)에서 각 카메라(100)에 의해 촬영된 영상간 동기화를 위해 필요한 정보는 인코딩 처리부(130)가 인코딩 데이터를 생성하는 과정에서 새로 추가한 시간 스탬프가 그 역할을 수행하는 것이다.

즉, 인코딩 처리부(130)는 상술한 압축 알고리즘에 처리 과정의 소정의 딜레이 발생을 알 수 있고, 그러한 딜레이를 고려한 새로운 시간 스탬프를 인코딩 과정에서 인코딩 데이터의 특정 위치에 추가되도록 하는 것이다. 여기서 인코딩 데이터의 특정 위치라는 것은 시청자 단말기(400)가 동기화를 위해 확인할 수 있는 곳을 의미하는 것으로서, 시청자 단말기(400)는 인코딩 데이터의 특정 위치에서 시간 스탬프를 발견하는 경우 현재 플레이 되는 영상의 시간 정보를 동일한 방식으로 획득하게 되는데, 이러한 시청자 단말기(400)에서 이루어지는 과정은 기 공지된 기술에 불과하므로 보다 상세한 설명은 생략한다.

인코딩 처리부(130)가 각 클립 영상 데이터를 생성함에 있어서, 각 구분된 영상 데이터 중 시간적으로 대응되는 것들을 함께 묶어 하나의 클립 영상 데이터로 생성할 수도 있다.

예를 들어 앞서 든 예를 참조하면, 제1 영상 데이터에서 첫 번째로 구분된 영상 데이터와 제2 영상 데이터에서 첫 번째로 구분된 영상 데이터를 인코딩 및 시간 스탬프를 추가한 후 하나의 클립 영상 데이터(일 예로, 클립 영상 파일)로 생성할 수 있는 것이다.

전송부(140)는 인코딩 처리부(130)에 의해 생성된 인코딩 데이터를 외부 장치에 전송하는 기능을 수행한다.

앞서 일 예로써 설명한 바와 같이 인코딩 처리부(130)에 의해 생성되는 인코딩 데이터(즉, 클립 영상 데이터)가 ES(Elementary Stream) 또는 PES(Packetized Elementary Stream)인 경우, 전송부(140)는 인코딩 처리부(130)에 의해 생성된 각각의 인코딩 데이터(즉, 클립 영상 데이터)를 개별적 또는 통합적 TS(Transport Stream) 패킷으로 생성한 후 외부 장치에 전송할 수 있다.

예를 들어 인코딩 처리부(130)가 각 카메라(100)에 의해 촬영된 영상 데이터를 각각의 PES 스트림 데이터로 생성한 경우, 전송부(140)는 그 각각의 PES 스트림 데이터를 통합적 TS 패킷으로 생성한 후 TS 스트림의 형태로 외부 장치에 전송할 수 있는 것이다.

이 경우 TS 스트림에는 각 카메라(100)에 의해 촬영된 영상에 대응되는 PES 데이터가 패킷 형태로 포함되게 된다.

예를 들어 각 클립 영상 데이터들이 TS 패킷으로 구성된 TS 스트림 형태로 전성될 수 있는 것이다.

이하에서는 도 4를 참조하여 본 발명의 일 실시예에 따른 동영상 처리 장치(300)의 제어 과정을 설명한다.

먼저, 동영상 처리 장치(300)는 복수 개의 카메라(100)(본 실시예에서는 제1 카메라(110), 제2 카메라(120), 제3 카메라(130))에 의해 촬영된 각각의 영상 데이터를 수신한다(단계 S1).

이러한 영상 데이터에는 미리 타임코드 등(워터마크 포함)이 포함되고 있는데, 동영상 처리 장치(300)는 각 카메라(100)에 대응되는 영상 데이터로부터 이러한 타임코드 등을 추출하여 상호간 비교한다(단계 S3).

즉, 동영상 처리 장치(300)는 추출한 타임코드 등을 기초로 각 영상 데이터를 대응되는 구간별로 동일하게 구분한다(단계 S5).

예를 들어 동영상 처리 장치(300)는 동일한 시점에 각 카메라(100)에 의해 촬영된 영상 데이터끼리 동일한 크기로 구분되도록 처리하는 것이고, 이때 외부로부터 수신되는 일명 구분 신호를 그 구분의 시작 시점 또는 종료 시점 판별을 위해 이용할 수 있다.

이후, 동영상 처리 장치(300)는 동기화된 각 카메라들(100)의 영상 데이터를 각각 인코딩하되, 각 인코딩 데이터의 특정 위치에 동일한 시간 스탬프를 삽입하면서 클립 영상 데이터를 생성한다(단계 S7).

이어서 동영상 처리 장치(300)는 클립 영상 데이터를 이용하여 MPTS(MPEG Transport Stream) 패킷을 생성한 후(단계 S9), MPTS 스트림을 별도의 콘텐츠 제공 서버나 시청자 단말기(400)에 전송한다(단계 S11).

이에 따라 시청자 단말기(400)는 콘텐츠 제공 서버로부터 또는 동영상 처리 장치(300)로부터 수신한 각 카메라(100)에 의해 촬영된 영상들 간에 동기화를 수행하면서 재생할 수 있다.

즉, 시청자가 제1 카메라(110)에 의해 촬영된 영상을 시청하던 중에 제2 카메라(120)에 의해 촬영된 영상으로 전환(채널 변경 등)하는 경우 연속성을 유지시킬 수 있는 것이다.

예를 들어, 제1 카메라(110)와 제2 카메라(120)가 모두 동일한 무대(가수가 노래를 부르는 무대)를 서로 다른 각도에서 촬영한 경우, 시청자는 제1 카메라(110)에 의해 촬영된 영상을 시청하던 중에 제2 카메라(120)에 의해 촬영된 영상으로 전환하더라도 가수의 노래가 끊기거나 이어지지 않는 것을 최소화시킬 수 있는 것이다.

한편, 상술한 각 실시예를 수행하는 과정은 소정의 기록 매체(예를 들어 컴퓨터로 판독 가능한)에 저장된 프로그램 또는 애플리케이션에 의해 이루어질 수 있음은 물론이다. 여기서 기록 매체는 RAM(Random Access Memory)과 같은 전자적 기록 매체, 하드 디스크와 같은 자기적 기록 매체, CD(Compact Disk)와 같은 광학적 기록 매체 등을 모두 포함한다.

이때, 기록 매체에 저장된 프로그램은 컴퓨터나 스마트폰 등과 같은 하드웨어 상에서 실행되어 상술한 각 실시예를 수행할 수 있다. 특히, 상술한 본 발명에 따른 동영상 처리 장치의 기능 블록 중 적어도 어느 하나는 이러한 프로그램 또는 애플리케이션에 의해 구현될 수 있다.

또한, 본 발명은 상기한 특정 실시예에 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 변형 및 수정하여 실시할 수 있는 것이다. 이러한 변형 및 수정이 첨부되는 특허청구범위에 속한다면 본 발명에 포함된다는 것은 자명할 것이다.

1 : 동영상 처리 시스템 100 : 카메라
200 : 전처리 장치 300 : 동영상 처리 장치
400 : 시청자 단말기 110 : 수신부
120 : 동기화 처리부 130 : 인코딩 처리부
140 : 전송부

Claims

복수의 카메라로부터 촬영된 동영상을 수신하고, 그 수신된 각 동영상의 동시점에 동일한 타임코드를 삽입하여 영상 데이터를 생성하는 전처리 장치와;
상기 전처리 장치로부터 수신되는 영상 데이터에 포함된 상기 타임코드를 이용한 기 설정된 알고리즘에 따라 각 영상 데이터를 대응되는 구간별로 동일하게 구분한 후 각 영상 데이터에 포함된 타임코드를 제거하고, 그 구분된 각 영상 데이터를 기 설정된 포맷으로 인코딩한 각각의 인코딩 데이터를 생성하면서, 동일한 시점의 영상 프레임에 대응되는 각 인코딩 데이터 상의 특정 위치에 동일한 값의 시간 스탬프가 추가되도록 하고, 상기 시간 스탬프가 추가된 각각의 인코딩 데이터를 적어도 하나의 클립 영상 데이터로 생성하여 저장한 후, 그 저장된 클립 영상 데이터를 외부 장치에 전송하는 동영상 처리 장치를 포함하는 것을 특징으로 하는 동영상 처리 시스템.
복수의 카메라에 의해 촬영된 동영상에 대응되는 각각의 영상 데이터를 수신하는 수신부와;
상기 수신부에 수신된 각 영상 데이터에 포함된 타임코드를 이용한 기 설정된 알고리즘에 따라 각 영상 데이터를 대응되는 구간별로 동일하게 구분한 후, 각 영상 데이터에 포함된 타임코드를 제거하는 영상 데이터 구분부와;
상기 영상 데이터 구분부에 의해 구분된 각 영상 데이터를 기 설정된 포맷으로 인코딩한 각각의 인코딩 데이터를 생성하면서, 동일한 시점의 영상 프레임에 대응되는 각 인코딩 데이터 상의 특정 위치에 동일한 값의 시간 스탬프가 추가되도록 하고, 그 생성된 인코딩 데이터를 적어도 하나의 클립 영상 데이터로 생성하여 저장하는 인코딩 처리부와;
상기 인코딩 처리부에 의해 생성된 및 저장된 클립 영상 데이터를 외부 장치에 전송하는 전송부를 포함하는 것을 특징으로 하는 동영상 처리 장치.
제2항에 있어서,
상기 영상 데이터 구분부는 상기 수신부에 수신된 각 영상 데이터에 대해 외부로부터 소정의 구분 신호가 수신되는 시점의 타임코드를 기초로 일괄 커팅 과정을 수행하는 것을 특징으로 하는 동영상 처리 장치.
제3항에 있어서,
상기 영상 데이터 구분부는 상기 수신부에 수신된 각 영상 데이터 중 어느 하나에 대해 외부로부터 상기 구분 신호가 수신되는 경우, 그 구분 신호가 수신된 시점의 해당 영상 데이터에 포함된 타임코드를 확인한 후, 그 확인된 타임코드를 이용하여 모든 영상 데이터에 대해 시간 동기화가 이루어지도록 일괄 커팅 과정을 수행하는 것을 특징으로 하는 동영상 처리 장치.
제2항에 있어서,
상기 영상 데이터 구분부는 상기 수신부에 수신된 각 영상 데이터로부터 기 설정된 형식의 특정 워터마크를 검출하고, 해당 특정 워터마크 검출 시점에 기초하여 각 영상 데이터를 대응되는 구간별로 동일하게 구분하는 것을 특징으로 하는 동영상 처리 장치.
제2항에 있어서,
상기 수신부에 수신되는 영상 데이터는 각 카메라에 의해 촬영된 로 데이터(raw data)이고,
상기 인코딩 처리부에 의해 인코딩된 후 생성 및 저장되는 각 클립 영상 데이터는 기 설정된 압축 코덱에 의해 압축된 ES(Elementary Stream) 또는 PES(Packetized Elementary Stream)이며,
상기 전송부는 상기 각각의 클립 영상 데이터를 개별적 또는 통합적 TS(Transport Stream) 패킷으로 생성한 후 상기 외부 장치에 전송하는 것을 특징으로 하는 동영상 처리 장치.
제2항에 있어서,
상기 영상 데이터 구분부는 상기 복수의 카메라간 서로 대응되는 구분된 영상 데이터의 시작 시점과 크기가 일치되도록 처리하는 것을 특징으로 하는 동영상 처리 장치.
(a) 복수의 카메라로부터 촬영된 동영상을 수신하는 단계와;
(b) 상기 (a) 단계에서 수신되는 각 동영상의 동시점에 동일한 타임코드를 삽입하여 영상 데이터를 생성하는 단계와;
(c) 상기 생성된 영상 데이터에 포함된 상기 타임코드를 이용한 기 설정된 알고리즘에 따라 각 영상 데이터를 대응되는 구간별로 동일하게 구분한 후, 각 영상 데이터에 포함된 타임코드를 제거하는 단계와;
(d) 상기 (c) 단계에서 구분된 각 영상 데이터를 기 설정된 포맷으로 인코딩한 인코딩 데이터를 생성하면서, 동일한 시점의 영상 프레임에 대응되는 각 인코딩 데이터 상의 특정 위치에 동일한 값의 시간 스탬프가 추가되도록 하는 단계와;
(e) 상기 (d) 단계에서 생성된 각각의 인코딩 데이터를 적어도 하나의 클립 영상 데이터로 생성하여 저장하는 단계와;
(f) 상기 (e) 단계에서 생성된 각각의 클립 영상 데이터를 외부 장치에 전송하는 단계를 포함하는 것을 특징으로 하는 동영상 처리 시스템의 제어방법.
(a) 복수의 카메라에 의해 촬영된 동영상에 대응되는 각각의 영상 데이터를 수신하는 단계와;
(b) 상기 (a) 단계에서 수신된 각 영상 데이터에 포함된 타임코드를 이용한 기 설정된 알고리즘에 따라 각 영상 데이터를 대응되는 구간별로 동일하게 구분한 후, 각 영상 데이터에 포함된 타임코드를 제거하는 단계와;
(c) 상기 (b) 단계에서 구분된 각 영상 데이터를 기 설정된 포맷으로 인코딩한 인코딩 데이터를 생성하면서, 동일한 시점의 영상 프레임에 대응되는 각 인코딩 데이터 상의 특정 위치에 동일한 값의 시간 스탬프가 추가되도록 하는 단계와;
(d) 상기 (c) 단계에서 시간 스탬프가 추가된 인코딩 데이터를 기 설정된 알고리즘에 따라 소정의 크기를 갖는 적어도 하나의 클립 영상 데이터로 생성하여 저장하는 단계와;
(e) 상기 (d) 단계에서 생성 및 저장된 적어도 하나의 클립 영상 데이터를 외부 장치에 전송하는 단계를 포함하는 것을 특징으로 하는 동영상 처리 장치의 제어방법.
제9항에 있어서,
상기 (b) 단계에서는 상기 (a) 단계에서 수신된 각 영상 데이터에 대해 외부로부터 소정의 구분 신호가 수신되는 시점의 타임코드를 기초로 일괄 커팅 과정을 수행하는 것을 특징으로 하는 동영상 처리 장치의 제어방법.
제10항에 있어서,
상기 (b) 단계에서는 상기 (a) 단계에서 수신된 각 영상 데이터 중 어느 하나에 대해 외부로부터 상기 구분 신호가 수신되는 경우, 그 구분 신호가 수신된 시점의 해당 영상 데이터에 포함된 타임코드를 확인한 후, 그 확인된 타임코드를 이용하여 모든 영상 데이터에 대해 시간 동기화가 이루어지도록 일괄 커팅 과정을 수행하는 것을 특징으로 하는 동영상 처리 장치의 제어방법.
제9항에 있어서,
상기 (b) 단계에서는, 상기 (a) 단계에서 수신된 각 영상 데이터로부터 기 설정된 형식의 특정 워터마크를 검출하고, 해당 특정 워터마크 검출 시점에 기초하여 각 영상 데이터를 대응되는 구간별로 동일하게 구분하는 것을 특징으로 하는 동영상 처리 장치의 제어방법.
제9항에 있어서,
상기 (a) 단계의 영상 데이터는 각 카메라에 의해 촬영된 로 데이터(raw data)이고,
상기 (d) 단계에서 생성 및 저장되는 각 클립 영상 데이터는 기 설정된 압축 코덱에 의해 압축된 ES(Elementary Stream) 또는 PES(Packetized Elementary Stream)이며,
상기 (e) 단계에서는 상기 (d) 단계에서 생성된 각각의 클립 영상을 개별적 또는 통합적 TS(Transport Stream) 패킷으로 생성한 후 상기 외부 장치에 전송하는 것을 특징으로 하는 동영상 처리 장치의 제어방법.
제9항에 있어서,
상기 (b) 단계에서는 상기 복수의 카메라간 서로 대응되는 구분된 영상 데이터의 시작 시점과 크기가 일치되도록 처리하는 것을 특징으로 하는 동영상 처리 장치의 제어방법.
제9항 내지 제14항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
하드웨어와 결합되어 제9항 내지 제14항 중 어느 한 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능 기록 매체에 저장된 응용 프로그램.