KR101403969B1 - 타임코드를 상실한 동영상의 자막 재생 시점 인식 방법 - Google Patents

Abstract

본 발명 타임코드를 상실한 동영상의 자막 재생 시점 인식 방법은 지상파 및 케이블 등의 방송 채널을 OTT(Over The Top)를 통해 재전송 시 인식 기술을 이용하여 타임코드를 상실한 재생 중인 동영상에 자막을 출력하기 위한 재생 시점을 인식하는 방법에 관한 것으로, 자막 데이터의 출력을 위해 동영상의 재생 시점을 인식하는 방법에 있어서, 타임코드를 갖는 동영상 전체를 핑거프린트하여 생성된 기준 핑거프린트 데이터를 생성하는 기준 핑거프린트 데이터 생성 단계;와 이후, 상기 동영상이 타임코드를 상실하고 소정의 재생 시점에서 재생되면, 타임코드를 상실한 동영상의 재생 시점에서 핑거프린트를 하여 시점 핑거프린트 값을 추출하는 시점 핑거프린트 값 추출 단계; 상기 시점 핑거프린트 값 추출 단계에서 추출된 시점 핑거프린트 값을 상기 기준 핑거프린트 데이터에 대비하여 상기 재생 시점의 타임코드를 인식하는 타임코드 인식 단계; 및 상기 타임코드 인식 단계에서 인식된 타임코드에 해당하는 상기 자막 데이터의 자막을 출력하는 자막 출력단계;를 포함하는 것을 기술적 특징으로 하여, 타임코드를 상실한 동영상의 재생 시점을 정확하게 인식할 수 있는 효과 즉, 타임코드와 무관하게 동영상이 재생되고 있는 시점을 인식하여 자막을 출력할 수 있는 효과와 타임코드를 상실한 동영상의 실시간 방송 및 VOD 방송 시에 다국어 자막 지원이 가능한 효과가 있다.

Description

타임코드를 상실한 동영상의 자막 재생 시점 인식 방법{How to recognize the point of the subtitles of the video playback time code is lost}

본 발명은 재생 중인 동영상의 자막 재생 시점을 인식하는 방법에 관한 것으로서, 지상파 및 케이블 등의 방송 채널을 OTT(Over The Top)를 통해 재전송 시 인식 기술을 이용하여 타임코드를 상실한 동영상에 자막을 출력하기 위한 재생 시점을 인식하는 방법에 관한 것이다.

OTT(Over The Top)서비스란 도 1 OTT 서비스를 개념적으로 도시한 도면에 도시된 바와 같이 기존의 방송통신사업자(지상파, 위성방송, 케이블방송 등)가 아닌 제3 사업자들이 범용 인터넷(Public Internet)를 통해 방송 콘텐츠를 제공하는 서비스를 지칭한다.

지상파, 위성방송, 케이블방송 등 기존의 방송 서비스가 방송 전용망을 통해 콘텐츠를 전송하는 것과 달리, OTT 서비스는 누구나 접근할 수 있는 범용 인터넷을 통해 방송 콘텐츠를 제공한다.

OTT 서비스는 별도의 셋톱박스를 이용하지 않으므로 사용자는 위성방송이나 케이블 방송에 가입하지 않고도 인터넷에 연결된 각종 디바이스(예: 태블릿 pc, 스마트 폰, 게임기, pc. 스마트 tv)를 통해 지상파 및 케이블 채널을 시청할 수 있다. 또한, 기존의 방송 채널은 OTT 서비스를 통해 동시방송(Simulcast)되므로 사용자는 스마트 폰의 옙을 통해서도 지상파의 특정 채널을 동시에 시청할 수 있다.

OTT를 통해 제공되는 방송은 크게 VOD(Video On Demend) 방송 방식과 실시간 방송(Real-time broadcast) 방식으로 나뉜다.

VOD 방송 방식은 사용자가 특정 채널을 선택하면 영화를 빌려 보듯이 처음부터 끝까지 시청할 수 있는 주문형 비디오 방식이고, 실시간 방송은 지상파 채널 및 케이블 채널 등을 통해 송출되는 방송 서비스를 의미한다.

이러한 OTT 방송 방식의 장점은 방송 서비스 영역이 제한되지 않으므로 한 국가에 예속될 필요가 전혀 없다는 점이다. 따라서, 국가간에 원활한 의사 소통을 위해서는 다언어 자막 서비스가 필수적이다.

OTT를 통해 제공되는 자막 서비스를 살펴보면, VOD 방송 방식은 각 클라이언트 디바이스(예: 스마트 폰)에서 요구하는 포맷의 자막 파일과 사용자가 주문한 비디오 파일을 클라이언트 디바이스에 동시에 제공하고, 미디어 플레이 부에서 상기 자막 파일과 비디오 파일의 싱크를 조정하면서 재생한다.

실시간 방송은 방송국에서 수신되는 방송 채널을 클라이언트 단말기에 실시간으로 제공한다. 이를 위하여, 방송 서버는 상기 방송 채널의 콘텐츠를 다시 엔코딩하여 네트워크의 대역폭(Bandwidth)에 따라 다양한 화질로 재전송한다. 예를 들어, 3G 망에서는 실제 화질보다 낮게, Wifi 망에서는 3G 망보다는 고화질로 상기 방송국에서 수신되는 방송 콘텐츠를 다시 엔코딩하여 재전송한다.

그러나, 이 과정에서 방송 자막을 위하여 반드시 필요한 동영상 정보와 타임코드 정보가 모두 손실된다. 즉, 상기 엔코딩 과정에서 현재 방송 중인 프로그램이 무엇이고, 그 방송 프로그램이 재생되고 있는 시점이 어디인지를 알려주는 데이터가 모두 손실된다.

따라서, 자막을 제공하기 위해서는 타임코드 기반으로 작성된 자막의 출력시점을 알 수가 없어 OTT 서비스를 통해 타임코드가 상실된 동영상에 대해서는 자막을 제공할 수 없는 문제가 있다.

이와 같은 문제로 인해 실시간 방송의 경우 자막 서비스 자체가 불가능하고, VOD 방송의 경우는 동영상 자체에 자막이 입혀진 경우에만 자막 제공이 가능하나, 자막 언어별로 동영상을 제작해야 함에 따라 예를 들어 1,000개의 동영상을 5개국어로 제공하기 위해서는 5,000개의 동영상을 제작하고 준비해야하는 문제가 발생한다.

본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위하여, 동영상의 재생 시, 재생 중인 동영상이 타임코드를 상실하더라도 동영상의 출력시점을 찾아 해당하는 자막을 제공할 수 있는 타임코드를 상실한 동영상의 자막 재생 시점의 인식 방법을 제공하는 것을 목적으로 한다.

상기와 같은 본 발명이 해결하고자 하는 과제를 달성하기 위하여 본 발명은 자막 출력을 위해 동영상의 재생 시점을 인식하는 방법에 있어서, 타임코드를 갖는 동영상 전체를 핑거프린트하여 생성된 기준 핑거프린트 데이터를 생성하는 기준 핑거프린트 데이터 생성 단계;와 이후, 상기 동영상이 타임코드를 상실하고 소정의 재생 시점에서 재생되면, 타임코드를 상실한 동영상의 재생 시점에서 핑거프린트를 하여 시점 핑거프린트 값을 추출하는 시점 핑거프린트 값 추출 단계; 상기 시점 핑거프린트 값 추출 단계에서 추출된 시점 핑거프린트 값을 상기 기 기준 핑거프린트 데이터에 대비하여 상기 재생 시점의 타임코드를 인식하는 타임코드 인식 단계; 및 상기 타임코드 인식 단계에서 인식된 타임코드에 해당하는 자막을 출력하는 자막 출력단계;를 포함하는 것을 기술적 특징으로 한다.

또한, 상기 기준 핑거프린트 데이터는 상기 타임코드를 갖는 동영상의 비디오 신호를 기반으로 핑거프린트하여 생성된 것이고, 상기 시점 핑거프린트 값 역시 비디오 신호를 기반으로 핑거프린트하여 추출된 것;을 기술적 특징으로 한다.

또한, 상기 기준 핑거프린트 데이터는 상기 타임코드를 갖는 동영상의 오디오 신호를 기반으로 핑거프린트하여 생성된 것이고, 상기 시점 핑거프린트 값 역시 오디오 신호를 기반으로 핑거프린트하여 추출된 것;을 기술적 특징으로 한다.

또한, 상기 기준 핑거프린트 데이터는 상기 타임코드를 갖는 동영상의 비디오 신호와 오디오 신호를 기반으로 핑거프린트하여 생성된 것이고, 상기 시점 핑거프린트 값 역시 비디오 신호와 오디오 신호를 기반으로 핑거프린트하여 추출된 것;을 기술적 특징으로 한다.

또한, 상기 타임코드 인식 단계는 상기 시점 핑거프린트 값을 상기 기준 핑거프린트 데이터와 대비하여 시점 핑거프린트 값에 해당하는 기준 핑거프린트 데이터의 타임코드를 상기 재생 시점의 타임코드로 인식하는 것;을 기술적 특징으로 한다.

또한, 상기 기준 핑거프린트 데이터 생성 단계 이후에, 상기 기준 핑거프린트 데이터와 상기 자막 데이터를 매칭시키는 자막 데이터 매칭 단계;를 더 포함하고, 상기 타임코드 인식 단계에서 상기 시점 핑거프린트 값을 상기 기준 핑거프린트 데이터와 대비하여 시점 핑거프린트 값에 해당하는 기준 핑거프린트 데이터의 자막 데이터 매칭 값을 찾고, 상기 매칭 값에 해당하는 자막 데이터의 타임코드를 상기 재생 시점의 타임코드로 인식하는 것;을 기술적 특징으로 한다.

본 발명은 상기와 같은 과제의 해결 수단을 통해 타임코드를 상실한 동영상의 재생 시점을 정확하게 인식할 수 있는 효과가 있다.

즉, 타임코드와 무관하게 동영상이 재생되고 있는 시점을 인식하고, 인식된 위치에 해당하는 자막을 출력할 수 있는 효과가 있다.

또한, 타임코드를 상실한 동영상에도 자막을 출력할 수 있어 OTT 서비스의 실시간 방송 및 VOD 방송 시에 다국어 자막 지원이 가능한 효과가 있다.

도 1은 OTT 서비스를 개념적으로 도시한 도면,
도 2는 본 발명 타임코드를 상실한 동영상의 자막 재생 시점 인식 방법의 과정을 설명하기 위한 도면,
도 3은 본 발명 타임코드를 상실한 동영상의 자막 재생 시점 인식 방법의 기준 핑거프린트 데이터를 설명하기 위한 도면,
도 4는 본 발명 타임코드를 상실한 동영상의 자막 재생 시점 인식 방법의 타임코드 인식 단계를 개념적으로 설명하기 위한 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시 예를 예시로서 도시하는 첨부 도면을 참조한다.　이들 실시 예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.　본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다.　예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시 예에 관련하여 본 발명의 기술적 사상 및 범위를 벗어나지 않으면서 다른 실시 예로 구현될 수 있다.　또한, 각각의 개시된 실시 예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 기술적 사상 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다.　따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.　도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

도 2는 본 발명 타임코드를 상실한 동영상의 자막 재생 시점 인식 방법의 과정을 설명하기 위한 도면이다. 상기 도 2에 도시한 바와 같이 타임코드를 상실한 동영상의 자막 재생 시점 인식 방법은 자막 데이터의 출력을 위해 동영상의 재생 시점을 인식하는 방법에 있어서, 기준 핑거프린트 데이터 생성 단계(S10), 시점 핑거프린트 값 추출 단계(S20), 타임코드 인식 단계(S30) 및 자막 출력 단계(S40)로 이루어진다.

본 발명은 종래 타임코드 기반의 자막 정보를 타임코드를 상실한 동영상에 제공하기 위해 타임코드가 아닌 인식 기술(핑거프린트)을 기반으로 현재 재생되고 있는 동영상의 재생 위치를 인식하고, 인식된 위치에 해당하는 자막의 출력 위치를 찾아 타임코드와 무관하게 동영상과 자막을 동기화시키는 것을 기술적 특징으로 하는 것으로 본 발명에서 정의된 용어는 아래와 같다.

용어의 정의

타임코드는 동영상의 재생 위치를 시간으로 표시한 코드를 말한다.

자막 데이터는 동영상의 타임코드를 기반으로 재생 위치에서 출력되는 자막 정보를 포함한 데이터를 말한다.

핑거프린트는 'Digital Finger Print'로 동영상의 비디오신호 내지 오디오신호를 분석하여 특정 지점에 대한 속성을 조합하여 바이너리 파일로 생성하는 기술을 말하며, 핑거프린트 된 특정 위치를 인식할 수 있는 기술이다.

기준 핑거프린트 데이터는 동영상의 시작점에서 끝점까지 전체를 소정의 시간 간격 또는 수 프레임 단위로 핑거프린트한 동영상 전체의 핑거프린트 값이다.

상기 시점 핑거프린트 값은 타임코드를 상실한 동영상이 재생되는 시점에서 핑거프린트하여 추출된 값을 말한다.

상기 기준 핑거프린트 데이터 생성 단계(S10)는 타임코드를 갖는 동영상의 시작부터 종료시점까지 전체를 핑거프린트하여 생성된 값의 집합인 기준 핑거프린트 데이터를 생성한다.

이와 같은 기준 핑거프린트 데이터는 향후 상기 동영상이 타임코드를 상실한 경우에도 재생 시점을 찾기 위한 기준을 만들기 위한 것이다.

따라서, 타임코드를 상실한 동영상의 재생 시점은 상기 기준 핑거프린트 데이터를 기준으로 결정된다.

예를 들어 동영상이 30분짜리인 경우에는 30분에 해당하는 전체 구간을 핑거프린트하여 기준 핑거프린트 데이터를 생성하고, 동영상이 60분짜리인 경우에는 60분에 해당하는 전체 구간을 핑거프린트하여 기준 핑거프린트 데이터를 생성한다.

이때 상기 기준 핑거프린트 데이터는 도 3 본 발명 타임코드를 상실한 동영상의 자막 재생 시점 인식 방법의 기준 핑거프린트 데이터를 설명하기 위한 도면에 도시한 바와 같이 상기 타임코드를 갖는 동영상의 비디오 신호를 기반으로 핑거프린트하여 생성될 수 있고, 이 경우 상기 시점 핑거프린트 값 역시 비디오 신호를 기반으로 핑거프린트하여 추출된다.

또한, 상기 기준 핑거프린트 데이터는 상기 타임코드를 갖는 동영상의 오디오 신호를 기반으로 핑거프린트하여 생성될 수도 있으며, 이 경우 상기 시점 핑거프린트 값 역시 오디오 신호를 기반으로 핑거프린트하여 추출된다.

또한, 보다 빠른 재생 시점 판단을 위해 상기 기준 핑거프린트 데이터는 상기 타임코드를 갖는 동영상의 비디오 신호와 오디오 신호를 기반으로 핑거프린트하여 생성될 수 있고, 이때 상기 시점 핑거프린트은 비디오 신호와 오디오 신호를 기반으로 핑거프린트하여 추출된다.

상기 시점 핑거프린트 값 추출 단계(S20)는 상기 도 2에 도시한 바와 같이, 타임코드를 상실한 동영상이 재생되는 재생 시점에서 핑거프린트를 시행하여 시점 핑거프린트 값을 추출한다.

즉, 도 4 본 발명 타임코드를 상실한 동영상의 자막 재생 시점 인식 방법의 타임코드 인식 단계를 개념적으로 설명하기 위한 도면에 도시한 바와 같이, 타임코드가 없는 동영상이 알 수 없는 시점(S')에서 재생이 시작된 경우, 상기 재생 시점(S')에서 핑거프린트를 하여 재생 시점(S')의 핑거프린트 값인 시점 핑거프린트 값을 추출한다.

이때, 상기 시점 핑거프린트 값은 앞서 설명한 바와 같이, 기준 핑거프린트 데이터를 비디오 신호를 기반으로 한 경우에는 상기 시점 핑거프린트 값 추출은 동영상 재생 시점의 비디오 신호를 핑거프린트하여 추출하고, 기준 핑거프린트 데이터를 오디오 신호를 기반으로 한 경우에는 상기 시점 핑거프린트 값 추출은 동영상 재생 시점의 오디오 신호를 핑거프린트하여 추출하며, 기준 핑거프린트 데이터를 비디오 신호와 오디오 신호를 기반으로 한 경우에는 상기 시점 핑거프린트 값 추출은 동영상 재생 시점의 비디오 신호와 오디오 신호를 핑거프린트하여 추출한다.

상기 타임코드 인식 단계(S30)는 상기 도 2 내지 도 4에 도시한 바와 같이, 기 생성된 기준 핑거프린트 데이터와 시점 핑거프린트 값을 대비하여, 현재 재생되고 있는 타임코드가 없는 동영상의 재생 시점을 인식한다.

이와 같은 타임코드 인식 단계(S30)는 상기 도 4에 도시한 바와 같이, 타임코드가 없는 동영상이 알 수 없는 시점(S')에서 재생이 시작된 경우, 상기 시점 핑거프린트 값 추출 단계(S20)에서 추출된 상기 재생 시점(S')에서 시점 핑거프린트 값을 상기 기준 핑거프린트 데이터에 대비하여 상기 재생 시점의 타임코드를 인식한다.

상기 시점 핑거프린트 값과 기준 핑거프린트 데이터를 대비하여 재생 시점의 타임코드를 인식하는 방법은 타임코드를 갖는 동영상을 기초로 생성된 기준 핑거프린트 데이터를 기반으로 하여 다양한 방법으로 구현이 가능하며 어느 특정된 방법에 국한되지 않는다.

예를 들면, 상기 타임코드 인식 단계(S30)는 상기 시점 핑거프린트 값을 상기 기준 핑거프린트 데이터와 대비하여 시점 핑거프린트 값에 해당하는 기준 핑거프린트 데이터의 타임코드를 상기 재생 시점의 타임코드로 인식할 수 있다.

즉, 기준 핑거프린트 데이터에서 찾은 시점 핑거프린트 값과 동일한 값이 위치하는 지점의 타임코드 상의 타임코드를 재생 시점의 타임코드로 인식한다.

또는, 상기 기준 핑거프린트 데이터 생성 단계(S10) 이후에, 상기 기준 핑거프린트 데이터와 상기 자막 데이터를 매칭시키는 자막 데이터 매칭 단계를 더 포함하고, 상기 타임코드 인식 단계(S20)에서 상기 시점 핑거프린트 값을 상기 기준 핑거프린트 데이터와 대비하여 시점 핑거프린트 값에 해당하는 기준 핑거프린트 데이터의 자막 데이터 매칭 값을 찾고, 상기 매칭 값에 해당하는 자막 데이터의 타임코드를 상기 재생 시점의 타임코드로 인식한다.

즉, 기준 핑거프린트 데이터와 타임코드를 갖는 자막 데이터를 매칭시킴으로써, 시점 핑거프린트 값과 동일한 값이 위치하는 지점의 매칭값에 해당하는 자막 데이터의 타임코드를 재생 시점의 타임코드로 인식한다.

상기 자막 출력 단계(S40)는 상기 도 2 내지 도 4에 도시한 바와 같이, 상기 타임코드 인식 단계(S30)에서 인식된 타임코드에 해당하는 상기 자막 데이터의 자막을 출력한다.

이상에서는 본 발명을 바람직한 실시 예에 의거하여 설명하였으나, 본 발명의 기술적 사상은 이에 한정되지 아니하고 청구항에 기재된 범위 내에서 변형이나 변경 실시가 가능함은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명백한 것이며, 그러한 변형이나 변경은 첨부된 특허청구범위에 속한다 할 것이다.

S : 전체 동영상의 시작 시점
E : 전체 동영상의 종료 시점
S' : 재생 시점

Claims (6)

1. 자막 데이터의 출력을 위해 동영상의 재생 시점을 인식하는 방법에 있어서,
   타임코드를 갖는 동영상 전체를 핑거프린트하여 생성된 기준 핑거프린트 데이터를 생성하는 기준 핑거프린트 데이터 생성 단계;와
   이후, 상기 동영상이 타임코드를 상실하고 소정의 재생 시점에서 재생되면,
   타임코드를 상실한 동영상의 재생 시점에서 핑거프린트를 하여 시점 핑거프린트 값을 추출하는 시점 핑거프린트 값 추출 단계;
   상기 시점 핑거프린트 값을 상기 기준 핑거프린트 데이터와 대비하여 시점 핑거프린트 값에 해당하는 기준 핑거프린트 데이터의 타임코드를 상기 재생 시점의 타임코드로 인식하는 타임코드 인식 단계; 및
   상기 타임코드 인식 단계에서 인식된 타임코드에 해당하는 상기 자막 데이터의 자막을 출력하는 자막 출력단계;를 포함하는 것을 특징으로 하는 타임코드를 상실한 동영상의 자막 재생 시점 인식 방법.
2. 제1항에 있어서, 상기 기준 핑거프린트 데이터는
   상기 타임코드를 갖는 동영상의 비디오 신호를 기반으로 핑거프린트하여 생성된 것이고, 상기 시점 핑거프린트 값 역시 비디오 신호를 기반으로 핑거프린트하여 추출된 것;을 특징으로 하는 타임코드를 상실한 동영상의 자막 재생 시점 인식 방법.
3. 제1항에 있어서, 상기 기준 핑거프린트 데이터는
   상기 타임코드를 갖는 동영상의 오디오 신호를 기반으로 핑거프린트하여 생성된 것이고, 상기 시점 핑거프린트 값 역시 오디오 신호를 기반으로 핑거프린트하여 추출된 것;을 특징으로 하는 타임코드를 상실한 동영상의 자막 재생 시점 인식 방법.
4. 제1항에 있어서, 상기 기준 핑거프린트 데이터는
   상기 타임코드를 갖는 동영상의 비디오 신호와 오디오 신호를 기반으로 핑거프린트하여 생성된 것이고, 상기 시점 핑거프린트 값 역시 비디오 신호와 오디오 신호를 기반으로 핑거프린트하여 추출된 것;을 특징으로 하는 타임코드를 상실한 동영상의 자막 재생 시점 인식 방법.
5. 삭제
6. 제1항에 있어서,
   상기 기준 핑거프린트 데이터 생성 단계 이후에,
   상기 기준 핑거프린트 데이터와 상기 자막 데이터를 매칭시키는 자막 데이터 매칭 단계;를 더 포함하고,
   상기 타임코드 인식 단계에서 상기 시점 핑거프린트 값을 상기 기준 핑거프린트 데이터와 대비하여 시점 핑거프린트 값에 해당하는 기준 핑거프린트 데이터의 자막 데이터 매칭 값을 찾고, 상기 매칭 값에 해당하는 자막 데이터의 타임코드를 상기 재생 시점의 타임코드로 인식하는 것;을 특징으로 하는 타임코드를 상실한 동영상의 자막 재생 시점 인식 방법.

Images