KR101384740B1 - 인식 기술을 이용한 영상물의 자막 처리 시스템 및 그 방법 - Google Patents

인식 기술을 이용한 영상물의 자막 처리 시스템 및 그 방법 Download PDF

Info

Publication number
KR101384740B1
KR101384740B1 KR1020130037729A KR20130037729A KR101384740B1 KR 101384740 B1 KR101384740 B1 KR 101384740B1 KR 1020130037729 A KR1020130037729 A KR 1020130037729A KR 20130037729 A KR20130037729 A KR 20130037729A KR 101384740 B1 KR101384740 B1 KR 101384740B1
Authority
KR
South Korea
Prior art keywords
broadcast
digital fingerprint
broadcast content
digital
caption
Prior art date
Application number
KR1020130037729A
Other languages
English (en)
Inventor
이현무
구재환
Original Assignee
구재환
이현무
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구재환, 이현무 filed Critical 구재환
Priority to KR1020130037729A priority Critical patent/KR101384740B1/ko
Application granted granted Critical
Publication of KR101384740B1 publication Critical patent/KR101384740B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4886—Data services, e.g. news ticker for displaying a ticker, e.g. scrolling banner for news, stock exchange, weather data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/59—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 “인식 기술을 이용한 영상물의 자막 처리 시스템 및 그 방법”에 관한 것으로서, 방송 콘텐츠(제1 BC)에 대해 디지털 핑거 프린트(제1 D-FP)를 생성하고, 상기 디지털 핑거 프린트(제1 D-FP)와 방송 자막을 매칭하여 등록 및 저장하는 방송 자막 서버, 및 방송 콘텐츠(제2 BC)에 대해 디지털 핑거 프린트(제2 D-FP)를 생성하고, 상기 방송 콘텐츠(제2 BC)를 재생 시 상기 디지털 핑거 프린트(제2 D-FP)에 대응하는 상기 디지털 핑거 프린트(제1 D-FP)에 기반하여 방송 자막을 재생하는 클라이언트를 포함하여 구성된다.
이러한 기술적 특징을 통해 본 발명은 방송 콘텐츠를 재생 시 방송 편성정보 및 타임코드 정보를 이용하지 않고도 정확한 시점에 방송 자막을 제공할 수 있는 효과가 있다.

Description

인식 기술을 이용한 영상물의 자막 처리 시스템 및 그 방법{SUBTITLE PROCESSING SYSTEM AND METHOD USING IMAGE RECOGNITION TECHNOLOGY}
본 발명은“인식 기술을 이용한 영상물의 자막 처리 시스템 및 그 방법”에 관한 것으로서, 지상파 및 케이블 등의 방송 채널을 OTT(Over The Top)를 통해 재전송 시 인식 기술을 이용하여 방송 콘텐츠와 매칭되는 방송 자막을 제공하는 인식 기술을 이용한 영상물의 자막 처리 시스템 및 그 방법에 관한 것에 관한 것이다.
“OTT(Over The Top)”서비스란 도 1에 도시된 바와 같이 기존의 방송통신사업자(지상파, 위성방송, 케이블방송 등)가 아닌 제3 사업자들이 범용 인터넷(Public Internet)를 통해 방송 콘텐츠를 제공하는 서비스를 지칭한다.
지상파, 위성방송, 케이블방송 등 기존의 방송 서비스가 방송 전용망을 통해 콘텐츠를 전송하는 것과 달리, OTT 서비스는 누구나 접근할 수 있는 범용 인터넷을 통해 방송 콘텐츠를 제공한다.
OTT 서비스는 별도의 셋톱박스를 이용하지 않으므로 사용자는 위성방송이나 케이블 방송에 가입하지 않고도 인터넷에 연결된 각종 디바이스(예: 태블릿 pc, 스마트 폰, 게임기, pc. 스마트 tv)를 통해 지상파 및 케이블 채널을 시청할 수 있다. 또한, 기존의 방송 채널은 OTT 서비스를 통해 동시방송(Simulcast)되므로 사용자는 스마트 폰의 옙을 통해서도 지상파의 특정 채널을 동시에 시청할 수 있다.
OTT를 통해 제공되는 방송은 크게 VOD(Video On Demend) 방송 방식과 실시간 방송(Real-time broadcast) 방식으로 나뉜다.
VOD 방송 방식은 사용자가 특정 채널을 선택하면 영화를 빌려 보듯이 처음부터 끝까지 시청할 수 있는 주문형 비디오 방식이고, 실시간 방송은 지상파 채널 및 케이블 채널 등을 통해 송출되는 방송 서비스를 의미한다.
이러한 OTT 방송 방식의 장점은 방송 서비스 영역이 제한되지 않으므로 한 국가에 예속될 필요가 전혀 없다는 점이다. 따라서, 국가간에 원활한 의사 소통을 위해서는 다원어 자막 서비스가 필수적이다.
OTT를 통해 제공되는 자막 서비스를 살펴보면, VOD 방송 방식은 각 클라이언트 디바이스(예: 스마트 폰)에서 요구하는 포맷의 자막 파일과 사용자가 주문한 비디오 파일을 클라이언트 디바이스에 동시에 제공하고, 미디어 플레이 부에서 상기 자막 파일과 비디오 파일의 싱크를 조정하면서 재생한다.
실시간 방송은 방송국에서 수신되는 방송 채널을 클라이언트 단말기에 실시간으로 제공한다. 이를 위하여, 방송 서버는 상기 방송 채널의 콘텐츠를 다시 엔코딩하여 네트워크의 대역폭(Bandwidth)에 따라 다양한 화질로 재전송한다. 예를 들어, 3G 망에서는 실제 화질보다 낮게, Wifi 망에서는 3G 망보다는 고화질로 상기 방송국에서 수신되는 방송 콘텐츠를 다시 엔코딩하여 재전송한다.
그러나, 이과정에서 방송 자막을 위하여 반드시 필요한 방송 편성정보와 타임코드 정보가 모두 손실된다. 즉, 상기 엔코딩 과정에서 현재 방송 중인 프로그램이 무엇이고, 그 방송 프로그램이 재생되고 있는 시점이 어디인지를 알려주는 데이터가 모두 손실된다. 따라서, OTT 서비스를 통해 방송과 자막을 동시에 제공하는 것은 매우 곤란하다.
본 발명은“인식 기술을 이용한 영상물의 자막 처리 시스템 및 그 방법”에 관한 것에 관한 것으로서, 인식 기술을 이용한 영상물의 자막 처리 시스템은 방송 콘텐츠(제1 BC)에 대해 디지털 핑거 프린트(제1 D-FP)를 생성하고, 상기 디지털 핑거 프린트(제1 D-FP)와 방송 자막을 매칭하여 등록 및 저장하는 방송 자막 서버, 및 방송 콘텐츠(제2 BC)에 대해 디지털 핑거 프린트(제2 D-FP)를 생성하고, 상기 방송 콘텐츠(제2 BC)를 재생 시 상기 디지털 핑거 프린트(제2 D-FP)에 대응하는 상기 디지털 핑거 프린트(제1 D-FP)에 기반하여 상기 방송 자막을 재생하는 클라이언트를 포함하는 것을 특징으로 한다.
상기 방송 콘텐츠(제1 BC) 및 방송 자막(Subtitle)은 고객 사로부터 입력되고, 방송 콘텐츠(제2 BC)는 호스팅 서버로부터 입력되되, 상기 디지털 핑거 프린트(제1 D-FP)는 상기 방송 콘텐츠(제1 BC)로부터 추출되고, 상기 디지털 핑거 프린트(제2 D-FP)는 상기 방송 콘텐츠(제2 BC)로부터 추출되는 것을 특징으로 한다.
상기 방송 콘텐츠(제2 BC)는 스트림 방식(Stream)으로 입력되는 가변적인 방송 콘텐츠인 것을 특징으로 하는 한다.
본 발명의 일 양태에 따른 인식 기술을 이용한 영상물의 방송 자막 서버에 있어서 방송 콘텐츠(제1 BC)를 분석하여 디지털 핑거 프린트(제1 D-FP)를 생성 및 등록하고, 디지털 핑거 프린트(제2 D-FP)에 대응하는 상기 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 인덱스에서 검색하여 클라이언트에 제공하는 것을 특징으로 한다.
상기 방송 자막 서버는 상기 디지털 핑거 프린트(제1 D-FP)로부터 상기 방송 콘텐츠(제2 BC)에 대한 방송 편성정보 및 재생 시점 정보를 추출하는 것을 특징으로 한다.
상기 방송 자막 서버는 상기 디지털 핑거 프린트(제1 D-FP)에 대응되는 상기 방송 콘텐츠(제1 BC)의 타임 코드에 기반하여 상기 방송 콘텐츠(제2 BC)에 대한 재생 시점 정보를 추출하는 것을 특징으로 한다.
상기 방송 자막 서버는 다수의 디지털 핑거 프린트(제1 D-FP)로부터 상기 디지털 핑거 프린트(제2 D-FP)에 대응되는 상기 디지털 핑거 프린트(제1 D-FP) 및 방송 자s막을 방송 콘텐츠(제1 BC)의 전체 분량으로 클라이언트에 제공하는 것을 특징으로 한다.
상기 방송 자막 서버는 상기 방송 콘텐츠(제1 BC)의 전체 분량에 대해 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 일정 구간별로 세분화하여 상기 디지털 핑거 프린트(제2 D-FP)에 대응되는 상기 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 클라이언트에 제공하는 것을 특징으로 한다.
본 발명의 일 양태에 따른 인식 기술을 이용하여 영상물의 방송 자막을 재생하는 클라이언트는 로컬 상태에서 방송 콘텐츠(제2 BC)에 대해 디지털 핑거 프린트(제2 D-FP)를 생성하고, 상기 디지털 핑거 프린트(제2 D-FP)에 대응되는 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 방송 자막 서버로부터 입력받아 상기 디지털 핑거 프린트(제2 D-FP)와 상기 디지털 핑거 프린트(제1 D-FP)를 비교하여 상기 방송 콘텐츠(제2 BC)에 대한 방송 편성정보 및 재생 시점 정보를 추출하는 로컬 매칭 부, 및 상기 방송 콘텐츠(제2 BC)를 재생 시 상기 재생 시점 정보에 대응하여 방송 자막을 재생하는 미디어 플레이 부를 포함하는 것을 특징으로 한다.
상기 방송 콘텐츠(제2 BC)는 스트림 방식(Stream)으로 입력되는 가변적인 방송 콘텐츠인 것을 특징으로 한다.
상기 로컬 매칭 부는 상기 디지털 핑거 프린트(제2 D-FP)에 대응되는 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 방송 콘텐츠(제1 BC)의 전체 분량으로 상기 방송 자막 서버로부터 입력받는 것을 특징으로 한다.
상기 로컬 매칭 부는 상기 디지털 핑거 프린트(제2 D-FP)와 상기 디지털 핑거 프린트(제1 D-FP)가 상이한 경우, 상기 디지털 핑거 프린트(제2 D-FP)와 대응되는 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 상기 방송 자막 서버에 재요청하는 것을 특징으로 한다.
상기 클라이언트는 컴퓨터 단말기, 모바일 운영체제가 탑재되어 구동되는 모바일 단말기, 상기 컴퓨터 단말기 및 상기 모바일 단말기에 설치되어 상기 방송 콘텐츠 및 방송 자막을 재생하기 위하여 제작된 전용 어플리케이션 중 어느 하나인 것을 특징으로 한다.
본 발명의 일 양태에 따른 인식 기술을 이용한 영상물의 자막 처리 방법은 방송 콘텐츠(제1 BC)에 대해 디지털 핑거 프린트(제1 D-FP)를 생성하고, 상기 디지털 핑거 프린트(제1 D-FP)와 방송 자막을 매칭하여 등록 및 저장하는 단계, 및 방송 콘텐츠(제2 BC)에 대해 디지털 핑거 프린트(제2 D-FP)를 생성하고, 상기 방송 콘텐츠(제2 BC)를 재생 시 상기 디지털 핑거 프린트(제2 D-FP)에 대응되는 상기 디지털 핑거 프린트(제1 D-FP)에 기반하여 방송 자막을 재생하는 단계를 포함하는 것을 특징으로 한다.
일 양태에 따른 인식 기술을 이용한 영상물의 자막 처리 방법은 상기 디지털 핑거 프린트(제1 D-FP)로부터 상기 방송 콘텐츠(제2 BC)에 대한 방송 편성정보 및 재생 시점 정보를 추출하는 단계, 및 상기 방송 콘텐츠(제2 BC)를 재생 시 상기 방송 편성정보 및 재생 시점 정보에 대응하여 상기 디지털 핑거 프린트(제1 D-FP)와 매칭된 방송 자막을 재생하는 단계를 포함하는 것을 특징으로 한다.
일 양태에 따른 인식 기술을 이용한 영상물의 자막 처리 방법은 상기 디지털 핑거 프린트(제2 D-FP)에 대응되는 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 방송 콘텐츠(제1 BC)의 전체 분량으로 입력받는 것을 특징으로 한다.
일 양태에 따른 인식 기술을 이용한 영상물의 자막 처리 방법은 상기 방송 콘텐츠(제1 BC)의 전체 분량에 대해 일정 구간별로 세분화하여 상기 디지털 핑거 프린트(제1 D-FP) 및 상기 방송 자막을 입력받는 것을 특징으로 한다.
일 양태에 따른 인식 기술을 이용한 영상물의 자막 처리 방법은 로컬 상태에서 상기 디지털 핑거 프린트(제2 D-FP)와 상기 디지털 핑거 프린트(제1 D-FP)를 비교하여 상기 방송 콘텐츠(제2 BC)에 대한 방송 편성정보 및 재생 시점 정보를 추출하는 단계, 및 상기 방송 콘텐츠(제2 BC)를 재생 시 상기 방송 편성정보 및 재생 시점 정보에 대응하여 방송 자막을 재생하는 단계를 포함하는 것을 특징으로 한다.
일 양태에 따른 인식 기술을 이용한 영상물의 자막 처리 방법은 상기 디지털 핑거 프린트(제2 D-FP)와 상기 디지털 핑거 프린트(제1 D-FP)가 상이한 경우, 상기 디지털 핑거 프린트(제2 D-FP)와 대응되는 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 재요청하여 입력받는 것을 특징으로 한다.
일 양태에 따른 인식 기술을 이용한 영상물의 자막 처리 방법은 상기 디지털 핑거 프린트(제1 D-FP)에 대응되는 상기 방송 콘텐츠(제1 BC)의 타임 코드에 기반하여 상기 방송 콘텐츠(제2 BC)에 대한 재생 시점 정보를 추출하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 본 발명에 따른“인식 기술을 이용한 영상물의 자막 처리 방법”은 프로그램을 기록한 컴퓨터 판독 가능 기록매체에 구현되어 동작한다.
상기의 과제 해결 수단을 통해 본 발명에 따른 인식 기술을 이용한 영상물의 자막 처리 시스템 및 그 방법은, 방송 콘텐츠를 재생 시 중간에 광고가 삽입되거나, 또는 사용자가 채널을 변경하여 방송 콘텐츠와 무관한 비디오 및 오디오가 재생되더라도 안정적으로 방송 자막을 재생할 수 있는 효과가 있다.
또한, 방송 콘텐츠를 재생 시 방송 편성정보 및 타임코드 정보를 이용하지 않고도 정확한 시점에 방송 자막을 제공하는 효과가 있다.
또한, 고객 사, 시청자, 전문 번역 업체가 제공한 방송 자막을 방송 콘텐츠의 재생 시점에 정확히 매칭하여 재생하는 효과가 있다.
또한, 호스팅 서버로부터 송출되는 방송 콘텐츠를 재생 시 클라이언트와 방송 자막 서버 간의 네트워크 부하를 최소화하여 안정적으로 클라이언트에서 방송 콘텐츠 및 방송 자막을 재생하는 효과가 있다.
도 1은 종래의 OTT(Over The Top) 서비스를 개략적으로 도시한 블록도이고,
도 2는 본 발명의 일 양태에 따른 인식 기술을 이용한 영상물의 자막 처리 시스템을 도시한 블록도이고,
도 3은 본 발명의 일 양태에 따른 인식 기술을 이용한 영상물의 자막 처리 방법을 도시한 흐름도이다.
이하에서는 첨부한 도면을 참고하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 실시예를 용이하게 구현할 수 있도록 상세히 설명한다. 그러나, 본 발명의 기술적 실시예는 당업자의 기술적 수준에 따라 다양한 양태로 구현될 수 있으므로, 본 명세서에 기재되어 있는 실시예에 한정되지 않는다.
한편, 본 발명의 명확한 설명을 위해서 설명과 관계없는 부분은 도면에서 생략하였으며, 일반에게 공지되어 당업자에게 자명한 부분에 대한 상세한 설명은 생략하였다.
명세서 및 특허청구 범위에서, 어떤 부분이 어떤 구성 요소를“포함”한다고 명시된 경우, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 더 포함할 수 있는 것으로 해석된다.
명세서에 언급된 기술적 용어는 본 발명이 속하는 기술 분야에서 통상적으로 사용되는 의미 중 광의적으로 해석된다. 그러나, 통상의 기술적 용어일지라도, 본 명세서에 별도로 의미가 부여된 경우는 그러하지 아니하다.
[명세서에 사용된 용어 정의]
이하,“OTT(Over The Top)”서비스란 기존의 방송통신사업자(지상파, 위성방송, 케이블방송 등)가 아닌 제3 사업자들이 범용 인터넷(Public Internet)를 통해 방송 콘텐츠를 제공하는 서비스를 지칭한다. 본 명세서에서는 바람직한 실시예로 실시간 방송(Real Time) 방식과 상기 실시간 방송 채널에서 송출되는 방송 콘텐츠를 녹화한 후 사용자의 시청 요청에 따라 선택적으로 제공하는 방식을 채택하였지만 OTT를 통해 서비스되는 방송 방식 중 본 발명의 방송 자막 기술이 적용될 수 있는 방송 방식이라면 생략된 방송 방식임에도 불구하고 본 발명의 기술적 사상의 범주에 포함된다.
이하,“디지털 핑거 프린트(Digital Finger Print)”란 방송 콘텐츠를 분석하여 특정 지점에 대한 속성을 조합하여 바이너리 파일로 생성하는 기술을 말한다.
이하,“클라이언트”란 Windows 및 Linux와 같은 운영체제가 탑재되어 구동되는 데스크톱 컴퓨터일 수 있고, 모바일 운영체제(예: IOS, Linux, Unix, Android)가 탑재되어 구동되는 모바일 스마트 단말기일 수 있다. 경우에 따라서는 데스크톱 및 모바일 단말기에 설치되어 동작하는 소프트웨어를 지칭할 수 있다.
본 발명은 지상파 및 케이블 등의 방송 채널을 OTT(Over The Top)를 통해 방송 서비스 시 방송 콘텐츠와 매칭되는 방송 자막을 제공하는 기술에 관한 것이다.
방송국에서 수신되는 실제 방송 콘텐츠(또는 채널)를 OTT를 이용하여 클라이언트로 송출 시 고객 사는 상기 방송 콘텐츠(또는 채널)를 다시 엔코딩(Encoding)하여 네트워크의 대역폭(Bandwidth)에 맞춰 재전송하고, 또달리 OTT 만을 위하여 방송 콘텐츠를 조합하여 클라이언트로 전송한다. 이과정에서 방송 자막을 위하여 필수적으로 요구되는 방송 편성정보와 타임코드 정보가 방송 콘텐츠에서 모두 삭제되므로 방송 콘텐츠의 비디오, 오디오에 대해 방송 자막을 정확히 싱크하여 제공하는 것은 기술적으로 매우 곤란하다.
본 발명은 이러한 문제점을 방송 콘텐츠를 제공하는 주체와 방송 자막을 제공하는 주체를 달리하고, 또한 방송 콘텐츠에 디지털 핑거 프린트 기술을 적용하여 방송 자막의 재생 시점을 추출함으로써 해결하였다.
이러한 기술적 특징을 구현하기 위하여 본 발명은 “방송 콘텐츠(제1 BC)에 대해 디지털 핑거 프린트(제1 D-FP)를 생성하고, 상기 디지털 핑거 프린트(제1 D-FP)와 방송 자막을 매칭하여 등록 및 저장하는 방송 자막 서버, 및 방송 콘텐츠(제2 BC)에 대해 디지털 핑거 프린트(제2 D-FP)를 생성하고, 상기 방송 콘텐츠(제2 BC)를 재생 시 상기 디지털 핑거 프린트(제2 D-FP)에 대응하는 상기 디지털 핑거 프린트(제1 D-FP)에 기반하여 상기 방송 자막을 재생하는 클라이언트”를 포함하여 구성된다.
이러한 기술적 특징을 통해 본 발명은 방송 콘텐츠를 재생 시 방송 편성정보 및 타임코드 정보를 이용하지 않고도 정확한 시점에 방송 자막을 제공할 수 있는 효과가 있다.
이하에서는 이러한 본 발명의 기술적 사상에 대해서 다양한 실시예를 참조하여 상세히 설명한다.
1. 인식 기술을 이용한 영상물의 자막 처리 시스템의 구성 및 동작 설명 (도 2 참조)
실시예 1 - 시스템
지상파 및 케이블 방송국에서 방송 콘텐츠(제1 BC)를 OTT(Over The Top)를 통해 재전송하기 전, 방송 자막 서버(200)는 고객 사(200)로부터 방송 콘텐츠(제1 BC) 및 방송 자막(Subtitle)을 입력받는다. 방송 자막 서버(200)는 상기 방송 콘텐츠(제1 BC)에 대해 디지털 핑거 프린트(제1 D-FP)를 생성하여 상기 방송 자막과 매칭하여 기등록한다. 방송 자막 서버(200)는 다수의 클라이언트(300)가 네트워크를 통해 동시 접속이 가능한 클라우드 서버일 수 있다.
방송 콘텐츠(제1 BC)는 실시간 방송 채널에서 송출되는 방송 콘텐츠인 것이 바람직하나, 상기 실시간 방송 채널에서 송출되는 방송 콘텐츠를 녹화한 후 사용자의 시청 요청에 따라 선택적으로 제공되는 방송 콘텐츠일 수 있다.
한편, 방송 콘텐츠가 고객 사의 호스팅 서버에서 클라이언트로 재전송되기 이전에 고객 사로부터 상기 방송 콘텐츠와 방송 자막을 동시에 입력 받는 것으로 설명하였으나, 상기 방송 자막은 고객 사와는 별도로 방송 콘텐츠의 시청자 및 전문 번역 업체가 제공한 방송 자막일 수 있다.
디지털 핑거 프린트(제1 D-FP)는 방송 콘텐츠(제2 BC)의 원본인 방송 콘텐츠(제1 BC)로부터 생성되는데, 본 발명은 방송 콘텐츠(제2 BC)로부터 생성된 디지털 핑거 프린트(제1 D-FP)와 방송 콘텐츠(제1 BC)로부터 생성된 디지털 핑거 프린트(제1 D-FP)를 비교하여 상기 방송 콘텐츠(제2 BC)에 대한 방송 편성 정보 및 특정 지점의 재생 시점을 추출한다. 방송 콘텐츠(제2 BC)는 스트림 방식(Stream)으로 입력되는 가변적인 방송 콘텐츠인 것이 바람직하다.
클라이언트(300)는 호스팅 서버(400)로부터 입력되는 방송 콘텐츠(제2 BC)에 대해 디지털 핑거 프린트(제2 D-FP)를 생성하고, 다수의 디지털 핑거 프린트(제2 D-FP)로부터 상기 디지털 핑거 프린트(제2 D-FP)에 대응되는 디지털 핑거 프린트(제1 D-FP)를 신속히 찾아내고, 상기 디지털 핑거 프린트(제1 D-FP)와 매칭되는 방송 자막을 방송 자막 서버(200)로부터 입력받는다.
클라이언트(300)는 방송 콘텐츠(제2 BC)에 대해 생성된 특정 지점의 디지털 핑거 프린트(제2 D-FP)와 전체 디지털 핑거 프린트(제1 D-FP)를 비교하여 방송 콘텐츠(제2 BC)의 현재 재생 시점과 매칭되는 방송자막의 재생 시점을 추출하여 방송 자막을 재생한다.
따라서, 방송 콘텐츠를 재생 시 방송 편성정보 및 타임코드 정보를 이용하지 않고도 정확한 시점에 방송 자막을 제공할 수 있는 효과가 있다.
한편, 클라이언트(300)는 디지털 핑거 프린트(제2 D-FP)에 대응되는 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 방송 콘텐츠(제1 BC)의 전체 분량으로 방송 자막 서버(200)로부터 입력받는다. 즉, 디지털 핑거 프린트(제2 D-FP)에 대응되는 방송 콘텐츠(제1 BC)의 분량이 60분인 경우, 클라이언트(300)는 60분 분량의 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 방송 자막 서버(200)로부터 입력받고, 로컬 상태에서 디지털 핑거 프린트(제2 D-FP)와 디지털 핑거 프린트(제1 D-FP)를 비교하여 방송 콘텐츠(제2 BC)에 대한 방송 편성정보 및 재생 시점 정보를 추출한다.
클라이언트(300)는 호스팅 서버(400)로부터 변경된 방송 콘텐츠(제2 BC)가 입력되지 않는 한, 로컬 상태에서 디지털 핑거 프린트(제2 D-FP)와 디지털 핑거 프린트(제1 D-FP)를 비교하여 방송 콘텐츠(제2 BC)에 대한 방송 편성정보 및 재생 시점 정보를 추출하고, 방송 콘텐츠(제2 BC)를 재생 시 상기 방송 편성정보 및 재생 시점 정보에 대응하여 방송 자막을 재생한다.
따라서, 방송 콘텐츠(제2 BC)를 재생 시 클라이언트(300)와 호스팅 서버(400) 간의 네트워크 부하를 최소화하여 안정적으로 자막을 재생할 수 있다.
한편, 호스팅 서버(400)로부터 변경된 방송 콘텐츠(제2 BC)가 입력되는 경우 클라이언트(300)는 디지털 핑거 프린트(제2 D-FP)에 대응되는 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 방송 자막 서버(200)에 재요청(5초 이내의 간격)하여 입력받는다. 디지털 핑거 프린트(제1 D-FP) 및 방송 자막은 방송 콘텐츠(제1 BC)의 전체 분량으로 방송 자막 서버(200)로부터 입력받는 것이 바람직하다.
즉, 로컬 상태에서 디지털 핑거 프린트(제2 D-FP)와 디지털 핑거 프린트(제1 D-FP)를 비교하여 방송 콘텐츠(제2 BC)에 대한 방송 편성정보 및 재생 시점 정보를 추출하고, 상기 재생 시점 정보에 대응하여 방송 콘텐츠(제2 BC) 및 방송 자막을 재생하는 시점에, 사용자가 채널을 변경하거나, 혹은 방송 중간에 광고가 삽입되어 상기 방송 콘텐츠(제2 BC)에서 추출된 디지털 핑거 프린트(제2 D-FP)와 디지털 핑거 프린트(제1 D-FP)가 상이한 경우, 클라이언트(300)는 방송 콘텐츠(제2 BC)에 대해 생성된 디지털 핑거 프린트(제2 D-FP)와 대응되는 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 방송 자막 서버(200)에 재요청하여 입력받고, 로컬 상태에서 디지털 핑거 프린트(제2 D-FP)와 디지털 핑거 프린트(제1 D-FP)를 비교하여 방송 콘텐츠(제2 BC)에 대한 방송 편성정보 및 재생 시점 정보를 추출하고, 방송 콘텐츠(제2 BC)를 재생 시 상기 재생 시점 정보에 대응하여 방송 자막을 재생한다.
따라서, 방송 콘텐츠(제2 BC)를 재생 시 중간에 광고가 삽입되거나, 또는 사용자가 채널을 변경하여 방송 콘텐츠와 무관한 비디오 및 오디오가 입력되더라도 재생 시간의 오차 없이 안정적으로 재생할 수 있다.
이상에서는 본 발명의 바람직한 일 양태로서, 클라이언트(300)는 디지털 핑거 프린트(제2 D-FP)에 대응되는 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 방송 콘텐츠(제1 BC)의 전체 분량으로 방송 자막 서버(200)으로부터 입력받는 것으로 설명하였으나, 다른 일 양태로서 클라이언트(300)는 방송 콘텐츠(제1 BC)의 전체 분량에 대해 일정 구간별로 세분화하여 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 방송 자막 서버(200)으로부터 입력받을 수 있다.
한편, 본 발명에서 언급한 방송 콘텐츠는 지상파, 케이블 등에서 송출되는 드라마, 영화 등의 정규 편성된 방송 콘텐츠 뿐만아니라 광고를 포함한다. 따라서, 본 발명은 정규 편성된 방송 콘텐츠 뿐만아니라 방송 중간에 삽입된 광고에 대해서도 방송 자막을 정확히 제공하는 효과가 있다.
실시예 2 - 방송 자막 서버
지상파 및 케이블 방송국에서 송출되는 방송 콘텐츠(제1 BC)를 OTT(Over The Top)를 통해 재전송하기 전, 고객 사(100)는 방송 자막 서버(200)에 요청하여 상기 방송 콘텐츠(제1 BC) 및 자막(Subtitle)을 기등록한다. 방송 자막 서버(200)는 다수의 클라이언트(300)가 네트워크를 통해 동시 접속이 가능한 클라우드 서버일 수 있다.
한편, 방송 콘텐츠가 고객 사의 호스팅 서버에서 클라이언트로 재전송되기 이전에 고객 사로부터 상기 방송 콘텐츠와 방송 자막을 동시에 입력 받는 것으로 설명하였으나, 상기 방송 자막은 고객 사와는 별도로 방송 콘텐츠의 시청자 및 전문 번역 업체가 제공한 방송 자막일 수 있다.
고객 사(100)로부터 기등록 요청이 입력되면 매칭 부(220)는 상기 고객 사(100)로부터 입력된 방송 콘텐츠(제1 BC)를 분석하여 디지털 핑거 프린트(제1 D-FP)를 생성 및 등록한다.
매칭 부(220)는 클라이언트(300)의 요청에 상응하여 디지털 핑거 프린트(제2 D-FP)에 대응하는 디지털 핑거 프린트(제1 D-FP) 및 자막을 인덱스 부(210)에서 검색하여 전송한다. 매칭 부(220)는 다수의 디지털 핑거 프린트(제1 D-FP)로부터 상기 디지털 핑거 프린트(제2 D-FP)에 대응되는 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 방송 콘텐츠(제1 BC)의 전체 분량으로 제공한다. 일 양태로서, 디지털 핑거 프린트(제2 D-FP)에 대응되는 방송 콘텐츠(제1 BC)의 분량이 60분인 경우 매칭 부(220)는 60분 분량의 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 클라이언트(300)에 제공한다.
이상에서는 본 발명의 바람직한 일 양태로서, 매칭 부(220)가 다수의 디지털 핑거 프린트(제1 D-FP)로부터 상기 디지털 핑거 프린트(제2 D-FP)에 대응되는 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 방송 콘텐츠(제1 BC)의 전체 분량으로 클라이언트(300)에 제공하는 것으로 설명하였으나, 다른 일 양태로서 매칭 부(220)는 방송 콘텐츠(제1 BC)의 전체 분량에 대해 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 일정 구간별로 세분화하여 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 클라이언트(300)에 제공할 수 있다.
실시예 3 - 클라이언트
앞서 설명한 바와 같이, 방송국에서 수신되는 실제 방송 콘텐츠(또는 채널)가 OTT를 통해 클라이언트(300)로 송출 시, 호스팅 서버(400)에서 방송 콘텐츠(또는 채널)를 엔코딩(Encoding)하는 과정에서 방송 자막을 위하여 필수적으로 요구되는 방송 편성정보와 타임코드 정보가 방송 콘텐츠(제2 BC)에서 모두 삭제된다. 방송 콘텐츠(제2 BC)는 스트림 방식(Stream)으로 입력되는 가변적인 방송 콘텐츠인 것이 바람직하다.
방송 콘텐츠(제1 BC)는 실시간 방송 채널에서 송출되는 방송 콘텐츠인 것이 바람직하나, 상기 실시간 방송 채널에서 송출되는 방송 콘텐츠를 녹화한 후 사용자의 시청 요청에 따라 선택적으로 제공되는 방송 콘텐츠일 수 있다.
로컬 매칭 부(310)는 호스팅 서버(400)로부터 입력되는 방송 콘텐츠(제2 BC)의 방송 편성정보 및 재생 시점 정보를 추출하는 비교 대상으로서 방송 자막 서버(200)에서 생성된 디지털 핑거 프린트(제1 D-FP)를 이용한다.
로컬 매칭 부(310)는 호스팅 서버(400)로부터 입력되는 방송 콘텐츠(제2 BC)에 대해 디지털 핑거 프린트(제2 D-FP)를 생성하고, 상기 디지털 핑거 프린트(제2 D-FP)에 대응되는 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 방송 자막 서버(200)로부터 입력받는다.
로컬 매칭 부(310)는 디지털 핑거 프린트(제2 D-FP)와 디지털 핑거 프린트(제1 D-FP)를 비교하여 방송 콘텐츠(제2 BC)에 대한 방송 편성정보 및 재생 시점 정보를 추출한다. 미디어 플레이 부(320)는 방송 콘텐츠(제2 BC)를 재생 시 상기 재생 시점 정보에 대응하여 방송 자막을 재생한다.
따라서, 방송 콘텐츠를 재생 시 방송 편성정보 및 타임코드 정보를 이용하지 않고도 정확한 시점에 방송 자막을 제공할 수 있는 효과가 있다.
한편, 로컬 매칭 부(310)는 디지털 핑거 프린트(제2 D-FP)에 대응되는 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 방송 콘텐츠(제1 BC)의 전체 분량으로 방송 자막 서버(200)로부터 입력받는다. 즉, 디지털 핑거 프린트(제2 D-FP)에 대응되는 방송 콘텐츠(제1 BC)의 분량이 60분인 경우, 로컬 매칭 부(310)는 60분 분량의 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 방송 자막 서버(200)로부터 입력받고, 로컬 상태에서 디지털 핑거 프린트(제2 D-FP)와 디지털 핑거 프린트(제1 D-FP)를 비교하여 방송 콘텐츠(제2 BC)에 대한 방송 편성정보 및 재생 시점 정보를 추출한다.
즉, 로컬 매칭 부(310)는 호스팅 서버(400)로부터 변경된 방송 콘텐츠(제2 BC)가 입력되지 않는 한, 로컬 상태에서 디지털 핑거 프린트(제2 D-FP)와 디지털 핑거 프린트(제1 D-FP)를 비교하여 방송 콘텐츠(제2 BC)에 대한 방송 편성정보 및 재생 시점 정보를 추출한다.
따라서, 미디어 플레이 부(320)는 방송 콘텐츠(제2 BC)를 재생 시 상기 재생 시점 정보에 대응하여 안정적으로 방송 자막을 재생할 수 있다.
이상에서는 디지털 핑거 프린트(제2 D-FP)와 디지털 핑거 프린트(제1 D-FP)를 비교하여 방송 콘텐츠(제2 BC)에 대한 방송 편성정보 및 재생 시점 정보를 추출하는 과정이 로컬 매칭 부(310)에서 동작하는 것으로 설명하였으나 전용 엔진이 클라이언트(300)에 탑재되어 자체적으로 동작 및 구동될 수 있다.
한편, 호스팅 서버(400)로부터 변경된 방송 콘텐츠(제2 BC)가 입력되는 경우 로컬 매칭 부(310)는 디지털 핑거 프린트(제2 D-FP)에 대응되는 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 방송 자막 서버(200)에 재요청(5초 이내의 간격)하여 입력받는다. 디지털 핑거 프린트(제1 D-FP) 및 방송 자막은 방송 콘텐츠(제1 BC)의 전체 분량으로 방송 자막 서버(200)로부터 입력받는 것이 바람직하다.
즉, 로컬 매칭 부(310)가 로컬 상태에서 디지털 핑거 프린트(제2 D-FP)와 디지털 핑거 프린트(제1 D-FP)를 비교하여 방송 콘텐츠(제2 BC)에 대한 방송 편성정보 및 재생 시점 정보를 추출하는 시점에, 사용자가 채널을 변경하거나, 혹은 방송 중간에 광고가 삽입되어 상기 방송 콘텐츠(제2 BC)에서 추출된 디지털 핑거 프린트(제2 D-FP)와 디지털 핑거 프린트(제1 D-FP)가 상이한 경우, 로컬 매칭 부(310)는 방송 콘텐츠(제2 BC)에 대해 생성된 디지털 핑거 프린트(제2 D-FP)와 대응되는 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 방송 자막 서버(200)에 재요청하여 입력받고, 로컬 상태에서 디지털 핑거 프린트(제2 D-FP)와 디지털 핑거 프린트(제1 D-FP)를 비교하여 방송 콘텐츠(제2 BC)에 대한 방송 편성정보 및 재생 시점 정보를 추출한다.
따라서, 방송 콘텐츠(제2 BC)를 재생 시 중간에 광고가 삽입되거나, 또는 사용자가 채널을 변경하여 방송 콘텐츠(제2 BC)와 무관한 비디오 및 오디오가 입력되더라도 미디어 플레이 부(320)는 재생 시간의 오차 없이 안정적으로 재생할 수 있다.
이상에서는 본 발명의 바람직한 일 양태로서, 로컬 매칭 부(310)는 디지털 핑거 프린트(제2 D-FP)에 대응되는 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 방송 콘텐츠(제1 BC)의 전체 분량으로 방송 자막 서버(200)으로부터 입력받는 것으로 설명하였으나, 다른 일 양태로서 로컬 매칭 부(310)는 방송 콘텐츠(제1 BC)의 전체 분량에 대해 일정 구간별로 세분화하여 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 방송 자막 서버(200)으로부터 입력받을 수 있다.
본 발명에서 언급한 방송 콘텐츠는 지상파, 케이블 등에서 송출되는 드라마, 영화 등의 정규 편성된 방송 콘텐츠 뿐만아니라 광고를 포함한다. 따라서, 본 발명은 정규 편성된 방송 콘텐츠 뿐만아니라 방송 중간에 삽입된 광고에 대해서도 방송 자막을 정확히 제공하는 효과가 있다.
이상에서는 방송 자막 서비스 방법을 통해 동작하는 방송 자막 서버, 클라이언트의 동작에 대해 설명하였으며, 본 발명의 주요 기술적 사상을 설명하는데 불필요한 요소는 생략하였다. 예를 들어, 클라이언트(300)는 호스팅 서버(400), 방송 자막 서버(200)와 API를 통해 접속될 수 있다.
또한, 클라이언트(300)의 로컬 매칭 부(310) 및 미디어 플레이 부(320)는 API를 통해 서로 접속되어 디지털 핑거 프린트 및 자막을 처리할 수 있다. 따라서, 본 발명의 명세서에 구체적으로 설명되지 않았지만 본 발명의 기술적 사상을 구현함에 있어서 당업자에게 당연히 요구되는 기술적 요소들 또한 본 발명의 기술적 사상에 포함되는 것으로 보아야 한다.
2. 인식 기술을 이용한 영상물의 자막 처리 방법 (도 3 참조)
지상파 및 케이블 방송국에서 방송 콘텐츠(제1 BC)를 OTT(Over The Top)를 통해 재전송하기 전, 고객 사(200)로부터 방송 콘텐츠(제1 BC) 및 방송 자막(Subtitle)을 입력받고(S301), 상기 방송 콘텐츠(제1 BC)에 대해 디지털 핑거 프린트(제1 D-FP)를 생성하여 상기 방송 자막과 매칭하여 기등록한다(S302).
앞서 설명한 바와 같이, 방송국에서 수신되는 실제 방송 콘텐츠(또는 채널)가 OTT를 통해 송출 시, 방송 콘텐츠(또는 채널)를 엔코딩(Encoding)하는 과정에서 방송 자막을 위하여 필수적으로 요구되는 방송 편성정보 및 재생 시점 정보가 방송 콘텐츠(제2 BC)에서 모두 삭제된다.
본 발명은 방송 콘텐츠(제2 BC)의 방송 편성정보 및 재생 시점 정보를 추출하는 비교 대상으로서 디지털 핑거 프린트(제1 D-FP)를 이용한다. 방송 콘텐츠(제2 BC)는 스트림 방식(Stream)으로 입력되는 가변적인 방송 콘텐츠인 것이 바람직하다.
방송 콘텐츠(제2 BC)에 대해 디지털 핑거 프린트(제2 D-FP)를 생성하고(S304), 상기 디지털 핑거 프린트(제2 D-FP)에 대응되는 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 입력받는다(S306).
본 발명은 디지털 핑거 프린트(제2 D-FP)와 디지털 핑거 프린트(제1 D-FP)를 비교하여 방송 콘텐츠(제2 BC)에 대한 방송 편성정보 및 재생 시점 정보를 추출하고(S307), 방송 콘텐츠(제2 BC)를 재생 시 상기 재생 시점 정보에 대응하여 방송 자막을 재생한다(S310).
따라서, 방송 콘텐츠를 재생 시 방송 편성정보 및 재생 시점 정보를 이용하지 않고도 정확한 시점에 방송 자막을 제공할 수 있는 효과가 있다.
한편, 본 발명은 디지털 핑거 프린트(제2 D-FP)에 대응되는 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 방송 콘텐츠(제1 BC)의 전체 분량으로 입력받는다. 즉, 디지털 핑거 프린트(제2 D-FP)에 대응되는 방송 콘텐츠(제1 BC)의 분량이 60분인 경우, 60분 분량의 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 입력받고, 디지털 핑거 프린트(제2 D-FP)와 디지털 핑거 프린트(제1 D-FP)를 비교하여 방송 콘텐츠(제2 BC)에 대한 방송 편성정보 및 재생 시점 정보를 추출한다.
즉, 본 발명은 변경된 방송 콘텐츠(제2 BC)가 입력되지 않는 한, 로컬 상태에서 디지털 핑거 프린트(제2 D-FP)와 디지털 핑거 프린트(제1 D-FP)를 비교하여 방송 콘텐츠(제2 BC)에 대한 방송 편성정보 및 재생 시점 정보를 추출하고, 방송 콘텐츠(제2 BC)를 재생 시 상기 재생 시점 정보에 대응하여 방송 자막을 재생한다.
한편, 변경된 방송 콘텐츠(제2 BC)가 입력되는 경우(S309), 디지털 핑거 프린트(제2 D-FP)에 대응되는 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 재요청(5초 이내의 간격)하여 입력받는다(S308). 디지털 핑거 프린트(제1 D-FP) 및 방송 자막은 방송 콘텐츠(제1 BC)의 전체 분량으로 입력받는 것이 바람직하다.
즉, 디지털 핑거 프린트(제2 D-FP)와 디지털 핑거 프린트(제1 D-FP)를 비교하여 방송 콘텐츠(제2 BC)에 대한 방송 편성정보 및 재생 시점 정보를 추출하고, 상기 재생 시점 정보에 대응하여 방송 콘텐츠(제2 BC) 및 방송 자막을 재생하는 시점에, 사용자가 채널을 변경하거나, 혹은 방송 중간에 광고가 삽입되어 상기 방송 콘텐츠(제2 BC)에서 추출된 디지털 핑거 프린트(제2 D-FP)와 디지털 핑거 프린트(제1 D-FP)가 상이한 경우, 방송 콘텐츠(제2 BC)에 대해 생성된 디지털 핑거 프린트(제2 D-FP)와 대응되는 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 재요청하여 입력받고, 로컬 상태에서 디지털 핑거 프린트(제2 D-FP)와 디지털 핑거 프린트(제1 D-FP)를 비교하여 방송 콘텐츠(제2 BC)에 대한 방송 편성정보 및 재생 시점 정보를 추출하고, 방송 콘텐츠(제2 BC)를 재생 시 상기 재생 시점 정보에 대응하여 방송 자막을 재생한다.
따라서, 방송 콘텐츠(제2 BC)를 재생 시 중간에 광고가 삽입되거나, 또는 사용자가 채널을 변경하여 방송 콘텐츠와 무관한 비디오 및 오디오가 입력되더라도 재생 시간의 오차 없이 안정적으로 재생할 수 있다.
이상에서는 본 발명의 바람직한 일 양태로서, 디지털 핑거 프린트(제2 D-FP)에 대응되는 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 방송 콘텐츠(제1 BC)의 전체 분량으로 입력받는 것으로 설명하였으나, 다른 일 양태로서 방송 콘텐츠(제1 BC)의 전체 분량에 대해 일정 구간별로 세분화하여 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 입력받을 수 있다.
한편, 본 발명에서 언급한 방송 콘텐츠는 지상파, 케이블 등에서 송출되는 드라마, 영화 등의 정규 편성된 방송 콘텐츠 뿐만아니라 광고를 포함한다. 따라서, 본 발명은 정규 편성된 방송 콘텐츠 뿐만아니라 방송 중간에 삽입된 광고에 대해서도 방송 자막을 정확히 제공하는 효과가 있다.
이상에서 설명한 본 발명의 일 양태에 따른“인식 기술을 이용한 영상물의 자막 처리 방법”은 프로그램 명령으로 구현되어 컴퓨터 판독 가능한 기록 매체에서 실행된다. 컴퓨터 판독 가능 기록 매체는 프로그램의 명령, 데이터 파일, 데이터 구조 등을 단독 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 기록 매체는 하드 디스크, 플로피 디스크, 및 자기 데이프와 같은 자기 매체(Magnetic Media), CD-ROM, DVD와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magnetro-Optical Media, 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령은 본 발명의 방법 실시예를 구현하기 위하여 특별히 설계, 구성되거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 프로그램 명령은 컴파일러에 의해 만들어지는 기계어 코드 뿐만 아니라 인터프리터를 통해 컴퓨터에서 실행되는 고급 언어 코드를 포함한다.
상술한 본 발명의 방법은 예시된 각 단계의 순서에 한정되지 아니한다. 즉, 각 단계의 순서는 당업자의 기술적 수준에 따라 달라질 수 있고, 또한 복수의 단계가 동시에 발생할 수 있다.
한편, 당업자라면 예시된 각 단계들이 배타적이지 않고, 특정의 단계에 하나 이상의 다른 단계가 포함될 수 있으며, 본 발명의 기술적 범위에 영향을 미치지 않는 범위에서 순서도에 기재된 특정의 단계가 삭제될 수 있다.
상술한 본 발명의 실시예들은 특허청구범위 내에 속하는 한 다양한 양태의 예시들을 포함한다. 따라서, 본 발명의 특허청구범위 내에 해당하나 본 명세서에 구체적으로 예시되지 아니한 구성으로 조합, 교체, 수정 및 변경이 가능함은 동일 기술 분야의 통상의 지식을 가진 자에게 자명하다.
100 : 고객 사, 300 : 클라이언트,
200 : 방송 자막 서버, 310 : 로컬 매칭 부,
210 : 인덱스 부, 320 : 미디어 플레이부,
220 : 매칭 부 400 : 호스팅 서버

Claims (21)

  1. 인식 기술을 이용한 영상물의 자막 처리 시스템에 있어서,
    방송 콘텐츠를 OTT(Over The Top)를 통해 재전송하기 전에 상기 방송 콘텐츠(제1 BC) 전체에서 추출한 디지털 핑거 프린트(제1 D-FP)를 생성하고, 상기 디지털 핑거 프린트(제1 D-FP)와 방송 자막을 매칭하여 등록 및 저장하는 방송 자막 서버; 및
    호스팅 서버로부터 전송 받아 재생 중인 방송 콘텐츠(제2 BC)에 대해 재생 시점의 디지털 핑거 프린트(제2 D-FP)를 생성하고, 상기 디지털 핑거 프린트(제2 D-FP)가 해당되는 상기 디지털 핑거 프린트(제1 D-FP)와 방송 자막을 상기 방송 자막 서버로 부터 제공받아 상기 디지털 핑거 프린트(제1 D-FP)를 기준으로 상기 디지털 핑거 프린트(제2 D-FP)를 시점으로 하여 상기 방송 자막을 재생하는 클라이언트;를 포함하는 것을 특징으로 하는 인식 기술을 이용한 영상물의 자막 처리 시스템.
  2. 삭제
  3. 제1 항에 있어서,
    상기 방송 콘텐츠(제2 BC)는 스트림 방식(Stream)으로 입력되는 가변적인 방송 콘텐츠인 것을 특징으로 하는 인식 기술을 이용한 영상물의 자막 처리 시스템.
  4. 디지털 핑거 프린트 인식 기술을 이용한 영상물의 방송 자막 서버에 있어서,
    방송 콘텐츠(제1 BC)를 OTT(Over The Top)를 통해 재전송하기 전에 상기 방송 콘텐츠(제1 BC) 전체를 분석하여 디지털 핑거 프린트(제1 D-FP)를 생성하여 방속 자막과 함께 인덱스화하여 등록하고, 클라이언트에서 재생 중인 방송 콘텐츠(제2 BC)에서 추출된 디지털 핑거 프린트(제2 D-FP)가 해당되는 상기 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 인덱스에서 검색하여 클라이언트에 제공하는 것;을 특징으로 하는 인식 기술을 이용한 영상물의 방송 자막 서버.
  5. 제4 항에 있어서,
    상기 방송 자막 서버는 상기 디지털 핑거 프린트(제1 D-FP)로부터 상기 디지털 핑거 프린트(제2 D-FP)를 이용하여 상기 방송 콘텐츠(제2 BC)에 대한 방송 편성정보 및 재생 시점 정보를 추출하는 것;을 특징으로 하는 인식 기술을 이용한 영상물의 방송 자막 서버.
  6. 제4 항에 있어서,
    상기 방송 자막 서버는 상기 디지털 핑거 프린트(제1 D-FP)에 대응되는 상기 방송 콘텐츠(제1 BC)의 타임 코드에 기반하여 클라이언트에서 재생 중인 방송 콘텐츠(제2 BC)의 재생 시점 정보를 추출하는 것;을 특징으로 하는 인식 기술을 이용한 영상물의 방송 자막 서버.
  7. 제4 항에 있어서,
    상기 방송 자막 서버는 다수의 디지털 핑거 프린트(제1 D-FP)로부터 상기 디지털 핑거 프린트(제2 D-FP)가 해당되는 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 방송 콘텐츠(제1 BC)의 전체 분량으로 클라이언트에 제공하는 것;을 특징으로 하는 인식 기술을 이용한 영상물의 방송 자막 서버.
  8. 제4 항에 있어서,
    상기 방송 자막 서버는 상기 방송 콘텐츠(제1 BC)의 전체 분량에 대해 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 일정 구간별로 세분화하여 상기 디지털 핑거 프린트(제2 D-FP)가 해당되는 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 클라이언트에 제공하는 것;을 특징으로 하는 인식 기술을 이용한 영상물의 방송 자막 서버.
  9. 디지털 핑거 프린트 인식 기술을 이용하여 영상물의 방송 자막을 재생하는 클라이언트에 있어서,
    로컬 상태에서 재생 중인 방송 콘텐츠(제2 BC)에 대해 디지털 핑거 프린트(제2 D-FP)를 생성하고, 상기 디지털 핑거 프린트(제2 D-FP)에 대응되는 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 방송 자막 서버로부터 입력받아 상기 디지털 핑거 프린트(제2 D-FP)와 상기 디지털 핑거 프린트(제1 D-FP)를 비교하여 상기 방송 콘텐츠(제2 BC)에 대한 방송 편성정보 및 재생 시점 정보를 추출하는 로컬 매칭 부; 및
    상기 방송 콘텐츠(제2 BC)를 재생 시 상기 재생 시점 정보에 대응하여 방송 자막을 재생하는 미디어 플레이 부;를 포함하는 것을 특징으로 하는 인식 기술을 이용하여 영상물의 방송 자막을 재생하는 클라이언트.
  10. 제9 항에 있어서,
    상기 방송 콘텐츠(제2 BC)는 스트림 방식(Stream)으로 입력되는 가변적인 방송 콘텐츠인 것;을 특징으로 하는 인식 기술을 이용하여 영상물의 방송 자막을 재생하는 클라이언트.
  11. 제9 항에 있어서,
    상기 로컬 매칭 부는 상기 디지털 핑거 프린트(제2 D-FP)에 대응되는 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 방송 콘텐츠(제1 BC)의 전체 분량으로 상기 방송 자막 서버로부터 입력받는 것;을 특징으로 하는 인식 기술을 이용하여 영상물의 방송 자막을 재생하는 클라이언트.
  12. 제9 항에 있어서,
    상기 로컬 매칭 부는 상기 디지털 핑거 프린트(제2 D-FP)와 상기 디지털 핑거 프린트(제1 D-FP)가 상이한 경우, 상기 디지털 핑거 프린트(제2 D-FP)가 해당되는 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 상기 방송 자막 서버에 재요청하는 것;을 특징으로 하는 인식 기술을 이용하여 영상물의 방송 자막을 재생하는 클라이언트.
  13. 제9 항에 있어서,
    상기 클라이언트는 컴퓨터 단말기, 모바일 운영체제가 탑재되어 구동되는 모바일 단말기, 상기 컴퓨터 단말기 및 상기 모바일 단말기에 설치되어 상기 방송 콘텐츠 및 방송 자막을 재생하기 위하여 제작된 전용 어플리케이션 중 어느 하나인 것;을 특징으로 하는 인식 기술을 이용하여 영상물의 방송 자막을 재생하는 클라이언트.
  14. 인식 기술을 이용한 영상물의 자막 처리 방법에 있어서,
    방송 콘텐츠를 OTT(Over The Top)를 통해 재전송하기 전에 방송 자막 서버에서 상기 방송 콘텐츠(제1 BC)에 대해 디지털 핑거 프린트(제1 D-FP)를 생성하고, 상기 디지털 핑거 프린트(제1 D-FP)와 방송 자막을 매칭하여 등록 및 저장하는 단계; 및
    클라이언트에서 재생 중인 방송 콘텐츠(제2 BC)에 대해 디지털 핑거 프린트(제2 D-FP)를 생성하고, 상기 방송 콘텐츠(제2 BC)를 재생 시 상기 디지털 핑거 프린트(제2 D-FP)가 해당되는 상기 디지털 핑거 프린트(제1 D-FP)에 기반하여 방송 자막을 재생하는 단계;를 포함하는 것을 특징으로 하는 인식 기술을 이용한 영상물의 자막 처리 방법.
  15. 제14 항에 있어서,
    상기 디지털 핑거 프린트(제1 D-FP)로부터 상기 방송 콘텐츠(제2 BC)에 대한 방송 편성정보 및 재생 시점 정보를 추출하는 단계; 및
    상기 방송 콘텐츠(제2 BC)를 재생 시 상기 방송 편성정보 및 재생 시점 정보에 대응하여 상기 디지털 핑거 프린트(제1 D-FP)와 매칭된 방송 자막을 재생하는 단계;를 포함하는 것을 특징으로 하는 인식 기술을 이용한 영상물의 자막 처리 방법.
  16. 제14 항에 있어서,
    상기 디지털 핑거 프린트(제2 D-FP)에 대응되는 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 방송 콘텐츠(제1 BC)의 전체 분량으로 입력받는 것;을 특징으로 하는 인식 기술을 이용한 영상물의 자막 처리 방법.
  17. 제14 항에 있어서,
    상기 방송 콘텐츠(제1 BC)의 전체 분량에 대해 일정 구간별로 세분화하여 상기 디지털 핑거 프린트(제1 D-FP) 및 상기 방송 자막을 입력받는 것;을 특징으로 하는 인식 기술을 이용한 영상물의 자막 처리 방법.
  18. 제14 항에 있어서,
    로컬 상태에서 상기 디지털 핑거 프린트(제2 D-FP)와 상기 디지털 핑거 프린트(제1 D-FP)를 비교하여 상기 방송 콘텐츠(제2 BC)에 대한 방송 편성정보 및 재생 시점 정보를 추출하는 단계; 및
    상기 방송 콘텐츠(제2 BC)를 재생 시 상기 방송 편성정보 및 재생 시점 정보에 대응하여 방송 자막을 재생하는 단계;를 포함하는 것을 특징으로 하는 인식 기술을 이용한 영상물의 자막 처리 방법.
  19. 제14 항에 있어서,
    상기 디지털 핑거 프린트(제2 D-FP)와 상기 디지털 핑거 프린트(제1 D-FP)가 상이한 경우, 상기 디지털 핑거 프린트(제2 D-FP)와 대응되는 디지털 핑거 프린트(제1 D-FP) 및 방송 자막을 재요청하여 입력받는 것;을 특징으로 하는 인식 기술을 이용한 영상물의 자막 처리 방법.
  20. 제14 항에 있어서,
    상기 디지털 핑거 프린트(제1 D-FP)에 대응되는 상기 방송 콘텐츠(제1 BC)의 타임 코드에 기반하여 상기 방송 콘텐츠(제2 BC)에 대한 재생 시점 정보를 추출하는 단계를 포함하는 것;을 특징으로 하는 인식 기술을 이용한 영상물의 자막 처리 방법.
  21. 제14 항 내지 제20항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록매체.
KR1020130037729A 2013-04-05 2013-04-05 인식 기술을 이용한 영상물의 자막 처리 시스템 및 그 방법 KR101384740B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130037729A KR101384740B1 (ko) 2013-04-05 2013-04-05 인식 기술을 이용한 영상물의 자막 처리 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130037729A KR101384740B1 (ko) 2013-04-05 2013-04-05 인식 기술을 이용한 영상물의 자막 처리 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR101384740B1 true KR101384740B1 (ko) 2014-04-14

Family

ID=50657537

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130037729A KR101384740B1 (ko) 2013-04-05 2013-04-05 인식 기술을 이용한 영상물의 자막 처리 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101384740B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004357302A (ja) 2003-05-28 2004-12-16 Microsoft Corp コンテンツベースのビデオタイムラインを使用してビデオ内の位置を識別する方法およびシステム
JP2005025413A (ja) 2003-06-30 2005-01-27 Nec Corp コンテンツ処理装置、コンテンツ処理方法及びプログラム
KR20060099866A (ko) * 2005-03-15 2006-09-20 (주)잉카엔트웍스 자막 정보를 제공하는 방법 및 그 시스템
KR20090100710A (ko) * 2008-03-20 2009-09-24 (주)아이유노글로벌 공정 병렬화가 가능한 자막 방송용 영상물 제작 서비스제공 방법 및 그 서비스 제공 서버

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004357302A (ja) 2003-05-28 2004-12-16 Microsoft Corp コンテンツベースのビデオタイムラインを使用してビデオ内の位置を識別する方法およびシステム
JP2005025413A (ja) 2003-06-30 2005-01-27 Nec Corp コンテンツ処理装置、コンテンツ処理方法及びプログラム
KR20060099866A (ko) * 2005-03-15 2006-09-20 (주)잉카엔트웍스 자막 정보를 제공하는 방법 및 그 시스템
KR20090100710A (ko) * 2008-03-20 2009-09-24 (주)아이유노글로벌 공정 병렬화가 가능한 자막 방송용 영상물 제작 서비스제공 방법 및 그 서비스 제공 서버

Similar Documents

Publication Publication Date Title
US9462307B2 (en) ABR live to VOD system and method
US7738767B2 (en) Method, apparatus and program for recording and playing back content data, method, apparatus and program for playing back content data, and method, apparatus and program for recording content data
US11818411B2 (en) Publishing a disparate live media output stream that complies with distribution format regulations
US8548303B2 (en) Reconciling digital content at a digital media device
US9621963B2 (en) Enabling delivery and synchronization of auxiliary content associated with multimedia data using essence-and-version identifier
US8978060B2 (en) Systems, methods, and media for presenting advertisements
US20140003792A1 (en) Systems, methods, and media for synchronizing and merging subtitles and media content
US8781824B2 (en) Offline generation of subtitles
KR102020689B1 (ko) 수신 장치, 수신 방법, 프로그램 및 정보 처리 시스템
US20140064711A1 (en) Systems, Methods, and Media for Presenting Media Content Using Cached Assets
US20150215564A1 (en) Methods and apparatus for creation of a reference time index for audio/video programming
KR102069897B1 (ko) 사용자 영상 생성 방법 및 이를 위한 장치
US20230328320A1 (en) Methods and systems to provide a playlist for simultaneous presentation of a plurality of media assets
US20230379521A1 (en) Managing content segments of linear tv content and over-the-top (ott) content
KR101384740B1 (ko) 인식 기술을 이용한 영상물의 자막 처리 시스템 및 그 방법
KR20140134126A (ko) 콘텐츠 생성 방법 및 그 장치
KR102049119B1 (ko) 클라우드 환경에서 녹화 서비스 제공 방법 및 장치
KR102435049B1 (ko) 셋탑박스 및 그 동작 방법
KR101403969B1 (ko) 타임코드를 상실한 동영상의 자막 재생 시점 인식 방법
US11671655B2 (en) Metadata manipulation
US20230091730A1 (en) Methods and systems to provide a playlist for simultaneous presentation of a plurality of media assets
US20230093416A1 (en) Methods and systems to provide a playlist for simultaneous presentation of a plurality of media assets
KR101409019B1 (ko) 콘텐츠 생성 방법 및 그 장치
KR20220115740A (ko) 광고 제공 방법
JP2004304306A (ja) Ａｖストリーム情報交換装置、ａｖストリーム受信装置およびａｖストリーム格納装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170504

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190717

Year of fee payment: 6