KR101293301B1 - 동영상 자막을 키워드로 이용한 영상 검색 시스템 및 방법 - Google Patents

동영상 자막을 키워드로 이용한 영상 검색 시스템 및 방법 Download PDF

Info

Publication number
KR101293301B1
KR101293301B1 KR1020110096386A KR20110096386A KR101293301B1 KR 101293301 B1 KR101293301 B1 KR 101293301B1 KR 1020110096386 A KR1020110096386 A KR 1020110096386A KR 20110096386 A KR20110096386 A KR 20110096386A KR 101293301 B1 KR101293301 B1 KR 101293301B1
Authority
KR
South Korea
Prior art keywords
keyword
scene
video
caption
search
Prior art date
Application number
KR1020110096386A
Other languages
English (en)
Other versions
KR20130032653A (ko
Inventor
이건호
오진석
Original Assignee
에스케이브로드밴드주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이브로드밴드주식회사 filed Critical 에스케이브로드밴드주식회사
Priority to KR1020110096386A priority Critical patent/KR101293301B1/ko
Publication of KR20130032653A publication Critical patent/KR20130032653A/ko
Application granted granted Critical
Publication of KR101293301B1 publication Critical patent/KR101293301B1/ko

Links

Images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)

Abstract

본 발명은 동영상에 동기화된 자막을 분석하여 키워드를 자동 생성하고 생성한 키워드가 나오는 장면을 매칭하여, 사용자로부터 키워드에 대한 검색이 있으면 키워드와 연관 있는 동영상 또는 해당 장면을 제공해 주는 동영상 자막을 키워드로 이용한 영상 검색 시스템 및 방법을 제공한다. 따라서 본 발명에 따르면 동영상의 자막 정보를 분석하여 내용 기반의 키워드를 생성함으로써 동영상 장면 내에 존재하는 사물 및 배경뿐만 아니라 등장 인물간 대화에 포함된 내용을 키워드를 추출하여 영상의 검색 및 추천이 용이한 효과가 있다.

Description

동영상 자막을 키워드로 이용한 영상 검색 시스템 및 방법{SYSTEM AND METHOD FOR SERCHING IMAGES USING CAPTION OF MOVING PICTURE IN KEYWORD}
본 발명은 동영상의 영상 검색 서비스에 관한 것으로서, 더욱 상세하게는 동영상에 동기화된 자막을 분석하여 키워드를 자동 생성하고 생성한 키워드가 나오는 장면을 매칭하여, 사용자로부터 키워드에 대한 검색이 있으면 키워드와 연관 있는 동영상 또는 해당 장면을 제공해 주는 동영상 자막을 키워드로 이용한 영상 검색 시스템 및 방법에 관한 것이다.
최근 방송 신호를 전송하는 방식이 발전함에 따라 디지털 전송 방식을 적용한 디지털 TV가 보급되고 있다. 특히 위성, 지상파, 케이블을 통해 방송되는 고화질, 고음질의 디지털 방송은 여러 장점들을 가지고 있어서 기존의 아날로그 방송에 비해 고화질, 고음질이고 다양한 부가 정보를 제공한다.
특히, 디지털 방송 중 IPTV(Internet Protocol Television)는 단순한 TV 수상기가 아닌 사용자가 원하는 콘텐츠를 선택적으로 수신할 수 있는 양방향 방송 서비스를 제공함에 가장 큰 특징이 있다.
IPTV 서비스는 하나의 동영상을 단순히 방송하는 것이 아니라 관련 메타 데이터를 이용하여 다양한 양방 방송 데이터를 제작하여 제공하고 있다.
특히, 동영상 검색 및 추천 서비스를 제공하기 위해 크게 동영상 자체에 대한 정보를 가지고 있는 주석 기반 메타 데이터와, 동영상 각 세그먼트 혹은 장면(scene)별 부가 정보를 가지고 있는 내용 기반 메타 데이터를 이용할 수 있다.
주석 기반 메타 데이터는 제목, 감독, 등장 인물, 줄거리, 장르, 언어, 시청 등급, 평점, 상영 시간 등 동영상 전체에 대한 부가 정보로서 관련 동영상 추천, 프로그램 가이드 서비스 등에 널리 사용되고 있다. 그러나, 주석 기반 메타 데이터를 이용한 동영상 검색 서비스 방법은 단지 주석에 의해 검색이 가능하므로 동영상 내에 포함된 내용을 토대로 검색이 어려운 단점이 있다.
내용 기반 메타 데이터는 동영상을 구성하는 각 세그먼트(클립) 혹은 장면의 제목, 내용, 종류, 분위기, 등장 객체(인물, 소품, 장소 배경음악 등)의 등장 시각 및 화면 상의 위치 등 해당 세그먼트를 표현하는 정보로, 하이라이트, 프로그램 목차 서비스, 객체 기반 광고 및 커머스(commerce) 등에 활용 가능하다.
최근 들어, 내용 기반 메타 데이터 외 동영상 장면을 특징짓거나 대표하는 키워드를 장면별로 설정하여 그 키워드에 대한 메타 데이터를 구축하여 제공하는 서비스 방법도 연구되고 있다.
기출원된 특허등록번호 제10-0721409호(발명의 명칭: 동영상 장면 검색 방법 및 이를 이용한 장면 검색 시스템)에는 동영상 내용에 관한 키워드를 이용하여 동영상에서 원하는 장면을 효과적으로 검색하는 기술을 개시하고 있다.
그런데, 상기의 종래 기술은 장면 동영상의 내용상 특징을 나타내는 스크립트를 동영상의 내용을 기반으로 동영상 장면별로 직접 생성해야 하므로 방대한 동영상 콘텐츠에 의해 장면별 스크립트의 생성은 비용과 시간이 너무 많이 소모되기 때문에 현실적으로 동영상 장면별로 그 내용에 기초하여 대표되는 키워드를 추출하기 힘든 문제가 있다.
본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 동영상에 동기화된 자막을 분석하여 키워드를 자동 생성하고 생성한 키워드가 나오는 장면을 매칭하여, 사용자로부터 키워드에 대한 검색이 있으면 키워드와 연관 있는 동영상 또는 해당 장면을 제공해 주는 동영상 자막을 키워드로 이용한 영상 검색 시스템 및 방법을 제공하는 데 그 목적이 있다.
이를 위하여 본 발명의 제1 측면에 따르면, 본 발명의 동영상 자막을 키워드로 이용한 영상 검색 시스템은, 가입자로부터 입력 받은 검색어에 대하여 영상 검색을 요청하고, 요청한 검색 결과를 제공받는 가입자 단말; 및 디지털 동영상과 동기된 자막 정보로부터 키워드를 추출하고, 상기 키워드와 연관 있는 장면을 추출하여 추출한 장면 또는 추출한 장면을 포함한 동영상 파일을 해당 키워드와 매칭시키며, 상기 가입자 단말로부터 영상 검색을 위한 검색어를 수신하면 상기 검색어에 대한 키워드가 있는지 기 저장된 키워드를 검색하고 검색 결과로서 키워드와 매칭되는 장면 또는 동영상 파일을 상기 가입자 단말로 제공하는 영상 검색 서비스 장치를 포함하는 것을 특징으로 한다.
본 발명의 제2 측면에 따르면, 본 발명의 영상 검색 서비스 장치는 디지털 동영상 파일과 동기된 자막 파일을 서로 분리하고 분리된 자막 파일로부터 자막 정보를 추출하는 자막 추출부; 상기 자막 추출부에서 추출한 자막 정보를 분석하여 영상 검색에 활용할 키워드를 생성하는 키워드 생성부; 상기 자막 추출부에서 추출한 자막 정보로부터 상기 분리된 디지털 동영상에서 해당 자막 내용이 출현하는 장면을 추출하는장면 추출부; 상기 장면 추출부에서 추출한 장면별 자막 내용과 상기 키워드 생성부에서 생성한 키워드를 비교하여 키워드와 연관 있는 장면 또는 동영상 파일간을 서로 매칭하는 매칭부; 및 가입자 단말로부터 영상 검색을 위한 검색어를 수신하고 상기 검색어에 대한 키워드가 있는지 기 저장된 키워드를 검색하고 검색된 키워드와 매칭되는 장면 또는 동영상 파일을 검색하여 상기 가입자 단말로 제공하는 검색 서비스 제공부를 포함하는 것을 특징으로 한다.
본 발명의 제3 측면에 따르면, 본 발명의 동영상 자막을 키워드로 이용한 영상 검색 방법은, (a) 디지털 동영상 파일과 동기된 자막 파일을 서로 분리하고 분리된 자막 파일로부터 자막 정보를 추출하는 단계; (b) 상기 자막 정보를 분석하여 영상 검색에 활용할 키워드를 생성하는 단계; (c) 상기 자막 정보에 포함된 타임라인 정보를 참조하여 상기 분리된 디지털 동영상에서 해당 자막 내용이 출현하는 장면을 추출하는 단계; 및 (d) 상기 디지털 동영상의 장면별 자막 내용과 상기 생성한 키워드를 비교하여 키워드와 연관 있는 장면 또는 동영상 파일간을 서로 매칭하는 단계; (e) 가입자 단말로부터 영상 검색을 위한 검색어를 수신하는 단계; 및 (f) 상기 검색어에 대한 키워드가 있는지 기 저장된 키워드를 검색하고 검색된 키워드와 매칭되는 장면 또는 동영상 파일을 제공하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 동영상의 자막 정보를 분석하여 내용 기반의 키워드를 생성함으로써 동영상 장면 내에 존재하는 사물 및 배경뿐만 아니라 등장 인물간 대화에 포함된 내용을 키워드를 추출하여 영상의 검색 및 추천이 용이한 효과가 있다.
또한, 사용자가 키워드의 검색이 있으면 키워드를 포함하고 있는 동영상뿐만 아니라 키워드와 연관 있는 장면을 제시해 줌으로써 보다 원하는 콘텐츠 또는 장면으로 접근이 가능한 효과가 있다.
도 1은 본 발명의 실시 예에 따른 영상 검색 시스템의 망 구성을 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 영상 검색 서비스 장치의 구성을 세부적으로 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 영상 검색 서비스 장치에서 추출한 자막 정보 및 대사 정보를 나타낸 도면이다.
도 4는 본 발명의 영상 검색 서비스 장치에 저장된 데이터베이스의 정보를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따라 동영상 자막으로부터 키워드를 생성하는 방법을 나타낸 흐름도이다.
도 6은 도 5의 키워드 생성 후 자막을 이용한 영상 검색 방법을 나타낸 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.
도 1은 본 발명의 실시 예에 따른 영상 검색 시스템의 망 구성을 나타낸 도면이다.
본 발명의 실시 예에 따른 영상 검색 시스템은 프로그램 공급자(100), 영상 검색 서비스 장치(200), 가입자 단말(400)을 포함하여 구성된다.
프로그램 공급자(100)는 방송 프로그램, 주문형 비디오(Video On Demand: 이하 VOD) 콘텐츠 등을 포함하는 동영상 파일과 이의 동영상 서비스를 제공하는 그룹을 의미한다. 예를 들어, TV 방송국, 라디오 방송국, VoD/AoD(Audio On Demand) 서비스 사업자, EPG(Electronic Program Guide) 서버, 포털 서버 등이 있다.
가입자 단말(400)은 네트워크망(300)에 접속하여 영상 검색 서비스 장치(200)에 검색어를 입력함으로써 영상 검색을 요청하고, 영상 검색 서비스 장치(200)로부터 검색한 결과로서 검색어와 연관 있는 동영상 또는 해당 장면을 수신하여 화면에 표시한다.
이러한 가입자 단말(400)은 IP를 기반으로 해당 데이터를 수신하는 IPTV(410), 가입자 측에 일반 TV 수상기 또는 PC 등과 연결되어 IP 기반의 데이터를 수신하는 IP STB(Set Top Box)(420), 개인 휴대 단말기와 같이 IP 기반의 데이터를 수신하는 IP phone(430), PC(440), 태블릿 PC 등을 포함한다.
네트워크망(300)은 가입자 단말(400)과 영상 검색 서비스 장치(200)를 연결하여 가입자 단말(400)이 요청한 검색어를 영상 검색 서비스 장치(200)로 전달하고, 영상 검색 서비스 장치(200)로부터 송출되는 검색 결과 즉, 검색어와 연관 있는 동영상 또는 장면을 해당 가입자 단말(400)로 전달한다.
이러한 네트워크망(300)은 일반적으로 유선 인터넷망일 수 있지만, 가입자 단말(400)이 IP phone(430)인 경우 이동 통신망(CDMA, W-CDMA 등)을 통해 연결되는 무선 데이터망(인터넷망, IMS 등), 위성통신망, 또는 Wi-Fi들의 근거리 통신을 통해 연결되는 인터넷망 등을 포함할 수 있다.
영상 검색 서비스 장치(200)는 VOD 자막 키워드 관리부(210)에서 프로그램 공급자(100)가 제공하는 디지털 동영상과 동기된 자막 정보를 추출하여 자막 정보에 포함된 단어들로부터 키워드를 자동 생성하고, 자막 정보로부터 각 키워드가 나오는 장면을 추출하여 해당 장면과 키워드를 매칭함으로써 각 디지털 동영상에 대한 자막별 키워드를 생성 구축한다. 이렇게 구축한 키워드는 검색 서비스 제공부(220)를 통해 가입자가 영상 검색할 때, 특히 동영상의 제목이나 등장인물 등의 주석에 관한 정보 외 내용 기반(대화 내용, 동영상에 나오는 단어 등)으로 동영상 또는 특정 장면을 검색하는 데 이용된다.
또한, 영상 검색 서비스 장치(200)는 검색 서비스 제공부(220)에서 가입자 단말(400)로부터 검색어가 입력되면 검색어에 대한 키워드가 존재하는지 기저장된 키워드를 검색하고 검색한 결과를 해당 가입자 단말(400)에게 제공한다. 여기서, 검색한 결과는 검색어에 대한 키워드와 매칭되는 동영상 또는 장면 등을 포함한다.
이를 구현하기 위한 영상 검색 서비스 장치(200)는 도 2와 같다.
도 2를 참조하면, 영상 검색 서비스 장치(200)는 크게 VOD 자막 키워드 관리부(210)와 검색 서비스 제공부(220) 및 데이터베이스(230)로 구분되고, VOD 자막 키워드 관리부(210)는 콘텐츠 수신부(211), 자막 추출부(212), 키워드 생성부(213), 장면 추출부(214), 매칭부(215)를 포함한다.
검색 서비스 제공부(220)는 통신 인터페이스부(221), 검색부(222)를 포함한다.
콘텐츠 수신부(211)는 프로그램 공급자(도 1의 100)가 제공하는 디지털 동영상 파일과 이와 동기된 자막 파일을 수신한다.
자막 추출부(212)는 콘텐츠 수신부(211)를 통해 수신한 콘텐츠로부터 동영상 파일과 자막 파일을 분리하여 자막 파일로부터 디지털 동영상에 대한 자막 정보만을 추출한다. 일 예로 자막 정보는 도 3의 (a)에 도시한 바와 같은 smi 형식으로, 화면에 표시할 자막 내용과 자막 내용을 표시할 시작 시각을 조절하는 타임라인(time line) 정보(예컨대, sync start 태그)를 포함한다.
키워드 생성부(213)는 자막 추출부(212)에서 추출한 자막 정보로부터 자막 내용을 분석하여 키워드를 생성한다. 여기서, 자막 내용 분석은 자막 내용에 포함된 여러 문장들을 문장 단위로 분리하고 분리된 각 문장 내에서 문법적으로 형태소 또는 단어 단위로 분석하여 키워드가 될 단어를 추출하는 작업을 의미한다.
특히, 키워드 생성부(213)는 자막 정보에 포함된 단어를 키워드로 추출할 수 있으며, 자막 정보에 몇 번 포함되어 있는지 횟수를 체크하여 기설정된 횟수 이상으로 포함된 단어를 키워드로 추출할 수도 있다. 이렇게 생성한 키워드는 데이터베이스(230)에 저장한다.
장면 추출부(214)는 자막 추출부(212)에서 추출한 자막 정보의 타임라인(싱크 스타트 태그) 정보를 참조하여 각 디지털 동영상에서 해당 자막 내용이 출현하는 장면을 추출한다. 예를 들어, 도 3의 (a)의 자막 정보를 참조하여 (b)에서는 장면별 자막 내용(또는 대사)을 추출한 것을 보여주고 있다. 장면1(scene1)은 타임라인 정보 즉, 싱크 스타트 태그값이 1280, 3550인 대사를 포함한다. 즉, 하나의 장면1(scene1)에서 1280ms(ms=밀리세크=1/1000초)에 해당하는 타이밍과 3550ms에 해당하는 타이밍 각각에 '내 이름은 애비밀즈', '고형인 하퍼섬에 돌아왔다'라는 대사를 표시하는 동영상을 의미한다.
매칭부(215)는 장면 추출부(214)에서 추출한 장면별 자막 내용과 키워드 생성부(213)에서 생성한 키워드를 비교하여 키워드와 연관 있는 장면 또는 동영상 파일간을 서로 매칭한다. 그리고, 매칭부(215)는 매칭한 키워드별 장면 또는 동영상 파일에 관한 목록을 데이터베이스(230)에 저장한다.
여기서, 연관이라는 단어의 의미는 키워드를 포함하거나 또는 포괄적으로 키워드로부터 연상될 수 있는 관계를 의미한다. 예를 들어, 키워드가 '춘향, 방자'이면 이를 포함한 '방자전' 동영상 파일을 매칭함은 물론, 춘향과 방자가 만나는 장면을 매칭할 수 있다.
본 실시예에서 언급하는 동영상 또는 동영상 파일은 '방자전', '스타워즈' 등과 같이 여러 장면을 포함하여 이야기가 완결된 하나의 프로그램을 의미하고, 장면은 동영상 내 하나의 장면을 의미한다.
매칭부(215)는 키워드가 포함된 동영상 파일 또는 장면을 모두 매칭할 수 있지만, 키워드가 몇 회 이상 포함된 동영상 파일 또는 장면을 추출하여 매칭할 수 있다.
데이터베이스(230)는 키워드 생성부(213)에서 생성한 키워드, 키워드별 장면 또는 동영상 파일에 관한 정보 등을 포함한다. 키워드별 장면 또는 동영상 파일에 관한 정보는 키워드와 연관 있는 해당 장면 또는 해당 동영상 파일로 액세스할 수 있는 정보를 포함한다.
도 4는 이러한 데이터베이스(230)의 구조를 나타낸 일 예이다. 각 디지털 동영상 파일(VOD #1, #2)마다 장면이 분리되어 있고 분리된 장면별로 장면과 대응하는 자막 정보 및 키워드가 매칭되어 있다. 따라서, 키워드가 '춘향'이면 이와 매칭된 동영상 VOD #1 추출할 수 있지만, 나아가 '춘향'이라는 대사가 나오는 장면들 scene1, scene2을 추출할 수 있다.
다시 2를 참조하면, 영상 검색 서비스를 제공하기 위한 구성으로 통신 인터페이스부(221)는 네트워크망(도 1의 300)을 통해 가입자 단말(도 1의 400)로부터 검색어를 수신하고, 검색부(222)에서 검색한 결과를 해당 가입자 단말(도 1의 400)로 전송한다.
검색부(222)는 통신 인터페이스부(221)를 통해 수신한 검색어에 대하여 영상 검색을 요청받고 데이터베이스(230)에 해당 검색어와 대응되는 키워드가 있는지 검색한다. 검색부(222)는 검색을 통해 검색어와 대응되는 키워드뿐만 아니라 키워드와 매칭된 동영상 파일 또는 장면을 추출하고 추출한 정보들을 통신 인터페이스부(221)로 전달한다.
이때, 검색부(222)는 추출한 정보들에서 키워드와 매칭되는 동영상 파일과 장면들을 한꺼번에 제시할 수 있지만, 키워드와 매칭된 동영상 파일을 먼저 제시하고 이후 동영상 파일의 선택이 있으면 해당 동영상 파일에 대한 장면들을 세부적으로 제시할 수 있다. 또한, 키워드와 매칭되는 동영상 파일 또는 장면들을 다수 개일 경우 키워드가 포함된 횟수가 많은 순서대로 제시할 수도 있을 것이다.
이러한 설정은 검색부(222)에서 정할 수 있지만, 가입자 단말(도 1의 400)에서 사용자의 기호에 맞게 설정 변경할 수도 있다.
그럼 이상의 장치 구성에 의해 동영상 자막을 키워드로 이용한 영상 검색 방법에 대하여 도 5 및 도 6을 참조하여 설명하기로 한다.
도 5는 본 발명의 실시 예에 따라 동영상 자막으로부터 키워드를 생성하는 방법을 나타낸 흐름도이다.
먼저 영상 검색 서비스 장치는 프로그램 공급자가 제공하는 VOD 콘텐츠로부터 디지털 동영상 파일과 자막 파일을 분리한다(S100).
이후, 영상 검색 서비스 장치는 자막 파일에 포함된 자막 정보를 분석하여 영상 검색에 활용할 키워드를 생성한다(S110). 그리고, 생성한 키워드를 데이터베이스에 저장한다(S120).
키워드는 앞서 설명한 바와 같이 자막 정보에 포함되는 모든 단어들을 포함할 수 있지만, 자막 정보에 포함된 단어들 중 기설정한 횟수 이상으로 출현하는 단어를 추출하여 선택적으로 키워드를 생성할 수 있다.
이후, 영상 검색 서비스 장치는 분리된 동영상 파일의 타임라인 정보를 참조하여 장면을 분리하고 분리한 장면에 대응하는 자막 내용을 자막 파일로부터 추출한다(S130).
이후, 영상 검색 서비스 장치는 장면별 자막 내용과 새로 생성한 키워드를 비교하여 키워드와 연관 있는 장면 또는 동영상 파일간을 서로 매칭시킨다(S140, S150). 매칭 또한, 키워드를 포함하는 장면 또는 동영상 파일을 모두 매칭시킬 수 있고, 또는 키워드가 기설정한 횟수 이상 포함하는 장면 또는 동영상 파일을 추출하여 매칭시킬 수 있다.
이후, 영상 검색 서비스 장치는 매칭한 장면 또는 동영상 파일에 관한 정보를 키워드 별로 데이터베이스에 저장한다(S160).
이렇게 구축한 데이터베이스에 근거하여 하기와 같이 영상 검색을 수행한다.
이때, 가입자 측에서는 가입자 단말을 통해 검색어를 입력하고 검색어에 연관 있는 영상 검색을 요청하며, 네트워크 기반의 서버로부터 검색 결과를 제공받는다. 네트워크 기반의 서버는 앞서 설명한 영상 검색 서비스 장치가 될 수 있다.
그러면, 영상 검색 서비스 장치에서는 가입자 단말로부터 영상 검색을 검색어를 수신하고, 검색어를 사전에 구축된 키워드에 존재하는지를 검색한다(S200, S210).
이후, 영상 서비스 장치가 검색부에서 검색된 키워드와 매칭되어 있는 장면 또는 동영상 파일을 검색한다(S220).
이후, 영상 검색 서비스 장치가 검색한 결과 즉, 키워드와 매칭되어 있는 장면 또는 동영상 파일에 대한 목록을 제공한다(S230).
제공시, 영상 검색 서비스 장치는 키워드와 매칭되는 장면 또는 동영상 파일을 한꺼번에 제시할 수 있고, 또는 키워드와 매칭되는 동영상 파일 목록을 먼저 제시하고 이후 어느 하나의 동영상 파일의 선택이 있으면 해당 동영상 파일에 대한 장면들 목록을 제시할 수 있다.
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
100: 프로그램 공급자 200: 영상 검색 서비스 장치
210: VOD 자막 키워드 관리부 220: 검색 서비스 제공부
300: 네트워크망 400: 가입자 단말
410: IPTV 420: IP STB
430: IP Phone 440: PC
211: 콘텐츠 수신부 212: 자막 추출부
213: 키워드 생성부 214: 장면 추출부
215: 매칭부 221: 통신 인터페이스부
222: 검색부 230: 데이터베이스

Claims (14)

  1. 가입자로부터 입력 받은 검색어에 대하여 영상 검색을 요청하고, 요청한 검색 결과를 제공받는 가입자 단말; 및
    디지털 동영상과 동기된 자막 정보로부터 키워드를 추출하고, 상기 키워드와 연관 있는 장면을 추출하여 추출한 장면 또는 추출한 장면을 포함한 동영상 파일을 해당 키워드와 매칭시키며, 상기 가입자 단말로부터 영상 검색을 위한 검색어를 수신하면 상기 검색어에 대한 키워드가 있는지 기 저장된 키워드를 검색하고 검색 결과로서 키워드와 매칭되는 장면 또는 동영상 파일을 상기 가입자 단말로 제공하는 영상 검색 서비스 장치를 포함하고,
    상기 키워드는
    상기 자막 정보에 포함된 단어이거나, 상기 자막 정보에 기설정한 횟수 이상 포함되는 단어인 것을 특징으로 하는 동영상 자막을 키워드로 이용한 영상 검색 시스템.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 가입자 단말은 IP를 기반으로 상기 영상 검색 서비스 장치로부터 디지털 동영상을 수신할 수 있는 TV수상기, 셋탑박스(IP STB), 개인 휴대 단말기(IP Phone), PC, 태블릿 PC를 포함하는 것을 특징으로 하는 동영상 자막을 키워드로 이용한 영상 검색 시스템.
  4. 디지털 동영상 파일과 동기된 자막 파일을 서로 분리하고 분리된 자막 파일로부터 자막 정보를 추출하는 자막 추출부;
    상기 자막 추출부에서 추출한 자막 정보를 분석하여 영상 검색에 활용할 키워드를 생성하는 키워드 생성부;
    상기 자막 추출부에서 추출한 자막 정보로부터 상기 분리된 디지털 동영상에서 해당 자막 내용이 출현하는 장면을 추출하는 장면 추출부;
    상기 장면 추출부에서 추출한 장면별 자막 내용과 상기 키워드 생성부에서 생성한 키워드를 비교하여 키워드와 연관 있는 장면 또는 동영상 파일간을 서로 매칭하는 매칭부; 및
    가입자 단말로부터 영상 검색을 위한 검색어를 수신하고 상기 검색어에 대한 키워드가 있는지 기 저장된 키워드를 검색하고 검색된 키워드와 매칭되는 장면 또는 동영상 파일을 검색하여 상기 가입자 단말로 제공하는 검색 서비스 제공부를 포함하고,
    상기 키워드 생성부는
    상기 자막 정보에 포함된 단어를 키워드로 추출하거나 또는 상기 자막 정보에 포함된 단어 중 기설정한 횟수 이상으로 포함된 단어를 키워드로 추출하는 것을 특징으로 하는 영상 검색 서비스 장치.
  5. 제 4 항에 있어서,
    상기 키워드 생성부에서 생성한 키워드와, 상기 매칭부를 통해 키워드별 매칭되는 장면 또는 동영상 파일에 관한 정보를 저장한 데이터베이스
    를 더 포함하는 것을 특징으로 하는 영상 검색 서비스 장치.
  6. 삭제
  7. 제 4 항에 있어서,
    상기 디지털 동영상의 장면별 자막 내용은 상기 자막 정보에 포함된 타임라인(timeline) 정보를 참조하여 추출 가능한 것을 특징으로 하는 영상 검색 서비스 장치.
  8. 제 4 항에 있어서,
    상기 매칭부는
    상기 키워드가 포함된 동영상 파일 또는 장면을 모두 매칭하거나, 또는 상기 키워드가 기설정한 횟수 이상으로 포함된 동영상 파일 또는 장면을 추출하여 매칭하는 것을 특징으로 하는 영상 검색 서비스 장치.
  9. 제 4 항에 있어서,
    상기 검색 서비스 제공부는
    상기 검색된 키워드와 매칭되는 장면 또는 동영상 파일을 한꺼번에 제시하거나, 또는 상기 검색된 키워드와 매칭되는 동영상 파일을 먼저 제시하고 이후 동영상 파일의 선택이 있으면 해당 동영상 파일에 대한 장면들을 제시하는 것을 특징으로 하는 영상 검색 서비스 장치.
  10. (a) 디지털 동영상 파일과 동기된 자막 파일을 서로 분리하고 분리된 자막 파일로부터 자막 정보를 추출하는 단계;
    (b) 상기 자막 정보를 분석하여 영상 검색에 활용할 키워드를 생성하는 단계;
    (c) 상기 자막 정보에 포함된 타임라인 정보를 참조하여 상기 분리된 디지털 동영상에서 해당 자막 내용이 출현하는 장면을 추출하는 단계; 및
    (d) 상기 디지털 동영상의 장면별 자막 내용과 상기 생성한 키워드를 비교하여 키워드와 연관 있는 장면 또는 동영상 파일간을 서로 매칭하는 단계;
    (e) 가입자 단말로부터 영상 검색을 위한 검색어를 수신하는 단계; 및
    (f) 상기 검색어에 대한 키워드가 있는지 기 저장된 키워드를 검색하고 검색된 키워드와 매칭되는 장면 또는 동영상 파일을 제공하는 단계를 포함하고,
    상기 (b) 단계는
    상기 자막 정보에 포함된 단어를 키워드로 추출하거나 또는 상기 자막 정보에 포함된 단어 중 기설정한 횟수 이상으로 포함된 단어를 키워드로 추출하는 것을 특징으로 하는 동영상 자막을 키워드로 이용한 영상 검색 방법.
  11. 삭제
  12. 제 10 항에 있어서,
    상기 (d) 단계는
    상기 키워드가 포함된 동영상 파일 또는 장면을 모두 매칭하거나, 또는 상기 키워드가 기설정한 횟수 이상으로 포함된 동영상 파일 또는 장면을 추출하여 매칭하는 것을 특징으로 하는 동영상 자막을 키워드로 이용한 영상 검색 방법.
  13. 제 10 항에 있어서,
    상기 (f) 단계는
    상기 검색된 키워드와 매칭되는 장면 또는 동영상 파일을 한꺼번에 제시하거나, 또는 상기 검색된 키워드와 매칭되는 동영상 파일을 먼저 제시하고 이후 동영상 파일의 선택이 있으면 해당 동영상 파일에 대한 장면들을 제시하는 것을 특징으로 하는 동영상 자막을 키워드로 이용한 영상 검색 방법.
  14. 제 10 항에 있어서,
    상기 (d) 단계는
    상기 키워드별 매칭되는 장면 또는 동영상 파일에 관한 정보를 데이터베이스에 저장하는 단계를 더 포함하는 특징으로 하는 동영상 자막을 키워드로 이용한 영상 검색 방법.
KR1020110096386A 2011-09-23 2011-09-23 동영상 자막을 키워드로 이용한 영상 검색 시스템 및 방법 KR101293301B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110096386A KR101293301B1 (ko) 2011-09-23 2011-09-23 동영상 자막을 키워드로 이용한 영상 검색 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110096386A KR101293301B1 (ko) 2011-09-23 2011-09-23 동영상 자막을 키워드로 이용한 영상 검색 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20130032653A KR20130032653A (ko) 2013-04-02
KR101293301B1 true KR101293301B1 (ko) 2013-08-09

Family

ID=48435390

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110096386A KR101293301B1 (ko) 2011-09-23 2011-09-23 동영상 자막을 키워드로 이용한 영상 검색 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101293301B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102092589B1 (ko) 2014-04-23 2020-03-24 삼성전자주식회사 초음파 프로브 및 그 제조방법
KR102392867B1 (ko) * 2014-11-28 2022-04-29 한화테크윈 주식회사 영상 검색 방법 및 장치
KR102467041B1 (ko) 2017-12-22 2022-11-14 삼성전자주식회사 전자 장치 및 전자 장치에서 방송 콘텐트와 관련된 서비스 정보 제공 방법
KR102530883B1 (ko) * 2020-07-10 2023-05-11 닥프렌즈 주식회사 전문 상담 미디어 등록 처리 방법
CN112085122B (zh) * 2020-09-21 2024-03-15 中国科学院上海微系统与信息技术研究所 一种基于本体的半监督图像场景语义深化方法
CN113709521B (zh) * 2021-09-18 2023-08-29 物芯智能科技有限公司 一种根据视频内容自动匹配背景的系统
KR102636431B1 (ko) 2022-10-27 2024-02-14 주식회사 일만백만 영상 데이터 스킵 기능 제공 방법 및 이를 실행하는 장치
KR102560609B1 (ko) * 2022-10-27 2023-07-27 주식회사 일만백만 동영상 자동 생성 방법 및 이를 실행하는 서버
KR102560610B1 (ko) * 2022-10-27 2023-07-27 주식회사 일만백만 동영상 자동 생성을 위한 참조 영상 데이터 추천 방법 및 이를 실행하는 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020023628A (ko) * 2000-10-10 2002-03-29 배병한 영화 대사 검색/편집 장치 및 방법, 및 네트워크를 이용한그의 서비스 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020023628A (ko) * 2000-10-10 2002-03-29 배병한 영화 대사 검색/편집 장치 및 방법, 및 네트워크를 이용한그의 서비스 시스템

Also Published As

Publication number Publication date
KR20130032653A (ko) 2013-04-02

Similar Documents

Publication Publication Date Title
KR101293301B1 (ko) 동영상 자막을 키워드로 이용한 영상 검색 시스템 및 방법
US11758237B2 (en) Television related searching
US9888279B2 (en) Content based video content segmentation
KR101644789B1 (ko) 방송 프로그램 연관 정보 제공 장치 및 방법
KR101348598B1 (ko) 디지털 티비 방송 제공 시스템과 디지털 티비 및 그 제어방법
US8533210B2 (en) Index of locally recorded content
EP2656621B1 (en) Recognition of images within a video based on a stored representation
US8793731B2 (en) Enhanced content search
KR100889986B1 (ko) 양방향 방송 단말기를 위한 추천 키워드 제공 시스템 및방법
KR100867005B1 (ko) 개인 맞춤형 멀티미디어 데이터 검색 서비스 방법 및 그의 장치들
US8719869B2 (en) Method for sharing data and synchronizing broadcast data with additional information
US20150195626A1 (en) Augmented media service providing method, apparatus thereof, and system thereof
US10219048B2 (en) Method and system for generating references to related video
US20160035392A1 (en) Systems and methods for clipping video segments
US20090037387A1 (en) Method for providing contents and system therefor
EP1173011A1 (en) Television system
US10003854B2 (en) Method and system for content recording and indexing
US10796089B2 (en) Enhanced timed text in video streaming
US8925011B2 (en) Apparatus and method for processing broadcast content
KR100878909B1 (ko) 대화형 디엠비 방송 제공시스템 및 이의 제공방법
KR20160103496A (ko) 방송 연관 검색어를 제공하는 서버 및 이를 사용하는 단말 장치
KR20150078930A (ko) 컨텐츠를 제공하는 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160624

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170626

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190521

Year of fee payment: 7