KR101330524B1 - Method, Terminal, Server and System for Searching Subtitle of Video - Google Patents

Method, Terminal, Server and System for Searching Subtitle of Video Download PDF

Info

Publication number
KR101330524B1
KR101330524B1 KR1020090066196A KR20090066196A KR101330524B1 KR 101330524 B1 KR101330524 B1 KR 101330524B1 KR 1020090066196 A KR1020090066196 A KR 1020090066196A KR 20090066196 A KR20090066196 A KR 20090066196A KR 101330524 B1 KR101330524 B1 KR 101330524B1
Authority
KR
South Korea
Prior art keywords
information
video
user
subtitle
user video
Prior art date
Application number
KR1020090066196A
Other languages
Korean (ko)
Other versions
KR20110008711A (en
Inventor
배태면
이진우
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020090066196A priority Critical patent/KR101330524B1/en
Publication of KR20110008711A publication Critical patent/KR20110008711A/en
Application granted granted Critical
Publication of KR101330524B1 publication Critical patent/KR101330524B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명의 일 실시예는 자막정보 검색 기능을 제공하는 방법, 단말기, 서버 및 시스템에 관한 것이다. One embodiment of the present invention relates to a method, a terminal, a server, and a system for providing a caption information retrieval function.

본 발명의 일 실시예는 사용자 동영상의 특성정보를 입력받는 특성정보 입력부; 데이터베이스에 기 저장된 동영상의 특성정보와 입력된 특성정보를 비교하여, 사용자 동영상과 동일한 동일 동영상의 자막정보를 데이터베이스에서 검색하는 자막정보 검색부; 및 검색된 자막정보를 사용자 단말기로 제공하는 자막정보 제공부를 포함하는 것을 특징으로 하는 자막정보 검색 서버를 제공한다. According to an embodiment of the present invention, a feature information input unit may receive feature information of a user video; A caption information search unit for comparing caption information of the video previously stored in the database with the input characteristic information and searching for caption information of the same video as the user video in the database; And a subtitle information providing unit for providing the retrieved subtitle information to the user terminal.

본 발명의 일 실시예에 의하면, 단말기에 사용자 동영상만 저장되어 있고 해당 자막정보가 저장되어 있지 않은 경우, 해당 사용자 동영상의 자막정보를 검색하여 사용자에게 제공해줌으로써, 사용자가 재생하고자 하는 사용자 동영상의 자막정보를 쉽고 편리하게 검색할 수 있게 하는 효과가 있다. According to an embodiment of the present invention, when only the user video is stored in the terminal and the subtitle information is not stored, the subtitle information of the user video to be played by the user by searching for the subtitle information of the corresponding user video is provided to the user. There is an effect that makes it easy and convenient to search for information.

사용자 동영상, 자막정보, 검색 User video, subtitle information, search

Description

자막정보 검색 기능을 제공하는 방법, 단말기, 서버 및 시스템{Method, Terminal, Server and System for Searching Subtitle of Video}Method, Terminal, Server and System for Searching Subtitle of Video}

본 발명의 일 실시예는 자막정보 검색 기능을 제공하는 방법, 단말기, 서버 및 시스템에 관한 것이다. 더욱 상세하게는, 단말기에 사용자 동영상만 저장되어 있고 해당 자막정보가 저장되어 있지 않은 경우, 해당 사용자 동영상의 자막정보를 검색하여 사용자에게 제공해주는 자막정보 검색 기능을 제공하는 방법, 단말기, 서버 및 시스템에 관한 것이다.One embodiment of the present invention relates to a method, a terminal, a server, and a system for providing a caption information retrieval function. More specifically, when only the user video is stored in the terminal and the subtitle information is not stored, a method, terminal, server, and system for providing a subtitle information search function to search for and provide the user with subtitle information of the corresponding user video. It is about.

요즈음, 많은 사용자는 자신의 컴퓨터 또는 이동통신단말기 등의 단말기에 인터넷 등으로부터 동영상을 다운로드 받아 저장해두었다가 이를 재생하는 기능을 많이 이용하고 있다. 이와 같이 단말기에서 재생하고자 하는 사용자 동영상에 관련된 자막정보가 있는 경우, 사용자는 자신의 단말기에 사용자 동영상과 이와 관련된 자막정보를 함께 저장해두고 사용자 동영상을 재생하게 되면, 단말기는 재생할 사용자 동영상과 관련되어 저장된 자막정보를 함께 동기화시켜 사용자 동영상과 자막정보를 함께 재생시킨다. Nowadays, many users use a function of downloading and storing a video from the Internet and playing it on a terminal such as a computer or a mobile communication terminal. When there is subtitle information related to the user video to be played on the terminal as described above, when the user stores the user video and the subtitle information associated with it on his terminal and plays the user video, the terminal is stored in association with the user video to be played. Synchronize subtitle information together to play user video and subtitle information together.

만약, 단말기에 사용자 동영상만 저장되어 있고, 해당 자막정보가 저장되어 있지 않은 경우에는, 사용자가 인터넷 등을 통해서 사용자 동영상과 관련된 자막정보를 검색해야만 불편함이 있다. 또한 인터넷 등을 통해 사용자 동영상의 자막정보를 검색할 때, 인터넷상에 존재하는 자막정보의 파일명이 해당 사용자 동영상과 관련된 이름 등과 같이 쉽게 확인할 수 있는 파일명으로 되어 있지 않은 경우, 원하는 사용자 동영상의 자막정보를 쉽게 검색하지 못하는 문제점도 있다. If only the user video is stored in the terminal and the corresponding subtitle information is not stored, it is inconvenient for the user to search the subtitle information related to the user video through the Internet. In addition, when searching for subtitle information of a user's video through the Internet, if the file name of the subtitle information existing on the Internet is not a file name that can be easily identified such as a name associated with the user's video, the subtitle information of the desired user's video There is also a problem that can not be easily retrieved.

이러한 배경에서, 본 발명의 실시예의 목적은, 단말기에 사용자 동영상만 저장되어 있고 해당 자막정보가 저장되어 있지 않은 경우, 해당 사용자 동영상의 자막정보를 검색하여 사용자에게 제공해줌으로써, 사용자가 재생하고자 하는 사용자 동영상의 자막정보를 쉽고 편리하게 검색할 수 있게 하는 데 있다. In this background, the purpose of the embodiment of the present invention, when only the user video is stored in the terminal and the subtitle information is not stored, by searching for the subtitle information of the user video and providing it to the user, the user that the user wants to play It is to make it possible to search subtitle information of a video easily and conveniently.

본 발명의 실시예의 다른 목적은, 단말기에 사용자 동영상만 저장되어 있고 해당 자막정보가 저장되어 있지 않은 경우, 사용자 동영상의 특성정보를 이용하여 해당 사용자 동영상의 자막정보를 내용 기반으로 검색하여 사용자에게 제공해줌으로써, 사용자가 재생하고자 하는 사용자 동영상의 자막정보를 정확하고 효율적으로 검색할 수 있게 하는 데 있다. Another object of the embodiment of the present invention, if only the user video is stored in the terminal and the subtitle information is not stored, by using the characteristic information of the user video to search for the subtitle information of the user video based on the content provided to the user By zooming in, the user's subtitle information of the user's video to be played back can be accurately and efficiently searched.

본 발명의 실시예는, 사용자 동영상의 특성정보를 입력받는 특성정보 입력부; 데이터베이스에 기 저장된 동영상의 특성정보와 상기 입력된 특성정보를 비교하여, 상기 사용자 동영상과 동일한 동일 동영상의 자막정보를 상기 데이터베이스 에서 검색하는 자막정보 검색부; 및 상기 검색된 자막정보를 사용자 단말기로 제공하는 자막정보 제공부를 포함하는 것을 특징으로 하는 자막정보 검색 서버를 제공한다. Embodiment of the present invention, the characteristic information input unit for receiving the characteristic information of the user video; A caption information search unit for searching for the caption information of the same video as the user video in the database by comparing the characteristic information of the video previously stored in the database with the input characteristic information; And a caption information providing unit providing the searched caption information to a user terminal.

또한, 본 발명의 실시예는, 자막정보 검색 서버가 제공하는 자막정보 검색 방법에 있어서, 사용자 동영상으로부터 추출된 특성정보를 입력받는 특성정보 입력 단계; 데이터베이스에 기 저장된 동영상의 특성정보와 상기 입력된 특성정보를 비교하여, 상기 사용자 동영상과 동일한 동일 동영상의 자막정보를 상기 데이터베이스에서 검색하는 자막정보 검색 단계; 및 상기 검색된 자막정보를 사용자 단말기로 제공하는 자막정보 제공 단계를 포함하는 것을 특징으로 하는 자막정보 검색 방법을 제공한다. In addition, an embodiment of the present invention, a caption information search method provided by a caption information search server, comprising: a characteristic information input step of receiving characteristic information extracted from a user video; A caption information searching step of searching for the caption information of the same video as the user video in the database by comparing the characteristic information of the video previously stored in the database with the input characteristic information; And providing subtitle information providing the retrieved subtitle information to a user terminal.

또한, 본 발명의 실시예는, 사용자 동영상의 특성정보를 추출하는 특성정보 추출부; 상기 특성정보를 자막정보 검색 요청에 포함시켜 송신하는 자막정보 검색 요청부; 및 상기 자막정보 검색 요청에 대하여, 상기 사용자 동영상의 자막정보를 수신하는 자막정보 수신부를 포함하는 것을 특징으로 하는 자막정보 검색 기능을 제공하는 단말기를 제공한다. In addition, an embodiment of the present invention, the feature information extraction unit for extracting the feature information of the user video; A caption information search request unit including the feature information in a caption information search request and transmitting the caption information; And a caption information receiving unit configured to receive caption information of the user video in response to the caption information search request.

또한, 본 발명의 실시예는, 사용자 동영상으로부터 특성정보를 추출하여 송신하고, 상기 사용자 동영상의 자막정보를 수신하는 사용자 단말기; 및 상기 특성정보를 수신하고, 데이터베이스에 기 저장된 동영상의 특성정보와 상기 수신된 특성정보를 비교하여, 상기 사용자 동영상과 동일한 동일 동영상의 상기 자막정보를 상기 데이터베이스에서 검색하여 상기 사용자 단말기로 송신하는 자막정보 검색 서 버를 포함하는 것을 특징으로 하는 자막정보 검색 시스템을 제공한다. In addition, an embodiment of the present invention, the user terminal extracts and transmits the characteristic information from the user video, and receives the subtitle information of the user video; And a caption for receiving the characteristic information, comparing the characteristic information of a video previously stored in a database with the received characteristic information, and searching the database for the caption information of the same video as the user video and transmitting the same to the user terminal. Provided is a caption information retrieval system comprising an information retrieval server.

또한, 본 발명의 실시예는, 사용자 동영상을 송신하고, 상기 사용자 동영상의 자막정보를 수신하는 사용자 단말기; 및 상기 사용자 동영상을 수신하여, 상기 사용자 동영상의 특성정보를 추출하고, 데이터베이스에 기 저장된 동영상의 특성정보와 상기 추출된 특성정보를 비교하여, 상기 사용자 동영상과 동일한 동일 동영상의 상기 자막정보를 상기 데이터베이스에서 검색하여 상기 사용자 단말기로 송신하는 자막정보 검색 서버를 포함하는 것을 특징으로 하는 자막정보 검색 시스템을 제공한다. In addition, an embodiment of the present invention, a user terminal for transmitting a user video, and receives subtitle information of the user video; And extracting the characteristic information of the user video by receiving the user video, comparing the extracted characteristic information with the characteristic information of a video previously stored in a database, and converting the caption information of the same video as that of the user video into the database. Provides a caption information retrieval system comprising a subtitle information search server to search for and transmit to the user terminal.

이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 단말기에 사용자 동영상만 저장되어 있고 해당 자막정보가 저장되어 있지 않은 경우, 해당 사용자 동영상의 자막정보를 검색하여 사용자에게 제공해줌으로써, 사용자가 재생하고자 하는 사용자 동영상의 자막정보를 쉽고 편리하게 검색할 수 있게 하는 효과가 있다. As described above, according to the embodiment of the present invention, when only the user video is stored in the terminal and the subtitle information is not stored, the user wants to play by searching for the subtitle information of the corresponding user video and providing the same to the user. The subtitle information of the user video can be easily and conveniently searched.

또한, 본 발명의 실시예에 의하면, 단말기에 사용자 동영상만 저장되어 있고 해당 자막정보가 저장되어 있지 않은 경우, 사용자 동영상의 특성정보를 이용하여 내용 기반으로 해당 사용자 동영상의 자막정보를 검색하여 사용자에게 제공해줌으로써, 사용자가 재생하고자 하는 사용자 동영상의 자막정보를 정확하고 효율적으로 검색할 수 있게 하는 효과가 있다. In addition, according to an embodiment of the present invention, when only the user video is stored in the terminal and the corresponding caption information is not stored, the caption information of the corresponding user video is searched to the user based on the content using the characteristic information of the user video. By providing the user, it is possible to search the caption information of the user's video to be played accurately and efficiently.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to exemplary drawings. In adding reference numerals to the components of each drawing, it should be noted that the same reference numerals are assigned to the same components as much as possible even though they are shown in different drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In addition, in describing the component of this invention, terms, such as 1st, 2nd, A, B, (a), (b), can be used. These terms are intended to distinguish the constituent elements from other constituent elements, and the terms do not limit the nature, order or order of the constituent elements. When a component is described as being "connected", "coupled", or "connected" to another component, the component may be directly connected to or connected to the other component, It should be understood that an element may be "connected," "coupled," or "connected."

도 1은 본 발명의 일 실시예에 따른 자막정보 검색 시스템(100)을 개략적으로 나타낸 도면이다. 1 is a diagram schematically showing a subtitle information retrieval system 100 according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 자막정보 검색 시스템(100)은, 재생하고자 하는 사용자 동영상의 자막정보를 검색 요청하는 사용자 단말기(110)와, 사용자 단말기(110)로부터의 자막정보 검색 요청에 대하여, 검색 요청시 수신된 데이터(예: 사용자 동영상, 또는 사용자 동영상으로부터 추출된 특성정보)를 토대로 해당 자막정보를 검색하여 사용자 단말기(110)로 제공하는 자막정보 검색 서버(120) 등을 포함한다. As shown in FIG. 1, the subtitle information retrieval system 100 according to an embodiment of the present invention includes a user terminal 110 for requesting for retrieval of subtitle information of a user video to be played and from the user terminal 110. Subtitle information search server that searches for the subtitle information based on data (eg, user video or feature information extracted from the user video) received when the search request is provided to the user terminal 110 ( 120) and the like.

위에서 언급된 사용자 동영상이란, 사용자 단말기(110)에 저장되어 해당 자막정보와 동기화되어 재생되는 동영상이며, 본 발명에서는, 이러한 사용자 동영상의 자막정보, 즉 사용자 동영상을 재생하기 위해 사용자 동영상과 동기화되는 자막정보는, 사용자 단말기(110)에 사용자 동영상과 함께 저장되어 있지 않고, 자막정보 검색 서버(120)로부터 검색되어 제공받는다. The user video mentioned above is a video stored in the user terminal 110 and played in synchronization with the corresponding subtitle information. In the present invention, subtitle information of the user video, that is, subtitle synchronized with the user video to play the user video The information is not stored in the user terminal 110 together with the user video, but is retrieved and provided from the caption information search server 120.

사용자 단말기(110)는, 재생하고자 하는 사용자 동영상에 대해 저장되지 않은 자막정보를 자막정보 검색 서버(120)로부터 제공받기 위한 자막정보 검색 요청시, 해당 사용자 동영상을 자막정보 검색 서버(120)로 송신하면서 자막정보 검색 요청을 송신할 수 있고, 또는 해당 사용자 동영상을 송신하지 않는 대신 해당 사용자 동영상으로부터 특성정보를 추출하여 추출된 특성정보를 자막정보 검색 서버(120)로 송신하여 자막정보 검색 요청을 송신할 수도 있다.The user terminal 110 transmits the user's video to the caption information search server 120 when the caption information search request for receiving subtitle information not stored for the user video to be played from the caption information search server 120 is performed. While transmitting the caption information search request, or instead of transmitting the user's video, the extracted feature information is extracted from the user's video and the extracted characteristic information is transmitted to the caption information search server 120 to transmit the caption information search request. You may.

이에 따라, 자막정보 검색 서버(120)는, 자막정보 검색 요청 수신시 사용자 단말기(110)로부터 해당 사용자 동영상을 수신한 경우에는 수신된 사용자 동영상으로부터 특성정보를 직접 추출하여 추출된 특성정보를 토대로 해당 자막정보를 검색하게 된다. 한편 자막정보 검색 서버(120)가 자막정보 검색 요청 수신시 사용자 단말기(110)로부터 해당 사용자 동영상의 특성정보를 수신한 경우에는 수신된 특성정보를 토대로 해당 자막정보를 바로 검색할 수도 있다. Accordingly, when the subtitle information search server 120 receives the corresponding user video from the user terminal 110 when receiving the subtitle information search request, the subtitle information search server 120 directly extracts the characteristic information from the received user video based on the extracted characteristic information. Subtitle information is searched. Meanwhile, when the caption information search server 120 receives the characteristic information of the corresponding user video from the user terminal 110 when the caption information search request is received, the caption information search server 120 may search the caption information directly based on the received characteristic information.

즉, 사용자 단말기(110)에서 자막정보 검색 서버(120)로의 자막정보 검색 요청시, 송신되는 데이터가 "사용자 동영상"인 경우(도 2의 (a) 참조)와, 사용자 동영상의 "특성정보"인 경우(도 2의 (b) 참조)로 구분하여, 본 발명의 일 실시예에 따른 자막정보 검색 시스템(100)을 따라오는 도 2를 참조하여 다시 설명한다. In other words, when the user terminal 110 requests the caption information search request from the user terminal 110 to the caption information search server 120, when the transmitted data is "user video" (see FIG. 2A), and "characteristic information" of the user video. (Refer to (b) of FIG. 2), it will be described again with reference to FIG. 2 following the subtitle information retrieval system 100 according to an embodiment of the present invention.

도 2는 본 발명의 일 실시예에 따른 자막정보 검색 시스템(100)에서 사용자 단말기(110) 및 자막정보 검색 서버(120) 간의 데이터 흐름에 대한 2가지 유형을 나타낸 도면이다. 2 is a diagram illustrating two types of data flows between the user terminal 110 and the caption information search server 120 in the caption information search system 100 according to an exemplary embodiment of the present invention.

도 2의 (a)는, 사용자 단말기(110)에서 자막정보 검색 서버(120)로의 자막정보 검색 요청시, 송신되는 데이터가 "사용자 동영상"인 경우, 데이터 흐름을 나타낸 도면이다. FIG. 2A is a diagram illustrating a data flow when the user terminal 110 transmits a caption information search request from the user terminal 110 to the caption information search server 120 when the transmitted data is “user video”.

도 2의 (a)를 참조하면, 본 발명의 일 실시예에 따른 자막정보 검색 시스템(100)은, 사용자 동영상을 송신하고, 사용자 동영상의 자막정보를 수신하는 사용자 단말기(110); 및 사용자 동영상을 사용자 단말기(110)로부터 수신하여, 수신된 사용자 동영상의 특성정보를 추출하고, 데이터베이스에 기 저장된 동영상의 특성정보 및 추출된 특성정보 간의 비교를 통해, 사용자 동영상과 동일한 동일 동영상의 자막정보를 데이터베이스에서 검색하여 사용자 단말기(110)로 송신하는 자막정보 검색 서버(120) 등을 포함한다.Referring to FIG. 2A, a caption information retrieval system 100 according to an embodiment of the present invention includes a user terminal 110 that transmits a user video and receives subtitle information of the user video; And receiving the user video from the user terminal 110, extracting the characteristic information of the received user video, and comparing the characteristic information and the extracted characteristic information of the video previously stored in the database, thereby captioning the same video as the user video. And a caption information search server 120 for searching for information in a database and transmitting the information to the user terminal 110.

도 2의 (a)에 도시된 자막정보 검색 서버(120)는, 사용자 단말기(110)로부터 수신된 사용자 동영상의 분석을 통해, 사용자 동영상에 대한 컬러 히스토그램(Color Histogram), 에지(Edge Shape), 오브젝트 모양(Object Shape) 및 텍스쳐(Texture) 등 중에서 하나 이상을 포함하는 "핑거프린트(Fingerprint)"를 특성정보로서 추출할 수 있다. Subtitle information retrieval server 120 shown in FIG. 2 (a), through the analysis of the user video received from the user terminal 110, color histogram (Edge Shape), edge (Edge Shape), "Fingerprint" including at least one of an Object Shape, a Texture, and the like may be extracted as the characteristic information.

도 2의 (b)는, 사용자 단말기(110)에서 자막정보 검색 서버(120)로의 자막정 보 검색 요청시, 송신되는 데이터가 사용자 동영상의 "특성정보"인 경우, 데이터 흐름을 나타낸 도면이다. 2B is a diagram illustrating a data flow when the user terminal 110 requests the caption information search request from the user terminal 110 to the caption information search server 120 when the transmitted data is "characteristic information" of the user video.

도 2의 (b)를 참조하면, 본 발명의 일 실시예에 따른 자막정보 검색 시스템(100)은, 사용자 동영상으로부터 특성정보를 추출하여 송신하고, 사용자 동영상의 자막정보를 수신하는 사용자 단말기(110); 및 사용자 단말기(110)로부터 특성정보를 수신하고, 데이터베이스에 기 저장된 동영상의 특성정보 및 수신된 특성정보 간의 비교를 통해, 사용자 동영상과 동일한 동일 동영상의 자막정보를 데이터베이스에서 검색하여 사용자 단말기(110)로 송신하는 자막정보 검색 서버(120) 등을 포함한다. Referring to FIG. 2B, the caption information retrieval system 100 according to an exemplary embodiment of the present invention extracts and transmits characteristic information from a user video, and receives the caption information of the user video 110. ); And receiving the characteristic information from the user terminal 110 and searching the database for subtitle information of the same video that is the same as the user video by comparing the characteristic information of the video prestored in the database and the received characteristic information. Subtitle information retrieval server 120 and the like.

도 2의 (b)에 도시된 사용자 단말기(110)는, 재생하고자 하는 사용자 동영상의 분석을 통해, 사용자 동영상에 대한 컬러 히스토그램(Color Histogram), 에지(Edge Shape), 오브젝트 모양(Object Shape) 및 텍스쳐(Texture) 등 중에서 하나 이상을 포함하는 "핑거프린트(Fingerprint)"를 특성정보로서 추출할 수 있다. The user terminal 110 illustrated in FIG. 2B shows a color histogram, an edge shape, an object shape, and an object shape of the user video through analysis of a user video to be played. "Fingerprint" including one or more of a texture or the like may be extracted as the characteristic information.

도 1 및 도 2를 참조하여 전술한 사용자 단말기(110) 및 자막정보 검색 서버(120)는, 도 1에 도시된 바와 같이, 유선 또는 무선 기반의 인터넷 이동통신망 등 중에서 하나 이상을 포함하는 유무선 통신망(130)을 통해 서로 연결될 수 있다 As illustrated in FIG. 1, the user terminal 110 and the subtitle information search server 120 described above with reference to FIGS. 1 and 2 may include a wired or wireless communication network including at least one of a wired or wireless based Internet mobile communication network. Can be connected to each other via 130

전술한 사용자 단말기(110)는, 이러한 유무선 통신망(130)을 통해 자막정보 검색 서버(120)에 접속하여 사용자 동영상 또는 사용자 동영상의 특성정보를 송신함으로써 자막정보 검색을 요청하여 사용자 동영상의 자막정보를 제공받는 단말기로서, 컴퓨터 및 이동통신단말기 등 중에서 하나 이상을 포함할 수 있다. The user terminal 110 is connected to the subtitle information search server 120 through the wired / wireless communication network 130 and transmits the user video or the characteristic information of the user video to request the subtitle information search to obtain the subtitle information of the user video. As a terminal to be provided, it may include one or more of a computer and a mobile communication terminal.

전술한 자막정보 검색 서버(120)는, 유무선 통신망(130)을 통해 접속한 사용자 단말기(110)로부터 사용자 동영상 또는 사용자 동영상의 특성정보를 수신함으로써 자막정보 검색을 요청받고, 이에 대하여 사용자 동영상의 자막정보를 검색하여 사용자 단말기(110)로 제공하는 서버로서, 사용자 단말기(110)가 유무선 통신망(130)을 통해 접속할 수 있는 웹 서버(Web Server) 또는 왑 서버(WAP Server) 등의 형태로 구현될 수 있으며, 동영상, 자막정보 및 특성정보 등을 서로 연계하여 데이터베이스에 저장시켜 관리할 수 있다. 이러한 자막정보 검색 서버(120)는 따라오는 도 3을 참조하여 더욱 상세하게 설명한다. The above-described subtitle information search server 120 receives a request for searching subtitle information by receiving characteristic information of a user video or a user video from the user terminal 110 connected through the wired / wireless communication network 130, and subtitles of the user video are received. A server that retrieves information and provides the information to the user terminal 110, which may be implemented in the form of a web server or a WAP server that the user terminal 110 can access through the wired / wireless communication network 130. In addition, video, subtitle information, and characteristic information can be stored in a database in association with each other. The caption information search server 120 will be described in more detail with reference to FIG. 3.

도 3은 본 발명의 일 실시예에 따른 자막정보 검색 서버(120)에 대한 블록 구성도이다. 3 is a block diagram of a subtitle information retrieval server 120 according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 일 실시예에 따른 자막정보 검색 서버(120)는, 사용자 동영상의 특성정보를 입력받는 특성정보 입력부(320); 데이터베이스에 기 저장된 동영상의 특성정보 및 입력된 특성정보 간의 비교를 통해, 사용자 동영상과 동일한 동일 동영상의 자막정보를 데이터베이스에서 검색하는 자막정보 검색부(330); 및 검색된 자막정보를 사용자 단말기로 제공하는 자막정보 제공부(340) 등을 포함한다. Referring to FIG. 3, the caption information search server 120 according to an embodiment of the present invention includes a feature information input unit 320 for receiving feature information of a user video; A caption information retrieval unit 330 for retrieving subtitle information of the same video as that of the user video from the database through a comparison between the feature information of the video previously stored in the database and the input feature information; And a subtitle information providing unit 340 for providing the retrieved subtitle information to the user terminal.

도 3을 참조하면, 본 발명의 일 실시예에 따른 자막정보 검색 서버(120)는, 사용자 단말기(110)로부터 "사용자 동영상" 또는 "사용자 동영상의 특성정보"가 포함된 자막정보 검색 요청을 수신하는 자막정보 검색 요청 수신부(310)를 더 포함할 수 있다. Referring to FIG. 3, the caption information search server 120 according to an embodiment of the present invention receives a caption information search request including "user video" or "characteristic information of the user video" from the user terminal 110. The caption information search request receiver 310 may be further included.

전술한 특성정보 입력부(320)는 이러한 자막정보 검색 요청 수신부(310)로부터 특성정보를 입력받을 수 있는데, 특성정보를 입력받는 2가지 유형을 도 4를 참조하여 아래에서 설명한다. The characteristic information input unit 320 may receive characteristic information from the caption information search request receiving unit 310. Two types of characteristic information input will be described below with reference to FIG. 4.

도 4는 본 발명의 일 실시예에 따른 자막정보 검색 서버(120)에 포함된 특성정보 입력부(320)가 특성정보를 자막정보 검색 요청 수신부(310)로부터 입력받는 2가지 유형을 나타낸 도면이다. 4 is a diagram illustrating two types of characteristic information input unit 320 included in the caption information search server 120 according to an embodiment of the present invention receiving characteristic information from the caption information search request receiving unit 310.

도 4를 참조하면, 자막정보 검색 요청 수신부(310)는 사용자 단말기(110)로부터 자막정보 검색 요청을 수신할 때, 사용자 동영상의 특성정보를 수신하거나, 사용자 동영상을 수신할 수 있다. 이에 대하여, 자막정보 검색 요청 수신부(310)는 수신한 특성정보를 특성정보 입력부(320)로 입력시키거나, 수신한 사용자 동영상으로부터 특성정보를 추출하여 추출된 특성정보를 특성정보 입력부(320)로 입력시킬 수 있다. Referring to FIG. 4, when the caption information search request receiver 310 receives the caption information search request from the user terminal 110, the caption information search request receiver 310 may receive characteristic information of the user video or may receive the user video. In response to this, the caption information search request receiving unit 310 inputs the received characteristic information to the characteristic information input unit 320 or extracts the characteristic information from the received user video to the characteristic information input unit 320. Can be entered.

이를 위해서, 도 4를 참조하면, 자막정보 검색 요청 수신부(310)는, 수신된 자막정보 검색 요청에 사용자 동영상의 "특성정보"가 포함된 경우, 포함된 특성정보를 특성정보 입력부(320)에 입력시키는 특성정보 전달부(410); 및 수신된 자막정보 검색 요청에 "사용자 동영상"이 포함된 경우, 포함된 사용자 동영상으로부터 특성정보를 추출하여 특성정보 입력부(320)에 입력시키는 특성정보 추출부(420) 중에서 하나 이상을 포함할 수 있다. To this end, referring to FIG. 4, when the received caption information search request includes “characteristic information” of the user video, the caption information search request receiver 310 transmits the included characteristic information to the characteristic information input unit 320. Characteristic information transmission unit 410 to input; And a feature information extractor 420 that extracts feature information from the included user video and inputs the feature information to the feature information input unit 320 when the received subtitle information search request includes “user video”. have.

전술한 특성정보 입력부(320)가 특성정보 추출부(420)로부터 사용자 동영상의 특성정보를 입력받는 경우, 특성정보 추출부(420)는 사용자 단말기(110)로부터 수신한 사용자 동영상에서 사용자 동영상의 특성정보를 추출하기 위해서, 일 예로서 도시된 도 5와 같이, 세그먼테이션화부(510), 대표 영상 추출부(520) 및 핑거프린트 추출부(530) 등의 모듈을 포함할 수 있다. When the feature information input unit 320 receives the feature information of the user video from the feature information extractor 420, the feature information extractor 420 may provide the feature of the user video in the user video received from the user terminal 110. In order to extract information, as shown in FIG. 5 as an example, the module may include a segmentation unit 510, a representative image extractor 520, and a fingerprint extractor 530.

도 5는 본 발명의 일 실시예에 따른 자막정보 검색 서버(120)의 자막정보 검색 요청 수신부(310)에 포함된 특성정보 추출부(420)에 대한 블록 구성도이다. 5 is a block diagram of the feature information extracting unit 420 included in the subtitle information search request receiving unit 310 of the subtitle information search server 120 according to an exemplary embodiment of the present invention.

도 5를 참조하면, 이러한 특성정보 추출부(420)는, 사용자 동영상의 샷(Shot)을 검출하여 검출된 샷 단위로 사용자 동영상을 세그먼테이션(Segmentation)화 하여 복수 개의 세그먼트(Segment)로 분할하는 세그먼테이션화부(510); 각 세그먼트를 대표하는 대표 영상을 추출하는 대표 영상 추출부(520); 및 추출된 대표 영상으로부터 핑거프린트를 사용자 동영상의 특성정보로서 추출하는 핑거프린트 추출부(530) 등을 포함한다. Referring to FIG. 5, the feature information extracting unit 420 detects a shot of the user video, segments the user video into segments, and divides the user video into a plurality of segments. Fire department 510; A representative image extracting unit 520 for extracting a representative image representing each segment; And a fingerprint extractor 530 for extracting a fingerprint from the extracted representative image as characteristic information of a user video.

예를 들어, 사용자 동영상의 샷(Shot)을 사용자 동영상에서의 프레임(Frame)으로 가정하면, 특성정보 추출부(420)는, 사용자 동영상으로부터 복수 개의 프레임(이는 픽처, 프레임 영상 또는 그냥 줄여서 영상이라고도 함)을 검출하고, 검출된 복수 개의 프레임으로 이루어진 사용자 동영상을 프레임 단위로 세그먼테이션화 함으로써, 사용자 동영상을 복수 개의 세그먼트로 분할한다. 이때 분할된 각 세그먼트는 하나 이상의 프레임을 포함할 수 있다. 이후 특성정보 추출부(420)는, 각 세그먼트에 포함된 하나 이상의 프레임 중에서 각 세그먼트를 대표하는 하나의 프레임을 대표 영상으로 추출하고, 이 대표 영상으로부터 사용자 동영상에서 분할된 각 세그먼트에 대한 특성정보로서의 핑거프린트를 추출한다. For example, assuming that a shot of the user video is a frame in the user video, the feature information extractor 420 may include a plurality of frames (that is, a picture, a frame image, or simply a video from the user video). And segmenting the user video consisting of the detected plurality of frames in units of frames, thereby segmenting the user video into a plurality of segments. In this case, each segment may include one or more frames. Thereafter, the feature information extracting unit 420 extracts one frame representing each segment from the one or more frames included in each segment as the representative image, and as the feature information of each segment divided from the representative image in the user video. Extract the fingerprint.

핑거프린트 추출부(530)에서 사용자 동영상의 특정정보로서 추출되는 핑거프린트는, 해당 영상의 고유특성을 나타내며, 해당 대표 영상을 다른 영상과 구별시켜주는 정보이다. The fingerprint extracted by the fingerprint extractor 530 as the specific information of the user's video indicates information unique to the image and distinguishes the representative image from other images.

일 예로서, 멀티미디어의 내용을 기술하고 동영상 데이터를 효율적으로 표현하고 검색하기 위해 MPEG-7 등의 동영상 압축 기술에서 사용되는 멀티미디어 시각 기술자(Visual Descriptor)를 전술한 핑거프린트로서 이용할 수 있다. 이러한 핑거프린트는 사용자 동영상에 대한 컬러 히스토그램, 에지, 오브젝트 모양 및 텍스쳐(Texture) 등 중에서 하나 이상을 포함할 수 있다. As an example, a multimedia visual descriptor used in a video compression technique such as MPEG-7 may be used as the fingerprint described above in order to describe the contents of multimedia and to efficiently express and retrieve video data. The fingerprint may include one or more of color histograms, edges, object shapes, textures, and the like for the user video.

전술한 대표 영상 추출부(520)는, 각 세그먼트의 중간 시간에 가장 인접한 시간에 위치하는 하나 이상의 영상(즉, 세그먼트에 포함된 프레임 영상)을 대표 영상으로 추출하는 제 1 방식과, 각 세그먼트 내 영상(즉, 세그먼트에 포함된 프레임 영상)의 평균(즉, 각 세그먼트에 포함된 각 영상에 대한 컬러 히스토그램 등과 같은 특성 정보들의 평균)에 가장 가까운 하나 이상의 영상을 대표 영상으로 추출하는 제 2 방식 중 하나의 방식으로 대표 영상을 추출할 수 있다. The above-described representative image extracting unit 520 is a first method of extracting one or more images (ie, frame images included in a segment) located at a time closest to an intermediate time of each segment as a representative image, and in each segment. Among the second methods of extracting one or more images as representative images that are closest to the average of the images (ie, frame images included in the segment) (ie, average of characteristic information such as color histograms for each image included in each segment). The representative image may be extracted in one way.

예를 들어, 특정 세그먼트가 5개의 프레임 영상을 포함하는 경우, 제 1 방식에 따라 특정 세그먼트로부터 대표 영상을 추출해보면, 5개의 프레임 영상 각각의 시간 분포 중에서 중간 시간을 구하고, 이렇게 구해진 중간 시간에 가장 인접한 시간에서의 프레임 영상을 5개의 프레임 영상 중에서 추출할 수 있다. 또한, 제 2 방식에 따라 특정 세그먼트로부터 대표 영상을 추출해보면, 5개의 프레임 영상 각각에 대한 컬러 히스토그램을 구하고, 각각 구해진 컬러 히스토그램에 대한 평균을 계산한 이후, 5개의 프레임 영상 중에서 계산된 평균과 가장 가까운 컬러 히스토그램을 보이는 프레임 영상을 대표 영상으로 추출할 수 있다. For example, when a specific segment includes five frame images, when the representative image is extracted from the specific segment according to the first method, the intermediate time is obtained from the time distribution of each of the five frame images, and the most significant time is obtained. Frame images at adjacent times may be extracted from five frame images. In addition, when the representative image is extracted from a specific segment according to the second method, color histograms for each of the five frame images are obtained, and the average of the obtained color histograms is calculated, and then the average and the calculated average among the five frame images are calculated. A frame image showing a nearby color histogram may be extracted as a representative image.

아래에서는, 전술한 2가지 대표 영상 추출 방식(제 1 방식, 제 2 방식)에 따라 추출된 대표 영상의 특성정보를 따라오는 예시적인 수학식 1 및 수학식 2를 각각 이용하여 설명한다. In the following, exemplary equations 1 and 2 which follow the characteristic information of the representative image extracted according to the two representative image extraction methods (first method and second method) described above will be described.

전술한 특성정보 추출부(420)는, 각 세그먼트의 중간 시간에 위치하는 영상을 대표 영상으로 추출하는 제 1 방식에 의해서, 특정 동영상 A의 n번째 세그먼트로부터 대표 영상을 추출하고, 이 대표 영상에서 추출된 특성정보 A n 은 다음과 같은 수학식 1을 이용하여 구할 수 있다. 여기서, 특성정보는 핑거프린트에 포함된 컬러 히스토그램인 것으로 가정한다. The above-described characteristic information extractor 420 extracts the representative image from the n- th segment of the specific video A by the first method of extracting the video located at the intermediate time of each segment as the representative video, and extracts the representative video from the representative video. The extracted characteristic information A n may be obtained using Equation 1 below. Here, it is assumed that the characteristic information is a color histogram included in the fingerprint.

Figure 112009044249871-pat00001
Figure 112009044249871-pat00001

상기 수학식 1에서, M은 특정 동영상 A의 n번째 세그먼트에 포함된 영상들(즉, 프레임들)의 개수이다. j는 특정 동영상 A의 n번째 세그먼트에 포함된 M개의 영상들의 시간 분포를 토대로 중간 시간에 위치한 영상의 시리얼 번호, 즉 M개의 영상들 중에서 대표 영상이 되는 영상의 시리얼 번호이며, 상기 수학식 1에서는 (M+1)/2로 계산될 수 있다. In Equation 1, M is the number of images (ie, frames) included in the n- th segment of the specific video A. j is a serial number of an image located at an intermediate time based on a time distribution of M images included in an n- th segment of a specific video A , that is, a serial number of an image that is a representative image among M images. It can be calculated as (M + 1) / 2 .

A nj 는 특정 동영상 A의 n번째 세그먼트에 포함된 M개의 영상들 중에서 중간 시간에 해당하는 시리얼 번호 j에 대응되는 영상의 컬러 히스토그램을 의미하고, 이것이 대표 영상의 컬러 히스토그램으로 구해지는 것이다. A nj means a color histogram of the image corresponding to the serial number j corresponding to the intermediate time among the M images included in the n- th segment of the specific video A , which is obtained as the color histogram of the representative image.

또한, 전술한 특성정보 추출부(420)는, 제 2 방식을 이용하여 대표 영상을 추출하여 특성정보를 추출하는 경우, 각 세그먼트 내 영상들에 대한 특성정보의 평균에 가장 가까운 특정정보를 나타낸 영상을 대표 영상으로 추출하고, 다시 이로부터 특성정보를 추출한다. 이를 위해, 특정 동영상 A의 n번째 세그먼트로부터 추출된 대표 영상에서 추출된 특성정보 A n 은 다음과 같은 수학식 2를 이용하여 얻을 수 있다. 여기서, 특성정보는 핑거프린트에 포함된 컬러 히스토그램인 것으로 가정한다. In addition, when the feature information extracting unit 420 extracts the feature information by extracting the representative image using the second method, the image showing the specific information closest to the average of the feature information for the images in each segment. Is extracted as a representative image, and feature information is extracted from it. To this end, the characteristic information A n extracted from the representative image extracted from the n- th segment of the specific video A may be obtained by using Equation 2 below. Here, it is assumed that the characteristic information is a color histogram included in the fingerprint.

Figure 112009044249871-pat00002
Figure 112009044249871-pat00002

상기 수학식 2에서, M은 특정 동영상 A의 n번째 세그먼트에 포함된 영상들(즉, 프레임들)의 개수이다. j는 특정 동영상 A의 n번째 세그먼트에 영상들 각각에 대한 시리얼 번호이다. In Equation 2, M is the number of images (ie, frames) included in the n- th segment of the specific video A. j is a serial number for each of the pictures in the n- th segment of the specific video A.

A nk 는 특정 동영상 A의 n번째 세그먼트에 포함된 k번째 영상에 대한 컬러 히스토그램을 의미한다. A navg 는 특정 동영상 A의 n번째 세그먼트에 포함된 M개의 영상들의 컬러 히스토그램 평균값을 의미한다. A nk means the color histogram of the k- th image included in the n- th segment of the specific video A. A navg means a color histogram mean value of M images included in the n- th segment of the specific video A. FIG.

상기 수학식 2에 따르면, 특정 동영상 A의 n번째 세그먼트에 포함된 k번째 영상 각각의 컬러 히스토그램 A nk 과, M개의 영상들의 컬러 히스토그램 평균값 A navg 의 차이값을 비교하여 차이값이 최소가 되도록 하는 컬러 히스토그램에 해당하는 영상, 즉 컬러 히스토그램 평균값에 가장 가까운 컬러 히스토그램을 보이는 영상을 대표 영상으로 추출하고 이 대표 영상에 대한 특성정보로서의 컬러 히스토그램인 A n 을 구할 수 있다. According to Equation 2, the color histogram A nk of each k- th image included in the n- th segment of the specific video A , and the color histogram average value A navg of the M images. The image corresponding to the color histogram which compares the difference values of the minimum values, i.e., the image whose color histogram is closest to the mean value of the color histogram, is extracted as the representative image and A is the color histogram A as the characteristic information of the representative image. n can be found.

전술한 대표 영상 추출 방식 중, 제 1 방식은 처리 속도가 빠르지만 정확도는 다소 낮을 수 있으며, 이에 비해 제 2 방식은 처리 속도가 느리지만 정확도는 높은 특징이 있다. Among the above-described representative image extraction methods, the first method may have a faster processing speed but a lower accuracy, whereas the second method may have a lower processing speed but a higher accuracy.

도 6은 본 발명의 일 실시예에 따른 자막정보 검색 서버(120)에 포함된 자막정보 검색부(330)에 대한 블록 구성도이다. 6 is a block diagram of a caption information search unit 330 included in the caption information search server 120 according to an exemplary embodiment of the present invention.

도 6을 참조하면, 본 발명의 일 실시예에 따른 자막정보 검색 서버(120)에 포함된 자막정보 검색부(330)는, 특성정보 입력부(320)로 입력된 특성정보 및 자막정보 검색 서버(120)의 데이터베이스에 기 저장된 특성정보 간의 차이값을 계산하는 특성정보 비교부(610); 및 계산된 차이값에 근거하여, 데이터베이스에 기 저장된 특성정보 중에서, 계산된 차이값이 임계값 이하인 특성정보를 추출하고, 이렇게 추출된 특성정보와 연계되어 저장된 동영상을 동일 동영상으로서 데이터베이스에서 검색하는 동일 동영상 검색부(620); 및 검색된 동일 동영상의 자막정보를 데이터베이스에서 추출하는 자막정보 추출부(630) 등을 포함한다. Referring to FIG. 6, the caption information search unit 330 included in the caption information search server 120 according to an exemplary embodiment of the present invention may include the feature information inputted to the feature information input unit 320 and the caption information search server ( A feature information comparison unit 610 for calculating a difference value between feature information previously stored in a database of 120; And extracting the characteristic information whose calculated difference value is equal to or less than a threshold value from among the characteristic information previously stored in the database based on the calculated difference value, and searching for the stored video linked to the extracted characteristic information in the database as the same video. A video search unit 620; And a caption information extracting unit 630 for extracting caption information of the same searched video from a database.

전술한 자막정보 검색부(330)에서, 특성정보에 기반하여 사용자 동영상과 동일한 동일 동영상을 데이터베이스에서 검색하는 과정을 따라오는 수학식 3과 수학 식 4를 참조하여 예시적으로 설명한다. The above-described subtitle information search unit 330 will be exemplarily described with reference to Equation 3 and Equation 4 which follow a process of searching the same video as the user video in the database based on the characteristic information.

사용자 동영상으로부터 추출되어 특성정보 입력부(320)로 입력된 사용자 동영상(즉, A 비디오)의 특성정보(A n )는, 데이터베이스에 기 저장된 여러 동영상들 중에서 특정 동영상(즉, B 비디오)의 특성정보(B n +k )와 각각 비교되고, 비교 결과에 따른 차이값(D k )은 다음의 수학식 3을 이용하여 계산할 수 있다. 여기서, 특성정보는 핑거프린트에 포함 가능한 컬러 히스토그램인 것으로 가정한다. The characteristic information A n of the user video (ie, A video) extracted from the user video and input to the characteristic information input unit 320 is characteristic information of a specific video (ie, B video) among several videos previously stored in the database. ( B n + k ), respectively, and a difference value D k according to the comparison result may be calculated using Equation 3 below. Here, it is assumed that the characteristic information is a color histogram that can be included in the fingerprint.

Figure 112009044249871-pat00003
Figure 112009044249871-pat00003

상기 수학식 3에서, A n 은 사용자 동영상(A 비디오)에 포함된 n번째 세그먼트으로부터 추출된 대표 영상의 컬러 히스토그램이고, B n +k 는 데이터베이스에 기 저장된 동영상(B 비디오)에 포함된 n번째 세그먼트로부터 추출된 대표 영상의 컬러 히스토그램이다. 그리고, N은 A 비디오의 세그먼트 개수이다. 이때, k는, A 비디오(즉, 사용자 동영상)가 B 비디오(즉, 데이터베이스에 기 저장된 동영상)보다 세그먼트의 개수가 작은 경우, B 비디오 내에서 A 비디오와 일치하는 세그먼트을 찾기 위해 A 비디오에 포함된 세그먼트와 B 비디오 내 각 세그먼트 간의 차이값을 계산하기 위한 것으로, 최종적으로 A 비디오에 포함된 세그먼트와 B 비디오 내의 세그먼트들 각각 간의 차이값 중 가장 작은 차이값을 A 비디오와 B 비디오 간의 최종적 인 차이값으로 사용할 수 있으며, 이는 수학식 4와 같이 나타낼 수 있다.In Equation 3, A n is a color histogram of the representative image extracted from the n- th segment included in the user video ( A video), and B n + k is the n- th included in the video ( B video) previously stored in the database. Color histogram of a representative image extracted from a segment. N is the number of segments of the A video. In this case, k is included in the A video to find a segment that matches the A video in the B video when the A video (that is, the user video) has a smaller number of segments than the B video (that is, the video previously stored in the database). segment and B as for calculating the difference between each segment, video, and finally, the segment and the segments and finally the difference value to the smallest difference value of the difference between the between the a video and B video within each B video included in the a video It can be used as, can be represented as shown in Equation 4.

Figure 112009044249871-pat00004
Figure 112009044249871-pat00004

상기 수학식 4에서, N, L은 각각 A 비디오 및 B 비디오의 세그먼트 개수이다. A 비디오와 B 비디오 간의 차이값(D)이 미리 정해진 특정 임계값(Threthold)보다 낮으면, A 비디오와 B 비디오는 동일한 비디오로 간주한다.In Equation 4, N and L are the number of segments of A video and B video, respectively. If the difference D between the A video and the B video is lower than a predetermined threshold, the A video and the B video are regarded as the same video.

이와 같이, 동일 동영상으로 검색된 B 비디오의 자막정보를 데이터베이스에 추출하여 사용자 단말기(110)로 자막정보 검색 요청에 대한 검색 결과로서 제공한다. 이때 k가 0이 아닌 경우에는, k개의 각 세그먼트에 해당하는 자막정보를 삭제하여 A 비디오, 즉 사용자 동영상에 자막이 동기화되도록 하여 자막정보를 제공할 수 있다. As such, the caption information of the B video searched for the same video is extracted to the database and provided to the user terminal 110 as a search result for the caption information search request. At this time, if k is not zero, it is possible to delete the subtitle information corresponding to the k pieces of each segment to provide the caption information to synchronize the subtitles on the video A, that is, user video.

도 7은 본 발명의 일 실시예에 따른 자막정보 검색 서버(120)가 제공하는 자막정보 검색 방법에 대한 흐름도이다. 7 is a flowchart illustrating a method for searching for caption information provided by the caption information search server 120 according to an exemplary embodiment of the present invention.

도 7을 참조하면, 본 발명의 일 실시예에 따른 자막정보 검색 서버(120)가 제공하는 자막정보 검색 방법은, 사용자 동영상의 특성정보를 입력받는 특성정보 입력 단계(S700); 데이터베이스에 기 저장된 동영상의 특성정보 및 입력된 특성정보 간의 비교를 통해, 사용자 동영상과 동일한 동일 동영상의 자막정보를 상기 데이터베이스에서 검색하는 자막정보 검색 단계(S702); 및 검색된 자막정보를 사용자 단말기로 제공하는 자막정보 제공 단계(S704) 등을 포함한다. Referring to FIG. 7, the caption information search method provided by the caption information search server 120 according to an embodiment of the present invention may include a characteristic information input step of receiving characteristic information of a user video (S700); A subtitle information retrieval step (S702) of retrieving subtitle information of the same video identical to a user video from the database through comparison between feature information of the video previously stored in a database and input property information; And a subtitle information providing step of providing the retrieved subtitle information to the user terminal (S704).

전술한 특성정보 입력 단계(S700) 이전에, 사용자 단말기로부터 사용자 동영상을 수신한 경우, 수신된 사용자 동영상의 분석을 통해 특성정보를 추출하는 특성정보 추출 단계를 더 포함할 수 있으며, 전술한 특성정보 입력 단계(S700)는 이러한 특성정보 추출 단계에서 추출된 특성정보를 입력받는다. Prior to the above-described characteristic information input step S700, when receiving the user video from the user terminal, the method may further include a feature information extraction step of extracting feature information through analysis of the received user video. The input step S700 receives the characteristic information extracted in the characteristic information extraction step.

도 8은 본 발명의 일 실시예에 따른 자막정보 검색 기능을 제공하는 사용자 단말기(110)에 대한 블록 구성도이다. 단, 아래에서는 사용자 단말기(110)를 단말기(110)로 줄여서 기재한다. 8 is a block diagram of a user terminal 110 that provides a caption information retrieval function according to an embodiment of the present invention. However, in the following description, the user terminal 110 is shortened to the terminal 110.

도 8을 참조하면, 본 발명의 일 실시예에 따른 자막정보 검색 기능을 제공하는 단말기(110)는, 재생하고자 하는 사용자 동영상의 특성정보를 추출하는 특성정보 추출부(810); 사용자 동영상 또는 사용자 동영상의 특성정보를 자막정보 검색 요청에 포함시켜 자막정보 검색 서버(120)로 송신하는 자막정보 검색 요청부(820); 및 자막정보 검색 요청에 대하여, 사용자 동영상의 자막정보를 자막정보 검색 서버(120)로부터 수신하는 자막정보 수신부(830) 등을 포함한다. Referring to FIG. 8, the terminal 110 providing a caption information retrieval function according to an embodiment of the present invention includes a feature information extracting unit 810 for extracting feature information of a user video to be reproduced; A caption information search request unit 820 including the user video or the characteristic information of the user video in the caption information search request and transmitting the same to the caption information search server 120; And a caption information receiver 830 for receiving caption information of the user video from the caption information search server 120 in response to the caption information search request.

전술한 바와 같이, 단말기(110)는, 자막정보 검색 요청을 송신할 때, 사용자 동영상을 자막정보 검색 요청포함시켜 송신할 수도 있고, 사용자 동영상이 아니라 사용자 동영상의 특성정보를 자막정보 검색 요청에 포함시켜 송신할 수도 있다. As described above, when transmitting the caption information search request, the terminal 110 may transmit the user video by including the caption information search request, and include the characteristic information of the user video in the caption information search request instead of the user video. Can also be sent.

도 9는 본 발명의 일 실시예에 따른 자막정보 검색 기능을 제공하는 단말기(110)에 포함된 특성정보 추출부(810)에 대한 블록 구성도이다. 9 is a block diagram of a feature information extractor 810 included in a terminal 110 providing a caption information retrieval function according to an embodiment of the present invention.

도 9를 참조하면, 전술한 단말기(110)에 포함된 특성정보 추출부(810)는, 사용자 동영상의 샷(Shot)을 검출하여 검출된 샷 단위로 사용자 동영상을 세그먼테이 션화 하여 복수 개의 세그먼트(Segment)로 분할하는 세그먼테이션화부(910); 각 세그먼트를 대표하는 대표 영상을 추출하는 대표 영상 추출부(920); 및 추출된 대표 영상으로부터 핑거프린트를 특성정보로서 추출하는 핑거프린트 추출부(930) 등을 포함한다. Referring to FIG. 9, the feature information extracting unit 810 included in the terminal 110 detects a shot of a user video and segments the user video in units of shots detected to generate a plurality of segments. Segmentation unit 910 for dividing into (Segment); A representative image extracting unit 920 for extracting a representative image representing each segment; And a fingerprint extractor 930 for extracting a fingerprint as characteristic information from the extracted representative image.

전술한 대표 영상 추출부(920)는, 각 세그먼트의 중간 시간에 위치하는 영상을 대표 영상으로 추출하는 제 1 방식과, 각 세그먼트 내 영상의 평균에 가까운 영상을 대표 영상으로 추출하는 제 2 방식 중 하나 이상을 이용하여 대표 영상을 추출할 수 있다. 이러한 단말기(110)의 특성정보 추출부(810)에 포함된 대표 영상 추출부(920)가 대표 영상을 추출하는 전술한 방식들은, 앞에서 수학식 1과 수학식 2를 참조하여 전술한 자막정보 검색 서버(120)에서의 대표 영상 추출 방식들과 동일한 방식으로 수행될 수 있다. The above-described representative image extracting unit 920 may include a first method of extracting an image located at an intermediate time of each segment as a representative image, and a second method of extracting an image close to an average of the image in each segment as the representative image. One or more representative images may be extracted. The above-described methods of extracting the representative image by the representative image extracting unit 920 included in the feature information extracting unit 810 of the terminal 110 are described above with reference to Equations 1 and 2 above. It may be performed in the same manner as the representative image extraction schemes in the server 120.

전술한 핑거프린트 추출부(530)에서 사용자 동영상의 특정정보로서 추출되는 핑거프린트는, 해당 영상의 고유특성을 나타내며 다른 영상과 구별되는 정보이다. The fingerprint extracted as the specific information of the user's video by the fingerprint extractor 530 described above represents information that is inherent in the image and is distinguished from other images.

일 예로서, 멀티미디어의 내용을 기술하고 동영상 데이터를 효율적으로 표현하고 검색하기 위해 MPEG-7 등의 동영상 압축 기술에서 사용되는 멀티미디어 시각 기술자(Visual Descriptor)를 전술한 핑거프린트로서 이용할 수 있다. 이러한 핑거프린트는 컬러 히스토그램, 에지, 오브젝트 모양 및 텍스쳐(Texture) 등 중에서 하나 이상을 포함할 수 있다. As an example, a multimedia visual descriptor used in a video compression technique such as MPEG-7 may be used as the fingerprint described above in order to describe the contents of multimedia and to efficiently express and retrieve video data. Such a fingerprint may include one or more of color histograms, edges, object shapes, textures, and the like.

이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 단말기에 사용자 동영상만 저장되어 있고 해당 자막정보가 저장되어 있지 않은 경우, 해당 사용자 동 영상의 자막정보를 검색하여 사용자에게 제공해줌으로써, 사용자가 재생하고자 하는 사용자 동영상의 자막정보를 쉽고 편리하게 검색할 수 있게 하는 효과가 있다. As described above, according to the exemplary embodiment of the present invention, when only the user video is stored in the terminal and the subtitle information is not stored, the user wants to play the subtitle information by searching for the subtitle information of the corresponding user video. There is an effect that makes it easy and convenient to search the subtitle information of the user video.

또한, 본 발명의 실시예에 의하면, 단말기에 사용자 동영상만 저장되어 있고 해당 자막정보가 저장되어 있지 않은 경우, 사용자 동영상의 특성정보를 이용하여 내용 기반으로 해당 사용자 동영상의 자막정보를 검색하여 사용자에게 제공해줌으로써, 사용자가 재생하고자 하는 사용자 동영상의 자막정보를 정확하고 효율적으로 검색할 수 있게 하는 효과가 있다. In addition, according to an embodiment of the present invention, when only the user video is stored in the terminal and the corresponding caption information is not stored, the caption information of the corresponding user video is searched to the user based on the content using the characteristic information of the user video. By providing the user, it is possible to search the caption information of the user's video to be played accurately and efficiently.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiments, it is to be understood that the invention is not limited to the disclosed embodiments. That is, within the scope of the present invention, all of the components may be selectively coupled to one or more of them. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. Codes and code segments constituting the computer program may be easily inferred by those skilled in the art. Such a computer program may be stored in a computer readable storage medium and read and executed by a computer, thereby implementing embodiments of the present invention. As the storage medium of the computer program, a magnetic recording medium, an optical recording medium, a carrier wave medium, or the like may be included.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.It is also to be understood that the terms such as " comprises, "" comprising," or "having ", as used herein, mean that a component can be implanted unless specifically stated to the contrary. But should be construed as including other elements. All terms, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Commonly used terms, such as predefined terms, should be interpreted to be consistent with the contextual meanings of the related art, and are not to be construed as ideal or overly formal, unless expressly defined to the contrary.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.

이상에서 설명한 바와 같이 본 발명의 실시예는 동영상 관련 서비스 분야에 적용되어, 단말기에 사용자 동영상만 저장되어 있고 해당 자막정보가 저장되어 있 지 않은 경우, 해당 사용자 동영상의 자막정보를 검색하여 사용자에게 제공해줌으로써, 사용자가 재생하고자 하는 사용자 동영상의 자막정보를 쉽고 편리하게 검색할 수 있게 하는 효과를 발생하는 매우 유용한 발명이다.As described above, an embodiment of the present invention is applied to a video related service field, and when only a user video is stored in the terminal and the subtitle information is not stored, the subtitle information of the corresponding user video is searched and provided to the user. It is a very useful invention to generate an effect that enables the user to easily and conveniently search for subtitle information of a user video to be played back.

도 1은 본 발명의 일 실시예에 따른 자막정보 검색 시스템을 개략적으로 나타낸 도면, 1 is a view schematically showing a subtitle information retrieval system according to an embodiment of the present invention;

도 2는 본 발명의 일 실시예에 따른 자막정보 검색 시스템에서 사용자 단말기 및 자막정보 검색 서버 간의 데이터 흐름에 대한 2가지 유형을 나타낸 도면, 2 is a view showing two types of data flow between a user terminal and a subtitle information retrieval server in a subtitle information retrieval system according to an embodiment of the present invention;

도 3은 본 발명의 일 실시예에 따른 자막정보 검색 서버에 대한 블록 구성도, 3 is a block diagram of a subtitle information retrieval server according to an embodiment of the present invention;

도 4는 본 발명의 일 실시예에 따른 자막정보 검색 서버에 포함된 특성정보 입력부가 특성정보를 입력받는 2가지 유형을 나타낸 도면, 4 is a diagram illustrating two types of feature information input units included in a caption information search server according to an embodiment of the present invention that receive feature information;

도 5는 본 발명의 일 실시예에 따른 자막정보 검색 서버에 포함된 특성정보 추출부에 대한 블록 구성도, 5 is a block diagram illustrating a feature information extracting unit included in a subtitle information retrieval server according to an embodiment of the present invention;

도 6은 본 발명의 일 실시예에 따른 자막정보 검색 서버에 포함된 자막정보 검색부에 대한 블록 구성도, 6 is a block diagram illustrating a caption information search unit included in a caption information search server according to an embodiment of the present invention;

도 7은 본 발명의 일 실시예에 따른 자막정보 검색 방법에 대한 흐름도, 7 is a flowchart illustrating a method for searching subtitle information according to an embodiment of the present invention;

도 8은 본 발명의 일 실시예에 따른 자막정보 검색 기능을 제공하는 단말기에 대한 블록 구성도, 8 is a block diagram of a terminal providing a caption information retrieval function according to an embodiment of the present invention;

도 9는 본 발명의 일 실시예에 따른 자막정보 검색 기능을 제공하는 단말기에 포함된 특성정보 추출부에 대한 블록 구성도이다. 9 is a block diagram illustrating a feature information extracting unit included in a terminal providing a caption information retrieval function according to an embodiment of the present invention.

< 도면의 주요 부분에 대한 부호의 설명 >Description of the Related Art

100: 자막정보 검색 시스템100: subtitle information search system

110: 사용자 단말기110: user terminal

120: 자막정보 검색 서버120: subtitle information search server

130: 유무선 통신망130: wired and wireless network

310: 자막정보 검색 요청 수신부310: subtitle information search request receiving unit

320: 특성정보 입력부320: characteristic information input unit

330: 자막정보 검색부330: subtitle information search unit

340: 자막정보 제공부340: subtitle information provider

410: 특성정보 전달부410: characteristic information transmission unit

420: 특성정보 추출부420: feature information extraction unit

510: 세그먼테이션화부510: segmentation department

520: 대표 영상 추출부520: representative image extraction unit

530: 핑거프린트 추출부530: fingerprint extraction unit

610: 특성정보 비교부610: characteristic information comparison unit

620: 동일 동영상 검색부620: same video search unit

630: 자막정보 추출부630: caption information extraction unit

Claims (11)

사용자 단말기로부터 자막정보 검색 요청을 수신하는 자막정보 검색 요청 수신부;A caption information search request receiver configured to receive a caption information search request from a user terminal; 사용자 동영상의 특성정보를 입력받는 특성정보 입력부; A characteristic information input unit configured to receive characteristic information of a user video; 데이터베이스에 기 저장된 동영상의 특성정보와 상기 입력된 특성정보를 비교하여, 상기 사용자 동영상과 동일한 동일 동영상의 자막정보를 상기 데이터베이스에서 검색하는 자막정보 검색부; 및 A caption information search unit for comparing caption information of a video previously stored in a database with the input characteristic information and searching for caption information of the same video as the user video in the database; And 상기 검색된 자막정보를 사용자 단말기로 제공하는 자막정보 제공부;Subtitle information providing unit for providing the retrieved subtitle information to the user terminal; 를 포함하고,Including, 상기 자막정보 검색 요청 수신부는, The caption information search request receiver, 상기 수신된 자막정보 검색 요청에 상기 사용자 동영상의 특성정보가 포함된 경우, 상기 특성정보를 상기 특성정보 입력부에 입력시키는 특성정보 전달부; 및 A feature information transfer unit for inputting the feature information to the feature information input unit when the received subtitle information search request includes feature information of the user video; And 상기 수신된 자막정보 검색 요청에 상기 사용자 동영상이 포함된 경우, 상기 사용자 동영상으로부터 상기 특성정보를 추출하여 상기 특성정보 입력부에 입력시키는 특성정보 추출부;A feature information extracting unit extracting the feature information from the user video and inputting the feature information to the feature information input unit when the user video is included in the received subtitle information search request; 를 포함하며,/ RTI &gt; 상기 특성정보 추출부는, The characteristic information extraction unit, 상기 사용자 동영상의 샷(Shot)을 검출하여 상기 검출된 샷 단위로 상기 사용자 동영상을 세그먼테이션(Segmentation)화 하여 복수 개의 세그먼트(Segment)로 분할하는 세그먼테이션화부; A segmentation unit configured to detect a shot of the user video, segment the user video by the detected shot unit, and divide the user video into a plurality of segments; 상기 각 세그먼트를 대표하는 대표 영상을 추출하는 대표 영상 추출부; 및 A representative image extracting unit extracting a representative image representing each segment; And 상기 추출된 대표 영상으로부터 핑거프린트(Fingerprint)를 상기 특성정보로서 추출하는 핑거프린트 추출부;A fingerprint extracting unit which extracts a fingerprint from the extracted representative image as the characteristic information; 를 포함하고,Including, 상기 대표 영상 추출부는, The representative image extractor, 상기 각 세그먼트의 중간 시간에 가장 인접한 시간에 해당하는 영상을 상기 대표 영상으로 추출하거나, 상기 각 세그먼트 내 영상의 평균에 가장 가까운 영상을 상기 대표 영상으로 추출하는 것을 특징으로 하는 자막정보 검색 서버. Subtitle information retrieval server, characterized in that for extracting the image corresponding to the time closest to the middle time of each segment as the representative image, or extract the image closest to the average of the image in each segment as the representative image. 삭제delete 삭제delete 삭제delete 제 1항에 있어서, The method of claim 1, 상기 핑거프린트는, The fingerprint is, 상기 사용자 동영상에 대한 컬러 히스토그램, 에지, 오브젝트 모양 및 텍스쳐(Texture) 중 하나 이상을 포함하는 것을 특징으로 하는 자막정보 검색 서버. And at least one of a color histogram, an edge, an object shape, and a texture of the user video. 제 1항에 있어서, The method of claim 1, 상기 자막정보 검색부는, The subtitle information search unit, 상기 입력된 특성정보 및 상기 데이터베이스에 기 저장된 특성정보 간의 차이값을 계산하는 특성정보 비교부; 및 A feature information comparison unit configured to calculate a difference between the input feature information and feature information previously stored in the database; And 상기 데이터베이스에 기 저장된 특성정보 중에서, 상기 계산된 차이값이 임계값 이하인 특성정보를 추출하고, 상기 추출된 특성정보와 연계되어 저장된 동영상을 상기 동일 동영상으로서 상기 데이터베이스에서 검색하는 동일 동영상 검색부; 및 An identical video searching unit for extracting characteristic information whose calculated difference value is equal to or less than a threshold value from among the characteristic information previously stored in the database, and searching the database as the same moving image for the stored video associated with the extracted characteristic information; And 상기 검색된 동일 동영상의 자막정보를 상기 데이터베이스에서 추출하는 자막정보 추출부Subtitle information extraction unit for extracting the subtitle information of the searched same video from the database 를 포함하는 것을 특징으로 하는 자막정보 검색 서버. Subtitle information search server comprising a. 자막정보 검색 서버가 제공하는 자막정보 검색 방법에 있어서, In the subtitle information search method provided by the subtitle information search server, 사용자 단말기로부터 사용자 동영상을 수신한 경우, 상기 수신된 사용자 동영상의 분석을 통해 특성정보를 추출하는 특성정보 추출 단계;A feature information extraction step of extracting feature information through analysis of the received user video when receiving a user video from a user terminal; 상기 사용자 동영상으로부터 추출된 특성정보를 입력받는 특성정보 입력 단계; A characteristic information input step of receiving characteristic information extracted from the user video; 데이터베이스에 기 저장된 동영상의 특성정보와 상기 입력된 특성정보를 비교하여, 상기 사용자 동영상과 동일한 동일 동영상의 자막정보를 상기 데이터베이스에서 검색하는 자막정보 검색 단계; 및 A caption information searching step of searching for the caption information of the same video as the user video in the database by comparing the characteristic information of the video previously stored in the database with the input characteristic information; And 상기 검색된 자막정보를 사용자 단말기로 제공하는 자막정보 제공 단계;Providing subtitle information for providing the retrieved subtitle information to a user terminal; 를 포함하고,Including, 상기 특성정보 추출 단계는 상기 사용자 동영상의 샷(Shot)을 검출하여 상기 검출된 샷 단위로 상기 사용자 동영상을 세그먼테이션(Segmentation)화 하여 복수 개의 세그먼트(Segment)로 분할하고, 상기 각 세그먼트를 대표하는 대표 영상을 추출한 후, 상기 추출된 대표 영상으로부터 핑거프린트(Fingerprint)를 상기 특성정보로서 추출하는 것을 특징으로 하며,In the extracting of the characteristic information, a shot of the user video is detected, the user video is segmented by the detected shot unit, divided into a plurality of segments, and a representative representative of each segment. After the image is extracted, a fingerprint (Fingerprint) is extracted as the characteristic information from the extracted representative image, 상기 특성정보 추출 단계는 상기 대표 영상 추출시 상기 각 세그먼트의 중간 시간에 가장 인접한 시간에 해당하는 영상을 상기 대표 영상으로 추출하거나, 상기 각 세그먼트 내 영상의 평균에 가장 가까운 영상을 상기 대표 영상으로 추출하는 것을 특징으로 하는 자막정보 검색 방법. The extracting of the characteristic information may include extracting, as the representative image, an image corresponding to a time closest to an intermediate time of each segment as the representative image, or extracting an image closest to an average of the image in each segment as the representative image. Subtitle information search method characterized in that. 삭제delete 삭제delete 사용자 동영상으로부터 특성정보를 추출하여 송신하고, 상기 사용자 동영상의 자막정보를 수신하는 사용자 단말기; 및 A user terminal extracting and transmitting characteristic information from a user video and receiving caption information of the user video; And 상기 특성정보를 수신하고, 데이터베이스에 기 저장된 동영상의 특성정보와 상기 수신된 특성정보를 비교하여, 상기 사용자 동영상과 동일한 동일 동영상의 상기 자막정보를 상기 데이터베이스에서 검색하여 상기 사용자 단말기로 송신하는 자막정보 검색 서버;Subtitle information for receiving the characteristic information, comparing the characteristic information of the video previously stored in the database and the received characteristic information, the subtitle information of the same video as the user video in the database to search for and transmit to the user terminal Search server; 를 포함하고,Including, 상기 사용자 단말기는 상기 사용자 동영상의 샷(Shot)을 검출하여 상기 검출된 샷 단위로 상기 사용자 동영상을 세그먼테이션(Segmentation)화 하여 복수 개의 세그먼트(Segment)로 분할하고, 상기 각 세그먼트를 대표하는 대표 영상을 추출한 후, 상기 추출된 대표 영상으로부터 핑거프린트(Fingerprint)를 상기 특성정보로서 추출하는 것을 특징으로 하며,The user terminal detects a shot of the user video, segments the user video by the detected shot unit, divides the user video into a plurality of segments, and displays a representative image representing each segment. After extraction, the fingerprint (Fingerprint) is extracted as the characteristic information from the extracted representative image, 상기 사용자 단말기는 상기 대표 영상 추출시 상기 각 세그먼트의 중간 시간에 가장 인접한 시간에 해당하는 영상을 상기 대표 영상으로 추출하거나, 상기 각 세그먼트 내 영상의 평균에 가장 가까운 영상을 상기 대표 영상으로 추출하는 것을 특징으로 하는 자막정보 검색 시스템. When extracting the representative image, the user terminal extracts the image corresponding to the time closest to the intermediate time of each segment as the representative image, or extracts the image closest to the average of the image in each segment as the representative image. Caption information retrieval system characterized by. 삭제delete
KR1020090066196A 2009-07-21 2009-07-21 Method, Terminal, Server and System for Searching Subtitle of Video KR101330524B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090066196A KR101330524B1 (en) 2009-07-21 2009-07-21 Method, Terminal, Server and System for Searching Subtitle of Video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090066196A KR101330524B1 (en) 2009-07-21 2009-07-21 Method, Terminal, Server and System for Searching Subtitle of Video

Publications (2)

Publication Number Publication Date
KR20110008711A KR20110008711A (en) 2011-01-27
KR101330524B1 true KR101330524B1 (en) 2013-11-18

Family

ID=43614682

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090066196A KR101330524B1 (en) 2009-07-21 2009-07-21 Method, Terminal, Server and System for Searching Subtitle of Video

Country Status (1)

Country Link
KR (1) KR101330524B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101403969B1 (en) * 2013-04-05 2014-06-10 구재환 How to recognize the point of the subtitles of the video playback time code is lost
CN104462355B (en) * 2014-12-05 2017-10-17 国家电网公司 A kind of multimedia system and multi-media processing method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050071822A (en) * 2004-01-02 2005-07-08 황정우 Mobile communication terminal having function of editing moving-picture and method for editing and service server for editing moving-picture and method for editing
KR20060099866A (en) * 2005-03-15 2006-09-20 (주)잉카엔트웍스 Method of providing caption information and system thereof
KR20080101075A (en) * 2007-05-15 2008-11-21 삼성전자주식회사 Method and apparatus for searching video and video information, and system performing the method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050071822A (en) * 2004-01-02 2005-07-08 황정우 Mobile communication terminal having function of editing moving-picture and method for editing and service server for editing moving-picture and method for editing
KR20060099866A (en) * 2005-03-15 2006-09-20 (주)잉카엔트웍스 Method of providing caption information and system thereof
KR20080101075A (en) * 2007-05-15 2008-11-21 삼성전자주식회사 Method and apparatus for searching video and video information, and system performing the method

Also Published As

Publication number Publication date
KR20110008711A (en) 2011-01-27

Similar Documents

Publication Publication Date Title
CN112565825B (en) Video data processing method, device, equipment and medium
US8995823B2 (en) Method and system for content relevance score determination
US8879788B2 (en) Video processing apparatus, method and system
KR101810578B1 (en) Automatic media sharing via shutter click
US20090007202A1 (en) Forming a Representation of a Video Item and Use Thereof
US20070101266A1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
JP2001155169A (en) Method and system for dividing, classifying and summarizing video image
CN104216956B (en) The searching method and device of a kind of pictorial information
US20110052086A1 (en) Electronic Apparatus and Image Processing Method
CN108337482A (en) The storage method and system of monitor video
KR20090019712A (en) Information processing device and information processing method
KR101541495B1 (en) Apparatus, method and computer readable recording medium for analyzing a video using the image captured from the video
KR100896336B1 (en) System and Method for related search of moving video based on visual content
KR20150015016A (en) Searching for events by attendants
JP2014006680A (en) Video recorder, information processing system, information processing method, and recording media
CN114845149B (en) Video clip method, video recommendation method, device, equipment and medium
EP2887259A1 (en) Method for annotating an object in a multimedia asset
KR101330524B1 (en) Method, Terminal, Server and System for Searching Subtitle of Video
KR20200024541A (en) Providing Method of video contents searching and service device thereof
Bohm et al. Prover: Probabilistic video retrieval using the Gauss-tree
US20150078730A1 (en) Signal recording apparatus, camera recorder, and signal processing system
KR101334127B1 (en) System and method for providing content sharing service using client terminal
KR100930529B1 (en) Harmful video screening system and method through video identification
KR20090096158A (en) System and Method for cross-media search based on moving video still cut
KR101749420B1 (en) Apparatus and method for extracting representation image of video contents using closed caption

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181106

Year of fee payment: 6