KR100896336B1 - System and Method for related search of moving video based on visual content - Google Patents

System and Method for related search of moving video based on visual content Download PDF

Info

Publication number
KR100896336B1
KR100896336B1 KR1020070084365A KR20070084365A KR100896336B1 KR 100896336 B1 KR100896336 B1 KR 100896336B1 KR 1020070084365 A KR1020070084365 A KR 1020070084365A KR 20070084365 A KR20070084365 A KR 20070084365A KR 100896336 B1 KR100896336 B1 KR 100896336B1
Authority
KR
South Korea
Prior art keywords
video
fingerprint
search
index
information
Prior art date
Application number
KR1020070084365A
Other languages
Korean (ko)
Other versions
KR20090020005A (en
Inventor
박만수
양승현
Original Assignee
주식회사 코난테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 코난테크놀로지 filed Critical 주식회사 코난테크놀로지
Priority to KR1020070084365A priority Critical patent/KR100896336B1/en
Publication of KR20090020005A publication Critical patent/KR20090020005A/en
Application granted granted Critical
Publication of KR100896336B1 publication Critical patent/KR100896336B1/en

Links

Images

Abstract

본 발명은 영상 정보 기반의 동영상 연관 검색 시스템 및 방법을 개시한다. 본 발명에 따른 시스템은, 동영상 파일에 대한 메타 정보 및 동영상의 프레임별 서브 비디오 핑거프린트의 집합으로 이루어진 비디오 핑거프린트 정보를 수록하고 있는 동영상 색인 DB; 검색어를 입력받아 메타 정보 기반으로 상기 동영상 색인 DB를 조회하여 검색어와 연관된 동영상 검색 결과를 제공하는 메타 검색부; 및 상기 동영상 검색 결과에 포함된 특정 동영상에 대한 연관 검색 요청을 접수받아 상기 동영상 색인 DB로부터 해당 동영상의 비디오 핑거프린트를 리드하고, 리드한 비디오 핑거프린트와 일부 또는 전체가 중첩되는 비디오 핑거프린트를 식별하고, 식별된 비디오 핑거프린트에 대응되는 다른 동영상의 메타 정보를 상기 동영상 색인 DB로부터 독출하여 메타 정보를 포함하는 동영상 연관 검색 결과 정보를 사용자에게 제공하는 동영상 연관 검색부;를 포함하는 것을 특징으로 한다.

Figure R1020070084365

비디오 핑거프린트, 동영상 검색, 연관 검색

The present invention discloses a video related search system and method based on video information. The system according to the present invention comprises: a video index DB containing video fingerprint information including a set of meta information on a video file and a sub video fingerprint per frame of the video; A meta search unit that receives a search term and searches the video index DB based on meta information to provide a video search result associated with the search term; And receiving a related search request for a specific video included in the video search result, reading a video fingerprint of the video from the video index DB, and identifying a video fingerprint that partially or entirely overlaps the read video fingerprint. And a video association search unit configured to read meta information of another video corresponding to the identified video fingerprint from the video index DB and provide video related search result information including meta information to a user. .

Figure R1020070084365

Video fingerprint, video search, associative search

Description

영상 정보 기반의 동영상 연관 검색 시스템 및 방법{System and Method for related search of moving video based on visual content}System and Method for related search of moving video based on visual content}

본 발명은 동영상 검색과 관련된 것으로서, 보다 상세하게는 영상 정보를 기반으로 동영상을 연관 검색할 수 있는 시스템 및 그 방법에 관한 것이다.The present invention relates to video search, and more particularly, to a system and a method for associating a video based on image information.

최근 들어, 디지털 카메라/캠코더, 카메라 휴대폰, 휴대용 디지털 동영상 재생기(PMP, MP4P 등) 등의 발달로 동영상 콘텐츠의 제작과 활용이 용이해졌다. 또한, UCC(User Created Contents) 서비스의 급속한 확산으로 사용자에 의해 생산된 디지털 동영상 파일이 UCC 전문 사이트나 P2P(Peer to Peer) 방식의 파일 공유 사이트, 개인 블로그나 미니 홈페이지 등을 통해 업로드되고 있다. 이렇게 업로드된 동영상 파일은 인터넷을 통한 다운로드 또는 스트리밍 서비스에 의해 다른 사용자들에게 공유된다.Recently, with the development of digital cameras / camcorders, camera mobile phones, portable digital video players (PMP, MP4P, etc.), the production and utilization of video content has become easy. In addition, due to the rapid proliferation of UCC (User Created Contents) services, digital video files produced by users are uploaded through UCC specialized sites, P2P (peer to peer) file sharing sites, personal blogs or mini homepages. The uploaded video file is shared with other users by downloading or streaming service through the Internet.

현재의 인터넷 검색 서비스에서 양적으로 팽창된 동영상 콘텐츠에 대한 검색은 단순히 메타 정보를 기반으로 이루어지고 있는 실정이다. 즉, 사용자가 동영상 콘텐츠에 관한 정보, 예컨대 동영상의 제목 등을 키워드로 사용하여 검색을 요청하면, 검색 엔진은 메타 정보에 해당 키워드를 포함하고 있는 동영상 정보를 검색 결 과로서 보여준다.In the current Internet search service, the search for quantitatively expanded video content is simply based on meta information. That is, when a user requests a search using information about video content, for example, a title of a video, as a keyword, the search engine displays video information including the keyword in meta information as a search result.

그런데 위와 같은 메타 정보 기반의 검색방식은 검색 결과에 포함된 특정 동영상과 연관성이 있는 다른 동영상 콘텐츠를 찾는데 한계가 있다. 연관성이 있는 동영상 콘텐츠를 찾으려면 동영상 검색 결과를 기반으로 메타 정보 기반의 검색을 반복해야 하기 때문이다.However, the above meta-based search method has a limitation in finding other video contents related to a specific video included in a search result. This is because it is necessary to repeat the search based on meta information based on the video search results in order to find relevant video contents.

한편, 최근에는 사용자들의 검색 프로파일이나 행동 패턴을 추적하여 동영상 콘텐츠에 대한 검색시 사용자 맞춤형으로 동영상 콘텐츠를 추천해주는 시도가 이루어지고 있다. 예를 들어 사용자의 연령이나 성별 그리고 주로 이용하는 동영상 콘텐츠의 종류를 추적함으로써 사용자가 선호할 수 있는 동영상 콘텐츠를 중심으로 동영상 검색 결과를 제공하는 서비스가 바로 그것이다. 하지만, 동영상 검색을 요청하는 사용자마다 서로 다른 특성을 지니고 있기 때문에 동영상 콘텐츠 추천시 명확하고 일관된 기준을 제시할 수 없을 뿐만 아니라 사용자의 검색 프로파일이나 행동 패턴을 추적하기 위해서는 고성능의 검색 엔진이 필요하다는 단점이 있다.On the other hand, in recent years, attempts have been made to recommend video contents customized to users when searching for video contents by tracking search profiles or behavior patterns of users. For example, a service that provides a video search result centering on a user's favorite video content by tracking the user's age or gender and the type of video content used mainly. However, because each user requesting a video search has different characteristics, it is not possible to provide clear and consistent criteria when recommending video content, and a high-performance search engine is required to track the user's search profile or behavioral patterns. There is this.

본 발명은 상술한 종래기술의 문제를 해결하기 위하여 창안된 것으로서, 영상 정보 기반의 비디오 핑거프린트 기술을 활용하여 동영상 검색 결과와 더불어 어느 일정 부분이 동일한 영상이 삽입되어 있는 다른 동영상 콘텐츠들을 사용자들에게 연관 검색할 수 있는 시스템 및 방법을 제공하는데 그 목적이 있다.The present invention was devised to solve the above-described problems of the prior art, and utilizes video fingerprint technology based on image information to provide users with video search results and other video contents in which certain portions are inserted with the same video. Its purpose is to provide a system and method for associative search.

본 발명의 다른 목적은 동영상 콘텐츠를 연관 검색하기 위해 동일한 영상을 기반으로 동영상을 체계적으로 분류할 수 있는 시스템 및 방법을 제공하는데 있다.Another object of the present invention is to provide a system and method that can systematically classify moving images based on the same image in order to associate and search moving image contents.

상기 기술적 과제를 달성하기 위한 본 발명의 일 측면에 따른 영상 정보 기반의 동영상 연관 검색 시스템은, 동영상 파일에 대한 메타 정보 및 동영상의 프레임별 서브 비디오 핑거프린트의 집합으로 이루어진 비디오 핑거프린트 정보를 수록하고 있는 동영상 색인 DB; 검색어를 입력받아 메타 정보 기반으로 상기 동영상 색인 DB를 조회하여 검색어와 연관된 동영상 검색 결과를 제공하는 메타 검색부; 및 상기 동영상 검색 결과에 포함된 특정 동영상에 대한 연관 검색 요청을 접수받아 상기 동영상 색인 DB로부터 해당 동영상의 비디오 핑거프린트를 리드하고, 리드한 비디오 핑거프린트와 일부 또는 전체가 중첩되는 비디오 핑거프린트를 식별하고, 식별된 비디오 핑거프린트에 대응되는 다른 동영상의 메타 정보를 상기 동영상 색인 DB로부터 독출하여 메타 정보를 포함하는 동영상 연관 검색 결과 정보를 사용자에게 제공하는 동영상 연관 검색부;를 포함하는 것을 특징으로 한다.According to an aspect of the present invention for achieving the above technical problem, the video information-based video association search system, the video fingerprint information consisting of a set of meta information about the video file and the sub-video fingerprint of each video frame, and Video index DB; A meta search unit that receives a search term and searches the video index DB based on meta information to provide a video search result associated with the search term; And receiving a related search request for a specific video included in the video search result, reading a video fingerprint of the video from the video index DB, and identifying a video fingerprint that partially or entirely overlaps the read video fingerprint. And a video association search unit configured to read meta information of another video corresponding to the identified video fingerprint from the video index DB and provide video related search result information including meta information to a user. .

바람직하게, 상기 동영상 연관 검색부는 연관 검색이 요청된 동영상의 비디오 핑거프린트로부터 샘플링된 복수의 서브 비디오 핑거프린트와 일부 또는 전체가 중첩되는 서브 비디오 핑거프린트 그룹을 포함하고 있는 다른 동영상의 비디오 핑거프린트를 상기 동영상 색인 DB에서 식별하고, 식별된 비디오 핑거프린트에 대응되는 다른 동영상의 메타 정보를 상기 동영상 색인 DB로부터 독출하여 메타 정보를 포함하는 동영상 연관 검색 결과 정보를 사용자에게 제공한다.Preferably, the video association search unit may include a video fingerprint of another video including a plurality of sub video fingerprints that are partially or entirely overlapped with a plurality of sub video fingerprints sampled from the video fingerprint of the video for which the association search is requested. The meta information of another video identified in the video index DB and corresponding to the identified video fingerprint is read from the video index DB to provide the user with video related search result information including the meta information.

상기 기술적 과제를 달성하기 위한 본 발명의 다른 측면에 따른 영상 정보 기반의 동영상 연관 검색 시스템은, 동영상 파일에 대한 메타 정보 및 동영상의 프레임별 서브 비디오 핑거프린트의 집합으로 이루어진 비디오 핑거프린트 정보를 수록하고 있는 동영상 색인 DB; 상기 동영상 색인 DB에 저장된 각 비디오 핑거프린트 별로 해당 비디오 핑거프린트와 일부 또는 전체가 중첩되는 다른 비디오 핑거프린트(들)를 동영상 색인 DB로부터 식별하고, 식별된 다른 비디오 핑거프린트(들)의 리스트를 상기 리스트 생성의 대상이 된 비디오 핑거프린트와 매칭시켜 연관리스트 DB에 저장하는 연관리스트 생성부; 검색어를 입력받아 메타 정보 기반으로 상기 동영상 색인 DB를 조회하여 검색어와 연관된 동영상 검색 결과를 제공하는 메타 검색부; 및 상기 동영상 검색 결과에 포함된 특정 동영상에 대한 연관 검색 요청을 접수받아 상기 연관리스트 DB에서 연관 검색이 요청된 동영상의 비디오 핑거프린트를 식별하고, 식별된 비디오 핑거프린트와 매칭되어 저장된 비디오 핑거프린트의 리스트를 독출한 후 리스트에 포함된 각 비디오 핑거프린트의 메타 정보를 상기 동영상 색인 DB로부터 조회하여 메타 정보를 포함하는 동영상 연관 검색 결과 정보를 사용자에게 제공하는 동영상 연관 검색부;를 포함하는 것을 특징으로 한다.According to another aspect of the present invention for achieving the above technical problem, a video information-based video related retrieval system includes video fingerprint information including meta information about a video file and a sub video fingerprint of each video frame. Video index DB; For each video fingerprint stored in the video index DB, other video fingerprint (s) overlapping with some or all of the video fingerprint are identified from the video index DB, and a list of the identified other video fingerprint (s) is obtained. An association list generator for matching the video fingerprint as a list generation target and storing the match in the association list DB; A meta search unit that receives a search term and searches the video index DB based on meta information to provide a video search result associated with the search term; And receiving a related search request for a specific video included in the video search result, identifying a video fingerprint of a video for which a related search is requested in the related list DB, and matching the stored video fingerprint with the identified video fingerprint. And a video association search unit that provides the user with video related search result information including meta information by searching the video index DB for meta information of each video fingerprint included in the list after reading a list. do.

바람직하게, 상기 연관리스트 생성부는 상기 리스트 생성 대상이 된 비디오 핑거프린트로부터 샘플링된 복수의 서브 비디오 핑거프린트와 일부 또는 전체가 중첩되는 서브 핑거프린트 그룹을 포함하고 있는 다른 비디오 핑거프린트(들)를 식별하여 상기 비디오 핑거프린트(들)의 리스트를 동영상 색인 DB로부터 독출한다.Preferably, the associative list generator identifies other video fingerprint (s) including a plurality of sub video fingerprints sampled from the video fingerprint subjected to the list generation, and a sub fingerprint group which overlaps some or all of the sub video fingerprints. To read the list of video fingerprint (s) from a video index DB.

본 발명에 따른 시스템은, 상기 동영상 색인 DB를 구축하는 수단으로 동영상 파일을 입력받는 파일 입력부; 상기 입력된 동영상 파일로부터 메타 정보를 추출하는 메타 정보 추출부; 상기 입력된 동영상 파일에 포함된 비디오 데이터를 분석하여 비디오 핑거프린트를 추출하는 비디오 특징 추출부; 상기 추출된 메타 정보와 비디오 핑거프린트를 매칭시켜 상기 동영상 색인 DB에 수록하는 동영상 색인부; 및 동영상 검색의 대상이 되는 동영상 파일이 저장되어 있는 동영상 스토리지;를 더 포함한다.The system according to the present invention includes a file input unit for receiving a video file as a means for building the video index DB; A meta information extracting unit extracting meta information from the input video file; A video feature extracting unit extracting a video fingerprint by analyzing video data included in the input video file; A video indexing unit matching the extracted meta information with a video fingerprint and recording the same in the video index DB; And a video storage in which a video file to be searched for a video is stored.

본 발명에 따른 시스템은, 사용자의 검색어를 입력받는 검색요청 수신부;를 더 포함하고, 상기 검색어는 동영상에 관한 메타 검색어이다.The system according to the present invention further includes a search request receiving unit for receiving a user's search word, wherein the search word is a meta search term related to a video.

본 발명에 따른 시스템은, 상기 동영상 검색 결과에 포함된 특정 동영상에 대한 연관 검색 요청을 접수받는 연관 검색요청 수신부;를 더 포함하고, 상기 연관 검색 요청은 동영상 검색 결과에 포함된 동영상 링크의 주변에 마련된 연관 검색 인터페이스의 클릭 또는 마우스 오버에 의해 이루어진다.The system according to the present invention further includes an association search request receiving unit for receiving an association search request for a specific video included in the video search result, wherein the association search request is included in the vicinity of a video link included in the video search result. This is done by clicking or hovering over the associated search interface.

본 발명의 다른 기술적 과제는 상술한 영상 정보 기반의 동영상 연관 검색 시스템의 동작 방법에 의해서도 달성될 수 있다.Another technical problem of the present invention can be achieved by the above-described method of operating a video related search system based on image information.

본 발명에 따르면, 사용자가 동영상을 검색한 후 밀접하게 연관된 다른 콘텐츠들을 재검색할 필요 없이 바로 연관 검색 결과를 통해 연관된 동영상 정보를 확인할 수 있다. 이에 따라, 일정 부분이 동일한 영상이 삽입되어 있는 동영상 콘텐츠들을 손쉽게 얻을 수 있는 장점이 있다.According to the present invention, after a user searches for a video, the related video information can be identified through the related search result without re-searching other closely related contents. Accordingly, there is an advantage that it is easy to obtain video contents in which a certain portion of the same image is inserted.

이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. Prior to this, terms or words used in the specification and claims should not be construed as having a conventional or dictionary meaning, and the inventors should properly explain the concept of terms in order to best explain their own invention. Based on the principle that can be defined, it should be interpreted as meaning and concept corresponding to the technical idea of the present invention. Therefore, the embodiments described in the specification and the drawings shown in the drawings are only the most preferred embodiment of the present invention and do not represent all of the technical idea of the present invention, various modifications that can be replaced at the time of the present application It should be understood that there may be equivalents and variations.

도 1은 본 발명의 제1실시예에 따른 영상 정보 기반의 동영상 연관 검색 시스템의 개략적인 구성도이다.1 is a schematic configuration diagram of a video related search system based on image information according to a first embodiment of the present invention.

도 1을 참조하면, 제1실시예에 따른 동영상 연관 검색 시스템은, 동영상 색인 DB(140) 및 동영상 스토리지(150), 그리고 이들을 구축하기 위한 파일 입력부(210), 메타 정보 추출부(220), 비디오 특징 추출부(230) 및 동영상 색인부(240)를 포함한다.Referring to FIG. 1, the video related search system according to the first embodiment includes a video index DB 140 and a video storage 150, a file input unit 210, a meta information extracting unit 220, The video feature extractor 230 and the video indexer 240 are included.

상기 파일 입력부(210)는 동영상 파일을 입력받아 임시적으로 메모리(250)에 저장한다. 메모리(250)는 전통적인 컴퓨터 시스템에 구비되는 활성 메모리이다. 상기 파일 입력부(210)는 파일 입력을 위한 인터페이스로서, 파일은 유선 또는 무선 인터넷과 같은 정보 통신망을 통해 입력될 수도 있고, 하드 드라이브, CD-ROM, DVD 등의 전통적인 저장매체로부터 입력될 수도 있다. 후자의 경우, 파일 입력부(210)는 파일 관리자가 저장매체에 저장된 각종 동영상 파일을 검색하여 메타 정보와 비디오 핑거프린트를 추출할 대상 파일을 선별할 수 있는 사용자 인터페이스를 제공하는 것이 바람직하다.The file input unit 210 receives a video file and temporarily stores it in the memory 250. Memory 250 is active memory included in traditional computer systems. The file input unit 210 is an interface for inputting a file. The file input unit 210 may be input through an information communication network such as a wired or wireless Internet, or may be input from a traditional storage medium such as a hard drive, a CD-ROM, a DVD, or the like. In the latter case, the file input unit 210 may provide a user interface that allows a file manager to search for various video files stored in a storage medium and select a target file from which meta information and a video fingerprint are extracted.

상기 메타 정보 추출부(220)는 메모리(250)에 저장된 동영상 파일의 메타 정보를 리드하여 동영상 색인부(240)로 출력한다. 상기 메타 정보는 동영상의 제목, 제작자, 장르, 제작일자 등이다. 하지만, 본 발명이 메타 정보의 종류에 의해 한정되는 것은 아니다. 한편, 상기 메타 정보에는 동영상 파일의 헤더 정보가 더 포함될 수 있는 것으로 해석될 수 있음을 밝혀둔다.The meta information extracting unit 220 reads the meta information of the video file stored in the memory 250 and outputs the meta information of the video file to the video indexing unit 240. The meta information is a title, a producer, a genre, a production date, and the like of the video. However, the present invention is not limited by the type of meta information. Meanwhile, it should be noted that the meta information may be interpreted to further include header information of a video file.

상기 비디오 특징 추출부(230)는 메모리(250)에 저장된 동영상 파일에 포함된 비디오 데이터를 분석하여 비디오 핑거프린트를 추출한다. 추출된 비디오 핑거프린트는 동영상 색인부(240)로 출력한다.The video feature extractor 230 extracts a video fingerprint by analyzing video data included in a video file stored in the memory 250. The extracted video fingerprint is output to the moving picture index unit 240.

여기서, 비디오 핑거프린트는 동영상 파일에 포함된 비디오 데이터를 배타적이고도 고유하게 식별할 수 있는 일종의 비디오 지문을 지칭한다. 상기 비디오 특 징 추출부(230)는 비디오 핑거프린트를 추출하기에 앞서 동영상 파일로부터 비디오 데이터만을 선택적으로 분리하는 과정을 선행할 수 있다.Here, the video fingerprint refers to a kind of video fingerprint that can exclusively and uniquely identify video data included in a moving image file. The video feature extractor 230 may precede the process of selectively separating only the video data from the video file before extracting the video fingerprint.

상기 비디오 특징 추출부(230)는 비디오 핑거프린트를 추출하기 위해 동영상 파일에서 비디오 스트림을 선택적으로 분리하고, 분리된 비디오 스트림을 디코딩하여 raw 포맷의 영상 데이터로 변환한다. 여기서, raw 포맷은 YUV(YCbCr) 포맷 또는 RGB 포맷을 의미한다. 하지만, 본 발명은 raw 포맷의 종류에 의해 한정되지 않는다. 이어서, 상기 비디오 특징 추출부(230)는 디코딩된 영상 데이터를 구성하는 각 프레임 이미지별로 서브 비디오 핑거프린트를 추출한다.The video feature extractor 230 selectively separates the video stream from the video file to extract the video fingerprint, decodes the separated video stream, and converts the video stream into image data in a raw format. Here, the raw format means a YUV (YCbCr) format or an RGB format. However, the present invention is not limited by the type of raw format. Subsequently, the video feature extractor 230 extracts the sub video fingerprint for each frame image constituting the decoded image data.

상기 비디오 특징 추출부(230)가 각 프레임 이미지별로 서브 비디오 핑거프린트를 추출하는 과정은 다음과 같다. 먼저, 비디오 특징 추출부(230)는 프레임 이미지를 블록 단위로 분할한다. 일 예로서, 이미지의 세로축을 n 등분하고 가로축을 m 등분하여 프레임 이미지를 n×m 개의 블록으로 분할한다. 다른 예로서, 이미지의 세로축을 n 등분하여 프레임 이미지를 n 개의 블록으로 분할하고 다시 가로축을 m 등분하여 프레임 이미지를 m 개의 블록으로 분할하여 프레임 이미지를 n+m 개의 블록으로 분할한다.The video feature extractor 230 extracts a sub video fingerprint for each frame image as follows. First, the video feature extractor 230 divides the frame image in units of blocks. As an example, the frame image is divided into n × m blocks by dividing the vertical axis of the image by n and dividing the horizontal axis by m. As another example, the vertical axis of the image is divided into n blocks to divide the frame image into n blocks, and the horizontal axis is further divided into m blocks to divide the frame image into m blocks and the frame image is divided into n + m blocks.

이어서, 비디오 특징 추출부(230)는 분할된 블록 단위별로 각 픽셀의 영상 밝기 데이터인 Y값의 평균을 산출한 후 인접한 블록 간의 영상 밝기 평균값의 차이를 기준으로 소정 비트수(예컨대, 32비트)의 서브 비디오 핑거프린트를 생성한다.Subsequently, the video feature extractor 230 calculates an average of Y values, which are image brightness data of each pixel, for each divided block unit, and then selects a predetermined number of bits (for example, 32 bits) based on a difference in image brightness average values between adjacent blocks. Create a sub video fingerprint of.

다음 수학식 1은 하나의 프레임 이미지에 대한 서브 비디오 핑거프린트를 생성하는데 사용될 수 있는 비트 할당 함수 'B(r, c, p)'를 예시한 것이다. 참고로, 하기 수학식 1은 하나의 프레임 이미지를 n×m 개의 블록으로 분할하였을 때를 가정한 것이다.Equation 1 below illustrates a bit allocation function 'B (r, c, p)' that can be used to generate a sub video fingerprint for one frame image. For reference, Equation 1 below assumes a case in which one frame image is divided into n × m blocks.

Figure 112007060682913-pat00001
Figure 112007060682913-pat00001

Figure 112007060682913-pat00002
Figure 112007060682913-pat00002

여기서, B(r, c, p)는 p번째 프레임 이미지의 가로축 및 세로축을 기준으로 각각 r번째 및 c번째에 위치한 블록에 대해 비트를 할당하는 함수이다. 그리고, F(r, c, p)는 p번째 프레임 이미지의 가로축 및 세로축을 기준으로 각각 r번째 및 c번째에 위치한 블록의 영상 밝기값 평균을 나타낸다.Here, B (r, c, p) is a function for allocating bits to blocks located in the r-th and c-th based on the horizontal and vertical axes of the p-th frame image. F (r, c, p) represents an average of image brightness values of blocks located at r-th and c-th, respectively, based on the horizontal and vertical axes of the p-th frame image.

상기 수학식 1의 F(r, c, p)에서, r은 1부터 n까지의 정수값을 갖고, c는 1부터 m-1까지의 정수값을 갖는다. 따라서 프레임 이미지가 '4×9=36' 개의 블록으로 분할되면 서브 비디오 핑거프린트는 '4×8=32' 비트의 코드열을 갖게 된다. 한편, α는 1보다 작은 수로서 적절하게 선택 가능한 상수이다. 예컨대 α는 0.95이다.In F (r, c, p) of Equation 1, r has an integer value from 1 to n, and c has an integer value from 1 to m-1. Therefore, when the frame image is divided into 4 × 9 = 36 blocks, the sub video fingerprint has a code string of 4 × 8 = 32 bits. Α is a constant smaller than 1 and can be appropriately selected. Α is 0.95, for example.

한편, 상기 비디오 특징 추출부(230)는 영상의 밝기 데이터인 Y값 이외에도 각 픽셀의 색차 데이터인 Cb 또는 Cr값을 활용하여 서브 비디오 핑거프린트를 생성할 수 있다. Cb 또는 Cr값을 활용하여 서브 비디오 핑거프린트를 생성하는 방법은 연산 대상이 되는 데이터의 종류만이 다를 뿐 상술한 바와 실질적으로 동일할 것임은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명하다.The video feature extractor 230 may generate a sub video fingerprint by using a Cb or Cr value, which is color difference data of each pixel, in addition to the Y value which is brightness data of an image. The method for generating a sub video fingerprint by using a Cb or Cr value may be substantially the same as described above, except that only the type of data to be computed is different to those skilled in the art. Self-explanatory

상기 비디오 특징 추출부(230)는 동영상을 구성하는 각 프레임 이미지에 대한 서브 비디오 핑거프린트를 추출하고 나면, 추출된 각 서브 비디오 핑거프린트를 그룹핑함으로써 동영상 파일에 대한 비디오 핑거프린트의 생성을 완료한다.After extracting the sub video fingerprint for each frame image constituting the video, the video feature extractor 230 groups the extracted sub video fingerprints to complete the generation of the video fingerprint for the video file.

상술한 비디오 핑거프린트 추출 기법은 Job Oostveen, Ton Kalker, Jaap Haitsma의 논문 "Feature Extraction and a Database Strategy for Video Fingerprinting"(Lecture Notes in Computer Science 2314 Springer 2002, pp.117-128) 에 개시되어 있다. 따라서, 상기 논문의 모든 내용은 본 발명의 구성의 일부로 통합될 수 있다. 한편, 본 발명은 비디오 핑거프린트를 추출하는 구체적인 방식에 의해 한정되지 않으므로, 비디오 핑거프린트를 추출할 수 있는 알고리즘이라면 어떠한 것이라도 채용 가능하다.The above-described video fingerprint extraction technique is disclosed in Job Oostveen, Ton Kalker, Jaap Haitsma's article "Feature Extraction and a Database Strategy for Video Fingerprinting" (Lecture Notes in Computer Science 2314 Springer 2002, pp. 117-128). Accordingly, all content of the article can be incorporated as part of the construction of the present invention. On the other hand, the present invention is not limited by the specific method of extracting the video fingerprint, any algorithm that can extract the video fingerprint can be employed.

상기 동영상 색인부(240)는 메타 정보 추출부(220)와 비디오 특징 추출부(230)로부터 각각 메타 정보와 비디오 핑거프린트 정보를 입력받은 후 메타 정보와 비디오 핑거프린트를 상호 매칭시켜 동영상 색인 DB(140)에 수록한다. 아울러, 메모리(250)에 저장된 동영상 파일을 리드하여 동영상 스토리지(150)에 저장한다. 또한, 동영상 스토리지(150)에 저장된 동영상 파일의 식별정보를 작성하여 동영상 색인 DB(140)에 수록한다.The video indexer 240 receives the meta information and the video fingerprint information from the meta information extractor 220 and the video feature extractor 230, respectively, and then matches the meta information and the video fingerprint to match the video index DB ( 140). In addition, the video file stored in the memory 250 is read and stored in the video storage 150. In addition, identification information of a video file stored in the video storage 150 is prepared and recorded in the video index DB 140.

상술한 동영상 색인 DB(140) 및 동영상 스토리지(150)의 구축 과정은 파일 입력부(210)를 통해 동영상 파일이 입력될 때마다 반복적으로 이루어질 것임은 자명하다.It is apparent that the above-described construction process of the video index DB 140 and the video storage 150 will be repeatedly performed whenever a video file is input through the file input unit 210.

본 발명에 따른 동영상 연관 검색 시스템은 동영상 색인 DB(140)와 동영상 스토리지(150)를 이용하여 동영상 연관 검색 서비스를 제공한다. 이를 위해, 상기 동영상 연관 검색 시스템은 검색요청 수신부(100), 메타 검색부(110), 연관 검색 요청 수신부(120) 및 동영상 연관 검색부(130)를 포함한다.The video related search system according to the present invention provides a video related search service using the video index DB 140 and the video storage 150. To this end, the video related search system includes a search request receiver 100, a meta search unit 110, a related search request receiver 120, and a video related search unit 130.

상기 검색요청 수신부(100)는 사용자로부터 검색어를 입력받아 메타 검색부(110)로 검색어를 전달한다. 바람직하게, 상기 검색요청 수신부(100)는 유선 또는 무선 인터넷을 통해 사용자에게 제공된 검색창 인터페이스를 통하여 검색어를 입력받는다. 상기 검색어는 동영상의 메타 정보와 관련된 검색어이다. 상기 메타 정보의 종류에 대해서는 이미 상술한 바 있다.The search request receiving unit 100 receives a search word from a user and delivers the search word to the meta search unit 110. Preferably, the search request receiving unit 100 receives a search word through a search box interface provided to a user through a wired or wireless Internet. The search term is a search term related to meta information of a video. The type of the meta information has already been described above.

상기 메타 검색부(110)는 검색어를 입력받아 메타 정보 기반으로 상기 동영상 색인 DB(140)를 조회하여 검색어와 연관된 동영상 검색 결과를 사용자에게 제공한다. 상기 동영상 색인 DB(140)에는 동영상 파일에 대한 메타 정보 및 비디오 핑거프린트 정보가 상호 매칭되어 수록되어 있고, 동영상 스토리지(150)에 저장된 동영상 파일의 참조가 가능한 식별정보(예컨대, 파일 저장경로를 포함한 파일명)가 수록되어 있다. 여기서, 비디오 핑거프린트에 대해서는 이미 상술한 바 있다.The meta search unit 110 receives a search word and searches the video index DB 140 based on meta information to provide a user with a video search result associated with the search word. In the video index DB 140, meta information and video fingerprint information of a video file are matched with each other, and identification information (for example, a file storage path) that can refer to a video file stored in the video storage 150 is stored. File name). Here, the video fingerprint has already been described above.

상기 동영상 검색 결과가 제공되면, 사용자는 검색 결과 페이지에 포함된 연관 검색 인터페이스를 이용하여 특정 동영상에 대한 연관 검색을 요청한다. 특정 동영상에 대한 연관 검색이라 함은 동영상 내에 포함된 영상의 일부 또는 전체 영상을 담고 있는 다른 동영상을 검색하여 제공해주는 것을 말한다.When the video search result is provided, the user requests a related search for a specific video using the related search interface included in the search result page. The related search for a specific video refers to searching for and providing another video including a part or the entire video included in the video.

상기 연관 검색 요청 수신부(120)는 동영상 검색 결과를 통해 사용자가 요청한 특정 동영상의 연관 검색 요청을 수신하여 동영상 연관 검색부(130)로 전달한다.The related search request receiver 120 receives a related search request of a specific video requested by the user through the video search result and transmits the related search request to the video related search unit 130.

상기 동영상 연관 검색부(130)는 연관 검색 요청 수신부(120)로부터 특정 동영상에 대한 연관 검색 요청을 접수받아 상기 동영상 색인 DB(140)로부터 해당 동영상의 비디오 핑거프린트를 리드한다. 그런 다음, 동영상 연관 검색부(130)는 리드한 비디오 핑거프린트와 일부 또는 전체가 중첩되는 비디오 핑거프린트를 동영상 색인 DB(140)에서 식별하고, 식별된 비디오 핑거프린트에 대응되는 다른 동영상의 메타 정보를 이용하여 동영상 연관 검색 결과 정보를 구성한 후 사용자에게 제공한다. 여기서, 상기 다른 동영상은 연관 검색 요청이 이루어진 동영상의 일부 또는 전체 영상을 담고 있게 된다.The video related search unit 130 receives a related search request for a specific video from the related search request receiver 120 and reads the video fingerprint of the video from the video index DB 140. Then, the video association search unit 130 identifies a video fingerprint in which the lead video fingerprint overlaps with some or all of the video fingerprint in the video index DB 140, and the meta information of another video corresponding to the identified video fingerprint. Configures the video related search result information using and provides it to the user. In this case, the other video may include a part or the entire video of the video in which the related search request is made.

상기 동영상 연관 검색부(130)가 리드한 비디오 핑거프린트와 일부 또는 전체가 중첩되는 다른 비디오 핑거프린트를 식별하는 과정을 보다 구체적으로 설명하면 다음과 같다.A process of identifying the video fingerprint read by the video associated search unit 130 and another video fingerprint overlapping with some or all of them will be described in detail as follows.

먼저, 동영상 연관 검색부(130)는 리드한 비디오 핑거프린트를 쿼리 핑거프린트로 지정하고, 동영상 색인 DB(140)에 수록된 다른 비디오 핑거프린트들을 비교 대상 핑거프린트로 지정한다.First, the video related search unit 130 designates the read video fingerprint as the query fingerprint, and designates other video fingerprints included in the video index DB 140 as the comparison target fingerprint.

그런 다음, 동영상 연관 검색부(130)는 쿼리 핑거프린트를 소정 수의 서브 비디오 핑거프린트 단위로 분할한다. 예를 들어 500개의 서브 비디오 핑거프린트 단위로 쿼리 핑거프린트를 순차적으로 분할하여 그룹핑한다. 이어서 동영상 연관 검색부(130)는 각각의 서브 비디오 핑거프린트 그룹별로 해당 서브 비디오 핑거프린트 그룹과 일부 또는 전체가 중첩되는 서브 비디오 핑거프린트 그룹이 비교 대상 핑거프린트에 존재하는지 판별한다. 그 결과, 동일한 서브 비디오 핑거프린트 그룹이 존재하는 것으로 판별되면, 상기 동영상 연관 검색부(130)는 해당 비교 대상 핑거프린트를 쿼리 핑거프린트와 일부 또는 전체가 동일한 비디오 핑거프린트로 식별한다.Then, the video association search unit 130 divides the query fingerprint into a predetermined number of sub video fingerprint units. For example, the query fingerprint is sequentially divided and grouped into 500 sub video fingerprint units. Subsequently, the video association search unit 130 determines whether a sub video fingerprint group overlapping a part or all of the sub video fingerprint group exists in the comparison target fingerprint for each sub video fingerprint group. As a result, when it is determined that the same sub video fingerprint group exists, the video association search unit 130 identifies the corresponding comparison target fingerprint as a video fingerprint that is partially or entirely the same as the query fingerprint.

여기서, 쿼리 핑거프린트의 서브 비디오 핑거프린트 그룹과 일부 또는 전체가 중첩되는 서브 비디오 핑거프린트 그룹이 비교 대상 핑거프린트에 존재하는지 여부를 판단하는 과정은 다음과 같다.Here, the process of determining whether a sub video fingerprint group overlapping a part or all of the sub video fingerprint group of the query fingerprint exists in the comparison target fingerprint is as follows.

먼저, 상기 동영상 연관 검색부(130)는 쿼리 핑거프린트의 서브 비디오 핑거프린트 그룹으로부터 서브 비디오 핑거프린트를 순차적으로 샘플링하면서 샘플링된 서브 비디오 핑거프린트와 일치하는 서브 비디오 핑거프린트가 비교 대상 핑거프린트에 존재하는지 판별한다. 일치하는 서브 비디오 핑거프린트가 존재하면, 상기 동영상 연관 검색부(130)는 쿼리 핑거프린트의 서브 비디오 핑거프린트 그룹과 비교 대상 핑거프린트로부터 서브 비디오 핑거프린트가 일치하는 프레임을 전후로 하여 미리 정해진 수(예컨대, 100개)의 프레임에 대한 복수의 서브 비디오 핑거프린트를 샘플링한다. 그리고 나서, 동영상 연관 검색부(130)는 후술하는 다양한 방식에 의해 샘플링된 서브 비디오 핑거프린트 그룹 간의 동일성을 판별한다. 하지만, 본 발명은 동일성을 판별하는 구체적인 방식에 의해 한정되는 것은 아니다.First, the video association search unit 130 sequentially samples the sub video fingerprint from the sub video fingerprint group of the query fingerprint, and the sub video fingerprint matching the sampled sub video fingerprint is present in the comparison target fingerprint. Determine if If there is a matching sub video fingerprint, the video association search unit 130 determines a predetermined number (for example, before and after a frame where the sub video fingerprint matches from the sub video fingerprint group of the query fingerprint and the fingerprint to be compared). And a plurality of sub video fingerprints for 100 frames). Then, the video association search unit 130 determines the identity between the sub video fingerprint groups sampled by various methods described below. However, the present invention is not limited to the specific manner of determining identity.

일 예로, 상기 동영상 연관 검색부(130)는 쿼리 핑거프린트의 서브 비디오 핑거프린트 그룹과 비교 대상 핑거프린트로부터 샘플링된 서브 비디오 핑거프린트 그룹을 상호 대비하여 일치하는 서브 비디오 핑거프린트 쌍의 비율을 계산한 후 그 값을 미리 설정한 임계치(예컨대, 80%)와 비교하여 샘플링된 서브 비디오 핑거프린트 간의 동일성을 판별한다.For example, the video association search unit 130 may calculate a ratio of a matching sub video fingerprint pair by comparing the sub video fingerprint group of the query fingerprint with the sub video fingerprint group sampled from the comparison target fingerprint. The value is then compared to a preset threshold (eg, 80%) to determine the identity between the sampled sub video fingerprints.

다른 예로, 상기 동영상 연관 검색부(130)는 쿼리 핑거프린트의 서브 비디오 핑거프린트 그룹과 비교 대상 핑거프린트로부터 샘플링된 서브 비디오 핑거프린트 그룹의 상호 대응되는 서브 비디오 핑거프린트 간의 비트 에러율(Bit Error Rate)을 근거로 전체 평균 비트 에러율을 계산한 후 그 크기를 미리 설정한 임계치(예컨대, 20%)와 비교하여 샘플링된 서브 비디오 핑거프린트 그룹 간의 동일성을 판별한다.As another example, the video association search unit 130 may include a bit error rate between the sub video fingerprint group of the query fingerprint and the sub video fingerprints corresponding to the sub video fingerprint groups sampled from the comparison target fingerprint. After calculating the overall average bit error rate, the size is compared with a preset threshold (eg, 20%) to determine the sameness between the sampled sub video fingerprint groups.

상술한 방식 이외에도 상기 동영상 연관 검색부(130)는 단순히 쿼리 핑거프린트의 서브 비디오 핑거프린트 그룹 내에 포함된 서브 비디오 핑거프린트 중 비교 대상 핑거프린트 내에 포함된 서브 비디오 핑거프린트의 비율을 계산한 후 그 크기를 미리 설정한 임계치(예컨대, 80%)와 비교하여 쿼리 핑거프린트와 비교 대상 핑거프린트 간의 동일성을 판별할 수도 있다.In addition to the above-described method, the video associated search unit 130 simply calculates a ratio of the sub video fingerprints included in the comparison target fingerprint among the sub video fingerprints included in the sub video fingerprint group of the query fingerprint, and then sizes the sub video fingerprints. May be compared with a preset threshold (eg, 80%) to determine the identity between the query fingerprint and the fingerprint to be compared.

한편, 상기 동영상 연관 검색부(130)는 쿼리 핑거프린트를 분할하지 않은 상태에서 상술한 방식에 의해 쿼리 핑거프린트와 비교 대상 핑거프린트 간의 동일성을 판별할 수도 있다.Meanwhile, the video association search unit 130 may determine the identity between the query fingerprint and the comparison target fingerprint by the above-described method without dividing the query fingerprint.

즉, 상기 동영상 연관 검색부(130)는 쿼리 핑거프린트로부터 서브 비디오 핑거프린트를 순차적으로 샘플링하면서 샘플링된 서브 비디오 핑거프린트와 일치하는 서브 비디오 핑거프린트가 비교 대상 핑거프린트에 존재하는지 판별한다. 일치하는 서브 비디오 핑거프린트가 존재하면, 상기 동영상 연관 검색부(130)는 쿼리 핑거프린트와 비교 대상 핑거프린트로부터 서브 비디오 핑거프린트가 일치하는 프레임을 전후로 하여 미리 정해진 수(예컨대, 300개)의 프레임에 대한 복수의 서브 비디오 핑거프린트를 샘플링한다. 그리고 나서, 동영상 연관 검색부(130)는 상술한 여러 가지 방식을 선택적으로 적용하여 샘플링된 서브 비디오 핑거프린트 그룹 간의 동일성을 판별할 수 있다.That is, the video association search unit 130 sequentially determines the sub video fingerprint from the query fingerprint and determines whether a sub video fingerprint matching the sampled sub video fingerprint exists in the comparison target fingerprint. If there is a matching sub video fingerprint, the video association search unit 130 determines a predetermined number (eg, 300) of frames before and after a frame where the sub video fingerprint matches from the query fingerprint and the comparison target fingerprint. Sample a plurality of sub video fingerprints for. Then, the video association search unit 130 may selectively apply the various methods described above to determine the sameness between the sampled sub video fingerprint groups.

이러한 방식은 쿼리 핑거프린트가 추출된 동영상 파일의 영상 전체가 포함되어 있는 다른 동영상 파일을 검색하고자 할 때 유용하다. 하지만, 본 발명이 이에 한하는 것은 아니다.This method is useful when a query fingerprint is to be searched for another video file including the entire video of the extracted video file. However, the present invention is not limited thereto.

상기 동영상 연관 검색부(130)가 제공하는 상기 동영상 연관 검색 결과 정보는 연관 검색이 요청된 동영상의 일부 또는 전체 영상을 담고 있는 다른 동영상의 메타 정보와 동영상을 재생할 수 있는 링크 코드를 포함한다. 상기 메타 정보와 링크 코드는 동영상 색인 DB(140)로부터 참조된다.The video related search result information provided by the video related search unit 130 includes meta information of another video including a part or the entire video of the video requested for the related search and a link code for playing the video. The meta information and the link code are referenced from the video index DB 140.

상기 동영상 연관 검색 결과 정보가 제공되면, 사용자는 원하는 동영상을 클릭하여 재생할 수 있으며, 메타 정보를 통해 검색된 동영상에 대한 여러 가지 정보를 확인할 수 있다. 이러한 기능이 구현되도록 동영상 연관 검색 결과 정보를 구성하는 것은 본 발명이 속한 기술분야에서 널리 알려져 있으므로 이에 대한 자세한 설명은 생략하기로 한다.When the video related search result information is provided, the user may click and play a desired video and may check various information about the searched video through meta information. The configuration of video related search result information to implement such a function is well known in the art to which the present invention pertains, and a detailed description thereof will be omitted.

도 2는 본 발명의 제2실시예에 따른 영상 정보 기반의 동영상 연관 검색 시스템의 개략적인 구성도이다.2 is a schematic structural diagram of a video related search system based on image information according to a second embodiment of the present invention.

제2실시예에 따른 동영상 연관 검색 시스템은, 연관리스트 생성부(160)와 연관리스트 DB(170)를 더 포함한다.The video related search system according to the second embodiment further includes an association list generator 160 and an association list DB 170.

상기 연관리스트 생성부(160)는 상기 동영상 색인 DB(140)에 저장된 비디오 핑거프린트들의 동일성을 미리 판단하여 각 비디오 핑거프린트 별로 일부 또는 전체가 중첩되는 다른 비디오 핑거프린트(들)의 리스트를 생성하여 상기 연관리스트 DB(170)에 저장한다. 즉, 연관리스트 생성부(160)는 상기 리스트 생성의 대상이 되는 비디오 핑거프린트와 일부 또는 전체가 중첩되는 다른 비디오 핑거프린트(들)를 동영상 색인 DB(140)로부터 독출하여 상기 리스트를 생성한다. 다른 비디오 핑거프린트(들)의 리스트에 포함된 각 비디오 핑거프린트는 리스트 생성 대상 비디오 핑거프린트에 대응되는 동영상에 대해 연관 검색 요청이 이루어졌을 때 제공될 수 있는 다른 동영상 파일(들)의 비디오 핑거프린트이다.The association list generator 160 determines in advance the sameness of the video fingerprints stored in the video index DB 140, and generates a list of other video fingerprint (s) in which some or all of the video fingerprints overlap each other. The association list is stored in the DB 170. That is, the association list generating unit 160 generates the list by reading from the video index DB 140 other video fingerprint (s) overlapping with some or all of the video fingerprint to be generated. Each video fingerprint included in the list of other video fingerprint (s) is a video fingerprint of other video file (s) that may be provided when an associated search request is made for a video corresponding to the list-created video fingerprint. to be.

제2실시예에 따른 동영상 연관 검색 시스템은, 동영상의 연관 검색이 요청되면, 동영상 색인 DB(140)로부터 연관된 동영상의 비디오 핑거프린트를 조회하지 않는다. 대신, 연관리스트 DB(170)를 조회하여 연관 검색 요청이 이루어진 동영상 파일의 비디오 핑거프린트를 특정한 후, 특정된 비디오 핑거프린트와 일부 또는 전체가 중첩되는 서브 비디오 핑거프린트 그룹을 포함하고 있는 다른 비디오 핑거프린트(들)의 리스트를 식별한다. 그런 다음, 식별된 리스트에 포함된 각 비디오 핑거프린트의 메타 정보와 동영상 스토리지(150) 내의 동영상 파일 저장 경로를 동영상 색인 DB(140)에서 독출하여 동영상 연관 검색 결과 정보를 구성한 후 사용자에게 제공한다. 이러한 경우, 동영상 색인 DB(140)를 이용하는 경우보다 빠르게 동영상 연관 검색 결과 정보를 구성하여 제공할 수 있는 이점이 있다.The video related search system according to the second embodiment does not query the video fingerprint of the related video from the video index DB 140 when a related search of the video is requested. Instead, the association list DB 170 is queried to specify a video fingerprint of a video file for which an association search request has been made, and then another video finger including a sub video fingerprint group which overlaps with some or all of the specified video fingerprint. Identifies a list of print (s). Then, the meta information of each video fingerprint included in the identified list and the video file storage path in the video storage 150 are read from the video index DB 140 to construct video related search result information and then provided to the user. In this case, there is an advantage in that the video related search result information can be configured and provided faster than in the case of using the video index DB 140.

도 3은 본 발명에 따른 동영상 색인 DB의 구축 과정을 순차적으로 도시한 절차 흐름도이다.3 is a flowchart illustrating a process of constructing a video index DB according to the present invention in sequence.

먼저, 단계(S10)에서 파일 입력부(210)는 동영상 파일을 입력받는다. 그런 후, 단계(S20)에서 메모리(250)에 동영상 파일을 임시로 저장한다.First, in step S10, the file input unit 210 receives a video file. Thereafter, the video file is temporarily stored in the memory 250 in step S20.

단계(S30)에서 메타 정보 추출부(220)는 메모리(250)에 저장된 동영상 파일로부터 메타 정보를 추출하여 동영상 색인부(240)로 출력한다. 그리고 단계(S40)에서 비디오 특징 추출부(230)는 메모리(250)에 저장된 동영상 파일로부터 비디오 핑거프린트를 추출하여 동영상 색인부(240)로 출력한다.In operation S30, the meta information extractor 220 extracts meta information from the video file stored in the memory 250 and outputs the meta information to the video indexer 240. In operation S40, the video feature extractor 230 extracts a video fingerprint from the video file stored in the memory 250 and outputs the video fingerprint to the video indexer 240.

단계(S50)에서 동영상 색인부(240)는 상기 출력된 메타 정보와 비디오 핑거프린트를 상호 매칭시켜 동영상 색인 DB(140)에 저장하고, 메모리(250)로부터 동영상 파일을 리드하여 동영상 스토리지(150)에 저장한다. 또한, 동영상 스토리지(150)에 저장된 동영상 파일의 식별정보를 작성하여 동영상 색인 DB(140)에 수록한다.In operation S50, the video indexer 240 matches the output meta information with the video fingerprint, stores the video information in the video index DB 140, reads the video file from the memory 250, and stores the video file 150. Store in In addition, identification information of a video file stored in the video storage 150 is prepared and recorded in the video index DB 140.

도 4는 본 발명의 제1실시예에 따른 동영상 연관 검색 방법이 구현되는 과정을 순차적으로 도시한 절차 흐름도이다.4 is a flowchart illustrating a process of sequentially implementing a video associated search method according to the first embodiment of the present invention.

먼저, 단계(S100)에서는 도 3에서 구축된 동영상 색인 DB(140)가 제공된다. 여기서, 동영상 색인 DB(140)에는 동영상 파일에 대한 메타 정보 및 비디오 핑거프린트 정보와 동영상 스토리지(150) 내에 저장된 동영상 파일의 식별정보가 수록되어 있다.First, in step S100, the video index DB 140 constructed in FIG. 3 is provided. Here, the video index DB 140 stores meta information and video fingerprint information about the video file and identification information of the video file stored in the video storage 150.

단계(S110)에서는 검색요청 수신부(100)가 유선 또는 무선 인터넷을 통해 사용자로부터 검색어를 입력받아 메타 정보 기반으로 상기 동영상 색인 DB(140)를 조회하여 검색어와 연관된 동영상 검색 결과를 생성하여 사용자에게 제공한다. 여기서, 사용자에게 제공되는 검색 결과에서 각 콘텐츠의 링크 주변에는 연관 검색을 요청할 수 있는 연관 검색 인터페이스가 마련되어 있다. 사용자는 희망하는 경우 연관 검색 인터페이스를 조작하여 특정 동영상에 대한 연관 검색을 요청할 수 있다. 연관 검색 인터페이스의 조작은 마우스의 클릭 또는 마우스 오버에 의해 이루어질 수 있다. 하지만, 본 발명은 연관 검색 인터페이스의 조작 방식에 의해 한정되지 않는다.In step S110, the search request receiving unit 100 receives a search word from a user through a wired or wireless Internet, searches the video index DB 140 based on meta information, generates a video search result associated with the search word, and provides the search result to the user. do. Here, an association search interface for requesting an association search is provided around a link of each content in a search result provided to a user. If desired, the user can request an associated search for a specific video by manipulating the associated search interface. Manipulation of the associated search interface can be accomplished by clicking or mouse over of the mouse. However, the present invention is not limited by the manner of operation of the associated search interface.

단계(S120)에서, 연관 검색 요청 수신부(120)는 동영상 검색 결과에 포함된 특정 동영상에 대한 연관 검색 요청을 접수받아 동영상 연관 검색부(130)로 전달한다.In operation S120, the related search request receiver 120 receives a related search request for a specific video included in a video search result and transmits the related search request to the video related search unit 130.

단계(S130)에서, 동영상 연관 검색부(130)는 연관 검색 요청이 이루어진 해당 동영상의 비디오 핑거프린트를 동영상 색인 DB(140)로부터 리드한다.In operation S130, the video associated search unit 130 reads the video fingerprint of the video corresponding to the associated search request from the video index DB 140.

단계(S140)에서, 동영상 연관 검색부(130)는 동영상 색인 DB(140)를 조회하여 리드한 비디오 핑거프린트와 일부 또는 전체가 중첩되는 비디오 핑거프린트를 식별한다. 비디오 핑거프린트의 식별 방식에 대해서는 이미 상술한 바 있다.In operation S140, the video association search unit 130 may search the video index DB 140 to identify a video fingerprint that partially or entirely overlaps the video fingerprint that was read. The identification scheme of the video fingerprint has already been described above.

단계(S150)에서, 동영상 연관 검색부(130)는 동영상 색인 DB(140)를 이용하여 식별된 비디오 핑거프린트에 대응되는 다른 동영상의 정보를 포함하는 동영상 연관 검색 결과 정보를 생성하여 사용자에게 제공한다. 동영상 연관 검색 결과 정보는 다른 동영상의 메타 정보와 재생을 요청할 수 있는 링크 코드를 포함한다.In operation S150, the video related search unit 130 generates video related search result information including information of another video corresponding to the video fingerprint identified using the video index DB 140, and provides the generated video related search result information to the user. . The video related search result information includes meta information of another video and a link code for requesting playback.

도 5는 본 발명의 제2실시예에 따른 동영상 연관 검색 방법이 구현되는 과정을 순차적으로 도시한 절차 흐름도이다.5 is a flowchart illustrating a process of sequentially implementing a video related search method according to a second embodiment of the present invention.

먼저, 단계(S200)에서, 연관리스트 생성부(160)는 도 3에서 구축된 동영상 색인 DB(140)에 저장된 비디오 핑거프린트들의 동일성을 미리 판단하여 각 비디오 핑거프린트 별로 일부 또는 전체가 중첩되는 다른 비디오 핑거프린트(들)의 리스트를 생성한다. 즉, 연관리스트 생성부(160)는 리스트 생성의 대상이 되는 비디오 핑거프린트와 일부 또는 전체가 중첩되는 다른 비디오 핑거프린트(들)를 동영상 색인 DB(140)로부터 독출함으로써 동영상 내에 포함된 영상의 일부 또는 전체 영상을 담고 있는 다른 동영상 파일의 비디오 핑거프린트(들)의 리스트를 생성한다.First, in step S200, the association list generator 160 determines in advance the sameness of the video fingerprints stored in the video index DB 140 constructed in FIG. Generate a list of video fingerprint (s). That is, the association list generation unit 160 reads the video fingerprint, which is the object of the list generation, from another video fingerprint (s) overlapping in part or whole from the video index DB 140, thereby causing a part of the image included in the video. Or create a list of video fingerprint (s) of other video files containing the entire picture.

단계(S210)에서, 연관리스트 생성부(160)는 생성된 비디오 핑거프린트(들)의 리스트를 연관리스트 DB(170)에 저장한다.In operation S210, the association list generator 160 stores the generated list of video fingerprint (s) in the association list DB 170.

단계(S220)에서는, 단계(S200) 내지 단계(S210)에서 구축된 연관리스트 DB(170)가 제공된다.In step S220, an association list DB 170 constructed in steps S200 to S210 is provided.

단계(S230)에서, 검색요청 수신부(100)는 유선 또는 무선 인터넷을 통해 사용자로부터 검색어를 입력받아 메타 정보 기반으로 상기 동영상 색인 DB(140)를 조회하여 검색어와 연관된 동영상 검색 결과를 생성하여 사용자에게 제공한다.In operation S230, the search request receiving unit 100 receives a search word from the user through a wired or wireless Internet, searches the video index DB 140 based on meta information, and generates a video search result associated with the search word to the user. to provide.

여기서, 사용자에게 제공되는 검색 결과에서 각 동영상 콘텐츠의 링크 주변에는 연관 검색을 요청할 수 있는 연관 검색 인터페이스가 마련된다. 사용자는 희망하는 경우 연관 검색 인터페이스를 조작하여 특정 동영상에 대한 연관 검색을 요청할 수 있다.Here, an association search interface for requesting an association search is provided around a link of each video content in a search result provided to a user. If desired, the user can request an associated search for a specific video by manipulating the associated search interface.

단계(S240)에서, 연관 검색 요청 수신부(120)는 동영상 검색 결과에 포함된 특정 동영상에 대한 연관 검색 요청을 접수받아 동영상 연관 검색부(130)로 전달한다.In operation S240, the related search request receiver 120 receives a related search request for a specific video included in the video search result and transmits the related search request to the video related search unit 130.

단계(S250)에서, 동영상 연관 검색부(130)는 연관 검색 요청이 이루어진 해당 동영상의 비디오 핑거프린트를 동영상 색인 DB(140)로부터 리드한다.In operation S250, the video association search unit 130 reads the video fingerprint of the video corresponding to the associated search request from the video index DB 140.

단계(S260)에서, 동영상 연관 검색부(130)는 연관리스트 DB(170)를 조회하여 동영상 색인 DB(140)로부터 리드한 비디오 핑거프린트를 특정한 후, 특정된 비디오 핑거프린트와 일부 또는 전체가 중첩되는 서브 비디오 핑거프린트 그룹을 포함하고 있는 다른 비디오 핑거프린트(들)의 리스트를 식별한다. 비디오 핑거프린트의 식별 방식에 대해서는 이미 상술한 바 있다.In operation S260, the video association search unit 130 searches the association list DB 170 to specify a video fingerprint read from the video index DB 140, and then partially or entirely overlaps with the specified video fingerprint. Identifies a list of other video fingerprint (s) containing the sub video fingerprint group to be included. The identification scheme of the video fingerprint has already been described above.

단계(S270)에서, 동영상 연관 검색부(130)는 동영상 색인 DB(140)를 이용하여 식별된 다른 비디오 핑거프린트(들)의 리스트에 포함된 각 비디오 핑거프린트에 대응되는 동영상의 정보를 포함하는 동영상 연관 검색 결과 정보를 생성하여 사용자에게 제공한다.In operation S270, the video association search unit 130 includes information of a video corresponding to each video fingerprint included in the list of other video fingerprint (s) identified using the video index DB 140. Generates video related search result information and provides it to the user.

상술한 본 발명에 따른 영상 정보 기반의 동영상 연관 검색 시스템의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터에 의해 판독 가능한 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합으로 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 프로그램 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예로는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급언어 코드를 포함한다. 상기한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 동작하도록 구성될 수 있으며, 그 역도 마찬가지이다.The operation method of the video information retrieval system based on the image information according to the present invention described above may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer-readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those skilled in the computer program arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Hardware devices specially configured to store and execute program instructions such as magneto-optical media and ROM, RAM, flash memory and the like. The medium may be a transmission medium such as an optical or metal wire, a waveguide, or the like including a carrier wave for transmitting a signal specifying a program command, a data structure, or the like. Examples of program instructions include machine code, such as produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter. Such hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

도 6은 본 발명에 따른 영상 정보 기반의 동영상 연관 검색 시스템의 동작 방법을 수행하는데 채용될 수 있는 범용 컴퓨터 시스템의 내부 블록도이다.6 is an internal block diagram of a general-purpose computer system that may be employed to perform a method of operating a video related search system based on image information according to the present invention.

도 6을 참조하면, 상기 범용 컴퓨터 시스템(400)은 램(RAM: 420)과 롬(ROM: 430)을 포함하는 주기억장치와 연결되는 하나 이상의 프로세서(410)를 포함한다. 프로세서(410)는 중앙처리장치(CPU)로 불리기도 한다. 본 기술분야에서 널리 알려진 바와 같이, 롬(430)은 데이터와 명령을 단방향성으로 프로세서(410)에 전송하는 역할을 하며, 램(420)은 통상적으로 데이터와 명령을 양방향성으로 프로세서(410)로 전송하는데 사용된다. 램(420) 및 롬(430)은 컴퓨터 판독 가능 매체의 어떠한 적절한 형태를 포함할 수 있다. 대용량 기억장치(440)는 양방향성으로 프로세서(410)와 연결되어 추가적인 데이터 저장 능력을 제공하며, 상기된 컴퓨터 판독 가능 기록 매체 중 어떠한 것일 수 있다. 대용량 기억장치(440)는 프로그램, 데이터 등을 저장하는데 사용되며, 통상적으로 주기억장치보다 속도가 느린 하드 디스크와 같은 보조기억장치이다. CD롬(460)과 같은 특정 대용량 기억장치가 사용될 수 도 있다. 프로세서(410)는 비디오 모니터, 트랙볼 마우스, 키보드, 마이크로폰, 터치스크린 형 디스플레이, 카드 판독기, 자기 또는 종이 테이프 판독기, 음성 또는 필기 인식기, 조이스틱 또는 기타 공지된 컴퓨터 입출력 장치와 같은 하나 이상의 입출력 인터페이스(450)와 연결된다. 마지막으로, 프로세서(410)는 네트워크 인터페이스(470)를 통하여 유선 또는 무선 통신 네트워크에 연결될 수 있다. 이러한 네트워크 연결을 통하여 상기된 방법의 절차를 수행할 수 있다. 상기된 장치 및 도구는 컴퓨터 하드웨어 및 소프트웨어 기술 분야의 당업자에게 잘 알려져 있다. 한편, 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 동작하도록 구성될 수 있다.Referring to FIG. 6, the general purpose computer system 400 may include one or more processors 410 connected to a main memory including a RAM 420 and a ROM 430. The processor 410 is also called a central processing unit (CPU). As is well known in the art, the ROM 430 serves to transmit data and instructions to the processor 410 unidirectionally, and the RAM 420 typically transfers data and instructions to the processor 410 bidirectionally. Used to transmit RAM 420 and ROM 430 may include any suitable form of computer readable media. The mass storage device 440 is bidirectionally coupled to the processor 410 to provide additional data storage capability, and may be any of the computer readable recording media described above. The mass storage device 440 is used to store programs, data, and the like, and is a secondary memory device such as a hard disk which is generally slower than the main memory device. Certain mass storage devices such as CD ROM 460 may be used. The processor 410 may include one or more input / output interfaces 450 such as video monitors, trackball mice, keyboards, microphones, touchscreen displays, card readers, magnetic or paper tape readers, voice or handwriting readers, joysticks, or other known computer input / output devices. ). Finally, the processor 410 may be connected to a wired or wireless communication network through the network interface 470. Through this network connection, the procedure of the method described above can be performed. The apparatus and tools described above are well known to those skilled in the computer hardware and software arts. On the other hand, the hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.As described above, although the present invention has been described by way of limited embodiments and drawings, the present invention is not limited thereto and is intended by those skilled in the art to which the present invention pertains. Of course, various modifications and variations are possible within the scope of equivalents of the claims to be described.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 전술된 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되지 않아야 한다.The following drawings, which are attached to this specification, illustrate exemplary embodiments of the present invention, and together with the detailed description of the present invention serve to further understand the technical spirit of the present invention, the present invention includes matters described in such drawings. It should not be construed as limited to.

도 1은 본 발명의 제1실시예에 따른 영상 정보 기반의 동영상 연관 검색 시스템의 개략적인 구성도이다.1 is a schematic configuration diagram of a video related search system based on image information according to a first embodiment of the present invention.

도 2는 본 발명의 제2실시예에 따른 영상 정보 기반의 동영상 연관 검색 시스템의 개략적인 구성도이다.2 is a schematic structural diagram of a video related search system based on image information according to a second embodiment of the present invention.

도 3은 본 발명에 따른 동영상 색인 DB의 구축 과정을 순차적으로 도시한 절차 흐름도이다.3 is a flowchart illustrating a process of constructing a video index DB according to the present invention in sequence.

도 4는 본 발명의 제1실시예에 따른 동영상 연관 검색 방법이 구현되는 과정을 순차적으로 도시한 절차 흐름도이다.4 is a flowchart illustrating a process of sequentially implementing a video associated search method according to the first embodiment of the present invention.

도 5는 본 발명의 제2실시예에 따른 동영상 연관 검색 방법이 구현되는 과정을 순차적으로 도시한 절차 흐름도이다.5 is a flowchart illustrating a process of sequentially implementing a video related search method according to a second embodiment of the present invention.

도 6은 본 발명에 따른 영상 정보 기반의 동영상 연관 검새 시스템의 동작 방법을 수행하는데 채용될 수 있는 범용 컴퓨터 시스템의 내부 블록도이다.FIG. 6 is an internal block diagram of a general-purpose computer system that may be employed to perform a method of operating a video associated detection system based on image information according to the present invention.

<도면의 주요 참조 번호><Main reference number in drawing>

100 : 검색요청 수신부 110 : 메타 검색부100: search request receiving unit 110: meta search unit

120 : 연관 검색 요청 수신부 130 : 동영상 연관 검색부120: association search request receiving unit 130: video association search unit

140 : 동영상 색인 DB 150 : 동영상 스토리지140: video index DB 150: video storage

160 : 연관리스트 생성부 170 : 연관리스트 DB160: association list generation unit 170: association list DB

210 : 파일 입력부 220 : 메타 정보 추출부210: File input unit 220: Meta information extraction unit

230 : 비디오 특징 추출부 240 : 동영상 색인부230: Video feature extraction unit 240: Video indexing unit

250 : 메모리250 memory

Claims (14)

동영상 파일에 대한 메타 정보 및 동영상의 프레임별 서브 비디오 핑거프린트의 집합으로 이루어진 비디오 핑거프린트 정보를 수록하고 있는 동영상 색인 DB;A moving picture index DB including video fingerprint information including meta information of a moving picture file and a set of sub-video fingerprints per frame of the moving picture; 검색어를 입력받아 메타 정보 기반으로 상기 동영상 색인 DB를 조회하여 검색어와 연관된 동영상 검색 결과를 제공하는 메타 검색부; 및A meta search unit that receives a search term and searches the video index DB based on meta information to provide a video search result associated with the search term; And 상기 동영상 검색 결과에 포함된 특정 동영상에 대한 연관 검색 요청을 접수받아 상기 동영상 색인 DB로부터 해당 동영상의 비디오 핑거프린트를 리드하고, 리드한 비디오 핑거프린트와 일부 또는 전체가 중첩되는 비디오 핑거프린트를 식별하고, 식별된 비디오 핑거프린트에 대응되는 다른 동영상의 메타 정보를 상기 동영상 색인 DB로부터 독출하여 메타 정보를 포함하는 동영상 연관 검색 결과 정보를 사용자에게 제공하는 동영상 연관 검색부;를 포함하는 것을 특징으로 하는 영상 정보 기반의 동영상 연관 검색 시스템Receives a related search request for a specific video included in the video search result, reads the video fingerprint of the video from the video index DB, identifies a video fingerprint that overlaps some or all of the read video fingerprint; And a video association search unit configured to read meta information of another video corresponding to the identified video fingerprint from the video index DB and provide video related search result information including meta information to a user. Information-based Video Association Search System 제1항에 있어서,The method of claim 1, 동영상 파일을 입력받는 파일 입력부;A file input unit for receiving a video file; 상기 입력된 동영상 파일로부터 메타 정보를 추출하는 메타 정보 추출부;A meta information extracting unit extracting meta information from the input video file; 상기 입력된 동영상 파일에 포함된 비디오 데이터를 분석하여 비디오 핑거프린트를 추출하는 비디오 특징 추출부;A video feature extracting unit extracting a video fingerprint by analyzing video data included in the input video file; 상기 추출된 메타 정보와 비디오 핑거프린트를 매칭시켜 상기 동영상 색인 DB에 수록하는 동영상 색인부; 및A video indexing unit matching the extracted meta information with a video fingerprint and recording the same in the video index DB; And 동영상 검색의 대상이 되는 동영상 파일이 저장되어 있는 동영상 스토리지;를 더 포함하는 것을 특징으로 하는 영상 정보 기반의 동영상 연관 검색 시스템Video related video search system further comprises a; video storage that stores a video file to be searched for video 제1항에 있어서,The method of claim 1, 상기 동영상 연관 검색부는 연관 검색이 요청된 동영상의 비디오 핑거프린트로부터 샘플링된 복수의 서브 비디오 핑거프린트와 일부 또는 전체가 중첩되는 서브 비디오 핑거프린트 그룹을 포함하고 있는 다른 동영상의 비디오 핑거프린트를 상기 동영상 색인 DB에서 식별하고, 식별된 비디오 핑거프린트에 대응되는 다른 동영상의 메타 정보를 상기 동영상 색인 DB로부터 독출하여 메타 정보를 포함하는 동영상 연관 검색 결과 정보를 사용자에게 제공하는 것을 특징으로 하는 영상 정보 기반의 동영상 연관 검색 시스템The video associated searcher indexes the video fingerprint of another video including a plurality of sub video fingerprints that are partially or entirely overlapped with a plurality of sub video fingerprints sampled from the video fingerprint of the video requested to be searched for. Video information-based video, characterized in that it is identified in a DB, meta information of another video corresponding to the identified video fingerprint is read from the video index DB, and the video related search result information including meta information is provided to the user. Associative search system 동영상 파일에 대한 메타 정보 및 동영상의 프레임별 서브 비디오 핑거프린트의 집합으로 이루어진 비디오 핑거프린트 정보를 수록하고 있는 동영상 색인 DB;A moving picture index DB including video fingerprint information including meta information of a moving picture file and a set of sub-video fingerprints per frame of the moving picture; 상기 동영상 색인 DB에 저장된 각 비디오 핑거프린트 별로 해당 비디오 핑거프린트와 일부 또는 전체가 중첩되는 다른 비디오 핑거프린트(들)를 동영상 색인 DB로부터 식별하고, 식별된 다른 비디오 핑거프린트(들)의 리스트를 상기 리스트 생성의 대상이 된 비디오 핑거프린트와 매칭시켜 연관리스트 DB에 저장하는 연관리스트 생성부;For each video fingerprint stored in the video index DB, other video fingerprint (s) overlapping with some or all of the video fingerprint are identified from the video index DB, and a list of the identified other video fingerprint (s) is obtained. An association list generator for matching the video fingerprint as a list generation target and storing the match in the association list DB; 검색어를 입력받아 메타 정보 기반으로 상기 동영상 색인 DB를 조회하여 검색어와 연관된 동영상 검색 결과를 제공하는 메타 검색부; 및A meta search unit that receives a search term and searches the video index DB based on meta information to provide a video search result associated with the search term; And 상기 동영상 검색 결과에 포함된 특정 동영상에 대한 연관 검색 요청을 접수받아 상기 연관리스트 DB에서 연관 검색이 요청된 동영상의 비디오 핑거프린트를 식별하고, 식별된 비디오 핑거프린트와 매칭되어 저장된 비디오 핑거프린트의 리스트를 독출한 후 리스트에 포함된 각 비디오 핑거프린트의 메타 정보를 상기 동영상 색인 DB로부터 조회하여 메타 정보를 포함하는 동영상 연관 검색 결과 정보를 사용자에게 제공하는 동영상 연관 검색부;를 포함하는 것을 특징으로 하는 영상 정보 기반의 동영상 연관 검색 시스템A list of video fingerprints that are stored in response to a search request for a specific video included in the video search result, are identified from a video fingerprint of a video for which a related search is requested in the related list DB, and are matched with the identified video fingerprint. And a video association search unit for searching the meta information of each video fingerprint included in the list from the video index DB and providing the video association search result information including the meta information to the user. Video related search system based on video information 제4항에 있어서,The method of claim 4, wherein 동영상 파일을 입력받는 파일 입력부;A file input unit for receiving a video file; 상기 입력된 동영상 파일로부터 메타 정보를 추출하는 메타 정보 추출부;A meta information extracting unit extracting meta information from the input video file; 상기 입력된 동영상 파일에 포함된 비디오 데이터를 분석하여 비디오 핑거프린트를 추출하는 비디오 특징 추출부;A video feature extracting unit extracting a video fingerprint by analyzing video data included in the input video file; 상기 추출된 메타 정보와 비디오 핑거프린트를 매칭시켜 상기 동영상 색인 DB에 수록하는 동영상 색인부; 및A video indexing unit matching the extracted meta information with a video fingerprint and recording the same in the video index DB; And 동영상 검색의 대상이 되는 동영상 파일이 저장되어 있는 동영상 스토리지;를 더 포함하는 것을 특징으로 하는 영상 정보 기반의 동영상 연관 검색 시스템Video related video search system further comprises a; video storage that stores a video file to be searched for video 제4항에 있어서,The method of claim 4, wherein 상기 연관리스트 생성부는 상기 리스트 생성 대상이 된 비디오 핑거프린트로부터 샘플링된 복수의 서브 비디오 핑거프린트와 일부 또는 전체가 중첩되는 서브 핑거프린트 그룹을 포함하고 있는 다른 비디오 핑거프린트(들)을 식별하여 상기 비디오 핑거프린트(들)의 리스트를 동영상 색인 DB로부터 독출하는 것을 특징으로 하는 영상 정보 기반의 동영상 연관 검색 시스템The associative list generator identifies the other video fingerprint (s) including a plurality of sub-fingerprint samples sampled from the video fingerprint targeted to generate the list, and other sub-fingerprint groups overlapping some or all of the sub-fingerprints. Video information based video search system, characterized in that the list of fingerprint (s) is read from the video index DB 제1항 또는 제4항에 있어서,The method according to claim 1 or 4, 사용자의 검색어를 입력받는 검색요청 수신부;를 더 포함하고,And a search request receiver for receiving a user's search term. 상기 검색어는 동영상에 관한 메타 검색어임을 특징으로 하는 영상 정보 기반의 동영상 연관 검색 시스템The search term is a video related search system based on video information, characterized in that the meta search term relating to a video. 제1항 또는 제4항에 있어서,The method according to claim 1 or 4, 상기 동영상 검색 결과에 포함된 특정 동영상에 대한 연관 검색 요청을 접수받는 연관 검색 요청 수신부;를 더 포함하고,And a related search request receiving unit which receives a related search request for a specific video included in the video search result. 상기 연관 검색 요청은 동영상 검색 결과에 포함된 동영상 링크의 주변에 마련된 연관 검색 인터페이스의 클릭 또는 마우스 오버에 의해 이루어지는 것을 특징으로 하는 영상 정보 기반의 동영상 연관 검색 시스템The video related search system based on video information, wherein the related search request is made by a click or a mouse over of a related search interface provided around a video link included in a video search result. (a) 동영상 파일에 대한 메타 정보 및 동영상의 프레임별 서브 비디오 핑거프린트의 집합으로 이루어진 비디오 핑거프린트 정보를 수록하고 있는 동영상 색인 DB를 제공하는 단계;(a) providing a moving picture index DB including video fingerprint information including a meta information of a moving picture file and a set of sub-video fingerprints per frame of the moving picture; (b) 검색어를 입력받아 메타 정보 기반으로 상기 동영상 색인 DB를 조회하여 검색어와 연관된 동영상 검색 결과를 제공하는 단계;(b) receiving a search word and searching the video index DB based on meta information to provide a video search result associated with the search word; (c) 상기 동영상 검색 결과에 포함된 특정 동영상에 대한 연관 검색 요청을 접수받는 단계;(c) receiving a related search request for a specific video included in the video search result; (d) 연관 검색 요청이 이루어진 해당 동영상의 비디오 핑거프린트를 상기 동영상 색인 DB로부터 리드하는 단계; 및(d) reading a video fingerprint of a corresponding video in which an associated search request is made from the moving picture index DB; And (e) 상기 리드한 비디오 핑거프린트와 일부 또는 전체가 중첩되는 비디오 핑거프린트를 식별하고, 식별된 비디오 핑거프린트에 대응되는 다른 동영상의 메타 정보를 상기 동영상 색인 DB로부터 독출하여 메타 정보를 포함하는 동영상 연관 검색 결과 정보를 사용자에게 제공하는 단계;를 포함하는 것을 특징으로 하는 영상 정보 기반의 동영상 연관 검색 방법.(e) a video including a meta data of another video corresponding to the identified video fingerprint, the meta data of another video corresponding to the identified video fingerprint being read from the video index DB, and including the meta information; And providing the related search result information to the user. 제9항에 있어서, 상기 (a) 단계 이전에,10. The method of claim 9, prior to step (a), 동영상 파일을 입력받는 단계;Receiving a video file; 상기 입력된 동영상 파일로부터 메타 정보를 추출하는 단계;Extracting meta information from the input video file; 상기 입력된 동영상 파일에 포함된 비디오 데이터를 분석하여 비디오 핑거프린트를 추출하는 단계;Extracting a video fingerprint by analyzing video data included in the input video file; 상기 추출된 메타 정보와 비디오 핑거프린트를 매칭시켜 동영상 색인 DB에 수록하는 단계; 및Matching the extracted meta information with a video fingerprint and recording the same in a moving image index DB; And 동영상 검색의 대상이 되는 동영상 파일을 동영상 스토리지에 저장하는 단계;를 더 포함하는 것을 특징으로 하는 영상 정보 기반의 동영상 연관 검색 방법.And storing the video file, which is a video search target, in the video storage. 제9항에 있어서,The method of claim 9, 상기 (e) 단계에서 비디오 핑거프린트의 식별은,Identification of the video fingerprint in the step (e), 연관 검색이 요청된 동영상의 비디오 핑거프린트로부터 샘플링된 복수의 서브 비디오 핑거프린트와 일부 또는 전체가 중첩되는 서브 비디오 핑거프린트 그룹을 포함하고 있는 다른 동영상의 비디오 핑거프린트를 상기 동영상 색인 DB에서 식별하는 것에 의해 이루어지는 것을 특징으로 하는 영상 정보 기반의 동영상 연관 검색 방법.Identifying in the video index DB a video fingerprint of another video including a plurality of sub video fingerprints sampled from the video fingerprint of the video for which the associative search is requested and a sub video fingerprint group that overlaps some or all of the video sub-video fingerprints. A video related search method based on video information, characterized in that made by. (a) 동영상 파일에 대한 메타 정보 및 동영상의 프레임별 서브 비디오 핑거프린트의 집합으로 이루어진 비디오 핑거프린트 정보를 수록하고 있는 동영상 색인 DB를 제공하는 단계;(a) providing a moving picture index DB including video fingerprint information including a meta information of a moving picture file and a set of sub-video fingerprints per frame of the moving picture; (b) 상기 동영상 색인 DB에 저장된 각 비디오 핑거프린트 별로 해당 비디오 핑거프린트와 일부 또는 전체가 중첩되는 다른 비디오 핑거프린트(들)의 리스트가 수록된 연관리스트 DB를 제공하는 단계;(b) providing an association list DB including a list of other video fingerprint (s) overlapping a part or all of the video fingerprint for each video fingerprint stored in the moving picture index DB; (c) 검색어를 입력받아 메타 정보 기반으로 상기 동영상 색인 DB를 조회하여 검색어와 연관된 동영상 검색 결과를 제공하는 단계;(c) receiving a search word and searching the video index DB based on meta information to provide a video search result associated with the search word; (d) 상기 동영상 검색 결과에 포함된 특정 동영상에 대한 연관 검색 요청을 접수받는 단계;(d) receiving a related search request for a specific video included in the video search result; (e) 연관 검색 요청이 이루어진 해당 동영상의 비디오 핑거프린트를 상기 동영상 색인 DB로부터 리드하는 단계;(e) reading a video fingerprint of a corresponding video in which an associated search request is made from the moving picture index DB; (f) 상기 연관리스트 DB를 조회하여 상기 리드한 비디오 핑거프린트를 특정한 후, 특정된 비디오 핑거프린트와 일부 또는 전체가 중첩되는 다른 비디오 핑거프린트(들)의 리스트를 식별하는 단계;(f) querying the association list DB to specify the read video fingerprint, and then identifying a list of other video fingerprint (s) overlapping some or all of the specified video fingerprint; (g) 상기 식별된 다른 비디오 핑거프린트(들)의 리스트에 포함된 각 비디오 핑거프린트에 대응되는 동영상의 메타 정보를 상기 동영상 색인 DB로부터 독출하여 메타 정보를 포함하는 동영상 연관 검색 결과 정보를 사용자에게 제공하는 단계;를 포함하는 것을 특징으로 하는 영상 정보 기반의 동영상 연관 검색 방법.(g) reading video meta information of a video corresponding to each video fingerprint included in the identified other video fingerprint (s) from the video index DB and providing video related search result information including meta information to the user; And providing the video associated search based on the video information. 제12항에 있어서, 상기 (a) 단계 이전에,The method of claim 12, wherein before step (a), 동영상 파일을 입력받는 단계;Receiving a video file; 상기 입력된 동영상 파일로부터 메타 정보를 추출하는 단계;Extracting meta information from the input video file; 상기 입력된 동영상 파일에 포함된 비디오 데이터를 분석하여 비디오 핑거프린트를 추출하는 단계;Extracting a video fingerprint by analyzing video data included in the input video file; 상기 추출된 메타 정보와 비디오 핑거프린트를 매칭시켜 동영상 색인 DB에 수록하는 단계; 및Matching the extracted meta information with a video fingerprint and recording the same in a moving image index DB; And 상기 입력되어 동영상 검색의 대상이 되는 동영상 파일을 동영상 스토리지에 저장하는 단계;를 더 포함하는 것을 특징으로 하는 영상 정보 기반의 동영상 연관 검색 방법.And storing the input video file to be a video search target in video storage. 제12항에 있어서,The method of claim 12, 상기 (f) 단계에서 비디오 핑거프린트의 식별은,Identification of the video fingerprint in the step (f), 연관 검색이 요청된 동영상의 비디오 핑거프린트로부터 샘플링된 복수의 서브 비디오 핑거프린트와 일부 또는 전체가 중첩되는 서브 핑거프린트 그룹을 포함하고 있는 다른 비디오 핑거프린트(들)의 리스트를 상기 연관리스트 DB에서 식별하는 것에 의해 이루어지는 것을 특징으로 하는 영상 정보 기반의 동영상 연관 검색 방법.Identify, in the association list DB, a list of other video fingerprint (s) including a plurality of sub-fingerprint samples sampled from the video fingerprint of the video for which an associative search has been requested, and sub-fingerprint groups that overlap some or all of them. And a video related search method based on video information.
KR1020070084365A 2007-08-22 2007-08-22 System and Method for related search of moving video based on visual content KR100896336B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070084365A KR100896336B1 (en) 2007-08-22 2007-08-22 System and Method for related search of moving video based on visual content

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070084365A KR100896336B1 (en) 2007-08-22 2007-08-22 System and Method for related search of moving video based on visual content

Publications (2)

Publication Number Publication Date
KR20090020005A KR20090020005A (en) 2009-02-26
KR100896336B1 true KR100896336B1 (en) 2009-05-07

Family

ID=40687536

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070084365A KR100896336B1 (en) 2007-08-22 2007-08-22 System and Method for related search of moving video based on visual content

Country Status (1)

Country Link
KR (1) KR100896336B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101094896B1 (en) 2010-02-16 2011-12-15 한국과학기술원 Apparatus and Method for realizing multimedia

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101775027B1 (en) 2010-07-21 2017-09-06 삼성전자주식회사 Method and apparatus for sharing content
US8995708B2 (en) * 2011-09-08 2015-03-31 Samsung Electronics Co., Ltd. Apparatus and method for robust low-complexity video fingerprinting
KR101348668B1 (en) * 2011-12-27 2014-01-08 정태성 Method for producing search engine, and apparatus applied to the same
KR101404596B1 (en) * 2012-05-03 2014-06-11 (주)엔써즈 System and method for providing video service based on image data
KR101479412B1 (en) * 2013-07-08 2015-01-05 연세대학교 산학협력단 Method and apparatus for identifying digital contents
KR102041018B1 (en) * 2017-11-24 2019-11-05 정수경 Related information providing device
CN108197265A (en) * 2017-12-29 2018-06-22 深圳市视维科技股份有限公司 A kind of method and system based on short video search complete video

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010081894A (en) * 2000-02-18 2001-08-29 구자홍 Multimedia Query System And Histogram Converting System Based On Contents
KR20020060856A (en) * 2001-01-12 2002-07-19 주식회사 에쎄소프트 The video tape recommender system and method using the relationship between items
JP2006279429A (en) * 2005-03-29 2006-10-12 Kddi Corp Recommendation system for video content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010081894A (en) * 2000-02-18 2001-08-29 구자홍 Multimedia Query System And Histogram Converting System Based On Contents
KR20020060856A (en) * 2001-01-12 2002-07-19 주식회사 에쎄소프트 The video tape recommender system and method using the relationship between items
JP2006279429A (en) * 2005-03-29 2006-10-12 Kddi Corp Recommendation system for video content

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101094896B1 (en) 2010-02-16 2011-12-15 한국과학기술원 Apparatus and Method for realizing multimedia

Also Published As

Publication number Publication date
KR20090020005A (en) 2009-02-26

Similar Documents

Publication Publication Date Title
US11151145B2 (en) Tag selection and recommendation to a user of a content hosting service
KR100896336B1 (en) System and Method for related search of moving video based on visual content
WO2020119350A1 (en) Video classification method and apparatus, and computer device and storage medium
KR101457284B1 (en) Methods and apparatuses for facilitating content-based image retrieval
US9165255B1 (en) Automatic sequencing of video playlists based on mood classification of each video and video cluster transitions
WO2017114388A1 (en) Video search method and device
US8385660B2 (en) Mixed media reality indexing and retrieval for repeated content
US8521759B2 (en) Text-based fuzzy search
WO2016107126A1 (en) Image search method and device
CN112749326B (en) Information processing method, information processing device, computer equipment and storage medium
CN102549603A (en) Relevance-based image selection
KR100706389B1 (en) Image search method and apparatus considering a similarity among the images
CN111008321A (en) Recommendation method and device based on logistic regression, computing equipment and readable storage medium
CN111651636A (en) Video similar segment searching method and device
JP2008217428A (en) Image-retrieving program, method, and device
JP5685324B2 (en) Method and apparatus for comparing pictures
KR100946694B1 (en) System and Method for managing and detecting duplicate moving picture files based on video contents
US20110137896A1 (en) Information processing apparatus, predictive conversion method, and program
US20150010288A1 (en) Media information server, apparatus and method for searching for media information related to media content, and computer-readable recording medium
KR101868936B1 (en) Keyword extracting and refining system, and method thereof
KR101640317B1 (en) Apparatus and method for storing and searching image including audio and video data
US8463725B2 (en) Method for analyzing a multimedia content, corresponding computer program product and analysis device
CN113254665A (en) Knowledge graph expansion method and device, electronic equipment and storage medium
KR100916310B1 (en) System and Method for recommendation of music and moving video based on audio signal processing
JP2002007413A (en) Image retrieving device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130314

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140408

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150302

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160408

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180305

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190408

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20200211

Year of fee payment: 12