KR100896336B1 - System and Method for related search of moving video based on visual content - Google Patents
System and Method for related search of moving video based on visual content Download PDFInfo
- Publication number
- KR100896336B1 KR100896336B1 KR1020070084365A KR20070084365A KR100896336B1 KR 100896336 B1 KR100896336 B1 KR 100896336B1 KR 1020070084365 A KR1020070084365 A KR 1020070084365A KR 20070084365 A KR20070084365 A KR 20070084365A KR 100896336 B1 KR100896336 B1 KR 100896336B1
- Authority
- KR
- South Korea
- Prior art keywords
- video
- fingerprint
- search
- index
- information
- Prior art date
Links
Images
Abstract
본 발명은 영상 정보 기반의 동영상 연관 검색 시스템 및 방법을 개시한다. 본 발명에 따른 시스템은, 동영상 파일에 대한 메타 정보 및 동영상의 프레임별 서브 비디오 핑거프린트의 집합으로 이루어진 비디오 핑거프린트 정보를 수록하고 있는 동영상 색인 DB; 검색어를 입력받아 메타 정보 기반으로 상기 동영상 색인 DB를 조회하여 검색어와 연관된 동영상 검색 결과를 제공하는 메타 검색부; 및 상기 동영상 검색 결과에 포함된 특정 동영상에 대한 연관 검색 요청을 접수받아 상기 동영상 색인 DB로부터 해당 동영상의 비디오 핑거프린트를 리드하고, 리드한 비디오 핑거프린트와 일부 또는 전체가 중첩되는 비디오 핑거프린트를 식별하고, 식별된 비디오 핑거프린트에 대응되는 다른 동영상의 메타 정보를 상기 동영상 색인 DB로부터 독출하여 메타 정보를 포함하는 동영상 연관 검색 결과 정보를 사용자에게 제공하는 동영상 연관 검색부;를 포함하는 것을 특징으로 한다.
비디오 핑거프린트, 동영상 검색, 연관 검색
The present invention discloses a video related search system and method based on video information. The system according to the present invention comprises: a video index DB containing video fingerprint information including a set of meta information on a video file and a sub video fingerprint per frame of the video; A meta search unit that receives a search term and searches the video index DB based on meta information to provide a video search result associated with the search term; And receiving a related search request for a specific video included in the video search result, reading a video fingerprint of the video from the video index DB, and identifying a video fingerprint that partially or entirely overlaps the read video fingerprint. And a video association search unit configured to read meta information of another video corresponding to the identified video fingerprint from the video index DB and provide video related search result information including meta information to a user. .
Video fingerprint, video search, associative search
Description
본 발명은 동영상 검색과 관련된 것으로서, 보다 상세하게는 영상 정보를 기반으로 동영상을 연관 검색할 수 있는 시스템 및 그 방법에 관한 것이다.The present invention relates to video search, and more particularly, to a system and a method for associating a video based on image information.
최근 들어, 디지털 카메라/캠코더, 카메라 휴대폰, 휴대용 디지털 동영상 재생기(PMP, MP4P 등) 등의 발달로 동영상 콘텐츠의 제작과 활용이 용이해졌다. 또한, UCC(User Created Contents) 서비스의 급속한 확산으로 사용자에 의해 생산된 디지털 동영상 파일이 UCC 전문 사이트나 P2P(Peer to Peer) 방식의 파일 공유 사이트, 개인 블로그나 미니 홈페이지 등을 통해 업로드되고 있다. 이렇게 업로드된 동영상 파일은 인터넷을 통한 다운로드 또는 스트리밍 서비스에 의해 다른 사용자들에게 공유된다.Recently, with the development of digital cameras / camcorders, camera mobile phones, portable digital video players (PMP, MP4P, etc.), the production and utilization of video content has become easy. In addition, due to the rapid proliferation of UCC (User Created Contents) services, digital video files produced by users are uploaded through UCC specialized sites, P2P (peer to peer) file sharing sites, personal blogs or mini homepages. The uploaded video file is shared with other users by downloading or streaming service through the Internet.
현재의 인터넷 검색 서비스에서 양적으로 팽창된 동영상 콘텐츠에 대한 검색은 단순히 메타 정보를 기반으로 이루어지고 있는 실정이다. 즉, 사용자가 동영상 콘텐츠에 관한 정보, 예컨대 동영상의 제목 등을 키워드로 사용하여 검색을 요청하면, 검색 엔진은 메타 정보에 해당 키워드를 포함하고 있는 동영상 정보를 검색 결 과로서 보여준다.In the current Internet search service, the search for quantitatively expanded video content is simply based on meta information. That is, when a user requests a search using information about video content, for example, a title of a video, as a keyword, the search engine displays video information including the keyword in meta information as a search result.
그런데 위와 같은 메타 정보 기반의 검색방식은 검색 결과에 포함된 특정 동영상과 연관성이 있는 다른 동영상 콘텐츠를 찾는데 한계가 있다. 연관성이 있는 동영상 콘텐츠를 찾으려면 동영상 검색 결과를 기반으로 메타 정보 기반의 검색을 반복해야 하기 때문이다.However, the above meta-based search method has a limitation in finding other video contents related to a specific video included in a search result. This is because it is necessary to repeat the search based on meta information based on the video search results in order to find relevant video contents.
한편, 최근에는 사용자들의 검색 프로파일이나 행동 패턴을 추적하여 동영상 콘텐츠에 대한 검색시 사용자 맞춤형으로 동영상 콘텐츠를 추천해주는 시도가 이루어지고 있다. 예를 들어 사용자의 연령이나 성별 그리고 주로 이용하는 동영상 콘텐츠의 종류를 추적함으로써 사용자가 선호할 수 있는 동영상 콘텐츠를 중심으로 동영상 검색 결과를 제공하는 서비스가 바로 그것이다. 하지만, 동영상 검색을 요청하는 사용자마다 서로 다른 특성을 지니고 있기 때문에 동영상 콘텐츠 추천시 명확하고 일관된 기준을 제시할 수 없을 뿐만 아니라 사용자의 검색 프로파일이나 행동 패턴을 추적하기 위해서는 고성능의 검색 엔진이 필요하다는 단점이 있다.On the other hand, in recent years, attempts have been made to recommend video contents customized to users when searching for video contents by tracking search profiles or behavior patterns of users. For example, a service that provides a video search result centering on a user's favorite video content by tracking the user's age or gender and the type of video content used mainly. However, because each user requesting a video search has different characteristics, it is not possible to provide clear and consistent criteria when recommending video content, and a high-performance search engine is required to track the user's search profile or behavioral patterns. There is this.
본 발명은 상술한 종래기술의 문제를 해결하기 위하여 창안된 것으로서, 영상 정보 기반의 비디오 핑거프린트 기술을 활용하여 동영상 검색 결과와 더불어 어느 일정 부분이 동일한 영상이 삽입되어 있는 다른 동영상 콘텐츠들을 사용자들에게 연관 검색할 수 있는 시스템 및 방법을 제공하는데 그 목적이 있다.The present invention was devised to solve the above-described problems of the prior art, and utilizes video fingerprint technology based on image information to provide users with video search results and other video contents in which certain portions are inserted with the same video. Its purpose is to provide a system and method for associative search.
본 발명의 다른 목적은 동영상 콘텐츠를 연관 검색하기 위해 동일한 영상을 기반으로 동영상을 체계적으로 분류할 수 있는 시스템 및 방법을 제공하는데 있다.Another object of the present invention is to provide a system and method that can systematically classify moving images based on the same image in order to associate and search moving image contents.
상기 기술적 과제를 달성하기 위한 본 발명의 일 측면에 따른 영상 정보 기반의 동영상 연관 검색 시스템은, 동영상 파일에 대한 메타 정보 및 동영상의 프레임별 서브 비디오 핑거프린트의 집합으로 이루어진 비디오 핑거프린트 정보를 수록하고 있는 동영상 색인 DB; 검색어를 입력받아 메타 정보 기반으로 상기 동영상 색인 DB를 조회하여 검색어와 연관된 동영상 검색 결과를 제공하는 메타 검색부; 및 상기 동영상 검색 결과에 포함된 특정 동영상에 대한 연관 검색 요청을 접수받아 상기 동영상 색인 DB로부터 해당 동영상의 비디오 핑거프린트를 리드하고, 리드한 비디오 핑거프린트와 일부 또는 전체가 중첩되는 비디오 핑거프린트를 식별하고, 식별된 비디오 핑거프린트에 대응되는 다른 동영상의 메타 정보를 상기 동영상 색인 DB로부터 독출하여 메타 정보를 포함하는 동영상 연관 검색 결과 정보를 사용자에게 제공하는 동영상 연관 검색부;를 포함하는 것을 특징으로 한다.According to an aspect of the present invention for achieving the above technical problem, the video information-based video association search system, the video fingerprint information consisting of a set of meta information about the video file and the sub-video fingerprint of each video frame, and Video index DB; A meta search unit that receives a search term and searches the video index DB based on meta information to provide a video search result associated with the search term; And receiving a related search request for a specific video included in the video search result, reading a video fingerprint of the video from the video index DB, and identifying a video fingerprint that partially or entirely overlaps the read video fingerprint. And a video association search unit configured to read meta information of another video corresponding to the identified video fingerprint from the video index DB and provide video related search result information including meta information to a user. .
바람직하게, 상기 동영상 연관 검색부는 연관 검색이 요청된 동영상의 비디오 핑거프린트로부터 샘플링된 복수의 서브 비디오 핑거프린트와 일부 또는 전체가 중첩되는 서브 비디오 핑거프린트 그룹을 포함하고 있는 다른 동영상의 비디오 핑거프린트를 상기 동영상 색인 DB에서 식별하고, 식별된 비디오 핑거프린트에 대응되는 다른 동영상의 메타 정보를 상기 동영상 색인 DB로부터 독출하여 메타 정보를 포함하는 동영상 연관 검색 결과 정보를 사용자에게 제공한다.Preferably, the video association search unit may include a video fingerprint of another video including a plurality of sub video fingerprints that are partially or entirely overlapped with a plurality of sub video fingerprints sampled from the video fingerprint of the video for which the association search is requested. The meta information of another video identified in the video index DB and corresponding to the identified video fingerprint is read from the video index DB to provide the user with video related search result information including the meta information.
상기 기술적 과제를 달성하기 위한 본 발명의 다른 측면에 따른 영상 정보 기반의 동영상 연관 검색 시스템은, 동영상 파일에 대한 메타 정보 및 동영상의 프레임별 서브 비디오 핑거프린트의 집합으로 이루어진 비디오 핑거프린트 정보를 수록하고 있는 동영상 색인 DB; 상기 동영상 색인 DB에 저장된 각 비디오 핑거프린트 별로 해당 비디오 핑거프린트와 일부 또는 전체가 중첩되는 다른 비디오 핑거프린트(들)를 동영상 색인 DB로부터 식별하고, 식별된 다른 비디오 핑거프린트(들)의 리스트를 상기 리스트 생성의 대상이 된 비디오 핑거프린트와 매칭시켜 연관리스트 DB에 저장하는 연관리스트 생성부; 검색어를 입력받아 메타 정보 기반으로 상기 동영상 색인 DB를 조회하여 검색어와 연관된 동영상 검색 결과를 제공하는 메타 검색부; 및 상기 동영상 검색 결과에 포함된 특정 동영상에 대한 연관 검색 요청을 접수받아 상기 연관리스트 DB에서 연관 검색이 요청된 동영상의 비디오 핑거프린트를 식별하고, 식별된 비디오 핑거프린트와 매칭되어 저장된 비디오 핑거프린트의 리스트를 독출한 후 리스트에 포함된 각 비디오 핑거프린트의 메타 정보를 상기 동영상 색인 DB로부터 조회하여 메타 정보를 포함하는 동영상 연관 검색 결과 정보를 사용자에게 제공하는 동영상 연관 검색부;를 포함하는 것을 특징으로 한다.According to another aspect of the present invention for achieving the above technical problem, a video information-based video related retrieval system includes video fingerprint information including meta information about a video file and a sub video fingerprint of each video frame. Video index DB; For each video fingerprint stored in the video index DB, other video fingerprint (s) overlapping with some or all of the video fingerprint are identified from the video index DB, and a list of the identified other video fingerprint (s) is obtained. An association list generator for matching the video fingerprint as a list generation target and storing the match in the association list DB; A meta search unit that receives a search term and searches the video index DB based on meta information to provide a video search result associated with the search term; And receiving a related search request for a specific video included in the video search result, identifying a video fingerprint of a video for which a related search is requested in the related list DB, and matching the stored video fingerprint with the identified video fingerprint. And a video association search unit that provides the user with video related search result information including meta information by searching the video index DB for meta information of each video fingerprint included in the list after reading a list. do.
바람직하게, 상기 연관리스트 생성부는 상기 리스트 생성 대상이 된 비디오 핑거프린트로부터 샘플링된 복수의 서브 비디오 핑거프린트와 일부 또는 전체가 중첩되는 서브 핑거프린트 그룹을 포함하고 있는 다른 비디오 핑거프린트(들)를 식별하여 상기 비디오 핑거프린트(들)의 리스트를 동영상 색인 DB로부터 독출한다.Preferably, the associative list generator identifies other video fingerprint (s) including a plurality of sub video fingerprints sampled from the video fingerprint subjected to the list generation, and a sub fingerprint group which overlaps some or all of the sub video fingerprints. To read the list of video fingerprint (s) from a video index DB.
본 발명에 따른 시스템은, 상기 동영상 색인 DB를 구축하는 수단으로 동영상 파일을 입력받는 파일 입력부; 상기 입력된 동영상 파일로부터 메타 정보를 추출하는 메타 정보 추출부; 상기 입력된 동영상 파일에 포함된 비디오 데이터를 분석하여 비디오 핑거프린트를 추출하는 비디오 특징 추출부; 상기 추출된 메타 정보와 비디오 핑거프린트를 매칭시켜 상기 동영상 색인 DB에 수록하는 동영상 색인부; 및 동영상 검색의 대상이 되는 동영상 파일이 저장되어 있는 동영상 스토리지;를 더 포함한다.The system according to the present invention includes a file input unit for receiving a video file as a means for building the video index DB; A meta information extracting unit extracting meta information from the input video file; A video feature extracting unit extracting a video fingerprint by analyzing video data included in the input video file; A video indexing unit matching the extracted meta information with a video fingerprint and recording the same in the video index DB; And a video storage in which a video file to be searched for a video is stored.
본 발명에 따른 시스템은, 사용자의 검색어를 입력받는 검색요청 수신부;를 더 포함하고, 상기 검색어는 동영상에 관한 메타 검색어이다.The system according to the present invention further includes a search request receiving unit for receiving a user's search word, wherein the search word is a meta search term related to a video.
본 발명에 따른 시스템은, 상기 동영상 검색 결과에 포함된 특정 동영상에 대한 연관 검색 요청을 접수받는 연관 검색요청 수신부;를 더 포함하고, 상기 연관 검색 요청은 동영상 검색 결과에 포함된 동영상 링크의 주변에 마련된 연관 검색 인터페이스의 클릭 또는 마우스 오버에 의해 이루어진다.The system according to the present invention further includes an association search request receiving unit for receiving an association search request for a specific video included in the video search result, wherein the association search request is included in the vicinity of a video link included in the video search result. This is done by clicking or hovering over the associated search interface.
본 발명의 다른 기술적 과제는 상술한 영상 정보 기반의 동영상 연관 검색 시스템의 동작 방법에 의해서도 달성될 수 있다.Another technical problem of the present invention can be achieved by the above-described method of operating a video related search system based on image information.
본 발명에 따르면, 사용자가 동영상을 검색한 후 밀접하게 연관된 다른 콘텐츠들을 재검색할 필요 없이 바로 연관 검색 결과를 통해 연관된 동영상 정보를 확인할 수 있다. 이에 따라, 일정 부분이 동일한 영상이 삽입되어 있는 동영상 콘텐츠들을 손쉽게 얻을 수 있는 장점이 있다.According to the present invention, after a user searches for a video, the related video information can be identified through the related search result without re-searching other closely related contents. Accordingly, there is an advantage that it is easy to obtain video contents in which a certain portion of the same image is inserted.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. Prior to this, terms or words used in the specification and claims should not be construed as having a conventional or dictionary meaning, and the inventors should properly explain the concept of terms in order to best explain their own invention. Based on the principle that can be defined, it should be interpreted as meaning and concept corresponding to the technical idea of the present invention. Therefore, the embodiments described in the specification and the drawings shown in the drawings are only the most preferred embodiment of the present invention and do not represent all of the technical idea of the present invention, various modifications that can be replaced at the time of the present application It should be understood that there may be equivalents and variations.
도 1은 본 발명의 제1실시예에 따른 영상 정보 기반의 동영상 연관 검색 시스템의 개략적인 구성도이다.1 is a schematic configuration diagram of a video related search system based on image information according to a first embodiment of the present invention.
도 1을 참조하면, 제1실시예에 따른 동영상 연관 검색 시스템은, 동영상 색인 DB(140) 및 동영상 스토리지(150), 그리고 이들을 구축하기 위한 파일 입력부(210), 메타 정보 추출부(220), 비디오 특징 추출부(230) 및 동영상 색인부(240)를 포함한다.Referring to FIG. 1, the video related search system according to the first embodiment includes a
상기 파일 입력부(210)는 동영상 파일을 입력받아 임시적으로 메모리(250)에 저장한다. 메모리(250)는 전통적인 컴퓨터 시스템에 구비되는 활성 메모리이다. 상기 파일 입력부(210)는 파일 입력을 위한 인터페이스로서, 파일은 유선 또는 무선 인터넷과 같은 정보 통신망을 통해 입력될 수도 있고, 하드 드라이브, CD-ROM, DVD 등의 전통적인 저장매체로부터 입력될 수도 있다. 후자의 경우, 파일 입력부(210)는 파일 관리자가 저장매체에 저장된 각종 동영상 파일을 검색하여 메타 정보와 비디오 핑거프린트를 추출할 대상 파일을 선별할 수 있는 사용자 인터페이스를 제공하는 것이 바람직하다.The
상기 메타 정보 추출부(220)는 메모리(250)에 저장된 동영상 파일의 메타 정보를 리드하여 동영상 색인부(240)로 출력한다. 상기 메타 정보는 동영상의 제목, 제작자, 장르, 제작일자 등이다. 하지만, 본 발명이 메타 정보의 종류에 의해 한정되는 것은 아니다. 한편, 상기 메타 정보에는 동영상 파일의 헤더 정보가 더 포함될 수 있는 것으로 해석될 수 있음을 밝혀둔다.The meta
상기 비디오 특징 추출부(230)는 메모리(250)에 저장된 동영상 파일에 포함된 비디오 데이터를 분석하여 비디오 핑거프린트를 추출한다. 추출된 비디오 핑거프린트는 동영상 색인부(240)로 출력한다.The
여기서, 비디오 핑거프린트는 동영상 파일에 포함된 비디오 데이터를 배타적이고도 고유하게 식별할 수 있는 일종의 비디오 지문을 지칭한다. 상기 비디오 특 징 추출부(230)는 비디오 핑거프린트를 추출하기에 앞서 동영상 파일로부터 비디오 데이터만을 선택적으로 분리하는 과정을 선행할 수 있다.Here, the video fingerprint refers to a kind of video fingerprint that can exclusively and uniquely identify video data included in a moving image file. The
상기 비디오 특징 추출부(230)는 비디오 핑거프린트를 추출하기 위해 동영상 파일에서 비디오 스트림을 선택적으로 분리하고, 분리된 비디오 스트림을 디코딩하여 raw 포맷의 영상 데이터로 변환한다. 여기서, raw 포맷은 YUV(YCbCr) 포맷 또는 RGB 포맷을 의미한다. 하지만, 본 발명은 raw 포맷의 종류에 의해 한정되지 않는다. 이어서, 상기 비디오 특징 추출부(230)는 디코딩된 영상 데이터를 구성하는 각 프레임 이미지별로 서브 비디오 핑거프린트를 추출한다.The
상기 비디오 특징 추출부(230)가 각 프레임 이미지별로 서브 비디오 핑거프린트를 추출하는 과정은 다음과 같다. 먼저, 비디오 특징 추출부(230)는 프레임 이미지를 블록 단위로 분할한다. 일 예로서, 이미지의 세로축을 n 등분하고 가로축을 m 등분하여 프레임 이미지를 n×m 개의 블록으로 분할한다. 다른 예로서, 이미지의 세로축을 n 등분하여 프레임 이미지를 n 개의 블록으로 분할하고 다시 가로축을 m 등분하여 프레임 이미지를 m 개의 블록으로 분할하여 프레임 이미지를 n+m 개의 블록으로 분할한다.The
이어서, 비디오 특징 추출부(230)는 분할된 블록 단위별로 각 픽셀의 영상 밝기 데이터인 Y값의 평균을 산출한 후 인접한 블록 간의 영상 밝기 평균값의 차이를 기준으로 소정 비트수(예컨대, 32비트)의 서브 비디오 핑거프린트를 생성한다.Subsequently, the
다음 수학식 1은 하나의 프레임 이미지에 대한 서브 비디오 핑거프린트를 생성하는데 사용될 수 있는 비트 할당 함수 'B(r, c, p)'를 예시한 것이다. 참고로, 하기 수학식 1은 하나의 프레임 이미지를 n×m 개의 블록으로 분할하였을 때를 가정한 것이다.Equation 1 below illustrates a bit allocation function 'B (r, c, p)' that can be used to generate a sub video fingerprint for one frame image. For reference, Equation 1 below assumes a case in which one frame image is divided into n × m blocks.
여기서, B(r, c, p)는 p번째 프레임 이미지의 가로축 및 세로축을 기준으로 각각 r번째 및 c번째에 위치한 블록에 대해 비트를 할당하는 함수이다. 그리고, F(r, c, p)는 p번째 프레임 이미지의 가로축 및 세로축을 기준으로 각각 r번째 및 c번째에 위치한 블록의 영상 밝기값 평균을 나타낸다.Here, B (r, c, p) is a function for allocating bits to blocks located in the r-th and c-th based on the horizontal and vertical axes of the p-th frame image. F (r, c, p) represents an average of image brightness values of blocks located at r-th and c-th, respectively, based on the horizontal and vertical axes of the p-th frame image.
상기 수학식 1의 F(r, c, p)에서, r은 1부터 n까지의 정수값을 갖고, c는 1부터 m-1까지의 정수값을 갖는다. 따라서 프레임 이미지가 '4×9=36' 개의 블록으로 분할되면 서브 비디오 핑거프린트는 '4×8=32' 비트의 코드열을 갖게 된다. 한편, α는 1보다 작은 수로서 적절하게 선택 가능한 상수이다. 예컨대 α는 0.95이다.In F (r, c, p) of Equation 1, r has an integer value from 1 to n, and c has an integer value from 1 to m-1. Therefore, when the frame image is divided into 4 × 9 = 36 blocks, the sub video fingerprint has a code string of 4 × 8 = 32 bits. Α is a constant smaller than 1 and can be appropriately selected. Α is 0.95, for example.
한편, 상기 비디오 특징 추출부(230)는 영상의 밝기 데이터인 Y값 이외에도 각 픽셀의 색차 데이터인 Cb 또는 Cr값을 활용하여 서브 비디오 핑거프린트를 생성할 수 있다. Cb 또는 Cr값을 활용하여 서브 비디오 핑거프린트를 생성하는 방법은 연산 대상이 되는 데이터의 종류만이 다를 뿐 상술한 바와 실질적으로 동일할 것임은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명하다.The
상기 비디오 특징 추출부(230)는 동영상을 구성하는 각 프레임 이미지에 대한 서브 비디오 핑거프린트를 추출하고 나면, 추출된 각 서브 비디오 핑거프린트를 그룹핑함으로써 동영상 파일에 대한 비디오 핑거프린트의 생성을 완료한다.After extracting the sub video fingerprint for each frame image constituting the video, the
상술한 비디오 핑거프린트 추출 기법은 Job Oostveen, Ton Kalker, Jaap Haitsma의 논문 "Feature Extraction and a Database Strategy for Video Fingerprinting"(Lecture Notes in Computer Science 2314 Springer 2002, pp.117-128) 에 개시되어 있다. 따라서, 상기 논문의 모든 내용은 본 발명의 구성의 일부로 통합될 수 있다. 한편, 본 발명은 비디오 핑거프린트를 추출하는 구체적인 방식에 의해 한정되지 않으므로, 비디오 핑거프린트를 추출할 수 있는 알고리즘이라면 어떠한 것이라도 채용 가능하다.The above-described video fingerprint extraction technique is disclosed in Job Oostveen, Ton Kalker, Jaap Haitsma's article "Feature Extraction and a Database Strategy for Video Fingerprinting" (Lecture Notes in Computer Science 2314 Springer 2002, pp. 117-128). Accordingly, all content of the article can be incorporated as part of the construction of the present invention. On the other hand, the present invention is not limited by the specific method of extracting the video fingerprint, any algorithm that can extract the video fingerprint can be employed.
상기 동영상 색인부(240)는 메타 정보 추출부(220)와 비디오 특징 추출부(230)로부터 각각 메타 정보와 비디오 핑거프린트 정보를 입력받은 후 메타 정보와 비디오 핑거프린트를 상호 매칭시켜 동영상 색인 DB(140)에 수록한다. 아울러, 메모리(250)에 저장된 동영상 파일을 리드하여 동영상 스토리지(150)에 저장한다. 또한, 동영상 스토리지(150)에 저장된 동영상 파일의 식별정보를 작성하여 동영상 색인 DB(140)에 수록한다.The
상술한 동영상 색인 DB(140) 및 동영상 스토리지(150)의 구축 과정은 파일 입력부(210)를 통해 동영상 파일이 입력될 때마다 반복적으로 이루어질 것임은 자명하다.It is apparent that the above-described construction process of the
본 발명에 따른 동영상 연관 검색 시스템은 동영상 색인 DB(140)와 동영상 스토리지(150)를 이용하여 동영상 연관 검색 서비스를 제공한다. 이를 위해, 상기 동영상 연관 검색 시스템은 검색요청 수신부(100), 메타 검색부(110), 연관 검색 요청 수신부(120) 및 동영상 연관 검색부(130)를 포함한다.The video related search system according to the present invention provides a video related search service using the
상기 검색요청 수신부(100)는 사용자로부터 검색어를 입력받아 메타 검색부(110)로 검색어를 전달한다. 바람직하게, 상기 검색요청 수신부(100)는 유선 또는 무선 인터넷을 통해 사용자에게 제공된 검색창 인터페이스를 통하여 검색어를 입력받는다. 상기 검색어는 동영상의 메타 정보와 관련된 검색어이다. 상기 메타 정보의 종류에 대해서는 이미 상술한 바 있다.The search
상기 메타 검색부(110)는 검색어를 입력받아 메타 정보 기반으로 상기 동영상 색인 DB(140)를 조회하여 검색어와 연관된 동영상 검색 결과를 사용자에게 제공한다. 상기 동영상 색인 DB(140)에는 동영상 파일에 대한 메타 정보 및 비디오 핑거프린트 정보가 상호 매칭되어 수록되어 있고, 동영상 스토리지(150)에 저장된 동영상 파일의 참조가 가능한 식별정보(예컨대, 파일 저장경로를 포함한 파일명)가 수록되어 있다. 여기서, 비디오 핑거프린트에 대해서는 이미 상술한 바 있다.The
상기 동영상 검색 결과가 제공되면, 사용자는 검색 결과 페이지에 포함된 연관 검색 인터페이스를 이용하여 특정 동영상에 대한 연관 검색을 요청한다. 특정 동영상에 대한 연관 검색이라 함은 동영상 내에 포함된 영상의 일부 또는 전체 영상을 담고 있는 다른 동영상을 검색하여 제공해주는 것을 말한다.When the video search result is provided, the user requests a related search for a specific video using the related search interface included in the search result page. The related search for a specific video refers to searching for and providing another video including a part or the entire video included in the video.
상기 연관 검색 요청 수신부(120)는 동영상 검색 결과를 통해 사용자가 요청한 특정 동영상의 연관 검색 요청을 수신하여 동영상 연관 검색부(130)로 전달한다.The related
상기 동영상 연관 검색부(130)는 연관 검색 요청 수신부(120)로부터 특정 동영상에 대한 연관 검색 요청을 접수받아 상기 동영상 색인 DB(140)로부터 해당 동영상의 비디오 핑거프린트를 리드한다. 그런 다음, 동영상 연관 검색부(130)는 리드한 비디오 핑거프린트와 일부 또는 전체가 중첩되는 비디오 핑거프린트를 동영상 색인 DB(140)에서 식별하고, 식별된 비디오 핑거프린트에 대응되는 다른 동영상의 메타 정보를 이용하여 동영상 연관 검색 결과 정보를 구성한 후 사용자에게 제공한다. 여기서, 상기 다른 동영상은 연관 검색 요청이 이루어진 동영상의 일부 또는 전체 영상을 담고 있게 된다.The video related
상기 동영상 연관 검색부(130)가 리드한 비디오 핑거프린트와 일부 또는 전체가 중첩되는 다른 비디오 핑거프린트를 식별하는 과정을 보다 구체적으로 설명하면 다음과 같다.A process of identifying the video fingerprint read by the video associated
먼저, 동영상 연관 검색부(130)는 리드한 비디오 핑거프린트를 쿼리 핑거프린트로 지정하고, 동영상 색인 DB(140)에 수록된 다른 비디오 핑거프린트들을 비교 대상 핑거프린트로 지정한다.First, the video related
그런 다음, 동영상 연관 검색부(130)는 쿼리 핑거프린트를 소정 수의 서브 비디오 핑거프린트 단위로 분할한다. 예를 들어 500개의 서브 비디오 핑거프린트 단위로 쿼리 핑거프린트를 순차적으로 분할하여 그룹핑한다. 이어서 동영상 연관 검색부(130)는 각각의 서브 비디오 핑거프린트 그룹별로 해당 서브 비디오 핑거프린트 그룹과 일부 또는 전체가 중첩되는 서브 비디오 핑거프린트 그룹이 비교 대상 핑거프린트에 존재하는지 판별한다. 그 결과, 동일한 서브 비디오 핑거프린트 그룹이 존재하는 것으로 판별되면, 상기 동영상 연관 검색부(130)는 해당 비교 대상 핑거프린트를 쿼리 핑거프린트와 일부 또는 전체가 동일한 비디오 핑거프린트로 식별한다.Then, the video
여기서, 쿼리 핑거프린트의 서브 비디오 핑거프린트 그룹과 일부 또는 전체가 중첩되는 서브 비디오 핑거프린트 그룹이 비교 대상 핑거프린트에 존재하는지 여부를 판단하는 과정은 다음과 같다.Here, the process of determining whether a sub video fingerprint group overlapping a part or all of the sub video fingerprint group of the query fingerprint exists in the comparison target fingerprint is as follows.
먼저, 상기 동영상 연관 검색부(130)는 쿼리 핑거프린트의 서브 비디오 핑거프린트 그룹으로부터 서브 비디오 핑거프린트를 순차적으로 샘플링하면서 샘플링된 서브 비디오 핑거프린트와 일치하는 서브 비디오 핑거프린트가 비교 대상 핑거프린트에 존재하는지 판별한다. 일치하는 서브 비디오 핑거프린트가 존재하면, 상기 동영상 연관 검색부(130)는 쿼리 핑거프린트의 서브 비디오 핑거프린트 그룹과 비교 대상 핑거프린트로부터 서브 비디오 핑거프린트가 일치하는 프레임을 전후로 하여 미리 정해진 수(예컨대, 100개)의 프레임에 대한 복수의 서브 비디오 핑거프린트를 샘플링한다. 그리고 나서, 동영상 연관 검색부(130)는 후술하는 다양한 방식에 의해 샘플링된 서브 비디오 핑거프린트 그룹 간의 동일성을 판별한다. 하지만, 본 발명은 동일성을 판별하는 구체적인 방식에 의해 한정되는 것은 아니다.First, the video
일 예로, 상기 동영상 연관 검색부(130)는 쿼리 핑거프린트의 서브 비디오 핑거프린트 그룹과 비교 대상 핑거프린트로부터 샘플링된 서브 비디오 핑거프린트 그룹을 상호 대비하여 일치하는 서브 비디오 핑거프린트 쌍의 비율을 계산한 후 그 값을 미리 설정한 임계치(예컨대, 80%)와 비교하여 샘플링된 서브 비디오 핑거프린트 간의 동일성을 판별한다.For example, the video
다른 예로, 상기 동영상 연관 검색부(130)는 쿼리 핑거프린트의 서브 비디오 핑거프린트 그룹과 비교 대상 핑거프린트로부터 샘플링된 서브 비디오 핑거프린트 그룹의 상호 대응되는 서브 비디오 핑거프린트 간의 비트 에러율(Bit Error Rate)을 근거로 전체 평균 비트 에러율을 계산한 후 그 크기를 미리 설정한 임계치(예컨대, 20%)와 비교하여 샘플링된 서브 비디오 핑거프린트 그룹 간의 동일성을 판별한다.As another example, the video
상술한 방식 이외에도 상기 동영상 연관 검색부(130)는 단순히 쿼리 핑거프린트의 서브 비디오 핑거프린트 그룹 내에 포함된 서브 비디오 핑거프린트 중 비교 대상 핑거프린트 내에 포함된 서브 비디오 핑거프린트의 비율을 계산한 후 그 크기를 미리 설정한 임계치(예컨대, 80%)와 비교하여 쿼리 핑거프린트와 비교 대상 핑거프린트 간의 동일성을 판별할 수도 있다.In addition to the above-described method, the video associated
한편, 상기 동영상 연관 검색부(130)는 쿼리 핑거프린트를 분할하지 않은 상태에서 상술한 방식에 의해 쿼리 핑거프린트와 비교 대상 핑거프린트 간의 동일성을 판별할 수도 있다.Meanwhile, the video
즉, 상기 동영상 연관 검색부(130)는 쿼리 핑거프린트로부터 서브 비디오 핑거프린트를 순차적으로 샘플링하면서 샘플링된 서브 비디오 핑거프린트와 일치하는 서브 비디오 핑거프린트가 비교 대상 핑거프린트에 존재하는지 판별한다. 일치하는 서브 비디오 핑거프린트가 존재하면, 상기 동영상 연관 검색부(130)는 쿼리 핑거프린트와 비교 대상 핑거프린트로부터 서브 비디오 핑거프린트가 일치하는 프레임을 전후로 하여 미리 정해진 수(예컨대, 300개)의 프레임에 대한 복수의 서브 비디오 핑거프린트를 샘플링한다. 그리고 나서, 동영상 연관 검색부(130)는 상술한 여러 가지 방식을 선택적으로 적용하여 샘플링된 서브 비디오 핑거프린트 그룹 간의 동일성을 판별할 수 있다.That is, the video
이러한 방식은 쿼리 핑거프린트가 추출된 동영상 파일의 영상 전체가 포함되어 있는 다른 동영상 파일을 검색하고자 할 때 유용하다. 하지만, 본 발명이 이에 한하는 것은 아니다.This method is useful when a query fingerprint is to be searched for another video file including the entire video of the extracted video file. However, the present invention is not limited thereto.
상기 동영상 연관 검색부(130)가 제공하는 상기 동영상 연관 검색 결과 정보는 연관 검색이 요청된 동영상의 일부 또는 전체 영상을 담고 있는 다른 동영상의 메타 정보와 동영상을 재생할 수 있는 링크 코드를 포함한다. 상기 메타 정보와 링크 코드는 동영상 색인 DB(140)로부터 참조된다.The video related search result information provided by the video related
상기 동영상 연관 검색 결과 정보가 제공되면, 사용자는 원하는 동영상을 클릭하여 재생할 수 있으며, 메타 정보를 통해 검색된 동영상에 대한 여러 가지 정보를 확인할 수 있다. 이러한 기능이 구현되도록 동영상 연관 검색 결과 정보를 구성하는 것은 본 발명이 속한 기술분야에서 널리 알려져 있으므로 이에 대한 자세한 설명은 생략하기로 한다.When the video related search result information is provided, the user may click and play a desired video and may check various information about the searched video through meta information. The configuration of video related search result information to implement such a function is well known in the art to which the present invention pertains, and a detailed description thereof will be omitted.
도 2는 본 발명의 제2실시예에 따른 영상 정보 기반의 동영상 연관 검색 시스템의 개략적인 구성도이다.2 is a schematic structural diagram of a video related search system based on image information according to a second embodiment of the present invention.
제2실시예에 따른 동영상 연관 검색 시스템은, 연관리스트 생성부(160)와 연관리스트 DB(170)를 더 포함한다.The video related search system according to the second embodiment further includes an
상기 연관리스트 생성부(160)는 상기 동영상 색인 DB(140)에 저장된 비디오 핑거프린트들의 동일성을 미리 판단하여 각 비디오 핑거프린트 별로 일부 또는 전체가 중첩되는 다른 비디오 핑거프린트(들)의 리스트를 생성하여 상기 연관리스트 DB(170)에 저장한다. 즉, 연관리스트 생성부(160)는 상기 리스트 생성의 대상이 되는 비디오 핑거프린트와 일부 또는 전체가 중첩되는 다른 비디오 핑거프린트(들)를 동영상 색인 DB(140)로부터 독출하여 상기 리스트를 생성한다. 다른 비디오 핑거프린트(들)의 리스트에 포함된 각 비디오 핑거프린트는 리스트 생성 대상 비디오 핑거프린트에 대응되는 동영상에 대해 연관 검색 요청이 이루어졌을 때 제공될 수 있는 다른 동영상 파일(들)의 비디오 핑거프린트이다.The
제2실시예에 따른 동영상 연관 검색 시스템은, 동영상의 연관 검색이 요청되면, 동영상 색인 DB(140)로부터 연관된 동영상의 비디오 핑거프린트를 조회하지 않는다. 대신, 연관리스트 DB(170)를 조회하여 연관 검색 요청이 이루어진 동영상 파일의 비디오 핑거프린트를 특정한 후, 특정된 비디오 핑거프린트와 일부 또는 전체가 중첩되는 서브 비디오 핑거프린트 그룹을 포함하고 있는 다른 비디오 핑거프린트(들)의 리스트를 식별한다. 그런 다음, 식별된 리스트에 포함된 각 비디오 핑거프린트의 메타 정보와 동영상 스토리지(150) 내의 동영상 파일 저장 경로를 동영상 색인 DB(140)에서 독출하여 동영상 연관 검색 결과 정보를 구성한 후 사용자에게 제공한다. 이러한 경우, 동영상 색인 DB(140)를 이용하는 경우보다 빠르게 동영상 연관 검색 결과 정보를 구성하여 제공할 수 있는 이점이 있다.The video related search system according to the second embodiment does not query the video fingerprint of the related video from the
도 3은 본 발명에 따른 동영상 색인 DB의 구축 과정을 순차적으로 도시한 절차 흐름도이다.3 is a flowchart illustrating a process of constructing a video index DB according to the present invention in sequence.
먼저, 단계(S10)에서 파일 입력부(210)는 동영상 파일을 입력받는다. 그런 후, 단계(S20)에서 메모리(250)에 동영상 파일을 임시로 저장한다.First, in step S10, the
단계(S30)에서 메타 정보 추출부(220)는 메모리(250)에 저장된 동영상 파일로부터 메타 정보를 추출하여 동영상 색인부(240)로 출력한다. 그리고 단계(S40)에서 비디오 특징 추출부(230)는 메모리(250)에 저장된 동영상 파일로부터 비디오 핑거프린트를 추출하여 동영상 색인부(240)로 출력한다.In operation S30, the
단계(S50)에서 동영상 색인부(240)는 상기 출력된 메타 정보와 비디오 핑거프린트를 상호 매칭시켜 동영상 색인 DB(140)에 저장하고, 메모리(250)로부터 동영상 파일을 리드하여 동영상 스토리지(150)에 저장한다. 또한, 동영상 스토리지(150)에 저장된 동영상 파일의 식별정보를 작성하여 동영상 색인 DB(140)에 수록한다.In operation S50, the
도 4는 본 발명의 제1실시예에 따른 동영상 연관 검색 방법이 구현되는 과정을 순차적으로 도시한 절차 흐름도이다.4 is a flowchart illustrating a process of sequentially implementing a video associated search method according to the first embodiment of the present invention.
먼저, 단계(S100)에서는 도 3에서 구축된 동영상 색인 DB(140)가 제공된다. 여기서, 동영상 색인 DB(140)에는 동영상 파일에 대한 메타 정보 및 비디오 핑거프린트 정보와 동영상 스토리지(150) 내에 저장된 동영상 파일의 식별정보가 수록되어 있다.First, in step S100, the
단계(S110)에서는 검색요청 수신부(100)가 유선 또는 무선 인터넷을 통해 사용자로부터 검색어를 입력받아 메타 정보 기반으로 상기 동영상 색인 DB(140)를 조회하여 검색어와 연관된 동영상 검색 결과를 생성하여 사용자에게 제공한다. 여기서, 사용자에게 제공되는 검색 결과에서 각 콘텐츠의 링크 주변에는 연관 검색을 요청할 수 있는 연관 검색 인터페이스가 마련되어 있다. 사용자는 희망하는 경우 연관 검색 인터페이스를 조작하여 특정 동영상에 대한 연관 검색을 요청할 수 있다. 연관 검색 인터페이스의 조작은 마우스의 클릭 또는 마우스 오버에 의해 이루어질 수 있다. 하지만, 본 발명은 연관 검색 인터페이스의 조작 방식에 의해 한정되지 않는다.In step S110, the search
단계(S120)에서, 연관 검색 요청 수신부(120)는 동영상 검색 결과에 포함된 특정 동영상에 대한 연관 검색 요청을 접수받아 동영상 연관 검색부(130)로 전달한다.In operation S120, the related
단계(S130)에서, 동영상 연관 검색부(130)는 연관 검색 요청이 이루어진 해당 동영상의 비디오 핑거프린트를 동영상 색인 DB(140)로부터 리드한다.In operation S130, the video associated
단계(S140)에서, 동영상 연관 검색부(130)는 동영상 색인 DB(140)를 조회하여 리드한 비디오 핑거프린트와 일부 또는 전체가 중첩되는 비디오 핑거프린트를 식별한다. 비디오 핑거프린트의 식별 방식에 대해서는 이미 상술한 바 있다.In operation S140, the video
단계(S150)에서, 동영상 연관 검색부(130)는 동영상 색인 DB(140)를 이용하여 식별된 비디오 핑거프린트에 대응되는 다른 동영상의 정보를 포함하는 동영상 연관 검색 결과 정보를 생성하여 사용자에게 제공한다. 동영상 연관 검색 결과 정보는 다른 동영상의 메타 정보와 재생을 요청할 수 있는 링크 코드를 포함한다.In operation S150, the video related
도 5는 본 발명의 제2실시예에 따른 동영상 연관 검색 방법이 구현되는 과정을 순차적으로 도시한 절차 흐름도이다.5 is a flowchart illustrating a process of sequentially implementing a video related search method according to a second embodiment of the present invention.
먼저, 단계(S200)에서, 연관리스트 생성부(160)는 도 3에서 구축된 동영상 색인 DB(140)에 저장된 비디오 핑거프린트들의 동일성을 미리 판단하여 각 비디오 핑거프린트 별로 일부 또는 전체가 중첩되는 다른 비디오 핑거프린트(들)의 리스트를 생성한다. 즉, 연관리스트 생성부(160)는 리스트 생성의 대상이 되는 비디오 핑거프린트와 일부 또는 전체가 중첩되는 다른 비디오 핑거프린트(들)를 동영상 색인 DB(140)로부터 독출함으로써 동영상 내에 포함된 영상의 일부 또는 전체 영상을 담고 있는 다른 동영상 파일의 비디오 핑거프린트(들)의 리스트를 생성한다.First, in step S200, the
단계(S210)에서, 연관리스트 생성부(160)는 생성된 비디오 핑거프린트(들)의 리스트를 연관리스트 DB(170)에 저장한다.In operation S210, the
단계(S220)에서는, 단계(S200) 내지 단계(S210)에서 구축된 연관리스트 DB(170)가 제공된다.In step S220, an
단계(S230)에서, 검색요청 수신부(100)는 유선 또는 무선 인터넷을 통해 사용자로부터 검색어를 입력받아 메타 정보 기반으로 상기 동영상 색인 DB(140)를 조회하여 검색어와 연관된 동영상 검색 결과를 생성하여 사용자에게 제공한다.In operation S230, the search
여기서, 사용자에게 제공되는 검색 결과에서 각 동영상 콘텐츠의 링크 주변에는 연관 검색을 요청할 수 있는 연관 검색 인터페이스가 마련된다. 사용자는 희망하는 경우 연관 검색 인터페이스를 조작하여 특정 동영상에 대한 연관 검색을 요청할 수 있다.Here, an association search interface for requesting an association search is provided around a link of each video content in a search result provided to a user. If desired, the user can request an associated search for a specific video by manipulating the associated search interface.
단계(S240)에서, 연관 검색 요청 수신부(120)는 동영상 검색 결과에 포함된 특정 동영상에 대한 연관 검색 요청을 접수받아 동영상 연관 검색부(130)로 전달한다.In operation S240, the related
단계(S250)에서, 동영상 연관 검색부(130)는 연관 검색 요청이 이루어진 해당 동영상의 비디오 핑거프린트를 동영상 색인 DB(140)로부터 리드한다.In operation S250, the video
단계(S260)에서, 동영상 연관 검색부(130)는 연관리스트 DB(170)를 조회하여 동영상 색인 DB(140)로부터 리드한 비디오 핑거프린트를 특정한 후, 특정된 비디오 핑거프린트와 일부 또는 전체가 중첩되는 서브 비디오 핑거프린트 그룹을 포함하고 있는 다른 비디오 핑거프린트(들)의 리스트를 식별한다. 비디오 핑거프린트의 식별 방식에 대해서는 이미 상술한 바 있다.In operation S260, the video
단계(S270)에서, 동영상 연관 검색부(130)는 동영상 색인 DB(140)를 이용하여 식별된 다른 비디오 핑거프린트(들)의 리스트에 포함된 각 비디오 핑거프린트에 대응되는 동영상의 정보를 포함하는 동영상 연관 검색 결과 정보를 생성하여 사용자에게 제공한다.In operation S270, the video
상술한 본 발명에 따른 영상 정보 기반의 동영상 연관 검색 시스템의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터에 의해 판독 가능한 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합으로 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 프로그램 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예로는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급언어 코드를 포함한다. 상기한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 동작하도록 구성될 수 있으며, 그 역도 마찬가지이다.The operation method of the video information retrieval system based on the image information according to the present invention described above may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer-readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those skilled in the computer program arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Hardware devices specially configured to store and execute program instructions such as magneto-optical media and ROM, RAM, flash memory and the like. The medium may be a transmission medium such as an optical or metal wire, a waveguide, or the like including a carrier wave for transmitting a signal specifying a program command, a data structure, or the like. Examples of program instructions include machine code, such as produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter. Such hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
도 6은 본 발명에 따른 영상 정보 기반의 동영상 연관 검색 시스템의 동작 방법을 수행하는데 채용될 수 있는 범용 컴퓨터 시스템의 내부 블록도이다.6 is an internal block diagram of a general-purpose computer system that may be employed to perform a method of operating a video related search system based on image information according to the present invention.
도 6을 참조하면, 상기 범용 컴퓨터 시스템(400)은 램(RAM: 420)과 롬(ROM: 430)을 포함하는 주기억장치와 연결되는 하나 이상의 프로세서(410)를 포함한다. 프로세서(410)는 중앙처리장치(CPU)로 불리기도 한다. 본 기술분야에서 널리 알려진 바와 같이, 롬(430)은 데이터와 명령을 단방향성으로 프로세서(410)에 전송하는 역할을 하며, 램(420)은 통상적으로 데이터와 명령을 양방향성으로 프로세서(410)로 전송하는데 사용된다. 램(420) 및 롬(430)은 컴퓨터 판독 가능 매체의 어떠한 적절한 형태를 포함할 수 있다. 대용량 기억장치(440)는 양방향성으로 프로세서(410)와 연결되어 추가적인 데이터 저장 능력을 제공하며, 상기된 컴퓨터 판독 가능 기록 매체 중 어떠한 것일 수 있다. 대용량 기억장치(440)는 프로그램, 데이터 등을 저장하는데 사용되며, 통상적으로 주기억장치보다 속도가 느린 하드 디스크와 같은 보조기억장치이다. CD롬(460)과 같은 특정 대용량 기억장치가 사용될 수 도 있다. 프로세서(410)는 비디오 모니터, 트랙볼 마우스, 키보드, 마이크로폰, 터치스크린 형 디스플레이, 카드 판독기, 자기 또는 종이 테이프 판독기, 음성 또는 필기 인식기, 조이스틱 또는 기타 공지된 컴퓨터 입출력 장치와 같은 하나 이상의 입출력 인터페이스(450)와 연결된다. 마지막으로, 프로세서(410)는 네트워크 인터페이스(470)를 통하여 유선 또는 무선 통신 네트워크에 연결될 수 있다. 이러한 네트워크 연결을 통하여 상기된 방법의 절차를 수행할 수 있다. 상기된 장치 및 도구는 컴퓨터 하드웨어 및 소프트웨어 기술 분야의 당업자에게 잘 알려져 있다. 한편, 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 동작하도록 구성될 수 있다.Referring to FIG. 6, the general
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.As described above, although the present invention has been described by way of limited embodiments and drawings, the present invention is not limited thereto and is intended by those skilled in the art to which the present invention pertains. Of course, various modifications and variations are possible within the scope of equivalents of the claims to be described.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 전술된 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되지 않아야 한다.The following drawings, which are attached to this specification, illustrate exemplary embodiments of the present invention, and together with the detailed description of the present invention serve to further understand the technical spirit of the present invention, the present invention includes matters described in such drawings. It should not be construed as limited to.
도 1은 본 발명의 제1실시예에 따른 영상 정보 기반의 동영상 연관 검색 시스템의 개략적인 구성도이다.1 is a schematic configuration diagram of a video related search system based on image information according to a first embodiment of the present invention.
도 2는 본 발명의 제2실시예에 따른 영상 정보 기반의 동영상 연관 검색 시스템의 개략적인 구성도이다.2 is a schematic structural diagram of a video related search system based on image information according to a second embodiment of the present invention.
도 3은 본 발명에 따른 동영상 색인 DB의 구축 과정을 순차적으로 도시한 절차 흐름도이다.3 is a flowchart illustrating a process of constructing a video index DB according to the present invention in sequence.
도 4는 본 발명의 제1실시예에 따른 동영상 연관 검색 방법이 구현되는 과정을 순차적으로 도시한 절차 흐름도이다.4 is a flowchart illustrating a process of sequentially implementing a video associated search method according to the first embodiment of the present invention.
도 5는 본 발명의 제2실시예에 따른 동영상 연관 검색 방법이 구현되는 과정을 순차적으로 도시한 절차 흐름도이다.5 is a flowchart illustrating a process of sequentially implementing a video related search method according to a second embodiment of the present invention.
도 6은 본 발명에 따른 영상 정보 기반의 동영상 연관 검새 시스템의 동작 방법을 수행하는데 채용될 수 있는 범용 컴퓨터 시스템의 내부 블록도이다.FIG. 6 is an internal block diagram of a general-purpose computer system that may be employed to perform a method of operating a video associated detection system based on image information according to the present invention.
<도면의 주요 참조 번호><Main reference number in drawing>
100 : 검색요청 수신부 110 : 메타 검색부100: search request receiving unit 110: meta search unit
120 : 연관 검색 요청 수신부 130 : 동영상 연관 검색부120: association search request receiving unit 130: video association search unit
140 : 동영상 색인 DB 150 : 동영상 스토리지140: video index DB 150: video storage
160 : 연관리스트 생성부 170 : 연관리스트 DB160: association list generation unit 170: association list DB
210 : 파일 입력부 220 : 메타 정보 추출부210: File input unit 220: Meta information extraction unit
230 : 비디오 특징 추출부 240 : 동영상 색인부230: Video feature extraction unit 240: Video indexing unit
250 : 메모리250 memory
Claims (14)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070084365A KR100896336B1 (en) | 2007-08-22 | 2007-08-22 | System and Method for related search of moving video based on visual content |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070084365A KR100896336B1 (en) | 2007-08-22 | 2007-08-22 | System and Method for related search of moving video based on visual content |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20090020005A KR20090020005A (en) | 2009-02-26 |
KR100896336B1 true KR100896336B1 (en) | 2009-05-07 |
Family
ID=40687536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070084365A KR100896336B1 (en) | 2007-08-22 | 2007-08-22 | System and Method for related search of moving video based on visual content |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100896336B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101094896B1 (en) | 2010-02-16 | 2011-12-15 | 한국과학기술원 | Apparatus and Method for realizing multimedia |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101775027B1 (en) | 2010-07-21 | 2017-09-06 | 삼성전자주식회사 | Method and apparatus for sharing content |
US8995708B2 (en) * | 2011-09-08 | 2015-03-31 | Samsung Electronics Co., Ltd. | Apparatus and method for robust low-complexity video fingerprinting |
KR101348668B1 (en) * | 2011-12-27 | 2014-01-08 | 정태성 | Method for producing search engine, and apparatus applied to the same |
KR101404596B1 (en) * | 2012-05-03 | 2014-06-11 | (주)엔써즈 | System and method for providing video service based on image data |
KR101479412B1 (en) * | 2013-07-08 | 2015-01-05 | 연세대학교 산학협력단 | Method and apparatus for identifying digital contents |
KR102041018B1 (en) * | 2017-11-24 | 2019-11-05 | 정수경 | Related information providing device |
CN108197265A (en) * | 2017-12-29 | 2018-06-22 | 深圳市视维科技股份有限公司 | A kind of method and system based on short video search complete video |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010081894A (en) * | 2000-02-18 | 2001-08-29 | 구자홍 | Multimedia Query System And Histogram Converting System Based On Contents |
KR20020060856A (en) * | 2001-01-12 | 2002-07-19 | 주식회사 에쎄소프트 | The video tape recommender system and method using the relationship between items |
JP2006279429A (en) * | 2005-03-29 | 2006-10-12 | Kddi Corp | Recommendation system for video content |
-
2007
- 2007-08-22 KR KR1020070084365A patent/KR100896336B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010081894A (en) * | 2000-02-18 | 2001-08-29 | 구자홍 | Multimedia Query System And Histogram Converting System Based On Contents |
KR20020060856A (en) * | 2001-01-12 | 2002-07-19 | 주식회사 에쎄소프트 | The video tape recommender system and method using the relationship between items |
JP2006279429A (en) * | 2005-03-29 | 2006-10-12 | Kddi Corp | Recommendation system for video content |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101094896B1 (en) | 2010-02-16 | 2011-12-15 | 한국과학기술원 | Apparatus and Method for realizing multimedia |
Also Published As
Publication number | Publication date |
---|---|
KR20090020005A (en) | 2009-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11151145B2 (en) | Tag selection and recommendation to a user of a content hosting service | |
KR100896336B1 (en) | System and Method for related search of moving video based on visual content | |
WO2020119350A1 (en) | Video classification method and apparatus, and computer device and storage medium | |
KR101457284B1 (en) | Methods and apparatuses for facilitating content-based image retrieval | |
US9165255B1 (en) | Automatic sequencing of video playlists based on mood classification of each video and video cluster transitions | |
WO2017114388A1 (en) | Video search method and device | |
US8385660B2 (en) | Mixed media reality indexing and retrieval for repeated content | |
US8521759B2 (en) | Text-based fuzzy search | |
WO2016107126A1 (en) | Image search method and device | |
CN112749326B (en) | Information processing method, information processing device, computer equipment and storage medium | |
CN102549603A (en) | Relevance-based image selection | |
KR100706389B1 (en) | Image search method and apparatus considering a similarity among the images | |
CN111008321A (en) | Recommendation method and device based on logistic regression, computing equipment and readable storage medium | |
CN111651636A (en) | Video similar segment searching method and device | |
JP2008217428A (en) | Image-retrieving program, method, and device | |
JP5685324B2 (en) | Method and apparatus for comparing pictures | |
KR100946694B1 (en) | System and Method for managing and detecting duplicate moving picture files based on video contents | |
US20110137896A1 (en) | Information processing apparatus, predictive conversion method, and program | |
US20150010288A1 (en) | Media information server, apparatus and method for searching for media information related to media content, and computer-readable recording medium | |
KR101868936B1 (en) | Keyword extracting and refining system, and method thereof | |
KR101640317B1 (en) | Apparatus and method for storing and searching image including audio and video data | |
US8463725B2 (en) | Method for analyzing a multimedia content, corresponding computer program product and analysis device | |
CN113254665A (en) | Knowledge graph expansion method and device, electronic equipment and storage medium | |
KR100916310B1 (en) | System and Method for recommendation of music and moving video based on audio signal processing | |
JP2002007413A (en) | Image retrieving device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130314 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20140408 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20150302 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20160408 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20180305 Year of fee payment: 10 |
|
FPAY | Annual fee payment |
Payment date: 20190408 Year of fee payment: 11 |
|
FPAY | Annual fee payment |
Payment date: 20200211 Year of fee payment: 12 |