KR20090020005A - 영상 정보 기반의 동영상 연관 검색 시스템 및 방법 - Google Patents

영상 정보 기반의 동영상 연관 검색 시스템 및 방법 Download PDF

Info

Publication number
KR20090020005A
KR20090020005A KR1020070084365A KR20070084365A KR20090020005A KR 20090020005 A KR20090020005 A KR 20090020005A KR 1020070084365 A KR1020070084365 A KR 1020070084365A KR 20070084365 A KR20070084365 A KR 20070084365A KR 20090020005 A KR20090020005 A KR 20090020005A
Authority
KR
South Korea
Prior art keywords
video
fingerprint
recommendation
search
index
Prior art date
Application number
KR1020070084365A
Other languages
English (en)
Other versions
KR100896336B1 (ko
Inventor
박만수
양승현
Original Assignee
주식회사 코난테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 코난테크놀로지 filed Critical 주식회사 코난테크놀로지
Priority to KR1020070084365A priority Critical patent/KR100896336B1/ko
Publication of KR20090020005A publication Critical patent/KR20090020005A/ko
Application granted granted Critical
Publication of KR100896336B1 publication Critical patent/KR100896336B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)

Abstract

본 발명은 영상 정보 기반의 동영상 추천 시스템 및 방법을 개시한다. 본 발명에 따른 시스템은, 동영상 파일에 대한 메타 정보 및 동영상의 프레임별 서브 비디오 핑거프린트의 집합으로 이루어진 비디오 핑거프린트 정보를 수록하고 있는 동영상 색인 DB; 검색어를 입력받아 메타 정보 기반으로 상기 동영상 색인 DB를 조회하여 검색어와 연관된 동영상 검색 결과를 제공하는 메타 검색부; 및 상기 동영상 검색 결과에 포함된 특정 동영상에 대한 추천 검색 요청을 접수받아 상기 동영상 색인 DB로부터 해당 동영상의 비디오 핑거프린트를 리드하고, 리드한 비디오 핑거프린트의 일부 또는 전체와 임계치 이상의 유사도를 갖는 비디오 핑거프린트를 식별하고, 식별된 비디오 핑거프린트에 대응되는 다른 동영상의 메타 정보를 상기 동영상 색인 DB로부터 독출하여 메타 정보를 포함하는 동영상 추천 정보를 사용자에게 제공하는 동영상 추천부;를 포함하는 것을 특징으로 한다.
Figure P1020070084365
비디오 핑거프린트, 동영상 추천, 추천 검색, 연계 검색

Description

영상 정보 기반의 동영상 추천 시스템 및 방법{System and Method for recommendation of moving video based on visual content}
본 발명은 동영상 검색과 관련된 것으로서, 보다 상세하게는 영상 정보를 기반으로 동영상을 추천할 수 있는 시스템 및 그 방법에 관한 것이다.
최근 들어, 디지털 카메라/캠코더, 카메라 휴대폰, 휴대용 디지털 동영상 재생기(PMP, MP4P 등) 등의 발달로 동영상 콘텐츠의 제작과 활용이 용이해졌다. 또한, UCC(User Created Contents) 서비스의 급속한 확산으로 사용자에 의해 생산된 디지털 동영상 파일이 UCC 전문 사이트나 P2P(Peer to Peer) 방식의 파일 공유 사이트, 개인 블로그나 미니 홈페이지 등을 통해 업로드되고 있다. 이렇게 업로드된 동영상 파일은 인터넷을 통한 다운로드 또는 스트리밍 서비스에 의해 다른 사용자들에게 공유된다.
현재의 인터넷 검색 서비스에서 양적으로 팽창된 동영상 콘텐츠에 대한 검색은 단순히 메타 정보를 기반으로 이루어지고 있는 실정이다. 즉, 사용자가 동영상 콘텐츠에 관한 정보, 예컨대 동영상의 제목 등을 키워드로 사용하여 검색을 요청하면, 검색 엔진은 메타 정보에 해당 키워드를 포함하고 있는 동영상 정보를 검색 결 과로서 보여준다.
그런데 위와 같은 메타 정보 기반의 검색방식은 검색 결과에 포함된 특정 동영상과 연관성이 있는 다른 동영상 콘텐츠를 찾는데 한계가 있다. 연관성이 있는 동영상 콘텐츠를 찾으려면 동영상 검색 결과를 기반으로 메타 정보 기반의 검색을 반복해야 하기 때문이다.
한편, 최근에는 사용자들의 검색 프로파일이나 행동 패턴을 추적하여 동영상 콘텐츠에 대한 검색시 사용자 맞춤형으로 동영상 콘텐츠를 추천해주는 시도가 이루어지고 있다. 예를 들어 사용자의 연령이나 성별 그리고 주로 이용하는 동영상 콘텐츠의 종류를 추적함으로써 사용자가 선호할 수 있는 동영상 콘텐츠를 중심으로 동영상 검색 결과를 제공하는 서비스가 바로 그것이다. 하지만, 동영상 검색을 요청하는 사용자마다 서로 다른 특성을 지니고 있기 때문에 동영상 콘텐츠 추천시 명확하고 일관된 기준을 제시할 수 없을 뿐만 아니라 사용자의 검색 프로파일이나 행동 패턴을 추적하기 위해서는 고성능의 검색 엔진이 필요하다는 단점이 있다.
본 발명은 상술한 종래기술의 문제를 해결하기 위하여 창안된 것으로서, 영상 정보 기반의 비디오 핑거프린트 기술을 활용하여 동영상 검색 결과와 더불어 어느 일정 부분이 동일하거나 유사한 영상이 삽입되어 있는 다른 동영상 콘텐츠들을 사용자들에게 추천할 수 있는 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적은 동영상 콘텐츠를 추천하기 위해 동일하거나 유사한 영상을 기반으로 동영상을 체계적으로 분류할 수 있는 시스템 및 방법을 제공하는데 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 측면에 따른 영상 정보 기반의 동영상 추천 시스템은, 동영상 파일에 대한 메타 정보 및 동영상의 프레임별 서브 비디오 핑거프린트의 집합으로 이루어진 비디오 핑거프린트 정보를 수록하고 있는 동영상 색인 DB; 검색어를 입력받아 메타 정보 기반으로 상기 동영상 색인 DB를 조회하여 검색어와 연관된 동영상 검색 결과를 제공하는 메타 검색부; 및 상기 동영상 검색 결과에 포함된 특정 동영상에 대한 추천 검색 요청을 접수받아 상기 동영상 색인 DB로부터 해당 동영상의 비디오 핑거프린트를 리드하고, 리드한 비디오 핑거프린트의 일부 또는 전체와 임계치 이상의 유사도를 갖는 비디오 핑거프린트를 식별하고, 식별된 비디오 핑거프린트에 대응되는 다른 동영상의 메타 정보를 상기 동영상 색인 DB로부터 독출하여 메타 정보를 포함하는 동영상 추천 정보를 사 용자에게 제공하는 동영상 추천부;를 포함하는 것을 특징으로 한다.
바람직하게, 상기 동영상 추천부는 추천 검색이 요청된 동영상의 비디오 핑거프린트로부터 샘플링된 복수의 서브 비디오 핑거프린트와 임계치 이상의 유사도를 갖는 서브 비디오 핑거프린트 그룹을 포함하고 있는 다른 동영상의 비디오 핑거프린트를 상기 동영상 색인 DB에서 식별하고, 식별된 비디오 핑거프린트에 대응되는 다른 동영상의 메타 정보를 상기 동영상 색인 DB로부터 독출하여 메타 정보를 포함하는 동영상 추천 정보를 사용자에게 제공한다.
상기 기술적 과제를 달성하기 위한 본 발명의 다른 측면에 따른 영상 정보 기반의 동영상 추천 시스템은, 동영상 파일에 대한 메타 정보 및 동영상의 프레임별 서브 비디오 핑거프린트의 집합으로 이루어진 비디오 핑거프린트 정보를 수록하고 있는 동영상 색인 DB; 상기 동영상 색인 DB에 저장된 각 비디오 핑거프린트 별로 해당 비디오 핑거프린트의 일부 또는 전체와 임계치 이상의 유사도를 갖는 다른 비디오 핑거프린트(들)를 동영상 색인 DB로부터 식별하고, 식별된 다른 비디오 핑거프린트(들)의 리스트를 상기 리스트 생성의 대상이 된 비디오 핑거프린트와 매칭시켜 추천리스트 DB에 저장하는 추천리스트 생성부; 검색어를 입력받아 메타 정보 기반으로 상기 동영상 색인 DB를 조회하여 검색어와 연관된 동영상 검색 결과를 제공하는 메타 검색부; 및 상기 동영상 검색 결과에 포함된 특정 동영상에 대한 추천 검색 요청을 접수받아 상기 추천리스트 DB에서 추천 검색이 요청된 동영상의 비디오 핑거프린트를 식별하고, 식별된 비디오 핑거프린트와 매칭되어 저장된 비디오 핑거프린트의 리스트를 독출한 후 리스트에 포함된 각 비디오 핑거프린트의 메타 정보를 상기 동영상 색인 DB로부터 조회하여 메타 정보를 포함하는 동영상 추천 정보를 사용자에게 제공하는 동영상 추천부;를 포함하는 것을 특징으로 한다.
바람직하게, 상기 추천리스트 생성부는 상기 리스트 생성 대상이 된 비디오 핑거프린트로부터 샘플링된 복수의 서브 비디오 핑거프린트와 임계치 이상의 유사도를 갖는 서브 핑거프린트 그룹을 포함하고 있는 다른 비디오 핑거프린트(들)를 식별하여 상기 비디오 핑거프린트(들)의 리스트를 동영상 색인 DB로부터 독출한다.
본 발명에 따른 시스템은, 상기 동영상 색인 DB를 구축하는 수단으로 동영상 파일을 입력받는 파일 입력부; 상기 입력된 동영상 파일로부터 메타 정보를 추출하는 메타 정보 추출부; 상기 입력된 동영상 파일에 포함된 비디오 데이터를 분석하여 비디오 핑거프린트를 추출하는 비디오 특징 추출부; 상기 추출된 메타 정보와 비디오 핑거프린트를 매칭시켜 상기 동영상 색인 DB에 수록하는 동영상 색인부; 및 동영상 검색의 대상이 되는 동영상 파일이 저장되어 있는 동영상 스토리지;를 더 포함한다.
본 발명에 따른 시스템은, 사용자의 검색어를 입력받는 검색요청 수신부;를 더 포함하고, 상기 검색어는 동영상에 관한 메타 검색어이다.
본 발명에 따른 시스템은, 상기 동영상 검색 결과에 포함된 특정 동영상에 대한 추천 검색 요청을 접수받는 추천요청 수신부;를 더 포함하고, 상기 추천 검색 요청은 동영상 검색 결과에 포함된 동영상 링크의 주변에 마련된 추천 인터페이스의 클릭 또는 마우스 오버에 의해 이루어진다.
본 발명의 다른 기술적 과제는 상술한 영상 정보 기반의 동영상 추천 시스템 의 동작 방법에 의해서도 달성될 수 있다.
본 발명에 따르면, 사용자가 동영상을 검색한 후 밀접하게 연관된 다른 콘텐츠들을 재검색할 필요 없이 바로 추천 검색 결과를 통해 연관된 동영상 정보를 확인할 수 있다. 이에 따라, 일정 부분이 동일하거나 유사한 영상이 삽입되어 있는 동영상 콘텐츠들을 손쉽게 얻을 수 있는 장점이 있다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 제1실시예에 따른 영상 정보 기반의 동영상 추천 시스템의 개략적인 구성도이다.
도 1을 참조하면, 제1실시예에 따른 동영상 추천 시스템은, 동영상 색인 DB(140) 및 동영상 스토리지(150), 그리고 이들을 구축하기 위한 파일 입력 부(210), 메타 정보 추출부(220), 비디오 특징 추출부(230) 및 동영상 색인부(240)를 포함한다.
상기 파일 입력부(210)는 동영상 파일을 입력받아 임시적으로 메모리(250)에 저장한다. 메모리(250)는 전통적인 컴퓨터 시스템에 구비되는 활성 메모리이다. 상기 파일 입력부(210)는 파일 입력을 위한 인터페이스로서, 파일은 유선 또는 무선 인터넷과 같은 정보 통신망을 통해 입력될 수도 있고, 하드 드라이브, CD-ROM, DVD 등의 전통적인 저장매체로부터 입력될 수도 있다. 후자의 경우, 파일 입력부(210)는 파일 관리자가 저장매체에 저장된 각종 동영상 파일을 검색하여 메타 정보와 비디오 핑거프린트를 추출할 대상 파일을 선별할 수 있는 사용자 인터페이스를 제공하는 것이 바람직하다.
상기 메타 정보 추출부(220)는 메모리(250)에 저장된 동영상 파일의 메타 정보를 리드하여 동영상 색인부(240)로 출력한다. 상기 메타 정보는 동영상의 제목, 제작자, 장르, 제작일자 등이다. 하지만, 본 발명이 메타 정보의 종류에 의해 한정되는 것은 아니다. 한편, 상기 메타 정보에는 동영상 파일의 헤더 정보가 더 포함될 수 있는 것으로 해석될 수 있음을 밝혀둔다.
상기 비디오 특징 추출부(230)는 메모리(250)에 저장된 동영상 파일에 포함된 비디오 데이터를 분석하여 비디오 핑거프린트를 추출한다. 추출된 비디오 핑거프린트는 동영상 색인부(240)로 출력한다.
여기서, 비디오 핑거프린트는 동영상 파일에 포함된 비디오 데이터를 배타적이고도 고유하게 식별할 수 있는 일종의 비디오 지문을 지칭한다. 상기 비디오 특 징 추출부(230)는 비디오 핑거프린트를 추출하기에 앞서 동영상 파일로부터 비디오 데이터만을 선택적으로 분리하는 과정을 선행할 수 있다.
상기 비디오 특징 추출부(230)는 비디오 핑거프린트를 추출하기 위해 동영상 파일에서 비디오 스트림을 선택적으로 분리하고, 분리된 비디오 스트림을 디코딩하여 raw 포맷의 영상 데이터로 변환한다. 여기서, raw 포맷은 YUV(YCbCr) 포맷 또는 RGB 포맷을 의미한다. 하지만, 본 발명은 raw 포맷의 종류에 의해 한정되지 않는다. 이어서, 상기 비디오 특징 추출부(230)는 디코딩된 영상 데이터를 구성하는 각 프레임 이미지별로 서브 비디오 핑거프린트를 추출한다.
상기 비디오 특징 추출부(230)가 각 프레임 이미지별로 서브 비디오 핑거프린트를 추출하는 과정은 다음과 같다. 먼저, 비디오 특징 추출부(230)는 프레임 이미지를 블록 단위로 분할한다. 일 예로서, 이미지의 세로축을 n 등분하고 가로축을 m 등분하여 프레임 이미지를 n×m 개의 블록으로 분할한다. 다른 예로서, 이미지의 세로축을 n 등분하여 프레임 이미지를 n 개의 블록으로 분할하고 다시 가로축을 m 등분하여 프레임 이미지를 m 개의 블록으로 분할하여 프레임 이미지를 n+m 개의 블록으로 분할한다.
이어서, 비디오 특징 추출부(230)는 분할된 블록 단위별로 각 픽셀의 영상 밝기 데이터인 Y값의 평균을 산출한 후 인접한 블록 간의 영상 밝기 평균값의 차이를 기준으로 소정 비트수(예컨대, 32비트)의 서브 비디오 핑거프린트를 생성한다.
다음 수학식 1은 하나의 프레임 이미지에 대한 서브 비디오 핑거프린트를 생성하는데 사용될 수 있는 비트 할당 함수 'B(r, c, p)'를 예시한 것이다. 참고로, 하기 수학식 1은 하나의 프레임 이미지를 n×m 개의 블록으로 분할하였을 때를 가정한 것이다.
Figure 112007060682913-PAT00001
Figure 112007060682913-PAT00002
여기서, B(r, c, p)는 p번째 프레임 이미지의 가로축 및 세로축을 기준으로 각각 r번째 및 c번째에 위치한 블록에 대해 비트를 할당하는 함수이다. 그리고, F(r, c, p)는 p번째 프레임 이미지의 가로축 및 세로축을 기준으로 각각 r번째 및 c번째에 위치한 블록의 영상 밝기값 평균을 나타낸다.
상기 수학식 1의 F(r, c, p)에서, r은 1부터 n까지의 정수값을 갖고, c는 1부터 m-1까지의 정수값을 갖는다. 따라서 프레임 이미지가 '4×9=36' 개의 블록으로 분할되면 서브 비디오 핑거프린트는 '4×8=32' 비트의 코드열을 갖게 된다. 한편, α는 1보다 작은 수로서 적절하게 선택 가능한 상수이다. 예컨대 α는 0.95이다.
한편, 상기 비디오 특징 추출부(230)는 영상의 밝기 데이터인 Y값 이외에도 각 픽셀의 색차 데이터인 Cb 또는 Cr값을 활용하여 서브 비디오 핑거프린트를 생성할 수 있다. Cb 또는 Cr값을 활용하여 서브 비디오 핑거프린트를 생성하는 방법은 연산 대상이 되는 데이터의 종류만이 다를 뿐 상술한 바와 실질적으로 동일할 것임은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명하다.
상기 비디오 특징 추출부(230)는 동영상을 구성하는 각 프레임 이미지에 대한 서브 비디오 핑거프린트를 추출하고 나면, 추출된 각 서브 비디오 핑거프린트를 그룹핑함으로써 동영상 파일에 대한 비디오 핑거프린트의 생성을 완료한다.
상술한 비디오 핑거프린트 추출 기법은 Job Oostveen, Ton Kalker, Jaap Haitsma의 논문 "Feature Extraction and a Database Strategy for Video Fingerprinting"(Lecture Notes in Computer Science 2314 Springer 2002, pp.117-128) 에 개시되어 있다. 따라서, 상기 논문의 모든 내용은 본 발명의 구성의 일부로 통합될 수 있다. 한편, 본 발명은 비디오 핑거프린트를 추출하는 구체적인 방식에 의해 한정되지 않으므로, 비디오 핑거프린트를 추출할 수 있는 알고리즘이라면 어떠한 것이라도 채용 가능하다.
상기 동영상 색인부(240)는 메타 정보 추출부(220)와 비디오 특징 추출부(230)로부터 각각 메타 정보와 비디오 핑거프린트 정보를 입력받은 후 메타 정보와 비디오 핑거프린트를 상호 매칭시켜 동영상 색인 DB(140)에 수록한다. 아울러, 메모리(250)에 저장된 동영상 파일을 리드하여 동영상 스토리지(150)에 저장한다. 또한, 동영상 스토리지(150)에 저장된 동영상 파일의 식별정보를 작성하여 동영상 색인 DB(140)에 수록한다.
상술한 동영상 색인 DB(140) 및 동영상 스토리지(150)의 구축 과정은 파일 입력부(210)를 통해 동영상 파일이 입력될 때마다 반복적으로 이루어질 것임은 자명하다.
본 발명에 따른 동영상 추천 시스템은 동영상 색인 DB(140)와 동영상 스토리 지(150)를 이용하여 동영상 추천 서비스를 제공한다. 이를 위해, 상기 동영상 추천 시스템은 검색요청 수신부(100), 메타 검색부(110), 추천요청 수신부(120) 및 동영상 추천부(130)를 포함한다.
상기 검색요청 수신부(100)는 사용자로부터 검색어를 입력받아 메타 검색부(110)로 검색어를 전달한다. 바람직하게, 상기 검색요청 수신부(100)는 유선 또는 무선 인터넷을 통해 사용자에게 제공된 검색창 인터페이스를 통하여 검색어를 입력받는다. 상기 검색어는 동영상의 메타 정보와 관련된 검색어이다. 상기 메타 정보의 종류에 대해서는 이미 상술한 바 있다.
상기 메타 검색부(110)는 검색어를 입력받아 메타 정보 기반으로 상기 동영상 색인 DB(140)를 조회하여 검색어와 연관된 동영상 검색 결과를 사용자에게 제공한다. 상기 동영상 색인 DB(140)에는 동영상 파일에 대한 메타 정보 및 비디오 핑거프린트 정보가 상호 매칭되어 수록되어 있고, 동영상 스토리지(150)에 저장된 동영상 파일의 참조가 가능한 식별정보(예컨대, 파일 저장경로를 포함한 파일명)가 수록되어 있다. 여기서, 비디오 핑거프린트에 대해서는 이미 상술한 바 있다.
상기 동영상 검색 결과가 제공되면, 사용자는 검색 결과 페이지에 포함된 추천 인터페이스를 이용하여 특정 동영상에 대한 추천 검색을 요청한다. 특정 동영상에 대한 추천 검색이라 함은 동영상 내에 포함된 영상의 일부 또는 전체 영상을 담고 있는 다른 동영상을 검색하여 추천해주는 것을 말한다.
상기 추천요청 수신부(120)는 동영상 검색 결과를 통해 사용자가 요청한 특정 동영상의 추천 검색 요청을 수신하여 동영상 추천부(130)로 전달한다.
상기 동영상 추천부(130)는 추천요청 수신부(120)로부터 특정 동영상에 대한 추천 검색 요청을 접수받아 상기 동영상 색인 DB(140)로부터 해당 동영상의 비디오 핑거프린트를 리드한다. 그런 다음, 동영상 추천부(130)는 리드한 비디오 핑거프린트의 일부 또는 전체와 임계치 이상의 유사도를 갖는 비디오 핑거프린트를 동영상 색인 DB(140)에서 식별하고, 식별된 비디오 핑거프린트에 대응되는 다른 동영상의 메타 정보를 이용하여 동영상 추천 정보를 구성한 후 사용자에게 제공한다. 여기서, 상기 다른 동영상은 추천 검색 요청이 이루어진 동영상의 일부 또는 전체 영상을 담고 있게 된다.
상기 동영상 추천부(130)가 리드한 비디오 핑거프린트의 일부 또는 전체와 임계치 이상의 유사도를 갖는 다른 비디오 핑거프린트를 식별하는 과정을 보다 구체적으로 설명하면 다음과 같다.
먼저, 동영상 추천부(130)는 리드한 비디오 핑거프린트를 쿼리 핑거프린트로 지정하고, 동영상 색인 DB(140)에 수록된 다른 비디오 핑거프린트들을 비교 대상 핑거프린트로 지정한다.
그런 다음, 동영상 추천부(130)는 쿼리 핑거프린트를 소정 수의 서브 비디오 핑거프린트 단위로 분할한다. 예를 들어 500개의 서브 비디오 핑거프린트 단위로 쿼리 핑거프린트를 순차적으로 분할하여 그룹핑한다. 이어서 동영상 추천부(130)는 각각의 서브 비디오 핑거프린트 그룹별로 해당 서브 비디오 핑거프린트 그룹과 임계치 이상의 유사도를 갖는 서브 비디오 핑거프린트 그룹이 비교 대상 핑거프린트에 존재하는지 판별한다. 그 결과, 유사한 서브 비디오 핑거프린트 그룹이 존재하 는 것으로 판별되면, 상기 동영상 추천부(130)는 해당 비교 대상 핑거프린트를 쿼리 핑거프린트와 일부 또는 전체가 유사한 비디오 핑거프린트로 식별한다.
여기서, 쿼리 핑거프린트의 서브 비디오 핑거프린트 그룹과 임계치 이상의 유사도를 갖는 서브 비디오 핑거프린트 그룹이 비교 대상 핑거프린트에 존재하는지 여부를 판단하는 과정은 다음과 같다.
먼저, 상기 동영상 추천부(130)는 쿼리 핑거프린트의 서브 비디오 핑거프린트 그룹으로부터 서브 비디오 핑거프린트를 순차적으로 샘플링하면서 샘플링된 서브 비디오 핑거프린트와 일치하는 서브 비디오 핑거프린트가 비교 대상 핑거프린트에 존재하는지 판별한다. 일치하는 서브 비디오 핑거프린트가 존재하면, 상기 동영상 추천부(130)는 쿼리 핑거프린트의 서브 비디오 핑거프린트 그룹과 비교 대상 핑거프린트로부터 서브 비디오 핑거프린트가 일치하는 프레임을 전후로 하여 미리 정해진 수(예컨대, 100개)의 프레임에 대한 복수의 서브 비디오 핑거프린트를 샘플링한다. 그리고 나서, 동영상 추천부(130)는 후술하는 다양한 방식에 의해 샘플링된 서브 비디오 핑거프린트 그룹 간의 유사도를 판별한다. 하지만, 본 발명은 유사도를 판별하는 구체적인 방식에 의해 한정되는 것은 아니다.
일 예로, 상기 동영상 추천부(130)는 쿼리 핑거프린트의 서브 비디오 핑거프린트 그룹과 비교 대상 핑거프린트로부터 샘플링된 서브 비디오 핑거프린트 그룹을 상호 대비하여 일치하는 서브 비디오 핑거프린트 쌍의 비율을 계산한 후 그 값을 미리 설정한 임계치(예컨대, 80%)와 비교하여 샘플링된 서브 비디오 핑거프린트 간의 유사도를 판별한다.
다른 예로, 상기 동영상 추천부(130)는 쿼리 핑거프린트의 서브 비디오 핑거프린트 그룹과 비교 대상 핑거프린트로부터 샘플링된 서브 비디오 핑거프린트 그룹의 상호 대응되는 서브 비디오 핑거프린트 간의 비트 에러율(Bit Error Rate)을 근거로 전체 평균 비트 에러율을 계산한 후 그 크기를 미리 설정한 임계치(예컨대, 20%)와 비교하여 샘플링된 서브 비디오 핑거프린트 그룹 간의 유사도를 판별한다.
상술한 방식 이외에도 상기 동영상 추천부(130)는 단순히 쿼리 핑거프린트의 서브 비디오 핑거프린트 그룹 내에 포함된 서브 비디오 핑거프린트 중 비교 대상 핑거프린트 내에 포함된 서브 비디오 핑거프린트의 비율을 계산한 후 그 크기를 미리 설정한 임계치(예컨대, 80%)와 비교하여 쿼리 핑거프린트와 비교 대상 핑거프린트 간의 유사도를 판별할 수도 있다.
한편, 상기 동영상 추천부(130)는 쿼리 핑거프린트를 분할하지 않은 상태에서 상술한 방식에 의해 쿼리 핑거프린트와 비교 대상 핑거프린트 간의 유사도를 판별할 수도 있다.
즉, 상기 동영상 추천부(130)는 쿼리 핑거프린트로부터 서브 비디오 핑거프린트를 순차적으로 샘플링하면서 샘플링된 서브 비디오 핑거프린트와 일치하는 서브 비디오 핑거프린트가 비교 대상 핑거프린트에 존재하는지 판별한다. 일치하는 서브 비디오 핑거프린트가 존재하면, 상기 동영상 추천부(130)는 쿼리 핑거프린트와 비교 대상 핑거프린트로부터 서브 비디오 핑거프린트가 일치하는 프레임을 전후로 하여 미리 정해진 수(예컨대, 300개)의 프레임에 대한 복수의 서브 비디오 핑거프린트를 샘플링한다. 그리고 나서, 동영상 추천부(130)는 상술한 여러 가지 방식 을 선택적으로 적용하여 샘플링된 서브 비디오 핑거프린트 그룹 간의 유사도를 판별할 수 있다.
이러한 방식은 쿼리 핑거프린트가 추출된 동영상 파일의 영상 전체가 포함되어 있는 다른 동영상 파일을 추천하고자 할 때 유용하다. 하지만, 본 발명이 이에 한하는 것은 아니다.
상기 동영상 추천부(130)가 제공하는 상기 동영상 추천 정보는 추천 검색이 요청된 동영상의 일부 또는 전체 영상을 담고 있는 다른 동영상의 메타 정보와 동영상을 재생할 수 있는 링크 코드를 포함한다. 상기 메타 정보와 링크 코드는 동영상 색인 DB(140)로부터 참조된다.
상기 동영상 추천 정보가 제공되면, 사용자는 원하는 동영상을 클릭하여 재생할 수 있으며, 메타 정보를 통해 추천된 동영상에 대한 여러 가지 정보를 확인할 수 있다. 이러한 기능이 구현되도록 동영상 추천 정보를 구성하는 것은 본 발명이 속한 기술분야에서 널리 알려져 있으므로 이에 대한 자세한 설명은 생략하기로 한다.
도 2는 본 발명의 제2실시예에 따른 영상 정보 기반의 동영상 추천 시스템의 개략적인 구성도이다.
제2실시예에 따른 동영상 추천 시스템은, 추천리스트 생성부(160)와 추천리스트 DB(170)를 더 포함한다.
상기 추천리스트 생성부(160)는 상기 동영상 색인 DB(140)에 저장된 비디오 핑거프린트들의 유사도를 미리 판단하여 각 비디오 핑거프린트 별로 임계치 이상의 유사도를 갖는 다른 비디오 핑거프린트(들)의 리스트를 생성하여 상기 추천리스트 DB(170)에 저장한다. 즉, 추천리스트 생성부(160)는 상기 리스트 생성의 대상이 되는 비디오 핑거프린트의 일부 또는 전체와 임계치 이상의 유사도를 갖는 다른 비디오 핑거프린트(들)를 동영상 색인 DB(140)로부터 독출하여 상기 리스트를 생성한다. 다른 비디오 핑거프린트(들)의 리스트에 포함된 각 비디오 핑거프린트는 리스트 생성 대상 비디오 핑거프린트에 대응되는 동영상에 대해 추천 검색 요청이 이루어졌을 때 추천될 수 있는 다른 동영상 파일(들)의 비디오 핑거프린트이다.
제2실시예에 따른 동영상 추천 시스템은, 동영상의 추천 검색이 요청되면, 동영상 색인 DB(140)로부터 추천 가능한 동영상의 비디오 핑거프린트를 조회하지 않는다. 대신, 추천리스트 DB(170)를 조회하여 추천 검색 요청이 이루어진 동영상 파일의 비디오 핑거프린트를 특정한 후, 특정된 비디오 핑거프린트의 일부 또는 전체와 임계치 이상의 유사도를 갖는 서브 비디오 핑거프린트 그룹을 포함하고 있는 다른 비디오 핑거프린트(들)의 리스트를 식별한다. 그런 다음, 식별된 리스트에 포함된 각 비디오 핑거프린트의 메타 정보와 동영상 스토리지(150) 내의 동영상 파일 저장 경로를 동영상 색인 DB(140)에서 독출하여 동영상 추천 정보를 구성한 후 사용자에게 제공한다. 이러한 경우, 동영상 색인 DB(140)를 이용하는 경우보다 빠르게 동영상 추천 정보를 구성하여 제공할 수 있는 이점이 있다.
도 3은 본 발명에 따른 동영상 색인 DB의 구축 과정을 순차적으로 도시한 절차 흐름도이다.
먼저, 단계(S10)에서 파일 입력부(210)는 동영상 파일을 입력받는다. 그런 후, 단계(S20)에서 메모리(250)에 동영상 파일을 임시로 저장한다.
단계(S30)에서 메타 정보 추출부(220)는 메모리(250)에 저장된 동영상 파일로부터 메타 정보를 추출하여 동영상 색인부(240)로 출력한다. 그리고 단계(S40)에서 비디오 특징 추출부(230)는 메모리(250)에 저장된 동영상 파일로부터 비디오 핑거프린트를 추출하여 동영상 색인부(240)로 출력한다.
단계(S50)에서 동영상 색인부(240)는 상기 출력된 메타 정보와 비디오 핑거프린트를 상호 매칭시켜 동영상 색인 DB(140)에 저장하고, 메모리(250)로부터 동영상 파일을 리드하여 동영상 스토리지(150)에 저장한다. 또한, 동영상 스토리지(150)에 저장된 동영상 파일의 식별정보를 작성하여 동영상 색인 DB(140)에 수록한다.
도 4는 본 발명의 제1실시예에 따른 동영상 추천 방법이 구현되는 과정을 순차적으로 도시한 절차 흐름도이다.
먼저, 단계(S100)에서는 도 3에서 구축된 동영상 색인 DB(140)가 제공된다. 여기서, 동영상 색인 DB(140)에는 동영상 파일에 대한 메타 정보 및 비디오 핑거프린트 정보와 동영상 스토리지(150) 내에 저장된 동영상 파일의 식별정보가 수록되어 있다.
단계(S110)에서는 검색요청 수신부(100)가 유선 또는 무선 인터넷을 통해 사용자로부터 검색어를 입력받아 메타 정보 기반으로 상기 동영상 색인 DB(140)를 조회하여 검색어와 연관된 동영상 검색 결과를 생성하여 사용자에게 제공한다. 여기서, 사용자에게 제공되는 검색 결과에서 각 콘텐츠의 링크 주변에는 추천 검색을 요청할 수 있는 추천 인터페이스가 마련되어 있다. 사용자는 희망하는 경우 추천 인터페이스를 조작하여 특정 동영상에 대한 추천 검색을 요청할 수 있다. 추천 인터페이스의 조작은 마우스의 클릭 또는 마우스 오버에 의해 이루어질 수 있다. 하지만, 본 발명은 추천 인터페이스의 조작 방식에 의해 한정되지 않는다.
단계(S120)에서, 추천요청 수신부(120)는 동영상 검색 결과에 포함된 특정 동영상에 대한 추천 검색 요청을 접수받아 동영상 추천부(130)로 전달한다.
단계(S130)에서, 동영상 추천부(130)는 추천 검색 요청이 이루어진 해당 동영상의 비디오 핑거프린트를 동영상 색인 DB(140)로부터 리드한다.
단계(S140)에서, 동영상 추천부(130)는 동영상 색인 DB(140)를 조회하여 리드한 비디오 핑거프린트의 일부 또는 전체와 임계치 이상의 유사도를 갖는 비디오 핑거프린트를 식별한다. 비디오 핑거프린트의 식별 방식에 대해서는 이미 상술한 바 있다.
단계(S150)에서, 동영상 추천부(130)는 동영상 색인 DB(140)를 이용하여 식별된 비디오 핑거프린트에 대응되는 다른 동영상의 정보를 포함하는 동영상 추천 정보를 생성하여 사용자에게 제공한다. 동영상 추천 정보는 다른 동영상의 메타 정보와 재생을 요청할 수 있는 링크 코드를 포함한다.
도 5는 본 발명의 제2실시예에 따른 동영상 추천 방법이 구현되는 과정을 순차적으로 도시한 절차 흐름도이다.
먼저, 단계(S200)에서, 추천리스트 생성부(160)는 도 3에서 구축된 동영상 색인 DB(140)에 저장된 비디오 핑거프린트들의 유사도를 미리 판단하여 각 비디오 핑거프린트 별로 임계치 이상의 유사도를 갖는 다른 비디오 핑거프린트(들)의 리스트를 생성한다. 즉, 추천리스트 생성부(160)는 리스트 생성의 대상이 되는 비디오 핑거프린트의 일부 또는 전체와 임계치 이상의 유사도를 갖는 다른 비디오 핑거프린트(들)를 동영상 색인 DB(140)로부터 독출함으로써 동영상 내에 포함된 영상의 일부 또는 전체 영상을 담고 있는 다른 동영상 파일의 비디오 핑거프린트(들)의 리스트를 생성한다.
단계(S210)에서, 추천리스트 생성부(160)는 생성된 비디오 핑거프린트(들)의 리스트를 추천리스트 DB(170)에 저장한다.
단계(S220)에서는, 단계(S200) 내지 단계(S210)에서 구축된 추천리스트 DB(170)가 제공된다.
단계(S230)에서, 검색요청 수신부(100)는 유선 또는 무선 인터넷을 통해 사용자로부터 검색어를 입력받아 메타 정보 기반으로 상기 동영상 색인 DB(140)를 조회하여 검색어와 연관된 동영상 검색 결과를 생성하여 사용자에게 제공한다.
여기서, 사용자에게 제공되는 검색 결과에서 각 동영상 콘텐츠의 링크 주변에는 추천 검색을 요청할 수 있는 추천 인터페이스가 마련된다. 사용자는 희망하는 경우 추천 인터페이스를 조작하여 특정 동영상에 대한 추천 검색을 요청할 수 있다.
단계(S240)에서, 추천요청 수신부(120)는 동영상 검색 결과에 포함된 특정 동영상에 대한 추천 검색 요청을 접수받아 동영상 추천부(130)로 전달한다.
단계(S250)에서, 동영상 추천부(130)는 추천 검색 요청이 이루어진 해당 동 영상의 비디오 핑거프린트를 동영상 색인 DB(140)로부터 리드한다.
단계(S260)에서, 동영상 추천부(130)는 추천리스트 DB(170)를 조회하여 동영상 색인 DB(140)로부터 리드한 비디오 핑거프린트를 특정한 후, 특정된 비디오 핑거프린트의 일부 또는 전체와 임계치 이상의 유사도를 갖는 서브 비디오 핑거프린트 그룹을 포함하고 있는 다른 비디오 핑거프린트(들)의 리스트를 식별한다. 비디오 핑거프린트의 식별 방식에 대해서는 이미 상술한 바 있다.
단계(S270)에서, 동영상 추천부(130)는 동영상 색인 DB(140)를 이용하여 식별된 다른 비디오 핑거프린트(들)의 리스트에 포함된 각 비디오 핑거프린트에 대응되는 동영상의 정보를 포함하는 동영상 추천 정보를 생성하여 사용자에게 제공한다.
상술한 본 발명에 따른 영상 정보 기반의 동영상 추천 시스템의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터에 의해 판독 가능한 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합으로 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 프로그램 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예로는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그 램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급언어 코드를 포함한다. 상기한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 동작하도록 구성될 수 있으며, 그 역도 마찬가지이다.
도 6은 본 발명에 따른 영상 정보 기반의 동영상 추천 시스템의 동작 방법을 수행하는데 채용될 수 있는 범용 컴퓨터 시스템의 내부 블록도이다.
도 6을 참조하면, 상기 범용 컴퓨터 시스템(400)은 램(RAM: 420)과 롬(ROM: 430)을 포함하는 주기억장치와 연결되는 하나 이상의 프로세서(410)를 포함한다. 프로세서(410)는 중앙처리장치(CPU)로 불리기도 한다. 본 기술분야에서 널리 알려진 바와 같이, 롬(430)은 데이터와 명령을 단방향성으로 프로세서(410)에 전송하는 역할을 하며, 램(420)은 통상적으로 데이터와 명령을 양방향성으로 프로세서(410)로 전송하는데 사용된다. 램(420) 및 롬(430)은 컴퓨터 판독 가능 매체의 어떠한 적절한 형태를 포함할 수 있다. 대용량 기억장치(440)는 양방향성으로 프로세서(410)와 연결되어 추가적인 데이터 저장 능력을 제공하며, 상기된 컴퓨터 판독 가능 기록 매체 중 어떠한 것일 수 있다. 대용량 기억장치(440)는 프로그램, 데이터 등을 저장하는데 사용되며, 통상적으로 주기억장치보다 속도가 느린 하드 디스크와 같은 보조기억장치이다. CD롬(460)과 같은 특정 대용량 기억장치가 사용될 수 도 있다. 프로세서(410)는 비디오 모니터, 트랙볼 마우스, 키보드, 마이크로폰, 터치스크린 형 디스플레이, 카드 판독기, 자기 또는 종이 테이프 판독기, 음성 또는 필기 인식기, 조이스틱 또는 기타 공지된 컴퓨터 입출력 장치와 같은 하나 이상의 입출력 인터페이스(450)와 연결된다. 마지막으로, 프로세서(410)는 네트워크 인터페이스(470)를 통하여 유선 또는 무선 통신 네트워크에 연결될 수 있다. 이러한 네트워크 연결을 통하여 상기된 방법의 절차를 수행할 수 있다. 상기된 장치 및 도구는 컴퓨터 하드웨어 및 소프트웨어 기술 분야의 당업자에게 잘 알려져 있다. 한편, 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 동작하도록 구성될 수 있다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 전술된 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되지 않아야 한다.
도 1은 본 발명의 제1실시예에 따른 영상 정보 기반의 동영상 추천 시스템의 개략적인 구성도이다.
도 2는 본 발명의 제2실시예에 따른 영상 정보 기반의 동영상 추천 시스템의 개략적인 구성도이다.
도 3은 본 발명에 따른 동영상 색인 DB의 구축 과정을 순차적으로 도시한 절차 흐름도이다.
도 4는 본 발명의 제1실시예에 따른 동영상 추천 방법이 구현되는 과정을 순차적으로 도시한 절차 흐름도이다.
도 5는 본 발명의 제2실시예에 따른 동영상 추천 방법이 구현되는 과정을 순차적으로 도시한 절차 흐름도이다.
도 6은 본 발명에 따른 영상 정보 기반의 동영상 추천 시스템의 동작 방법을 수행하는데 채용될 수 있는 범용 컴퓨터 시스템의 내부 블록도이다.
<도면의 주요 참조 번호>
100 : 검색요청 수신부 110 : 메타 검색부
120 : 추천요청 수신부 130 : 동영상 추천부
140 : 동영상 색인 DB 150 : 동영상 스토리지
160 : 추천리스트 생성부 170 : 추천리스트 DB
210 : 파일 입력부 220 : 메타 정보 추출부
230 : 비디오 특징 추출부 240 : 동영상 색인부
250 : 메모리

Claims (14)

  1. 동영상 파일에 대한 메타 정보 및 동영상의 프레임별 서브 비디오 핑거프린트의 집합으로 이루어진 비디오 핑거프린트 정보를 수록하고 있는 동영상 색인 DB;
    검색어를 입력받아 메타 정보 기반으로 상기 동영상 색인 DB를 조회하여 검색어와 연관된 동영상 검색 결과를 제공하는 메타 검색부; 및
    상기 동영상 검색 결과에 포함된 특정 동영상에 대한 추천 검색 요청을 접수받아 상기 동영상 색인 DB로부터 해당 동영상의 비디오 핑거프린트를 리드하고, 리드한 비디오 핑거프린트의 일부 또는 전체와 임계치 이상의 유사도를 갖는 비디오 핑거프린트를 식별하고, 식별된 비디오 핑거프린트에 대응되는 다른 동영상의 메타 정보를 상기 동영상 색인 DB로부터 독출하여 메타 정보를 포함하는 동영상 추천 정보를 사용자에게 제공하는 동영상 추천부;를 포함하는 것을 특징으로 하는 영상 정보 기반의 동영상 추천 시스템.
  2. 제1항에 있어서,
    동영상 파일을 입력받는 파일 입력부;
    상기 입력된 동영상 파일로부터 메타 정보를 추출하는 메타 정보 추출부;
    상기 입력된 동영상 파일에 포함된 비디오 데이터를 분석하여 비디오 핑거프린트를 추출하는 비디오 특징 추출부;
    상기 추출된 메타 정보와 비디오 핑거프린트를 매칭시켜 상기 동영상 색인 DB에 수록하는 동영상 색인부; 및
    동영상 검색의 대상이 되는 동영상 파일이 저장되어 있는 동영상 스토리지;를 더 포함하는 것을 특징으로 하는 영상 정보 기반의 동영상 추천 시스템.
  3. 제1항에 있어서,
    상기 동영상 추천부는 추천 검색이 요청된 동영상의 비디오 핑거프린트로부터 샘플링된 복수의 서브 비디오 핑거프린트와 임계치 이상의 유사도를 갖는 서브 비디오 핑거프린트 그룹을 포함하고 있는 다른 동영상의 비디오 핑거프린트를 상기 동영상 색인 DB에서 식별하고, 식별된 비디오 핑거프린트에 대응되는 다른 동영상의 메타 정보를 상기 동영상 색인 DB로부터 독출하여 메타 정보를 포함하는 동영상 추천 정보를 사용자에게 제공하는 것을 특징으로 하는 영상 정보 기반의 동영상 추천 시스템.
  4. 동영상 파일에 대한 메타 정보 및 동영상의 프레임별 서브 비디오 핑거프린트의 집합으로 이루어진 비디오 핑거프린트 정보를 수록하고 있는 동영상 색인 DB;
    상기 동영상 색인 DB에 저장된 각 비디오 핑거프린트 별로 해당 비디오 핑거프린트의 일부 또는 전체와 임계치 이상의 유사도를 갖는 다른 비디오 핑거프린트(들)를 동영상 색인 DB로부터 식별하고, 식별된 다른 비디오 핑거프린트(들)의 리스트를 상기 리스트 생성의 대상이 된 비디오 핑거프린트와 매칭시켜 추천리스트 DB에 저장하는 추천리스트 생성부;
    검색어를 입력받아 메타 정보 기반으로 상기 동영상 색인 DB를 조회하여 검색어와 연관된 동영상 검색 결과를 제공하는 메타 검색부; 및
    상기 동영상 검색 결과에 포함된 특정 동영상에 대한 추천 검색 요청을 접수받아 상기 추천리스트 DB에서 추천 검색이 요청된 동영상의 비디오 핑거프린트를 식별하고, 식별된 비디오 핑거프린트와 매칭되어 저장된 비디오 핑거프린트의 리스트를 독출한 후 리스트에 포함된 각 비디오 핑거프린트의 메타 정보를 상기 동영상 색인 DB로부터 조회하여 메타 정보를 포함하는 동영상 추천 정보를 사용자에게 제공하는 동영상 추천부;를 포함하는 것을 특징으로 하는 영상 정보 기반의 동영상 추천 시스템.
  5. 제4항에 있어서,
    동영상 파일을 입력받는 파일 입력부;
    상기 입력된 동영상 파일로부터 메타 정보를 추출하는 메타 정보 추출부;
    상기 입력된 동영상 파일에 포함된 비디오 데이터를 분석하여 비디오 핑거프린트를 추출하는 비디오 특징 추출부;
    상기 추출된 메타 정보와 비디오 핑거프린트를 매칭시켜 상기 동영상 색인 DB에 수록하는 동영상 색인부; 및
    동영상 검색의 대상이 되는 동영상 파일이 저장되어 있는 동영상 스토리지;를 더 포함하는 것을 특징으로 하는 영상 정보 기반의 동영상 추천 시스템.
  6. 제4항에 있어서,
    상기 추천리스트 생성부는 상기 리스트 생성 대상이 된 비디오 핑거프린트로부터 샘플링된 복수의 서브 비디오 핑거프린트와 임계치 이상의 유사도를 갖는 서브 핑거프린트 그룹을 포함하고 있는 다른 비디오 핑거프린트(들)을 식별하여 상기 비디오 핑거프린트(들)의 리스트를 동영상 색인 DB로부터 독출하는 것을 특징으로 하는 영상 정보 기반의 동영상 추천 시스템.
  7. 제1항 또는 제4항에 있어서,
    사용자의 검색어를 입력받는 검색요청 수신부;를 더 포함하고,
    상기 검색어는 동영상에 관한 메타 검색어임을 특징으로 하는 영상 정보 기반의 동영상 추천 시스템.
  8. 제1항 또는 제4항에 있어서,
    상기 동영상 검색 결과에 포함된 특정 동영상에 대한 추천 검색 요청을 접수받는 추천요청 수신부;를 더 포함하고,
    상기 추천 검색 요청은 동영상 검색 결과에 포함된 동영상 링크의 주변에 마련된 추천 인터페이스의 클릭 또는 마우스 오버에 의해 이루어지는 것을 특징으로 하는 영상 정보 기반의 동영상 추천 시스템.
  9. (a) 동영상 파일에 대한 메타 정보 및 동영상의 프레임별 서브 비디오 핑거 프린트의 집합으로 이루어진 비디오 핑거프린트 정보를 수록하고 있는 동영상 색인 DB를 제공하는 단계;
    (b) 검색어를 입력받아 메타 정보 기반으로 상기 동영상 색인 DB를 조회하여 검색어와 연관된 동영상 검색 결과를 제공하는 단계;
    (c) 상기 동영상 검색 결과에 포함된 특정 동영상에 대한 추천 검색 요청을 접수받는 단계;
    (d) 추천 검색 요청이 이루어진 해당 동영상의 비디오 핑거프린트를 상기 동영상 색인 DB로부터 리드하는 단계; 및
    (e) 상기 리드한 비디오 핑거프린트의 일부 또는 전체와 임계치 이상의 유사도를 갖는 비디오 핑거프린트를 식별하고, 식별된 비디오 핑거프린트에 대응되는 다른 동영상의 메타 정보를 상기 동영상 색인 DB로부터 독출하여 메타 정보를 포함하는 동영상 추천 정보를 사용자에게 제공하는 단계;를 포함하는 것을 특징으로 하는 영상 정보 기반의 동영상 추천 방법.
  10. 제9항에 있어서, 상기 (a) 단계 이전에,
    동영상 파일을 입력받는 단계;
    상기 입력된 동영상 파일로부터 메타 정보를 추출하는 단계;
    상기 입력된 동영상 파일에 포함된 비디오 데이터를 분석하여 비디오 핑거프린트를 추출하는 단계;
    상기 추출된 메타 정보와 비디오 핑거프린트를 매칭시켜 동영상 색인 DB에 수록하는 단계; 및
    동영상 검색의 대상이 되는 동영상 파일을 동영상 스토리지에 저장하는 단계;를 더 포함하는 것을 특징으로 하는 영상 정보 기반의 동영상 추천 방법.
  11. 제9항에 있어서,
    상기 (e) 단계에서 비디오 핑거프린트의 식별은,
    추천 검색이 요청된 동영상의 비디오 핑거프린트로부터 샘플링된 복수의 서브 비디오 핑거프린트와 임계치 이상의 유사도를 갖는 서브 비디오 핑거프린트 그룹을 포함하고 있는 다른 동영상의 비디오 핑거프린트를 상기 동영상 색인 DB에서 식별하는 것에 의해 이루어지는 것을 특징으로 하는 영상 정보 기반의 동영상 추천 방법.
  12. (a) 동영상 파일에 대한 메타 정보 및 동영상의 프레임별 서브 비디오 핑거프린트의 집합으로 이루어진 비디오 핑거프린트 정보를 수록하고 있는 동영상 색인 DB를 제공하는 단계;
    (b) 상기 동영상 색인 DB에 저장된 각 비디오 핑거프린트 별로 해당 비디오 핑거프린트의 일부 또는 전체와 임계치 이상의 유사도를 갖는 다른 비디오 핑거프린트(들)의 리스트가 수록된 추천리스트 DB를 제공하는 단계;
    (c) 검색어를 입력받아 메타 정보 기반으로 상기 동영상 색인 DB를 조회하여 검색어와 연관된 동영상 검색 결과를 제공하는 단계;
    (d) 상기 동영상 검색 결과에 포함된 특정 동영상에 대한 추천 검색 요청을 접수받는 단계;
    (e) 추천 검색 요청이 이루어진 해당 동영상의 비디오 핑거프린트를 상기 동영상 색인 DB로부터 리드하는 단계;
    (f) 상기 추천리스트 DB를 조회하여 상기 리드한 비디오 핑거프린트를 특정한 후, 특정된 비디오 핑거프린트의 일부 또는 전체와 임계치 이상의 유사도를 갖는 다른 비디오 핑거프린트(들)의 리스트를 식별하는 단계;
    (g) 상기 식별된 다른 비디오 핑거프린트(들)의 리스트에 포함된 각 비디오 핑거프린트에 대응되는 동영상의 메타 정보를 상기 동영상 색인 DB로부터 독출하여 메타 정보를 포함하는 동영상 추천 정보를 사용자에게 제공하는 단계;를 포함하는 것을 특징으로 하는 영상 정보 기반의 동영상 추천 방법.
  13. 제12항에 있어서, 상기 (a) 단계 이전에,
    동영상 파일을 입력받는 단계;
    상기 입력된 동영상 파일로부터 메타 정보를 추출하는 단계;
    상기 입력된 동영상 파일에 포함된 비디오 데이터를 분석하여 비디오 핑거프린트를 추출하는 단계;
    상기 추출된 메타 정보와 비디오 핑거프린트를 매칭시켜 동영상 색인 DB에 수록하는 단계; 및
    상기 입력되어 동영상 검색의 대상이 되는 동영상 파일을 동영상 스토리지에 저장하는 단계;를 더 포함하는 것을 특징으로 하는 영상 정보 기반의 동영상 추천 방법.
  14. 제12항에 있어서,
    상기 (f) 단계에서 비디오 핑거프린트의 식별은,
    추천 검색이 요청된 동영상의 비디오 핑거프린트로부터 샘플링된 복수의 서브 비디오 핑거프린트와 임계치 이상의 유사도를 갖는 서브 핑거프린트 그룹을 포함하고 있는 다른 비디오 핑거프린트(들)의 리스트를 상기 추천리스트 DB에서 식별하는 것에 의해 이루어지는 것을 특징으로 하는 영상 정보 기반의 동영상 추천 방법.
KR1020070084365A 2007-08-22 2007-08-22 영상 정보 기반의 동영상 연관 검색 시스템 및 방법 KR100896336B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070084365A KR100896336B1 (ko) 2007-08-22 2007-08-22 영상 정보 기반의 동영상 연관 검색 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070084365A KR100896336B1 (ko) 2007-08-22 2007-08-22 영상 정보 기반의 동영상 연관 검색 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20090020005A true KR20090020005A (ko) 2009-02-26
KR100896336B1 KR100896336B1 (ko) 2009-05-07

Family

ID=40687536

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070084365A KR100896336B1 (ko) 2007-08-22 2007-08-22 영상 정보 기반의 동영상 연관 검색 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR100896336B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012011712A2 (en) * 2010-07-21 2012-01-26 Samsung Electronics Co., Ltd. Method and apparatus for sharing content
KR101348668B1 (ko) * 2011-12-27 2014-01-08 정태성 검색엔진 제공 방법 및 이에 적용되는 장치
KR20140058643A (ko) * 2011-09-08 2014-05-14 삼성전자주식회사 강건한 낮은 복잡도 비디오 핑거프린팅을 위한 장치 및 방법
KR101404596B1 (ko) * 2012-05-03 2014-06-11 (주)엔써즈 이미지에 기반하여 동영상 서비스를 제공하는 시스템 및 방법
KR101479412B1 (ko) * 2013-07-08 2015-01-05 연세대학교 산학협력단 디지털 컨텐츠 식별 방법 및 장치
CN108197265A (zh) * 2017-12-29 2018-06-22 深圳市视维科技股份有限公司 一种基于短视频搜索完整视频的方法及系统
KR20190060320A (ko) * 2017-11-24 2019-06-03 정수경 연관정보 제공 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101094896B1 (ko) 2010-02-16 2011-12-15 한국과학기술원 멀티미디어 인식 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010081894A (ko) * 2000-02-18 2001-08-29 구자홍 이종 시스템간의 내용기반 멀티미디어 검색을 가능하게하는 칼라 히스토그램 변환방법, 멀티미디어 검색 방법,데이터 구조 및 멀티미디어 검색 시스템
KR100442126B1 (ko) * 2001-01-12 2004-07-30 주식회사 코어트러스트 아이템간의 연관성을 이용한 비디오 추천 시스템 및 방법
JP2006279429A (ja) * 2005-03-29 2006-10-12 Kddi Corp 映像コンテンツの推薦システム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012011712A2 (en) * 2010-07-21 2012-01-26 Samsung Electronics Co., Ltd. Method and apparatus for sharing content
WO2012011712A3 (en) * 2010-07-21 2012-04-19 Samsung Electronics Co., Ltd. Method and apparatus for sharing content
US9032043B2 (en) 2010-07-21 2015-05-12 Samsung Electronics Co., Ltd. Method and apparatus for sharing content
US10104136B2 (en) 2010-07-21 2018-10-16 Samsung Electronics Co., Ltd. Method and apparatus for sharing content
US10122773B2 (en) 2010-07-21 2018-11-06 Samsung Electronics Co., Ltd. Method and apparatus for sharing content
US10848531B2 (en) 2010-07-21 2020-11-24 Samsung Electronics Co., Ltd. Method and apparatus for sharing content
KR20140058643A (ko) * 2011-09-08 2014-05-14 삼성전자주식회사 강건한 낮은 복잡도 비디오 핑거프린팅을 위한 장치 및 방법
KR101348668B1 (ko) * 2011-12-27 2014-01-08 정태성 검색엔진 제공 방법 및 이에 적용되는 장치
KR101404596B1 (ko) * 2012-05-03 2014-06-11 (주)엔써즈 이미지에 기반하여 동영상 서비스를 제공하는 시스템 및 방법
KR101479412B1 (ko) * 2013-07-08 2015-01-05 연세대학교 산학협력단 디지털 컨텐츠 식별 방법 및 장치
KR20190060320A (ko) * 2017-11-24 2019-06-03 정수경 연관정보 제공 장치
CN108197265A (zh) * 2017-12-29 2018-06-22 深圳市视维科技股份有限公司 一种基于短视频搜索完整视频的方法及系统

Also Published As

Publication number Publication date
KR100896336B1 (ko) 2009-05-07

Similar Documents

Publication Publication Date Title
US11151145B2 (en) Tag selection and recommendation to a user of a content hosting service
KR100896336B1 (ko) 영상 정보 기반의 동영상 연관 검색 시스템 및 방법
US9148619B2 (en) Music soundtrack recommendation engine for videos
US8385660B2 (en) Mixed media reality indexing and retrieval for repeated content
US9495385B2 (en) Mixed media reality recognition using multiple specialized indexes
US8064641B2 (en) System and method for identifying objects in video
US8676810B2 (en) Multiple index mixed media reality recognition using unequal priority indexes
US8750681B2 (en) Electronic apparatus, content recommendation method, and program therefor
JP4678546B2 (ja) 推薦装置および方法、プログラム、並びに記録媒体
JP4295062B2 (ja) 反復マッチングを利用した画像検索方法及び装置
US8315430B2 (en) Object recognition and database population for video indexing
CN113010703B (zh) 一种信息推荐方法、装置、电子设备和存储介质
CN112749326B (zh) 信息处理方法、装置、计算机设备及存储介质
US20090070302A1 (en) Mixed Media Reality Recognition Using Multiple Specialized Indexes
JP2010061601A (ja) 推薦装置および方法、プログラム、並びに記録媒体
JP2002092032A (ja) 次検索候補単語提示方法および装置と次検索候補単語提示プログラムを記録した記録媒体
CN111008321A (zh) 基于逻辑回归推荐方法、装置、计算设备、可读存储介质
KR100946694B1 (ko) 영상 정보 기반의 동영상 파일 중복 검사와 관리를 위한시스템 및 방법
KR20110096802A (ko) 콘텐츠 제공 장치 및 방법
US20110137896A1 (en) Information processing apparatus, predictive conversion method, and program
US20150010288A1 (en) Media information server, apparatus and method for searching for media information related to media content, and computer-readable recording medium
KR100916310B1 (ko) 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템 및 방법
CN110569447B (zh) 一种网络资源的推荐方法、装置及存储介质
KR20090096158A (ko) 동영상 스틸컷 기반의 크로스미디어 검색 시스템 및 방법
KR100930529B1 (ko) 비디오 식별을 통한 유해 동영상 검열 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130314

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140408

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150302

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160408

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180305

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190408

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20200211

Year of fee payment: 12