KR100916310B1 - 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템 및 방법 - Google Patents

오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템 및 방법 Download PDF

Info

Publication number
KR100916310B1
KR100916310B1 KR20070055095A KR20070055095A KR100916310B1 KR 100916310 B1 KR100916310 B1 KR 100916310B1 KR 20070055095 A KR20070055095 A KR 20070055095A KR 20070055095 A KR20070055095 A KR 20070055095A KR 100916310 B1 KR100916310 B1 KR 100916310B1
Authority
KR
South Korea
Prior art keywords
music
video
recommendation
multimedia
audio
Prior art date
Application number
KR20070055095A
Other languages
English (en)
Other versions
KR20080107143A (ko
Inventor
박만수
양승현
신동호
Original Assignee
주식회사 코난테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 코난테크놀로지 filed Critical 주식회사 코난테크놀로지
Priority to KR20070055095A priority Critical patent/KR100916310B1/ko
Publication of KR20080107143A publication Critical patent/KR20080107143A/ko
Application granted granted Critical
Publication of KR100916310B1 publication Critical patent/KR100916310B1/ko

Links

Images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)

Abstract

본 발명은 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템 및 방법을 개시한다. 본 발명에 따른 시스템은, 음악 및 동영상 파일에 대한 메타 정보 및 오디오 핑거프린트 정보를 수록하고 있는 멀티미디어 데이터베이스 검색어를 입력받아 메타 정보 기반으로 상기 멀티미디어 데이터베이스를 조회하여 검색어와 연관된 멀티미디어 검색 결과를 제공하는 메타 검색부 상기 멀티미디어 검색 결과에 포함된 특정 음악 또는 동영상에 대한 추천 검색 요청을 접수받아 해당 음악 또는 동영상의 오디오 핑거프린트를 획득하는 핑거프린트 획득부 및 멀티미디어 데이터베이스로부터 상기 획득한 오디오 핑거프린트를 일부로 포함하고 있는 오디오 핑거프린트를 식별하고, 식별된 오디오 핑거프린트에 교차 대응되는 다른 음악 또는 동영상 정보를 사용자에게 추천하는 멀티미디어 추천부를 포함한다.
본 발명에 따르면, 사용자가 음악이나 동영상을 검색한 후 교차 연관된 다른 콘텐츠들을 재검색할 필요 없이 바로 추천 검색 결과를 통해 교차 대상의 연관된 음악과 동영상 정보를 확인할 수 있다. 이에 따라, 일정 부분 동일한 오디오 신호가 삽입되어 있는 콘텐츠들을 손쉽게 얻을 수 있는 장점이 있다.
오디오 핑거프린트, 음악 추천, 동영상 추천, 추천 검색, 연계 검색

Description

오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템 및 방법{System and Method for recommendation of music and moving video based on audio signal processing}
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시 예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 바람직한 실시예에 따른 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템의 개략적인 구성도이다.
도 2는 본 발명에 따른 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 방법이 구현되는 과정을 순차적으로 도시한 절차 흐름도이다.
도 3은 본 발명에 따라 멀티미디어 데이터베이스가 구축되는 과정을 순차적으로 도시한 절차 흐름도이다.
도 4는 추천리스트 생성부의 동작을 순차적으로 도시한 절차 흐름도이다.
도 5는 사용자에게 제공되는 멀티미디어 검색 결과의 화면 예시도이다.
도 6은 멀티미디어 데이터베이스로부터 오디오 핑거프린트를 식별하는 개념을 도시한 도면이다.
도 7은 추천 검색의 결과로서 사용자에게 제공되는 추천 결과 정보를 나타낸 화면 예시도이다.
도 8은 본 발명에 따른 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템의 동작 방법을 수행하는데 채용될 수 있는 범용 컴퓨터 시스템의 내부 블록도이다.
<도면의 주요 참조 번호>
100: 검색요청 수신부 110: 메타 검색부
120: 추천요청 수신부 130: 핑거프린트 획득부
140: 멀티미디어 추천부 150: 멀티미디어 데이터베이스
160: 멀티미디어 스토리지 170: 파일 입력부
180: 메타 정보 추출부 190: 핑거프린트 추출부
200: 오디오 색인부 210: 메모리
220: 추천리스트 생성부 230: 추천리스트 데이터베이스
본 발명은 멀티미디어 검색과 관련된 것으로서, 보다 상세하게는 오디오 신호처리 기반으로 음악 및 동영상을 상호 교차 추천할 수 있는 시스템 및 그 방법에 관한 것이다. 즉, 음악에 대해서는 그 음악이 삽입된 동영상을 추천하는 것이고, 동영상에 대해서는 그 동영상에 삽입된 적어도 하나 이상의 음악을 추천하는 것이다.
현재의 인터넷 검색 서비스에서 음악이나 동영상 검색은 단순히 메타 정보를 기반으로 이루어지고 있는 실정이다. 즉, 사용자가 음악이나 동영상에 관한 정보, 예컨대 음악의 제목이나 가수, 동영상의 제목 등을 키워드로 사용하여 검색을 요청하면, 검색 엔진은 메타 정보에 해당 키워드를 포함하고 있는 음악이나 동영상 정보를 검색 결과로서 보여준다.
그런데, 사용자가 특정 음악을 배경으로 사용하고 있는 동영상을 검색하고자 하는 경우 또는 특정 동영상의 배경 음악으로 사용되는 음원에 대한 정보에 관해 검색을 하고자 하는 경우는, 음악이나 동영상에 대한 1차 검색을 수행하여 해당 음악이나 동영상의 정보를 획득한 후 다시 2차로 검색을 수행하고, 음악일 경우 동영상에 연관된 정보를 획득하고 동영상일 경우 음악에 연관된 정보를 획득해야 하는 번거로움이 있다.
한편, 최근에는 사용자들의 검색 프로파일이나 행동 패턴을 추적하여 멀티미디어에 대한 검색시 사용자와 연관된 멀티미디어 콘텐츠를 추천해주는 서비스가 등장하였다. 하지만, 이러한 경우 사용자마다 다른 특성을 지니고 있기 때문에 추천에 있어서 명확한 기준을 제시할 수 없다는 문제점이 있다.
본 발명은 상술한 종래기술의 문제를 해결하기 위하여 창안된 것으로서, 오디오 신호처리 기반의 오디오 핑거프린트 기술을 활용하여 음악이나 동영상 검색 결과와 더불어 어느 일정 부분 동일한 오디오 신호가 삽입되어 있는 음악이나 동영상 콘텐츠들을 사용자들에게 교차 추천(음악 -> 동영상, 동영상 ->음악)할 수 있는 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적은 음악이나 동영상을 추천하기 위해 음악이나 동영상을 동일한 오디오 신호기반으로 분류할 수 있는 시스템 및 방법을 제공하는데 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 측면에 따른 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템은, 음악 및 동영상 파일에 대한 메타 정보 및 오디오 핑거프린트 정보를 수록하고 있는 멀티미디어 데이터베이스 검색어를 입력받아 메타 정보 기반으로 상기 멀티미디어 데이터베이스를 조회하여 검색어와 연관된 멀티미디어 검색 결과를 제공하는 메타 검색부 상기 멀티미디어 검색 결과에 포함된 특정 음악 또는 동영상에 대한 추천 검색 요청을 접수받아 해당 음악 또는 동영상의 오디오 핑거프린트를 획득하는 핑거프린트 획득부 및 멀티미디어 데이터베이스로부터 상기 획득한 오디오 핑거프린트를 일부로 포함하고 있는 오디오 핑거프린트를 식별하고, 식별된 오디오 핑거프린트에 대응되는 다른 음악 또는 동영상 정보를 사용자에게 추천하는 멀티미디어 추천부를 포함하여, 음악에 대하여 추천 검색 요청을 받으면 동영상을 추천하고, 동영상에 대하여 추천 검색 요청을 받으면 음악을 추천하는 것을 특징으로 한다.
본 발명의 일 측면에 따르면, 상기 멀티미디어 검색 결과에 포함 가능한 음악 및 동영상 파일이 저장되어 있는 멀티미디어 스토리지를 더 포함하고, 상기 핑거프린트 획득부는 추천 검색 요청이 이루어진 음악 또는 동영상 파일을 멀티미디어 스토리지로부터 독출하여 음악 또는 동영상 파일에 포함된 오디오 데이터로부터 오디오 핑거프린트를 추출하여 오디오 핑거프린트를 획득한다.
본 발명의 다른 측면에 따르면, 상기 멀티미디어 데이터베이스에는 상기 멀티미디어 검색 결과에 포함 가능한 음악 및 동영상의 메타 정보와 오디오 핑거프린트 정보가 수록되어 있고, 상기 핑거프린트 획득부는 상기 멀티미디어 데이터베이 스로부터 추천 검색 요청이 이루어진 음악 또는 동영상의 오디오 핑거프린트를 독출하여 오디오 핑거프린트를 획득한다.
바람직하게, 상기 멀티미디어 추천부는 추천 검색 요청이 이루어진 음악 또는 동영상의 오디오 핑거프린트로부터2개 이상의 서브 핑거프린트를 샘플링한 후 적어도 하나 이상의 샘플링된 서브 핑거프린트를 포함하고 있는 다른 음악 또는 동영상의 오디오 핑거프린트를 식별한다.
본 발명에 따른 시스템은, 음악 또는 동영상 파일을 입력받는 파일 입력부 상기 입력된 음악 또는 동영상 파일로부터 메타 정보를 추출하는 메타 정보 추출부 상기 입력된 음악 또는 동영상 파일에 포함된 오디오 데이터로부터 오디오 핑거프린트를 추출하는 핑거프린트 추출부 및 상기 추출된 메타 정보와 오디오 핑거프린트를 매칭시켜 멀티미디어 데이터베이스에 수록하는 오디오 색인부를 더 포함한다.
상기 기술적 과제를 달성하기 위한 본 발명의 다른 측면에 따른 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템은, 오디오 핑거프린트의 서브 핑거프린트를 포함하고 있는 다른 오디오 핑거프린트 그룹의 리스트와 상기 그룹에 속한 각 오디오 핑거프린트가 추출된 음악 또는 동영상 파일의 메타 정보가 수록된 추천리스트 데이터베이스 검색어를 입력받아 음악 및 동영상 파일의 메타 정보가 수록된 멀티미디어 데이터베이스를 조회하여 검색어와 연관된 멀티미디어 검색 결과를 제공하는 메타 검색부 상기 멀티미디어 검색 결과에 포함된 특정 음악 또는 동영상에 대한 추천 검색 요청을 접수받아 해당 음악 또는 동영상의 오디오 핑거프린트를 획득하는 핑거프린트 획득부 및 상기 추천리스트 데이터베이스를 조회하여 상기 획득한 오디오 핑거프린트와 연관된 오디오 핑거프린트 그룹을 식별하고, 식별된 그룹에 포함된 각 오디오 핑거프린트에 대응되는 음악 또는 동영상 정보를 사용자에게 추천하는 멀티미디어 추천부를 포함하여, 음악에 대하여 추천 검색 요청을 받으면 동영상을 추천하고, 동영상에 대하여 추천 검색 요청을 받으면 음악을 추천하는 것을 특징으로 한다..
바람직하게, 상기 멀티미디어 데이터베이스에는 음악 및 동영상 파일에 대한 오디오 핑거프린트 정보가 더 수록되어 있고, 본 발명에 따른 시스템은 상기 멀티미디어 데이터베이스를 조회하여 일부 포함 관계가 성립되는 오디오 핑거프린트 그룹을 식별하고, 식별된 오디오 핑거프린트 그룹과 그룹에 속한 각 오디오 핑거프린트가 추출된 음악 또는 동영상 파일의 메타 정보를 멀티미디어 데이터베이스로부터 독출하여 상기 추천리스트 데이터베이스에 저장하는 추천리스트 생성부를 더 포함할 수 있다.
바람직하게, 상기 검색어는 음악 또는 동영상에 관한 메타 검색어이다.
바람직하게, 추천 검색 요청은 멀티미디어 검색 결과에 포함된 음악 또는 동영상 링크의 주변에 마련된 추천 인터페이스의 클릭 또는 마우스 오버에 의해 이루어진다.
본 발명의 다른 기술적 과제는 상술한 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템의 동작 방법에 의해서도 달성될 수 있다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 바람직한 실시예에 따른 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템의 개략적인 구성도이다.
도 1을 참조하면, 본 발명에 따른 교차 추천 시스템은, 검색요청 수신부(100), 메타 검색부(110), 추천요청 수신부(120), 핑거프린트 획득부(130), 멀티미디어 추천부(140), 멀티미디어 데이터베이스(150) 및 멀티미디어 스토리지(160)를 포함한다.
상기 검색요청 수신부(100)는 사용자로부터 검색어를 입력받아 메타 검색부(110)로 검색어를 전달한다. 바람직하게, 상기 검색요청 수신부(100)는 유선 또는 무선 인터넷을 통해 사용자에게 제공된 검색창 인터페이스를 통하여 검색어를 입력받는다. 상기 검색어는 음악 또는 동영상의 메타 정보와 관련된 검색어이다. 음악의 경우 메타 정보는 음악의 제목, 가수, 장르, 작곡자, 제작일자 등이다. 동영상의 경우 메타 정보는 동영상의 제목, 제작자, 장르, 제작일자 등이다. 하지만, 본 발명이 메타 정보의 종류에 의해 한정되는 것은 아니다. 한편, 상기 메타 정보에는 음악 또는 동영상 파일의 헤더 정보가 더 포함될 수 있는 것으로 해석될 수 있음을 밝혀둔다.
상기 메타 검색부(110)는 검색어를 입력받아 메타 정보 기반으로 멀티미디어 데이터베이스(150)를 조회하여 검색어와 연관된 멀티미디어 검색 결과(도 5 참조)를 사용자에게 제공한다. 상기 멀티미디어 데이터베이스(150)에는 음악 및 동영상 파일에 대한 메타 정보 및 오디오 핑거프린트 정보가 상호 매칭되어 수록되어 있고, 멀티미디어 스토리지(160)에 저장된 음악 및 동영상 파일의 참조가 가능한 식별정보(예컨대, 파일 저장경로를 포함한 파일명)가 수록되어 있다. 여기서, 오디오 핑거프린트는 오디오 데이터를 배타적이고도 고유하게 식별할 수 있는 일종의 오디오 지문을 지칭한다. 메타 정보, 오디오 핑거프린트 및 파일 식별정보의 데이터베이스화와 관련된 발명 구성에 대해서는 후술한다.
상기 멀티미디어 검색 결과가 제공되면, 사용자는 검색 결과 페이지에 포함된 추천 인터페이스(도 5의 240 참조)를 이용하여 특정 음악 또는 동영상에 대한 추천 검색을 요청한다. 본 발명의 추천 검색은 음악과 동영상간의 상호 교차 추천을 말하는 것으로서 음악에 대한 추천 검색은 그 음원을 포함하는 동영상 결과를 제공하는 것이고, 동영상에 대한 추천 검색은 그 동영상에 포함된 적어도 하나 이상의 음원 결과를 제공하는 것이다.
특정 음악에 대한 추천 검색이라 함은 해당 음악을 배경 음악으로 사용하고 있는 동영상, 해당 음악을 이용하여 제작된 벨소리 음원, 해당 음악의 생방송 실황을 녹화한 방송 동영상 등을 검색하여 추천해주는 것을 말한다. 특정 동영상에 대한 추천 검색이라 함은 동영상 내에 포함된 배경 음악에 대한 음원, 그 음원을 이용하여 제작된 휴대폰 벨소리 음원, 동영상 내에 포함된 배경 음악과 동일한 음악을 배경 음악으로 사용한 또 다른 동영상 등을 검색하여 추천해주는 것을 말한다. 본 발명에서, 음악이라는 용어는 통상적인 개념의 음악 이외에 창작성이 가미된 다양한 오디오 음향도 포함하는 것으로 이해되어야 할 것임은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명하다.
상기 추천요청수신부(120)는 멀티미디어 검색 결과를 통해 사용자가 요청한 특정 음악 또는 동영상의 추천 검색 요청을 수신하여 핑거프린트 획득부(130)로 전달한다.
상기 핑거프린트 획득부(130)는 멀티미디어 검색 결과에 포함된 특정 음악 또는 동영상에 대한 추천 검색 요청을 추천요청 수신부(120)로부터 접수받아 해당 음악 또는 동영상의 오디오 핑거프린트를 획득한다. 그런 다음, 획득한 교차 대상의 오디오 핑거프린트를 멀티미디어 추천부(140)로 출력한다.
본 발명의 일 측면에 따르면, 상기 핑거프린트 획득부(130)는 추천 검색 요청이 이루어진 음악 또는 동영상 파일을 멀티미디어 스토리지(160)로부터 독출하여 음악 또는 동영상 파일에 포함된 오디오 데이터를 분석하여 오디오 핑거프린트를 추출함으로써 오디오 핑거프린트를 획득한다. 동영상 파일로부터 오디오 핑거프린트를 추출할 때에는 동영상 파일로부터 오디오 데이터만을 선택적으로 분리하는 과정이 선행되는 것이 바람직하다. 상기 멀티미디어 스토리지(160)에는 멀티미디어 검색 결과에 포함 가능한 음악 및 동영상 파일이 미리 저장되어 있다.
상기 오디오 핑거프린트 추출 과정을 보다 구체적으로 설명하면, 상기 핑거프린트 획득부(130)는 음악 파일 또는 동영상 파일에 포함된 오디오 데이터를 분석하여 오디오 핑거프린트를 추출한다. 즉, 핑거프린트 획득부(130)는 음악 또는 동영상 파일을 디코딩하여 파일 안에 포함된 오디오 데이터를 획득한 후 윈도우 분석을 통해 오디오 데이터를 프레임 단위로 분할한다. 그런 다음, 프레임별로 주파수 특성을 추출하기 위해 퓨리에 변환을 수행한다. 상기 윈도우 분석시에는 Hamming/Hanning 윈도우 등을 사용할 수 있다. 이어서, 상기 핑거프린트 획득부(130)는 퓨리에 변환을 적용한 프레임 마다 파워 스펙트럼의 필터뱅크 출력의 에너지 시퀀스를 기반으로 주파수 및 시간축 필터링을 수행한 후 각 주파수 밴드 에너지에 대해 특정 임계값을 기준으로 프레임별로 소정 비트수(예컨대, 32비트)의 서브 핑거프린트를 할당함으로써 일련의 서브 핑거프린트의 집합으로 이루어진 오디오 핑거프린트를 추출하게 된다.
바람직하게, 상기 필터뱅크로는 인간의 청각 특성을 고려하기 위해 Mel/bark 스케일 필터뱅크를 사용한다. 하지만, 본 발명이 이에 한하는 것은 아니다. 한편, 주파수 및 시간축 필터링은 주파수 인접 밴드와 인접 프레임의 상관 관계를 최소화하기 위해 수행하는 것이다. 즉, 주파수 및 시간축 필터링은 인접 밴드 에너지의 차, 그리고 인접 프레임 사이의 차를 확대하여 상기 상관 관계를 최소화하기 위해 수행된다. 바람직하게, 상기 주파수 필터링은 에너지들의 상관도를 최소화할 수 있는 BPF(Band Pass Filter) 형태의 2차 FIR 필터 타입을 사용하여 수행하고, 상기 시간축 필터링은 채널 왜곡을 줄이기 위해 잘 알려진 RASTA 필터 타입을 사용하여 수행함으로써, 외부 잡음 및 채널 잡음에 강인한 오디오 핑거프린트를 추출할 수 있다. 하지만, 본 발명은 주파수 및 시간축 필터링의 방식에 의해 한정되는 것은 아니다.
상술한 오디오 핑거프린트 추출 기법은 본 발명의 발명자인 박만수씨의 논문 "Frequency-Temporal Filtering for a Robust Audio Fingerprinting Scheme in Real-Noise Environments"(ETRI Journal, vol.28, no.4, Aug. 2006, pp.509-512) 에 개시되어 있다. 따라서, 상기 논문의 모든 내용은 본 발명의 구성의 일부로 통합될 수 있다. 한편, 본 발명은 오디오 핑거프린트를 추출하는 구체적인 방식에 의해 한정되지 않으므로, 오디오 핑거프린트를 추출할 수 있는 알고리즘이라면 어떠한 것이라도 채용 가능하다. 일 예로, 상기 핑거프린트 획득부(130)는 일반적인 오디오 특징들을 적용하여 확률적 패턴 모델을 이용해 오디오 핑거프린트를 추출할 수도 있다.
본 발명의 다른 측면에 따르면, 상기 핑거프린트 획득부(130)는 상기 멀티미디어 데이터베이스(150)로부터 추천 검색 요청이 이루어진 음악 또는 동영상의 오디오 핑거프린트를 독출하여 오디오 핑거프린트를 획득할 수도 있다. 이를 위해, 상기 멀티미디어 데이터베이스(150)에는 멀티미디어 검색 결과에 포함 가능한 음악 및 동영상의 오디오 핑거프린트 정보가 수록되어 있는 것이 바람직하다.
상기 멀티미디어 추천부(140)는 멀티미디어 데이터베이스(150)로부터 상기 획득한 오디오 핑거프린트를 일부로 포함하고 있는 다른 오디오 핑거프린트를 식별하고, 식별된 오디오 핑거프린트에 대응되는 교차 대상의 다른 음악 또는 동영상의 메타 정보를 이용하여 추천 결과 정보를 구성한 후 사용자에게 제공한다.
상기 멀티미디어 추천부(140)는 오디오 핑거프린트를 일부로 포함하고 있는 다른 오디오 핑거프린트를 식별하기 위해 먼저 핑거프린트 획득부(130)가 제공한 오디오 핑거프린트로부터 서브 핑거프린트를 샘플링한다. 그런 다음, 샘플링된 서브 핑거프린트를 서브 핑거프린트로서 포함하고 있는 다른 오디오 핑거프린트를 멀티미디어 데이터베이스(150)로부터 검출한다.
예를 들어, 핑거프린트 획득부(130)가 제공한 오디오 핑거프린트가 총 k 개의 서브 핑거프린트로 구성되어 있다면 오디오 핑거프린트로부터n(k보다 작거나 같은 정수) 개의 서브 핑거프린트를 샘플링한다. 그런 다음, 샘플링된 서브 핑거프린트들 중 적어도 하나의 서브 핑거프린트를 포함하고 있는 오디오 핑거프린트를 멀티미디어 데이터베이스(150)로부터 검출한다. 이 개념에 대해서는 도면을 참조하여 후술한다.
특정 음악에 대한 추천 검색이 요청된 경우, 상기 추천 결과 정보는 해당 음악을 배경 음악으로 사용하고 있는 동영상, 해당 음악을 이용하여 제작된 벨소리 음원, 해당 음악의 생방송 실황을 녹화한 방송 동영상 등의 메타 정보와 음악과 동영상 파일을 재생할 수 있는 링크 코드를 포함한다.
특정 동영상에 대한 추천 검색이 요청된 경우, 상기 추천 결과 정보는 해당 동영상 내에 포함된 배경 음악의 음원, 그 음원을 이용하여 제작된 휴대폰 벨소리 음원, 동영상 내에 포함된 배경 음악과 동일한 음악을 배경 음악으로 사용한 또 다른 동영상 등의 메타 정보와 음악과 동영상을 재생할 수 있는 링크 코드를 포함한다.
상기 추천 결과 정보가 제공되면, 사용자는 원하는 음악 또는 동영상을 클릭하여 재생할 수 있으며, 메타 정보를 통해 추천된 음악 또는 동영상에 대한 여러 가지 정보를 확인할 수 있다. 이러한 기능이 구현되도록 추천 결과 정보를 구성하는 것은 본 발명이 속한 기술분야에서 널리 알려져 있으므로 이에 대한 자세한 설명은 생략하기로 한다.
도 2는 본 발명에 따른 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 방법이 구현되는 과정을 순차적으로 도시한 절차 흐름도이다.
먼저, 단계(S10)에서는 음악 및 동영상 파일에 대한 메타 정보 및 오디오 핑거프린트 정보와 멀티미디어 스토리지(160) 내에 수록된 파일의 참조가 가능한 식별정보를 수록하고 있는 멀티미디어 데이터베이스(150)가 제공된다.
단계(S20)에서는 검색요청 수신부(100)가 유선 또는 무선 인터넷을 통해 사용자로부터 검색어를 입력받아 메타 정보 기반으로 상기 멀티미디어 데이터베이스(150)를 조회하여 검색어와 연관된 멀티미디어 검색 결과를 생성하여 사용자에게 제공한다.
도 5는 사용자에게 제공되는 멀티미디어 검색 결과를 나타낸 화면 예시도이다. 도면에 도시된 검색 결과는 사용자가 '모짜르트'를 키워드로 입력했을 때의 검색 결과이다. 검색 결과에는 모짜르트와 연관된 음악, 음반, 동영상 등에 관한 링크와 각 콘텐츠에 대한 설명(메타 정보)이 소개되고 있으며, 각 콘텐츠의 링크 주변에는 추천 검색을 요청할 수 있는 추천 인터페이스(240)가 마련되어 있다. 사용자는 희망하는 경우 추천 인터페이스(240)를 조작하여 교차 대상의 특정 음악 또는 동영상에 대한 추천 검색을 요청할 수 있다. 추천 인터페이스(240)의 조작은 마우스의 클릭 또는 마우스 오버에 의해 이루어질수 있다. 하지만, 본 발명은 추천 인터페이스(240)의 조작 방식에 의해 한정되지 않는다.
단계(S30)에서, 추천요청 수신부(120)는 멀티미디어 검색 결과에 포함된 특정 음악 또는 동영상에 대한 추천 검색 요청을 접수받아 핑거프린트 획득부(130)로 전달한다.
단계(S40)에서, 핑거프린트 획득부(130)는 추천 검색 요청이 이루어진 해당 음악 또는 동영상의 오디오 핑거프린트를 획득한다. 오디오 핑거프린트의 획득은 2가지 방식으로 가능한데, 각 방식에 대해서는 이미 상술하였다. 상기 핑거프린트 획득부(130)는 추천 검색이 요청된 음악 또는 동영상의 오디오 핑거프린트를 멀티미디어 추천부(140)로 전달한다.
단계(S50)에서, 멀티미디어 검색부는 멀티미디어 데이터베이스(150)로부터 상기 획득한 오디오 핑거프린트를 일부로 포함하고 있는 다른 오디오 핑거프린트를 식별하고, 식별된 오디오 핑거프린트에 대응되는 교차 대상의 다른 음악 또는 동영상 정보를 포함하는 추천 결과 정보를 생성하여 사용자에게 제공한다.
도 6은 멀티미디어 데이터베이스(150)로부터 오디오 핑거프린트를 식별하는 개념을 도시한 도면이다.
도면에 도시된 바와 같이, 상기 멀티미디어 추천부(140)는 추천 검색이 요청된 음악 또는 동영상의 오디오 핑거프린트로부터 다수의 서브 핑거프린트(250)를 샘플링한다. 도면에서, F1, F3, F5, …, FK 는 샘플링된 서브 핑거프린트들을 나타낸다. 그런 후, 멀티미디어 데이터베이스(150)를 조회하여 샘플링된 각 서브 핑거프린트를 포함하고 있는 다른 오디오 핑거프린트(260)를 식별하여 추출하게 된다. 도면에서, 260a ~ 260d는 이렇게 추출된 오디오 핑거프린트들을 나타낸다.
상기 멀티미디어 추천부(140)는 추천 검색이 요청된 음악 또는 동영상과 연관된 교차 대상의 다른 음악 또는 동영상의 오디오 핑거프린트가 식별되면 식별된 각 오디오 핑거프린트에 대응되는 메타 정보를 멀티미디어 데이터베이스(150)로부터 독출하여 추천 결과 정보를 구성한다. 그리고, 추천 결과 정보에는 멀티미디어 스토리지(160)에 저장된 음악 또는 동영상 파일과의 링크 코드를 삽입한다. 링크 코드의 삽입은 멀티미디어 데이터베이스(150)에 저장된 음악 및 동영상의 파일 식별정보를 참조하여 이루어진다.
도 7은 추천 검색의 결과로서 사용자에게 제공되는 추천 결과 정보를 나타낸 화면 예시도이다.
도면을 참조하면, 상기 추천 결과 정보는 웹페이지의 형태로 사용자에게 제공된다. 상기 웹페이지에는 추천 검색의 결과로 검출된 음악, 동영상, 벨소리 등에 대한 링크 인터페이스(260)와 함께 메타 정보로부터 추출된 음악과 동영상의 관련 설명(270)이 소개된다. 사용자는 추천 결과 정보가 제공되면, 링크 인터페이스(260)를 조작하여 희망하는 음악이나 동영상을 재생할 수 있다.
한편, 상술한 본 발명에 따른 음악 및 동영상간의 교차 추천 방법이 구현되기 위해서는 멀티미디어 데이터베이스(150)의 구축이 필수적으로 수반되어야 한다.
다시 도 1을 참조하면, 본 발명에 따른 시스템은 멀티미디어 데이터베이스(150)를 구축하기 위해 파일 입력부(170), 메타 정보 추출부(180), 핑거프린트 추출부(190) 및 오디오 색인부(200)를 포함한다.
상기 파일 입력부(170)는 음악 파일 또는 동영상 파일을 입력받아 임시적으로 메모리(210)에 저장한다. 메모리(210)는 전통적인 컴퓨터 시스템에 구비되는 활 성 메모리이다. 상기 파일 입력부(170)는 파일 입력을 위한 인터페이스로서, 파일은 유선 또는 무선 인터넷과 같은 정보 통신망을 통해 입력될 수도 있고, 하드 드라이브, CD-ROM, DVD 등의 전통적인 저장매체로부터 입력될 수도 있다. 후자의 경우, 파일 입력부(170)는 파일 관리자가 저장매체에 저장된 각종 멀티미디어 파일을 검색하여 메타 정보와 오디오 핑거프린트를 추출할 대상 파일을 선별할 수 있는 사용자 인터페이스를 제공하는 것이 바람직하다.
상기 메타 정보 추출부(180)는 메모리(210)에 저장된 음악 파일 또는 동영상 파일의 메타 정보를 리드하여 오디오 색인부(200)로 출력한다. 그리고, 상기 핑거프린트 추출부(190)는 메모리(210)에 저장된 음악 파일 또는 동영상 파일에 포함된 오디오 데이터를 분석하여 오디오 핑거프린트를 추출한다. 오디오 핑거프린트 추출 방법에 대해서는 이미 상술하였다. 그런 다음, 상기 핑거프린트 추출부(190)는 추출된 오디오 핑거프린트를 오디오 색인부(200)로 출력한다.
상기 오디오 색인부(200)는 메타 정보 추출부(180)와 핑거프린트 추출부(190)로부터 각각 메타 정보와 핑거프린트 정보를 입력받은 후 메타 정보와 오디오 핑거프린트를 상호 매칭시켜 멀티미디어 데이터베이스(150)에 수록한다. 아울러, 메모리(210)에 저장된 음악 또는 동영상 파일을 리드하여 멀티미디어 스토리지(160)에 저장한다. 또한, 멀티미디어 스토리지(160)에 저장된 음악 또는 동영상 파일의 식별정보를 작성하여 멀티미디어 데이터베이스(150)에 수록한다.
도 3은 본 발명에 따라 멀티미디어 데이터베이스(150)가 구축되는 과정을 순차적으로 도시한 절차 흐름도이다.
먼저, 단계(S70)에서 파일 입력부(170)는 음악 또는 동영상 파일을 입력받는다. 그런 후, 단계(S80)에서 메모리(210)에 음악 또는 동영상 파일을 임시로 저장한다.
단계(S90)에서 메타 정보 추출부(180)는 메모리(210) 저장된 음악 또는 동영상 파일로부터 메타 정보를 추출하여 오디오 색인부(200)로 출력한다. 그리고, 단계(S100)에서 핑거프린트 추출부(190)는 메모리(210)에 저장된 음악 또는 동영상 파일로부터 오디오 핑거프린트를 추출하여 오디오 색인부(200)를 출력한다.
단계(S100)에서 오디오 색인부(200)는 상기 출력된 메타 정보와 오디오 핑거프린트를 상호 매칭시켜 멀티미디어 데이터베이스(150)에 저장하고, 메모리(210)로부터 음악 또는 동영상 파일을 리드하여 멀티미디어 스토리지(160)에 저장한다. 또한, 스토리지에 저장된 음악 또는 동영상 파일의 식별정보를 작성하여 멀티미디어 데이터베이스(150)에 수록한다.
상술한 실시예에서는 음악 또는 동영상의 추천 검색이 요청되면, 멀티미디어 추천부(140)가 멀티미디어 데이터베이스(150)를 실시간으로 조회하였다. 하지만, 본 발명은 상술한 방식에만 한정되지 않고, 검색 결과 정보에 포함될 수 있는 모든 음악 또는 동영상 파일에 대해 추천 검색 리스트를 미리 데이터베이스로 구축하고 DB화된 추천 검색 리스트를 조회하여 추천 결과 정보를 구성할 수도 있다. 이를 위해, 본 발명에 따른 시스템은 도 1에 도시된 바와 같이 추천리스트 생성부(220)를 더 포함할 수 있다.
도 4는 추천리스트 생성부(220)의 동작을 순차적으로 도시한 절차 흐름도이 다.
도면을 참조하면, 단계(S120)에서 추천리스트 생성부(220)는 멀티미디어 데이터베이스(150)에 수록된 각 음악 또는 동영상 파일의 오디오 핑거프린트 별로 포함관계가 성립되는 다른 오디오 핑거프린트의 그룹을 식별한다.
그런 다음, 단계(S130)에서 추천리스트 생성부(220)는 그룹에 속한 각 오디오 핑거프린트를 식별한다. 그리고, 단계(S140)에서 식별된 각 오디오 핑거프린트에 대응되는 메타 정보를 멀티미디어 데이터베이스(150)로부터 독출한다.
그러고 나서, 단계(S140)에서 추천리스트 생성부(220)는 추천 대상이 되는 음악 또는 동영상 파일의 오디오 핑거프린트, 이 오디오 핑거프린트와 관련하여 S130 단계에서 식별된 동일 그룹에 속한 오디오 핑거프린트의 리스트, 이 리스트에 속한 각 오디오 핑거프린트에 대응되는 메타 정보, 및 각 오디오 핑거프린트에 대응되는 음악 또는 동영상 파일의 식별정보를 멀티미디어 데이터베이스(150)로부터 독출하여 추천리스트 데이터베이스(230)에 기록한다.
위와 같은 과정을 거쳐 추천리스트 데이터베이스(230)가 구축되면, 멀티미디어 추천부(140)는 핑거프린트 획득부(130)로터 추천 검색이 요청된 음악 또는 동영상 파일의 오디오 핑거프린트가 제공될 경우, 추천리스트 데이터베이스(230)를 조회하여 교차 대상의 추천 결과 정보를 빠르게 생성할 수 있다.
즉, 멀티미디어 추천부(140)는 추천리스트 데이터베이스(230)를 조회하여 추천 검색이 요청된 음악 또는 동영상 파일의 오디오 핑거프린트와 매칭되어 저장된 교차 대상의 오디오 핑거프린트의 리스트를 식별한다. 그런 다음, 식별된 오디오 핑거프린트의 리스트에 포함된 각 오디오 핑거프린트에 대응되는 메타 정보와 파일 식별정보를 추천리스트 데이터베이스(230)로부터 독출하여 추천 결과 정보를 구성한 후 사용자에게 제공할 수 있다.
상술한 본 발명에 따른 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터에 의해 판독 가능한 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합으로 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 프로그램 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예로는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급언어 코드를 포함한다. 상기한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 동작하도록 구성될 수 있으며, 그 역도 마찬가지이다.
도 8은 본 발명에 따른 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템의 동작 방법을 수행하는데 채용될 수 있는 범용 컴퓨터 시스템의 내부 블록도이다.
도 8을 참조하면, 상기 범용 컴퓨터 시스템(400)은 램(RAM: 420)과 롬(ROM: 430)을 포함하는 주기억장치와 연결되는 하나 이상의 프로세서(410)를 포함한다. 프로세서(410)는 중앙처리장치(CPU)로 불리기도 한다. 본 기술분야에서 널리 알려진 바와 같이, 롬(430)은 데이터와 명령을 단방향성으로 프로세서(410)에 전송하는 역할을 하며, 램(420)은 통상적으로 데이터와 명령을 양방향성으로 프로세서(410)로 전송하는데 사용된다. 램(420) 및 롬(430)은 컴퓨터 판독 가능 매체의 어떠한 적절한 형태를 포함할 수 있다. 대용량 기억장치(440)는 양방향성으로 프로세서(410)와 연결되어 추가적인 데이터 저장 능력을 제공하며, 상기된 컴퓨터 판독 가능 기록 매체 중 어떠한 것일 수 있다. 대용량 기억장치(440)는 프로그램, 데이터 등을 저장하는데 사용되며, 통상적으로 주기억장치보다 속도가 느린 하드 디스크와 같은 보조기억장치이다. CD롬(460)과 같은 특정 대용량 기억장치가 사용될 수도 있다. 프로세서(410)는 비디오 모니터, 트랙볼 마우스, 키보드, 마이크로폰, 터치스크린 형 디스플레이, 카드 판독기, 자기 또는 종이 테이프 판독기, 음성 또는 필기 인식기, 조이스틱 또는 기타 공지된 컴퓨터 입출력 장치와 같은 하나 이상의 입출력 인터페이스(450)와 연결된다. 마지막으로, 프로세서(410)는 네트워크 인터페이스(470)를 통하여 유선 또는 무선 통신 네트워크에 연결될 수 있다. 이러한 네트워크 연결을 통하여 상기된 방법의 절차를 수행할 수 있다. 상기된 장치 및 도구 는 컴퓨터 하드웨어 및 소프트웨어 기술 분야의 당업자에게 잘 알려져 있다. 한편, 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 동작하도록 구성될 수 있다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
본 발명에 따르면, 사용자가 음악이나 동영상을 검색한 후 밀접하게 연관된 다른 콘텐츠들을 재검색할 필요 없이 바로 추천 검색 결과(음악 검색시 동영상 추천, 동영상 검색시 음악 추천)를 통해 연관된 음악과 동영상 정보를 확인할 수 있다. 이에 따라, 일정 부분 동일한 오디오 신호가 삽입되어 있는 콘텐츠들을 손쉽게 얻을 수 있는 장점이 있다.

Claims (19)

  1. 음악 및 동영상 파일에 대한 메타 정보 및 오디오 핑거프린트 정보를 수록하고 있는 멀티미디어 데이터베이스;
    검색어를 입력받아 메타 정보 기반으로 상기 멀티미디어 데이터베이스를 조회하여 검색어와 연관된 멀티미디어 검색 결과를 제공하는 메타 검색부; 및
    상기 멀티미디어 검색 결과에 포함된 특정 음악 또는 동영상에 대한 추천 검색 요청을 접수받아 해당 음악 또는 동영상의 오디오 핑거프린트를 획득하는 핑거프린트 획득부; 및
    멀티미디어 데이터베이스로부터 상기 추천 검색 요청이 된 음악 또는 동영상에 대한 오디오 핑거프린트의 일부 또는 전부를 포함하고 있는 다른 형식으로 구성된 음악 또는 동영상의 오디오 핑거프린트를 식별하고, 식별된 오디오 핑거프린트에 대응되는 다른 형식으로 구성된 음악 또는 동영상 정보를 사용자에게 추천하는 멀티미디어 추천부
    를 포함하여 음악에 대하여 추천 검색 요청을 받으면 동영상을 추천하고, 동영상에 대하여 추천 검색 요청을 받으면 음악을 추천하는 것을 특징으로 하는 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템.
  2. 제1항에 있어서,
    상기 멀티미디어 검색 결과에 포함 가능한 음악 및 동영상 파일이 저장되어 있는 멀티미디어 스토리지를 더 포함하고,
    상기 핑거프린트 획득부는 추천 검색 요청이 이루어진 음악 또는 동영상 파일을 멀티미디어 스토리지로부터 독출하여 음악 또는 동영상 파일에 포함된 오디오 데이터로부터 오디오 핑거프린트를 추출하여 오디오 핑거프린트를 획득하는 것을 특징으로 하는 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템.
  3. 제1항에 있어서,
    상기 멀티미디어 데이터베이스에는 상기 멀티미디어 검색 결과에 포함 가능한 음악 및 동영상의 메타 정보와 오디오 핑거프린트 정보가 수록되어 있고,
    상기 핑거프린트 획득부는 상기 멀티미디어 데이터베이스로부터 추천 검색 요청이 이루어진 음악 또는 동영상의 오디오 핑거프린트를 독출하여 오디오 핑거프린트를 획득하는 것을 특징으로 하는 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템.
  4. 제1항에 있어서,
    상기 멀티미디어 추천부는 추천 검색 요청이 이루어진 음악 또는 동영상의 오디오 핑거프린트로부터 2개 이상의 서브 핑거프린트를 샘플링한 후 적어도 하나 이상의 샘플링된 서브 핑거프린트를 포함하고 있는 다른 음악 또는 동영상의 오디오 핑거프린트를 식별하는 것을 특징으로 하는 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템.
  5. 제1항에 있어서,
    음악 또는 동영상 파일을 입력받는 파일 입력부;
    상기 입력된 음악 또는 동영상 파일로부터 메타 정보를 추출하는 메타 정보 추출부;
    상기 입력된 음악 또는 동영상 파일에 포함된 오디오 데이터로부터 오디오 핑거프린트를 추출하는 핑거프린트 추출부; 및
    상기 추출된 메타 정보와 오디오 핑거프린트를 매칭시켜 멀티미디어 데이터베이스에 수록하는 오디오 색인부를 더 포함하는 것을 특징으로 하는 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템.
  6. 제5항에 있어서,
    상기 메타 정보는 음악 또는 동영상 파일의 헤더 정보를 더 포함하는 것을 특징으로 하는 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템.
  7. 음악 또는 동영상에 대한 오디오 핑거프린트의 부분 또는 전부를 포함하고 있는 다른 형식으로 구성된 음악 또는 동영상에 대한 오디오 핑거프린트 그룹의 리스트와 상기 그룹에 속한 각 오디오 핑거프린트가 추출된 음악 또는 동영상 파일의 메타 정보가 수록된 추천리스트 데이터베이스;
    검색어를 입력받아 음악 및 동영상 파일의 메타 정보가 수록된 멀티미디어 데이터베이스를 조회하여 검색어와 연관된 멀티미디어 검색 결과를 제공하는 메타 검색부;
    상기 멀티미디어 검색 결과에 포함된 특정 음악 또는 동영상에 대한 추천 검색 요청을 접수받아 해당 음악 또는 동영상의 오디오 핑거프린트를 획득하는 핑거프린트 획득부; 및
    상기 추천리스트 데이터베이스를 조회하여 상기 추천 검색 요청이 된 음악 또는 동영상의 오디오 핑거프린트와 연관된 상기 다른 형식으로 구성된 음악 또는 동영상의 오디오 핑거프린트 그룹을 식별하고, 식별된 그룹에 포함된 각 오디오 핑거프린트에 대응되는 음악 또는 동영상 정보를 사용자에게 추천하는 멀티미디어 추천부
    를 포함하여 음악에 대하여 추천 검색 요청을 받으면 동영상을 추천하고, 동영상에 대하여 추천 검색 요청을 받으면 음악을 추천하는 것을 특징으로 하는 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템.
  8. 제7항에 있어서,
    상기 멀티미디어 데이터베이스에는 음악 및 동영상 파일에 대한 오디오 핑거프린트 정보가 더 수록되어 있고,
    상기 멀티미디어 데이터베이스를 조회하여 일부 포함 관계가 성립되는 오디오 핑거프린트 그룹을 식별하고, 식별된 오디오 핑거프린트 그룹과 그룹에 속한 각 오디오 핑거프린트가 추출된 음악 또는 동영상 파일의 메타 정보를 멀티미디어 데이터베이스로부터 독출하여상기 추천리스트 데이터베이스에 저장하는 추천리스트 생성부를 더 포함하는 것을 특징으로 하는 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템.
  9. 제1항 또는 제7항에 있어서,
    상기 검색어는 음악 또는 동영상에 관한 메타 검색어임을 특징으로 하는 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템.
  10. 제1항 또는 제7항에 있어서,
    추천 검색 요청은 멀티미디어 검색 결과에 포함된 음악 또는 동영상 링크의 주변에 마련된 추천 인터페이스의 클릭 또는 마우스 오버에 의해 이루어지는 것을 특징으로 하는 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템.
  11. (a) 음악 및 동영상 파일에 대한 메타 정보 및 오디오 핑거프린트 정보를 수록하고 있는 멀티미디어 데이터베이스를 제공하는 단계;
    (b) 검색어를 입력받아 메타 정보 기반으로 상기 멀티미디어 데이터베이스를 조회하여 검색어와 연관된 멀티미디어 검색 결과를 제공하는 단계; 및
    (c) 상기 멀티미디어 검색 결과에 포함된 특정 음악 또는 동영상에 대한 추천 검색 요청을 접수받는 단계;
    (d) 추천 검색 요청이 이루어진 해당 음악 또는 동영상의 오디오 핑거프린트를 획득하는 단계; 및
    (e) 멀티미디어 데이터베이스로부터 상기 추천 검색 요청이 된 음악 또는 동영상에 대한 오디오 핑거프린트의 일부 또는 전부를 포함하고 있는 다른 형식으로 구성된 음악 또는 동영상의 오디오 핑거프린트를 식별하고, 식별된 오디오 핑거프린트에 대응되는 다른 형식으로 구성된 음악 또는 동영상 정보를 사용자에게 추천하는 단계
    를 포함하여 음악에 대하여 추천 검색 요청을 받으면 동영상을 추천하고, 동영상에 대하여 추천 검색 요청을 받으면 음악을 추천하는 것을 특징으로 하는 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 방법.
  12. 제11항에 있어서,
    상기 멀티미디어 검색 결과에 포함 가능한 음악 및 동영상 파일이 저장되어 있는 멀티미디어 스토리지를 제공하는 단계를 더 포함하고,
    상기 (d) 단계는, 추천 검색 요청이 이루어진 음악 또는 동영상 파일을 멀티미디어 스토리지로부터 독출하여 음악 또는 동영상 파일에 포함된 오디오 스트림으로부터 오디오 핑거프린트를 추출하여 오디오 핑거프린트를 획득하는 단계임을 특징으로 하는 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 방법.
  13. 제11항에 있어서,
    상기 멀티미디어 데이터베이스에는 상기 멀티미디어 검색 결과에 포함 가능한 음악 및 동영상의 메타 정보와 오디오 핑거프린트 정보가 수록되어 있고,
    상기 (d) 단계는, 상기 멀티미디어 데이터베이스로부터 추천 검색 요청이 이루어진 음악 또는 동영상의 오디오 핑거프린트를 독출하여 오디오 핑거프린트를 획득하는 단계임을 특징으로 하는 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 방법.
  14. 제11항에 있어서, 상기 (e) 단계에서 오디오 핑거프린트의 식별은, 추천 검색 요청이 이루어진 음악 또는 동영상의 오디오 핑거프린트로부터2개 이상의 서브 핑거프린트를 샘플링한 후 적어도 하나 이상의 샘플링된 서브 핑거프린트를 포함하고 있는 다른 음악 또는 동영상의 오디오 핑거프린트를 식별하는 것에 의해 이루어지는 것을 특징으로 하는 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 방법.
  15. 제11항에 있어서,
    음악 또는 동영상 파일을 입력받는 단계;
    상기 입력된 음악 또는 동영상 파일로부터 메타 정보를 추출하는 단계;
    상기 입력된 음악 또는 동영상 파일에 포함된 오디오 데이터로부터 오디오 핑거프린트를 추출하는 단계; 및
    상기 추출된 메타 정보와 오디오 핑거프린트를 매칭시켜 멀티미디어 데이터베이스에 수록하는 단계를 더 포함하는 것을 특징으로 하는 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 방법.
  16. 제15항에 있어서,
    상기 메타 정보는 음악 또는 동영상 파일의 헤더 정보를 더 포함하는 것을 특징으로 하는 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 방법.
  17. (a) 음악 또는 동영상에 대한 오디오 핑거프린트의 일부 또는 전부를 포함하는 서브 핑거프린트를 포함하고 있는 다른 형식으로 구성된 음악 또는 동영상에 대한 오디오 핑거프린트 그룹의 리스트와 상기 그룹에 속한 각 오디오 핑거프린트가 추출된 음악 또는 동영상 파일의 메타 정보가 수록된 추천리스트 데이터베이스를 제공하는 단계;
    (b) 검색어를 입력받아 음악 및 동영상 파일의 메타 정보가 수록된 멀티미디어 데이터베이스를 조회하여 검색어와 연관된 멀티미디어 검색 결과를 제공하는 단계;
    (c) 상기 멀티미디어 검색 결과에 포함된 특정 음악 또는 동영상에 대한 추천 검색 요청을 접수받아 해당 음악 또는 동영상의 오디오 핑거프린트를 획득하는 단계;
    (d) 상기 추천리스트 데이터베이스를 조회하여 상기 추천 검색 요청이 된 음악 또는 동영상의 오디오 핑거프린트와 연관된 상기 다른 형식으로 구성된 음악 또는 동영상의 오디오 핑거프린트 그룹을 식별하는 단계; 및
    (e) 식별된 그룹에 포함된 각 오디오 핑거프린트에 대응되는 음악 또는 동영상 정보를 사용자에게 추천하는 단계
    를 포함하여 음악에 대하여 추천 검색 요청을 받으면 동영상을 추천하고, 동영상에 대하여 추천 검색 요청을 받으면 음악을 추천하는 것을 특징으로 하는 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 방법.
  18. 제11항 또는 제17항에 있어서,
    상기 검색어는 음악 또는 동영상에 관한 메타 검색어임을 특징으로 하는 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 방법.
  19. 제11항 또는 제17항에 있어서,
    추천 검색 요청은 멀티미디어 검색 결과에 포함된 음악 또는 동영상 링크의 주변에 마련된 추천 인터페이스의 클릭 또는 마우스 오버에 의해 이루어지는 것을 특징으로 하는 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 방법.
KR20070055095A 2007-06-05 2007-06-05 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템 및 방법 KR100916310B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20070055095A KR100916310B1 (ko) 2007-06-05 2007-06-05 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20070055095A KR100916310B1 (ko) 2007-06-05 2007-06-05 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20080107143A KR20080107143A (ko) 2008-12-10
KR100916310B1 true KR100916310B1 (ko) 2009-09-10

Family

ID=40367565

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20070055095A KR100916310B1 (ko) 2007-06-05 2007-06-05 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR100916310B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101981924B1 (ko) * 2015-11-30 2019-08-30 한국전자통신연구원 미디어 콘텐츠 식별 방법
US10255503B2 (en) 2016-09-27 2019-04-09 Politecnico Di Milano Enhanced content-based multimedia recommendation method
CN108415935A (zh) * 2018-01-23 2018-08-17 北京奇虎科技有限公司 一种推送推荐消息的方法、装置
KR102274219B1 (ko) * 2019-08-08 2021-07-08 주식회사 인에이블파인드 소리 정보 판단 장치 및 그 방법
CN113392262A (zh) * 2020-11-26 2021-09-14 腾讯科技（北京）有限公司 音乐识别方法、推荐方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040053313A (ko) * 2001-11-16 2004-06-23 코닌클리케 필립스 일렉트로닉스 엔.브이. 핑거프린트 데이터베이스 갱신 방법, 클라이어트 및 서버
KR20060020114A (ko) * 2004-08-31 2006-03-06 주식회사 코난테크놀로지 음악 검색 서비스 제공 시스템 및 방법
KR20060095988A (ko) * 2003-09-23 2006-09-05 프리딕시스 코포레이션 오디오 핑거프린팅 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040053313A (ko) * 2001-11-16 2004-06-23 코닌클리케 필립스 일렉트로닉스 엔.브이. 핑거프린트 데이터베이스 갱신 방법, 클라이어트 및 서버
KR20060095988A (ko) * 2003-09-23 2006-09-05 프리딕시스 코포레이션 오디오 핑거프린팅 시스템 및 방법
KR20060020114A (ko) * 2004-08-31 2006-03-06 주식회사 코난테크놀로지 음악 검색 서비스 제공 시스템 및 방법

Also Published As

Publication number Publication date
KR20080107143A (ko) 2008-12-10

Similar Documents

Publication Publication Date Title
JP4398242B2 (ja) 録音の多段階識別方法
JP5175339B2 (ja) ローカルネットワーク内の装置のユーザに適切な情報を提供する方法及びシステム
TWI553494B (zh) 基於多模態融合之智能高容錯視頻識別系統及其識別方法
US8886531B2 (en) Apparatus and method for generating an audio fingerprint and using a two-stage query
US8935269B2 (en) Method and apparatus for contextual search and query refinement on consumer electronics devices
US8521759B2 (en) Text-based fuzzy search
KR101625944B1 (ko) 오디오 인식 방법 및 기기
US20140245463A1 (en) System and method for accessing multimedia content
KR100676863B1 (ko) 음악 검색 서비스 제공 시스템 및 방법
US20050038814A1 (en) Method, apparatus, and program for cross-linking information sources using multiple modalities
US20120271823A1 (en) Automated discovery of content and metadata
US20110173185A1 (en) Multi-stage lookup for rolling audio recognition
KR20080058356A (ko) 시맨틱 토픽의 자동화된 리치 프레젠테이션을 위한컴퓨터-구현 방법 및 컴퓨팅 장치
US9069771B2 (en) Music recognition method and system based on socialized music server
US8751494B2 (en) Constructing album data using discrete track data from multiple sources
KR100896336B1 (ko) 영상 정보 기반의 동영상 연관 검색 시스템 및 방법
JP2007012013A (ja) 映像データ管理装置及び方法及びプログラム
KR20090087269A (ko) 컨텍스트 기반 정보 처리 방법 및 장치, 그리고 컴퓨터기록 매체
KR100916310B1 (ko) 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템 및 방법
JP7395377B2 (ja) コンテンツ検索方法、装置、機器、および記憶媒体
US10321167B1 (en) Method and system for determining media file identifiers and likelihood of media file relationships
JP2014153977A (ja) コンテンツ解析装置、コンテンツ解析方法、コンテンツ解析プログラム、およびコンテンツ再生システム
JP2009535671A (ja) 一のユーザのカテゴリラベルを他のユーザにより規定されたカテゴリラベルで関連付けるシステム及び方法
Shrivastav et al. Towards an ontology based framework for searching multimedia contents on the web
KR100896335B1 (ko) 오디오 기반의 동영상 파일 중복 검사와 관리를 위한 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
E801 Decision on dismissal of amendment
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20081128

Effective date: 20090729

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120903

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130902

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140801

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150901

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160901

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170901

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180716

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190604

Year of fee payment: 11