KR20140001498A - Ｔｖ에서의 음악 인식을 통한 음악 관련 정보 제공 시스템, 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

Ｔｖ에서의 음악 인식을 통한 음악 관련 정보 제공 시스템, 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR20140001498A
KR20140001498A KR1020120069253A KR20120069253A KR20140001498A KR 20140001498 A KR20140001498 A KR 20140001498A KR 1020120069253 A KR1020120069253 A KR 1020120069253A KR 20120069253 A KR20120069253 A KR 20120069253A KR 20140001498 A KR20140001498 A KR 20140001498A
Authority
KR
South Korea
Prior art keywords
music
information
broadcast
search
unit
Prior art date
Application number
KR1020120069253A
Other languages
English (en)
Inventor
양병석
원만호
김세린
최원준
Original Assignee
네이버 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버 주식회사 filed Critical 네이버 주식회사
Priority to KR1020120069253A priority Critical patent/KR20140001498A/ko
Priority to US13/927,720 priority patent/US9460202B2/en
Priority to JP2013135482A priority patent/JP2014010458A/ja
Publication of KR20140001498A publication Critical patent/KR20140001498A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for

Abstract

본 발명은 TV에서 실시간으로 출력되는 음악에 대한 음원 유전자 정보를 검색함으로써 음악과 관련된 정보를 제공하는 TV에서의 음악 인식을 통한 음악 관련 정보 제공 시스템에 관한 것으로, 특히 적어도 하나의 방송 신호를 수신하는 TV로서, 음악 검색 애플리케이션이 설치되며, 상기 설치된 음악 검색 애플리케이션의 실행에 따라 현재 방송 중인 음악 정보의 검색을 음악 검색 서버로 요청하고, 상기 음악 검색 서버로부터 현재 방송 중인 음악에 대한 정보를 수신하여 디스플레이하는 상기 TV; 및 각 음악에 대한 정보를 데이터베이스에 저장하며, 상기 TV로부터 현재 방송 중인 음악 정보의 검색 요청을 수신하고, 상기 검색 요청에 따라 상기 데이터베이스에 저장된 현재 방송 중인 음악에 대한 정보를 검색하며, 검색 결과로 검색된 음악과 관련된 정보를 상기 TV로 전송하는 음악 검색 서버를 포함하는, TV에서의 음악 인식을 통한 음악 관련 정보 제공 시스템을 포함한다.

Description

ＴＶ에서의 음악 인식을 통한 음악 관련 정보 제공 시스템, 장치, 방법 및 컴퓨터 판독 가능한 기록 매체{SYSTEM, APPARATUS, METHOD AND COMPUTER READABLE RECORDING MEDIUM FOR PROVIDING AN INFORMATION RELATED TO A MUSIC BY RECOGNITION OF THE MUSIC OUTPUTTED THROUGH THE TELEVISION}
본 발명은 TV 방송 중 출력되는 음악에 대한 정보를 제공하기 위한 시스템에 관한 것으로, 보다 상세하게는 TV에서 실시간으로 출력되는 음악에 대한 음원 유전자 정보를 검색함으로써 음악과 관련된 정보를 제공하는 TV에서의 음악 인식을 통한 음악 관련 정보 제공 시스템, 장치, 방법 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
최근 기술의 발전으로 TV는 과거 단순히 수신된 공중파 또는 케이블 방송 신호만을 디스플레이하는 기능에서 벗어나, 사용자와의 상호 통신(interactive) 기능 및 인터넷을 이용한 각종 부가서비스들을 제공하고 있다.
또한, 디지털 방송 수신을 위해서는 단순히 TV 뿐만 아니라 셋톱박스(Set top box; STB)라는 장치가 추가로 필요하다. 셋톱박스라 함은, TV에 연결되어, 외부에서 들어오는 신호를 받아 적절히 변환하여 TV로 그 내용을 표시해 주는 장치를 말한다. 셋톱박스는 일반적으로 주문형 비디오(Video on demand; VOD), 홈 쇼핑, 네트워크 게임 등 차세대 쌍방향 멀티미디어 통신 서비스(이른바 대화형 TV)를 이용하는 데 필요한 가정용 통신 단말기로서 TV 세트 위에 놓고 이용하는 상자라는 뜻으로,‘가입자 신호 변환 장치’라고도 한다. 쌍방향 TV나 전화, 회사의 영상 전송 서비스 등의 망과 접속되며, 가정에서는 TV 등에 연결하여 이용한다.
셋톱박스는 전화 회사나 종합 유선 방송(CATV)국에 설치되어 있는 비디오 서버 등과 통신하는 외에, 기본 기능으로 영상 신호의 수신 및 변환 기능을 구비한다. 또한, 전화와 PC 통신 등 데이터 통신 서비스도 동시에 이용할 수 있도록 전화 인터페이스나 개인용 컴퓨터(PC)와의 접속 인터페이스를 갖는 것 등 다양한 규격이 검토되고 있다. 이에 따라, 대화형 TV 시장을 선점하기 위해 통신, 컴퓨터, 가전제품 제조업체들이 셋톱박스의 제품화 및 판매 경쟁을 벌이고 있다.
한편, 셋톱박스는 반드시 동조기(튜너)를 내장하고 있지 않아도 되며, 외부 신호를 주는 장치로는 이더넷(ethernet) 케이블, 위성파 수신 또는 지상파 수신 안테나, 동축 케이블, 전화선, 아날로그 VHF(Very High Frequency) 혹은 UHF(Ultra High Frequency) 안테나 등이 있다. 이를 통해 받을 수 있는 내용물로는 영상, 음성, 인터넷 웹 페이지, 게임 등이 될 수 있다.
이와 같이, 인터넷과 연동되는 셋톱박스를 통해 TV에서는 방송 정보뿐만 아니라 다양한 정보의 서비스가 제공될 수 있으며, 사용자와의 쌍방향 통신을 통해 서비스의 선택 및 제어가 가능해진다. 이러한, 사용자의 선택 신호 입력을 용이하게 하기 위해서는 리모콘(remote controller)의 기능이 다양하게 확장될 필요성이 있으며, 편리한 인터페이스를 갖추어야 될 필요성이 요구되고 있다.
또한, 이러한 셋톱박스의 기능이 내장된 TV는 지상파 방송시청은 물론 인터넷에 연결되어 VOD(Video- On-Demand), 게임, 영상통화, 앱 활용 등 컴퓨터 기능이 가능하다. 한편, 일반 TV로도 상술한 셋톱박스 연결을 통해 상기 기능을 활용할 수도 있으며, TV 교체 주기가 긴 점 등을 고려할 때 TV와 셋톱박스 시장은 공존하여 발전하고 있다.
한편, 일반 시청자가 TV를 통해 방송 중 또는 광고 중에 출력되는 음악에 대한 정보를 알고자 할 경우, 가사 등 음악과 관련된 정보들을 기억하였다가 개인용 PC 또는 스마트폰 등을 통해 검색한다. 그러나, 가사가 없는 음악이거나, 시청자가 잘 듣지 못했을 경우에는 검색하는 것이 불가능하다. 또한, 부분적으로 가사를 들었을 경우라 하더라도 정확한 음악 정보를 검색하는 것이 쉽지 않다.
이와 같이, 출력되는 음악으로부터 음악과 관련된 정보를 검색하기 위한 한 가지 방법으로서 대한민국등록특허공보 제10-1132509호 "모바일 검색을 위한 모바일 시스템, 검색 시스템 및 검색 결과 제공 방법(엔에이치엔(주))"(문헌 1)에는 모바일 단말에서 입력된 오디오 데이터에 대해 음악 검색 결과를 제공하는 방법이 개시된다.
이러한 방법을 이용할 경우, TV에서 출력되는 방송 또는 광고 음악을 모바일 단말의 마이크를 통해 입력받고, 입력된 음악에 대해 모바일 단말에서 서버를 통해 검색함으로써 모바일 단말의 화면상에 검색된 음악 관련 정보가 표시될 수 있다.
그러나, 상기 방법은 모바일 단말의 마이크를 통해 입력되는 음악 데이터를 검색하여야 하므로, 별도의 음악 녹음 과정이 필요한 단점이 있다. 또한, TV 방송에서 스피커를 통해 출력되는 음악 데이터를 다시 모바일 단말에서 녹음하여 음악을 검색하여야 하므로, 주위의 환경 잡음과 입력되는 음악 데이터의 음량 레벨 차이로 인해 인식률이 높지 않다는 문제가 있다.
따라서, TV를 통해 방송 또는 광고 중에 출력되는 음악에 대해 효과적으로 검색하고 관련 정보를 제공할 수 있는 방법이 요구되고 있다.
[문헌 1] 대한민국등록특허공보 제10-1132509호 모바일 검색을 위한 모바일 시스템, 검색 시스템 및 검색 결과 제공 방법(엔에이치엔(주)) 2012.03.26
본 발명의 목적은 TV에서 출력되는 방송 신호로부터 음성 신호를 추출하고, 추출된 음성 신호에 대한 음향 유전자를 통해 서버로부터 해당 음악을 식별하여 관련 정보를 제공할 수 있는 TV에서의 음악 인식을 통한 음악 관련 정보 제공 시스템, 장치, 방법 및 컴퓨터 판독 가능한 기록 매체를 제공함에 있다.
또한, 본 발명의 다른 목적은 서버에서 수집된 방송 관련 정보를 이용하여 현재 TV에서 출력되는 방송에 포함된 음악을 식별할 수 있는 TV에서의 음악 인식을 통한 음악 관련 정보 제공 시스템, 장치, 방법 및 컴퓨터 판독 가능한 기록 매체를 제공함에 있다.
또한, 본 발명의 또 다른 목적은 현재 TV에서 출력되는 음악이 광고 음악일 경우 서버에 저장된 광고 음악의 음향 유전자를 우선적으로 검색하는 TV에서의 음악 인식을 통한 음악 관련 정보 제공 시스템, 장치, 방법 및 컴퓨터 판독 가능한 기록 매체를 제공함에 있다.
또한, 본 발명의 또 다른 목적은 TV에서 출력되는 방송 신호로부터 음성 신호를 추출하고, 추출된 음성 신호에 대한 음향 유전자를 통해 서버로부터 해당 음악을 식별하고, 식별된 음악과 관련된 타겟 광고를 제공할 수 있는 TV에서의 음악 인식을 통한 음악 관련 정보 제공 시스템, 장치, 방법 및 컴퓨터 판독 가능한 기록 매체를 제공함에 있다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특유의 효과를 달성하기 위한, 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 측면에 따르면, TV에서의 음악 인식을 통한 음악 관련 정보 제공 시스템은, 적어도 하나의 방송 신호를 수신하는 TV로서, 음악 검색 애플리케이션이 설치되며, 상기 설치된 음악 검색 애플리케이션의 실행에 따라 현재 방송 중인 음악 정보의 검색을 음악 검색 서버로 요청하고, 상기 음악 검색 서버로부터 현재 방송 중인 음악에 대한 정보를 수신하여 디스플레이하는 상기 TV; 및 각 음악에 대한 정보를 데이터베이스에 저장하며, 상기 TV로부터 현재 방송 중인 음악 정보의 검색 요청을 수신하고, 상기 검색 요청에 따라 상기 데이터베이스에 저장된 현재 방송 중인 음악에 대한 정보를 검색하며, 검색 결과로 검색된 음악과 관련된 정보를 상기 TV로 전송하는 음악 검색 서버를 포함한다.
바람직하게는, 상기 TV는, 현재 방송 중인 방송 신호로부터 음성 신호를 수집하고, 상기 수집된 음성 신호로부터 음향 유전자 정보를 생성하여 상기 음악 검색 서버로 전송함으로써 현재 방송 중인 음악 정보의 검색을 요청한다.
바람직하게는, 상기 TV는, 상기 현재 방송 중인 음악 정보의 검색 요청 시, 방송 정보를 수집하여 상기 음악 검색 서버로 더 전송한다.
바람직하게는, 상기 음악 검색 서버는, 각 방송 채널별로 각 방송 프로그램에 포함된 음악에 대한 정보를 데이터베이스에 저장하고, 상기 TV로부터 전송된 방송 정보에 대해 상기 데이터베이스에 저장된 정보를 검색함으로써 상기 현재 방송 중인 음악에 대한 정보를 검색한다.
바람직하게는, 상기 방송 정보는, 상기 TV에서 현재 선택된 방송 채널 정보 및 상기 음악 정보의 검색 요청 시간 정보이다.
바람직하게는, 상기 음악과 관련된 정보는, 상기 음악에 대한 메타 데이터로서, 음악 제목, 음악가 이름, 앨범 이름, 앨범에 포함된 음악 리스트, 음악 장르, 및 앨범 사진 중에서 선택된 어느 하나 이상이다.
바람직하게는, 상기 음악과 관련된 정보는, 상기 음악에 대한 타겟 광고이다.
바람직하게는, 상기 음악 검색 서버는, 각 광고 음악의 음원을 음향 유전자로 생성하여 데이터베이스에 저장하고, 상기 TV에서 방송 중인 음성 신호의 음향 유전자를 상기 데이터베이스에 저장된 음향 유전자와 비교하여 음악에 대한 정보를 검색한다.
바람직하게는, 상기 음악 검색 서버는, 상기 TV로부터 음성 신호를 수신하고, 상기 수신된 음성 신호 음향 유전자 정보를 생성함으로써 현재 방송 중인 음악 정보를 검색한다.
본 발명의 다른 측면에 따르면, 음악 검색 서버는, 각 음악에 대한 정보를 저장하는 음악 정보 데이터베이스; TV로부터 현재 방송 중인 음악 정보의 검색 요청을 수신하는 정보 요청 수신부; 상기 정보 요청 수신부로부터 수신된 상기 검색 요청 정보에 따라 상기 방송 중인 음악 신호에 대해 생성된 음향 유전자로 음악을 식별하는 음향 유전자 검색부; 상기 음악 정보 데이터베이스에 저장된 정보 중에서 상기 음향 유전자 검색부를 통해 식별된 음악에 대한 정보를 검색하는 음악 정보 조회부; 및 상기 음악 정보 조회부의 검색 결과로 검색된 음악과 관련된 정보를 상기 TV로 전송하는 결과 정보 전송부를 포함한다.
바람직하게는, 상기 음악 검색 서버는, 현재 방송 중인 방송 신호로부터 수집된 음성 신호로부터 생성된 음향 유전자 정보를 상기 TV로부터 수신하고, 상기 수신된 음향 유전자 정보를 통해 음악 정보를 검색한다.
바람직하게는, 상기 음악 검색 서버는, 상기 TV로부터 상기 현재 방송 중인 음악 정보의 검색 요청 수신 시, 상기 TV에서 수집된 방송 정보를 더 수신한다.
바람직하게는, 상기 음악 검색 서버는, 각 방송 채널별로 각 방송 프로그램에 포함된 음악에 대한 정보를 저장하는 방송 편성 정보 데이터베이스; 및 상기 TV로부터 전송된 방송 정보에 대해 상기 데이터베이스에 저장된 정보를 검색함으로써 상기 현재 방송 중인 음악에 대한 정보를 검색하는 방송 정보 조회부를 더 포함한다.
바람직하게는, 상기 방송 정보는, 상기 TV에서 현재 선택된 방송 채널 정보 및 상기 음악 정보의 검색 요청 시간 정보이다.
바람직하게는, 상기 음악과 관련된 정보는, 상기 음악에 대한 메타 데이터로서, 음악 제목, 음악가 이름, 앨범 이름, 앨범에 포함된 음악 리스트, 음악 장르, 및 앨범 사진 중에서 선택된 어느 하나 이상이다.
바람직하게는, 상기 음악과 관련된 정보는, 상기 음악에 대한 타겟 광고이다.
바람직하게는, 상기 음악 검색 서버는, 각 광고 음악의 음원을 음향 유전자로 생성하여 저장하는 광고 유전자 정보 데이터베이스; 및 상기 TV에서 방송 중인 음성 신호의 음향 유전자를 상기 데이터베이스에 저장된 음향 유전자와 비교하여 음악에 대한 정보를 검색하는 광고 정보 조회부를 더 포함한다.
바람직하게는, 상기 음향 유전자 검색부는, 상기 TV로부터 음성 신호를 수신하고, 상기 수신된 음성 신호 음향 유전자 정보를 생성함으로써 현재 방송 중인 음악 정보를 검색하는 음원 정보 조회부를 포함한다.
본 발명의 또 다른 측면에 따르면, 음악 검색 서버에서의 TV에서의 음악 인식을 통한 음악 관련 정보 제공을 위한 방법으로서, 상기 음악 검색 서버에서 수행되는 각 단계가, 각 음악에 대한 정보를 음악 정보 데이터베이스에 저장하는 단계; 정보 요청 수신부에서, 상기 TV로부터 현재 방송 중인 음악 정보의 검색 요청을 수신하는 단계; 음향 유전자 검색부에서, 상기 정보 요청 수신부로부터 수신된 상기 검색 요청 정보에 따라 상기 방송 중인 음악 신호에 대해 생성된 음향 유전자로 음악을 식별하는 단계; 음악 정보 조회부에서, 상기 음악 정보 데이터베이스에 저장된 정보 중에서 상기 음향 유전자 검색부를 통해 식별된 음악에 대한 정보를 검색하는 단계; 및 결과 정보 전송부에서, 상기 음악 정보 조회부의 검색 결과로 검색된 음악과 관련된 정보를 상기 TV로 전송하는 단계를 포함한다.
바람직하게는, 상기 음악을 식별하는 단계는, 현재 방송 중인 방송 신호로부터 수집된 음성 신호로부터 생성된 음향 유전자 정보를 상기 TV로부터 수신하고, 상기 수신된 음향 유전자 정보를 통해 음악 정보를 검색하는 단계를 포함한다.
바람직하게는, 상기 방법은, 상기 TV로부터 상기 현재 방송 중인 음악 정보의 검색 요청 수신 시, 상기 TV에서 수집된 방송 정보를 수신하는 단계를 더 포함한다.
바람직하게는, 상기 음악을 식별하는 단계는, 각 방송 채널별로 각 방송 프로그램에 포함된 음악에 대한 정보를 방송 편성 정보 데이터베이스에 저장하는 단계; 및 방송 정보 조회부에서 상기 TV로부터 전송된 방송 정보에 대해 상기 데이터베이스에 저장된 정보를 검색함으로써 상기 현재 방송 중인 음악에 대한 정보를 검색하는 단계를 더 포함한다.
바람직하게는, 상기 방송 정보는, 상기 TV에서 현재 선택된 방송 채널 정보 및 상기 음악 정보의 검색 요청 시간 정보이다.
바람직하게는, 상기 음악과 관련된 정보는, 상기 음악에 대한 메타 데이터로서, 음악 제목, 음악가 이름, 앨범 이름, 앨범에 포함된 음악 리스트, 음악 장르, 및 앨범 사진 중에서 선택된 어느 하나 이상이다.
바람직하게는, 상기 음악과 관련된 정보는, 상기 음악에 대한 타겟 광고이다.
바람직하게는, 상기 음악을 식별하는 단계는, 각 광고 음악의 음원을 음향 유전자로 생성하여 광고 유전자 정보 데이터베이스에 저장하는 단계; 및 광고 정보 조회부에서, 상기 TV에서 방송 중인 음성 신호의 음향 유전자를 상기 데이터베이스에 저장된 음향 유전자와 비교하여 음악에 대한 정보를 검색하는 단계를 더 포함한다.
바람직하게는, 상기 음악을 식별하는 단계는, 음원 정보 조회부에서, 상기 TV로부터 음성 신호를 수신하고, 상기 수신된 음성 신호 음향 유전자 정보를 생성함으로써 현재 방송 중인 음악 정보를 검색하는 단계를 더 포함한다.
한편, 상기 TV에서의 음악 인식을 통한 음악 관련 정보를 제공받기 위한 정보는 서버 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있다. 이러한 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있도록 프로그램 및 데이터가 저장되는 모든 종류의 기록매체를 포함한다. 그 예로는, 롬(Read Only Memory), 램(Random Access Memory), CD(Compact Disk), DVD(Digital Video Disk)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 케리어 웨이브(예를 들면, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다. 또한, 이러한 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
상술한 바와 같이, 본 발명에 따르면 시청자가 TV를 통해 방송 중 또는 광고 중에 출력되는 음악에 대한 정보를 알고자 할 경우, 시청자가 직접 검색하지 않아도 음악에 관련된 정보를 확인할 수 있으며, 시청자가 검색하기 용이하지 않은 경우에도 정확한 음악 정보를 검색할 수 있는 장점이 있다.
또한, 본 발명에 따르면, TV의 스피커를 통해 출력되는 음악을 모바일 단말에서 입력받아 검색하는 기존의 방법에 비해 더 정확한 검색 결과를 얻을 수 있고, 주위의 환경 잡음이 심하더라도 정확한 검색 결과를 얻을 수 있는 장점이 있다.
또한, 본 발명에 따르면, 서버에서 수집된 방송 관련 정보를 이용하여 현재 TV에서 출력되는 방송에 포함된 음악을 식별함으로써 음악 식별 시간을 줄이고 식별의 정확도를 높일 수 있는 장점이 있다.
또한, 본 발명에 따르면, 현재 TV에서 출력되는 음악이 광고 음악일 경우 서버에 저장된 광고 음악의 음향 유전자를 우선적으로 검색함으로써 음악 식별 시간을 줄이고 식별의 정확도를 높일 수 있는 장점이 있다.
또한, 본 발명에 따르면, TV에서 출력되는 방송 신호로부터 추출된 음성 신호에 대한 해당 음악을 식별하고, 식별된 음악과 관련된 타겟 광고를 제공할 수 있는 장점이 있다.
도 1은 본 발명에 따른 TV에서의 음악 인식을 통한 음악 관련 정보 제공 시스템을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 TV의 세부 구조를 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 TV에 설치되는 애플리케이션의 세부 기능을 나타내는 블록도이다.
도 4는 본 발명의 실시예에 따른 음악 검색 서버의 세부 구조를 나타내는 블록도이다.
도 5는 본 발명의 실시예에 따른 TV에서의 음악 인식을 통한 음악 관련 정보 제공 절차를 나타내는 신호 흐름도이다.
도 6은 본 발명의 실시예에 따른 TV에 설치되는 애플리케이션의 실행 절차를 나타내는 흐름도이다.
도 7은 본 발명의 실시예에 따른 음악 검색 서버의 데이터베이스 구축 절차를 나타내는 흐름도이다.
도 8은 본 발명의 실시예에 따른 음악 검색 서버의 음악 관련 정보 제공 절차를 나타내는 흐름도이다.
도 9는 본 발명의 실시예에 따른 방송 편성 정보 데이터베이스의 데이터 구조를 나타내는 도면이다.
도 10은 본 발명의 실시예에 따른 광고 유전자 정보 데이터베이스의 데이터 구조를 나타내는 도면이다.
도 11은 본 발명의 실시예에 따른 음악 검색 애플리케이션 실행 화면을 나타내는 TV 화면의 예시도이다.
도 12는 본 발명의 실시예에 따른 음악 검색 결과 화면을 나타내는 TV 화면의 예시도이다.
도 13은 본 발명의 실시예에 따른 방송 일정 조회 결과 화면을 나타내는 TV 화면의 예시도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는 적절하게 설명된다면 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 발명은 TV에서 출력되는 방송 신호로부터 음성 신호를 추출하고, 추출된 음성 신호에 대한 음향 유전자를 통해 서버로부터 해당 음악을 식별함으로써 관련 정보를 제공할 수 있는 시스템 및 방법을 개시한다. 한편, 상기 음성 신호는 스피커를 통해 출력되는 신호를 사용하는 것이 아니라 TV의 API(Application Programming Interface)를 통해 직접 음성 신호를 가져오거나, 버퍼링된 비디오 정보로부터 음성 신호를 분리하여 사용함으로써 보다 정확한 음성 신호를 추출할 수 있다.
그런 다음, 상기 추출된 현재 방송중인 음성 신호에 대해 음향 유전자(DNA)를 추출하여 인터넷을 통해 서버(즉, 음악 검색 서버)로 전송한다. 음악 검색 서버에서는 상기 전송된 음향 유전자로부터 매칭되는 음악 정보를 데이터베이스로부터 검색하여 음악을 식별한다.
이때, 본 발명의 실시예에 따라 서버에 캐시(cache) 형태로 미리 저장된 기존의 인식 결과 또는 방송 정보를 참조하여 음악을 식별함으로써 음향 유전자를 통한 검색 작업 없이도 음악을 식별할 수 있다. 예컨대, 상기 TV에서는 방송 정보(예컨대, 채널 정보)를 함께 전송하며, 서버에서는 상기 방송 정보와 방송 시간 정보를 이용하여 음향 유전자 검색을 통한 음악 식별 이전에 방송 정보를 이용한 음악 식별을 먼저 수행할 수 있다. 이렇게 함으로써, 검색 시간과 서버의 연산 부하를 줄이고, 보다 정확한 검색 결과를 얻을 수 있다. 또한, 광고 채널의 음향 유전자를 서버에 미리 수집한 뒤, 광고 시간 동안 출력된 음악일 경우 수신된 음향 유전자를 광고 채널의 음향 유전자를 통해 먼저 인식함으로써 인식의 효율을 높일 수 있다.
한편, 음악 식별 또는 음악 인식(music recognition)은 사람의 지문과 같이 각 음악이나 음원 고유의 특징 요소 즉, 음향 유전자를 찾아서 음악을 인식하고 음악의 곡명, 가수, 작곡가, 지휘자, 앨범명 등과 같은 음악에 대한 정보를 제공하는 기술이다. 특히, 음향 유전자는 일종의 음향의 성문(audio fingerprinting)으로 볼 수 있다. 음향 유전자는 오디오 유전자(Audio DNA) 혹은 특징 벡터(feature vector) 등과 같이 다양한 용어로 불리며, 음향 고유의 지문 내지는 유전자와 같이 그 음향을 구별하는데 사용되는 특징을 의미한다. 이와 같이 음악 인식에 사용되는 음향 유전자는 음향을 일정시간 동안 샘플링하는 과정과 샘플링된 음향으로부터 특징을 추출하는 과정으로 구분된다.
샘플링 과정은 예컨대 추출된 음성 신호를 44.1 kHz 등과 같은 일정한 주파수로, 10초 등과 같은 일정 시간 동안 샘플링하여 녹음하는 것이다. 그리고, 음향의 특징을 추출하는 과정은 샘플링된 음향을 시간 또는 주파수 공간에서 필터링, 웨이브 변환, 증폭, 감쇄 등의 다양하게 신호 처리하는 과정을 거치게 된다.
이에 따라, 상기 음향 유전자를 서버의 데이터 베이스 서버(Data Base Server)에 저장된 음향 유전자와 비교함으로써 음악을 검색한다. 즉, 데이터 베이스 서버는 음악 정보와 음향 유전자에 대한 정보를 저장하며, 현재 방송 중인 음악의 음향 유전자를 입력받아 이에 대응하는 음악 정보를 제공한다.
한편, 후술하는 설명에서의 'TV'는 어떠한 종류의 형태와 기능을 갖는 TV도 본 발명에 적용이 가능하며, 이하 설명에서는 소정의 애플리케이션이 설치되고 인터넷과의 통신 기능이 구비된 스마트 TV를 예를 들어 설명하기로 한다. 한편, 스마트 TV가 아닌 일반 TV에 셋톱박스가 연결된 형태의 시스템에도 본 발명의 적용이 가능하며, 본 발명에 따라 스마트 TV 내에서 구현되는 기능의 전부 또는 일부가 셋톱박스 내에서 기능하도록 구현될 수 있다. 또한, 후술하는 설명에서는 발명의 이해를 돕기 위해 TV를 스마트 TV로 예를 들어 설명하고 있으나, 본 발명이 스마트 TV에 한정되는 것은 아니며, 소정의 어플리케이션이 설치되어 네트워크 통신 기능이 제공되는 어떠한 방식의 TV에도 적용이 가능하다.
또한, 후술하는 설명에서 '방송 신호'는 상기 TV 또는 셋톱박스를 통해 수신된 영상 신호 및 음성 신호를 포함한 개념으로서, 지상파 방송 신호, 케이블 방송 신호, 위성 방송 신호, IPTV 방송 신호 등 어떠한 방송 신호도 본 발명에 포함될 수 있다. 이때, 상기 방송 신호에 포함된 음성 신호는 목소리, 음향, 음악 등 다양한 형태의 소리를 전기적 신호로 변환한 데이터를 의미하며, 상기 방송 신호 중 영상 신호에 포함하여 또는 별개의 신호로 전송 및 수신될 수 있다.
또한, 후술하는 설명에서 '음향 유전자'는 상술한 바와 같이 음악의 식별을 위해 음악의 특징 요소를 추출한 정보로서, 다양한 방법에 의해 음악 신호를 신호 처리함으로써 생성할 수 있으며, 본 발명의 음향 유전자를 생성하는 방법은 특정 방법으로 한정되지 않는다.
또한, 후술하는 설명에서 '음악 관련 정보'란 음악에 대한 메타 데이터(meta data) 및 음악과 관련된 타겟 광고 정보를 포함한다. 상기 음악에 대한 메타 데이터는 예컨대 음악 제목, 음악가 이름, 앨범 이름, 앨범에 포함된 음악 리스트, 음악 장르, 그리고 앨범 사진 등 다양한 형태를 포함할 수 있다. 한편, ID3 태그는 최근 mp3 등과 같은 압축 오디오 파일에 많이 사용되는 규격이며, ID3v1태그 또는 ID3v2 태그가 있다. ID3v1 태그에는 트랙/제목/아티스트/앨범명/장르/상세정보 등의 정보가 첨부되고, ID3v2 태그에는 작곡가/가사/오리지널 아티스트/저작권자/URL/엔코드 한 사람 등의 정보가 첨부된다.
본 발명의 음악 관련 정보에서의 메타 데이터는 상기 ID3 태그와 같이 표준에 정의되어있는 형태일 수도 있고, 이와는 별로도 개별적으로 정의된 형태일 수도 있다. 또한, 음악과 관련된 타겟 광고는 해당 음악을 선호하는 성별, 연령층, 장르, 취미 등을 고려하여 광고 효과를 높이기 위해 미리 설정한 광고를 의미한다. 즉, 후술하는 설명에서 '타겟 광고'는 특정 정보 또는 특정 사용자 계층과 연관된 광고 정보로서, 본 발명에서는 식별된 음악 정보와 연관된 광고 정보를 타겟 광고라 지칭한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
먼저, 도 1 내지 도 4를 참조하여 본 발명의 실시예에 따른 시스템 및 장치의 구조를 설명하며, 다음으로 도 5 내지 도 8을 참조하여 본 발명의 실시예에 따른 절차를 상세히 설명한다.
음악 관련 정보 제공 시스템
도 1은 본 발명에 따른 TV에서의 음악 인식을 통한 음악 관련 정보 제공 시스템을 나타내는 도면이다. 도 1을 참조하면, 본 발명에 따른 시스템은 스마트 TV(110), 통신 네트워크(120), 음악 검색 서버(130), 지상파 방송 서버(140), 케이블 방송 서버(150) 등을 포함하여 구성될 수 있다.
본 발명의 구현을 위해 TV는 통신 네트워크(120)와의 연결이 가능하고, 애플리케이션이 설치되어 실행될 수 있는 스마트 TV(110)인 것이 바람직하며, 상술한 바와 같이 일반 TV에 셋톱박스가 연결된 형태로도 구현될 수 있다.
이때, 상기 스마트 TV(110)는 지상파 방송 서버(140), 케이블 방송 서버(150)로부터 방송 신호를 수신하여 사용자가 선택한 특정 채널의 방송 정보를 디스플레이한다. 한편, 상기 도 1에서는 스마트 TV(110)에서 방송 신호를 직접 수신하는 것으로 도시되어 있으나, 본 발명의 실시예에 따라 상술한 바와 같이 일반 TV와 연결된 셋톱박스(STB)를 통해 방송 신호를 수신할 수도 있다. 예컨대, 상기 STB가 지상파 방송 서버(140) 또는 케이블 방송 서버(150)로부터 방송 신호를 수신하여 TV로 제공할 수 있다. 이때, 상기 STB는 인터넷 연결 기능을 포함하여 통신 네트워크(120)와 연결함으로써 음악 검색 서버(130)와의 통신을 수행한다. 아울러, 상기 STB에는 별도의 전용 애플리케이션의 설치를 통해 본 발명의 기능을 제공할 수 있게 된다.
한편, 본 발명의 실시예에 따라, 스마트 TV(110)에 설치된 애플리케이션(application)을 실행하여 현재 방송되고 있는 음악에 대한 정보 검색을 요청하면, 상기 애플리케이션에서는 현재 스마트 TV(110)에서 방송되고 있는 정보들 중 음성 신호를 수집하고, 수집된 음성 신호(예컨대, 음원)를 신호 처리하여 음향 유전자를 추출한다. 이와 같이, 추출된 음향 유전자 정보는 스마트 TV(110)에서 통신 네트워크(120)를 통해 음악 검색 서버(130)로 전송된다. 이때, 본 발명의 실시예에 따라 효과적인 음악 검색을 위해 상기 음향 유전자 정보뿐만 아니라 방송 관련 정보(예컨대, 방송 채널 정보, 방송 시간 정보 등)도 함께 전송할 수 있다.
상기 스마트 TV(110) 또는 셋톱박스로부터 음성 신호에 대한 음향 유전자 정보를 수신한 음악 검색 서버(130)는 본 발명의 실시예에 따라 다양한 방법으로 음악을 식별한다. 예컨대, 본 발명의 실시예에 따라 데이터베이스에 저장된 음향 유전자 정보와 비교하여 음악을 식별할 수도 있으며, 미리 저장된 방송 스케줄 정보를 이용하여 음악을 식별할 수도 있으며, 광고에 대한 음향 유전자를 우선적으로 비교하여 음악을 식별할 수도 있다.
상기 음악 검색 서버(130)는 이와 같이 식별된 음악에 대한 관련 정보(예컨데, 메타 데이터, 타겟 광고 등)를 검색하여 스마트 TV(110)로 제공한다.
한편, 상기 통신 네트워크(120)는 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 단거리 통신망(PAN; Personal Area Network), 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 또한, 상기 통신 네트워크(550)는 공지의 월드와이드웹(WWW; World Wide Web)일 수 있으며, 적외선(Infrared Data Association; IrDA) 또는 블루투스(Bluetooth)와 같이 단거리 통신에 이용되는 무선전송기술을 이용할 수도 있다. 또한, 상기 통신 네트워크(120)는 스마트 TV(110)에서 방송 신호를 수신하기 위한 케이블 방송 통신망, 지상파 방송 통신망, 위성 방송 통신망 등을 포함할 수 있다.
이하, 도 2 내지 도 4를 참조하여, 상기 스마트 TV(110) 및 음악 검색 서버(130)의 세부 구조를 설명한다.
도 2는 본 발명의 실시예에 따른 TV의 세부 구조를 나타내는 블록도이다. 도 2를 참조하면, 본 발명의 실시예에 따른 스마트 TV(110)는 방송 신호 수신부(201), 데이터 통신 I/F(Interface)부(Data Comm. I/F; 202), 주 제어부(Main Controller; 203), 입력부(204), 음성 신호 수집부(205), 응용 프로그램 처리부(CP Provided Application Processor; 206), 인터넷 접속부(Internet Access Processor; 207), TV 제어 화면 생성부(TV control Video Generator; 208), TV 영상 구성부(TV Video Combiner; 209) 및 디스플레이 패널부(Display Pannel; 210) 등을 포함하여 구성될 수 있다.
상기 방송 신호 수신부(201)는 외부로부터 전송된 각종 방송 데이터를 수신하며, 예컨대, 지상파 방송 신호 수신, 케이블 방송 신호 수신, IPTV 방송 신호 수신, 위성 방송 신호 수신 등의 기능을 수행한다. 예컨대, 방송 신호 수신부(201)에서 케이블 TV 수신부는 케이블 TV 신호에 대한 복조(demodulation)를 수행한다. 이때, 복조된 후의 데이터는 압축된 영상, 음성 및 부가 정보로 구성된다. 상기 압축된 영상은 MPEGx/H.264 표준에 따른 복원(decompression)을 수행하여 비디오 원본 데이터(video raw data)를 생성한다. 또한, 압축된 음성은 MPEGx/AC3/AAC 표준에 따른 복원(decompression)을 수행하여 오디오 원본 데이터(audio raw data)를 생성한다. 아울러, 부가 정보는 상기 주 제어부(203)로 전송된다. 상기 수신된 방송 신호는 TV 영상 구성부(209)를 통해 디스플레이 패널부(210)로 전송된다. 상기 방송 신호 수신부(201)에서 IPTV 수신부는, 인터넷(internet)을 통해 수신된 IPTV 데이터로서 압축된 영상, 음성 및 부가 정보로 구성된다. 이때, 상기 압축된 영상은 케이블 TV 수신부에서와 마찬가지로 MPEGx/H.264 표준에 따른 복원(decompression)을 수행하여 비디오 원본 데이터(video raw data)를 생성한다. 또한, 압축된 음성은 MPEGx/AC3/AAC 표준에 따른 복원(decompression)을 수행하여 오디오 원본 데이터(audio raw data)를 생성한다. 아울러, 부가 정보는 상기 주 제어부(203)로 전송된다.
데이터 통신 I/F부(202)는 상기 방송 신호 수신부(201)에서 수신되는 TV 방송 콘텐츠 수신과는 별도의 데이터 통신을 수행하는 데이터 통신 채널로서, 본 발명의 실시예에 따라 통신 네트워크(120)를 통해 음악 검색 서버(130)와의 데이터 통신을 수행한다.
주 제어부(203)는 본 발명의 실시예에 따라 음악 검색 서버(130)를 통한 각종 음악 검색 및 음악 관련 정보 제공 기능들을 지원하기 위한 스마트 TV(110)의 주 제어 기능을 수행한다. 즉, 인터넷 접속을 통해 음악 검색 서버(130)와의 정보 교환을 통해 음악 관련 정보 제공 서비스를 제공한다. 또한, 입력부(204)를 통해 음악 검색을 위한 선택 신호가 사용자로부터 입력되면, 응용 프로그램 처리부(206)를 제어하여 해당 애플리케이션을 실행시킨다. 아울러, 상기 주 제어부(203)는 TV 채널 변경, 음성 조절 등과 같은 TV 설정 변경을 제어하며, 인터넷 접속을 제어하고, ' T-commerce' 와 같은 CP(Content Provider)가 제공하는 응용 프로그램 제어를 수행한다.
음성 신호 수집부(205)는 응용 프로그램 처리부(206)의 음성 정보 요청에 따라 상기 방송 신호 수신부(201)를 통해 수신된 각종 방송 신호로부터 음성 신호를 수집하는 기능을 수행한다.
한편, 일반적으로 TV 내에서 사용되는 신호는 수준별로 크게 네 가지로 구분될 수 있다. 가장 낮은 수준의 신호는 텔레비전 안테나선으로 들어오는 RF(Radio Frequency, 또는 HF, High Frequeycn라고도 부름) 신호로, 선 하나에 영상과 음성이 모두 다 섞여있으며, 텔레비전 내부의 회로가 화면에 영상을 직접 표현하기 위한 R, G, B 각각의 신호와 음성신호를 모두 이 하나의 신호에서 분리한다. 일반적인 가정에서 시청하는 케이블 방송이나 공중파 방송이 상기 신호 형식으로 수신된다.
RF 신호보다 높은 수준의 신호는 CVBS(Composite Video Banking Sync, 흔히 비디오 신호라고 부름) 신호로서, 색차, 휘도, 싱크의 영상신호가 하나의 신호선에 모두 섞여 있고 오디오 신호(즉, 음성 신호)는 따로 분리되어 포함되어 있지 않고 함께 수신된다. 흔히 비디오 출력, 비디오 입력이라 부르는 노란색 단자를 통해 입출력되는 신호로서, 선 하나를 이용하여 영상신호의 전송이 가능하다.
상기 CVBS보다 높은 수준의 신호는 Y/C 또는 Y/P 신호로 휘도와 싱크가 섞여있고 색차는 분리되어있는 신호이다 TV 또는 비디오의 Y, Pb, Pr, 또는 Y, Cb, Cr 컴포넌트 단자가 이 Y/C, Y/P 신호를 송수신하기 위한 것이다. 또한, Y/C, Y/P 보다 더 높은 수준의 신호는 RGB 신호로서, R, G, B가 각각 분리되어 있으며 싱크 신호도 따로 분리되어있어 최상의 화질을 나타낼 수 있다.
즉, 상기 음성 신호 수집부(205)는 상기와 같이 다양한 형태로 수신되는 방송 신호 중에서 해당 신호 형식에 맞게 음성 신호(즉, 오디오 신호)를 수집하는 기능을 수행한다.
인터넷 접속부(207)는 본 발명의 실시예에 따른 응용 프로그램의 실행에 따라 음악 검색 서버(130)와의 인터넷 접속을 수행할 경우 이를 제어하는 기능을 수행한다. 상기 인터넷 접속부(207)를 통해 TV(110) 화면상에서는 TV 디스플레이 영역과는 별도로 인터넷 디스플레이 영역을 생성하여 각종 정보(예컨대, 음악 검색 애플리케이션 진행 정보, 음악 검색 결과로서의 각종 음악 관련 정보 등)를 제공하게 된다.
응용 프로그램 처리부(206)는 본 발명의 실시예에 따라 음악 검색 서버(130)를 통해 수행되는 음악 검색 프로그램을 실행한다. 예컨대, 사용자의 현재 방송 중인 음악에 대한 정보 검색 요청에 따라 음성 신호를 수집하고, 수집된 음성 신호로부터 음향 유전자를 추출하여 음악 검색 서버(130)로 전송 처리한다. 또한, 음악 검색 서버(130)로부터 수신된 검색 결과 정보를 디스플레이 패널부(210)를 통해 화면으로 디스플레이하도록 처리한다.
TV 제어 화면 생성부(208)는 TV 채널 변경, 음량 조정, 설정 변경 등에 대한 별도의 제어 디스플레이 영역을 TV(110) 화면상에 생성할 수 있다.
TV 영상 구성부(209)는 상술한 방송 신호 수신부(201), 인터넷 접속부(207), 응용 프로그램 처리부(206), TV 제어 화면 생성부(208)를 통해 제공되는 각 디스플레이 영역을 사용자가 설정한 형태로 결합하여 TV 디스플레이 영역을 생성한다. 즉, 상기 TV 디스플레이 영역은 예컨대 TV 디스플레이 영역, 인터넷 디스플레이 영역, CP 디스플레이 영역, 제어 디스플레이 영역 등으로 구분되어 제공되거나, 각 영역들이 일부 오버랩되어 생성될 수도 있다. 이때, 상기 각 디스플레이 영역이 결합되는 형태로는 독립적으로 각 디스플레이 영역을 사용자의 선호에 따라 크기(scale)를 달리하여 TV 출력을 위한 디스플레이 화면을 생성하거나, 특정한 디스플레이 영역을 투명 또는 반투명하게 처리하여 TV 디스플레이 화면을 생성하게 된다.
이하, 도 3을 참조하여 상기 응용 프로그램 처리부(206)의 세부 구조를 설명하기로 한다.
응용 프로그램 처리부(스마트 TV 애플리케이션)
도 3은 본 발명의 실시예에 따른 TV에 설치되는 애플리케이션의 세부 기능을 나타내는 블록도이다. 본 발명의 실시예에 따른 스마트 TV(110)에 설치되는 애플리케이션은 음악 정보 요청 수신부(310), 음향 유전자 생성부(320), 방송 정보 추출부(330), 음악 정보 조회부(340), 조회 결과 수신부(350), 결과 정보 생성부(360), 방송 정보 조회부(370) 등을 포함하여 구성될 수 있다.
음악 정보 요청 수신부(310)는 사용자로부터 입력된 음악 정보 요청 신호를 수신하고, 애플리케이션을 구동시키는 기능을 수행한다. 상기 애플리케이션 구동에 따라 음향 유전자 생성부(320)에서는 도 2의 음성 신호 수집부(205)를 통해 수집된 음성 신호를 미리 설정된 방법으로 신호 처리하여 음향 유전자를 생성한다. 상기 음향 유전자의 생성 방법은 다양하게 구현할 수 있으며, 이에 대한 상세한 설명은 후술하기로 한다.
방송 정보 추출부(330)에서는 방송 신호 수신부(201) 또는 인터넷 등을 통해 수신된 방송 신호로부터 각종 방송 정보를 추출한다. 또한, 상기 방송 정보 추출부(330)는 현재 TV에 설정된 채널 정보를 수집한다.
음악 정보 조회부(340)는 상기 음향 유전자 생성부(320)를 통해 생성된 현재 방송 중인 음악의 음향 유전자 정보를 음악 검색 서버(130)로 전송함으로써 음악 검색을 요청하는 기능을 수행한다. 이때, 본 발명의 실시예에 따라 상기 방송 정보 추출부(330)를 통해 추출된 방송 정보를 함께 전송할 수도 있다.
이에 따라, 음악 검색 서버(130)는 상기 전송된 음향 유전자 정보 또는 방송 정보를 통해 방송 중인 음악을 식별하고, 해당 음악과 관련된 정보를 상기 TV(110)로 전송한다.
이때, TV(110)의 조회 결과 수신부(350)에서는 상기 음악 검색 서버(130)로부터 음악 관련 정보를 수신하며, 결과 정보 생성부(360)에서는 수신된 정보를 편집하여 화면에 디스플레이하기 위한 정보를 생성한다.
한편, 본 발명의 실시예에 따라 방송 정보 조회부(370)에서는 사용자의 방송 정보 조회 요청 신호 입력에 의해 해당 검색된 음악에 대한 방송 정보를 조회하고, 조회 결과를 디스플레이 패널부(210)를 통해 화면상에 디스플레이한다.
음향 유전자 생성 방법의 예
이하, 상기 음향 유전자 생성부(320)를 통해 음향 유전자를 생성하는 방법의 예를 설명한다. 한편, 본 발명은 후술하는 실시예에 한정되는 것이 아니라 다양한 방법에 의해 음향 유전자를 생성할 수 있다.
상기 음향 유전자를 생성하기 위해서 먼저 음성 신호를 음성코더(speech coder)에 의해 샘플 시간(예컨대, 3초) 동안 샘플로 저장하고, 오디오 신호의 크기(db)를 측정한다. 이때, 샘플은 3초 동안 11msec마다의 300Hz에서 3kHz 범위의 주파수에 따른 오디오신호의 크기를 측정하여 저장할 수 있다.
그런 다음, 주파수에 따른 오디오신호 중 크기가 특정크기, 예를 들면 500db 이상인 오디오신호는 10배 증폭하고, 미만인 오디오신호는 0.1배 감쇄하여 256개의 시간구간의 오디오신호의 크기를 저장한다. 이러한 변조의 결과 11msec마다 특정 주파수의 신호만이 존재하는 형태로 오디오신호가 변환되게 된다. 변환된 오디오신호는 예를들면, A.WAV와 같은 오디오파일형태로 저장될 수 있다. 따라서 오디오샘플은 11msec단위로 256*11msec간 300Hz에서 3kHz범위의 주파수의 오디오신호 중 증폭 또는 감쇄되어 변조된 오디오신호를 포함하게 된다.
이와 같이 생성된 오디오샘플로부터 샘플의 음향 유전자를 생성하는 방법으로서, 먼저 상기 오디오샘플들을 각각 750Hz에서 2750Hz의 주파수만을 선택하여 33개의 주파수구간(FI1~FI33)으로 분할한다. 그런 다음, 각 주파수구간에 따른 오디오신호의 크기를 각각 저장하여 놓는다. 예컨대, 하기 <수학식 1>과 같이 결과적으로 256개의 시간구간(단위시간:11msec)과 33개의 주파수구간(단위주파수: 66Hz)의 곱에 해당하는 256*33개의 오디오 신호의 크기가 저장된다.
Figure pat00001
여기서 i(1≤i≤256의 자연수)는 256개의 시간구간을 의미하며, j(1≤j≤33의 자연수)는 33개의 주파수구간을 의미한다.
오디오신호로부터 음향 유전자를 생성하기 위해, 하기 <수학식 2>와 같이 특정 시간대, 예를 들면 11msec의 인접하는 주파수간, 예를 들면 FI1과 FI2의 신호 크기의 차를 구한다. FI2와 FI3, FI3와 FI4,...FI32와 FI33의 신호의 크기의 차를 같은 방법으로 구한다. 다음 시간대 11*2msec에서도 인접하는 주파수 구간들 간의 신호의 크기의 차이를 구한다. 같은 방법으로 256*11msec까지 구한다. 따라서 256*32개의 신호의 크기의 차의 값이 계산된다.
Figure pat00002
여기서, k는 1~32의 자연수이다.
다음으로, 하기 <수학식 3>과 같이 구해진 차이값을 인접한 시간대, 예를 들면 11msec와 11*2msec 시간대의 차이값의 차이(이하, 기울기라 함)를 다시 계산하여 이 값이 0이상이면 "1"로, 0미만이면 "0"의 값을 저장한다. 이러한 과정을 전 시간구간에 대하여 수행한다. 상기 기울기를 모두 구하여 저장하면 32*256개의 양자화된 2진수값이 저장되게 된다. 이 양자화된 2 진수 값을 음향 유전자(audio DNA of sample)로 결정하게 된다.
Figure pat00003
여기서, k는 1~32의 자연수이다.
한편, 후술하는 음악 검색 서버(130)에서의 샘플 음향 유전자 생성 방법도 상기 음향 유전자 생성부(320)의 음향 유전자 생성 방법과 동일한 방법으로 생성하는 것이 바람직하다. 또한, 상기 음악 검색 서버(130) 또는 스마트 TV(110)의 음향 유전자 생성부(320)에서의 음향 유전자 생성 방법은 상술한 바와 같이 설정된 시간(예컨대 3초 동안만 생성할 수도 있으며, 상기 음악 검색 서버(130)에서 샘플로 저장하는 음향 유전자는 설정된 시간 동안만 샘플로서 생성하고, 검색 대상인 음성 정보에 대해서는 전체 수신된 음성 정보에 대해 음향 유전자를 생성할 수 있다.
또한, 상기 음향 유전자를 생성하는 또 다른 방법을 설명하면 다음과 같다.
먼저, 입력된 음성 신호로부터 음의 높낮이(Pitch)와 길이(Duration)를 추출함으로써 각 음의 높낮이와 길이로 이루어진 음향 유전자 신호로 변환할 수 있다.한다. 이때, 음의 높낮이와 길이를 추출하는 방법은 다음과 같다.
먼저 입력된 음성 신호를 신호 처리의 편의를 위하여 0과 1 사이의 값으로 정규화(normalize)하며 정규화된 값의 평균이 0이 되도록 보정한다. 다음으로, 가청역역을 벗어난 주파수 범위 등의 불필요한 주파수 영역을 제외한 유효주파수 범위를 패스팬드(passband)로 하는 밴드패스 필터링을 수행한다.
다음으로, 입력된 음성 신호에 대하여 잡음을 제거하여 정확한 음악적 특성의 추출이 가능하도록 한다. 예컨대, 스펙터랄 웨이팅(spectral weighting)과 같은 방식을 사용할 수 있다. 그런 다음, 입력된 음성 신호를 상호 중첩된 프레임 단위로 분리를 한다. 이때, 각 프레임은 일정 구간 중첩되도록 설정한다. 이렇게 분리된 각각의 프레임에 대하여 다음의 절차를 수행한다.
먼저, 각 프레임에 대하여 잡음 이외의 유효한 소리가 발생한 구간의 시작점과 종료점을 구한다. 구체적으로는 신호의 크기(amplitude)에 따라 유효한 신호의 구간을 결정하는데, k 번째 프레임의 신호크기 A(k)는 하기 <수학식 4>와 같이 산출될 수 있다.
Figure pat00004
여기서, N은 한 프레임 내의 샘플 수이다.
음표 구분 방법에서는 프레임 k에 대한 신호크기 A(k)의 값이 특정한 임계 값 T(k)의 값보다 클 경우에 유효한 피치로 판단하고 작을 경우에는 유효한 데이터가 존재하지 않는 묵음(silence) 구간으로 판단한다. 이러한 음표 구분 방법에서는 임계 값 T(k)를 결정하는 문제가 중요한데, T(k)를 동적으로 구하기 위해서 전역 임계 값 TG, 배경 잡음의 임계값 TN과 더불어 프레임 k를 기준으로 전후 W 만큼씩의 프레임을 고려하는 2W+1 크기의 윈도우에 대해 구한 지역 임계값TL(k)을 이용한다. 임계값 T(k)는 다음과 같이 구해진다.
(1) 전역(global) 임계값 TG를 하기 <수학식 5>와 같이 산출한다.
Figure pat00005
이때, Nf는 전체 프레임 수이다.
(2) 배경 잡음(background noise)의 임계 값 TN을 하기 <수학식 6>과 같은 과정을 통하여 산출한다.
Figure pat00006
(3) 1≤k≤NF를 만족하는 k에 대해서 지역(local) 임계 값 TL(k)를 구한다.
Figure pat00007
(4) 프레임 k에서의 임계값 T(k)는 TG·TN와 TL(k)의 값 중에서 큰 값을 취한다.
Figure pat00008
프레임 k가 유효한 정보인지 여부는 A(k)가 T(k)보다 크면 유효, 작으면 유효하지 않은 정보라 판단할 수 있다.
6) 피치 추출 단계 : 각각의 프레임에 대해서 피치를 구하여 세미톤값을 결정한다. 이때 피치를 추출하는 방법으로는 예를 들어 하기 <수학식 9>와 같은 시간 영역 해석(Time Domain Analysis) 알고리즘인 ACF(Autocorrelation Function) 방법을 사용할 수 있다.
Figure pat00009
7) 평활화단계 : 세미톤 값을 보다 명확하게 해석할 수 있도록 평활화(smoothing)한다. 따라서 선형 또는 비선형 필터링 방법을 적용하여 값을 평활화 할 수 있다. 예를 들어, 비선형 필터링 방법인 미디언 필터링(Median filtering)을 이용하여 평활화할 수 있다.
8) 멜로디 및 박자 결정단계 : 평활화된 데이터를 이용하여 음악의 고유한 특징인 멜로디와 박자를 추출한다. 상기 평활화된 데이터는 구분된 하나의 유효소리 구간 내에서 여러 개의 피치 값을 가진다. 이러한 평활화된 데이터로부터 멜로디와 박자를 결정하기 위해서 우선 구해진 세미톤 값에 대하여 상기 유효구간 구분부에서 구분한 유효구간인 경우에는 세미톤 값을 그대로 유지하고, 유효구간이 아닌경우에는 세미톤값을 0으로 한다. 즉, 세미톤 값은 유효구간에서만 값을 가지며, 각 유효구간마다 시작 프레임과 종료 프레임을 결정할 수 있다. 각 유효구간에 대해서 다음과 같은 과정을 거쳐 멜로디와 박자를 결정한다.
(1) 세미톤 값의 차가 Δ보다 작은 구간을 찾는다. (이때, Δ는 0 < Δ < 1)
(2) 구간의 길이가 임계치 LS보다 작으면 안정구간, 임계치보다 크면 불안정구간으로 한다. 불안정구간을 무시할 때 인접한 안정구간의 세미톤 값의 차가 1보다 작으면 두 구간을 통합한다. 즉, 불안정구간의 세미톤값은 안정구간의 세미톤 값으로 재조정되어 통합된 안정구간에 편입된다.
(3) 상기과 같이 결정된 유효구간 내의 안정구간의 시작 프레임과 종료 프레임을 결정하여 그 길이를 박자로 결정한다.
(4) 상기 안정구간 내에서 세미톤 값을 반올림하여 이중 빈도수가 가장 높은 값을 음정으로 결정한다.
상기의 1) 내지 4)의 과정을 모든 유효구간에 대하여 순차적으로 수행하여 멜로디와 박자가 결정된다. 상기와 같은 방식으로 하나의 유효소리 구간 내에서 변화하는 다수의 음표를 추출할 수 있다.
이와 같이, 처리함으로써 음악에 대한 음향 유전자를 생성할 수 있다. 상기 음향 유전자 생성 방법은 본 발명의 이해를 위하여 예시로 설명한 것이며, 본 발명이 이에 한정되지는 않는다.
음악 검색 서버(서비스 서버)
도 4는 본 발명의 실시예에 따른 음악 검색 서버의 세부 기능을 나타내는 블록도이다. 도 4를 참조하면, 본 발명의 실시예에 따른 음악 검색 서버(130)는 정보 요청 수신부(410), 음향 유전자 검색부(420), 방송 정보 전송부(430), 방송 정보 수집부(440), 음악 정보 조회부(450), 타겟 광고 검색부(460), 음악 정보 데이터베이스(470), 음향 유전자 생성부(480), 광고 정보 수집부(490), 광고 정보 데이터베이스(491) 및 결과 정보 전송부(492) 등을 포함하여 구성될 수 있다. 또한, 상기 음향 유전자 검색부(420)는 각 검색 방법에 따라 방송 정보 조회부(421), 광고 정보 조회부(423), 음원 정보 조회부(425), 방송 편성 정보 데이터베이스(422), 광고 유전자 정보 데이터베이스(424) 및 음원 유전자 정보 데이터베이스(426)를 포함하여 구성될 수 있다.
먼저, 상기 정보 요청 수신부(410)는 스마트 TV(110)로부터 음악 검색이 요청되면, 상기 스마트 TV(110)로부터 수신된 음향 유전자 정보 및 방송 정보로 미리 설정된 알고리즘(예컨대, 도 8에 도시된 절차)에 따라 음향 유전자 검색부(420)를 통해 음악을 검색한다.
예컨대, 방송 정보 조회부(421)에서는 수신된 방송 정보(예컨대, 채널 정보 및 시간 정보)로부터 방송 편성 정보 데이터베이스(422)에 저장된 방송 편성 정보를 검색하고, 해당 음악 정보가 검색될 경우 이를 검색 결과로 출력한다. 즉, 방송 편성 정보(422)에는 각 방송 채널별 방송 편성 정보가 포함되며, 편성된 각 방송 프로그램 내에 포함된 음악의 정보와 해당 음악이 방송되는 시간 정보가 포함될 수 있다. 따라서, 스마트 TV(110)로부터 채널 정보와 시간 정보가 수신되면, 상기 방송 편성 정보 데이터베이스(422)에 저장된 정보를 검색하여 현재 방송 중인 음악의 정보를 얻을 수 있다.
한편, 상기 방송 편성 정보 데이터베이스(422)를 통한 조회 결과 특정 방송 사이의 광고 시간일 경우, 광고 정보 조회부(423)를 통해 광고 음악을 우선적으로 검색할 수 있다. 즉, 광고 정보 조회부(423)에서는 음악 정보 요청 시점이 해당 채널에서의 광고 방송 시점일 경우, 상기 음악 정보는 광고일 가능성이 높으므로 광고 유전자 정보 데이터베이스(424)에 저장된 광고 음악의 음향 유전자를 검색함으로써 방송 중인 음악의 정보를 확인할 수 있다.
광고 정보 수집부(490)에서는 광고 음악으로 사용되는 각 광고 음원에 대해 음향 유전자 생성부(480)를 통해 음향 유전자 정보를 생성하고, 상기 생성된 각 광고 음원에 대한 음향 유전자를 상기 광고 유전자 정보 데이터베이스(424)에 저장한다. 또한, 상기 광고 정보 수집부(490)에서는 시청자들에게 제공할 각종 광고 정보를 제공받아 광고 정보 데이터베이스(491)에 저장할 수 있다.
만약, 상기 스마트 TV(110)로부터 정보 요청되어 수신된 음향 유전자 정보에 대해 방송 정보 또는 광고 정보가 존재하지 않을 경우, 음원 정보 조회부(425)에서는 음원 유전자 정보 데이터베이스(426)에 저장된 각 음원에 대한 음향 유전자와 비교함으로써 음악 정보를 검색한다. 상기 음원 정보 조회부(425)의 음악 검색 방법은 다양하게 구현하는 것이 가능하며, 수신된 음향 유전자 정보와 음원 유전자 정보 데이터베이스(426)에 저장된 각 음원에 대한 음향 유전자 정보를 비교하여 가장 유사한 데이터를 검색하는 방법으로 구현할 수 있다.
예컨대, 상기 음원 정보 조회부(425)의 음악 검색 방법은 다음과 같은 방법으로 구현할 수 있다.
정보 요청 수신부(401)를 통해 스마트 TV(110)로부터 방송되는 음악의 음향 유전자 정보를 수신하면 음원 정보 조회부(425)에서는 각 음원에 대해 음악적 유전자 형식으로 저장된 음원 유전자 정보 데이터베이스(426)로부터 상기의 음악의 음향 유전자 신호를 포함하는 음악 데이터를 추출한다.
한편, 음향 유전자 생성부(480)에서는 각종 음악 데이터(즉, 음원 데이터)를 수집하여 스마트 TV(110)에서 생성하는 음향 유전자 정보 생성 방법과 동일한 방법으로 변환하여 각 음원에 대한 음향 유전자 정보를 생성하고, 상기 생성된 음향 유전자 정보를 상기 음원 유전자 정보 데이터베이스(426)에 저장한다.
이때, 상기 음원 정보 조회부(425)는 상기 음원 유전자 정보 데이터베이스(426)를 검색하여 수신받은 음향 유전자를 완전히 동일하게 포함하는 음악 데이터를 추출할 수도 있으며, 유사성을 가지는 음악 데이터를 추출할 수도 있다. 유사성은 수신한 음악의 음향 유전자 정보와 음원 유전자 정보 데이터베이스(426) 내의 데이터를 비교하여 그 차가 설정된 범위 이내일 경우에 유사도가 높다고 판단할 수 있다.
이와 같이, 상기 음향 유전자 검색부(420)를 통해 조회 요청된 음악이 검색되면, 음악 정보 조회부(450)에서는 상기 검색된 음악에 대한 세부 정보를 음악 정보 데이터베이스(470)를 통해 조회한다. 이때, 상기 음악 정보 데이터베이스(470)에는 각 음악별 세부 정보가 저장된다. 예컨대, 상기 음악 정보 데이터베이스(470)에 저장되는 정보는 음악에 대한 메타 데이터(meta data)로서 음악 제목, 음악가 이름, 앨범 이름, 앨범에 포함된 음악 리스트, 음악 장르, 그리고 앨범 사진 등 다양한 형태의 정보가 포함될 수 있다. 또한, 상술한 바와 같이, ID3 태그, ID3v1 태그, ID3v2 태그 등에 따른 정보가 저장될 수 있다. 상기 ID3v1 태그에는 트랙/제목/아티스트/앨범명/장르/상세정보 등의 정보가 첨부되고, ID3v2 태그에는 작곡가/가사/오리지널 아티스트/저작권자/URL/엔코드 한 사람 등의 정보가 첨부된다. 아울러, 상기 검색된 음악에 대한 재생가능한 음원 데이터를 다운로드 받을 수 있는 주소 등의 부가적인 정보가 더 포함될 수도 있다.
한편, 본 발명의 실시예에 따라 상기 타겟 광고 검색부(460)에서는 상기 음향 유전자 검색부(420)를 통해 검색된 음악과 관련된 타겟 광고를 광고 정보 데이터베이스(491)를 통해 검색한다. 상기 음악과 관련된 타겟 광고는 상술한 바와 같이 해당 음악을 선호하는 성별, 연령층, 장르, 취미 등을 고려하여 광고 효과를 높이기 위해 미리 설정한 광고를 의미한다. 즉, 상기 타겟 광고는 특정 정보 또는 특정 사용자 계층과 연관된 광고 정보로서, 상기 식별된 음악 정보와 연관된 광고 정보는 어떠한 형태의 정보도 본 발명에 따른 타겟 광고가 될 수 있다.
방송 정보 수집부(440)에서는 각 방송국 서버(예컨대, 지상파 방송 서버(140) 또는 케이블 방송 서버(150) 등)로부터 방송 정보(예컨대, 방송 편성 정보, 채널 정보, 방송 중 삽입되는 음악 정보 등)를 수집하여 방송 편성 정보 데이터베이스(422)에 저장할 수 있다. 이때, 사용자가 검색된 해당 음악의 방송 일정에 대한 정보 검색을 요청할 경우(도 13 참조), 방송 정보 전송부(430)에서 상기 방송 편성 정보 데이터베이스(422)에 저장된 해당 음악의 방송 일정에 대한 정보를 검색하여 스마트 TV(110)로 전송한다.
한편, 상기 설명에서 비록, 도 2 내지 도 4에 도시된 본 발명의 실시예에서는 방송 중인 음성 신호를 음향 유전자 신호로 변환하기 위한 음향 유전자 생성부(320)가 스마트 TV(110)에 포함되는 것으로 설명되어 있으나, 구현의 용이성을 위하여 상기 음향 유전자 생성부(320)를 음악 검색 서버(130)에 위치시킬 수도 있다. 즉, 스마트 TV(110)에서 수집한 방송 중인 음성 신호에 대해 음향 유전자 생성 없이 음악 검색 서버(130)로 전송하고, 음악 검색 서버(130)에 추가로 구비되는 음향 유전자 생성부(미도시)에 의해 상기 전송된 음성 신호에 대한 음향 유전자 정보를 생성하도록 처리할 수 있다.
또한, 다른 실시예에 따라, 상기 스마트 TV(110)에서는 방송 중인 음악 정보 요청에 따라 수집된 음성 신호를 전송하지 않고 방송 채널 정보 및 시간 정보만을 전송하며, 음악 검색 서버(130)에서 상기 방송 채널 정보 및 시간 정보만을 가지고 현재 방송 중인 음악에 대한 정보를 검색하도록 구현할 수도 있다. 예컨대, 음악 검색 서버(130)에서 각 채널에 대한 방송 중인 음악에 대한 정보들을 실시간으로 검색하여 저장하고, 스마트 TV(110)로부터 수신된 방송 채널 정보 및 시간 정보에 해당하는 음악 정보를 상기 저장된 정보로부터 검색할 수 있다.
이상으로, 도 1 내지 도 4를 참조하여 본 발명의 실시예에 따른 시스템 및 장치의 구조를 설명하였다. 이하, 도 5 내지 도 8을 참조하여 본 발명의 실시예에 따른 절차를 상세히 설명한다.
음악 관련 정보 제공 방법
도 5는 본 발명의 실시예에 따른 TV에서의 음악 인식을 통한 음악 관련 정보 제공 절차를 나타내는 신호 흐름도이다. 도 5를 참조하면, 음악 검색 서버(130)에서는 방송 정보(예컨대, 각 채널별 방송 편성 정보, 방송 중 삽입된 음악 정보 등)를 수집하고, 상기 수집된 방송 정보를 데이터베이스에 저장(S501)한다. 또한, 광고 정보(예컨대, 방송에 삽입된 각 광고에 대한 음원 정보, 각 채널별 각 광고가 방송되는 방송 시간 정보 등)를 수집하고, 상기 수집된 광고 정보를 데이터베이스에 저장(S502)한다. 이때, 상기 광고에 대한 음원 정보는 상술한 바와 같이 음향 유전자로 생성하여 데이터베이스에 저장(S503)한다.
한편, 스마트 TV(110)에서는 음악 검색 애플리케이션을 설치하여 실행(S504)하고, 현재 방송 중인 음악에 대한 정보를 요청한다. 상기 요청에 따라 현재 방송 중인 데이터 중 음성 신호를 수집(S505)하고, 상기 수집된 음성 신호로부터 음향 유전자를 생성(S507)한다. 또한, 선택적으로 현재 스마트 TV(110)에 대한 음악 정보 요청시의 방송 정보(예컨대, 방송 채널 및 방송 시간 등)를 추출(S506)한다. 그런 다음, 상기 생성된 음향 유전자 정보 및/또는 방송 정보를 음악 검색 서버(130)로 전송하여 현재 방송 중인 음악에 대한 정보를 요청(S508)한다.
음악 검색 서버(130)에서는 상기 정보 요청에 따라 상기 전송된 방송 정보로부터 데이터베이스에 저장된 방송 편성 정보를 조회함으로써 해당 방송 중인 음악을 검색한다. 이때, 상기 방송 편성 정보의 조회 결과 광고 시간일 경우, 광고 음악에 대한 음향 유전자를 먼저 검색한다.
상기 검색 결과 방송 편성 정보 및 광고 정보에 해당 음악이 조회되지 않을 경우 수신된 음향 유전자 정보를 기 저장된 각 음원별 음향 유전자 정보와 비교하여 음악을 검색(S511)한다.
상기와 같은 방법에 따라 검색된 음악에 대해 음악 관련 정보(예컨대, 메타 데이터)를 검색(S512)한다. 또한, 선택적으로 상기 검색된 음악에 대한 타겟 광고를 검색(S513)한다.
상기 검색된 음악 관련 정보 및 타겟 광고는 스마트 TV(110)로 전송(S514)되며, 스마트 TV(110)에서는 상기 음악 검색 애플리케이션에 의해 상기 검색 결과가 화면상에 디스플레이(S515)된다.
도 6은 본 발명의 실시예에 따른 TV에 설치되는 애플리케이션의 실행 절차를 나타내는 흐름도이다. 도 6을 참조하면, 스마트 TV에 설치된 음악 검색 애플리케이션을 실행(S601)하면, 도 11에 도시된 바와 같이 현재 방송 중인 음악에 대한 정보를 검색할지를 묻는 안내 메시지가 디스플레이된다. 이때, 사용자가 TV 리모콘 등을 통해 현재 방송 중인 음악에 대한 검색을 선택하지 않고(S602), 애플리케이션을 종료(S603)하면, 서비스가 종료되고 TV 방송 신호만이 디스플레이된다.
반면, 현재 방송 중인 음악에 대한 검색을 선택(S602)할 경우, 상기 음악 검색 애플리케이션에서는 상술한 바와 같이 방송 중인 데이터로부터 음성 신호를 추출(또는 수집)(S604)한다. 또한, 선택적으로 현재 선택한 방송 채널에 대한 정보를 확인(S605)하고, 현재 검색을 요청한 시간 정보를 확인(S606)한다.
이와 같이, 확인이 완료되면, 음악 검색 서버로 현재 방송 중인 음악에 대해 조회를 요청(S607)한다. 상술한 방법에 의해 음악 검색 서버에서 조회가 완료되면, 요청 결과로서 해당 음악에 대한 정보가 수신(S608)된다.
한편, 상기 음악 검색 서버로부터 수신 결과, 해당 음악에 대한 검색 결과 정보가 존재하지 않을 경우, 검색 결과가 없음을 나타내는 메시지가 디스플레이될 수 있다(S610). 반면, 상기 해당 음악에 대한 검색 결과 정보가 존재할 경우, 검색된 결과로서 음악에 대한 각종 정보들이 도 12에서와 같이 디스플레이(S611)될 수 있다.
도 7 및 도 8은 음악 검색 서버(130)에서 수행되는 절차를 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 음악 검색 서버의 데이터베이스 구축 절차를 나타내는 흐름도이다. 도 7을 참조하면, 음악 검색 서버에서는 방송 정보를 실시간으로 수집(S701)할 수 있다. 예컨대, 각 채널별로 시간별 방송되는 음악 정보를 수집할 수 있다. 즉, 특정 채널에서 방송 중 삽입되는 음악에 대한 시간 및 곡명 정보와 방송 사이의 광고 시간에 삽입되는 광고 음악에 대한 정보 등이 각 방송국 서버들로부터 수집될 수 있다. 또한, 음악 검색 서버에서는 광고 음악 정보를 수집하고, 각 광고 음악의 음원으로부터 음향 유전자를 생성(S702)할 수도 있다.
아울러, 방송에서 사용되는 음악들에 대해 각 음악의 음원 정보를 수집하고, 상기 음원 정보로부터 음향 유전자를 생성(S703)하여 데이터베이스에 저장(S704)한다. 이와 같은 데이터베이스 구축 과정은 주기적 또는 비주기적으로 수행되어, 음원에 대한 정보 및 방송 관련 정보들이 갱신 및 누적되어 저장될 수 있다.
도 8은 본 발명의 실시예에 따른 음악 검색 서버의 음악 관련 정보 제공 절차를 나타내는 흐름도이다. 도 8을 참조하면, 상기 도 7에서와 같이 데이터베이스가 구축되면, 특정 스마트 TV로부터 방송 중인 음악에 대한 정보 요청을 수신(S801)할 수 있다. 이때, 선택적으로 상기 스마트 TV로부터 전송된 수신 정보 중에서 방송 정보를 확인(S802)할 수도 있다.
한편, 상기 확인된 방송 정보(예컨대, 채널 정보 및 시간 정보)를 통해 데이터베이스에 저장된 방송 편성 정보를 조회하고, 상기 수신된 방송 정보에 해당하는 음악 정보가 존재하지 않을 경우에는 각 음악에 대한 음원 유전자 정보를 검색(S811)함으로써 음악 정보를 조회한다. 상기 음원 유전자 정보 조회 결과 검색 결과가 존재할 경우에는 상기 검색 결과로 해당 검색된 음악의 관련된 음악 정보를 조회(S808)한다. 또한, 선택적으로 검색된 음악에 따른 타겟 광고를 검색(S809)하고, 상기 검색된 결과 정보를 해당 스마트 TV로 전송(S810)한다.
반면, 상기 수신된 방송 정보에 해당하는 음악 정보가 존재(S803)하며, 해당 방송 시간이 광고 시간일 경우(S804), 수신된 음향 유전자로 광고 음악에 대한 유전자 정보를 검색(S805)한다. 그러나, 상기 수신된 방송 정보에 해당하는 음악 정보가 존재(S803)하며, 해당 방송 시간이 광고 시간이 아닐 경우(S804)(예컨대, 드라마, 예능 프로그램 등의 방송 중일 경우), 수신된 방송 정보를 통해 음악을 검색한다. 상기 방법을 통한 조회 결과 검색된 음악이 존재하지 않을 경우, 다시 상술한 각 음악에 대한 음원 유전자 정보와 비교함으로써 음악을 검색(S811)한다.
이와 같이, 각종 방법에 따라 해당 음악이 검색되면, 검색 결과로 음악과 관련된 정보(예컨대, 메타 데이터 등)를 조회(S808)하고, 타겟 광고를 검색(S809)하여 해당 스마트 TV로 전송(S810)한다.
이상으로, 본 발명의 실시예에 따른 TV에서의 음악 인식을 통한 음악 관련 정보 제공 절차를 상세히 설명하였다. 이하, 본 발명의 실시예에 따라 구현된 서비스의 예를 설명한다.
실시예
도 9는 본 발명의 실시예에 따른 방송 편성 정보 데이터베이스의 데이터 구조를 나타내는 도면이다. 도 9를 참조하면, 방송 편성 정보 데이터베이스(422)에는 각 채널별로 방송 시간 정보 및 각 방송에 포함된 음악 정보가 저장될 수 있다.
예컨대, 방송 편성 정보 데이터베이스(422)에 저장된 정보를 확인하면, 도시된 바와 같이 'CH 2'에서 1시~2시20분까지 '해를 품은 달'이 방송됨을 알 수 있으며, 상기 해당 방송 중 삽입된 음악에 대한 정보에 대해 알 수 있다. 예컨대, 1시15분에서 1시 18분 사이에는 '내게 오겠니'라는 음악이 삽입되어 재생됨을 알 수 있으며, 1시 35분에서 1시 38분 사이에는 '그대 한 사람'이라는 음악이 삽입되어 재생됨을 알 수 있으며, 1시 44분에서 1시 47분 사이에는 '눈물길'이라는 음악이 삽입되어 재생됨을 알 수 있다.
따라서, 스마트 TV로부터 방송 채널 정보와 현재 시간 정보를 음악 검색 서버로 전송하면, 도시된 바와 같이 해당 방송 편성 정보에 음악 정보가 포함되어 있을 경우, 음향 유전자 검색을 통하지 않고서도 음악 정보의 검색이 가능해진다.
예컨대, 사용자가 1시 37분에 현재 'CH 2'에서 방송되는 '해를 품은 달'에서 나오는 음악에 대해 검색하고자 검색 요청을 할 경우, 상기 '1시 37분' 및 'CH 2' 정보가 음악 검색 서버로 전송되고, 상기 전송된 정보를 통해 방송 편성 정보 데이터베이스(422)를 검색함으로써 현재 방송 중인 음악이 '그대 한 사람'임을 알 수 있다.
도 10은 본 발명의 실시예에 따른 광고 유전자 정보 데이터베이스의 데이터 구조를 나타내는 도면이다. 상술한 바와 같이 광고 유전자 정보 데이터베이스(424)에는 각 광고 음악에 대한 음원을 음향 유전자로 생성한 데이터가 저장될 수 있으며, 또한 도 10에 도시된 바와 같이 각 광고가 방송되는 스케줄 정보가 더 저장될 수 있다.
예컨대, '광고 #1'에 대해서는 'CH 1'에서 '01:15', '03:18', '05:38' 등과 같이 방송되고, 'CH 2'에서 '03:25', '04:15', '06:23' 등과 같이 방송되며, 'CH 4'에서 '02:17', '03:15', '08:23' 등과 같이 방송됨을 알 수 있다.
따라서, 특정 광고 음악이 현재 방송되는 음악으로 검색되고, 사용자가 해당 검색된 음악에 대한 방송 스케줄을 검색할 때, 상기와 같이 각 광고가 방송되는 스케줄 정보를 저장함으로써, 해당 검색된 광고 음악에 대한 방송 스케줄 정보를 도 13에 도시된 바와 같이 제공할 수 있다.
도 11은 본 발명의 실시예에 따른 음악 검색 애플리케이션 실행 화면을 나타내는 TV 화면의 예시도이며, 도 12는 본 발명의 실시예에 따른 음악 검색 결과 화면을 나타내는 TV 화면의 예시도이다.
도 11 및 도 12를 참조하면, 상술한 바와 같이 스마트 TV(110)에서 음악 검색 애플리케이션(1110)이 실행되면, 현재 나오는 음악 정보를 검색할지를 묻는 메시지가 디스플레이될 수 있다. 이때, 사용자가 리모콘 등의 입력 수단을 통해 검색 버튼(1111)을 선택하면, 현재 방송되고 있는 음악에 대한 정보 검색이 이루어지며, 취소 버튼(1112)을 선택하면, 애플리케이션이 종료될 수 있다.
따라서, 상기 검색 요청에 따라, 도 12에 도시된 바와 같은 음악 검색 결과 정보(1210)가 디스플레이되며, 이와 관련된 타겟 광고(1220)가 함께 디스플레이될 수 있다. 상기 도 12의 화면에서 다운로드 받기(1211)를 선택하면, 해당 검색된 음악에 대한 다운로드를 수행하기 위한 결제 화면으로 전환될 수 있다. 또한, 상기 도 12의 화면에서 다음 방송 정보 검색(1212)을 선택하면, 도 13에 도시된 바와 같은 검색된 음악에 대한 방송 스케줄이 검색되어 디스플레이될 수 있다.
도 13 본 발명의 실시예에 따른 방송 일정 조회 결과 화면을 나타내는 TV 화면의 예시도이다. 도 13을 참조하면, 도 12에서 검색된 음악에 대한 방송 스케줄 정보를 요청하면, 도 10에서 상술한 바와 같이 음악 정보 서버의 데이터베이스 검색을 통해 해당 음악에 대한 방송 스케줄 정보(1310)를 수신하여 디스플레이할 수 있다.
여기에서 다양한 방법들에 관해 설명된 바와 같은 다양한 동작들 및 기능들은 특정 프로세싱 기능부 및/또는 그 안에 구현된 프로세싱 기능부, 및/또는 그 안의 다른 구성요소들과 같은 많은 유형의 기능부들 중 어느 것 내에서 수행될 수 있다. 예를 들면, 그러한 기능부들은 여기에 설명된 바와 같은 다양한 동작들 및 처리들, 또는 여기에 설명된 바와 같은 어느 다른 동작들 및 기능들, 등 또는 그 각 등가물들을 수행하는 것뿐만 아니라 여기에 설명된 바와 같은 그러한 정보들을 생성하고 그러한 동작들, 처리들 등을 수행할 수 있다.
일부 실시예들에서, 그러한 기능부들(동일한 장치 또는 구별된 장치들상에서 구현될 수 있는)은 본 발명의 다양한 측면들에 따른 그러한 처리 및 동작들, 등, 및/또는 여기에 개시된 바와 같은 어느 다른 동작들 및 기능들, 및 그 각 등가물들을 수행할 수 있다. 일부 실시예들에서, 그러한 처리는 제1 장치에서의 제1 기능부, 및 제2 장치 내의 제2 기능부에 의해 함께 수행된다. 다른 실시예들에서, 그러한 프로세싱, 동작들 등은 하나의 특정 장치 내에서 처리부들에 의해 전적으로 수행된다. 심지어 다른 실시예들에서는, 그러한 프로세싱, 동작들이 하나의 단일 디바이스내에서 적어도 제1 기능부 및 제2 기능부를 사용하여 수행된다.
또한 상술한 설명에서, 용어들 '시스템', '장치', '~부'는 단일 프로세싱 디바이스 또는 복수의 프로세싱 디바이스들일 수 있다. 그러한 프로세싱 디바이스는 마이크로 프로세서, 마이크로 컨트롤러, 디지털 신호 처리기, 마이크로 컴퓨터, 중앙 처리 유닛, 필드 프로그래머블 게이트 어레이, 프로그래머블 로직 디바이스, 스테이트 머신, 로직 회로, 아날로그 회로, 디지털 회로, 및/또는 상기 회로 및/또는 동작 지시들의 하드 코딩에 기반하여 신호들(아날로그 및/또는 디지털)을 조작하는 소정의 디바이스일 수 있다. 상기 프로세싱 모듈, 모듈, 프로세싱 회로, 및/또는 프로세싱 유닛은 단일 메모리 디바이스, 복수의 메모리 디바이스들, 및/또는 상기 프로세싱 모듈, 모듈, 프로세싱 회로, 및/또는 프로세싱 유닛의 내장된 회로일 수 있는 결합된 메모리 및/또는 집적된 메모리 엘리먼트를 가질 수 있다. 그러한, 메모리 디바이스는 읽기 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 휘발성 메모리, 비휘발성 메모리, 정적 메모리, 동적 메모리, 플래시 메모리, 캐시 메모리, 및/또는 디지털 정보를 저장하는 소정의 디바이스일 수 있다. 만약, 상기 프로세싱 모듈, 모듈, 프로세싱 회로, 및/또는 프로세싱 유닛이 하나 이상의 프로세싱 디바이스를 포함한다면, 상기 프로세싱 디바이스들은 집중적으로 위치될 수 있거나(즉, 유선 및/또는 무선 버스 구조를 통해 함께 직접적으로 연결된), 분산되어 위치될 수 있음(예컨대, 근거리 통신망 및/또는 광역 네트워크를 통한 간접적인 연결을 통한 클라우드 컴퓨팅)을 주목하여야 한다. 만약, 상기 프로세싱 모듈, 모듈, 프로세싱 회로, 및/또는 프로세싱 유닛이 정적 머신, 아날로그 회로, 디지털 회로, 및/또는 회로, 저장하는 메모리 및/또는 메모리 구성요소를 통해 하나 이상의 그 기능들을 구현한다면, 그 대응하는 동작 지시들은 상기 정적 머신, 아날로그 회로, 디지털 회로, 및/또는 논리 회로를 포함하는 회로의 내부에 내장되거나 외부에 있을 수 있음을 더 주목하여야 한다. 상기 메모리 엘리먼트는 저장할 수 있으며, 상기 프로세싱 모듈, 모듈, 프로세싱 회로, 및/또는 프로세싱 유닛은 상기 도면들 중 하나 이상에서 나타내는 단계들 및/또는 기능들 중 적어도 일부에 대응하는 하드 코딩된 및/또는 동작 지시들을 실행한다는 것을 여전히 더 주목하여야 한다. 그러한 메모리 디바이스 또는 메모리 엘리먼트는 제조의 부품 내에서 포함될 수 있다.
본 발명은 특정 기능들 및 그의 관계들의 성능을 나타내는 방법 단계들의 목적을 가지고 위에서 설명되었다. 이러한 기능적 구성 요소들 및 방법 단계들의 경계들 및 순서는 설명의 편의를 위해 여기에서 임의로 정의되었다. 상기 특정 기능들 및 관계들이 적절히 수행되는 한 대안적인 경계들 및 순서들이 정의될 수 있다. 임의의 그러한 대안적인 경계들 및 순서들은 그러므로 상기 청구된 발명의 범위 및 사상 내에 있다. 추가로, 이러한 기능적 구성 요소들의 경계들은 설명의 편의를 위해 임의로 정의되었다. 어떠한 중요한 기능들이 적절히 수행되는 한 대안적인 경계들이 정의될 수 있다. 마찬가지로, 흐름도 블록들은 또한 어떠한 중요한 기능성을 나타내기 위해 여기에서 임의로 정의되었을 수 있다. 확장된 사용을 위해, 상기 흐름도 블록 경계들 및 순서는 정의되었을 수 있으며 여전히 어떠한 중요한 기능을 수행한다. 기능적 구성 요소들 및 흐름도 블록들 및 순서들 둘 다의 대안적인 정의들은 그러므로 청구된 본 발명의 범위 및 사상 내에 있다. 당업자는 또한 여기에서의 상기 기능적 구성 요소들 및 다른 도시된 블록들, 모듈들, 및 구성요소들이 도시된 바와 같이 또는 분리된 구성요소들, 반도체 집적 회로(ASIC)들, 적절한 소프트웨어를 실행하는 프로세서들 및 그와 유사한 또는 임의의 조합에 의해 구현될 수 있음을 인지할 것이다.
본 발명은 또한 하나 이상의 실시예들의 용어로, 적어도 부분적으로 설명되었을 수 있다. 본 발명의 실시예는 본 발명, 그 측면, 그 특징, 그 개념, 및/또는 그 예를 나타내기 위해 여기에서 사용된다. 본 발명을 구현하는 장치, 제조의 물건, 머신, 및/또는 프로세스의 물리적인 실시예는 여기에 설명된 하나 이상의 실시예들을 참조하여 설명된 하나 이상의 측면들, 특징들, 개념들, 예들 등을 포함할 수 있다. 더구나, 전체 도면에서, 실시예들은 상기 동일한 또는 상이한 참조 번호들을 사용할 수 있는 상기 동일하게 또는 유사하게 명명된 기능들, 단계들, 모듈들 등을 통합할 수 있으며, 그와 같이, 상기 기능들, 단계들, 모듈들 등은 상기 동일한 또는 유사한 기능들, 단계들, 모듈들 등 또는 다른 것들일 수 있다.
한편, 용어 "~처리부"는 본 발명의 다양한 실시예들의 설명에서 사용된다. 모듈은 하나 이상의 출력 신호들을 생성하기 위해 하나 이상의 입력 신호들의 처리와 같은 하나 이상의 기능들을 수행하기 위해 하드웨어를 통해 구현되는 기능적 블록을 포함한다. 상기 기능적 블록을 구현하는 하드웨어는 소프트웨어 및/또는 펌웨어를 결합하여 직접 동작할 수 있다. 여기에서 사용된 바와 같이, 모듈은 자체적으로 모듈인 하나 이상의 서브-모듈들을 포함할 수 있다.
본 발명의 여러 가지 기능들 및 특정들의 특별한 조합들이 여기에 분명히 설명되었지만, 이러한 특징들 및 기능들의 다른 조합들이 마찬가지로 가능하다. 본 발명은 여기에 개시된 특정한 예들에 제한되지 않으며, 이러한 다른 조합들을 명백히 통합한다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
110 : 스마트 TV 120 : 통신 네트워크
130 : 음악 검색 서버 140 : 지상파 방송 서버
150 : 케이블 방송 서버 201 : 방송 신호 수신부
202 : 데이터 통신 I/F 부 203 : 주 제어부
204 : 입력부 205 : 음성 신호 수집부
206 : 응용 프로그램 처리부 207 : 인터넷 접속부
208 : TV 제어 화면 생성부 209 : TV 영상 구성부
210 : 디스플레이 패널부 310 : 음악 정보 요청 수신부
320 : 음향 유전자 생성부 330 : 방송 정보 추출부
340 : 음악 정보 조회부 350 : 조회 결과 수신부
360 : 결과 정보 생성부 370 : 방송 정보 조회부
410 : 정보 요청 수신부 420 : 음향 유전자 검색부
421 : 방송 정보 조회부 422 : 방송 편성 정보 데이터베이스
423 : 광고 정보 조회부 424 : 광고 유전자 정보 데이터베이스
425 : 음원 정보 조회부 426 : 음원 유전자 정보 데이터베이스
430 : 방송 정보 전송부 440 : 방송 정보 수집부
450 : 음악 정보 조회부 460 : 타겟 광고 검색부
470 : 음악 정보 데이터베이스 480 : 음향 유전자 생성부
490 : 광고 정보 수집부 491 : 광고 정보 데이터베이스
492 : 결과 정보 전송부

Claims (28)

  1. 적어도 하나의 방송 신호를 수신하는 TV로서, 음악 검색 애플리케이션이 설치되며, 상기 설치된 음악 검색 애플리케이션의 실행에 따라 현재 방송 중인 음악 정보의 검색을 음악 검색 서버로 요청하고, 상기 음악 검색 서버로부터 현재 방송 중인 음악에 대한 정보를 수신하여 디스플레이하는 상기 TV; 및
    각 음악에 대한 정보를 데이터베이스에 저장하며, 상기 TV로부터 현재 방송 중인 음악 정보의 검색 요청을 수신하고, 상기 검색 요청에 따라 상기 데이터베이스에 저장된 현재 방송 중인 음악에 대한 정보를 검색하며, 검색 결과로 검색된 음악과 관련된 정보를 상기 TV로 전송하는 음악 검색 서버를 포함하는, TV에서의 음악 인식을 통한 음악 관련 정보 제공 시스템.
  2. 청구항 1에 있어서, 상기 TV는,
    현재 방송 중인 방송 신호로부터 음성 신호를 수집하고, 상기 수집된 음성 신호로부터 음향 유전자 정보를 생성하여 상기 음악 검색 서버로 전송함으로써 현재 방송 중인 음악 정보의 검색을 요청하는, TV에서의 음악 인식을 통한 음악 관련 정보 제공 시스템.
  3. 청구항 1에 있어서, 상기 TV는,
    상기 현재 방송 중인 음악 정보의 검색 요청 시, 방송 정보를 수집하여 상기 음악 검색 서버로 더 전송하는, TV에서의 음악 인식을 통한 음악 관련 정보 제공 시스템.
  4. 청구항 3에 있어서, 상기 음악 검색 서버는,
    각 방송 채널별로 각 방송 프로그램에 포함된 음악에 대한 정보를 데이터베이스에 저장하고,
    상기 TV로부터 전송된 방송 정보에 대해 상기 데이터베이스에 저장된 정보를 검색함으로써 상기 현재 방송 중인 음악에 대한 정보를 검색하는, TV에서의 음악 인식을 통한 음악 관련 정보 제공 시스템.
  5. 청구항 3에 있어서, 상기 방송 정보는, 상기 TV에서 현재 선택된 방송 채널 정보 및 상기 음악 정보의 검색 요청 시간 정보인, TV에서의 음악 인식을 통한 음악 관련 정보 제공 시스템.
  6. 청구항 1에 있어서, 상기 음악과 관련된 정보는,
    상기 음악에 대한 메타 데이터로서, 음악 제목, 음악가 이름, 앨범 이름, 앨범에 포함된 음악 리스트, 음악 장르, 및 앨범 사진 중에서 선택된 어느 하나 이상인, TV에서의 음악 인식을 통한 음악 관련 정보 제공 시스템.
  7. 청구항 1에 있어서, 상기 음악과 관련된 정보는,
    상기 음악에 대한 타겟 광고인, TV에서의 음악 인식을 통한 음악 관련 정보 제공 시스템.
  8. 청구항 3에 있어서, 상기 음악 검색 서버는,
    각 광고 음악의 음원을 음향 유전자로 생성하여 데이터베이스에 저장하고,
    상기 TV에서 방송 중인 음성 신호의 음향 유전자를 상기 데이터베이스에 저장된 음향 유전자와 비교하여 음악에 대한 정보를 검색하는, TV에서의 음악 인식을 통한 음악 관련 정보 제공 시스템.
  9. 청구항 1에 있어서, 상기 음악 검색 서버는,
    상기 TV로부터 음성 신호를 수신하고, 상기 수신된 음성 신호 음향 유전자 정보를 생성함으로써 현재 방송 중인 음악 정보를 검색하는, TV에서의 음악 인식을 통한 음악 관련 정보 제공 시스템.
  10. 각 음악에 대한 정보를 저장하는 음악 정보 데이터베이스;
    TV로부터 현재 방송 중인 음악 정보의 검색 요청을 수신하는 정보 요청 수신부;
    상기 정보 요청 수신부로부터 수신된 상기 검색 요청 정보에 따라 상기 방송 중인 음악 신호에 대해 생성된 음향 유전자로 음악을 식별하는 음향 유전자 검색부;
    상기 음악 정보 데이터베이스에 저장된 정보 중에서 상기 음향 유전자 검색부를 통해 식별된 음악에 대한 정보를 검색하는 음악 정보 조회부; 및
    상기 음악 정보 조회부의 검색 결과로 검색된 음악과 관련된 정보를 상기 TV로 전송하는 결과 정보 전송부를 포함하는, 음악 검색 서버.
  11. 청구항 10에 있어서, 상기 음악 검색 서버는,
    현재 방송 중인 방송 신호로부터 수집된 음성 신호로부터 생성된 음향 유전자 정보를 상기 TV로부터 수신하고, 상기 수신된 음향 유전자 정보를 통해 음악 정보를 검색하는, 음악 검색 서버.
  12. 청구항 10에 있어서, 상기 음악 검색 서버는,
    상기 TV로부터 상기 현재 방송 중인 음악 정보의 검색 요청 수신 시, 상기 TV에서 수집된 방송 정보를 더 수신하는, 음악 검색 서버.
  13. 청구항 12에 있어서, 상기 음악 검색 서버는,
    각 방송 채널별로 각 방송 프로그램에 포함된 음악에 대한 정보를 저장하는 방송 편성 정보 데이터베이스; 및
    상기 TV로부터 전송된 방송 정보에 대해 상기 데이터베이스에 저장된 정보를 검색함으로써 상기 현재 방송 중인 음악에 대한 정보를 검색하는 방송 정보 조회부를 더 포함하는, 음악 검색 서버.
  14. 청구항 12에 있어서, 상기 방송 정보는, 상기 TV에서 현재 선택된 방송 채널 정보 및 상기 음악 정보의 검색 요청 시간 정보인, 음악 검색 서버.
  15. 청구항 10에 있어서, 상기 음악과 관련된 정보는,
    상기 음악에 대한 메타 데이터로서, 음악 제목, 음악가 이름, 앨범 이름, 앨범에 포함된 음악 리스트, 음악 장르, 및 앨범 사진 중에서 선택된 어느 하나 이상인, 음악 검색 서버.
  16. 청구항 10에 있어서, 상기 음악과 관련된 정보는,
    상기 음악에 대한 타겟 광고인, 음악 검색 서버.
  17. 청구항 12에 있어서, 상기 음악 검색 서버는,
    각 광고 음악의 음원을 음향 유전자로 생성하여 저장하는 광고 유전자 정보 데이터베이스; 및
    상기 TV에서 방송 중인 음성 신호의 음향 유전자를 상기 데이터베이스에 저장된 음향 유전자와 비교하여 음악에 대한 정보를 검색하는 광고 정보 조회부를 더 포함하는, 음악 검색 서버.
  18. 청구항 10에 있어서, 상기 음향 유전자 검색부는,
    상기 TV로부터 음성 신호를 수신하고, 상기 수신된 음성 신호 음향 유전자 정보를 생성함으로써 현재 방송 중인 음악 정보를 검색하는 음원 정보 조회부를 포함하는, 음악 검색 서버.
  19. TV에서의 음악 인식을 통한 음악 관련 정보 제공 방법으로서, 음악 검색 서버에서 수행되는 각 단계가,
    각 음악에 대한 정보를 음악 정보 데이터베이스에 저장하는 단계;
    정보 요청 수신부에서, 상기 TV로부터 현재 방송 중인 음악 정보의 검색 요청을 수신하는 단계;
    음향 유전자 검색부에서, 상기 정보 요청 수신부로부터 수신된 상기 검색 요청 정보에 따라 상기 방송 중인 음악 신호에 대해 생성된 음향 유전자로 음악을 식별하는 단계;
    음악 정보 조회부에서, 상기 음악 정보 데이터베이스에 저장된 정보 중에서 상기 음향 유전자 검색부를 통해 식별된 음악에 대한 정보를 검색하는 단계; 및
    결과 정보 전송부에서, 상기 음악 정보 조회부의 검색 결과로 검색된 음악과 관련된 정보를 상기 TV로 전송하는 단계를 포함하는, TV에서의 음악 인식을 통한 음악 관련 정보 제공 방법.
  20. 청구항 19에 있어서, 상기 음악을 식별하는 단계는,
    현재 방송 중인 방송 신호로부터 수집된 음성 신호로부터 생성된 음향 유전자 정보를 상기 TV로부터 수신하고, 상기 수신된 음향 유전자 정보를 통해 음악 정보를 검색하는 단계를 포함하는, TV에서의 음악 인식을 통한 음악 관련 정보 제공 방법.
  21. 청구항 19에 있어서, 상기 방법은,
    상기 TV로부터 상기 현재 방송 중인 음악 정보의 검색 요청 수신 시, 상기 TV에서 수집된 방송 정보를 수신하는 단계를 더 포함하는, TV에서의 음악 인식을 통한 음악 관련 정보 제공 방법.
  22. 청구항 21에 있어서, 상기 음악을 식별하는 단계는,
    각 방송 채널별로 각 방송 프로그램에 포함된 음악에 대한 정보를 방송 편성 정보 데이터베이스에 저장하는 단계; 및
    방송 정보 조회부에서 상기 TV로부터 전송된 방송 정보에 대해 상기 데이터베이스에 저장된 정보를 검색함으로써 상기 현재 방송 중인 음악에 대한 정보를 검색하는 단계를 더 포함하는, TV에서의 음악 인식을 통한 음악 관련 정보 제공 방법.
  23. 청구항 21에 있어서, 상기 방송 정보는, 상기 TV에서 현재 선택된 방송 채널 정보 및 상기 음악 정보의 검색 요청 시간 정보인, TV에서의 음악 인식을 통한 음악 관련 정보 제공 방법.
  24. 청구항 19에 있어서, 상기 음악과 관련된 정보는,
    상기 음악에 대한 메타 데이터로서, 음악 제목, 음악가 이름, 앨범 이름, 앨범에 포함된 음악 리스트, 음악 장르, 및 앨범 사진 중에서 선택된 어느 하나 이상인, TV에서의 음악 인식을 통한 음악 관련 정보 제공 방법.
  25. 청구항 19에 있어서, 상기 음악과 관련된 정보는,
    상기 음악에 대한 타겟 광고인, TV에서의 음악 인식을 통한 음악 관련 정보 제공 방법.
  26. 청구항 21에 있어서, 상기 음악을 식별하는 단계는,
    각 광고 음악의 음원을 음향 유전자로 생성하여 광고 유전자 정보 데이터베이스에 저장하는 단계; 및
    광고 정보 조회부에서, 상기 TV에서 방송 중인 음성 신호의 음향 유전자를 상기 데이터베이스에 저장된 음향 유전자와 비교하여 음악에 대한 정보를 검색하는 단계를 더 포함하는, TV에서의 음악 인식을 통한 음악 관련 정보 제공 방법.
  27. 청구항 19에 있어서, 상기 음악을 식별하는 단계는,
    음원 정보 조회부에서, 상기 TV로부터 음성 신호를 수신하고, 상기 수신된 음성 신호 음향 유전자 정보를 생성함으로써 현재 방송 중인 음악 정보를 검색하는 단계를 더 포함하는, TV에서의 음악 인식을 통한 음악 관련 정보 제공 방법.
  28. 청구항 19 내지 청구항 27 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.
KR1020120069253A 2012-06-27 2012-06-27 Ｔｖ에서의 음악 인식을 통한 음악 관련 정보 제공 시스템, 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 KR20140001498A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120069253A KR20140001498A (ko) 2012-06-27 2012-06-27 Ｔｖ에서의 음악 인식을 통한 음악 관련 정보 제공 시스템, 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US13/927,720 US9460202B2 (en) 2012-06-27 2013-06-26 Apparatus, method and computer readable recording medium for providing music related information by recognition of music output through television
JP2013135482A JP2014010458A (ja) 2012-06-27 2013-06-27 テレビジョンシステムにおける音楽認識による音楽関連情報提供装置、方法及びコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120069253A KR20140001498A (ko) 2012-06-27 2012-06-27 Ｔｖ에서의 음악 인식을 통한 음악 관련 정보 제공 시스템, 장치, 방법 및 컴퓨터 판독 가능한 기록 매체

Publications (1)

Publication Number Publication Date
KR20140001498A true KR20140001498A (ko) 2014-01-07

Family

ID=49779731

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120069253A KR20140001498A (ko) 2012-06-27 2012-06-27 Ｔｖ에서의 음악 인식을 통한 음악 관련 정보 제공 시스템, 장치, 방법 및 컴퓨터 판독 가능한 기록 매체

Country Status (3)

Country Link
US (1) US9460202B2 (ko)
JP (1) JP2014010458A (ko)
KR (1) KR20140001498A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150063296A (ko) * 2013-11-29 2015-06-09 주식회사 다음카카오 음악 인식 방법과, 이를 이용한 방송 음악 검색 시스템 및 방송 음악 검색 서비스 제공 방법
KR20160077764A (ko) * 2014-12-24 2016-07-04 주식회사 케이티 음악 정보 제공 방법 및 시스템
WO2019098624A1 (ko) * 2017-11-15 2019-05-23 삼성전자(주) 디스플레이장치 및 그 제어방법
KR20220031881A (ko) * 2015-09-04 2022-03-14 삼성전자주식회사 디스플레이 장치, 디스플레이 장치의 배경음악 제공방법 및 배경음악 제공 시스템

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160020158A (ko) * 2014-08-13 2016-02-23 삼성전자주식회사 미디어 컨텐츠 관련 정보 제공 방법 및 전자 장치
CN105447187B (zh) * 2015-12-15 2017-09-22 广州神马移动信息科技有限公司 网页搜索方法及系统
US10545954B2 (en) * 2017-03-15 2020-01-28 Google Llc Determining search queries for obtaining information during a user experience of an event
CN110019930B (zh) * 2017-11-06 2024-02-23 上海擎感智能科技有限公司 一种提供实时播放音频中音乐信息的方法及系统
US11132396B2 (en) 2017-12-15 2021-09-28 Google Llc Methods, systems, and media for determining and presenting information related to embedded sound recordings
CN109036431A (zh) * 2018-07-11 2018-12-18 北京智能管家科技有限公司 一种语音识别系统和方法
CN109168145B (zh) * 2018-11-09 2021-09-17 浙江国自机器人技术股份有限公司 手操器与移动机器人的无线配对方法、装置及手操器
US11416544B2 (en) * 2019-09-25 2022-08-16 Meta Platforms, Inc. Systems and methods for digitally fetching music content
CN112911331A (zh) * 2020-04-15 2021-06-04 腾讯科技（深圳）有限公司 针对短视频的音乐识别方法、装置、设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050160459A1 (en) * 2003-03-27 2005-07-21 Fujitsu Limited Advertisement managing method and broadcasting apparatus
US20040260682A1 (en) * 2003-06-19 2004-12-23 Microsoft Corporation System and method for identifying content and managing information corresponding to objects in a signal
US20080256115A1 (en) * 2007-04-11 2008-10-16 Oleg Beletski Systems, apparatuses and methods for identifying transitions of content
EP2250749A2 (en) * 2008-02-05 2010-11-17 StratosAudio, Inc. Systems, methods, and devices for scanning broadcasts
WO2009100420A2 (en) * 2008-02-07 2009-08-13 Realnetworks, Inc. Selective advertising in media content
KR101132509B1 (ko) 2010-08-04 2012-04-03 엔에이치엔(주) 모바일 검색을 위한 모바일 시스템, 검색 시스템 및 검색 결과 제공 방법
US20120159557A1 (en) * 2010-12-16 2012-06-21 Electronics And Telecommunications Research Institute Apparatus and method for controlling contents transmission

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150063296A (ko) * 2013-11-29 2015-06-09 주식회사 다음카카오 음악 인식 방법과, 이를 이용한 방송 음악 검색 시스템 및 방송 음악 검색 서비스 제공 방법
KR20160077764A (ko) * 2014-12-24 2016-07-04 주식회사 케이티 음악 정보 제공 방법 및 시스템
KR20220031881A (ko) * 2015-09-04 2022-03-14 삼성전자주식회사 디스플레이 장치, 디스플레이 장치의 배경음악 제공방법 및 배경음악 제공 시스템
US11921781B2 (en) 2015-09-04 2024-03-05 Samsung Electronics Co., Ltd. Display apparatus, background music providing method thereof and background music providing system
WO2019098624A1 (ko) * 2017-11-15 2019-05-23 삼성전자(주) 디스플레이장치 및 그 제어방법

Also Published As

Publication number Publication date
US20140007171A1 (en) 2014-01-02
US9460202B2 (en) 2016-10-04
JP2014010458A (ja) 2014-01-20

Similar Documents

Publication Publication Date Title
KR20140001498A (ko) Ｔｖ에서의 음악 인식을 통한 음악 관련 정보 제공 시스템, 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR101618540B1 (ko) 대화식 방송 콘텐츠에 대한 시스템들 및 방법들
US20120191231A1 (en) Methods and Systems for Identifying Content in Data Stream by a Client Device
US11929823B2 (en) Vehicle-based media system with audio ad and visual content synchronization feature
JP4408549B2 (ja) 情報表示システム
JP6348903B2 (ja) 話者識別方法、話者識別装置及び情報管理方法
US11803589B2 (en) Systems, methods, and media for identifying content
EP2553652A2 (en) Media fingerprinting for content determination and retrieval
JP2008124574A (ja) 嗜好抽出装置、嗜好抽出方法及び嗜好抽出プログラム
JP2007164659A (ja) 音楽情報を利用した情報配信システム及び情報配信方法
CN106469557A (zh) 伴奏音乐的提供方法和装置
TW201206166A (en) Linking real time media context to related applications and services
JP2007328661A (ja) 情報処理装置および方法、並びにプログラム
KR101486545B1 (ko) Ｔｖ 애플리케이션을 이용한 방송 영상 검색 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
EP2676208A1 (en) Methods and systems for identifying content in a data stream by a client device
KR20150030669A (ko) 수신 장치, 정보 처리 방법, 프로그램, 송신 장치 및 애플리케이션 연동 시스템
JP2010273247A (ja) データ送受信システム
JP5788030B2 (ja) 放送のマルチメディア遺伝子を用いたグルーピングサーバ、方法及びコンピュータ読み取り可能な記録媒体
KR20050085829A (ko) 오디오 신호 식별 방법 및 시스템
JP6567715B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2017011438A (ja) 情報処理装置、プログラム、情報処理システム、及び受信装置
KR101507494B1 (ko) 디지털 티브이의 뮤트시간을 이용한 콘텐츠 제공 시스템 및 그 방법
KR20040052771A (ko) 이동통신망에서의 주문형 음악 서비스 장치 및 방법
KR101995531B1 (ko) 방송 음악 제공 방법 및 이를 이용하는 장치
KR20040036159A (ko) 텔레비젼 수신기를 기반으로 하는 오디오 및 비디오 합성편집장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid