KR101582759B1 - Method for providing music recognition service - Google Patents

Method for providing music recognition service Download PDF

Info

Publication number
KR101582759B1
KR101582759B1 KR1020140163397A KR20140163397A KR101582759B1 KR 101582759 B1 KR101582759 B1 KR 101582759B1 KR 1020140163397 A KR1020140163397 A KR 1020140163397A KR 20140163397 A KR20140163397 A KR 20140163397A KR 101582759 B1 KR101582759 B1 KR 101582759B1
Authority
KR
South Korea
Prior art keywords
sound source
information
hash key
user terminal
key
Prior art date
Application number
KR1020140163397A
Other languages
Korean (ko)
Inventor
김성조
백주협
남상혁
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020140163397A priority Critical patent/KR101582759B1/en
Application granted granted Critical
Publication of KR101582759B1 publication Critical patent/KR101582759B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • H04N21/2323—Content retrieval operation locally within server, e.g. reading video streams from disk arrays using file mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Provided is a method for providing a sound source recognition service. According to an embodiment of the present invention, the method of a user terminal for providing the sound source recognition service includes the steps of: (a) extracting a tonal key, which is optimal tonal data, from a sound source and generating a hash key including the tonal key; (b) transmitting the generated hash key to a service server; and (c) receiving information of a sound source corresponding to the hash key from the service server and displaying the information of the sound source. The hash key is matched with a time stamp indicating a time point of playing the sound source.

Description

음원 인식 서비스 제공 방법{METHOD FOR PROVIDING MUSIC RECOGNITION SERVICE}[0001] METHOD FOR PROVIDING MUSIC RECOGNITION SERVICE [0002]

본 발명은 음원 인식 서비스를 제공하는 방법에 관한 것이다.
The present invention relates to a method of providing a sound source recognition service.

무선 인터넷 통신 기술의 비약적인 발전을 기반으로 다양한 종류의 휴대 기기 하드웨어와, 상기 휴대 기기를 운영하기 위한 소프트웨어와, 이러한 장치들에 의해 구동되는 각종 콘텐츠가 개발되었다.Various types of portable device hardware, software for operating the portable device, and various contents driven by such devices have been developed based on the breakthrough of wireless Internet communication technology.

이러한 콘텐츠에는 음원 및 이미지와 같은 단일 파일형 콘텐츠는 물론, 게임, 정보 제공 또는 예약, 예매 등의 편의 제공을 위한 애플리케이션과 같은 복합 파일형 콘텐츠 등 다양하다.Such content may include single file-like content such as sound sources and images, as well as compound file-type content such as games, information provision or applications for reservations, bookings, and the like.

그런데, 휴대 기기 내에 콘텐츠의 수가 증가하고 그 종류가 다양해지면서, 상기 휴대 기기를 이용하는 사용자가 오히려 자신이 보유한 콘텐츠를 이용하는데 어려움을 겪는 문제가 발생하고 있다.However, as the number of contents increases in the portable devices and the types thereof are increased, a problem arises that users using the portable devices have difficulty in using the contents held by them.

특히, 각종 국내외 가요, 팝송, 클래식 등과 같은 음원 콘텐츠(이하, ‘음원’이라 칭함)는 그 사이즈가 상대적으로 작고 다양하므로, 사용자는 자신의 휴대 기기에 적게는 수십 개에서, 많게는 수백 개를 저장하는데, 이 경우 자신의 휴대 기기에 어떤 음원이 저장되어 있는지를 망각하고 대부분의 음원을 활용하지도 못한 채 저장 공간만을 차지하게 되는 문제가 있다.In particular, the sound source contents (hereinafter referred to as "sound sources") such as various domestic and foreign songs, pop songs, and classical music are relatively small in size and various, so that the user can store fewer, However, in this case, there is a problem that the user forgets what sound source is stored in his / her portable device and occupies only a storage space without utilizing most sound sources.

더욱이, 사용자가 음원의 리듬을 알고 있어도 해당 음원의 제목을 기억하지 못할 경우엔, 자신의 휴대 기기에서 상기 음원을 검색할 수 없으므로, 상기 음원은 휴대 기기에서 재생되지 못하고 저장 공간만을 차지하게 되는 문제가 있었다.Further, when the user does not memorize the title of the sound source even though the user knows the rhythm of the sound source, the user can not search the sound source on his / her portable device, so that the sound source can not be reproduced on the portable device, .

또한, 사용자가 음원의 제목을 기억하더라도 음원을 실행시키는 음악 재생 장치를 조작해 해당 음원의 제목을 일일이 입력해 찾아야 하는 번거로움이 있고, 이러한 번거로움은 사용자의 피로감을 높이고, 시간이 많이 소요되므로, 이 또한 음원을 이용하는 휴대 기기 사용자에게는 개선을 요하는 사항이다.In addition, even if the user memorizes the title of the sound source, there is a problem that it is necessary to input the title of the sound source by operating the music playback device that executes the sound source, and this hassiness increases the fatigue of the user and takes a long time , Which is also a matter that needs to be improved for users of portable devices using sound sources.

이에, 휴대 기기에 저장된 음원을 서비스 서버로 전송하여 해당 음원의 제목 등 음원 정보를 제공하는 기술이 제안되었으나, 음원의 정보를 검색하는데 있어 음원 파일을 서비스 서버로 전송하기 때문에 음원의 정보 검색에 불필요하게 많은 데이터가 전송되는 문제가 있다.
However, in order to search the information of the sound source, the sound source file is transmitted to the service server, so that it is unnecessary to search the information of the sound source. There is a problem that a large amount of data is transmitted.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로, 음원 정보 검색 시 불필요하게 많은 데이터가 전송되는 과정을 개선하기 위한 방안을 제공하고자 한다.
SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems of the prior art, and it is an object of the present invention to provide a method for improving unnecessary data transmission during sound source information search.

상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 사용자 단말기가 음원 인식 서비스를 제공하는 방법은 (a) 음원으로부터 최적의 토널 데이터(tonal data)인 토널 키(tonal key)를 추출하고 상기 토널 키를 포함하는 해쉬 키(hash key)를 생성하는 단계, (b) 상기 생성된 해쉬 키를 서비스 서버로 전송하는 단계 및 (c) 상기 서비스 서버로부터 상기 해쉬 키에 대응하는 음원의 정보를 수신하여 화면에 표시하는 단계를 포함하되, 상기 해쉬 키는 상기 음원의 재생 시점을 나타내는 타임 스탬프(time stamp)와 매칭된 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method for providing a tone recognition service by a user terminal, the method comprising the steps of: (a) extracting a tonal key, which is optimal tone data, (B) transmitting the generated hash key to a service server, and (c) transmitting a hash key corresponding to the hash key from the service server to the service server, And displaying the hash key on a screen, wherein the hash key is matched with a time stamp indicating a reproduction time point of the sound source.

상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 서비스 서버가 음원 인식 서비스를 제공하는 방법은 (a) 사용자 단말기로부터 음원의 토널 키(tonal key)를 포함하는 해쉬 키(hash key)가 수신되면, 상기 해쉬 키에 대응하는 음원의 정보를 추출하는 단계 및 (b) 상기 추출원 음원의 정보를 상기 사용자 단말기로 전송하는 단계를 포함하되, 상기 (a) 단계는 상기 해쉬 키에 포함된 상기 음원의 재생 시간 데이터인 타임 스탬프에 기반하여 상기 음원이 원곡에서 재생되는 시간대를 판별하는 것을 특징으로 한다.
According to an aspect of the present invention, there is provided a method of providing a tone recognition service by a service server, the method comprising: (a) receiving a hash key including a tonal key of a sound source from a user terminal; Extracting the information of the sound source corresponding to the hash key, and (b) transmitting the extracted original sound source information to the user terminal, wherein the step (a) And the time zone in which the sound source is reproduced in the original music is determined based on the time stamp which is the reproduction time data of the sound source included.

본 발명의 일 실시예에 따르면, 사용자 단말기와 서비스 서버간 정보 전달 크기를 최소화 할 수 있다.According to an embodiment of the present invention, the size of information transfer between the user terminal and the service server can be minimized.

본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
It should be understood that the effects of the present invention are not limited to the above effects and include all effects that can be deduced from the detailed description of the present invention or the composition of the invention described in the claims.

도 1은 본 발명의 일 실시예에 따른 음원 인식 서비스를 제공하는 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 사용자 단말기의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 서비스 서버의 구성을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 음원 인식 서비스 제공 과정을 도시한 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 음원 인식 서비스 제공 과정을 도시한 흐름도이다.1 is a block diagram of a system for providing a sound source recognition service according to an embodiment of the present invention.
2 is a block diagram illustrating a configuration of a user terminal according to an embodiment of the present invention.
3 is a diagram illustrating a configuration of a service server according to an embodiment of the present invention.
4 is a flowchart illustrating a process of providing a sound source recognition service according to an embodiment of the present invention.
5 is a flowchart illustrating a process of providing a sound source recognition service according to another embodiment of the present invention.

이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein.

그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "indirectly connected" .

또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 구비할 수 있다는 것을 의미한다.Also, when an element is referred to as "comprising ", it means that it can include other elements, not excluding other elements unless specifically stated otherwise.

이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 음원 인식 서비스를 제공하는 시스템의 구성을 도시한 도면이다.1 is a block diagram of a system for providing a sound source recognition service according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 음원 인식 서비스를 제공하는 시스템(100)은 사용자 단말기(110) 및 서비스 서버(120)를 포함할 수 있다.The system 100 for providing a sound source recognition service according to an embodiment of the present invention may include a user terminal 110 and a service server 120.

도 1에 도시된 시스템을 간략히 설명하면, 사용자 단말기(110)는 스피커를 통해 출력되는 음원으로부터 주기적으로 토널 키(tonal key)를 추출하고 토널 키를 포함하는 해쉬 키를 생성하여 주기적으로 서비스 서버(120)로 전송할 수 있다.1, the user terminal 110 periodically extracts a tonal key from a sound source output through a speaker, generates a hash key including a tonal key, and periodically transmits the hash key to a service server 120).

여기서 ‘음원’은 사용자 단말기(110) 내의 저장소에 저장될 수 있으며, 음원 재생 애플리케이션에 의해 사용자 단말기(110)의 스피커를 통해 출력될 수 있다.Here, 'sound source' may be stored in a repository in the user terminal 110, and may be output through the speaker of the user terminal 110 by a sound reproduction application.

참고로, ‘음원’은 별도의 저장 장치(미도시)에 저장되고 사용자 단말기(110)와 무선 통신(예를 들어, 블루투스 등)으로 연결되어 사용자 단말기(110)의 스피커를 통해 출력될 수도 있다.For reference, the 'sound source' may be stored in a separate storage device (not shown) and may be connected to the user terminal 110 through wireless communication (for example, Bluetooth) and output through the speaker of the user terminal 110 .

뿐만 아니라, ‘음원’은 주변 사용자 단말기(미도시) 내의 저장소에 저장되어 주변 사용자 단말기(미도시)의 스피커를 통해 출력될 수도 있다.In addition, 'sound source' may be stored in a repository in a peripheral user terminal (not shown) and output through a speaker of a peripheral user terminal (not shown).

사용자 단말기(110)는 이와 같이 출력되는 음원을 마이크로폰(microphone)을 통해 입력 받은 후 입력된 음원으로부터 토널 키를 추출하고 해쉬 키를 생성할 수 있다.The user terminal 110 may receive the sound source output through the microphone, extract the tones key from the input sound source, and generate a hash key.

또한, 사용자 단말기(110)는 주기적으로 서비스 서버(120)로 전송한 해쉬 키에 대응하는 음원의 정보를 서비스 서버(120)로부터 수신하여 화면에 표시할 수 있다.Also, the user terminal 110 may periodically receive the information of the sound source corresponding to the hash key transmitted to the service server 120 from the service server 120 and display the information on the screen.

여기서 ‘음원의 정보(이하, 음원 정보라 칭함)’는 가수, 곡명, 앨범 명, 앨범 사진 및 가사 중 하나 이상을 포함할 수 있다.Herein, the 'information of the sound source (hereinafter, referred to as sound source information)' may include at least one of a singer, a song name, an album name, an album photograph and lyrics.

참고로, 사용자 단말기(110)는 마이크로폰을 포함하거나 마이크로폰과 연결된 스마트폰, 휴대폰, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 태블릿 컴퓨터 등을 포함하는 이동 통신 단말기와, 노트북 컴퓨터, 데스크탑 컴퓨터, 셋탑 박스와 연결된 TV 등을 포함할 수 있다.The user terminal 110 may include a mobile communication terminal including a microphone or a microphone connected to a microphone, a mobile phone, a PDA (Personal Digital Assistant), a PMP (Portable Multimedia Player), a tablet computer, A computer, a TV connected to a set-top box, and the like.

한편, 서비스 서버(120)는 사용자 단말기로부터 음원을 토널 키를 포함하는 해쉬 키가 주기적으로 수신되면, 해당 해쉬 키에 대응하는 음원 정보를 추출하여 주기적으로 사용자 단말기로 제공할 수 있다.On the other hand, when the service server 120 periodically receives the hash key containing the tone key from the user terminal, the service server 120 may extract the tone source information corresponding to the corresponding hash key and periodically provide the extracted tone source information to the user terminal.

이때, 사용자 단말기(110)로 제공되는 음원 정보의 수는 복수, 즉 다수의 후보 음원 정보일 수 있으며, 서비스 서버(120)는 주기적으로 해쉬 키에 대응하는 음원 정보를 추출하는 과정에서 최종적으로 하나의 음원 정보를 추출하거나 사용자 단말기(110)로부터 특정 음원 정보가 선택될 때가지 해쉬 키에 대응하는 음원 정보를 추출할 수 있다.At this time, the number of tone information provided to the user terminal 110 may be a plurality of candidate tone information, that is, a plurality of candidate tone information, and the service server 120 periodically extracts tone information corresponding to the hash key, And extracts sound source information corresponding to the hash key when specific sound source information is selected from the user terminal 110. [

도 2는 본 발명의 일 실시예에 따른 사용자 단말기의 구성을 도시한 블록도이다.2 is a block diagram illustrating a configuration of a user terminal according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 사용자 단말기(110)는 고속 퓨리에 변환부(111), 토널 키 추출부(112) 및 해쉬 키 생성부(113)를 포함할 수 있다.The user terminal 110 according to an exemplary embodiment of the present invention may include a fast Fourier transform unit 111, a tonal key extraction unit 112, and a hash key generation unit 113.

고속 퓨리에 변환부(111)는 마이크를 통해 입력된 음원에 대하여 고속 퓨리에 변환(Fast Fourier Transform;FFT)을 수행할 수 있다.The fast Fourier transformer 111 may perform Fast Fourier Transform (FFT) on the sound source input through the microphone.

이때, 아래의 [수학식 1]을 이용할 수 있다.At this time, the following equation (1) can be used.

[수학식 1][Equation 1]

Figure 112014112525814-pat00001
Figure 112014112525814-pat00001

고속 퓨리에 변환부(111)는 [수학식 1]을 이용하여, 마이크로폰을 통해 입력된 데이터를 주파수 도메인의 데이터로 변환할 수 있다.The fast Fourier transform unit 111 can convert the data input through the microphone into the frequency domain data using Equation (1).

한편, 토널 키 추출부(112)는 고속 퓨리에 변환부(111)에 의해 분석된 값을 음향 심리학 분석 기법을 이용하여 분석함으로써 음원에 대한 토널 키를 추출할 수 있다.Meanwhile, the tone key extracting unit 112 may extract the tone key for the sound source by analyzing the value analyzed by the fast Fourier transform unit 111 using an acoustic psychological analysis technique.

이때, 토널 키 추출부(112)는 아래의 [수학식 2]와 [수학식 3]의 음향 심리학 분석 기법을 이용할 수 있다.At this time, the tonal key extracting unit 112 may use the following psychoacoustic analysis techniques of Equations (2) and (3).

[수학식 2]&Quot; (2) "

Figure 112014112525814-pat00002
Figure 112014112525814-pat00002

[수학식 3]&Quot; (3) "

Figure 112014112525814-pat00003
Figure 112014112525814-pat00003

즉, 토널 키 추출부(112)는 사람이 인지하는 실제 소리 범위를 나타내기 위하여 bark scale을 이용하고, critical band 내의 local maxima를 추출하여 토널 키를 추출할 수 있다.That is, the tone key extracting unit 112 extracts the local key by extracting the local maxima in the critical band using a bark scale to represent a real sound range recognized by a human.

참고로, 토널 키 추출부(112)는 가우시안 마스크를 이용하여 기준 모델(threshold model)을 생성할 수 있다.For reference, the kernel key extracting unit 112 may generate a threshold model using a Gaussian mask.

이는, 이전에 들은 소리로 인한 잔상으로 인해 새로이 들리는 소리가 토널 키로 인식되지 않는 경우가 있어 적절한 마스킹이 필요하기 때문이다.This is because a new sound is not recognized as a tonal key due to a residual image due to a previously heard sound, and proper masking is required.

한편, 해쉬 키 생성부(113)는 상기 토널 키를 포함하는 해쉬 키를 생성할 수 있다.Meanwhile, the hash key generation unit 113 may generate a hash key including the above-mentioned key.

이때, 해쉬 키 생성부(113)는 음원의 재생 시간을 나타내는 타임 스탬프(time stamp)와 매칭하여 해쉬 키를 생성할 수 있다.At this time, the hash key generation unit 113 may generate a hash key by matching with a time stamp indicating the playback time of the sound source.

즉, 타임 스탬프를 통해서, 해쉬 키에 대응하는 음원의 재생 시점(재생 구간)을 확인할 수 있다.That is, it is possible to check the playback point (playback interval) of the sound source corresponding to the hash key through the time stamp.

도 3은 본 발명의 일 실시예에 따른 서비스 서버의 구성을 도시한 도면이다.3 is a diagram illustrating a configuration of a service server according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 서비스 서버(120)는 토널 키 저장부(121), 메타 데이터 저장부(122), 음원 정보 제공부(123)를 포함할 수 있다.The service server 120 according to an exemplary embodiment of the present invention may include a key storage unit 121, a metadata storage unit 122, and a tone generator unit 123.

각 구성 요소를 설명하면, 토널 키 저장부(121)는 각 토널 키 및 토널 키와 매칭된 음원의 식별자를 저장할 수 있으며, 메타 데이터 저장부(122)는 각 음원의 식별자와 매칭된 메타 데이터를 포함하는 음원 정보를 저장할 수 있다.The metadata storage unit 122 stores metadata corresponding to the identifiers of the respective sound sources. The metadata storage unit 122 stores metadata corresponding to the identifier of each sound source, It is possible to store the sound source information including the sound source information.

한편, 음원 정보 제공부(123)는 사용자 단말기(110)로부터 음원의 토널 키를 포함하는 해쉬 키가 수신되면, 수신된 해쉬 키에 대응하는 음원의 식별자를 토널 키 저장부(121)로부터 추출하고, 추출된 음원의 식별자와 매칭된 메타 데이터를 포함하는 음원 정보를 메타 데이터 저장부(122)로부터 추출할 수 있다.On the other hand, when the hash key including the tone key of the tone generator is received from the user terminal 110, the tone generator 123 extracts the identifier of the tone generator corresponding to the received hash key from the tale key storage unit 121 , And extracts the sound source information including the extracted sound source identifier and the matched meta data from the meta data storage unit 122.

참고로, 해쉬 키에 음원의 재생 시점(재생 구간)을 나타내는 타임 스탬프가 포함된 경우, 음원 정보 제공부(123)는 해당 재생 시점(재생 구간)에 해당하는 가사를 추출할 수도 있다.For reference, when a hash key includes a time stamp indicating a playback time (playback interval) of a sound source, the sound source information providing unit 123 may extract the lyrics corresponding to the playback time (playback interval).

이후, 음원 정보 제공부(123)는 상기 추출된 음원 정보를 사용자 단말기(110)로 제공할 수 있으며, 이때, 사용자 단말기(110)로 제공되는 음원 정보는 사용자 단말기(110)가 마이크로폰을 통해 주기적으로 입력 받은 음원의 후보 음원 정보일 수 있다.Then, the sound source information providing unit 123 may provide the extracted sound source information to the user terminal 110. At this time, the sound source information provided to the user terminal 110 may be transmitted to the user terminal 110 through a microphone May be the candidate sound source information of the sound source received as input.

참고로, 사용자 단말기(110)로부터 주기적으로 음원에 대한 해쉬 키를 수신되고, 음원 정보 제공부(123)는 주기적으로 수신되는 해쉬 키와 매칭된 음원의 식별자를 추출하기 때문에, 사용자 단말기(110)로 제공되는 후보 음원의 수는 추출 회수가 증가할수록 감소할 수 있다.Since the hash key for the sound source is periodically received from the user terminal 110 and the sound source information providing unit 123 extracts the identifier of the sound source matching with the periodically received hash key, The number of candidate sound sources provided to the user can be reduced as the number of extraction times increases.

또한, 음원 제공부(123)는 주기적으로 해쉬 키에 대응하는 음원 정보를 추출하는 과정에서 최종적으로 하나의 음원 정보를 추출하거나 사용자 단말기(110)로부터 특정 음원 정보가 선택될 때가지 해쉬 키에 대응하는 음원 정보를 추출할 수 있다.In addition, the tone generator 123 periodically extracts tone generator information corresponding to the hash key, extracts tone generator information corresponding to the hash key at the time when specific tone generator information is selected from the user terminal 110 It is possible to extract the sound source information.

도 4는 본 발명의 일 실시예에 따른 음원 인식 서비스 제공 과정을 도시한 흐름도이다.4 is a flowchart illustrating a process of providing a sound source recognition service according to an embodiment of the present invention.

도 4의 흐름도는 사용자 단말기(110)에 의해서 수행될 수 있으며, 이하, 사용자 단말기(110)를 주체로 도 4의 흐름도를 설명하도록 한다.4 may be performed by the user terminal 110. Hereinafter, the user terminal 110 will mainly be described to explain the flowchart of FIG.

먼저, 사용자 단말기(110)는 마이크로폰을 통해 입력되는 음원에 대하여 고속 퓨리에 변환을 수행한다(S401).First, the user terminal 110 performs a fast Fourier transform on a sound source input through a microphone (S401).

S401후, 사용자 단말기(110)는 음향 심리학 분석 기법을 이용하여 S401의 결과, 즉, 고속 퓨리에 변환이 수행된 결과로부터 최적의 토널 데이터 값인 토널 키를 추출한다(S402).After step S401, the user terminal 110 extracts a tonal key, which is an optimum tonal data value, from the result of step S401, i.e., the result of the fast Fourier transform, using the psychoacoustic analysis technique (S402).

S402 후, 사용자 단말기(110)는 추출된 토널 키를 포함하는 해쉬 키를 생성한다(S403).After S402, the user terminal 110 generates a hash key including the extracted key (S403).

이때, 상기 해쉬 키에는 음원의 재생 시점(재생 구간)을 나타내는 타임 스탬프가 포함될 수 있다. At this time, the hash key may include a time stamp indicating a playback point (playback interval) of the sound source.

S403 후, 사용자 단말기(110)는 상기 생성된 해쉬 키를 서비스 서버(120)로 전송한다(S404).After S403, the user terminal 110 transmits the generated hash key to the service server 120 (S404).

S404 후, 사용자 단말기(110)는 서비스 서버(120)로부터 S404에서 전송된 해쉬 키에 대응하는 음원 정보를 수신하고 화면에 표시한다(S405).After step S404, the user terminal 110 receives the sound source information corresponding to the hash key transmitted in step S404 from the service server 120 and displays it on the screen (step S405).

도 5는 본 발명의 다른 실시예에 따른 음원 인식 서비스 제공 과정을 도시한 흐름도이다.5 is a flowchart illustrating a process of providing a sound source recognition service according to another embodiment of the present invention.

도 5의 흐름도는 서비스 서버(120)에 의해서 수행될 수 있으며, 이하, 서비스 서버(120)를 주체로 도 5의 흐름도를 설명하도록 한다.5 may be performed by the service server 120. Hereinafter, the service server 120 will mainly be described to explain the flowchart of FIG.

먼저, 서비스 서버(120)는 사용자 단말기로부터 음원의 토널 키를 포함하는 해쉬 키를 수신한다(S501).First, the service server 120 receives a hash key including a tone key of a sound source from a user terminal (S501).

S501 후, 서비스 서버(120)는 수S501에서 수신된 해쉬 키에 대응하는 음원의 식별자를 추출한다(S502).After S501, the service server 120 extracts the identifier of the sound source corresponding to the received hash key in S501 (S502).

S502 후, 서비스 서버(120)는 S502에서 추출된 음원의 식별자에 대응하는 음원 정보를 추출한다(S503).After step S502, the service server 120 extracts sound source information corresponding to the identifier of the sound source extracted in step S502 (S503).

S503 후, 서비스 서버(120)는 추출된 음원 정보를 사용자 단말기(110)로 제공한다(S504).After step S503, the service server 120 provides the extracted tone generator information to the user terminal 110 (S504).

참고로, 사용자 단말기(110)로 제공되는 음원 정보는 사용자 단말기(110)가 마이크로폰을 통해 주기적으로 입력 받은 음원의 후보 음원 정보일 수 있으며, 서비스 서버(120)는 주기적으로 해쉬 키에 대응하는 음원 정보를 추출하는 S501 내지 S504 과정에서 최종적으로 하나의 음원 정보를 추출하거나 사용자 단말기(110)로부터 특정 음원 정보가 선택될 때가지 해쉬 키에 대응하는 음원 정보를 추출할 수 있다.For example, the sound source information provided to the user terminal 110 may be candidate sound source information of the sound source periodically input by the user terminal 110 through the microphone, and the service server 120 periodically transmits the sound source information corresponding to the hash key The sound source information corresponding to the hash key can be extracted until the sound source information is finally extracted from the user terminal 110 or the specific sound source information is selected in the steps S501 to S504.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be.

그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
The scope of the present invention is defined by the appended claims, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included within the scope of the present invention.

100 :음원 인식 서비스 제공 시스템
110 : 사용자 단말기
111 : 고속 퓨리에 변환부
112 : 토널 키 추출부
113 : 해쉬 키 생성부
120 : 서비스 서버
121 : 토널 키 저장부
122 ; 메타 데이터 저장부
123 ; 음원 정보 제공부100: Sound source recognition service providing system
110: User terminal
111: High-speed Fourier transform unit
112:
113: hash key generation unit
120: service server
121: Tunnel key storage unit
122; The metadata storage unit
123; Sound source information offerer

Claims (5)

사용자 단말기가 음원 인식 서비스를 제공하는 방법에 있어서,
(a) 음원으로부터 토널 데이터(tonal data)인 토널 키(tonal key)를 추출하고 상기 토널 키를 포함하는 해쉬 키(hash key)를 주기적으로 생성하는 단계;
(b) 상기 주기적으로 생성된 해쉬 키를 서비스 서버로 전송하는 단계; 및
(c) 상기 서비스 서버로부터 상기 해쉬 키에 대응하는 음원의 정보를 수신하여 화면에 표시하는 단계
를 포함하되,
상기 해쉬 키는 상기 음원의 재생 시점을 나타내는 타임 스탬프(time stamp)와 매칭되며,
상기 (c) 단계는
상기 화면에 표시된 음원의 정보가 하나 이거나 상기 화면에 표시된 음원의 정보가 복수인 경우 사용자에 의해 어느 하나가 선택될 때까지 수행되는 것을 특징으로 하는 음원 인식 서비스 제공 방법.
A method for providing a sound source recognition service by a user terminal,
(a) extracting a tonal key as tonal data from a sound source and periodically generating a hash key including the tonal key;
(b) transmitting the periodically generated hash key to a service server; And
(c) receiving information of a sound source corresponding to the hash key from the service server and displaying the information on a screen
, ≪ / RTI &
The hash key is matched with a time stamp indicating a reproduction time point of the sound source,
The step (c)
Wherein when the information of the sound source displayed on the screen is one or the information of the sound source displayed on the screen is plural, the method is performed until one is selected by the user.
제 1 항에 있어서,
상기 (c) 단계는,
상기 서비스 서버로부터 상기 타임 스탬프에 대응하는 상기 음원의 가사를 수신하여 상기 화면에 표시하는 단계
를 포함하는 것을 특징으로 하는 음원 인식 서비스 제공 방법.
The method according to claim 1,
The step (c)
Receiving the lyrics of the sound source corresponding to the time stamp from the service server and displaying the lyrics on the screen
The method of claim 1,
삭제delete 서비스 서버가 음원 인식 서비스를 제공하는 방법에 있어서,
(a) 사용자 단말기로부터 음원의 토널 키(tonal key)를 포함하는 해쉬 키(hash key)가 수신되면, 상기 해쉬 키에 대응하는 음원의 정보를 추출하는 단계; 및
(b) 상기 추출한 음원의 정보를 상기 사용자 단말기로 전송하는 단계
를 포함하되,
상기 (a) 단계는,
상기 해쉬 키에 포함된 상기 음원의 재생 시간 데이터인 타임 스탬프에 기반하여 상기 음원이 원곡에서 재생되는 시간대를 판별하고,
상기 (b) 단계는
상기 (a) 단계에서 수신된 해쉬 키가 주기적으로 수신되면, 주기적으로 상기 음원의 정보를 상기 사용자 단말기로 전송하되, 상기 추출된 음원의 정보가 하나 이거나, 상기 사용자 단말기로부터 특정 음원의 정보가 선택될 때가지 수행하는 것을 특징으로 하는 음원 인식 서비스 제공 방법.A method of providing a sound source recognition service by a service server,
(a) extracting information of a sound source corresponding to the hash key when a hash key including a tonal key of a sound source is received from the user terminal; And
(b) transmitting information of the extracted sound source to the user terminal
, ≪ / RTI &
The step (a)
Determining a time zone in which the sound source is reproduced in the original music based on the time stamp, which is the reproduction time data of the sound source included in the hash key,
The step (b)
If the hash key received in step (a) is periodically received, the information of the sound source is periodically transmitted to the user terminal. If the information of the extracted sound source is one or information of a specific sound source is selected from the user terminal The method comprising the steps of: 삭제delete
KR1020140163397A 2014-11-21 2014-11-21 Method for providing music recognition service KR101582759B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140163397A KR101582759B1 (en) 2014-11-21 2014-11-21 Method for providing music recognition service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140163397A KR101582759B1 (en) 2014-11-21 2014-11-21 Method for providing music recognition service

Publications (1)

Publication Number Publication Date
KR101582759B1 true KR101582759B1 (en) 2016-01-08

Family

ID=55170584

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140163397A KR101582759B1 (en) 2014-11-21 2014-11-21 Method for providing music recognition service

Country Status (1)

Country Link
KR (1) KR101582759B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001184059A (en) * 1999-12-24 2001-07-06 Roland Corp Playing position retrieving device of electronic musical instrument
JP2013045130A (en) * 2011-08-22 2013-03-04 Brother Ind Ltd Music reproduction system, music reproduction method, music reproduction device and music reproduction program
KR20140116346A (en) * 2013-03-24 2014-10-02 양정미 A Audio Search System

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001184059A (en) * 1999-12-24 2001-07-06 Roland Corp Playing position retrieving device of electronic musical instrument
JP2013045130A (en) * 2011-08-22 2013-03-04 Brother Ind Ltd Music reproduction system, music reproduction method, music reproduction device and music reproduction program
KR20140116346A (en) * 2013-03-24 2014-10-02 양정미 A Audio Search System

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
정형용 외 3명, "하둡을 이용한 내용기반 음악 검색 시스템 설계", 한국정보과학회 2011한국컴퓨터종합학술대회 논문집 제38권 제1호(B), pages 377-380, 2011.6.* *

Similar Documents

Publication Publication Date Title
CN109543064B (en) Lyric display processing method and device, electronic equipment and computer storage medium
US20180349494A1 (en) Song determining method and device and storage medium
US20190147052A1 (en) Method and apparatus for playing multimedia
CN110503961B (en) Audio recognition method and device, storage medium and electronic equipment
JP6060155B2 (en) Method and system for performing a comparison of received data and providing subsequent services based on the comparison
JP6971292B2 (en) Methods, devices, servers, computer-readable storage media and computer programs for aligning paragraphs and images
US8924491B2 (en) Tracking message topics in an interactive messaging environment
CN103974143B (en) A kind of method and apparatus for generating media data
WO2017054588A1 (en) Music instrument score file playing method, conversion method and apparatus, and electronic device
CN106888154B (en) Music sharing method and system
KR20190066537A (en) Photograph sharing method, apparatus and system based on voice recognition
CN111798821A (en) Sound conversion method, device, readable storage medium and electronic equipment
JP2019008440A (en) Text extraction apparatus, comment posting apparatus, comment posting support apparatus, reproduction terminal, and context vector calculation apparatus
CN113257218B (en) Speech synthesis method, device, electronic equipment and storage medium
CN113923390A (en) Video recording method, device, equipment and storage medium
US20130261777A1 (en) Systems and methods for facilitating rendering visualizations related to audio data
KR100916310B1 (en) System and Method for recommendation of music and moving video based on audio signal processing
JP2019008779A (en) Text extraction apparatus, comment posting apparatus, comment posting support apparatus, reproduction terminal, and context vector calculation apparatus
CN111767259A (en) Content sharing method and device, readable medium and electronic equipment
JP2010044756A (en) Information processor, information processing method and program
KR101582759B1 (en) Method for providing music recognition service
CN108337357A (en) Audio frequency playing method and device
CN111859970B (en) Method, apparatus, device and medium for processing information
CN112562733A (en) Media data processing method and device, storage medium and computer equipment
JP5618150B2 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191001

Year of fee payment: 5