KR102625795B1 - 인공지능 기반의 유사 음원 검색 시스템 및 방법 - Google Patents
인공지능 기반의 유사 음원 검색 시스템 및 방법 Download PDFInfo
- Publication number
- KR102625795B1 KR102625795B1 KR1020220163812A KR20220163812A KR102625795B1 KR 102625795 B1 KR102625795 B1 KR 102625795B1 KR 1020220163812 A KR1020220163812 A KR 1020220163812A KR 20220163812 A KR20220163812 A KR 20220163812A KR 102625795 B1 KR102625795 B1 KR 102625795B1
- Authority
- KR
- South Korea
- Prior art keywords
- sound source
- information
- matching
- similar
- analysis
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000000605 extraction Methods 0.000 claims abstract description 51
- 238000004458 analytical method Methods 0.000 claims abstract description 43
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 24
- 238000013136 deep learning model Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 12
- 238000013145 classification model Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 5
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000012731 temporal analysis Methods 0.000 claims 2
- 238000000700 time series analysis Methods 0.000 claims 2
- 238000004891 communication Methods 0.000 description 27
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000036651 mood Effects 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/432—Query formulation
- G06F16/433—Query formulation using audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/63—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/63—Querying
- G06F16/632—Query formulation
- G06F16/634—Query by example, e.g. query by humming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/005—Data structures for use in electrophonic musical devices; Data structures including musical parameters derived from musical analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
- G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Acoustics & Sound (AREA)
Abstract
본 발명은 합성 곱 신경망(CNN:Convolutional Neural Network)에 의해 음색, 음의 높낮이, 코드 정보를 파악하여 매칭되는 음원을 검색하는 인공지능 기반의 유사 음원 검색 시스템 및 방법에 관한 것으로, 레퍼런스 음원을 입력받는 음원 입력부, 상기 음원 입력부로 입력받은 레퍼런스 음원 파형을 분석하는 음원 분석부, 상기 음원 분석부에서의 분석 결과를 인공지능 모델의 입력값으로 적용하여 인공지능 모델에 의해 레퍼런스 음원에 대한 장르, BPM(beats per minute), SCALE, 코드 진행 정보 중 적어도 하나를 포함하는 음원 정보 데이터를 추출하는 음원 정보 추출부 및 데이터베이스에 저장된 음원 정보 데이터와 상기 음원 정보 추출부에서 추출된 레퍼런스 음원의 음원 정보 데이터를 비교하여, 소정의 기준 이상 일치하는 매칭 음원을 검색하는 매칭 음원 검색부를 포함한다.
Description
본 발명은 인공지능 기반의 유사 음원 검색 시스템 및 방법에 관한 것으로 보다 상세하게는 합성 곱 신경망(CNN:Convolutional Neural Network)에 의해 음색, 음의 높낮이, 코드 정보를 파악하여 매칭되는 음원을 검색하는 인공지능 기반의 유사 음원 검색 시스템 및 방법에 관한 것이다.
일반적으로 장소나 시간에 제한되지 않고 스마트 기기를 이용하여 온라인을 통한 음악 청취가 보편화되고 있다. 이런 추세에 맞춰 음원을 제공하는 사이트는 사용자 취향에 맞게 음악을 제공하되 사용자가 선호하는 음악들을 분석하고 선호도가 높을 것으로 예측되는 음악을 추천해주는 다양한 기술의 개발이 이루어지고 있다.
일 예로 선호도를 반영한 음악 제공 기술 중 하나로 공개특허공보 제10-2008-000234호에 음악추천 시스템 및 방법이 기재되었다. 위에 기재된 음악추천 시스템 및 방법은 음원 데이터부터 검출한 파형 집중도가 가장 높은 최대 집중 마디로부터 일정 개수의 마디까지의 영역을 대표 선율로 정하고, 사용자에게 테스트 음악을 제시하고 사용자의 응답을 기초로 사용자가 선호하는 대표 선율을 수집한 후, 상기 음원데이터의 대표 선율과 사용자의 대표 선율을 비교하여 상기 사용자가 선호하는 대표선율과 유사한 음원데이터를 추천한다.
한편, 개인이 새로운 콘텐츠를 제작하여 웹상에 타인들과 공유할 수 있는 플랫폼이 늘면서 음원과 같은 창작물의 제작에 대한 관심도 늘고 있다. 실제 음원 등의 창작물을 저작권 협회에 등록하기 이전에 본인이 새로 제작한 음원이 저작권 침해 우려가 있는지에 대한 검증 절차를 수행함으로써 저작권 침해 우려를 없앨 수 있는 방안이 필요한 실정이다.
본 발명은 이 같은 기술적 배경에서 도출된 것으로, 입력되는 레퍼런스 음원과 유사한 음원을 검색함에 있어 보다 정확하게 유사도가 높은 음원을 매칭할 수 있는 인공지능 기반의 유사 음원 검색 시스템 및 방법을 제공함에 그 목적이 있다.
상기의 과제를 달성하기 위한 본 발명은 다음과 같은 구성을 포함한다.
즉 본 발명의 일 실시예에 따른 인공지능 기반의 유사 음원 검색 시스템은 레퍼런스 음원을 입력받는 음원 입력부, 상기 음원 입력부로 입력받은 레퍼런스 음원 파형을 분석하는 음원 분석부, 상기 음원 분석부에서의 분석 결과를 인공지능 모델의 입력값으로 적용하여 인공지능 모델에 의해 레퍼런스 음원에 대한 장르, BPM(beats per minute), SCALE, 코드 진행 정보 중 적어도 하나를 포함하는 음원 정보 데이터를 추출하는 음원 정보 추출부 및 데이터베이스에 저장된 음원 정보 데이터와 상기 음원 정보 추출부에서 추출된 레퍼런스 음원의 음원 정보 데이터를 비교하여, 소정의 기준 이상 일치하는 매칭 음원을 검색하는 매칭 음원 검색부를 포함한다.
한편, 컴퓨터 장치에서 실행되는 인공지능 기반의 유사 음원 검색 방법에 있어서, 상기 컴퓨터 장치는 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 인공지능 기반의 유사 음원 검색 방법은, 레퍼런스 음원을 입력받는 음원 입력 단계, 상기 음원 입력 단계에서 입력받은 레퍼런스 음원 파형을 분석하는 음원 분석 단계, 상기 음원 분석단계에서의 분석 결과를 인공지능 모델의 입력값으로 적용하여 인공지능 모델에 의해 레퍼런스 음원에 대한 장르, BPM(beats per minute), SCALE, 코드 진행 정보 중 적어도 하나를 포함하는 음원 정보 데이터를 추출하는 음원 정보 추출 단계 및 데이터베이스에 저장된 음원 정보 데이터와 상기 음원 정보 추출부 단계에서 추출된 레퍼런스 음원의 음원 정보 데이터를 비교하여, 소정의 기준 이상 일치하는 매칭 음원을 검색하는 매칭 음원 검색 단계를 포함한다.
본 발명에 의하면 입력되는 레퍼런스 음원과 유사한 음원을 검색함에 있어 보다 정확하게 유사도가 높은 음원을 매칭할 수 있는 인공지능 기반의 유사 음원 검색 시스템 및 방법을 제공할 수 있는 효과가 도출된다.
도 1 은 본 발명의 일 실시예에 따른 인공지능 기반의 유사 음원 검색 시스템의 구성을 도시한 블록도이다.
도 2 는 본 발명의 일 실시예에 따른 인공지능 기반의 유사 음원 검색 시스템의 동작을 설명하기 위한 예시도이다.
도 3 은 본 발명의 일 실시예에 따른 인공지능 기반의 유사 음원 검색 방법을 도시한 흐름도이다.
도 2 는 본 발명의 일 실시예에 따른 인공지능 기반의 유사 음원 검색 시스템의 동작을 설명하기 위한 예시도이다.
도 3 은 본 발명의 일 실시예에 따른 인공지능 기반의 유사 음원 검색 방법을 도시한 흐름도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다.
도 1 은 본 발명의 일 실시예에 따른 인공지능 기반의 유사 음원 검색 시스템의 구성을 도시한 블록도이고, 도 2 는 본 발명의 일 실시예에 따른 인공지능 기반의 유사 음원 검색 시스템의 동작을 설명하기 위한 예시도이다.
도 1 은 일 실시예에 따른 인공지능 기반의 유사 음원 검색 시스템(10)이 포함된 네트워크 환경을 도시한 예시도이다. 도 1의 네트워크 환경은 복수의 전자 기기들로 구현되는 사용자 단말(40), 인공지능 기반의 유사 음원 검색 시스템(10), 복수의 서버(20) 및 네트워크(30)를 포함하는 예를 나타내고 있다.
이러한 도 1은 발명의 설명을 위한 일례로 전자 기기의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다. 또한, 도 1의 네트워크 환경은 본 실시예들에 적용 가능한 환경들 중 하나의 예를 설명하는 것일 뿐, 본 실시예들에 적용 가능한 환경이 도 1의 네트워크 환경으로 한정되는 것은 아니다.
복수의 전자 기기들로 구현 가능한 사용자 단말(40)은 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다.
사용자 단말(40)은 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 또한, 사용자 단말(40)은 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 사용자 단말(40)은 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 태블릿 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 본 발명의 실시예들에서 사용자 단말(40)은 실질적으로 무선 또는 유선 통신 방식을 이용하여 네트워크를 통해 다른 사용자 단말(40) 및/또는 서버(20)와 통신할 수 있는 다양한 물리적인 컴퓨터 장치들 중 하나를 의미할 수 있다.
통신 방식은 제한되지 않으며, 네트워크(30)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들 간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(170)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(170)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
서버(20)는 복수의 전자 기기들과 네트워크(30)를 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다. 예를 들어, 서버(20)는 네트워크(30)를 통해 접속한 사용자 단말(40)로 서비스(일례로, 유사 음원 검색 서비스, 음원 등의 컨텐츠 제공 서비스, 영상/음성 통화 서비스, 메시징 서비스, 메일 서비스, 소셜 네트워크 서비스, 지도 서비스, 번역 서비스, 금융 서비스, 결제 서비스, 검색 서비스 등)를 제공하는 시스템일 수 있다.
일 실시예에 있어서 유사 음원 검색 시스템(10)은 물리적으로 사용자 단말(40) 중 하나에 일체로 탑재되거나, 서버(20)에 일체로 탑재될 수 있다. 또는 도 1에 도시된 바와 같이 물리적으로 독립된 컴퓨팅 장치로 구현되는 것도 가능하다.
물리적으로 독립된 컴퓨터 장치로 구현되는 경우, 유사 음원 검색 시스템(10)은 1 에 도시된 바와 같이 통신 인터페이스(110), 프로세서(120), 데이터베이스(130), 입출력 인터페이스(140)를 포함할 수 있다.
통신 인터페이스(110)는 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말기와 통신 연결한다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 통신 인터페이스 (110)는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다.
또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선통신 기술로는 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.
데이터베이스(130)는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 디스크 드라이브와 같은 비소멸성 대용량 기록장치는 데이터베이스(130)와는 구분되는 별도의 영구 저장 장치로서 컴퓨터 장치에 포함될 수도 있다.
또한, 데이터베이스(130)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 데이터베이스와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 데이터베이스로 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다.
다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 인터페이스(110)를 통해 데이터베이스(130)에 로딩될 수도 있다. 예를 들어, 소프트웨어 구성요소들은 네트워크(30)를 통해 수신되는 파일들에 의해 설치되는 컴퓨터 프로그램에 기반하여 유사 음원 검색 시스템(10)의 데이터베이스(130)에 로딩될 수 있다.
일 실시예에 있어서 데이터베이스(130)는 사용자가 유사한 음원을 검색하기 위해 입력하는 레퍼런스 음원 데이터와 비교 대상이 될 수 있는 음원 데이터들을 저장한다. 데이터베이스(130)에 저장된 음원 데이터는 수시로 또는 주기적으로 자동 업데이트할 수 있다.
예를 들어 사용자는 특정 웹 공간을 지정하고, 음원 사이트, 또는 저작권 등록 사이트와 같은 지정된 웹 공간에 업로드된 음원 데이터들을 다운로드 받아 데이터베이스(130)에 저장할 수 있다.
프로세서(120)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 데이터베이스(130) 또는 통신 인터페이스(110)에 의해 프로세서(120)로 제공될 수 있다. 예를 들어 프로세서(120)는 데이터베이스(130)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 인터페이스(110)는 네트워크(30)를 통해 컴퓨터 장치가 다른 장치(일례로, 앞서 설명한 저장 장치들)와 서로 통신하기 위한 기능을 제공한다. 일례로, 유사 음원 검색 시스템(10)의 프로세서(120)가 데이터베이스(130)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이나 명령, 데이터, 파일 등이 통신 인터페이스(110)의 제어에 따라 네트워크(30)를 통해 다른 장치들로 전달될 수 있다.
역으로, 다른 장치로부터의 신호나 명령, 데이터, 파일 등이 네트워크(30)를 거쳐 유사 음원 검색 시스템(10)의 통신 인터페이스(110)를 통해 유사 음원 검색 시스템(10)으로 수신될 수도 있다. 통신 인터페이스(110)를 통해 수신된 신호나 명령, 데이터 등은 프로세서(120)나 데이터베이스(130)로 전달될 수 있고, 파일 등은 유사 음원 검색 시스템(10)이 더 포함할 수 있는 저장 매체(상술한 영구 저장장치)로 저장될 수 있다.
입출력 인터페이스(140)는 입출력 장치(145)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입출력 장치(145)는 마이크, 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(140)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치(145)는 유사 음원 검색 시스템(10)과 하나의 장치로 구성될 수도 있다.
또한, 다른 실시예들에서 유사 음원 검색 시스템(10)은 도 1의 구성요소들보다 더 적은 혹은 더 많은 구성 요소들을 포함할 수도 있다. 그러나 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 유사 음원 검색 시스템(10)은 상술한 입출력 장치(145) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), 데이터베이스(130) 등과 같은 다른 구성요소들을 더 포함할 수도 있다.
일 실시예에 있어서, 프로세서(120)는 도 2 와 같이 레퍼런스 음원을 입력받아 CQT 또는 주파수 분석 방식으로 분석하여 각각 장르 추출모델, SCALE 분류 모델, BPM 추출 모델, 코드 진행 추출 모델의 입력으로 입력하여 레퍼런스 음원의 장르, SCALE, BPM, 코드 진행 정보에 대한 특징값을 추출한다.
그리고 데이터베이스에 저장된 음원들 중 장르, SCALE, bpm 특성값과 유사한 음원 데이터를 추출하고, 코드 진행 유사도를 분석하여 매칭 음원을 추출하여 가장 유사한 음원으로 검색 결과를 도출할 수 있다.
구체적으로 프로세서(120)는 음원 입력부(122), 음원 분석부(124), 음원 정보 추출부(126), 매칭 음원 검색부(128)를 포함한다.
음원 입력부(122)는 레퍼런스 음원을 입력받는다. 레퍼런스 음원은 사용자가 유사한 음원을 검색하기 위한 기준이 되는 음원으로 그 길이나 형식에는 제한이 없다. 일 실시예에 있어서 음원 입력부(122)는 레퍼런스 음원의 파일을 직접 입력받을 수 있다. 그러나 이에 한정되는 것은 아니고 음원 입력부(122)는 사용자 단말(40)로부터 곡 정보를 입력받고, 입력받은 곡 정보에 기반하여 웹상에 게재된 해당 곡의 음원을 다운로드 받는 것으로 구현될 수도 있다.
음원 입력부(122)는 사용자 단말(40)로부터 직접 본인이 작곡한 음원 데이터를 입력받거나, 기존에 존재하는, 웹상에 오픈된 음원 정보 일 예로 곡명이나 가사정보를 입력받고 웹 크롤링 방식으로 해당 음원을 다운로드 받는 방식으로 음원을 입력받도록 구현될 수 있다.
음원 분석부(124)는 음원 입력부(122)로 입력받은 레퍼런스 음원 파형을 분석한다.
일 실시예에 있어서, 음원 분석부(124)는 시간 축의 데이터를 주파수 축의 데이터로 변환하기 위해 CQT 변환을 사용한 파형 분석 또는 음원의 파형에 대한 주파수 분석을 수행한다. 음원 분석부(124)는 음원 입력부(122)로 입력된 레퍼런스 음원의 파형에 대해 주파수 분석을 수행한다. 이에 따라 낮은 주파수에서는 주파수에 대한 정보를, 높은 주파수에서는 음악 흐름에 대한 정보를 더 잘 표현할 수 있는 CQT(Constant Q Transform)변환을 사용하여 파형을 분석한다.
CQT를 스펙트로그램으로 그리면 X축은 시간, Y축은 주파수 대역이 되고, 모든 악기 소리는 2차원의 그림으로 표현될 수 있다. 이는 주파수 축이 로그 단위로 변환되고, 각 주파수에 따라 해상도가 다양하게 처리되기 때문에(저주파는 저해상도, 고주파는 고해상도) 음악을 처리하는 데에는 이는 기존의 푸리에 변환보다 유리하다. 음원 분석부(124)는 CQT 변환을 사용하여 음원 분석의 정확도를 높일 수 있다.
음원 정보 추출부(126)는 음원 분석부(124)에서의 분석 결과를 인공지능 모델의 입력값으로 적용하여 인공지능 모델에 의해 레퍼런스 음원에 대한 장르, BPM(beats per minute), SCALE, 코드 진행 정보 중 적어도 하나를 포함하는 음원 정보 데이터를 추출한다.
음원 정보 추출부(126)는 신경망 학습을 수행하는 신경망 모델을 포함하여 구성되며 프로세서(120)의 제어에 의해 수행하는 하드웨어, 또는 펌웨어 또는 소프트웨어로 구현될 수 있다.
음원 정보 추출부(126)에서 학습되는 신경망 모델은 예를 들어 심층 신경망(Deep Neural Networks), 합성곱 신경망(Convolutional deep Neural Networks), 순환 신경망(Recurrent Boltzmann Machine), 제한 볼츠만 머신(Restricted Boltzmann Machine), 심층 신뢰 신경망(Deep Belief Networks), 심층 Q-네트워크(Deep Q-Network)와 같은 다양한 딥러닝 기법으로 구현될 수 있다. 또한, 본 실시예에서의 신경망 모델은 이미 널리 알려진 신경망과 같이, 입력층(Input layer), 은닉층 (Hidden layer) 및 출력층 (Output layer)의 구조를 포함하며, 입력데이터의 값을 연결해서 예측값을 생성하는 과정(feedfoward)과 예측값과 실제값의 차이를 최소화하기 위해 연결의 가중치(weight)를 갱신하는 학습 과정(backpropagation) 등을 포함하는 학습 과정을 수행한다.
일 실시예에 있어서 음원 정보 추출부(126)는 BPM 추출 모델, 장르 추출 모델, 스케일(SCALE) 분류 모델 및 코드 진행 추출 모델을 포함한다.
BPM은 음원의 템포 정보를 표현하는데 동일한 장르에 속한 음원이더라도 템포에 따라 분위기가 다를 수 있다. 따라서 레퍼런스 음원과 유사한 템포를 가진 곡이 가장 비슷한 느낌을 줄 수 있다.
BPM 추출 모델의 전반부는 음색, 음의 높낮이, 코드와 같은 지엽적인 정보를 찾기 위해서 CNN(Convolutional Neural Network)층을 이용한다. 그리고 후반부에는 음원 전체의 시계열 정보를 찾기 위해서 시간에 따라 데이터를 재배열한 후, FC(Fully-Connected)층을 이용하여 하나의 BPM 값을 찾아내도록 구성한다. 그러나 이에 한정되는 것은 아니고 이외에 다른 딥러닝 모델을 사용하도록 구현되는 것도 가능하다.
또한 SCALE 추출 모델도 마찬가지로 전반부는 CNN층, 후반부는 재배열 된 데이터를 FC층에 넣어 major scale과 minor scale을 분류하도록 구성된다. 그러나 이에 한정되는 것은 아니고 이외에 다른 딥러닝 모델을 사용하도록 구현되는 것도 가능하다.
BPM 추출 모델은 onset detection 방법을 적용하여 해당 구간의 비트를 추출하고, 비트 정보는 템포 정보 또는 박자 정보로 변환되어 이용가능하다.
장르에 따라 사용되는 악기군, 리듬, 음악의 규모가 상이하기 때문에 장르는 음원을 분류하기 위해 중요한 정보이다.
일 실시예에 있어서, 장르 추출 모델의 전반부는 분석의 수준과 속도를 높이기 위해 CNN 모델을 세분화하여 수직 CNN 층과 수평 CNN 층을 사용한다. 이때 수직 CNN 층에서는 음원에서 주파수 대역별 정보를 계산하여 음색과 같은 지엽적인 정보를 찾아낸다. 이후 수평 CNN 층에서는 시계열 정보에 대한 분석을 진행하여 음악의 진행에 대한 정보를 찾아낼 수 있다. 장르 추출 모델의 후반부에서는 앞서 전반부에서 추출한 정보를 가지고 시간에 따라 분리되어 있는 데이터 간 상관관계를 추출하기 위해서 Self-Attention층을 사용한다. 그러나 이에 한정되는 것은 아니고 이외에 다른 딥러닝 모델을 사용하도록 구현되는 것도 가능하다.
어텐션(Attention) 함수는 주어진 Query에 대해 모든 Key와의 유사도를 각각 산출한다. 이후 해당 유사도를 가중치로 하여 Key와 매핑되어 있는 각각의 Value에 반영한다. 그리고 마지막으로 유사도가 반영된 Value를 모두 가중합하여 리턴한다.
이때 Self-Attention은 Q, K, V가 같은 source로부터 나오는 attention이다.
일 실시예에 있어서, 장르 추출 모델은 스펙트로그램, MFCC(Mel-frequency cepstral coefficients), 크로마 주파수, 스파이크그램 등을 이용한 장르 구분 방법으로 장르에 대한 특성값을 추출할 수 있다.
코드 진행은 음원의 멜로디 라인을 결정할 수 있는 요소이다. 코드가 변하는 박자에 따라서도 음악의 분위기가 다를 수 있다. 따라서 코드 진행이 유사하면 멜로디가 다르더라도 큰 틀에서 음원이 유사하다는 느낌을 줄 수 있다.
일 실시예에 있어서, 코드 진행 추출 모델은 전체적으로 Bidirectional Self-Attention층으로 구성된다. 코드 진행의 경우 시간적 요소가 강하기 때문에 각 코드 간의 관계를 명확히 찾기 위해서는 Self-Attention 층으로만 구성될 수 있다. 또한 양쪽에서 한 번씩 마스킹을 진행하는 Bidirectional 방식을 채택하여 각 코드 간의 관계를 더 명확히 찾을 수 있다.
코드 인식에 주로 이용된 특징은 Chroma Feature로써, 한 프레임에 해당하는 12개의 key(C, Db, D, Eb, E, F, Gb, G, Ab, A, Bb, B)에 분포를 나타내는 특징을 표현하는 방법으로 코드 특성값을 추출할 수 있다.
SCALE은 곡의 분위기를 파악하는 요소로서, 이를 통해 상대적으로 리소스가 많이 드는 코드 진행 비교 작업 전에 큰 틀에서 음악의 전체적인 분위기를 먼저 파악하고, 유사한 음원을 찾기 위한 후보군을 좁힐 수 있다.
음원 정보 추출부(126)는 이외에 MFCC 분석 등의 방법을 적용하여 특정 구간의 음색 분포, 즉 음악적으로는 악기 구성에 대한 정보를 추출하여 음색 특성값, STFT를 통해 참조용 음원 및 생성 음원의 tempogram을 추출하고, 해당 부분의 주 멜로디에 해당하는 pitch contour를 추적하여 추출하는 멜로디 특성값, 멜로디 추출과 유사하게 STFT를 통해 산출한 tempogram을 바탕으로 추출하는 화성 특성값 등을 더 추출할 수 있다.
음원 정보 추출부(126)는 신경망 모델이 전술한 특성값이나 특성값 패턴에 따라 구별되거나 식별되는 학습 분야별 음원에 대한 학습을 수행할 수 있다.
매칭 음원 검색부(128)는 데이터베이스(130)에 저장된 음원 정보 데이터와 음원 정보 추출부(126)에서 추출된 레퍼런스 음원의 음원 정보 데이터를 비교하여, 소정의 기준 이상 일치하는 매칭 음원을 검색한다.
매칭 음원 검색부(128)는 추출된 음원 정보를 이용해 데이터베이스(130)에서 가장 유사한 음원을 찾아내는 역할을 한다.
장르는 장르에 따라 사용되는 악기군, 리듬, 음악 규모가 상이하기 때문에 음원을 분류하는 초기 단계에서 활용될 수 있다.
따라서 장르, SCALE, BPM 순서로 데이터베이스(130)에 저장된 음원 데이터의 범주를 단계적으로 좁힌 뒤, 해당하는 범주에서 코드 진행이 가장 유사한 음원을 레퍼런스 음원과 가장 유사한 음원이라 판단한다.
이에 따라 매칭 음원 검색부(128)는 레퍼런스 음원과 가장 유사한 음원을 데이터베이스(130)에서 추출할 수 있다.
즉 사용자가 유사한 음악을 찾고 싶은 음원 즉 레퍼런스 음원을 입력하면, 일 실시예에 따른 인공지능 기반의 유사 음원 검색 시스템(10)은 자동적으로 유사한 음원을 추출해낼 수 있다.
매칭 음원 검색부(128)는 두 음원 간 코드진행 유사도를 판단한다. 이를 위해서 딥러닝 모델을 사용하거나 또는 일반적인 수식을 통해 유사도를 계산한다. 이를 통해 진행되는 코드 구성 간에 관계를 정확하게 파악할 수 있다. 유사도는 0~1 사이의 값으로 나타나며, 1에 가까운 값일수록 더 유사한 코드 진행을 가졌다고 판단할 수 있다.
일 실시예에 있어서 매칭 음원 검색부(128)는 유사도가 가장 높은, 가장 유사한 음원 데이터를 추출하여 검색 결과로 제공하는것에 한정되지 않고, 유사 범위를 파악하기 위한 일치도 판단 범위를 상이하게 적용하여 적어도 둘 이상의 유사한 음원 데이터를 추출하여 제공하는 것도 가능하다.
예를 들어 95% 이상 일치율을 보이는 음원을 검색하던지, 80% 이상의 일치도를 갖는 음원을 매칭 음원으로 선별하여 유사도가 기준값 이상인 음원 데이터를 적어도 하나이상 추출하여 제공해줄 수 있다.
그리고 선별된 적어도 하나 이상의 음원 데이터가 존재하는 경우에는 각각의 음원 데이터에 대해 일치도 정보를 함께 표시하여 매칭 음원 리스트로 제공해 줄 수 있다.
이에 따라 사용자는 자신이 창작하나 음원 데이터를 레퍼런스 음원으로 입력하고, 웹상의 음원 사이트에 게재된 다수의 음원 데이터들 중 레퍼런스 음원과 유사도가 일정 수준이상인 음원들을 검색함으로써 저작권 침해를 미연에 방지할 수 있다.
또는 선호하는 음원 데이터와 어느 정도 수준 이상 일치율을 보이는 음원 데이터들을 추천받을 수 있어 선호하는 음악 장르나 분위기의 음악을 추천받음에 있어 정확도를 높임으로써 만족도를 높일 수 있다.
추가적으로 매칭 음원 검색부(128)는 데이터베이스(130)에 저장된 음원 데이터들 중 유사도가 높은 음원 데이터를 추출하여 제공하는 것에 한정되지 않고, 레퍼런스 음원으로 입력받은 데이터와 역시 사용자로부터 비교대상 음원을 입력받아 입력받은 레퍼런스 음원과 비교 대상 음원 간 유사도를 더 파악하여 유사도 정보를 제공해주는 것도 가능하다.
이에 따라 사용자는 자신이 창작한 음원 데이터와 유사도가 어느 정도인지 파악하고 싶은 특정 음원 간 비교를 통해 어느 부분에서 어느정도의 차별화가 필요한지를 파악할 수 있어 신규 음원을 창작함에 있어 독창성의 판단기준으로 활용할 수 있다.
추가적으로 일 실시예에 따른 인공지능 기반의 유사 음원 검색 시스템은 저작권 협회로부터 저작권 등록 기준에 대한 정보를 수신하고, 유사한 음원 데이터가 검색되지 않거나, 검색된 음원 데이터와의 유사도가 일정 수준 이하인 경우에 저작권 등록 대상이 되는지 여부에 대한 정보 및 저작권 등록에 필요한 정보들을 제공하는 것도 가능하다.
도 3 은 본 발명의 일 실시예에 따른 인공지능 기반의 유사 음원 검색 방법을 도시한 흐름도이다.
일 실시예에 따른 인공지능 기반의 유사 음원 검색 시스템(10)은 사용자 단말(40) 상에 설치된 전용 어플리케이션이나 유사 음원 검색 시스템(10)과 관련된 웹/모바일 사이트 접속을 통해 전문가 상담 제공 서비스를 제공할 수 있다.
일례로, 유사 음원 검색 시스템(10)은 독립적으로 동작하는 프로그램 형태로 구현되거나, 혹은 특정 어플리케이션의 인-앱(in-app) 형태로 구성되어 상기 특정 어플리케이션 상에서 동작이 가능하도록 구현될 수 있다.
유사 음원 검색 시스템(10)의 프로세서(120)는 도 3에 따른 전문가 상담 제공 방법을 수행하기 위한 구성요소로서 적어도 하나 이상의 구성요소를 포함할 수 있다.
실시예에 따라 프로세서(120)의 구성요소들은 선택적으로 프로세서(120)에 포함되거나 제외될 수도 있다. 또한, 실시예에 따라 프로세서(120)의 구성요소들은 프로세서(120)의 기능의 표현을 위해 분리 또는 병합될 수도 있다.
이러한 프로세서(120) 및 프로세서(120)의 구성요소들은 도 3의 유사 음원 검색 방법이 포함하는 단계들(S300 내지 S330)을 수행하도록 유사 음원 검색 시스템(10)을 제어할 수 있다. 예를 들어, 프로세서(120) 및 프로세서(120)의 구성요소들은 데이터베이스(130)가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다.
여기서, 프로세서(120)의 구성요소들은 컴퓨터 장치(200)에 저장된 프로그램 코드가 제공하는 명령에 따라 프로세서(120)에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다.
프로세서(120)는 유사 음원 검색 시스템(10)의 제어와 관련된 명령이 로딩된 데이터베이스(130)로부터 필요한 명령을 읽어들일 수 있다. 이 경우, 상기 읽어들인 명령은 프로세서(120)가 이후 설명될 단계들(S300 내지 S330)을 실행하도록 제어하기 위한 명령을 포함할 수 있다.
이후 설명될 단계들(S300 내지 S330)은 도 3에 도시된 순서와 다른 순서로 수행될 수 있으며, 단계들(S300 내지 S330) 중 일부가 생략되거나 추가의 과정이 더 포함될 수도 있다.
도 3을 참조하면, 일 실시예에 따른 컴퓨터 장치에서 실행되는 인공지능 기반의 유사 음원 검색 방법은 먼저, 레퍼런스 음원을 입력받는다(S300).
그리고 음원 입력 단계에서 입력받은 레퍼런스 음원 파형을 분석한다(S310).
일 양상에 있어서, 음원 분석 단계는 CQT 변환을 사용한 파형 분석 또는 음원의 파형에 대한 주파수 분석을 수행한다.
이후에 음원 분석단계에서의 분석 결과를 인공지능 모델의 입력값으로 적용하여 인공지능 모델에 의해 레퍼런스 음원에 대한 장르, BPM(beats per minute), SCALE, 코드 진행 정보 중 적어도 하나를 포함하는 음원 정보 데이터를 추출한다(S320).
이때 음원 정보 추출 단계는 장르 추출 모델, SCALE 분류모델, BPM 추출 모델 및 코드 진행 추출 모델을 포함한다.
그리고 데이터베이스에 저장된 음원 정보 데이터와 상기 음원 정보 추출부 단계에서 추출된 레퍼런스 음원의 음원 정보 데이터를 비교하여, 소정의 기준 이상 일치하는 매칭 음원을 검색한다(S330).
이때 매칭 음원 검색 단계는 가장 유사도가 높은 음원 데이터를 추출하여 검색 결과로 제공하거나, 소정의 유사도 기준 정보를 입력받아 소정의 기준 이상 일치하는 적어도 하나 이상의 매칭 음원을 검색결과로 제공할 수 있다.
전술한 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10 : 유사 음원 검색 시스템 20 : 서버
30 : 네트워크 40 : 사용자 단말
110 : 통신 인터페이스 120 : 프로세서
130 : 데이터베이스 140 : 입출력 인터페이스
30 : 네트워크 40 : 사용자 단말
110 : 통신 인터페이스 120 : 프로세서
130 : 데이터베이스 140 : 입출력 인터페이스
Claims (12)
- 레퍼런스 음원을 입력받는 음원 입력부;
상기 음원 입력부로 입력받은 레퍼런스 음원 파형을 분석하는 음원 분석부;
상기 음원 분석부에서의 분석 결과를 인공지능 모델의 입력값으로 적용하여인공지능 모델에 의해 레퍼런스 음원에 대한 장르, BPM(beats per minute), SCALE, 코드 진행 정보 중 적어도 하나를 포함하는 음원 정보 데이터를 추출하는 음원 정보 추출부; 및
데이터베이스에 저장된 음원 정보 데이터와 상기 음원 정보 추출부에서 추출된 레퍼런스 음원의 음원 정보 데이터를 비교하여, 소정의 기준 이상 일치하는 매칭 음원을 검색하는 매칭 음원 검색부;를 포함하고,
상기 음원 정보 추출부는,
BPM 추출 모델, 장르 추출 모델, SCALE 분류 모델 및 코드 진행 추출 모델을 포함하며,
상기 BPM 추출 모델은,
합성곱 신경망(CNN:Convolutional Neural Network)에 의해 음색, 음의 높낮이, 코드 정보를 파악하고, 완전연결층(C:Fully-Connected)을 이용하거나 다른 딥러닝 모델을 사용하여 BPM값을 도출하고,
상기 SCALE 분류 모델은,
합성곱 신경망(CNN:Convolutional Neural Network)에 의해 음색, 음의 높낮이, 코드 정보를 파악하고, 완전연결층(FC:Fully-Connected)을 이용하거나 다른 딥러닝 모델을 사용하여 SCALE 값을 도출하며,
상기 장르 추출 모델은,
주파수 대역별 정보를 계산하고, 시계열 분석을 수행하여 데이터 간 상관관계를 추출하기 위해 수직 합성곱 신경망(CNN:Convolutional Neural Network)과 셀프어텐션(Self-Attention)을 포함한 딥러닝 모델을 이용하고,
상기 코드 진행 추출 모델은,
양방향 셀프 어텐션(Bidirectional Self-Attention)을 포함한 딥러닝 모델을 이용하여 코드 간 관계를 추출하여 코드 정보를 도출하며,
상기 매칭 음원 검색부는,
두 음원 간 코드진행 유사도를 판단하되, 유사 범위를 파악하기 위한 일치도 판단 범위를 상이하게 적용하여 적어도 둘 이상의 유사한 음원 데이터를 추출하여 제공하고,
레퍼런스 음원으로 입력받은 데이터와 사용자로부터 입력받은 비교대상 음원간 유사도를 파악하여 유사도 정보를 더 제공해주며,
상기 음원 분석부는,
CQT 변환을 사용한 파형 분석 또는 음원의 파형에 대한 주파수 분석을 수행하고,
상기 매칭 음원 검색부는,
소정의 기준 이상 일치하는 매칭 음원을 검색하기 위한 소정의 기준을 설정받으며,
상기 매칭 음원 검색부는,
장르, SCALE, BPM 순서로 데이터베이스에 저장된 음원 데이터의 범주를 단계적으로 좁힌 뒤, 해당하는 범주에서 코드 진행이 가장 유사한 음원을 레퍼런스 음원과 가장 유사한 음원이라고 판단하고,
저작권 협회로부터 저작권 등록 기준에 대한 정보를 수신하여, 유사한 음원 데이터가 검색되지 않거나, 검색된 음원 데이터와의 유사도가 일정 수준 이하인 경우에 저작권 등록 대상이 되는지 여부에 대한 정보를 더 제공하는, 인공지능 기반의 유사 음원 검색 시스템. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 컴퓨터 장치에서 실행되는 인공지능 기반의 유사 음원 검색 방법에 있어서,
상기 컴퓨터 장치는 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,
상기 인공지능 기반의 유사 음원 검색 방법은,
레퍼런스 음원을 입력받는 음원 입력 단계;
상기 음원 입력 단계에서 입력받은 레퍼런스 음원 파형을 분석하는 음원 분석 단계;
상기 음원 분석단계에서의 분석 결과를 인공지능 모델의 입력값으로 적용하여 인공지능 모델에 의해 레퍼런스 음원에 대한 장르, BPM(beats per minute), SCALE, 코드 진행 정보 중 적어도 하나를 포함하는 음원 정보 데이터를 추출하는 음원 정보 추출 단계; 및
데이터베이스에 저장된 음원 정보 데이터와 상기 음원 정보 추출 단계에서 추출된 레퍼런스 음원의 음원 정보 데이터를 비교하여, 소정의 기준 이상 일치하는 매칭 음원을 검색하는 매칭 음원 검색 단계;를 포함하고,
상기 음원 정보 추출 단계는,
장르 추출 모델, SCALE 분류모델, BPM 추출 모델 및 코드 진행 추출 모델을 포함하며,
상기 BPM 추출 모델은,
합성곱 신경망(CNN:Convolutional Neural Network)에 의해 음색, 음의 높낮이, 코드 정보를 파악하고, 완전연결층(FC:Fully-Connected)을 이용하거나 다른 딥러닝 모델을 사용하여 BPM값을 도출하고,
상기 SCALE 분류 모델은,
합성곱 신경망(CNN:Convolutional Neural Network)에 의해 음색, 음의 높낮이, 코드 정보를 파악하고, 완전연결층(FC:Fully-Connected)을 이용하거나 다른 딥러닝 모델을 사용하여 SCALE 값을 도출하며,
상기 장르 추출 모델은,
주파수 대역별 정보를 계산하고, 시계열 분석을 수행하여 데이터 간 상관관계를 추출하기 위해 수직 합성곱 신경망(CNN:Convolutional Neural Network)과 셀프어텐션(Self-Attention)을 포함한 딥러닝 모델을 이용하고,
상기 코드 진행 추출 모델은,
양방향 셀프 어텐션(Bidirectional Self-Attention)을 포함한 딥러닝 모델을 이용하여 코드 간 관계를 추출하여 코드 정보를 도출하며,
상기 매칭 음원 검색 단계는,
두 음원 간 코드진행 유사도를 판단하되, 유사 범위를 파악하기 위한 일치도 판단 범위를 상이하게 적용하여 적어도 둘 이상의 유사한 음원 데이터를 추출하여 제공하고,
레퍼런스 음원으로 입력받은 데이터와 사용자로부터 입력받은 비교대상 음원간 유사도를 파악하여 유사도 정보를 더 제공해주는, 인공지능 기반의 유사 음원 검색 방법.
이터베이스에 저장된 음원 정보 데이터와 상기 음원 정보 추출 단계에서 추출된 레퍼런스 음원의 음원 정보 데이터를 비교하여, 소정의 기준 이상 일치하는 매칭 음원을 검색하는 매칭 음원 검색 단계;를 포함하고,
상기 음원 분석 단계는,
CQT 변환을 사용한 파형 분석 또는 음원의 파형에 대한 주파수 분석을 수행하는
상기 음원 분석 단계는,
CQT 변환을 사용한 파형 분석 또는 음원의 파형에 대한 주파수 분석을 수행하고,
상기 매칭 음원 검색 단계는,
소정의 기준 이상 일치하는 매칭 음원을 검색하기 위한 소정의 기준을 설정받으며,
상기 매칭 음원 검색 단계는,
장르, SCALE, BPM 순서로 데이터베이스에 저장된 음원 데이터의 범주를 단계적으로 좁힌 뒤, 해당하는 범주에서 코드 진행이 가장 유사한 음원을 레퍼런스 음원과 가장 유사한 음원이라고 판단하고,
저작권 협회로부터 저작권 등록 기준에 대한 정보를 수신하여, 유사한 음원 데이터가 검색되지 않거나, 검색된 음원 데이터와의 유사도가 일정 수준 이하인 경우에 저작권 등록 대상이 되는지 여부에 대한 정보를 더 제공하는, 인공지능 기반의 유사 음원 검색 방법.
- 삭제
- 삭제
- 삭제
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220163812A KR102625795B1 (ko) | 2022-11-30 | 2022-11-30 | 인공지능 기반의 유사 음원 검색 시스템 및 방법 |
| US18/222,405 US20240176815A1 (en) | 2022-11-30 | 2023-07-14 | Artificial intelligence-based similar sound source search system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220163812A KR102625795B1 (ko) | 2022-11-30 | 2022-11-30 | 인공지능 기반의 유사 음원 검색 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102625795B1 true KR102625795B1 (ko) | 2024-01-17 |
Family
ID=89713383
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220163812A KR102625795B1 (ko) | 2022-11-30 | 2022-11-30 | 인공지능 기반의 유사 음원 검색 시스템 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20240176815A1 (ko) |
| KR (1) | KR102625795B1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080000234A (ko) | 2006-06-27 | 2008-01-02 | 주식회사 만도 | 차량용 솔레노이드 전류 제어 회로 |
| KR20170128075A (ko) * | 2017-02-28 | 2017-11-22 | 반병현 | 신경망을 이용한 음악 검색 방법 |
| KR20210046416A (ko) | 2019-10-18 | 2021-04-28 | 한국과학기술원 | 파형 음원 신호를 분석하는 신경망 모델에 기반한 음원 분류 방법 및 분석장치 |
-
2022
- 2022-11-30 KR KR1020220163812A patent/KR102625795B1/ko active IP Right Grant
-
2023
- 2023-07-14 US US18/222,405 patent/US20240176815A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080000234A (ko) | 2006-06-27 | 2008-01-02 | 주식회사 만도 | 차량용 솔레노이드 전류 제어 회로 |
| KR20170128075A (ko) * | 2017-02-28 | 2017-11-22 | 반병현 | 신경망을 이용한 음악 검색 방법 |
| KR20210046416A (ko) | 2019-10-18 | 2021-04-28 | 한국과학기술원 | 파형 음원 신호를 분석하는 신경망 모델에 기반한 음원 분류 방법 및 분석장치 |
Non-Patent Citations (1)
| Title |
|---|
| 한상일. "인공지능 기법 (CNN) 을 이용한 음성과 음악구분." 한국산학기술학회 논문지 22.10 (2021): 552-557.* * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20240176815A1 (en) | 2024-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112784130B (zh) | 孪生网络模型训练、度量方法、装置、介质和设备 | |
| Casey et al. | Content-based music information retrieval: Current directions and future challenges | |
| KR100895009B1 (ko) | 음악추천 시스템 및 그 방법 | |
| Zhang | Music style classification algorithm based on music feature extraction and deep neural network | |
| CN111091800A (zh) | 歌曲生成方法和装置 | |
| Samsekai Manjabhat et al. | Raga and tonic identification in carnatic music | |
| CN111428078B (zh) | 音频指纹编码方法、装置、计算机设备及存储介质 | |
| US11158308B1 (en) | Configuring natural language system | |
| Kostek et al. | Creating a reliable music discovery and recommendation system | |
| JP2019144485A (ja) | コード特定方法およびプログラム | |
| Yang | [Retracted] Research on Music Content Recognition and Recommendation Technology Based on Deep Learning | |
| CN116959393B (zh) | 音乐生成模型的训练数据生成方法、装置、设备及介质 | |
| KR102625795B1 (ko) | 인공지능 기반의 유사 음원 검색 시스템 및 방법 | |
| Yu | Research on multimodal music emotion recognition method based on image sequence | |
| Zhang | [Retracted] Research on Music Classification Technology Based on Deep Learning | |
| Kai | Automatic recommendation algorithm for video background music based on deep learning | |
| Lai | [Retracted] Automatic Music Classification Model Based on Instantaneous Frequency and CNNs in High Noise Environment | |
| KR102165940B1 (ko) | Ｃｂｍｒ 기반 음을 이용한 음악 검색 서비스 제공 시스템 및 방법 | |
| Wang | [Retracted] The Influence of Artificial Intelligence Technology on Smart Music Teaching Driven by Mobile Internet | |
| Deng | Resource Management and Optimization Method of Music Audio‐Visual Archives under the Background of Big Data | |
| Soekarta et al. | Hyperparameter Optimization of CNN Classifier for Music Genre Classification | |
| Pereira et al. | Using neural networks to compute time offsets from musical instruments | |
| CN113744721B (zh) | 模型训练方法、音频处理方法、设备及可读存储介质 | |
| Ke | [Retracted] Intelligent Classification Model of Music Emotional Environment Using Convolutional Neural Networks | |
| KR20230111382A (ko) | 인공지능 기반의 사용자 맞춤형 음악 추천 서비스 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |