KR20090077746A - 음성인식을 통한 음악창작 시스템 및 이를 이용한 서비스 이용방법 - Google Patents

음성인식을 통한 음악창작 시스템 및 이를 이용한 서비스 이용방법 Download PDF

Info

Publication number
KR20090077746A
KR20090077746A KR1020090057832A KR20090057832A KR20090077746A KR 20090077746 A KR20090077746 A KR 20090077746A KR 1020090057832 A KR1020090057832 A KR 1020090057832A KR 20090057832 A KR20090057832 A KR 20090057832A KR 20090077746 A KR20090077746 A KR 20090077746A
Authority
KR
South Korea
Prior art keywords
voice
user
system server
service
pattern information
Prior art date
Application number
KR1020090057832A
Other languages
English (en)
Inventor
김용성
Original Assignee
김용성
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김용성 filed Critical 김용성
Priority to KR1020090057832A priority Critical patent/KR20090077746A/ko
Publication of KR20090077746A publication Critical patent/KR20090077746A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H3/00—Instruments in which the tones are generated by electromechanical means
    • G10H3/12—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
    • G10H3/14—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument using mechanically actuated vibrators with pick-up means
    • G10H3/146—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument using mechanically actuated vibrators with pick-up means using a membrane, e.g. a drum; Pick-up means for vibrating surfaces, e.g. housing of an instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/201—Physical layer or hardware aspects of transmission to or from an electrophonic musical instrument, e.g. voltage levels, bit streams, code words or symbols over a physical link connecting network nodes or instruments
    • G10H2240/241—Telephone transmission, i.e. using twisted pair telephone lines or any type of telephone network
    • G10H2240/251—Mobile telephone transmission, i.e. transmitting, accessing or controlling music data wirelessly via a wireless or mobile telephone receiver, analog or digital, e.g. DECT GSM, UMTS
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 음성인식을 통한 음악창작 시스템 및 이를 이용한 서비스 이용방법에 관한 것으로서, 상기 음성인식을 통한 음악창작 시스템은, 사용자통신장치(50), 인터넷(60), 시스템서버(s1000), 시스템서버DB_01(s550) 및 시스템서버DB_02(s770), 사용자DB_01(d330) 및 사용자DB_02(d550) 및 사용자DB_03(d770)을 구비하는 것을 특징으로 한다..
또한, 상기 음성인식을 통한 음악창작 시스템을 이용한 서비스 이용방법은, 음악창작 서비스 진입 단계와; 상기 음악창작 서비스 진입에 의해 사용자가 음성을 표출하는 단계와; 상기 사용자가 음성을 표출하는 단계에 따른 상기 표출된 원본음성을 저장하는 단계와; 상기 표출된 원본음성을 저장 후 사용자가 음성표출 가부(可否)를 결정하는 단계와; 상기 사용자가 음성표출 가부를 결정하는 단계에서 가(可)를 선택하였을 경우에 사용자 음성패턴정보 분석 및 저장하는 단계와; 상기 사용자 음성패턴정보 분석 및 저장 후 "섬세하게 편집할것인가?"에 대한 물음에 가부(可否)를 결정하는 단계와; 상기 "섬세하게 편집할것인가?"에 대한 물음에 가부(可否)를 결정하는 단계에서 가(可)를 선택하였을 경우 사용자 음성패턴정보인 음계, 음표, 언어, 타이밍 등을 섬세하게 편집 후 저장하는 단계를 포함하고, 상기 단계의 편집 및 저장하는 데 있어서 15선지에서 수행하는 것을 포함함을 특징으로 한다.
따라서, 본 발명은 음성인식을 통한 음악창작 시스템에 따른 사용자의 음성 변화를 인식하고 그 변화된 음성을 세밀하게 분석 및 검출할 수 있으므로 종래에 많은 시간을 투자하여 일일히 수작업으로 피아노, 기타 등의 악기들을 연주하면서 가사의 리듬을 가하여 음악창작을 실시하여 왔지만 그렇게 수작업으로 음악창작을 하지 않아도 전문지식을 가진 사람이 아니더라도 음성을 표출할 수 있는 사람, 동물, 자연의 소리 등 세상의 어떠한 음성이라도 음성만으로 있으면 음성의 리듬, 언어를 동시에 검출 및 표출하여 자동으로 창작음악을 쉽게 만들 수 있어 생활과 시간적인 면에서 편리를 도모할 수 있다.
음성, 창작, 음악, 음성인식, 15선지, 소나그램

Description

음성인식을 통한 음악창작 시스템 및 이를 이용한 서비스 이용방법{The musical creation system which leads a speech recognition and the service use method which uses this}
본 발명은 음성인식을 통한 음악창작 시스템 및 이를 이용한 서비스 이용방법에 관한 것으로, 보다 상세하게는, 음성인식을 이용하여 사용자가 직접 음성을 제공하여 음악창작을 시도하고 그 음악창작 시도한 음성을 서비스업자가 면밀하게 분석 후 사용자의 음성과 언어 등을 검출하여 자동으로 15선지에 음계와 음표, 언어 등을 작성하는 음성인식을 통한 음악창작 시스템을 제공하고, 상기 시스템을 이용한 서비스 이용방법으로 하는 음반사업 모델에 관한 것이다.
과학기술의 발달과 더불어 전자피아노나 전자기타, 전자악보 등과 같은 전자음악관련 장치기기에서도 고품질의 다양한 기능들이 부가되기 시작했다.
이러한 추세에 부응하여, 상기 전자음악관련 장치기기에는 다양한 목적으로 사용가능토록한 멜로디나 악보를 편집하는 기능으로부터 확장된 작곡서비스가 구비되기에 이르렀다.
예를 들면, 대한민국 특허청에 "웹페이지상에서의 작곡서비스 제공방법"을 명칭으로 하여 공개특허공보 제2000-12602호(공개일자 : 2000. 3. 6)에서 템플릿을 통해 음악종류, 악기, 박자 등을 선택하면 음악파일을 출력하는 작곡서비스제공방법을 개시하고 있으며, 대한민국 특허청에 "음성 합성 또는 음색 변환을 이용한 노래 합성 방법"을 명칭으로 하여 공개특허공보 제2000-63438호(공개일자 : 2000. 11. 6)에서 가사에 맞는 음성데이터 조각을 추출하고 멜로디와 합성하는 노래합성방법을 개시하고 있고, 대한민국 특허청에 "디지털 펜을 사용하여 상용 악보 표기(ＣＭＮ)를 기록하기위한 방법 및 시스템"을 명칭으로 하여 공개특허공보 제2002-57814호(공개일자 : 2002. 7. 12)에서 디지털 펜과 태블릿의 입력수단에 의하여 악보를 표기하는 디스플레이를 개시하고 있다.
표1.
공개특허공보(정보) 기술요지 문제점
제2000-12602호 템플릿을 통해 음악종류, 악기, 박자 등을 선택하면 음악파일을 출력하는 작곡서비스제공방법을 개시 전문적 지식을 충족시킨 후 서비스를 이용 및 수작업으로 작곡을 해야하므로 현재 추 세에뒤쳐져 있음.
제2000-63438호 가사에 맞는 음성데이터 조각을 추출하고 멜로디와 합성하는 노래합성방법을 개시 특정인의 음성을 추출하여 합성 및 변조하여 음성데이터를 서로 끼워맞추는 퍼즐방식 위주로 서비스하는 것에 불과하여 결과적으로 서비스 이용자의 제한이 따르며 나아가 저작권법에 저촉될 소지가 있음. 음성데이터를 끼워 합성할 시에 가사, 박자, 음표 등의 조합관계가 불일치될 확률이 큼.
제2002-57814호 디지털 펜과 탬블릿의 입력수단에 의하여 악보를 표기하는 디스플레이를 개시 전문적 지식을 충족시킨 후 서비스를 이용 및 수작업으로 악보표기해야하므로 현재 추세에 뒤쳐져 있음.
상기한 바와 같은 종래에는 악기 및 악보형상과는 전혀 다른 컴퓨터, 인터넷이나 전자음악관련 장치기기의 키보드나 펜 같은 도구를 통하여 수작업으로 작곡 서비스를 제공하므로, 악기조작 및 악보작성에 익숙한 사용자라도 상기 도구로는 자연스럽게 작곡을 할 수 없었다.
또한 상기 도구의 키보드에 구비되는 키의 한정된 수와 펜의 분실로 인한 소장의 어려움 등으로 인하여 다양한 음색을 통한 고품질의 음악의 작곡 서비스를 제공할 수는 없었다.
또한 키와 펜을 누르는데 소요되는 시간을 단축시키기는 곤란하므로, 피아노, 드럼, 기타 등과 같은 악기를 상기 도구를 통해 자연스럽게 연주하기는 어려웠다.
이에 따라 종래에는 상기 도구로도 자연스러운 작곡 및 연주를 가능하게 하고, 이를 확장하여 음성인식을 통한 창작음악에 적용하는 기술의 발달이 절실하게 요망되었다.
종래에 창작음악을 쉽게 제작하기 위해서 많은 시도가 있었으나, 창작음악을 만들기 위하여 복잡한 제작과정을 지나 완성된 결과물을 얻어보면, 제작과정에 있어 소요된 투자시간 대비하여 결과물이 너무 초라하고 단순하였으며, 그 이유를 면밀하게 살펴보면 사용자가 창작음악을 만들고자하는 관련 프로그램의 복잡한 제작과정과 사용자가 음악과 관련된 충분한 지식을 갖추지 않고서 창작음악 관련 프로그램 사용법 이해가 부족하여 문제점이 발생하였다.
또한, 창작음악을 종래에는 작곡, 작사,음성녹음의 작업을 별도 수행하고, 상기 작업을 결합하는 과정에서 많은 시간을 투자하고 많은 편집을 행하여 왔던 것이 사실이다. 현재, 유명한 가수들도 1년에 앨범 1장을 만들기는 어려운데, 보통의 일반인들은 더욱이나 전문지식이 부족하여 창작음악을 만든다고 해도 제작과정에 비해 결과물이 볼 품이 없고 소장가치의 존재가 사라져서 천덕꾸러기 대접밖에 받지 못하는 문제점이 발생하고 있다.
본 발명의 목적은 이러한 문제점들을 해소하기 위한 것으로, 사용자가 직접 음성을 제공하여 음악창작을 시도하고 그 음악창작 시도한 음성을 인터넷 서비스업자가 분석 후 사용자의 음성과 언어를 검출하여 자동으로 15선지에 음계와 음표, 언어를 시스템 DB에 저장 및 저장된 자료를 표출 및 작성하는 음성인식을 통한 음악창작 시스템에 관한 것으로, 사용자가 흥얼거리며 발성하는 음성, 더 나아가 대화내용의 음성,동물의 음성, 자연음성(파도소리, 바람소리, 기계소음의 음성 등)의 음성들을 인터넷 서비스업자에게 제공하면 당해 서비스업자는 그 음성에 대한 음성패턴정보를 면밀하게 판독하고, 상기 음성패턴정보의 해당 음정 높낮이인 음계를 비교 판독 및 작성하고, 상기 음성패턴정보의 박자의 언어와 언어 사이의 타이밍을 계산하고, 상기 계산된 타이밍을 소정의 간격으로 음절을 구분화함과 동시에 종래의 보편화 되어 있는 음성인식기술을 이용하여 잡음을 제거한 후 정제된 바른 언어를 검출하는 과정을 거치고, 현재 널리 사용되고 있는 음악의 음표를 작성하기 위한 오선지가 퇴보 되었음을 일찌감치 감지하여 종축(세로축)으로 15선을 갖추고 있는 15선지를 개시하였으며, 상기 15선지의 붉은 선이 그어진 중간선부분의 중심부를 기준음계로 정하여 고음, 기준음, 저음을 29단계의 숫자와 음계를 제공함으로써, 통상의 5선지에서 도출할 수 없는 음정들을 15선지에서 음색을 도출하는 것을 제공하기 위한 것이다.
본 발명의 상기의 목적 및 기타의 목적들은 하기 설명에 의하여 모두 달성될 수 있다.
이하 첨부된 도면을 참고로 본 발명의 내용을 하기에 상세히 설명한다.
본 발명의 음성인식을 통한 음악창작 시스템은, 사용자통신장치(50), 인터넷(60), 시스템서버(s1000), 시스템서버DB_01(s550) 및 시스템서버DB_02(s770), 사용자DB_01(d330) 및 사용자DB_02(d550) 및 사용자DB_03(d770)로 구성된다.
사용자통신장치(50)는, 인터넷(60) 통신이 가능한 컴퓨터, 휴대폰 단말기, PDA, 노트북 등의 다양한 통신장치로 구비한다
인터넷(60)는, 통상의 인터넷[internet]으로 구비한다.
시스템서버(s1000)는, 서비스이용자 음성을 취득하거나 제공받는다.
시스템서버DB_01(s550)는, 통상의 음성인식기술 알고리즘을 구비한다.
시스템서버DB_02(s770)는, 시스템서버(s1000)에서 취득한 음성을 음성의 높낮이, 음성의 굵기, 음성의 속도, 음성과 음성 사이에 소비되는 시간, 각각의 해당 음이 지체되는 시간을 측정 및 분석하기 위해 주파수 성분(스펙트럼)의 분포가 시간적으로 변동되는 것을 이용하여, 이것을 세로축(軸)에 주파수, 가로축에 시간을 잡고, 스펙트럼의 진폭의 크기, 즉 강도를 농담(濃淡)으로 나타내면 소나그램을 측정 및 분석하여 DB로 표준화한 음악데이타를 구비한다.
사용자DB_01(d330)는, 시스템서버(s1000)에서 취득한 음성을 저장한다.
사용자DB_02(d550)는, 시스템서버(s1000)에서 취득한 음성을 시스템서버DB_01(s550) 및 시스템서버DB_02(s770)에서 분석한 자료를 저장한다.
사용자DB_03(d770)는, 사용자DB_02(d550)에 저장된 자료를 이용하여, 편집을 하고 자료를 저장하는 것을 특징으로 한다.
또한, 상기 음성인식을 통한 음악창작 시스템을 이용한 서비스 이용방법은, 음악창작 서비스 진입 단계(100)와; 상기 음악창작 서비스 진입에 의해 사용자가 음성을 표출하는 단계(200)와; 상기 사용자가 음성을 표출하는 단계에 따른 상기 표출된 원본음성을 저장하는 단계(300)와; 상기 표출된 원본음성을 저장 후 사용자 가 음성표출 가부(可否)를 결정하는 단계(400)와; 상기 사용자가 음성표출 가부를 결정하는 단계에서 가(可)를 선택하였을 경우에 사용자 음성패턴정보 분석 및 저장하는 단계(500)와; 상기 사용자 음성패턴정보 분석 및 저장 후 "섬세하게 편집할것인가?"에 대한 물음에 가부(可否)를 결정하는 단계(600)와; 상기 "섬세하게 편집할것인가?"에 대한 물음에 가부(可否)를 결정하는 단계에서 가(可)를 선택하였을 경우 사용자 음성패턴정보인 음계, 음표, 언어, 타이밍 등을 섬세하게 편집 후 저장하는 단계(700)를 포함하고, 상기 단계의 편집 및 저장하는 데 있어서 15선지에서 수행하는 것을 포함함을 특징으로 한다.
본 발명은 음악창작에 있어서 효율적으로 각 음악창작자 혹은 일반인에게 효율적으로 음성인식을 통한 음악창작 시스템을 이용할 수 있도록하여 간편하고 경제적인면에서 많은 도움을 줌으로써, 큰 효과를 거둘 수 있다. 또한, 기존 음악창작을 하기 위해 사용된 종이악보, 펜, 연주악기 및 음악창작에 소요되는 지루한 시간, 편집 등의 매번 반복되는 과정들을 갖지 않고 본 발명을 이용시 당해 이용자의 음성을 통해 짧은시간 내에 새로운 음악을 창작할 수 있는 다른 효과가 있다.
이하, 본 발명의 다양한 실시형태는 첨부된 도면을 참조로 기술된다. 도면에서 동일한 구성요소들에 대해서는 비록 다른 도면에 표시되더라도 가능한 한 동일 한 참조번호 및 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 부가적인 기능, 유사기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
도 1은 본 발명의 양호한 실시예에 따른 음성인식을 통한 음악창작 시스템의 구성도를 나타낸 도면이다. 도 1을 참조하면, 본 발명에 따른 음성인식을 통한 음악창작 시스템의 구성은, 서비스이용자가 사용자통신장치(50)를 통하여 인터넷(60)을 접속하고, 그 서비스이용자가 시스템서버(s1000)에 음성을 제공하면, 그 제공된 음성의 언어를 판독하기 위한 음성인식관련 기술의 알고리즘이 저장된 시스템서버DB_01(s550)과 그 제공된 음성의 고유 음성패턴정보를 분석을 하기 위하여 표준화된 음악데이타가 저장된 시스템서버DB_02(s770)를 통하여 음성패턴정보를 분석 및 필요한 자료를 검출하며, 그 분석 및 검출된 자료는 순차적으로 사용자DB_01(d330)과 사용자DB_02(d550)와 사용자DB_03(d770)에 저장되는 과정이 포함함을 특징으로 하여 시스템이 구성된다.
또한, 상기 사용자통신장치(50)는 인터넷(60)통신이 가능한 컴퓨터, 휴대폰 단말기, PDA, 노트북 등의 다양한 통신장치로 구성된다. 상기 시스템서버(s1000)의 구조는 도 1과 도 4에 도시된 바와 같이 서비스이용자가 시스템서버(s1000)에 음성을 제공하면 시스템서버DB_01(s550)에서는 상기 서비스이용자가 제공한 음성에 대해 잡다한 소음을 제거 및 분리하는 정교한 분석과정을 거쳐 최상급의 올바른 언어만을 인식하여 그 인식된 올바른 언어를 검출할 수 있도록 통상의 음성인식기 술의 알고리즘이 저장되어 있으며, 시스템서버DB_02(s770)에서는 상기 서비스이용자가 시스템서버(s1000)에 음성을 제공하면 그 제공된 각 음성의 고유 음성패턴정보인 음성의 높낮이, 음성의 굵기, 음성의 속도, 음성과 음성 사이에 소비되는 시간, 각각의 해당 음이 지체되는 시간을 분석하기 위하여 도 5에 도시된 음표(m10)에 대응하여 각각의 시간(t10)에 일정한 설정 값을 부여함으로써, 상기 각각의 해당 음이 지체되는 시간에 대한 음표와 음성의 속도의 특정한 결과 수치를 검출할 수 있을 것이고, 도 6에 도시된 쉼표(m20)에 대응하여 각각의 시간(t20)에 일정한 설정 값을 부여함으로써, 상기 음성과 음성 사이에 소비되는 시간에 대한 쉼표와 음성의 속도의 특정한 결과 수치를 검출할 수 있을 것이며, 도6_2에 도시된 도면은 김매리씨에 의해 작곡,작사된 '학교종'의 노래 중 첫 음절인 '학교'란 단어를 정상적인 음정으로 음성을 발성하면 음계가 '솔(t91)솔(t92)'이라는 결과물을 얻어지며, 이 얻어진 음계인 '솔(t91)솔(t92)'의 결과물은 소나그램을 이용하여 고음과 저음을 단계별로 일정한 설정 값을 부여한 것으로서, 상기 음성의 높낮이, 음성의 굵기의 특정한 결과 수치를 검출할 수 있는 것이다. 상기 일정한 설정 값들은 시스템서버_02(s770)에 모두 저장되어 있으며 상기 일정한 설정한 값들은 경우에 따라서 변경, 추가, 편집을 할 수 있다.
또한, 상기 서비스이용자가 시스템서버(s1000)에 음성을 제공하면 시스템서버(s1000)는 시스템서버DB_01(s550)과 시스템서버DB_02(s770)에 의해 상기 시스템서버(s1000)에 제공된 음성의 언어와 음성패턴정보에 대하여 분석 및 검출한 결과의 값을 도출한 후, 그 도출된 결과의 값의 자료를 이용하여 도 2와 도 3과 도 4에 도시된 바와 같이 원본음성저장(300)은 시스템서버(s1000)를 통하여 음성이 사용자DB_01(d330)에 저장되며, 음성패턴정보_01(500)는 사용자DB_01(d330)의 음성을 시스템서버DB_01(s550)의 통상의 음성인식기술의 알고리즘을 이용하여 언어를 검출하여 그 검출된 언어와 사용자DB_01(d330)에 저장된 음성을 불러와서 사용자DB_02(d550)에 각각 저장되며, 음성패턴정보_02(700)는 사용자DB_01(d550)에 각각 저장된 언어와 음성을 불러와서 시스템서버DB_02(s770)에 저장된 각 음성의 고유 음성패턴정보 설정수치와 비교 및 분석하여 일치하는 값들을 언어와 음성을 매칭고 새로운 하나의 음성패텅정보로 생성하여 사용자DB_03(d770)에 저장되는 과정이 포함함을 특징으로 하여 시스템이 구성된다.
또한, 상기 시스템서버(s1000)를 통하여 저장되는 사용자DB_01(d330)과 사용자DB_02(d550)와 사용자DB_03(d770)에 여러 차례에 과정을 거쳐 순차적으로 저장하는 주된 이유로서는, 서비스이용자가 매번 음성을 발성한다고 해도 모든 음성은 음정과 박자 등의 것들이 항상 일치하지 않는다. 그리고 현재의 음성의 음정과 박자와 하루 전이나 이틀 전에 발성한 음성은 음정과 박자 등이 일치하기란 쉽지 않은 일일 것이다. 따라서, 본 발명의 서비스이용자가 원본음성을 실시간으로 제공하면,본 발명에서는 실시간으로 그 서비스이용자의 원본음성을 원본음성저장(300)과정에서 서비스이용자에게 저장의 여부를 물어보지 않은 채 시스템서버(s1000)를 통하여 사용자DB_01(d330)에 저장됨을 특징으로 하며, 설사 서비스이용자에게 저장의 여부를 물어보지 않은 것이 문제의 소지가 될 수 있을 수 있지만, 추후 서비스이용자의 삭제요청 등의 방법에 의해 문제점은 간단하게 해결할 수 있을 것이다.
따라서, 상기 서비스이용자가 음성을 제공하면 시스템서버(s1000)는 시스템서버DB_01(s550)과 시스템서버DB_02(s770)에 의해 상기 제공된 음성패턴정보에 대하여 분석 및 검출할 수 있는 시스템구조를 갖추고 있다. 단, 해당 시스템서버의 기술발달로 인하여 시스템서버DB_01(s550)과 시스템서버DB_02(s770)가 하나의 시스템으로 통합될 경우에 심각한 문제점이 발견되지 않는다면, 상기 시스템서버(s1000)는 상기 제공된 음성패턴정보에 대하여 분석 및 검출할 수 있는 시스템구조를 갖추고 있다고 할 것이다.
전술한 내용은 도 7에 도시한 결과물이 생기기 전의 시스템의 구조를 설명한 것이다. 제7도는 전술한 내용을 토대로 하여 본 발명의 양호한 실시예에 따라 형성된 결과물들을 나타낸 도면이다. 제7도를 참조하면, 제11도에 일실시예로 나타낸 사용자DB_03(d770)의 저장된 DB정보를 불러들여 15선지 상에 옮겨놓은 것이며, 제11도의 DB정보는 music_start_id란 명칭을 가진 서비스이용자가 편집저장한 것이며,이에 음표높낮이번호, 가사, 시간, 음표를 DB저장순번에 따라서 순차적으로 DB에 저장화 한 것을 알 수 있다. 따라서, 제7도에 나타낸 도면은 상기 제11도에 예시한 DB정보에 의하여 제7도의 15선지상에 표현한 것임을 알 수 있다.
또한, 도 8에 도시한 도면은 전술한 내용의 서비스이용자(music_start_id)의 사용자DB_03(d770)의 저장된 DB정보 중 선택부(e10)를 임의로 서비스이용자(music_start_id)가 선택하여 편집종류(e20)를 선택하고 선택부(e10) 에 대한 음계정보 모두를 일괄수정하기 위한 수정치0(e30)를 결정하여, 그 결정된 수정치0(e30)는 각 음계정보 마다 일괄수정되는 것을 자세하게 설명한 것이다. 만약, 수정치0(e30)를 +1을 선택하였을 경우에는 사용자DB_03(d770)의 저장된 DB정보가 도 11의 음표높낮이번호가 "-1,+1,1~-1,1,0,2,2"에서 "0,+2,1~0,2,1,3,3"으로 변경된다 할 것이다. 따라서, 도 8의 15선지 상에 선택부(e10)의 음계는 "-1,+1,1~-1,1,0,2,2"에서 "0,+2,1~0,2,1,3,3"으로 한 단계 음이 상승하여 변경되며, 상기 서비스이용자(music_start_id)의 사용자DB_03(d770)의 저장된 DB정보도 업데이트 된다
또한, 도9에 도시된 도면도 전술한 내용과 비슷한 맥락을 지니고 있지만, 서비스이용자(music_start_id)의 사용자DB_03(d770)의 저장된 DB정보 중 선택부(e10)를 임의로 서비스이용자(music_start_id)가 선택하여 편집종류(e20)를 선택하고 선택부(e10)에 대한 음표정보 모두를 일괄수정하기 위한 수정치1(e40)를 결정하여, 그 결정된 수정치1(e40)는 각 음표정보 마다 일괄수정되는 것을 자세하게 설명한 것이다.
따라서, 도 9의 15선지 상에 선택부(e10)의 음계는 변경하고자 하는 수정치1(e40)로 모두 변경되며, 상기 서비스이용자(music_start_id)의 사용자DB_03(d770)의 저장된 DB정보도 업데이트 된다.
또한, 도9에 도시된 도면도 전술한 내용과 비슷한 맥락을 지니고 있지만, 서 비스이용자(music_start_id)의 사용자DB_03(d770)의 저장된 DB정보에 음악 미디파일 저장테이블을 부가하여 선택부(e10)를 임의로 서비스이용자(music_start_id)가 선택하여 편집종류(e20)를 선택하고 선택부(e10)에 대한 음표시간만큼 통상의 음악 미디파일의 수정치1(e40)를 결정하여, 그 결정된 수정치1(e40)는 선택부(e10)에 대한 음표시간만큼 재생할 되어 15선지 상에 음표, 음정, 가사와 믹싱화 하여 더욱 더 생동감 있는 음악을 즐길 수 있게 된다.
또한, 본 발명에서 개시된 발명 개념과 실시예가 본 발명의 동일 목적을 수행하기 위하여 다른 구조로 수정하거나 설계하기 위한 기초로서 당해 기술 분야의 숙련된 사람들에 의해 사용되어질 수 있을 것이다. 또한, 당해 기술 분야의 숙련된 사람에 통한 그와 같은 수정 또는 변경된 등의 구조는 특허 청구 범위에서 기술한 발명의 사상이나 범위를 벗어나지 않는 한도 내에서 다양한 변화, 치환 및 변경이 가능하다.
도 1은 본 발명에 따른 음성인식을 통한 음악창작 시스템의 구성도.
도 2는 도1의 실시예의 작동의 일부를 설명하는 흐름도.
도 3은 도2의 실시예의 다른 작동의 일부를 설명하는 흐름도.
도 4는 도 2 및 도 3의 실시예의 작동의 일부를 설명하는 흐름도.
도 5는 도 1의 실시예의 다른 작동의 일부를 설명하는 흐름도.
도 6은 본 발명의 다른 실시예의 전체 구조를 도시하는 도면.
도 6a은 도 6의 실시예의 다른 실시예의 전체 구조를 도시하는 도면.
도 7은 도 6의 실시예의 내부 구조의 일부의 일예를 도시하는 도면.
도 8은 도 6의 실시예의 내부 구조의 다른 일부의 일예를 도시하는 도면.
도 9는 도 6의 실시예의 작동의 일부를 설명하는 흐름도.
도 10은 도 6의 실시예의 다른 작동의 일부를 설명하는 흐름도.
도 11은 도 6의 실시예의 다른 작동의 일부를 설명하는 흐름도.
< 도면의 주요 부분에 대한 부호의 설명>
50 : 사용자통신장치
60 : 인터넷
100 : 서비스진입
200 : 음성표출
300 : 원본음성저장
400 : 음성표출확인
500 : 음성패턴정보_01
600 : 편집확인
700 : 음성패턴정보_02
d330 : 사용자DB_01
d550 : 사용자DB_02
d770 : 사용자DB_03
s550 : 시스템서버DB_01
s770 : 시스템서버DB_02
s1000 : 시스템서버
p100 : 15선지
p101 : 마디부
p102 : 중심부
p110 : 15선지의 확대부
e10 : 선택부
e20 : 편집종류
e30 : 수정치0
e40 : 수정치1
ms10 : 결과물0
ms11 : 결과물1
ms12 : 결과물2
ms13 : 결과물3
ms14 : 결과물4
ms15 : 결과물5
ms16 : 결과물6

Claims (4)

  1. 인터넷을 이용하여 서비스이용자가 제공하는 음성에 대하여 음성인식을 통한 음악창작 시스템에 있어서, 인터넷 통신이 가능한 컴퓨터, 휴대폰 단말기, PDA, 노트북 등의 다양한 통신장치로 구비한 사용자통신장치; 상기 통상의 인터넷; 상기 서비스이용자 음성을 취득하거나 제공받는 시스템서버; 상기 시스템서버가 취득하거나 제공받은 음성을 통상의 음성인식기술 알고리즘 모듈을 이용하여 언어를 검출하는 시스템서버DB_01; 상기 누적되는 서비스이용자들의 음성 높낮이, 음성의 굵기, 음성의 속도, 음성과 음성 사이에 소비되는 시간, 각각의 해당 음이 지체되는 시간을 측정 및 분석하기 위해 주파수 성분(스펙트럼)의 분포가 시간적으로 변동되는 것을 세로축(軸)에 주파수, 가로축에 시간을 잡고, 스펙트럼의 진폭의 크기, 즉 강도를 농담(濃淡)으로 나타내면 이것을 측정 및 분석하여 DB로 표준화한 소나그램데이타를 이용하여 음성패턴정보를 검출하는 시스템서버DB_02; 상기 시스템서버에서 취득하거나 제공받은 서비스이용자 음성을 저장하는 사용자DB_01; 상기 시스템서버에서 취득하거나 제공받은 서비스이용자 음성을 시스템서버DB_01과 시스템서버DB_02에 의하여 검출한 언어와 음성패턴정보를 신규생성하여 저장하는 사용자DB_02; 상기 사용자DB_02에 저장된 언어와 음성패턴정보를 편집했을 때, 상기 편집한 언어와 음성패턴정보를 업데이트하여 저장하는 사용자DB_03; 상기 사용자DB_02 및 사용자DB_03에서 신규생성 및 편집하여 저장하는 경우에 횡축(가로축)으로 15선을 갖추고 그 종축(세로축)의 중심선은 붉은색의 선으로 처리한 15선 지를 이용하여 신규생성 및 편집하여 저장하는 것을 포함하는 것을 특징으로 하는 음성인식을 통한 음악창작 시스템.
  2. 제 1 항에 있어서,
    상기 서비스이용자 음성을 취득하거나 제공받는 시스템서버; 상기 음성패턴정보를 검출하는 시스템서버DB_02; 상기 시스템서버가 취득하거나 제공받은 서비스이용자 음성을 음성패턴정보를 검출하는 시스템서버DB_02에 의해 음성패턴정보가 검출되는 데 있어서, 상기 검출된 각 음성 마다 각각 미디파일을 생성하고 상기 검출된 각 음성과 음성 사이의 공간의 비음 내지 소음을 각각 미디파일로 생성하여, 상기 각각 생성한 미디파일들을 아라비아 숫자로 순서를 정하여 파일명을 만들어 데이터베이스에 저장하는 것을 특징으로 하는 음성인식을 통한 음악창작 시스템.
  3. 상기 제1항에 음성인식을 통한 음악창작 시스템을 이용한 서비스 이용방법에 있어서, 상기 인터넷을 이용하여 서비스이용자가 사용자통신장치를 이용하여 시스템서버에 접속하는 단계; 음악창작 서비스 진입 단계와; 상기 음악창작 서비스 진입에 의해 사용자가 음성을 표출하는 단계와; 상기 사용자가 음성을 표출하는 단계에 따른 상기 표출된 원본음성을 저장하는 단계와; 상기 표출된 원본음성을 저장 후 사용자가 음성표출 가부(可否)를 결정하는 단계와; 상기 사용자가 음성표출 가부를 결정하는 단계에서 가(可)를 선택하였을 경우에 사용자 음성패턴정보 분석 및 저장하는 단계(500)와; 상기 사용자 음성패턴정보 분석 및 저장 후 "섬세하게 편집할것인가?"에 대한 물음에 가부(可否)를 결정하는 단계와; 상기 "섬세하게 편집할것인가?"에 대한 물음에 가부(可否)를 결정하는 단계에서 가(可)를 선택하였을 경우 사용자 음성패턴정보인 음계, 음표, 언어, 타이밍 등을 섬세하게 편집 후 저장하는 단계를 포함하고, 상기 신규생성 및 편집하여 저장하는 단계인 경우에 횡축(가로축)으로 15선을 갖추고 그 종축(세로축)의 중심선은 붉은색의 선으로 처리한 15선지를 이용하여 신규생성 및 편집하여 저장하는 것을 포함함을 특징으로 하는 음성인식을 통한 음악창작 시스템을 이용한 서비스 이용방법.
  4. 제 1 항과 제 4 항에 있어서,
    상기 횡축(가로축)으로 15선을 갖추고 그 종축(세로축) 중심부(p102)의 중심선은 붉은색의 선으로 처리한 15선지는, 중심부(p102)의 중심선을 기준음으로 정하여 고음과 기준음과 저음으로 모두 29단계를 음양부호로 가미하여 숫자(음계)를 제공한다.
    따라서, 고음부터 시작하여 기준음, 그리고 저음까지 차례로 음양부호를 가미하여 숫자(음계) 표기로서 +14(도)+13(시)+12(라)+11(솔)+10(파)+9(미)+8(레)+7(도)+6(시)+5(라)+4(솔)+3(파)+2(미)+1(레)+0(도)-1(시)-2(라)-3(솔)-4(파)-5(미)-6(레)-7(도)-8(시)-9(라)-10(솔)-11(파)-12(미)-13(레)-14(도) 가 제공됨을 특징으로 하는 음성인식을 통한 음악창작 시스템 및 이를 이용한 서비스 이용방법.
KR1020090057832A 2009-06-26 2009-06-26 음성인식을 통한 음악창작 시스템 및 이를 이용한 서비스 이용방법 KR20090077746A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090057832A KR20090077746A (ko) 2009-06-26 2009-06-26 음성인식을 통한 음악창작 시스템 및 이를 이용한 서비스 이용방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090057832A KR20090077746A (ko) 2009-06-26 2009-06-26 음성인식을 통한 음악창작 시스템 및 이를 이용한 서비스 이용방법

Publications (1)

Publication Number Publication Date
KR20090077746A true KR20090077746A (ko) 2009-07-15

Family

ID=41336150

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090057832A KR20090077746A (ko) 2009-06-26 2009-06-26 음성인식을 통한 음악창작 시스템 및 이를 이용한 서비스 이용방법

Country Status (1)

Country Link
KR (1) KR20090077746A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101325722B1 (ko) * 2012-02-16 2013-11-08 김태민 사용자 입력 노래에 대응한 악보 생성 장치와 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101325722B1 (ko) * 2012-02-16 2013-11-08 김태민 사용자 입력 노래에 대응한 악보 생성 장치와 그 방법

Similar Documents

Publication Publication Date Title
JP5293460B2 (ja) 歌唱合成用データベース生成装置、およびピッチカーブ生成装置
CN112382257B (zh) 一种音频处理方法、装置、设备及介质
JP2010518459A (ja) 配布オーディオファイル編集用ウェブポータル
US10325581B2 (en) Singing voice edit assistant method and singing voice edit assistant device
CN107430849B (zh) 声音控制装置、声音控制方法和存储声音控制程序的计算机可读记录介质
JP6784022B2 (ja) 音声合成方法、音声合成制御方法、音声合成装置、音声合成制御装置およびプログラム
WO2007078261A1 (en) Method and system for text-editing and playing back a score
CN104050961A (zh) 语音合成装置和方法以及存储有语音合成程序的记录介质
JP5974436B2 (ja) 楽曲生成装置
JP5598516B2 (ja) カラオケ用音声合成システム，及びパラメータ抽出装置
JP6760450B2 (ja) 自動アレンジ方法
JP6565528B2 (ja) 自動アレンジ装置及びプログラム
Barbancho et al. Database of Piano Chords: An Engineering View of Harmony
JP3239897B1 (ja) 作詞作曲装置及びプログラム
CN112289300A (zh) 音频处理方法、装置及电子设备和计算机可读存储介质
JP2013164609A (ja) 歌唱合成用データベース生成装置、およびピッチカーブ生成装置
KR20090077746A (ko) 음성인식을 통한 음악창작 시스템 및 이를 이용한 서비스 이용방법
KR101020557B1 (ko) 사용자 창조형 음악 콘텐츠 제작을 위한 악보 생성 장치 및그 방법
JP2018159741A (ja) 歌詞候補出力装置、電子楽器、歌詞候補出力方法、及びプログラム
JP2013210501A (ja) 素片登録装置，音声合成装置，及びプログラム
CN113870817A (zh) 自动编曲方法、自动编曲装置及计算机程序产品
Ballard Jr Extended Harmonic Techniques: Acoustic Principles for Composition and Musicianship
JP2004258564A (ja) スコアデータ編集装置、スコアデータ表示装置およびプログラム
Joysingh et al. Development of large annotated music datasets using HMM based forced Viterbi alignment
CN112951184B (en) Song generation method, device, equipment and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E601 Decision to refuse application