KR20120096880A - 사용자가 자신의 음성에 기초하여 디지털 악기를 연주할 수 있도록 하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

사용자가 자신의 음성에 기초하여 디지털 악기를 연주할 수 있도록 하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR20120096880A
KR20120096880A KR1020120005940A KR20120005940A KR20120096880A KR 20120096880 A KR20120096880 A KR 20120096880A KR 1020120005940 A KR1020120005940 A KR 1020120005940A KR 20120005940 A KR20120005940 A KR 20120005940A KR 20120096880 A KR20120096880 A KR 20120096880A
Authority
KR
South Korea
Prior art keywords
voice
midi
signal
voice signal
user
Prior art date
Application number
KR1020120005940A
Other languages
English (en)
Inventor
이정석
김병오
한동숭
Original Assignee
전주대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전주대학교 산학협력단 filed Critical 전주대학교 산학협력단
Priority to PCT/KR2012/001284 priority Critical patent/WO2012115417A2/ko
Publication of KR20120096880A publication Critical patent/KR20120096880A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H5/00—Instruments in which the tones are generated by means of electronic generators
    • G10H5/005—Voice controlled instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments

Abstract

본 발명은 사용자가 자신의 음성에 기초하여 디지털 악기를 연주할 수 있도록 하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
본 발명의 일 태양에 따르면, 사용자가 자신의 음성에 기초하여 디지털 악기를 연주할 수 있도록 하기 위한 방법으로서, 여러 디지털 악기 중의 특정 디지털 악기에 대한 사용자의 선택에 관한 정보를 수신하는 단계, 사용자의 음성을 수신하여 음성 신호를 전송하는 단계, 시간에 따라, 음성 신호의 음정과 음의 강도에 관한 정보를 추출하고, 추출된 음정과 음의 강도에 관한 정보를 이용하여 미디 신호를 생성하는 단계, 생성된 미디 신호를 참조로 하여 특정 디지털 악기에 대응되는 미디 음원을 추출하거나 생성하는 단계, 및 미디 음원이 출력되도록 하는 단계를 포함하고, 음성 신호는 사용자가 부가 컨트롤러를 이용하여 행한 연주 컨트롤에 관한 정보가 적용된 것이고, 미디 신호는, 음성 신호의 시작을 가리키는 노트 온 메시지, 음성 신호의 불규칙한 음정 변화를 가리키는 피치 휠 메시지, 음성 신호의 규칙적인 음정 변화를 가리키는 모듈레이션 메시지, 음성 신호의 음량을 가리키는 볼륨 메시지, 음성 신호의 불규칙한 음량 변화를 가리키는 익스프레션 메시지 및 음성 신호의 종료를 가리키는 노트 오프 메시지 중 적어도 하나를 포함하는 방법이 제공된다.

Description

사용자가 자신의 음성에 기초하여 디지털 악기를 연주할 수 있도록 하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체{METHOD, SYSTEM AND COMPUTER-READABLE RECORDING MEDIUM FOR ENABLING USER TO PLAY DIGITAL INSTRUMENT BASED ON HIS OWN VOICE}
본 발명은 사용자가 자신의 음성에 기초하여 디지털 악기를 연주할 수 있도록 하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
미디(MIDI; Music Instrument Digital Interface)는 전자 악기마다 음을 생성하고 저장하는 방식이 다르기 때문에 전자 악기 간의 호환성이 보장되지 않던 문제를 해결하기 위하여 모든 전자 악기 사이에서 통용될 수 있도록 새로이 개발된 프로토콜이다. 1981년에 처음 국제 규격으로서 표준화된 미디는 본래 컴퓨터 음악을 위하여 제정된 것은 아니었으나, 현재는 컴퓨터 음악을 위하여도 널리 활용되고 있다.
미디는 전자 악기의 음 데이터의 생성과 저장에 관한 표준화된 형식이므로, 미디 파일은, 음정뿐만 아니라 음의 강도 및 빠르기와 같은 음악적 특성에 관한 정보와 악기의 종류 등과 같은 악기에 관한 정보를 모두 포함하고 있음에도 불구하고, 웨이브 파일과는 달리 파형 정보를 저장하지 않으므로, 파일의 크기가 상대적으로 작고 악기의 추가 및 삭제와 같은 작업이 용이한 장점이 있어서 컴퓨터 음악 분야에서 널리 활용되고 있다.
이러한 미디 파일을 처리하는 종래의 시스템은 미디 입력 장치인 키보드와 음 합성기인 신디사이저로 구성되는 것이 일반적이다. 이 경우에, 키보드의 각 건반마다 부착되어 있는 센서로부터 음정 정보와 음의 강도 정보가 획득되면, 이러한 정보가 신디사이저의 미디 프로세서에 의하여 미디 신호로 변환되어 출력되는 것이 보통이다. 그러나, 종래의 키보드는 다양한 음정을 표현하기 위하여 필연적으로 다수의 건반을 구비할 수밖에 없으므로, 건반 악기를 능숙하게 연주할 수 있는 사용자가 아니면 자신이 원하는 대로 미디 음악을 연주하기가 어려운 것이 사실이다. 또한, 종래의 키보드는 기본적으로 불연속적인 음만을 표현할 수 있으므로 이러한 단점을 보완하기 위한 미분음 입력부를 갖고 있는데, 이럼에도 불구하고 그 음이 여전히 부자연스러운 것이 사실이다.
따라서, 위와 같은 종래 기술의 문제점을 해결하기 위하여 한국공개특허공보 제2007-76942호 등을 통하여 사용자의 음성에 기초하여 작곡을 하는 장치 등이 제안된 바도 있으나, 이러한 장치 등은 그것 나름대로 음악적 한계를 갖고 있는 것이 사실이다.
본 발명은 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은 사용자가 자신의 음성에 기초하여 디지털 악기를 연주할 수 있도록 하는 것을 다른 목적으로 한다.
또한, 본 발명은 사용자가 자신의 음성에 기초하여 자신이 원하는 디지털 악기의 소리를 내어 용이하게 음악을 연주할 수 있도록 하는 것을 또 다른 목적으로 한다.
또한, 본 발명은 사용자가 자신이 원하는 특정 악기에 맞는 연주를 행할 수 있도록 함으로써 사용자가 실제로 그 악기를 연주하는 것처럼 느낄 수 있도록 하는 것을 또 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 사용자가 자신의 음성에 기초하여 디지털 악기를 연주할 수 있도록 하기 위한 방법으로서, 여러 디지털 악기 중의 특정 디지털 악기에 대한 사용자의 선택에 관한 정보를 수신하는 단계, 사용자의 음성을 수신하여 음성 신호를 전송하는 단계, 시간에 따라, 상기 음성 신호의 음정과 음의 강도에 관한 정보를 추출하고, 상기 추출된 음정과 음의 강도에 관한 정보를 이용하여 미디 신호를 생성하는 단계, 상기 생성된 미디 신호를 참조로 하여 상기 특정 디지털 악기에 대응되는 미디 음원을 추출하거나 생성하는 단계, 및 상기 미디 음원이 출력되도록 하는 단계를 포함하고, 상기 음성 신호는 상기 사용자가 부가 컨트롤러를 이용하여 행한 연주 컨트롤에 관한 정보가 적용된 것이고, 상기 미디 신호는, 상기 음성 신호의 시작을 가리키는 노트 온(note on) 메시지, 상기 음성 신호의 불규칙한 음정 변화를 가리키는 피치 휠(pitch wheel) 메시지, 상기 음성 신호의 규칙적인 음정 변화를 가리키는 모듈레이션(modulation) 메시지, 상기 음성 신호의 음량을 가리키는 볼륨(volume) 메시지, 상기 음성 신호의 불규칙한 음량 변화를 가리키는 익스프레션(expression) 메시지 및 상기 음성 신호의 종료를 가리키는 노트 오프(note off) 메시지 중 적어도 하나를 포함하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 사용자가 자신의 음성에 기초하여 디지털 악기를 연주할 수 있도록 하기 위한 시스템으로서, 여러 디지털 악기 중의 특정 디지털 악기에 대한 사용자의 선택에 관한 정보를 수신하는 사용자 인터페이스부, 사용자의 음성을 수신하여 음성 신호를 전송하는 음성 연주부 - 상기 음성 연주부는 부가 컨트롤러를 포함함 -, 상기 음성 신호에 상기 사용자가 상기 부가 컨트롤러를 이용하여 행한 연주 컨트롤에 관한 정보를 적용하는 음성 신호 처리부, 시간에 따라, 상기 음성 신호의 음정과 음의 강도에 관한 정보를 추출하고, 상기 추출된 음정과 음의 강도에 관한 정보를 이용하여 미디 신호를 생성하는 미디 신호 생성부, 및 상기 생성된 미디 신호를 참조로 하여 상기 특정 디지털 악기에 대응되는 미디 음원을 추출하거나 생성하고, 상기 미디 음원이 출력되도록 하는 미디 음원 관리부를 포함하고, 상기 미디 신호는, 상기 음성 신호의 시작을 가리키는 노트 온(note on) 메시지, 상기 음성 신호의 불규칙한 음정 변화를 가리키는 피치 휠(pitch wheel) 메시지, 상기 음성 신호의 규칙적인 음정 변화를 가리키는 모듈레이션(modulation) 메시지, 상기 음성 신호의 음량을 가리키는 볼륨(volume) 메시지, 상기 음성 신호의 불규칙한 음량 변화를 가리키는 익스프레션(expression) 메시지 및 상기 음성 신호의 종료를 가리키는 노트 오프(note off) 메시지 중 적어도 하나를 포함하는 시스템이 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 사용자가 자신의 음성에 기초하여 디지털 악기를 연주할 수 있게 된다.
본 발명에 의하면, 사용자가 자신의 음성에 기초하여 자신이 원하는 디지털 악기의 소리를 내어 용이하게 음악을 연주할 수 있게 된다.
본 발명에 의하면, 사용자가 자신이 원하는 특정 악기에 맞는 연주를 행할 수 있게 되므로, 사용자가 실제로 그 악기를 연주하는 것처럼 느낄 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 음성 디지털 악기 시스템의 내부 구성을 도시하는 도면이다.
도 2는 본 발명의 일 실시예에 따라 부가 컨트롤러(124)로서 핸드 컨트롤러가 채용된 음성 연주부(120)를 예시적으로 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 미디 신호에 포함될 수 있는 다양한 종류의 미디 메시지를 예시적으로 나타내는 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
[본 발명의 바람직한 실시예]
음성 디지털 악기 시스템의 구성
도 1은 본 발명의 일 실시예에 따른 음성 디지털 악기 시스템(100)의 내부 구성을 도시하는 도면이다.
본 발명의 일 실시예에 따른 음성 디지털 악기 시스템(100)의 구성요소 중 일부는 종래의 디지털 악기 시스템에 포함되어 있는 종래의 구성요소와 유사한 것일 수 있지만, 나머지 일부는 신규한 것일 수 있다. 이러한 음성 디지털 악기 시스템(100)은 전용 기기의 세트일 수도 있고, 사용자 모바일 기기와 결합된 것일 수도 있다.
도 1에 도시되어 있는 바와 같이, 음성 디지털 악기 시스템(100)은 사용자 인터페이스부(110), 음성 연주부(120), 음성 신호 처리부(130), 미디 신호 생성부(140), 미디 음원 관리부(150), 통신부(160) 및 제어부(170)를 포함하여 구성될 수 있다. 본 발명의 일 실시예에 따르면, 사용자 인터페이스부(110), 음성 연주부(120), 음성 신호 처리부(130), 미디 신호 생성부(140), 미디 음원 관리부(150), 통신부(160) 및 제어부(170)는 그 중 적어도 일부가 외부 장치와 통신하는 프로그램 모듈일 수 있다.　 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 음성 디지털 악기 시스템(100)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다.　 또한, 이러한 프로그램 모듈은 음성 디지털 악기 시스템(100)과 통신 가능한 원격 기억 장치에 저장될 수도 있다.　 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
먼저, 본 발명의 일 실시예에 따른 사용자 인터페이스부(110)는 여러 디지털 악기에 관한 정보가 소정의 표시 패널(미도시됨)을 통하여 사용자에게 제공되도록 하고 특정 디지털 악기에 대한 사용자의 선택에 관한 정보를 수신하는 기능을 수행할 수 있다. 이러한 사용자 인터페이스부(110)는 여러 디지털 악기의 종류에 관한 정보와 각 디지털 악기에 대응되는 연주법에 관한 정보를 저장하고 있는 소정의 디지털 악기 데이터베이스(미도시됨)와 연동할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 음성 연주부(120)는 사용자의 구음 연주 시에 그 음성을 수신하는 기능을 수행할 수 있다. 음성 연주부(120)는 일반적인 마이크만으로 구성될 수도 있으나, 보다 바람직하게는, 주변의 소음이 함께 입력되는 것은 방지할 수 있는 수단, 즉, 마우스피스 형태의 음성 입력 수단(122)을 포함할 수도 있다. 사용자는 이러한 음성 입력 수단(122)을 입에 물고 구음 연주를 행할 수 있다. 한편, 음성 연주부(120)는 별도의 부가 컨트롤러(124)를 구비하여, 사용자가 구음 연주를 행하면서 자신이 선택한 디지털 악기에 대응되게끔 행한 부가적인 컨트롤에 관한 정보를 수신하는 기능을 더 수행할 수도 있다.
본 발명에 적용될 수 있는 부가 컨트롤러(124)의 일 예로서 연주에 필요한 각종 버튼을 구비하고 있는 핸드 컨트롤러를 상정할 수 있다. 이러한 핸드 컨트롤러에는 사용자가 디지털 악기에 대응되게끔 핸드 컨트롤을 행할 수 있도록 하는 각종 버튼(126), 휠(127), 트리거(128) 등이 구비될 수 있다. 음성 입력 수단(122)과 핸드 컨트롤러(124)는 공지의 케이블(129) 등으로 서로 연결되어 있을 수도 있지만, 당업자의 선택에 따라 무선 연결되어 있거나 서로 일체화되어 구성될 수도 있다. 도 2는 본 발명의 일 실시예에 따라 부가 컨트롤러(124)로서 핸드 컨트롤러가 채용된 음성 연주부(120)의 구성을 예시적으로 나타내는 도면이다.
또한, 본 발명에 적용될 수 있는 부가 컨트롤러(124)의 다른 예로서, 터치 인터페이스 기반의 휴대용(hand held) 장치를 상정할 수도 있다. 본 발명의 일 실시예에 따르면, 터치 인터페이스 기반의 휴대용 장치 상에는 사용자가 손가락을 접촉시켜 동작시킬 수 있도록 하는 터치 인터페이스가 다양한 악기에 대하여 가변적으로 구현될 수 있는데, 이러한 터치 인터페이스는 스마트폰에 설치되어 실행될 수 있는 애플리케이션의 형태로 구현될 수 있다. 본 발명의 일 실시예에 따르면, 터치 인터페이스 기반의 휴대용 장치와 음성 디지털 악기 시스템(100)와의 통신은 와이파이(Wi-Fi), 블루투스(bluetooth), RFID(Remote Frequency IDentification), NFC(Near Field Communication) 등의 소정의 무선 통신 규약을 기반으로 하여 수행될 수 있다.
비록 도 2에는 부가 컨트롤러(124)로서 핸드 컨트롤러가 채용된 실시예만 도시되어 있지만, 본 발명에 따른 부가 컨트롤러가 반드시 도 2에 도시된 것에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 앞서 언급한 터치 인터페이스 기반의 휴대용 장치를 비롯한 다양한 변형 실시예가 채용될 수 있음을 밝혀 둔다.
다음으로, 본 발명의 일 실시예에 따른 음성 신호 처리부(130)는 음성 연주부(120)가 음성 입력 수단(122) 등을 통하여 수신한 사용자의 음성 신호를 후술할 미디 신호 생성부(140)로 전송하거나 위와 같은 사용자의 음성 신호를 사용자의 부가 컨트롤러(124) 조작에 따라 변경한 것을 미디 신호 생성부(140)로 전송하는 기능을 수행할 수 있다. 후자의 경우, 음성 신호 처리부(130)는, 사용자가 음성 입력 수단(122) 등을 통하여 음성을 입력하면서 부가 컨트롤러(124)를 이용하여 특정 디지털 악기에 맞게끔 연주 컨트롤을 행하므로, 연주 컨트롤 정보가 적용된 음성 신호를 전송할 수 있을 것이다. 예를 들면, 디지털 악기로서 가야금이 선택된 경우, 사용자는 음성 입력 수단(122)에 허밍 등으로 음성을 입력하여 멜로디를 표현하면서 부가 컨트롤러(124)로서 채용된 핸드 컨트롤러의 트리거(128)를 튕겨 탄현 주법을 행할 수 있는데, 이 경우에, 음성 신호 처리부(130)는 트리거 컨트롤에 따라 음의 강도 정보가 일부 변경된 음성 신호를 미디 신호 생성부(140)로 전송할 수 있다.
한편, 음성 신호 처리부(130)는 음성 연주부(120)에서 수신된 음성 신호에 대하여 노이즈 필터링을 수행한 후에 필터링된 음성 신호를 증폭하여 전송하는 기능을 수행할 수도 있다. 이를 위하여, 음성 신호 처리부(130)는 그 내부 구성 요소로서 화이트 노이즈 필터 등과 같은 오디오 필터(미도시됨)와 음성 신호를 증폭하기 위한 오디오 증폭부(미도시됨)를 포함할 수 있다. 본 발명을 위한 음성 신호의 필터링이나 증폭에 관한 기술은 당업자가 다양한 공지의 기술로부터 자유롭게 채택하여 적용할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 미디 신호 생성부(140)는, 시간에 따라, 음성 신호 처리부(130)로부터 수신된 음성 신호로부터 음정과 음의 강도에 관한 정보를 추출하고, 추출된 정보를 이용하여 미디 신호를 생성하는 기능을 수행할 수 있다. 보다 구체적으로는, 미디 신호 생성부(140)는, 시간에 따라, 음성 신호의 주파수를 양자화하여 음정에 관한 정보를 추출하고, 음성 신호의 진폭을 양자화하여 음의 강도에 관한 정보를 추출한 다음에, 디지털화된 음정과 음의 강도에 관한 정보를 미디 규약에 부합하는 미디 신호로서 생성할 수 있다.
보다 구체적으로, 본 발명의 일 실시예에 따르면, 음성 신호 처리부(130)로부터 수신된 음성 신호로부터 생성되는 미디 신호는 미디 규약에 부합하는 다양한 종류의 미디 메시지(MIDI message)로 구성될 수 있다. 예를 들면, 음성 신호로부터 생성되는 미디 신호는 노트(note) 온/오프 메시지, 피치 휠(pitch wheel) 메시지, 모듈레이션(modulation) 메시지, 볼륨(volume) 메시지, 익스프레션(expression) 메시지 등으로 구성될 수 있다. 미디 신호에 포함될 수 있는 다양한 종류의 미디 메시지에 대하여 보다 구체적으로 나타내면 도 3과 같다.
도 3을 참조하면, 음성 신호가 시작될 때에는 노트 온 메시지와 볼륨 메시지가 생성될 수 있는데, 여기서 노트 온 메시지는 해당 음성 신호의 최초 음정과 최초 음량을 각각 가리키는 노트 번호와 벨로서티(velocity)를 속성값으로 가질 수 있다. 또한, 음성 신호가 시작된 이후에 규칙적인 음정 변화가 발생하는 경우에 모듈레이션 메시지가 생성될 수 있고, 음성 신호의 불규칙적인 음정 변화가 발생하는 경우에 피치 휠 메시지가 생성될 수 있으며, 음성 신호의 불규칙적인 음량 변화가 발생하는 경우에는 익스프레션 메시지가 생성될 수 있다. 또한, 음성 신호가 종료될 때에는 노트 오프 메시지가 생성되거나 벨로서티 값이 0인 노트 온 메시지가 생성될 수 있다.
다음으로, 본 발명의 일 실시예에 따른 미디 음원 관리부(150)는 미디 신호 생성부(140)에서 생성된 미디 신호를 참조하여 사용자가 선택한 디지털 악기에 대응되는 미디 음원을 음원 데이터베이스(미도시됨)로부터 추출하거나 생성하고, 이러한 미디 음원이 소정의 오디오 출력 채널(미도시됨)를 통하여 출력되도록 하는 기능을 수행할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 통신부(160)는, 필요에 따라, 사용자 인터페이스부(110), 음성 연주부(120), 음성 신호 처리부(130), 미디 신호 생성부(140) 및 미디 음원 관리부(150)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다. 즉, 음성 디지털 악기 시스템(100)은 소정의 통신망(예를 들면, 인터넷이나 LAN 등)을 개입시켜 외부 장치와 데이터 송수신을 수행할 수도 있다.
마지막으로, 본 발명의 일 실시예에 따른 제어부(170)는 사용자 인터페이스부(110), 음성 연주부(120), 음성 신호 처리부(130), 미디 신호 생성부(140), 미디 음원 관리부(150) 및 통신부(160) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(170)는 음성 디지털 악기 시스템(100)의 외부로부터의/외부로의 데이터 흐름 또는 음성 디지털 악기 시스템(100)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 사용자 인터페이스부(110), 음성 연주부(120), 음성 신호 처리부(130), 미디 신호 생성부(140), 미디 음원 관리부(150) 및 통신부(160)에서 각각 고유 기능을 수행하도록 제어할 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
110: 사용자 인터페이스부
120: 음성 연주부
130: 음성 신호 처리부
140: 미디 신호 생성부
150: 미디 음원 관리부
160: 통신부
170: 제어부

Claims (7)

  1. 사용자가 자신의 음성에 기초하여 디지털 악기를 연주할 수 있도록 하기 위한 방법으로서,
    여러 디지털 악기 중의 특정 디지털 악기에 대한 사용자의 선택에 관한 정보를 수신하는 단계,
    사용자의 음성을 수신하여 음성 신호를 전송하는 단계,
    시간에 따라, 상기 음성 신호의 음정과 음의 강도에 관한 정보를 추출하고, 상기 추출된 음정과 음의 강도에 관한 정보를 이용하여 미디 신호를 생성하는 단계,
    상기 생성된 미디 신호를 참조로 하여 상기 특정 디지털 악기에 대응되는 미디 음원을 추출하거나 생성하는 단계, 및
    상기 미디 음원이 출력되도록 하는 단계
    를 포함하고,
    상기 음성 신호는 상기 사용자가 부가 컨트롤러를 이용하여 행한 연주 컨트롤에 관한 정보가 적용된 것이고,
    상기 미디 신호는, 상기 음성 신호의 시작을 가리키는 노트 온(note on) 메시지, 상기 음성 신호의 불규칙한 음정 변화를 가리키는 피치 휠(pitch wheel) 메시지, 상기 음성 신호의 규칙적인 음정 변화를 가리키는 모듈레이션(modulation) 메시지, 상기 음성 신호의 음량을 가리키는 볼륨(volume) 메시지, 상기 음성 신호의 불규칙한 음량 변화를 가리키는 익스프레션(expression) 메시지 및 상기 음성 신호의 종료를 가리키는 노트 오프(note off) 메시지 중 적어도 하나를 포함하는 방법.
  2. 제1항에 있어서,
    상기 음성 신호는 상기 사용자에 의하여 입력된 음성 신호에 대하여 노이즈 필터링과 증폭이 수행된 것인 방법.
  3. 제1항에 있어서,
    상기 미디 신호 생성 단계는, 시간에 따라, 상기 음성 신호의 주파수를 양자화하여 음정에 관한 정보를 추출하고, 상기 음성 신호의 진폭을 양자화하여 음의 강도에 관한 정보를 추출한 다음에, 상기 디지털화된 음정과 음의 강도에 관한 정보를 미디 규약에 부합하는 미디 신호로서 생성하는 단계를 포함하는 방법.
  4. 사용자가 자신의 음성에 기초하여 디지털 악기를 연주할 수 있도록 하기 위한 시스템으로서,
    여러 디지털 악기 중의 특정 디지털 악기에 대한 사용자의 선택에 관한 정보를 수신하는 사용자 인터페이스부,
    사용자의 음성을 수신하여 음성 신호를 전송하는 음성 연주부 - 상기 음성 연주부는 부가 컨트롤러를 포함함 -,
    상기 음성 신호에 상기 사용자가 상기 부가 컨트롤러를 이용하여 행한 연주 컨트롤에 관한 정보를 적용하는 음성 신호 처리부,
    시간에 따라, 상기 음성 신호의 음정과 음의 강도에 관한 정보를 추출하고, 상기 추출된 음정과 음의 강도에 관한 정보를 이용하여 미디 신호를 생성하는 미디 신호 생성부, 및
    상기 생성된 미디 신호를 참조로 하여 상기 특정 디지털 악기에 대응되는 미디 음원을 추출하거나 생성하고, 상기 미디 음원이 출력되도록 하는 미디 음원 관리부
    를 포함하고,
    상기 미디 신호는, 상기 음성 신호의 시작을 가리키는 노트 온(note on) 메시지, 상기 음성 신호의 불규칙한 음정 변화를 가리키는 피치 휠(pitch wheel) 메시지, 상기 음성 신호의 규칙적인 음정 변화를 가리키는 모듈레이션(modulation) 메시지, 상기 음성 신호의 음량을 가리키는 볼륨(volume) 메시지, 상기 음성 신호의 불규칙한 음량 변화를 가리키는 익스프레션(expression) 메시지 및 상기 음성 신호의 종료를 가리키는 노트 오프(note off) 메시지 중 적어도 하나를 포함하는 시스템.
  5. 제4항에 있어서,
    상기 음성 신호 처리부는 상기 음성 신호에 대하여 노이즈 필터링과 증폭을 더 수행하는 시스템.
  6. 제4항에 있어서,
    상기 미디 신호 생성부는, 시간에 따라, 상기 음성 신호의 주파수를 양자화하여 음정에 관한 정보를 추출하고, 상기 음성 신호의 진폭을 양자화하여 음의 강도에 관한 정보를 추출한 다음에, 상기 디지털화된 음정과 음의 강도에 관한 정보를 미디 규약에 부합하는 미디 신호로서 생성하는 시스템.
  7. 제1항 내지 제3항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체.
KR1020120005940A 2011-02-23 2012-01-18 사용자가 자신의 음성에 기초하여 디지털 악기를 연주할 수 있도록 하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 KR20120096880A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2012/001284 WO2012115417A2 (ko) 2011-02-23 2012-02-21 사용자가 자신의 음성에 기초하여 디지털 악기를 연주할 수 있도록 하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110016154 2011-02-23
KR20110016154 2011-02-23

Publications (1)

Publication Number Publication Date
KR20120096880A true KR20120096880A (ko) 2012-08-31

Family

ID=46886677

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120005940A KR20120096880A (ko) 2011-02-23 2012-01-18 사용자가 자신의 음성에 기초하여 디지털 악기를 연주할 수 있도록 하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체

Country Status (1)

Country Link
KR (1) KR20120096880A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9368095B2 (en) 2013-11-25 2016-06-14 Samsung Electronics Co., Ltd. Method for outputting sound and apparatus for the same
US9812104B2 (en) 2015-08-12 2017-11-07 Samsung Electronics Co., Ltd. Sound providing method and electronic device for performing the same
KR20210007748A (ko) 2019-07-12 2021-01-20 동서대학교 산학협력단 디지털 기반 악기 복합연주 시스템
KR20210026656A (ko) 2019-08-30 2021-03-10 동서대학교 산학협력단 유저 연계 기반 온라인 복합 음악활동 플랫폼 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9368095B2 (en) 2013-11-25 2016-06-14 Samsung Electronics Co., Ltd. Method for outputting sound and apparatus for the same
US9812104B2 (en) 2015-08-12 2017-11-07 Samsung Electronics Co., Ltd. Sound providing method and electronic device for performing the same
KR20210007748A (ko) 2019-07-12 2021-01-20 동서대학교 산학협력단 디지털 기반 악기 복합연주 시스템
KR20210026656A (ko) 2019-08-30 2021-03-10 동서대학교 산학협력단 유저 연계 기반 온라인 복합 음악활동 플랫폼 시스템

Similar Documents

Publication Publication Date Title
JP6730398B2 (ja) 複数のアクチュエータを用いた音からハプティック効果への変換システム
EP2136286B1 (en) System and method for automatically producing haptic events from a digital audio file
WO2020224322A1 (zh) 音乐文件的处理方法、装置、终端及存储介质
CN102576524A (zh) 接收、分析并编辑音频来创建音乐作品的系统和方法
US8471679B2 (en) Electronic device including finger movement based musical tone generation and related methods
KR20140030053A (ko) 매핑을 사용한 사운드-햅틱 효과 변환 시스템
US20180315343A1 (en) System and method for translating sound to tactile
CN106205571A (zh) 一种歌声语音的处理方法和装置
CN113823250B (zh) 音频播放方法、装置、终端及存储介质
KR20120096880A (ko) 사용자가 자신의 음성에 기초하여 디지털 악기를 연주할 수 있도록 하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR102161237B1 (ko) 사운드 출력 방법 및 장치
JPWO2012111043A1 (ja) 信号処理方法、信号処理装置、再生装置およびプログラム
US20090012790A1 (en) Speech recognition apparatus and control method thereof
CN114402382A (zh) 信息处理方法、推定模型构建方法、信息处理装置及推定模型构建装置
WO2010084830A1 (ja) 音声処理装置、チャットシステム、音声処理方法、情報記憶媒体、ならびに、プログラム
WO2013186901A1 (ja) 振動信号生成装置及び方法、コンピュータプログラム、記録媒体並びに体感音響システム
JP6124844B2 (ja) サーバ、データベースを利用する方法、プログラム、システム、端末、端末プログラムおよび音声データ出力装置
JP6559051B2 (ja) 発声機能を備えたロボット装置、発声制御方法およびプログラム
Gouveia Getting started with C++ audio programming for game development
WO2012115417A2 (ko) 사용자가 자신의 음성에 기초하여 디지털 악기를 연주할 수 있도록 하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
WO2023189973A1 (ja) 変換装置、変換方法および変換プログラム
WO2023189193A1 (ja) 復号装置、復号方法および復号プログラム
Maier Sound practices
JP6089651B2 (ja) 音処理装置、音処理装置の制御方法、プログラム
JP5224552B2 (ja) 音声生成装置およびその制御プログラム

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination