KR101602194B1 - 음악 음향 신호 생성 시스템 - Google Patents
음악 음향 신호 생성 시스템 Download PDFInfo
- Publication number
- KR101602194B1 KR101602194B1 KR1020117020862A KR20117020862A KR101602194B1 KR 101602194 B1 KR101602194 B1 KR 101602194B1 KR 1020117020862 A KR1020117020862 A KR 1020117020862A KR 20117020862 A KR20117020862 A KR 20117020862A KR 101602194 B1 KR101602194 B1 KR 101602194B1
- Authority
- KR
- South Korea
- Prior art keywords
- musical instrument
- parameter
- sound
- harmonic
- power envelope
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 claims abstract description 243
- 238000003860 storage Methods 0.000 claims abstract description 122
- 238000000926 separation method Methods 0.000 claims abstract description 84
- 238000004458 analytical method Methods 0.000 claims abstract description 73
- 238000006467 substitution reaction Methods 0.000 claims description 52
- 238000000034 method Methods 0.000 claims description 50
- 230000001419 dependent effect Effects 0.000 claims description 29
- 230000015572 biosynthetic process Effects 0.000 claims description 13
- 238000003786 synthesis reaction Methods 0.000 claims description 13
- 230000014509 gene expression Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 239000002131 composite material Substances 0.000 claims description 2
- 238000013500 data storage Methods 0.000 abstract description 2
- 239000011295 pitch Substances 0.000 description 140
- 230000008859 change Effects 0.000 description 58
- 230000006870 function Effects 0.000 description 55
- 238000010586 diagram Methods 0.000 description 26
- 238000001228 spectrum Methods 0.000 description 18
- 230000001360 synchronised effect Effects 0.000 description 11
- 238000002156 mixing Methods 0.000 description 10
- 230000003595 spectral effect Effects 0.000 description 10
- 230000002123 temporal effect Effects 0.000 description 7
- 230000006978 adaptation Effects 0.000 description 5
- 238000002360 preparation method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000000630 rising effect Effects 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013016 damping Methods 0.000 description 3
- 238000005315 distribution function Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000004321 preservation Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000009527 percussion Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012888 cubic function Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000009331 sowing Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
- G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
- G10H1/16—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by non-linear elements
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/541—Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
- G10H2250/615—Waveform editing, i.e. setting or modifying parameters for waveform synthesis.
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
- G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
- G10L21/013—Adapting to target pitch
- G10L2021/0135—Voice conversion or morphing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/90—Pitch determination of speech signals
Landscapes
- Physics & Mathematics (AREA)
- Nonlinear Science (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Electrophonic Musical Instruments (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
기존의 음악 음향 신호 중의 음색을 임의의 음색으로 바꿀 수 있는 음악 음향 신호의 음색 변경 시스템을 제공한다. 분리 음향 신호 분석 보존부(3)에 보존된 제 1 종류의 악기의 단음마다의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크를 치환용 파라미터 데이터 보존부(6)에 보존된 제 1 종류의 악기의 단음에 대응하는 제 2 종류의 악기의 단음의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크로 치환함으로써 치환 배음 피크ㆍ파라미터를 작성한다. 합성 분리 음향 신호 생성부(7)는 배음 피크ㆍ파라미터를 제외한 다른 파라미터와 치환 배음 피크ㆍ파라미터를 이용해서 단음마다의 합성 분리 음향 신호를 생성한다.
Description
본 발명은 음악 음향 신호의 음색을 변경할 수 있는 음악 음향 신호 생성 시스템 및 방법 및 이 방법을 컴퓨터에서 실시하기 위해서 이용되는 컴퓨터 프로그램에 관한 것이다.
최근, 음악 음향 신호에 특화되고, 악기 단위에서의 음량의 조작이나 음색의 치환이 가능한 악기음 이퀄라이저라고 불리는 새로운 기술이 개발되어 오고 있다. 많은 오디오 플레이어에 실장되어 있는 이퀄라이저는 주파수 대역의 조작에 의해 악곡의 음향을 변화시키지만, 악기음 이퀄라이저가 제공하는 악기 단위의 조작에 의해 음악 감상의 폭은 더욱 넓혀지는 것으로 기대된다. 비특허문헌 1에 기재된 요시이 등의 Drumix에서는 스네어 드럼이나 베이스 드럼이라 타악기 단위에서의 음량 조작과 음색 변경을 실현하고 있다. 한편, 비특허문헌 2에 나타내어진 이토야마 등의 악기음 이퀄라이저에서는 타악기뿐만 아니라 모든 악기 단위의 음량 조작이 가능하지만, Drumix에서 실현되고 있었던 음색 변경은 취급되고 있지 않다. 또한 비특허문헌 2에 기재된 발명을 포함하는 것으로서 PCT/JP2008/57310호(WO2008/133097)[특허문헌 1]가 있다.
Yoshii, K., Goto, M. and G., O. H.: Drumix: An Audio Player with Realtime Drum-part Rearrangement Functions for Active Music Listening, IPSJ Journal, Vol. 48, No. 3, pp. 1229~1239(2007)
이토야마 카쯔토시, 고토 마사타카, 코마타니 카즈노리, 오가타 테츠야, 오쿠노 히로시 「악보 정보를 원용한 다중주 음악 음향 신호의 음원 분리와 조파ㆍ비조파 통합 모델의 제약된 파라미터 추정의 동시 실현」, 정보 처리 학회 논문지, Vol.49, No.3, pp.1465~1479(2008)
아베 타케히로, 이토야마 카쯔토시, 요시이 와카, 코마타니 카즈노리, 오가타 테츠야, 오쿠노 히로시:「음높이에 의한 음색 변화를 고려한 악기음의 음높이ㆍ음장 조작 방법」, 음악 정보 과학 연구회, Vol.76, pp.155-160(2008).
Abe, T., Itoyama, K., Yoshii, K., Komatani, K., Ogata, T. and Okuno, H. G.: Analysis-and-Manipulation Approach to Pitch And Duration of Musical Instrument Sounds without Distorting Timbral Characteristics, International Conference on Digital Audio Effects, Vol.11, pp. 249-256(2008)
카와하라 히데키 「Vocoder의 또하나의 가능성을 찾는 - 음성 분석 변환 합성 시스템 STRAIGHT의 배경과 전개」, 일본 음향 학회지, Vol. 63, No. 8, pp. 442-449(2007)
아베 타케히로, 이토야마 카쯔토시, 요시이 와카, 코마타니 카즈노리, 오가타 테츠야, 오쿠노 히로시: 음색의 음높이 의존성을 고려한 악기음의 음높이 조작 방법」, 정보 처리 학회 논문지, Vol. 50, No. 3(2009)
종래의 기술에서는 임의의 악기 파트를 유저가 원하는 음색으로 변경할 수는 없었다. 또한 종래의 기술에서는 미지의 연주의 악보에 대한 연주 표정이 부여된 연주 음향 신호를 합성할 수는 없었다.
본 발명의 목적은 기존의 음악 음향 신호 중의 임의의 악기 파트의 음색을 임의의 음색으로 바꿀 수 있는 음악 음향 신호 생성 시스템 및 방법, 그리고 음악 음향 신호 생성용 컴퓨터 프로그램을 제공하는 것에 있다.
본 발명의 다른 목적은 기존의 음악 음향 신호 중의 임의의 악기 파트의 음색을 이용해서 미지의 연주의 악보에 대한 연주 표정이 부여된 연주를 합성할 수 있는 음악 음향 신호 생성 시스템을 제공하는 것에 있다.
임의의 악기 파트를 유저가 원하는 음색으로 변경할 수 있으면, 예컨대 록풍의 악곡을 구성하는 기타, 베이스, 키보드 등의 악기음을 바이올린, 우드 베이스, 피아노 등의 악기음으로 치환함으로써 유저는 그 악곡을 클래식풍으로 어레인지(arrange)해서 즐길 수 있다. 또한, 좋아하는 기타리스트가 연주한 악곡으로부터 기타 소리를 추출하고, 별도의 악곡의 기타 파트를 그 기타 소리로 치환함으로써 유저는 그 기타리스트에 여러가지의 프레이즈(phrase)를 연주시킬 수도 있다. 또한, 치환하는 대상음으로부터 중간음을 합성함으로써 음색 변경의 베리에이션이 넓어짐과 아울러 폭이 넓은 음악 감상이 가능하게 된다.
본원 제 1 발명의 기본적인 음악 음향 신호의 생성 시스템은 신호 추출 보존부와, 분리 음향 신호 분석 보존부와, 치환용 파라미터 보존부와, 치환 파라미터 작성 보존부와, 합성 분리 음향 신호 생성부와, 신호 가산부를 구비하고 있다.
신호 추출 보존부는 제 1 종류의 악기로부터 발생된 악기음을 포함하는 음악 음향 신호로부터 추출한 분리 음향 신호를 단음마다 보존하고, 또한 잔차 음향 신호를 보존한다. 분리 음향 신호는 제 1 종류의 악기로부터 발생된 악기음의 단음만을 포함하는 음향 신호이며, 잔차 음향 신호는 다른 악기의 음향 신호 등의 그 외의 음향 신호를 포함하는 것이다. 음악 음향 신호는 복수 종류의 악기의 음향 신호가 포함되는 혼합 음향 신호로부터 분리된 것이여도 처음부터 1개의 악기를 연주해서 얻은 단일 악기의 음향 신호이여도 좋다. 혼합 음향 신호로부터 음색 변경의 대상으로 하는 음향 신호를 분리하기 위해서는 공지의 음향 신호 분리 기술을 실행하는 음향 신호 분리부를 설치하면 좋다. 혼합 음향 신호로부터 음악 음향 신호를 분리할 경우에 상술한 비특허문헌 2에 이토야마 등이 제안한 분리 기술을 이용하면 다른 악기의 파트의 음향 신호도 전부 개별적으로 분리할 수 있고, 동시에 배음 피크ㆍ파라미터 등의 각종의 파라미터의 분석도 할 수 있다.
분리 음향 신호 분석 보존부는 단음마다의 분리 음향 신호를 적어도 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터[통상, 1단음당 n개(n차 배음분)의 배음 피크ㆍ파라미터가 있음]와 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 포함하는 복수의 파라미터(통상, 1단음당, 배음 피크의 개수분의 파워 엔벨로프ㆍ파라미터가 있음)에 의해 정식화된 조파(調波) 모델에 의해 표현하기 위해서 1음당의 복수의 파라미터를 분석해서 분리 음향 신호 중의 복수음의 단음에 대해서 각각 복수의 파라미터를 보존한다. 이러한 복수의 파라미터로 이루어지는 조파 모델에 대해서는 상술한 비특허문헌 2 및 PCT/JP2008/57310호(WO2008/133097: 특허문헌 1)에 상세하게 설명되어 있다. 또한 조파 모델은 적어도 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터와 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 포함하는 복수의 파라미터에 의해 구성되는 것이면 좋고, 특히 상기 비특허문헌 2에 기재된 조파 모델에 한정되는 것은 아니다. 예컨대, 조파 모델로서 배음 구조의 비조화성을 포함시킨 조파 모델을 이용하면 제 1 종류의 악기가 현악기인 경우에 있어서의 파라미터의 생성 정밀도를 향상시킬 수 있다. 현악기음의 배음 구조는 엄밀한 정수배를 취하지 않고 현의 스티프니스(stiffness)나 길이에 의해 각 배음 피크의 주파수가 약간 높아진다. 이것은 비조화성[인하모니시티(Inharmonicity)]이라고 불린다. 이 비조화성은 주파수가 높아질수록 영향이 커진다. 그래서 비조화성을 고려한 조파 모델을 이용하면 제 1 종류의 악기가 현악기인 경우에 배음 피크의 주파수의 높은 방향으로의 편차를 고려해서 파라미터를 정할 수 있다. 또한 이 비조화성을 고려한 조파 모델은 분석에 있어서 이용할뿐만 아니라 합성시에도 당연히 사용된다. 합성시에 조파 모델을 사용할 경우에는 배음 구조의 비조화성을 나타내는 변수(비조화도)는 음높이 의존 특징 함수를 이용해서 예측할 수 있다.
1개의 배음 피크ㆍ파라미터는 전형적으로는 주파수 방향으로 나타나는 배음 피크의 강도를 나타내는 실수로서 표현된다. 또한 파워 엔벨로프ㆍ파라미터는 n개의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 각각 포함되는 동일한 시간에 있어서의 배음 피크의 파워의 시간 방향(주파수가 동일하고 시간이 다른 복수의 배음 피크의 파워)의 변화를 나타내는 것이며, 상기 비특허문헌 2에 기재된 파워 엔벨로프ㆍ파라미터에 한정되는 것은 아니다. 동일한 악기 분류에 속하는 악기의 음향 신호이면 각 주파수에 있어서의 파워 엔벨로프ㆍ파라미터는 아주 닮은 형상이 된다. 예컨대, 피아노 및 타현 악기 등의 감쇠 악기의 단음의 파워 엔벨로프ㆍ파라미터의 형상은 크게 상승한 후에 감쇠하는 변화 패턴을 갖고 있다. 또한 트럼펫 및 취주 악기 등의 지속 악기의 단음의 파워 엔벨로프ㆍ파라미터의 형상은 상승부와 하강부 사이에 완만한 변화 부분을 가지는 변화 패턴을 갖고 있다. 또한 보존하는 배음 피크ㆍ파라미터 및 파워 엔벨로프ㆍ파라미터의 데이터 형식은 임의이다.
치환용 파라미터 보존부는 제 1 종류의 악기와는 다른 제 2 종류의 악기로부터 발생된 악기음의 음향 신호로부터 작성한 분리 음향 신호에 포함되는 모든 제 1 종류의 악기의 단음에 대응하는 제 2 종류의 악기로부터 발생된 복수의 단음의 음향 신호를 조파 모델에 의해 표현할 경우에 필요하게 되는 제 2 종류의 악기로부터 발생된 복수의 단음의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터를 보존한다. 제 2 종류의 악기로부터 발생된 복수의 단음의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터는 사전에 작성해도 좋다. 작성한 배음 피크ㆍ파라미터의 데이터 형식은 실수의 형식이여도 좋지만 함수의 형식이여도 좋고, 임의이다. 또한 제 2 종류의 악기로부터 발생된 악기음의 단음의 음향 신호는 신호 추출 보존부에 보존한 모든 단음에 대응하는 것을 준비할 필요는 없다. 적어도 제 2 종류의 악기로부터 발생된 악기음의 음향 신호로서 사용되는 단음 신호가 2단음분 있으면 보간법 등을 이용해서 그 외의 단음의 배음 피크ㆍ파라미터를 작성해도 좋다. 또한 사용 가능한 단음의 종류가 많을수록 그 외의 단음의 작성 정밀도를 높일 수 있는 것은 물론이다.
치환 파라미터 작성 보존부는 분리 음향 신호 분석 보존부에 보존된 제 1 종류의 악기의 단음마다의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크를 치환용 파라미터 데이터 보존부에 보존된 제 1 종류의 악기의 단음에 대응하는 제 2 종류의 악기의 단음의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크로 치환함으로써 치환 배음 피크ㆍ파라미터를 작성해서 보존한다. 치환 배음 피크ㆍ파라미터는 모든 배음 피크ㆍ파라미터가 제 2 종류의 악기의 악기음으로부터 얻어지는 배음 피크ㆍ파라미터에 의해 치환된 것이다.
합성 분리 음향 신호 생성부는 분리 음향 신호 분석 보존부에 보존된 배음 피크ㆍ파라미터를 제외한 다른 파라미터와 치환 파라미터 작성 보존부에 보존된 치환 배음 피크ㆍ파라미터를 이용해서 단음마다의 합성 분리 음향 신호를 생성한다. 그리고 신호 가산부는 합성 분리 음향 신호와 잔차 음향 신호를 가산해서 제 2 종류의 악기로부터 발생된 악기음의 음향 신호를 포함하는 음악 음향 신호를 출력한다.
본 발명에 의하면, 조파 모델을 구성하는 복수의 파라미터 중 음색에 관한 파라미터의 치환(변경)에 의해 음색의 변경(조작)을 할 수 있으므로 간단하게 각종의 악기 파트의 음색 변경을 실현할 수 있다. 또한 제 1 종류의 악기의 단음으로부터 얻어지는 파워 엔벨로프ㆍ파라미터의 변화 패턴과 제 2 종류의 악기의 단음으로부터 얻어지는 파워 엔벨로프ㆍ파라미터의 변화 패턴이 근사하고 있으면 음색의 변경 정밀도는 높아진다. 반대로 양자의 변화 패턴이 크게 다르면 음색은 바뀌지만 제 2 종류의 악기의 악기음은 제 1 종류의 악기의 분위기 또는 이미지가 남은 인상을 받는 음색의 변경이 된다. 이러한 음색의 변경도 유저에 따라서는 요망되는 경우가 있다. 음색의 변경 정밀도를 높이기 위해서는 파워 엔벨로프ㆍ파라미터의 변화 패턴이 공통된 악기간의 음색 변경을 실시하는 것이 바람직하다.
그래서 제 2 발명에서는 치환용 파라미터 보존부가 제 2 종류의 악기의 복수의 단음마다의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터 외에 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터도 보존한다. 그리고 치환 파라미터 작성 보존부는 치환 배음 피크ㆍ파라미터를 보존하는 것에 추가해서 분리 음향 신호 분석 보존부에 보존된 제 1 종류의 악기의 단음마다의 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 치환용 파라미터 보존부에 보존된 제 1 종류의 악기의 단음에 대응하는 제 2 종류의 악기의 단음에 대한 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터로 치환함으로써 작성한 치환 파워 엔벨로프ㆍ파라미터를 보존한다. 또한 이 치환에서는 시간 방향의 길이를 일치시킬 필요가 있을 때에는 제 2 종류의 악기의 파워 엔벨로프ㆍ파라미터와 분리 음향 신호의 파워 엔벨로프ㆍ파라미터의 온셋(onset)과 오프셋(offset)이 맞도록 파워 엔벨로프를 신축시켜서 치환을 행한다. 또한 이 음장 조작에 관해서는 비특허문헌 3에 기재되어 있다.
그리고 합성 분리 음향 신호 생성부는 분리 음향 신호 분석 보존부에 보존된 배음 피크ㆍ파라미터 및 파워 엔벨로프ㆍ파라미터를 제외한 다른 파라미터와 치환 파라미터 작성 보존부에 보존된 치환 배음 피크ㆍ파라미터 및 치환 파워 엔벨로프ㆍ파라미터를 이용해서 단음마다의 합성 분리 음향 신호를 생성한다. 그 외에는 제 1 발명과 동일하다. 이렇게 하면 배음 피크의 치환뿐만 아니라 제 1 악기의 단음으로부터 얻어지는 파워 엔벨로프ㆍ파라미터의 변화 패턴으로 변해서 제 2 종류의 악기의 단음으로부터 얻어지는 파워 엔벨로프ㆍ파라미터의 변화 패턴을 이용하게 되므로 음색의 변화의 정밀도를 높일 수 있다.
제 3 발명에서는 제 2 발명의 요건에 추가해서 제 1 종류의 악기와 제 2 종류의 악기가 동일한 악기 분류에 속하는지의 여부를 판정하는 악기 분류 판정부를 더 구비하고 있다. 제 3 발명에서 이용하는 합성 분리 음향 신호 생성부는 악기 분류 판정부가 제 1 종류의 악기와 제 2 종류의 악기가 동일한 악기 분류에 속하는 것으로 판정했을 때에는, 제 1 발명과 마찬가지로, 분리 음향 신호 분석 보존부에 보존된 배음 피크ㆍ파라미터를 제외한 다른 파라미터와 치환 파라미터 작성 보존부에 보존된 치환 배음 피크ㆍ파라미터를 이용해서 단음마다의 합성 분리 음향 신호를 생성한다. 또한 합성 분리 음향 신호 생성부는 악기 분류 판정부가 제 1 종류의 악기와 제 2 종류의 악기가 다른 악기 분류에 속하는 것으로 판정했을 때에는 분리 음향 신호 분석 보존부에 보존된 배음 피크ㆍ파라미터 및 파워 엔벨로프ㆍ파라미터를 제외한 다른 파라미터와 치환 파라미터 작성 보존부에 보존된 치환 배음 피크ㆍ파라미터 및 치환 파워 엔벨로프ㆍ파라미터를 이용해서 단음마다의 합성 분리 음향 신호를 생성한다. 이렇게 하면 제 2 종류의 악기가 어떤 것이여도 자동적으로 최적의 음색 변경을 행할 수 있다.
또한, 제 3 발명에서는 악기 분류 판정부를 설치하는 것에 추가해서 분리 음향 신호 분석 보존부가 단음마다의 분리 음향 신호 중의 비조파(非調波) 성분 분포 파라미터를 분석해서 보존하는 기능을 구비하고 있어도 좋다. 이 경우, 치환 파라미터 작성 보존부는 분리 음향 신호 분석 보존부에 보존된 제 1 종류의 악기의 단음마다의 비조파 성분 분포 파라미터를 치환용 파라미터 보존부에 보존된 제 1 종류의 악기의 단음에 대응하는 제 2 종류의 악기의 단음의 비조파 성분 분포 파라미터로 치환함으로써 작성한 치환 비조파 성분 분포 파라미터(제 1 악기의 단음의 온셋에 맞추어진 제 2 악기의 단음의 비조파 성분 분포 파라미터)를 더 보존하게 된다. 그리고 합성 분리 음향 신호 생성부는 분리 음향 신호 분석 보존부에 보존된 배음 피크ㆍ파라미터, 파워 엔벨로프ㆍ파라미터 및 비조파 성분 분포 파라미터를 제외한 다른 파라미터와 치환 파라미터 작성 보존부에 보존된 치환 배음 피크ㆍ파라미터, 치환 파워 엔벨로프ㆍ파라미터 및 치환 비조파 성분 분포 파라미터를 이용해서 단음마다의 합성 분리 음향 신호를 생성하도록 구성하게 된다. 이렇게 하면 비조파 성분도 고려해서 음색의 변경을 행할 수 있으므로 더욱 음색의 변경(조작) 정밀도가 높아진다. 단, 비조파 성분 분포 파라미터는 음색의 조작에 대한 영향도가 낮기 때문에 반드시 고려할 필요는 없다. 또한 비조파 성분 분포 파라미터의 치환을 하기 위해서는 분리 음향 신호에 조파 성분뿐만 아니라 비조파 성분도 포함할 필요가 있다. 그래서 비조파 성분 분포 파라미터를 취급할 경우에는 상기 비특허문헌 2에 기재된 조파 모델ㆍ비조파 모델 통합 모델을 이용하는 것이 필요하게 된다. 또한 음악 음향 신호가 혼합음이 아니라 1종류의 악기의 단음만으로 구성되어 있을 경우에는 잔차 음향 신호 그 자체를 비조파 성분으로 간주할 수 있으므로 상기 비특허문헌 2에 기재된 조파 모델ㆍ비조파 모델 통합 모델을 이용하지 않고 비조파 성분 분포 파라미터의 치환을 적용할 수 있다.
또한, 치환용 파라미터 보존부는 제 2 종류의 악기로부터 발생된 악기음의 음향 신호의 복수 종류의 단음마다의 비조파 성분 분포 파라미터를 보존하는 기능을 더 구비하고 있다. 치환용 파라미터 보존부는 파라미터 분석 보존부와 파라미터 보간 생성 보존부를 구비해서 구성해도 좋다. 파라미터 분석 보존부는 제 2 종류의 악기로부터 발생된 악기음의 음향 신호로부터 얻은 복수 종류의 단음마다의 분리 음향 신호를 조파 모델에 의해 표현할 경우에 필요하게 되는 제 2 종류의 악기로부터 발생되는 복수 종류의 단음마다의 적어도 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터를 분석해서 보존한다. 또한 제 2 종류의 악기로부터 발생되는 복수 종류의 단음에 대한 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터는 사전에 분석함으로써 얻은 배음 피크ㆍ파라미터와 함께 파라미터 분석 보존부에 보존하고 있다. 또한 파라미터 분석 보존부에는 비조파 성분 분포 파라미터를 보존하고 있다. 그리고 파라미터 보간 생성 보존부는 파라미터 분석 보존부에 보존한 복수 종류의 단음에 대한 배음 피크ㆍ파라미터 및 파워 엔벨로프ㆍ파라미터에 의거해서 분리 음향 신호에 포함되는 모든 단음에 대응하는 제 2 종류의 악기로부터 발생되는 복수의 단음 중 복수 종류의 단음 이외의 단음에 대한 음향 신호를 조파 모델에 의해 표현할 경우에 필요하게 되는 제 2 종류의 악기의 복수의 단음마다의 배음 피크ㆍ파라미터 및 상기 파워 엔벨로프ㆍ파라미터를 보간법을 이용해서 생성해서 보존한다. 이와 같은 구성을 채용하면 제 2 종류의 악기의 단음의 데이터가 적은 경우에도 치환에 필요한 파라미터를 얻을 수 있다. 또한 파라미터 분석 보존부는 분석에 의해 얻어진 상기 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 대표 파워 엔벨로프ㆍ파라미터로서 보존해도 좋다. 또한 치환용 파라미터 보존부는 파라미터 분석 보존부 및 파라미터 보간 생성 보존부에 보존된 데이터에 의거해서 제 2 종류의 복수의 단음마다의 배음 피크ㆍ파라미터를 음높이 의존 특징 함수로서 보존하는 함수 생성 보존부를 더 구비해도 좋다. 이 경우에는, 치환 파라미터 작성 보존부는 제 2 종류의 악기의 단음의 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크를 음높이 의존 특징 함수로부터 취득하도록 구성하는 것이 바람직하다. 이렇게 하면 보존 데이터의 데이터량을 적게 할 수 있다. 또한 함수화함으로써 복수의 학습 데이터의 분석시의 오차를 경감하는 것이 기대된다.
분리 음향 신호 분석 보존부가 분석하는 복수의 파라미터에는 음높이에 관한 음높이 파라미터와 음장에 관한 음장 파라미터(또한 음장 파라미터는 파워 엔벨로프ㆍ파라미터를 포괄함)가 포함되어 있을 경우에는 음높이 파라미터를 조작하는 음높이 조작부와, 음장 파라미터를 조작하는 음장 파라미터 조작부를 더 구비하고 있는 것이 바람직하다. 이들 2개의 조작부를 구비하고 있으면 음색의 변경(조작) 외에 음높이, 음장의 변경(조작)도 행할 수 있다.
분리 음향 신호 분석 보존부가 분석하는 복수의 파라미터가 제 1 종류의 악기로부터 발생된 모든 단음에 대해서 각각 별개로 얻어지는 경우에는 악보 구조와 음향 특징 사이의 대응을 기초로 임의의 구조의 악보의 각 단음에 대한 음높이 파라미터, 음장 파라미터, 및 음색에 관한 파라미터를 구성하기 위한 악보 조작부를 구비하는 것이 가능하다.
악보 조작부는 「유사한 구조의 악보는 유사한 음으로 연주된다」라는 가정을 기초로 제 1 종류의 악기에 의해 연주된 악보상의 각 단음에 대응하는 음높이 파라미터, 음장 파라미터, 및 음색에 관한 파라미터 전부를 이용해서 유저가 지정하는 임의의 악보 구조 중의 각 단음에 어울리는 음높이 파라미터, 음장 파라미터, 및 음색에 관한 파라미터를 생성한다. 여기서의 「어울림」은 주목하고 있는 단음의 전후의 단음과의 음높이 차로부터 정의된다.
그래서, 본 발명의 음악 음향 신호 생성 시스템에서는 제 1 종류의 악기 또는 제 2 종류의 악기를 이용해서 연주했을 때에 제 1 종류의 악기 또는 제 2 종류의 악기로부터 발생되는 악기음의 음향 신호를 분리 음향 신호 분석 보존부에 보존된 단음마다의 복수의 파라미터를 이용해서 생성하기 위한 조작을 행하는 악보 조작부를 더 구비하고 있어도 좋다. 악보 조작부는 다른 악보의 악보 구조 중의 각 단음에 어울리는 음높이에 관한 음높이 파라미터, 음장에 관한 음장 파라미터 및 조파 모델을 구성하는 파라미터 중 음색에 관한 파라미터를 생성하도록 구성되어 있다.
악보 조작부의 기능은 음높이 조작부 및 음장 조작부를 포함하고 있지만, 유저가 지정하는 임의의 악보 구조가 제 1 종류의 악기에 의해 연주되고 있었던 악보와 유사한 경우, 음높이 조작부 및 음장 조작부의 기능에 의해 유저가 지정하는 임의의 악보 구조 중의 각 단음의 음높이 파라미터 및 음장 파라미터를 변경한 쪽이 높은 정밀도에 의한 조작이 가능하기 때문에, 악보 조작부의 기능은 필요에 따라 음높이 조작부 및 음장 조작부의 기능과 구별해서 사용하는 것이 바람직하다.
도 1은 본 발명의 실시형태의 음악 음향 신호 생성 시스템을 컴퓨터를 이용해서 실현할 경우의 구성예를 나타내는 블록도이다.
도 2는 분리 음향 신호 및 치환에 이용하는 치환 음향 신호의 파라미터 분석을 설명하기 위해서 이용하는 도면이다.
도 3은 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터를 포함하는 주파수 엔벨로프의 일례를 나타내는 도면이다.
도 4는 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터(시간 엔벨로프)의 일례를 나타내는 도면이다.
도 5는 본 발명의 실시형태의 일례로서의 음악 음향 신호 생성 시스템의 구성을 나타내는 블록도이다.
도 6은 주파수 엔벨로프의 조작을 나타내는 도면이다.
도 7(A) 내지 도 7(D)는 트럼펫의 제 1 차 배음, 제 4 차 배음, 제 10 차 배음의 상대 강도, 및 조파 성분과 비조파 성분의 에너지비의 음높이 특징 의존 함수를 나타내는 도면이다.
도 8은 시간 엔벨로프의 조작을 설명하기 위해서 이용하는 도면이다.
도 9는 음높이 궤적의 조작을 설명하기 위해서 이용하는 도면이다.
도 10(A) 내지 도 10(C)는 배음 피크간의 상대 강도, 시간 방향의 파워 엔벨로프ㆍ파라미터 및 비조파 성분의 분포의 예를 나타내는 도면이다.
도 11은 도 5에 나타낸 실시형태를 구체적으로 컴퓨터를 이용해서 실현할 경우에 이용하는 컴퓨터 프로그램의 일례의 알고리즘을 나타내는 플로우 차트이다.
도 12는 파라미터 보존부의 구체적인 구성을 나타내는 도면이다.
도 13은 음높이 의존 특징 함수에 의한 치환 파라미터의 생성을 설명하기 위해서 이용하는 도면이다.
도 14는 피크의 상대 강도로부터의 스펙트럼 포락의 도출을 설명하기 위해서 이용하는 도면이다.
도 15는 학습용 특징량을 보간법을 이용해서 생성할 경우의 식을 설명하기 위해서 이용하는 도면이다.
도 16은 동기 파워 엔벨로프ㆍ파라미터 En(r)을 얻는 것을 설명하기 위해서 이용하는 도면이다.
도 17은 파워 엔벨로프ㆍ파라미터의 보간의 개요도이다.
도 18은 음악 음향 신호 내의 단음의 온셋으로 동기를 취하는 것을 나타내는 도면이다.
도 19는 비조파 성분 분포 파라미터의 보간의 개요도이다.
도 20은 악보 조작의 개요를 설명하기 위해서 이용하는 도면이다.
도 21은 악보 조작의 개요를 나타내는 도면이다.
도 2는 분리 음향 신호 및 치환에 이용하는 치환 음향 신호의 파라미터 분석을 설명하기 위해서 이용하는 도면이다.
도 3은 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터를 포함하는 주파수 엔벨로프의 일례를 나타내는 도면이다.
도 4는 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터(시간 엔벨로프)의 일례를 나타내는 도면이다.
도 5는 본 발명의 실시형태의 일례로서의 음악 음향 신호 생성 시스템의 구성을 나타내는 블록도이다.
도 6은 주파수 엔벨로프의 조작을 나타내는 도면이다.
도 7(A) 내지 도 7(D)는 트럼펫의 제 1 차 배음, 제 4 차 배음, 제 10 차 배음의 상대 강도, 및 조파 성분과 비조파 성분의 에너지비의 음높이 특징 의존 함수를 나타내는 도면이다.
도 8은 시간 엔벨로프의 조작을 설명하기 위해서 이용하는 도면이다.
도 9는 음높이 궤적의 조작을 설명하기 위해서 이용하는 도면이다.
도 10(A) 내지 도 10(C)는 배음 피크간의 상대 강도, 시간 방향의 파워 엔벨로프ㆍ파라미터 및 비조파 성분의 분포의 예를 나타내는 도면이다.
도 11은 도 5에 나타낸 실시형태를 구체적으로 컴퓨터를 이용해서 실현할 경우에 이용하는 컴퓨터 프로그램의 일례의 알고리즘을 나타내는 플로우 차트이다.
도 12는 파라미터 보존부의 구체적인 구성을 나타내는 도면이다.
도 13은 음높이 의존 특징 함수에 의한 치환 파라미터의 생성을 설명하기 위해서 이용하는 도면이다.
도 14는 피크의 상대 강도로부터의 스펙트럼 포락의 도출을 설명하기 위해서 이용하는 도면이다.
도 15는 학습용 특징량을 보간법을 이용해서 생성할 경우의 식을 설명하기 위해서 이용하는 도면이다.
도 16은 동기 파워 엔벨로프ㆍ파라미터 En(r)을 얻는 것을 설명하기 위해서 이용하는 도면이다.
도 17은 파워 엔벨로프ㆍ파라미터의 보간의 개요도이다.
도 18은 음악 음향 신호 내의 단음의 온셋으로 동기를 취하는 것을 나타내는 도면이다.
도 19는 비조파 성분 분포 파라미터의 보간의 개요도이다.
도 20은 악보 조작의 개요를 설명하기 위해서 이용하는 도면이다.
도 21은 악보 조작의 개요를 나타내는 도면이다.
이하, 본 발명을 실시하기 위한 형태(이하 「실시형태」라고 한다.)를 상세하게 설명한다. 도 1은 본 발명의 실시형태의 음악 음향 신호 생성 시스템을 컴퓨터(10)를 이용해서 실현할 경우의 구성예를 나타내는 블록도이다. 컴퓨터(10)는 CPU(Central Processing Unit)(11)와, DRAM 등의 RAM(Random Access Memory)(12)과, 하드디스크 드라이브(이하, 「하드디스크」라고 한다.), 그 외의 대용량 기억 수단(13)과, 플렉시블 디스크 드라이브 또는 CD-ROM 드라이브 등의 외부 기억부(14)와, LAN(Local Area Network) 또는 인터넷 등의 통신 네트워크(20)와의 통신을 행하는 통신부(18)를 구비한다. 또한, 컴퓨터(10)는 키보드 또는 마우스 등의 입력부(15)와, 액정 디스플레이 등의 표시부(16)를 구비하고 있다. 또한, 컴퓨터(10)는 MIDI 음원 등의 음원(17)을 탑재하고 있다.
CPU(11)는 파워 스펙트럼의 분리 처리와 갱신 모델 파라미터의 파라미터의 추정(모델 적응) 처리와, 음색 변경(조작) 처리를 행하기 위한 각 스텝을 실행하는 계산 수단으로서 동작한다.
음원(17)은 후술하는 입력 음향 신호를 구비하고 있다. 또한 음원 분리를 행하기 위한 입력 음향 신호와 시간적으로 동기한 표준 MIDI 파일(Standard MIDI File, 이하 「SMF」라고 한다.)을 악보 정보 데이터로서 구비하고 있다. SMF는 CD-ROM 등이나 통신 네트워크(20)를 통해서 하드디스크(13)에 기록된다. 또한, 「시간적으로 동기한」이란 SMF 중의 각 악기 파트의 단음[악보의 음부(音符)에 상당하는 것]의 온셋 시각(발음 시각)과 음장이 실제의 입력 악곡의 음향 신호에 있어서의 각 악기 파트의 단음과 완전하게 동기하고 있다는 것이다.
또한, MIDI 신호의 기록, 편집, 재생 등은 시퀀서, 또는 시퀀스 소프트웨어(도시를 생략함)로 행해진다. 여기서 MIDI 신호는 MIDI 파일로서 취급된다. SMF는 MIDI 음원의 연주 데이터를 기록하기 위한 기본 파일 포맷이다. SMF는 다른 시퀀서, 또는 시퀀스 소프트웨어간에서의 MIDI 파일의 호환성을 유지하는 통일 규격인 "chunk"라고 불리는 데이터 단위로 구성되어 있다. SMF 포맷화된 MIDI 파일 데이터의 이벤트로서는 크게 나누어 미디ㆍ이벤트(MIDI Event), 시스템ㆍ익스클루시브ㆍ이벤트(SysEx Event), 그리고 메타ㆍ이벤트(Meta Event)의 3종류가 있다. 미디ㆍ이벤트에는 연주 데이터 그 자체가 나타내어져 있다. 시스템ㆍ익스클루시브ㆍ이벤트에는 주로 MIDI의 시스템ㆍ익스클루시브ㆍ메시지가 나타내어져 있다. 시스템ㆍ익스클루시브ㆍ메시지는 특정의 악기에밖에 없는 정보를 교환하거나 특별한 비음악 정보, 이벤트 정보 등을 전달하기 위해서 이용된다. 메타ㆍ이벤트에는 템포나 박자 등의 연주 전체의 정보나, 시퀀서나 시퀀스 소프트가 이용하는 가사나 저작권 정보 등의 부가적인 정보가 나타내어져 있다. 모든 메타ㆍ이벤트는 0xFF에서 시작되고, 이어서 이벤트ㆍ타입을 나타내는 바이트가 계속되고, 또한 데이터 길이 및 데이터 자체가 계속된다. MIDI 연주 프로그램, 자기를 인식할 수 없는 메타ㆍ이벤트를 무시하도록 설계되어 있다. 또한, 각 이벤트에는 그 이벤트를 실행하는 시간적 타이밍에 관한 타이밍 정보가 부가되어 있다. 이 타이밍 정보는 직전의 이벤트의 실행으로부터의 시간차로 나타내어져 있다. 예컨대, 이 타이밍 정보가 "0"일 때는 직전의 이벤트와 동시에 이 타이밍 정보가 부가된 이벤트가 실행되게 된다.
일반적으로, MIDI 규격을 이용한 음악 재생에서는 각종 신호, 악기 고유의 음색을 모델화하고, 그 데이터를 격납한 음원을 각종 파라미터로 제어하는 시스템을 취하고 있다. 그리고, SMF의 각 트랙은 각각의 악기 파트에 대응하고 있고, 각 악기 파트마다의 분리 신호가 포함되어 있다. 또한, SMF에는 음높이와 온셋 시각과 음장 또는 오프셋 시각과 악기 라벨 등의 정보가 포함되어 있다.
따라서, SMF가 주어져 있으면 이것을 MIDI 음원으로 연주함으로써 입력되는 음향 신호 중의 각 단음에 어느 정도 가까운 소리의 샘플(이것을, 「템플릿 음」이라고 한다.)을 생성할 수 있다. 템플릿 음으로부터 소정 악기로부터 생기는 단음에 대응한 표준적인 파워 스펙트럼에 의해 표현된 데이터의 템플릿을 작성할 수 있다.
템플릿 음 또는 템플릿은 실제의 입력 음향 신호의 단음 또는 단음의 파워 스펙트럼과는 완전하게는 동일하지 않고, 반드시 음향적인 차이가 있다. 그 때문에 템플릿 음 또는 템플릿을 그대로 분리음 또는 분리를 위한 파워 스펙트럼으로서 사용할 수는 없다. 비특허문헌 2에 이토야마 등이 제안한 음원 분리 시스템을 이용하면 단음의 갱신 파워 스펙트럼이 후술하는 초기 파워 스펙트럼에 가까운 상태로부터 입력 음향 신호로부터 분리된 단음의 최신의 파워 스펙트럼에 가까운 상태로 서서히 근접하는 학습(이것을 「모델 적응」이라고 말한다.)을 행함으로써 갱신 모델 파라미터에 포함되는 복수의 파라미터를 최종적으로 바람직한 형태로 수속시킬 수 있고, 분리가 가능하게 된다. 또한 음원 분리 시스템에 대해서는 그 외의 기술을 이용할 수 있는 것은 물론이다.
구체적인 실시형태의 설명을 하기 전에 본 명세서 중에서 사용하는 음색 특징을 표현하는 음색 특징량을 정의하고, 음악 음향 신호(악기음)의 분석 및 합성에 이용하는 조파ㆍ비조파 통합 모델에 대해서 설명한다.
[음색 특징량의 정의]
소정 악기 개체의 실제의 음이 몇개 얻어져 있을 때, 그들을 원래대로 하여 동일 개체의 임의의 음높이ㆍ음장을 가지는 음, 및 복수의 음색 특징을 함유하는 음을 합성함으로써 합성음이 얻어진다. 이 때 중요한 점은 음색 특징이 왜곡되지 않도록 하는 것이다. 예컨대, 소정 음높이를 가지는 악기음으로부터 음장 조작에 의해 다른 음높이를 가지는 음을 합성했을 때, 이들 음 동일한 악기 개체로부터 발생되어 있는 것으로 느껴져야만 한다.
음색의 음향 특징의 왜곡을 억제하여 악기음을 합성하기 위해서 이하의 3개의 특징량을 정의한다.
(i) 배음 피크간의 상대 강도(배음 피크ㆍ파라미터)
(ii) 비조파 성분의 분포(비조파 성분 분포 파라미터)
(iii) 시간 방향 엔벨로프(파워 엔벨로프ㆍ파라미터)
음향 심리학의 분야에서는 음색의 청감상의 지각의 차는 주로 (i) 고주파수 영역에서의 배음 피크의 유무, (ii) 발음시에 발생하는 비조파 성분, (iii) 각 피크의 시간 방향에 있어서의 진폭의 변동의 세가지에 기인하는 경향이 있는 것으로 지적되어 있다. 상기의 음색 특징량은 이들 지견에 각각 대응한다.
도 2에 분리 음향 신호 및 치환에 이용하는 치환 음향 신호의 파라미터 분석을 설명하기 위해서 이용하는 도면이다. 상술한 특징량 (i) 및 (iii)는 조파 성분에 관한 것, 특징량 (ii)는 비조파 성분에 관한 것이다. 복수의 실제의 단음이 주어지면 우선 각 실제의 단음의 조파 성분과 비조파 성분을 분리 후, 각 특징량을 분석하게 된다.
본 실시형태에서는 음색 특징량을 분석하기 위해서 비특허문헌 2에 나타내어진 이토야마 등이 개발한 조파ㆍ비조파 통합 모델을 확장한다. 또한 비특허문헌 2에 나타내어진 조파ㆍ비조파 통합 모델을 그대로 이용해도 좋은 것은 물론이다. 확장한 부분을 이하에 서술한다.
A. 인하모니시티(비조화성)의 포함
현악기 음의 배음 구조는 엄밀한 정수배를 취하지 않고, 현의 스티프니스나 길이에 의해 각 배음 피크의 주파수가 약간 높아진다. 이것은 비조화성(인하모니시티)이라고 불린다. 이것을 분석할 수 있도록 배음 피크의 주파수축에서의 배치 간격에 인하모니시티의 이론식을 적용했다.
B. 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터의 실수 표현
피아노 음이나 기타 음이라는 급차(急차)한 상승을 가지는 악기음의 파워 엔벨로프ㆍ파라미터를 상세하게 분석하기 위해서 가우스 함수의 선형가산으로 표현되어 있는 파워 엔벨로프ㆍ파라미터를 실수로 표현했다.
본 실시형태에서는 상기 확장한 조파ㆍ비조파 통합 모델을 이용해서 조파 성분과 비조파 성분을 명시적으로 나누어 취급한다. 즉, 단음의 스펙트로그램 M(f,r)에 대해서 조파 성분에 대응하는 모델 M(H)(f,r)과 비조파 성분에 대응하는 모델 M(I)(f,r)을 ω(H) 및 ω(I)로 가중한 혼합 모델을 다음 식과 같이 표현한다.
[수 1]
여기서, f와 r은 각각 파워 스펙트럼에 있어서의 주파수와 시간을 나타낸다. 또한, Σf,rM(I)(f,r)dfdr=1 이라는 제약의 부여에 의해 무게 ω(I)는 비조파 성분의 에너지라고 생각할 수 있고, ω(I)M(I)(f,r)은 비조파 성분의 스펙트로그램 그 자체를 의미한다. 한편, M(H)(f,r)은 각 배음 n에 대한 파라메트릭 모델의 가중 혼합 모델로서 표현된다.
[수 2]
여기서, Fn(f,r) 및 En(r)은 도 3과 도 4에 나타내는 바와 같은 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터가 1요소로서 포함되는 주파수 엔벨로프 및 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터(파워 엔벨로프ㆍ파라미터)를 포함하는 모델로 되어 있다. 또한 vn이 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 대응한다. 또한 비조파 모델 ω(I)M(I)(f,r)이 비조파 성분 분포 파라미터에 대응한다. 그리고 Fn(f,r)은 혼합 정규 분포를 구성하는 하나의 요소의 정규 분포에 혼합비를 곱한 것으로서 표현된다.
[수 3]
여기서, σ는 배음 피크의 주파수 방향으로의 분산, vn은 Σnvn =1을 만족하는 무게이며, 이것이 배음 피크ㆍ파라미터이다. μn(r)은 n차 배음 피크의 주파수 궤적이며, 다음 식의 인하모니시티의 이론식에 의거해서 음높이 궤적 μ(r)과 비조화성을 포함시키기 위한 비조화도 B로부터 다음 식과 같이 표현된다.
[수 4]
여기서 비조화성은 현악기 음의 배음 피크 특유의 성질이며, 현의 장력, 경도, 길이에 의해 비조화도 B가 변하게 된다. 비조화성을 갖는 배음 피크가 발생하는 주파수는 상기 식으로부터 구할 수 있다. 주목할 점은 비조화도 B를 0으로 하면 μn(r)= nμ(r)이 되고, 비조화성의 유무를 비조화도 B라는 파라미터로 표현할 수 있는 것이다. 그래서 비조화성을 표현할 수 있도록 조파 모델을 확장함으로써 분석 정밀도(모델 적응의 정밀도)와 합성시의 음질(분석음의 재현 정밀도) 양쪽을 높일 수 있다. 그래서 비조화성을 표현할 수 있도록 확장된 조파 모델을 이용하면 후술하는 분리 음향 신호 분석 보존부(3) 및 치환용 파라미터 보존부(4)에 있어서 보다 정확한 배음 피크의 분석을 제공할 수 있다. 또한 기본적으로는 종래와 같은 조파 모델(비조화도 B가 0인 모델)을 이용하여도 본 발명의 효과가 얻어지는 것은 물론이다. 또한 비조화성은 음높이 의존성을 가지고 있다. 그 때문에 음높이가 다른 악기음(분리 음향 신호)의 음높이 조작 및 음색 조작을 행할 경우에는 후술하는 치환 파라미터 작성 보존부(6)에 있어서 음높이 의존 특징 함수로부터 예측한 비조화도를 이용하는 것이 바람직하다. n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터(파워 엔벨로프ㆍ파라미터) En(r)은 ∫En(r)dr=1을 만족하는 함수이다. 이 통합 모델에 있어서 상술한 음색 특징량 (i), (ii) 및 (iii)은 각각 vn, ω(I)M(I)(f,r) 및 En(r)(치환되는 파라미터)에 대응한다. 이들 요구하는 방법은 뒤에 상세하게 설명한다. 또한 파워 엔벨로프ㆍ파라미터는 정현파 중첩 모델에서 취급되는 진폭 엔벨로프와는 달리 각 배음 피크의 시간 방향의 에너지의 분포를 나타낸다.
C. 악기음의 합성
조파 성분에 대응하는 조파 신호 sH(t)를 합성하기 위해서는 특징량 (i) 및 (iii)를 파라미터로 하는 정현파 중첩 모델을 이용한다. 비조파 성분에 대응하는 비조파 신호 sI(t)를 합성하기 위해서는 특징량 (ii)를 입력으로 하는 오버랩 가산법을 이용한다. 각각에 합성된 조파 신호와 비조파 신호를 이하와 같이 서로 겹치게 함으로써 최종적인 악기음 s(t)를 합성한다.
[수 5]
여기서, t는 신호의 샘플 번지를 나타낸다.
도 5는 상기에 설명한 확장한 조파ㆍ비조파 통합 모델을 이용하는 본 발명의 실시형태의 일례로서의 음악 음향 신호의 생성 시스템의 구성을 나타내는 블록도이다. 이 음악 음향 신호의 생성 시스템은 음향 신호 분리부(1)와, 신호 추출 보존부(2)와, 분리 음향 신호 분석 보존부(3)와, 치환 파라미터 작성 보존부(4)와, 악기 분류 판정부(5)와, 치환용 파라미터 보존부(6)와, 합성 분리 음향 신호 생성부(7)와, 신호 가산부(8)와, 음높이 조작부(9A)와, 음장 조작부(9B)를 구비하고 있다.
음향 신호 분리부(1)에서는 상술한 확장한 조파ㆍ비조파 통합 모델을 이용해서 혼합 음악 음향 신호로부터 각 음악 파트의 음악 음향 신호를 분리한다. 조파ㆍ비조파 통합 모델을 이용할 경우에 문제가 되는 것은 앞에 나타낸 통합 모델에 있어서의 미지 파라미터 ω(H), ω(I), Fn(f,r), En(r), vn, μ, (r)σ, M(I)(f,r)을 추정하는 것이다. 그 때문에, 비특허문헌 2의 저자이며 본원 발명자의 한 사람인 이토야마 등은 통합 모델의 단음의 스펙트로그램과의 Kullback-Leibler Divergence를 감소시키도록 파라미터를 반복 갱신하는 방법을 제안하고 있다. 이 반복 과정은 Expectation-Maximization 알고리즘이며, 효율적으로 파라미터를 추정할 수 있다. 구체적으로는 이하의 비용 함수 J를 최소화함으로써 본 실시형태에서 이용하는 모델이 단음의 스펙트로그램에 적응된다.
[수 6]
여기서, M￣(I)(f,r)은 주파수 방향에서 평활화한 비조파 모델이다. 비조파 모델은 매우 높은 자유도를 가지기 때문에 조파 모델로 표현해야 할 조파 구조까지도 과잉으로 적응한다. 이 비조파 모델의 과잉 적응을 방지하기 위해서 평활화한 비조파 모델과의 거리를 비용 함수에 가산한다. E￣(r)은 각 배음 피크마다 평균한 파워 엔벨로프ㆍ파라미터이다. 각 배음 피크의 파워가 배음 피크간의 상대 강도와 파워 엔벨로프ㆍ파라미터라는 벡터량 및 조파 에너지라는 스칼라량의 적산에 의해 표현된다. 그러나, 약소한 피크로의 모델 적응시에 배음 피크간의 상대 강도가 0에 가까워지기 때문에 파워 엔벨로프ㆍ파라미터가 매우 높은 자유도를 가지게 된다. 이 때문에, 음높이 조작시, 음높이 의존 특징 함수에 의해 약소했던 피크의 배음 피크간의 상대 강도가 강해졌을 때에 고조파 성분에 있어서 강한 왜곡이 발생한다. 이 약소 피크로의 파워 엔벨로프ㆍ파라미터의 과잉 적응을 방지하기 위해서 평균화한 파워 엔벨로프ㆍ파라미터와의 거리를 비용 함수에 가산한다. λ(v)와 λ(En)은 각각 vn과 En(r)에 대응하는 라그랑주(Lagrange)의 미정승수항이다. β(I)와 β(E)는 각각 비조파 성분과 파워 엔벨로프ㆍ파라미터로의 제약 무게로 한다. Sn(H)(f,r)과 S(I)(f,r)은 각각 분리된 각 피크의 성분과 비조파 성분이다. 이들의 분리는 다음 식과 같이 분배 함수 Dn(H)(f,r)과 D(I)(f,r)을 각각 적산함으로써 행해진다.
[수 7]
분리에 이용되는 분배 함수는 모델의 파라미터를 고정해서 비용 함수 J를 최소화함으로써 구해지고, 다음 식과 같은 방정식으로 도출된다.
[수 8]
단, 이 때 최소화에 있어서 이하의 제약을 설정한다.
[수 9]
또한, 상술한 비조파 성분의 자유도의 높이를 제한하기 위해서 다음 식과 같이 비조파 성분의 분리에 이용하는 분배 함수에 제약 무게 0≤γ≤1을 적산한다.
[수 10]
제약 무게 γ는 반복 과정의 초기에 있어서는 낮은 값이 배정되고, 서서히 1에 가까워지도록 갱신된다. 음향 신호 분리부(1)에서 상기의 모델을 이용해서 각 악기 파트를 구성하는 악기음의 음향 신호의 분리(분리 음향 신호의 생성)와 동시에, 단음마다의 분리 음향 신호로부터 상기 파라미터를 추정한다. 그 결과, 상기 모델을 이용했을 경우에는 음향 신호 분리부(1), 신호 추출 보존부(2) 및 분리 음향 신호 분석 보존부(3)의 대부분이 실현된다. 상기 모델을 이용하지 않을 경우 음향 신호 분리부(1)에서는 공지의 분리 기술을 이용해서 음악 음향 신호를 분리하게 된다. 파라미터를 추정함으로써 1개의 음악 음향 신호의 분리가 완료된다.
음향 신호 분리부(1)에서 음악 음향 신호를 분리한 후, 신호 추출 보존부(2)는 음향 신호 분리부(1)에 있어서 분리한 제 1 종류의 악기로부터 발생된 악기음을 포함하는 음악 음향 신호로부터 추출한 분리 음향 신호를 단음마다 보존하고 또한 잔차 음향 신호를 보존한다. 전술한 바와 같이, 비특허문헌 2의 분리 기술을 이용할 경우에는 분리 음향 신호와 잔차 음향 신호의 분리ㆍ추출을 행하고 있다. 또한 음악 음향 신호는 본 실시형태와 같이 음향 신호 분리부(1)를 이용해서 복수 종류의 악기의 악기음이 포함되는 혼합 음향 신호로부터 분리된 것이여도 음향 신호 분리부(1)를 이용하지 않고 처음부터 1개의 악기를 연주해서 얻은 단일 악기의 음악 음향 신호이여도 좋다. 또한 본 실시형태와 같이, 혼합 음향 신호로부터 분리한 음악 음향 신호를 이용할 경우에는 음향 신호 분리부(1)에서 분리한 다른 악기의 파트의 음악 음향 신호는 잔차 음향 신호에 포함되게 된다.
분리 음향 신호 분석 보존부(3)는 단음마다의 분리 음향 신호를 적어도 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터(통상, 1단음당 n차 배음분의 n개의 배음 피크ㆍ파라미터가 있음)와 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 포함하는 복수의 파라미터(통상, 1단음당 배음 피크의 개수분의 파워 엔벨로프ㆍ파라미터가 있다.)에 의해 정식화된 조파 모델에 의해 표현하기 위해서 복수의 파라미터를 분석해서 보존한다. 또한 비특허문헌 2에 기재된 조파ㆍ비조파 통합 모델을 음향 신호 분리부(1)에서 이용할 경우에는 분리 음향 신호 분석 보존부(3)는 음향 신호 분리부(1)에 포함되게 된다. 또한 조파 모델은 적어도 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터와 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 포함하는 복수의 파라미터로 구성되는 것이면 좋고, 특히 상기 비특허문헌 2에 기재된 조파 모델에 한정되는 것은 아니다. 이후에 설명하는 바와 같이, 조파 모델로서 배음 구조의 비조화성을 포함시킨 조파 모델을 이용하면 제 1 종류의 악기가 현악기인 경우로 있어서의 파라미터의 생성 정밀도를 향상시킬 수 있다. 1개의 배음 피크ㆍ파라미터는 전형적으로는, 상술한 도 3에 나타내는 바와 같이, 주파수 방향으로 배음 피크가 배열되는 파워 스펙트럼 중의 배음 피크의 강도의 실수로서 표현된다. 도 2의 A란에는 제 1 종류의 악기의 악기음의 음향 신호로부터 작성한 파라미터를 나타내고 있다. 도 2에 있어서 A란 내의 좌단 영역에는 분석된 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터의 하나를 나타내고 있다. 그리고 A란의 우단 영역에는 비조파 성분의 파워 스펙트럼(비조파 성분 분포 파라미터)이 나타내어져 있다. 또한 A란의 중앙 영역에는 분석된 n차 배음 성분의 시간 방향의 파워 엔벨로프ㆍ파라미터의 하나가 나타내어져 있다. 파워 엔벨로프ㆍ파라미터는, 도 4에 나타내는 바와 같이, N개의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 각각 포함되는 동일한 시간에 있어서의 배음 피크의 파워의 시간 방향(주파수가 동일하고 시간이 다른 복수의 배음 피크의 파워)의 변화를 나타내는 것이면 좋고, 사용 가능한 파워 엔벨로프ㆍ파라미터는 상기 비특허문헌 2에 기재된 파워 엔벨로프ㆍ파라미터에만 한정되는 것은 아니다.
치환용 파라미터 보존부(6)는 제 1 종류의 악기와는 다른 제 2 종류의 악기로부터 발생된 악기음의 음향 신호로부터 작성한 분리 음향 신호에 포함되는 모든 단음에 대응하는 제 2 종류의 악기로부터 발생되는 복수의 단음에 대한 음향 신호를 조파 모델에 의해 표현할 경우에 필요하게 되는 제 2 종류의 악기의 복수의 단음의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터를 보존한다. 또한 치환용 파라미터 보존부(6)는 비조파 성분 분포 파라미터도 치환할 경우에는 제 2 종류의 악기로부터 발생된 악기음의 음향 신호의 복수 종류의 단음마다의 비조파 성분 분포 파라미터도 보존하는 기능을 갖추고 있을 필요가 있다.
도 2의 B란에는 제 1 종류의 악기와는 다른 제 2 종류의 악기로부터 발생된 악기음의 음향 신호로부터 작성한 분리 음향 신호에 포함되는 모든 단음에 대응하는 제 2 종류의 악기로부터 발생되는 복수의 단음에 대한 음향 신호를 조파 모델에 의해 표현할 경우에 필요하게 되는 제 2 종류의 악기의 단음의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터의 일례와, 비조파 성분과, n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터의 일례가 나타내어져 있다.
동일한 악기 분류에 속하는 악기의 음향 신호이면 각 주파수에 있어서의 파워 엔벨로프ㆍ파라미터는 아주 유사한 형상이 된다. 도 1의 A란의 파워 엔벨로프ㆍ파라미터의 형상은 트럼펫 및 취주 악기 등의 지속 악기의 단음의 파워 엔벨로프ㆍ파라미터의 형상이며, 상승부와 하강부 사이에 완만한 변화 부분을 가지는 변화 패턴을 갖고 있다. 또한 B란에 나타낸 파워 엔벨로프ㆍ파라미터의 형상은 피아노 및 타현 악기 등의 감쇠 악기의 단음의 파워 엔벨로프ㆍ파라미터의 형상이며, 큰 상승을 가지고 감쇠하는 변화 패턴을 갖고 있다. 또한 보존하는 배음 피크ㆍ파라미터 및 파워 엔벨로프ㆍ파라미터의 데이터 형식은 임의이다. 비조파 성분 분포의 형상도 악기의 형상에 따라 상위하다. 비조파 성분 부분은 음의 주파수를 이루는 배음 피크 이외의 약소한 강도의 주파수 성분이다. 따라서 비조파 성분 분포 파라미터도 악기의 종류에 따라 다르다. 비조파 성분 분포의 분석은 단음만으로 이루어지는 음악 음향 신호에 있어서는 고려하는데에 충분히 가치가 있다.
제 2 종류의 악기의 복수의 단음의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터는 사전에 작성해도 좋지만 본 시스템에서 작성해도 좋다. 또한 음향 신호 분리부(1)에 있어서 혼합 음향 신호로부터 분리한 다른 악기 파트의 음악 음향 신호로부터 얻은 단음을 제 2 종류의 악기음으로서도 이용할 수 있는 것은 물론이다.
악기 분류 판정부(5)는 제 1 종류의 악기와 제 2 종류의 악기가 동일한 악기 분류에 속하는지의 여부를 판정한다. 이것은 악기 분류가 다르면 상술한 파워 엔벨로프의 패턴이 다르기 때문이다.
그리고, 치환 파라미터 작성 보존부(4)는 분리 음향 신호 분석 보존부(3)에 보존된 제 1 종류의 악기의 단음마다의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크를 치환용 파라미터 데이터 보존부(6)에 보존된 제 1 종류의 악기의 단음에 대응하는 제 2 종류의 악기의 단음의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크로 치환함으로써 치환 배음 피크ㆍ파라미터를 작성해서 보존한다. 치환 배음 피크ㆍ파라미터는 모든 배음 파라미터가 제 2 종류의 악기의 악기음으로부터 얻어지는 배음 파라미터에 의해 치환된 것이다. 또한 치환 파라미터 작성 보존부(4)는 분리 음향 신호 분석 보존부(3)에 보존된 제 1 종류의 악기의 단음마다의 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 치환용 파라미터 보존부(6)에 보존된 제 1 종류의 악기의 단음에 대응하는 제 2 종류의 악기의 단음의 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터로 치환함으로써 작성한 치환 파워 엔벨로프ㆍ파라미터를 보존한다. 또한 이 치환에서는 시간 방향의 길이를 일치시킬 필요가 있을 때에는 제 2 종류의 악기의 파워 엔벨로프ㆍ파라미터와 분리 음향 신호의 파워 엔벨로프ㆍ파라미터의 온셋과 오프셋이 맞도록 파워 엔벨로프를 신축시켜서 치환을 행한다.
또한, 치환 파라미터 작성 보존부(4)는 분리 음향 신호 분석 보존부(3)에 보존된 제 1 종류의 악기의 단음마다의 비조파 성분 분포 파라미터를 치환용 파라미터 보존부에 보존된 제 1 종류의 악기의 단음에 대응하는 제 2 종류의 악기의 단음의 비조파 성분 분포 파라미터로 치환함으로써 작성한 치환 비조파 성분 분포 파라미터를 또한 보존한다.
합성 분리 음향 신호 생성부(7)는 악기 분류 판정부(5)가 제 1 종류의 악기와 제 2 종류의 악기가 동일한 악기 분류에 속하는 것으로 판정했을 때에는 분리 음향 신호 분석 보존부에 보존된 배음 피크ㆍ파라미터를 제외한 다른 파라미터와 치환 파라미터 작성 보존부에 보존된 치환 배음 피크ㆍ파라미터를 이용해서 단음마다의 합성 분리 음향 신호를 생성한다. 또한 합성 분리 음향 신호 생성부(7)는 악기 분류 판정부(5)가 제 1 종류의 악기와 제 2 종류의 악기가 다른 악기 분류에 속하는 것으로 판정했을 때에는 분리 음향 신호 분석 보존부(3)에 보존된 배음 피크ㆍ파라미터 및 파워 엔벨로프ㆍ파라미터를 제외한 다른 파라미터와 치환 파라미터 작성 보존부에 보존된 치환 배음 피크ㆍ파라미터 및 치환 파워 엔벨로프ㆍ파라미터를 이용해서 단음마다의 합성 분리 음향 신호를 생성한다. 이렇게 하면 제 2 종류의 악기가 어떤 것이여도 자동적으로 최적의 음색 변경을 행할 수 있다. 그리고 신호 가산부(8)는 합성 분리 음향 신호 생성부(7)로부터 출력된 합성 분리 음향 신호와 분리 음향 신호 분석 보존부(3)로부터 얻은 잔차 음향 신호를 가산해서 제 2 종류의 악기로부터 발생된 악기음의 음향 신호를 포함하는 음악 음향 신호를 출력한다. 도 2의 최하부에는 잔차 음향 신호를 더하기 이전의 파워 스펙트럼을 나타내고 있다.
본 실시형태에 의하면 조파 모델을 구성하는 파라미터 중 음색에 관한 파라미터의 치환(변경)에 의해 음색의 변경(조작)을 할 수 있으므로 간단하게 각종의 음색 변경을 실현할 수 있다.
또한 악기 분류 판정부(5)를 설치하지 않고 또한 치환 파라미터 작성 보존부(4)에는 치환 배음 피크ㆍ파라미터만을 보존하도록 해도 좋다. 이렇게 하면, 제 1 종류의 악기의 단음으로부터 얻어지는 파워 엔벨로프ㆍ파라미터의 변화 패턴과 제 2 종류의 악기의 단음으로부터 얻어지는 파워 엔벨로프ㆍ파라미터의 변화 패턴이 근사하면 음색의 변경 정밀도는 높아진다. 반대로 양자의 변화 패턴이 크게 다르면 원하는 음색으로의 변경 정밀도는 낮아지지만 제 2 종류의 악기의 악기음과는 제 1 종류의 악기의 분위기 또는 이미지가 남은 인상을 받는 음색의 변경이 된다. 이러한 음색의 변경도 유저에 따라서는 요망되는 경우가 있어서 허용된다.
또한, 치환이 대상으로 하는 파라미터 중 비조파 성분 분포 파라미터의 중요도는 낮기 때문에 높은 정밀도를 요구되지 않을 경우에는 치환의 대상으로부터 제외해도 좋은 것은 물론이다.
본 실시형태에서는 분리 음향 신호 분석 보존부(3)가 분석하는 복수의 파라미터에 음높이에 관한 음높이 파라미터와 음장에 관한 음장 파라미터가 포함되어 있다. 그래서 음높이 파라미터를 조작하는 음높이 조작부(9A)와 음장 파라미터를 조작하는 음장 파라미터 조작부(9B)를 더 구비하고 있다. 그 결과, 본 실시형태에 의하면 음높이 조작부(9A) 및 음장 조작부(9B)를 구비하고 있으므로 음색의 변경(조작) 외에 음높이, 음장의 변경(조작)도 행할 수 있다.
또한, 본 실시형태에서는 분리 음향 신호 분석 보존부(3)가 분석하는 복수의 파라미터는 제 1 종류의 악기로부터 발생된 모든 단음에 대해서 각각 별개로 얻어진다. 그래서 유저가 지정하는 임의의 악보 구조 중 각 단음에 어울리는 음높이에 관한 음높이 파라미터, 음장에 관한 음장 파라미터, 및 조파 모델을 구성하는 파라미터 중 음색에 관한 파라미터를 생성하기 위한 악보 조작부(9C)를 구비하고 있다. 본 실시형태에서는 악보 조작부(9C)를 구비하고 있으므로 음색의 변경(조작) 외에 악보의 변경(조작)도 행할 수 있다.
이어서, 음높이, 음장, 음색, 악보의 조작(변경)의 기술에 대해서 설명한다. JIS에서는 음색은 「청감상의 음의 성질의 하나이고, 2음의 크기 및 높이가 모두 같아도 그 2음이 달랐던 느낌을 줄 때, 그 차이점에 대응하는 성질」이라고 정의되어 있다. 이 정의에서는 음색은 음높이와 음량은 독립된 음의 성질로서 취급되어 있다. 그러나, 음색에는 음높이로의 의존성이 있는 것이 알려져 있다. 그 때문에 음높이에 의해 변화되어야 할 특징량을 유지한 채 음높이 조작을 행하면 조작된 악기음에 음색의 왜곡이 생긴다. 또한 음색에 관한 물리량으로서 스펙트럼 포락이 알려져 있다. 그러나 하나의 스펙트럼 포락만으로 다른 음높이의 배음 피크간의 상대 강도를 정확하게 표현할 수는 없다. 이들 음색 특징량만으로 음색의 특징을 파악할 수 있다고는 말하기 어렵다. 그래서 발명자는 음색 특징량과 그들의 의존 관계를 분석하지 않으면 음색의 특징을 파악할 수 없다는 입장에서 음색 특징량에 추가해서, 복수의 악기음으로부터 음색 특징량의 음높이 의존성을 분석함으로써 악기 개체의 음색을 취급하는 것을 시험해 보았다. 즉, 조작은 음색 특징량의 음높이 의존성을 고려해서 행한다. 그리고 마지막으로, 조파 성분ㆍ비조파 성분을 각각 재합성하고, 서로 더하게 한다.
발명자는 음높이 의존성을 고려한 공지의 논문[키타하라 테쯔로우, 고토 마사타카, 오쿠노 히로시 「음높이에 의한 음색 변화에 착안한 악기음의 음원 분류: F0 의존 다차원 정규 분포에 의거한 식별 방법」, 정보 처리 학회 논문지, Vol. 44, No. 10, pp. 2448.2458(2003)]에 착안했다. 이 논문에는 음높이에 대한 음향 특징량을 회귀 함수(음높이 의존 특징 함수)를 이용해서 근사하고, 음높이 의존성을 제거한 후의 특징량 분포를 학습함으로써 악기음 식별률이 향상했다고 보고되어 있다. 또한 이 논문 중에는 회귀 함수를 음높이 조작에 사용하는 것이 개시되어 있는 것뿐이고, 음색 치환에 이 함수를 이용하는 것이나 학습 파라미터의 보간 생성을 행하는 것은 기재되어 있지 않다.
음높이를 조작하기 위해서는 음높이 궤적 μ(r)에 소망하는 배율을 승산하면 좋지만 이 때 음색 특징량의 값을 변화시키지 않고 그대로 이용할 수는 없다. 왜냐하면, 음색은 음높이 의존성을 가진다는 것이 알려져 있고, 음높이의 조작이 커짐에 따라 음색의 왜곡은 증가하기 때문이다.
도 6에 나타내는 바와 같이, 음높이를 μ(r)로부터 μ'(r)로 변화시킬 경우에는 상대 강도를 vn으로부터 vn'으로 적절하게 변화시킬 필요가 있다.
이 문제를 해결하기 위해서 발명자는 키타하라 테쯔로우, 고토 마사타카 및 오쿠노 히로시가 발표한 「음높이에 의한 음색 변화에 착안한 악기음의 음원 분류: F0 의존 다차원 정규 분포에 의거한 식별 방법」[정보 처리 학회 논문지, Vol. 44, No. 10, pp. 2448.2458(2003)]의 논문에서 제안된 음높이 의존성을 고려한 악기음 식별 방법에 착안했다. 이 논문에서는 음높이에 대한 음향적 특징량을 3차 함수를 이용해서 근사하고, 음높이 의존성을 제거한 후의 특징량 분포를 학습함으로써 악기음 식별률이 향상했다고 보고되어 있다.
음색이 음높이에 의존하는 이유로서 이하가 알려져 있다.
1. 음높이가 낮아지면 발음체는 커진다. 발음체의 질량이 커지면 관성도 커지고, 파워 엔벨로프의 상승이나 감쇠에 보다 많은 시간을 요한다.
2. 음높이가 높아지면 진동 손실이 커지기 때문에 고차의 고조파는 발생되기 어려워진다.
3. 일부의 악기에서는 음높이에 의해 발음체가 다르고, 각 발음체는 다른 재질로 만들어져 있다.
이들 지견으로부터 악기의 음색은 저역으로부터 고역으로 감에 따라 연속적으로 변한다고 말할 수 있다. 따라서, 본 실시형태에서는 음높이보다 주법에 의존하는 것으로 생각되는 특징량 (iii) 파워 엔벨로프ㆍ파라미터를 제외하고, 음높이에 대한 특징량 (i) 배음 피크간의 상대 강도(배음 피크ㆍ파라미터), (ii) 비조파 성분의 분포를 n차 함수(음높이 의존 특징 함수라고 칭함)(비조파 성분 분포 파라미터)로 근사한다.
본 실시형태에서는 음높이 의존 특징 함수의 차수에 3차를 이용했다. 이 차수는 한정된 학습 데이터로부터 음색의 음높이 의존성을 학습할 수 있고, 음색 특징량의 음높이에 의한 변화를 충분하게 취급할 수 있다는 기준을 설정하고, 예비 실험으로부터 결정했다.
구체적으로는 이하의 2개의 파라미터에 착안했다.
(1) 각 배음의 배음 피크간의 상대 강도 vn
(2) 조파 성분의 에너지에 대한 비조파 성분의 에너지의 비 ω(H)/ω(I)
(1)의 vn에 관해서는 n마다 독립적으로 음높이 의존 특징 함수를 작성한다. 이것에 의해서, 반드시 vn에 관한 제약 Σnvn=1은 만족되지 않게 되지만, 이 경우에서 Σnvn의 값은 거의 모든 음높이에 대해서 0.9~1.1정도로 수용되어 있고, 생성되는 악기음의 음색이 이것에 의해 크게 변화될 일은 없다고 생각한다. 달랐던 음높이를 가지는 복수의 seed(단음)가 주어지면 이들의 음색 특징량을 분석하고, 최소이승법에 의해 음높이 의존 특징 함수를 구할 수 있다. 얻어진 음높이 의존 특징 함수를 이용하면 원하는 음높이에 있어서의 음색 특징량을 예측할 수 있다. 예로서, 도 7(A) 내지 도 7(D)에 트럼펫의 제 1 차 배음, 제 4 차 배음, 제 10 차 배음의 상대 강도, 및 조파 성분과 비조파 성분의 에너지비의 음높이 특징 의존 함수를 나타낸다. 또한 도 7에 있어서 점과 실선은 각각 음높이마다 분석된 음색의 특징량과, 도출된 음높이 의존 특징 함수이다.
음장을 조작하기 위해서는 파워 엔벨로프ㆍ파라미터 En(r)을 소망하는 음장이 되도록 신축시키는 방법은 적절하지 않다. 왜냐하면, 동일 악기 개체에서는 음장에 관계 없이 발음의 상승과 하강, 및 음높이의 변동 주기는 유사한 것이 알려지고 있고, 음장의 조작이 커짐에 따라 왜곡은 증가하기 때문이다. 특히 악기음의 상승이나 하강은 에너지가 크게 변화되는 부분에서 음색의 인상으로의 관계가 깊다. 또한, 음높이의 변동 주기는 특히 비브라토 주법이 다용되어 연주되는 악기에 있어서는 중요하고, 청감에 주는 인상으로의 영향이 크다.
이 문제를 해결하기 위해서 발명자는 파워 엔벨로프ㆍ파라미터에 있어서의 상승과 하강 부분을 보존 및 음높이 궤적의 시간적 변동을 재현한다. 우선, 특징량 (iii)에 있어서 에너지의 급차한 상승 종료시를 온셋 ron, 에너지의 급차한 하강 개시시를 오프셋 roff로서 정의한다. 음장을 조작하기 위해서는 도 8에 나타내는 바와 같이 온셋-오프셋 구간만을 신축시키면 좋다. 또한, 도 9에 나타내는 바와 같이, 정현파 중첩 모델을 이용해서 온셋-오프셋 구간의 음높이 궤적을 표현하고, 조작 전과 동일한 주파수 특성을 가지는 소망하는 길이의 음높이 궤적을 생성한다. 온셋 이전 및 오프셋 이후의 음높이 궤적은 조작 전의 것을 이용하고, 온셋-오프셋 부근의 궤적은 가우시안에 의해 평활화된다.
이어서, 악보의 변경 방법에 대해서 설명한다. 본 실시예에 있어서 악보를 변경하는 것은 변경 후의 악보 중 각 단음 각각 대한 음높이 궤적, 파워 엔벨로프ㆍ파라미터, 및 음색 특징량을 준비하는 것이다. 변경 후의 악보가 변경 전의 것과 본질적으로 다른 경우, 상술한 음높이 조작, 음장 조작에 의해 이들 특징량을 얻는 것은 적절하지 않다. 왜냐하면, 실제 연주로부터 분석한 음높이 궤적, 파워 엔벨로프ㆍ파라미터, 및 음색 특징량에는 악보 구조에 의존해서 발생하는 특징량의 흔들림, 즉 연주 표정이 포함되어 있기 때문이다. 따라서, 변경 후의 악보에 대한 상기 특징량은 변경 전의 악보 연주로부터 얻은 특징량을 근거로 「유사한 구조의 악보는 유사한 음으로 연주된다」라는 가정하에서 새롭게 생성하는 것이 바람직하다.
발명자는, 도 20에 개념적으로 나타내는 바와 같이, 변경 후의 악보의 전단음의 특징량을 1) 전음(前音)의 음높이, 전음의 음장, 상기 음의 음높이, 상기 음의 음장의 4요소가 가장 가까운 변경 전의 악보의 단음과, 2) 상기 음의 음높이, 상기 음의 음장, 후음(後音)의 음높이, 후음의 음장의 4요소가 가장 가까운 변경 전의 악보의 단음의 2단음을 분석해서 얻은 특징량을 혼합비 1:0으로부터 0:1로 시간 변화시켜서 가중 혼합하는 방법에 의해 얻는다. 이 조작은 변경 전의 악보 연주중에 서로 이웃한 음의 세트를 변경 후의 악보에 맞추어 차례차례 매끄럽게 연결시켜 가는 조작이 된다.
이어서, 음색(변경) 조작에 대해서 설명한다. 음색을 조작하기 위해서는 각 음색 특징량에 실수의 혼합률을 승산한다. 각 음색 특징량의 보간 방법에는 이하와 같은 2종류가 있다.
선형 혼합
[수 11]
로그 혼합
[수 12]
Feature에는 vn, M(I)(f,r), En(r)이라는 음색 특징량이 적합하다. 또한, k, P는 각각 각 단음으로의 인덱스와, 보간된 특징량으로의 인덱스이다. 각 단음의 혼합률 αk는 제약 조건 Σkαk =1을 만족하고, 0<αk<1에서는 내삽(內揷), 1<αk 또는 αk<0에서는 외삽(外揷)이 된다. 선형 혼합은 내삽과 외삽의 특징량의 변화율이 일정하지만 음의 에너지를 로그적으로 파악하는 인간의 청각 특성을 고려할 수 없다. 이에 대해서 로그 혼합은 인간의 청각 특성을 고려한 보간 방법이지만 혼합한 특징량을 최종적으로 지수화하기 위해서 외삽에는 주의가 필요하다.
음색 특징량의 얼라인먼트를 취하는 방법을 도 10에 나타낸다. 도 10(A)는 상단의 제 1 종류의 악기의 단음마다의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크와, 제 1 종류의 악기의 단음에 대응하는 하단의 제 2 종류의 악기의 단음의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크로 치환할 경우의 얼라인먼트를 취하는 방법을 나타낸다. 도 10(B)는 제 1 종류의 악기의 단음으로부터 얻어지는 파워 엔벨로프ㆍ파라미터와 제 2 종류의 악기의 단음으로부터 얻어지는 파워 엔벨로프ㆍ파라미터의 얼라인먼트를 취하는 방법을 나타낸다. 제 2 종류의 악기의 파워 엔벨로프ㆍ파라미터와 제 1 종류의 악기의 단음의 파워 엔벨로프ㆍ파라미터의 온셋과 오프셋이 맞도록 파워 엔벨로프를 신축시켜서 조작을 행한다. 그리고 도 10(C)는 상단의 제 1 종류의 악기의 단음마다의 비조파 성분과, 하단의 제 2 종류의 악기의 비조파 성분의 얼라인먼트를 취하는 방법을 나타낸다. 양자의 온셋의 부분을 일치시키도록 얼라인먼트를 취하면 좋다.
도 11은 도 5에 나타낸 실시형태를 구체적으로 컴퓨터를 이용해서 실현할 경우에 이용하는 컴퓨터 프로그램의 일례의 알고리즘을 나타내는 플로우 차트이다. 또한 도 13은 음색 조작의 상황을 설명하기 위해서 이용하는 도면이다. 이 프로그램에서는 복수의 단음마다의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터와 파워 엔벨로프ㆍ파라미터를 치환해서 음색의 변경(조작)을 행한다. 우선 스텝 ST1에서는 제 1 종류의 악기로부터 발생된 악기음의 음향 신호를 포함하는 음악 음향 신호로부터 분리 음향 신호와 잔차 음향 신호를 단음마다 각각 추출한다. 또한 이 스텝 ST1에서는 단음마다의 분리 음향 신호를 적어도 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터와 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 포함하는 복수의 파라미터에 의해 정식화된 조파 모델에 의해 표현하기 위해서 복수의 파라미터를 분석한다(특징량 변환).
이어서, 스텝 ST2 내지 스텝 ST4는 제 1 종류의 악기와는 다른 제 2 종류의 악기로부터 발생된 악기음의 음향 신호(치환 음향 신호)로부터 배음 피크 강도 및 파워 엔벨로프에 관한 특징량을 추출한다. 이들 스텝 ST2 내지 스텝 ST4에 의해 도 12에 나타내는 바와 같이 구성 요소로 구성되는 치환용 파라미터 보존부(6)가 구성된다. 즉 도 12에 나타내는 치환용 파라미터 보존부(6)는 파라미터 분석 보존부(61)와, 파라미터 보간 생성 보존부(62)와, 함수 생성 보존부(63)를 구비하고 있다. 파라미터 분석 보존부(61)는 스텝 ST2에서 실현되는 기능 실현 수단이며, 제 2 종류의 악기로부터 발생된 악기음의 음향 신호로부터 얻은 복수 종류의 단음의 분리 음향 신호를 조파 모델에 의해 표현할 경우에 필요하게 되는 복수 종류의 단음마다의 적어도 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터 및 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 분석해서 보존한다. 또한 파라미터 분석 보존부(61)는 분석에 의해 얻어진 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 대표 파워 엔벨로프ㆍ파라미터로서 보존해도 좋다.
도 13의 최상단에는 치환 음향 신호의 특징량으로서 1개의 단음의 n개의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터 중 2개의 배음 피크ㆍ파라미터를 파워 스펙트럼으로 나타내고 있다. 파라미터 보간 생성 보존부(62)는 스텝 ST3에서 실현되는 기능 실현 수단이다. 스텝 ST3에서는 보간에 의해 학습용 특징량을 생성한다. 구체적으로는 파라미터 분석 보존부(61)에 보존한 복수 종류의 단음에 대한 배음 피크ㆍ파라미터와 파워 엔벨로프ㆍ파라미터에 의거해서 분리 음향 신호에 포함되는 모든 단음에 대응하는 제 2 종류의 악기로부터 발생되는 복수의 단음 중 복수 종류의 단음 이외의 단음에 대한 음향 신호를 모델에 의해 표현할 경우에 필요하게 되는 제 2 종류의 악기의 복수의 단음마다의 배음 피크ㆍ파라미터 및 파워 엔벨로프ㆍ파라미터를 보간법을 이용해서 생성해서 보존한다. 이 스텝 ST3에서 행하는 것은, 예컨대 2개의 단음밖에 없을 경우에 있어서 필요한 그 외의 복수의 단음을 보간법에 의해 생성해서 보존하는 것이다.
스텝 ST2 내지 스텝 ST4에서 제 1 종류의 악기와는 다른 제 2 종류의 악기로부터 발생된 악기음의 음향 신호(치환 음향 신호)로부터 배음 피크ㆍ파라미터, 파워 엔벨로프ㆍ파라미터, 비조파 성분 분포 파라미터를 추출하고, 이들을 보간함으로써 치환에 이용하는 각각의 파라미터(치환 파라미터)를 생성한다. 보간에 의해 치환용 파라미터를 생성함으로써 음색 치환을 소망하는 음악 음향 신호 중 단음과 같은 음높이, 음장을 가지는 제 2 종류의 악기의 음향 신호를 한정된 수의 치환용 음향 신호로 치환할 수 있다. 음색은 음높이 의존성을 가지고 있고, 특히, 배음 피크ㆍ파라미터는 특히 강한 음높이 의존성을 가지고 있는 것이 비특허문헌 4의 실험으로 알려져 있다.
한편, 스펙트럼 포락은 작은 음높이 의존성밖에 가지고 있지 않고, 비특허문헌 5에서 스펙트럼 포락을 유지한 품질이 높은 음성의 음높이 조작 방법이 보고되어 있다.
이 스펙트럼 포락을 유지한 음높이 조작 방법은 비특허문헌 4에서 평가 실험에 있어서의 비교 대상으로도 되어 있고, 실험에서 스펙트럼 포락의 음높이 의존성의 작음이 나타내어져 있다. 또한, 음향 심리학의 분야에서는 각 피크의 시간 방향에 있어서의 진폭의 변동과 발음시에 발생하는 비조파 성분에서 음색의 시간 변화가 지각되는 경향이 있는 것으로 지적되어 있다. 즉, 파워 엔벨로프ㆍ파라미터는 발음시 및 발음이 지속되고 있는 동안, 비조파 성분 분포 파라미터는 발음시가 음색의 지각에 중요한 특징을 포함하고 있다라고 할 수 있다.
본 실시형태의 배음 피크ㆍ파라미터의 보간에서는 배음 피크ㆍ파라미터보다도 스펙트럼 포락쪽이 음높이 의존성이 작은 것에 착안하여 배음 피크ㆍ파라미터를 스펙트럼 포락으로 변환한다. 스펙트럼 포락 v(f)로의 변환은 도 14에 나타내는 바와 같이 인접하는 각 배음 피크ㆍ파라미터 vn을 보간(선형 보간, 스플라인 보간 etc.)함으로써 실현된다. 이 때, 보간 구간을 초과한 주파수(음높이보다 아래 및 최고차의 배음 피크 주파수보다 위)의 스펙트럼 포락의 변환에는 최근방 주파수의 배음 피크ㆍ파라미터를 이용한다. 이하, 마찬가지로 보간 구간을 초과한 범위의 보간에는 최근방에 위치하는 파라미터 값을 이용하는 것으로 한다.
또한, 변환해서 얻어진 스펙트럼 포락 v(f)를 다음 식에 의거해서 보간함으로써 음색 치환을 소망하는 음악 음향 신호 중 임의의 음높이 μ를 가지는 단음의 보간 스펙트럼 포락이 얻어진다.
[수 13]
여기서, k는 치환 음향 신호에 부여되어 있는 인덱스이며, v(k)(f), v(k+1)(f)는 각각 저역, 고역에 있어서 최근방의 음높이를 가지는 치환 음향 신호의 스펙트럼 포락이다. 또한, α는 이들 치환 음향 신호의 음높이 μ(k), μ(k+1)로부터 결정되는 보간율이며, 다음 식에 의해 결정된다.
[수 14]
여기서 음높이 μn은 이하와 같이 정의된다.
[수 15]
마지막으로, 다음 식과 같이 각 배음 피크 주파수의 보간 스펙트럼 포락으로부터 보간 배음 피크ㆍ파라미터를 얻는다.
[수 16]
이상의 배음 피크ㆍ파라미터의 보간의 개요도를 도 15에 나타낸다.
본 실시형태의 파워 엔벨로프ㆍ파라미터의 보간에서는 발음시 및 발음이 지속하고 있는 동안이 각 피크의 진폭에 있어서의 음색의 지각에 중요한 것에 착안하여 치환 음향 신호의 온셋과 오프셋을 치환을 소망하는 음악 음향 신호 내의 단음의 온셋과 오프셋에 동기시킨다. 동기시키는 온셋 ron과 오프셋 roff는 각각 평균 파워 엔벨로프ㆍ파라미터에 있어서의 파워가 충분하게 커진 지점과 파워가 급차하게 감소하는 지점을 나타내는 것이며, 검출하는 방법은 상관 없다. 치환을 소망하는 음악 음향 신호 내의 단음의 온셋 ron, 오프셋 roff에서 동기를 취하기 위해서는 파워 엔벨로프ㆍ파라미터를 시간축상에서 조작할 필요가 있다. 이것에는 비특허문헌 6에서 보고되어 있는 방법을 이용하고, 도 16에 나타내는 바와 같이 온셋ㆍ오프셋 구간(ron-roff)만을 조작함으로써 동기 파워 엔벨로프ㆍ파라미터 En(r)을 얻는다.
동기 파워 엔벨로프ㆍ파라미터 En(r)을 다음 식에 의거해서 보간함으로써 음색 치환을 소망하는 음악 음향 신호 중 임의의 음장을 가지는 단음의 보간 파워 엔벨로프ㆍ파라미터 En(r)이 얻어진다.
[수 17]
여기서, E (k)n (f), E (k+1)n (f)는 각각 저역, 고역에 있어서 최근방의 음높이를 가지는 치환 음향 신호의 파워 엔벨로프ㆍ파라미터인 파워 엔벨로프ㆍ파라미터의 보간에도 배음 피크ㆍ파라미터의 보간에서 이용한 보간율도 이용한다. 이상의 파워 엔벨로프ㆍ파라미터의 보간의 개요도를 도 17에 나타낸다.
본 실시형태의 비조파 성분 분포 파라미터의 보간에서는 발음시가 비조파 성분에 있어서의 음색의 지각에 중요한 것에 착안해서 치환 음향 신호의 온셋을 치환을 소망하는 음악 음향 신호 내의 단음의 온셋에 동기시킨다. 동기시키는 온셋 ron 은 파워 엔벨로프ㆍ파라미터의 동기에서 이용한 것과 같다. 치환을 소망하는 음악 음향 신호 내의 단음의 온셋 ron에서 동기를 취하기 위해서는 도 18에 나타내는 바와 같이 비조파 성분 분포 파라미터를 시간축상에서 평행 이동시키면 좋고, 이것에 의해 동기 비조파 성분 분포 파라미터 M (I,k)(f,r)을 얻는다. 동기 비조파 성분 분포 파라미터 M (I,k)(f,r)을 다음 식에 의거해서 보간함으로써 음색 치환을 소망하는 음악 음향 신호 중 임의의 음장을 가지는 단음의 보간 비조파 성분 분포 파라미터 M (I,k)(f,r)을 얻을 수 있다.
[수 18]
여기서, M (I,k)(f,r), M (I,k+1)(f,r)은 각각 저역, 고역에 있어서 최근방의 음높이를 가지는 치환 음향 신호의 비조파 성분 분포 파라미터이다. 비조파 성분 분포 파라미터의 보간에도 배음 피크ㆍ파라미터의 보간에서 이용한 보간율도 이용한다. 이상의 비조파 성분 분포 파라미터의 보간의 개요도를 도 19에 나타낸다. 또한, 배음 피크ㆍ파라미터 및 비조파 성분 분포 파라미터를 구성하는 비조파 성분 에너지 w(I)에 있어서는 함수화함으로써 치환 음향 신호의 파라미터 분석시의 오차를 경감시킬 수 있다. 이 때, 보간에 이용하는 치환 음향 신호는 많은 쪽이 바람직하다. 이 함수화에는 비특허문헌 5에서 보고되어 있는 음높이 의존 특징 함수를 이용하고, 배음 피크ㆍ파라미터 및 비조파 성분 분포 파라미터를 학습한 음높이 의존 특징 함수로부터 예측한다.
스텝 ST4에서는 음높이 의존성 특징 함수의 학습을 행한다. 또한 학습 방법 및 학습시키는 파라미터는 상술한 음높이 조작시에 사용되는 음높이 의존성 특징 함수와 동일하다. 스텝 ST4에 의해 도 12의 함수 생성 보존부(63)가 구성되어 있다. 함수 생성 보존부(63)는 파라미터 분석 보존부(61) 및 파라미터 보간 생성 보존부(62)에 보존된 데이터에 의거해서 제 2 종류의 복수의 단음마다의 배음 피크ㆍ파라미터를 음높이 의존 특징 함수로서 보존한다. 구체적으로 스텝 ST4에서는 스텝 ST3에서 생성한 몇개의 단악기 음의 특징량으로부터 최소이승법에 의해 회귀 함수의 계수를 추정한다(도 13 위로부터 3단째의 도면 참조). 이 회귀 함수는 음높이 의존 특징 함수라고 칭해지는 것이다. 구체적으로는 1개의 단음에 대한 n개의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터로부터 동일한 주파수를 가지고 발생하는 배음 피크를 각 차원의 데이터로부터(1차로부터 n차까지) 모아서 그들의 포락선을 나타낸 것이다. 이러한 함수가 얻어지면 제 2 종류의 악기의 단음의 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크를 각 차원의 음높이 의존 특징 함수로부터 취득할 수 있다. 이렇게 함수화함으로써 복수의 학습 데이터의 분석시의 오차를 경감할 수 있다.
본 발명에 있어서 스텝 ST4를 이용한 함수화는 필수 요건이 아니고 스텝 ST3의 정밀도가 높으면 스텝 ST3에서 취득한 데이터를 그대로 이용해도 좋다. 또한 제 2 종류의 악기의 복수의 단음마다의 필요한 파라미터는 어떻게 작성해도 좋고, 본 실시형태에 한정되는 것은 아니다.
도 11로 돌아가서 스텝 ST5에서는 제 1 종류의 악기의 단음마다의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크를 제 1 종류의 악기의 단음에 대응하는 제 2 종류의 악기의 단음의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크로 치환함으로써 치환 배음 피크ㆍ파라미터를 작성한다. 스텝5에서는 스텝 ST4에서 구한 음높이 의존 특징 함수로부터 치환에 필요한 제 2 악기의 배음 피크를 취득하고 있다. 그리고 스텝 ST6에서는 제 1 종류의 악기와 제 2 종류의 악기가 동일한 악기 분류에 속하는지의 여부를 판정한다. 스텝 ST6에서 제 1 종류의 악기와 제 2 종류의 악기가 동일한 악기 분류에 속하는 것으로 판정했을 때에는 스텝 ST8로 진행된다. 스텝 ST6에서 제 1 종류의 악기와 제 2 종류의 악기가 동일한 악기 분류에 속하지 않는 것으로 판정했을 때에는 스텝 ST7로 진행된다. 스텝 ST7에서는 스텝 ST2 내지 스텝 ST4에서 구한 제 2 종류의 악기의 복수의 단음의 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 취득한다. 그리고 제 1 종류의 악기의 단음마다의 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 제 1 종류의 악기의 단음에 대응하는 제 2 종류의 악기의 단음의 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터로 치환함으로써 치환 파워 엔벨로프ㆍ파라미터를 작성한다. 비조파 성분 분포 파라미터에 대해서도 이 스텝 ST7에서 치환 비조파 성분 분포 파라미터를 작성한다.
스텝 ST6에서 2개의 악기가 동일한 악기 분류에 속하는 것이 판정되었을 경우 스텝 ST8에서는 분리 음향 신호 분석 보존부에 보존된 배음 피크ㆍ파라미터를 제외한 다른 파라미터와 치환 파라미터 작성 보존부에 보존된 치환 배음 피크ㆍ파라미터를 이용해서 단음마다의 합성 분리 음향 신호를 생성한다. 스텝 ST6에서 2개의 악기가 동일한 악기 분류에 속하지 않는 것이 판정되었을 경우 스텝 ST8에서는 배음 피크ㆍ파라미터 및 파워 엔벨로프ㆍ파라미터를 제외한 다른 파라미터와 치환 배음 피크ㆍ파라미터 및 치환 파워 엔벨로프ㆍ파라미터를 이용해서 단음마다의 합성 분리 음향 신호를 생성한다. 그리고 최후의 스텝 ST9에서는 단음마다의 합성 분리 음향 신호와 잔차 음향 신호를 가산해서 제 2 종류의 악기로부터 발생된 악기음의 음향 신호를 포함하는 음악 음향 신호를 출력한다.
도 11의 알고리즘에서는 스텝 ST6에서 악기 분류를 판정하고 있지만 악기 분류의 판정은 스텝 ST5보다 전에 있어서 행해도 좋다. 또한 당초부터 동일한 악기 분류에 속하는 악기의 음향 신호간에서만 음색 변경을 하는 것이 결정되어 있을 경우에는 스텝 ST7은 불필요하며 스텝 ST2 내지 스텝 ST4에서도 파워 엔벨로프ㆍ파라미터를 취급할 필요는 없다.
이어서, 도 1의 실시형태를 처리하는 구체적인 실장에 대해서 설명한다.
[음높이 조작]
음높이 조작을 행하기 위해서는 주파수 엔벨로프를 구성하는 음높이 궤적 μ(r)에 대해서 실수 α(음높이를 낮게 할 경우: 0≤α<1, 음높이를 높게 할 경우: 1<α)를 승산한다. 여기서, μ(r)을 소망하는 조작 후의 음높이로 하면 이하가 성립된다.
[수 19]
예컨대, α를 2로 하면 seed(단음)의 1옥타브상의 음높이의 악기음을 합성할 수 있다. 조작 후의 악기음의 배음 피크간의 상대 강도 vn은 음높이 의존 특징 함수로부터 예측되는 각 배음마다의 배음 피크간의 상대 강도를 제약 조건 Σnvn=1로부터 정규화함으로써 얻어진다. 또한, 조작 후의 악기음의 비조파 성분의 에너지 ω(I)는 조파 성분의 에너지 ω(H)를 음높이 특징 의존 함수로부터 예측되는 조파 성분에 대한 비조파 성분의 에너지의 비 ω(H)/ω(I)로 나눔으로써 얻을 수 있다.
[음장 조작]
음장 조작을 행하기 위해서는 온셋ㆍ오프셋간의 시간 방향 엔벨로프 En(r)과 음높이 궤적 μ(r)을 조작한다. 조작에 의해 얻어진 시간 방향 엔벨로프와 음높이 궤적을 각각 En과 μ(r)로 한다.
[온셋과 오프셋의 검출]
본원 명세서에 있어서의 온셋은 악기음의 시간 방향의 진폭이 충분하게 크게 되어 있으므로 진폭의 변동이 일정해지는 순간이다. 오프셋은 시간 방향의 진폭이 충분한 크기를 가지고 있고, 진폭의 변동이 일정한 상태가 얻어지지 않게 되는 순간이다. 이 정의를 따라 온셋과 오프셋을 이하와 같이 검출한다.
[수 20]
여기서 Th는 악기음의 시간 방향의 진폭의 충분한 크기를 나타내는 임계값이다. 지속계의 악기는 이것으로 좋지만 타현 악기나 발현 악기라는 감쇠 악기의 온셋과 오프셋은 거의 동시 시각이 되고, 온셋ㆍ오프셋간을 신축시킬 수 없다. 따라서, 신시사이저에 있어서의 감쇠 악기의 진폭 제어를 참고로 파워 엔벨로프ㆍ파라미터의 종단을 감쇠 악기음의 오프셋으로 간주하고, 온셋 이후의 파워 엔벨로프ㆍ파라미터를 신축의 대상으로 한다.
[악보 조작]
유저가 지정하는 변경 후의 악보의 각 단음의 특징량은 분석한 변경 전[원연주(元演奏)]의 악보와의 악보 구조의 유사성에 의거해서 생성된다. 도 21은 악보 조작에 있어서의 조작의 흐름을 나타내고 있고, 변경 전의 악보 연주 음향 신호로부터 연주 표정을 포함하는 특징량을 추출하고, 이것을 이용해서 악보 구조의 유사성에 의거해 변경 후의 악보에 대한 특징량을 생성한다. 그래서 발명자는 변경 후의 악보의 제 j 음에 대한 특징량 Feature를 변경 전의 악보 중의 노트 넘버 N과 음장 L의 유사한 단음의 특징량으로부터 산출하는 방법을 취했다. 우선, 변경 후의 악보의 제 j 음에 대해서 이하의 조건을 만족하는 분석 완료된 변경 전의 악보 중 2음을 선출한다.
[수 21]
여기서, Nk, Lk는 변경 전의 악보의 노트 넘버와 음장이며, N￣j, L￣j는 변경 후의 악보의 노트 넘버와 음장이며, α는 그들의 무게를 결정하는 정수이다. 이어서, 얻어진 2개의 단음의 특징량을 혼합해서 제 j 음에 어울리는 음 모델을 산출한다.
[수 22]
단, 상기 식에 있어서 Feature(j)(r)은 제 j 음의 특징량 중 시간 프레임 r에 대한 것이며, 그 사칙 연산은 각 파라미터끼리의 것으로 정의한다. 또한,
은 각각 변경 전의 악보의 q-j 음, q+j 음의 특징량을 음높이가 N￣j, 음장이 L￣j가 되도록 조작을 한 것이다. 이 식은 2개의 음 특징량의 혼합비를 1:0로부터 0:1로 시간 변화시키는 것을 의미하고 있고, q+j=q￣j+1인 것으로부터 변경 전의 악보 중에서 서로 이웃한 음의 세트를 변경 후의 악보에 맞추어 차례차례 매끄럽게 연결시켜 가는 조작으로 되어 있다.
[음높이 궤적의 모델화]
온셋ㆍ오프셋간의 음높이 궤적 μ(r)을 모델화하기 위해서 음높이의 주기적변동이 시불변(時不變)인 것을 가정하고, 정현파 중첩 모델에 의거한 음높이 궤적 모델을 구축한다. 즉, 음장 조작 후의 음높이 궤적은 다음 식과 같이 표현된다.
[수 23]
여기서, R은 프레임 수이다. 미지 파라미터는 음높이 궤적을 구성하는 각 정현파의 진폭 Ak(μ)와, 주파수 ωk(μ), 위상 φk(μ)이다. 이들은 기존의 정현파 중첩 모델의 파라미터 추정 방법에 의해 도출하는 것이 가능하다.
[음색 조작]
보간된 각 음색 특징량은 다음 식에 의해 얻어진다.
[수 24]
여기서 Feature에는 vn,M(I)(f,r),En(r)이라는 음색 특징량이 적합하다. 또한, k,P는 각각 각 seed(단음)로의 인덱스와, 보간된 특징량으로의 인덱스이다. 배음 피크간의 상대 강도 vn에서는 얼라인먼트는 불필요하다. 비조파 성분의 분포M(I)(f,r)에서는 온셋만으로 얼라인먼트가 취해진다. 한편, 시간 방향의 진폭 엔벨로프 En(r)에서는 온셋과 오프셋이 정렬되도록 음장 조작된 후 얼라인먼트가 취해진다.
[악기음의 합성]
조파 모델로부터 조파 신호 sH(t)를, 비조파 모델 sI(t)로부터 비조파 신호를 합성하고, 이하와 같이 서로 겹치게 함으로써 최종적인 악기음 s(t)를 합성한다.
[수 25]
여기서, t는 샘플링된 신호의 샘플 번지를 나타낸다.
[조파 신호의 합성]
조파 신호 sH(t)를 합성하기 위해서는 다음 식에 의해 표현되는 정현파 중첩 모델을 이용한다.
[수 26]
여기서, An(t), φn(t)는 각각 n번째의 정현파의 순간 진폭과 순간 위상이다. 이 모델에서는 각 정현파의 진폭과 주파수가 정상성(正常性)을 가지고 있는 것이 가정되어 있다. 순간 위상은 프레임 단위로 분석되어 있는 음높이 궤적을 스플라인 보간에 의해 샘플 단위를 보간한 조작 후의 음높이 궤적 μ(t)를 적분함으로써 얻어진다.
[수 27]
여기서, φn(0)은 임의의 초기 위상이다. 정현파 중첩 모델에서는 트래킹한 피크를 순간 진폭으로서 이용한다. 조파 구조의 개형을 모델화한 조파 모델에 있어서는 주파수 엔벨로프를 구성하는 각 가우스 함수의 평균에 파워 엔벨로프ㆍ파라미터와 조파 에너지를 적산한 것을 트래킹한 피크로 간주할 수 있다. 특징량 추출의 모델과 악기음 합성의 모델이 다르기 때문에 합성음이 가지는 배음의 상대 강도는 분석 대상의 악기음의 것과는 반드시 일치하지 않지만, 실험적으로는 이 조작을 거쳐도 특징량이 크게 변화되는 일은 없었기 때문에, 모델의 차이의 음색으로의 영향은 작은 것으로 생각된다. 따라서, 순간 진폭은 다음 식으로부터 구할 수 있다.
[수 28]
여기서, 시간 방향 엔벨로프 En(r)에는 스플라인 보간을 이용해서 샘플 단위로 한 것이 이용된다.
[비조파 신호의 합성]
비조파 신호 sI(t)를 합성하기 위해서는 오버랩 가산법을 이용한다. 이 때, 비조파 에너지 ω(I)를 승산한 비조파 모델 ω(I)M(I)(f,r)을 스펙트로그램으로 간주해서 신호로 변환한다. 위상은 seed의 것을 그대로 이용한다.
이어서, 온셋ㆍ오프셋 정보에 의거한 제약을 부가한 비용 함수의 사용에 대해서 설명한다.
이하에 나타내는 비용 함수를 최소화함으로써 조파 비조파 통합 모델을 분리의 대상음이 존재하는 혼합음에 적응한다.
[수 29]
상기 비용 함수는 상기 [수 6]에 나타낸 비용 함수와는 이하의 2점에서 상위하다.
1. 비용 함수에 배음 피크의 상대 강도 vn과 제약 파라미터 v￣n의 독립성을 나타내는 거리가 부가되어 있다.
2. 시간 방향 엔벨로프의 제약 파라미터 E￣(r)이 평균의 시간 방향 엔벨로프와는 달랐던 것으로 되어 있다.
제약 파라미터 v￣n은 온-오프셋 구간의 스펙트로그램에 대해서만 상기 비용 함수를 최소화함으로써 얻어지는 파라미터이다. v￣n은 다음 식으로부터 얻어진다.
[수 30]
또한, 배음 피크의 상대 강도에 관한 제약 비용의 부가로부터 배음 피크의 상대 강도의 갱신식은 다음 식과 같이 개정된다.
[수 31]
또한, 시간 방향의 엔벨로프에 관한 제약 파라미터 E￣(r)은 다음 식으로부터 구해진다.
[수 32]
이들 식을 이용하면 더욱 정밀도가 높은 음색의 변경(조작)이 가능하게 된다.
[수 33]
또한, 음높이 궤적의 갱신식은 하기와 같이 된다.
[수 34]
또한, 비조화도의 갱신식은 하기와 같이 된다.
[수 35]
또한, 시간 방향의 엔벨로프의 갱신식은 하기와 같이 된다.
[수36]
상기 실시형태에서는 음높이, 음장, 음색, 악보의 조작을 행하여 제 1 종류의 악기의 단음을 제 2 종류의 악기의 단음으로 치환하고, 또한 제 1 종류의 악기로 미지의 악보를 연주했을 경우의 음악 음향 신호를 생성할 수 있다. 그러나, 본 발명은 제 1 종류의 악기를 이용해서 미지의 악보를 연주했을 경우의 음악 음향 신호를 생성하는 경우에도 당연히 적용할 수 있다.
<산업상 이용가능성>
본 발명에 의하면, 조파 모델을 구성하는 파라미터 중 음색에 관한 파라미터의 치환(변경)에 의해 음색의 변경(조작)을 할 수 있으므로 간단하게 각종의 음색 변경을 실현할 수 있다.
1 : 음향 신호 분리부 2 : 신호 추출 보존부
3 : 분리 음향 신호 분석 보존부 4 : 치환 파라미터 작성 보존부
5 : 악기 분류 판정부 6 : 치환용 파라미터 보존부
7 : 합성 분리 음향 신호 생성부 8 : 신호 가산부
9A : 음높이 조작부 9B : 음장 조작부
3 : 분리 음향 신호 분석 보존부 4 : 치환 파라미터 작성 보존부
5 : 악기 분류 판정부 6 : 치환용 파라미터 보존부
7 : 합성 분리 음향 신호 생성부 8 : 신호 가산부
9A : 음높이 조작부 9B : 음장 조작부
Claims (22)
- 제 1 종류의 악기로부터 발생된 악기음의 음향 신호를 포함하는 음악 음향 신호로부터 추출한 상기 제 1 종류의 악기로부터 발생된 악기음의 음향 신호만을 포함하는 분리 음향 신호를 단음마다 보존하고 또한 잔차 음향 신호를 보존하는 신호 추출 보존부와,
상기 단음마다의 분리 음향 신호를 적어도 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터와 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 포함하는 복수의 파라미터에 의해 정식화된 조파 모델에 의해 표현하기 위해서 상기 단음마다 상기 복수의 파라미터를 분석해서 보존하는 분리 음향 신호 분석 보존부와,
상기 제 1 종류의 악기와는 다른 제 2 종류의 악기로부터 발생된 악기음의 음향 신호로부터 작성한 상기 분리 음향 신호에 포함되는 모든 단음에 대응하는 상기 제 2 종류의 악기로부터 발생되는 복수의 단음에 대한 음향 신호를 상기 조파 모델에 의해 표현할 경우에 필요하게 되는 상기 제 2 종류의 악기로부터 발생된 상기 복수의 단음의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터를 보존하는 치환용 파라미터 보존부와,
상기 분리 음향 신호 분석 보존부에 보존된 상기 제 1 종류의 악기의 단음마다의 상기 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크를 상기 치환용 파라미터 보존부에 보존된 상기 제 1 종류의 악기의 단음에 대응하는 상기 제 2 종류의 악기의 상기 단음의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크로 치환함으로써 작성한 치환 배음 피크ㆍ파라미터를 보존하는 치환 파라미터 작성 보존부와,
상기 분리 음향 신호 분석 보존부에 보존된 상기 배음 피크ㆍ파라미터를 제외한 다른 파라미터와 상기 치환 파라미터 작성 보존부에 보존된 상기 치환 배음 피크ㆍ파라미터를 이용해서 단음마다의 합성 분리 음향 신호를 생성하는 합성 분리 음향 신호 생성부와,
상기 합성 분리 음향 신호와 상기 잔차 음향 신호를 가산해서 제 2 종류의 악기로부터 발생된 악기음의 음향 신호를 포함하는 음악 음향 신호를 출력하는 신호 가산부로 이루어지는 것을 특징으로 하는 음악 음향 신호 생성 시스템. - 제 1 종류의 악기로부터 발생된 악기음의 음향 신호를 포함하는 음악 음향 신호로부터 추출한 상기 제 1 종류의 악기로부터 발생된 악기음의 음향 신호만을 포함하는 분리 음향 신호를 단음마다 보존하고 또한 잔차 음향 신호를 보존하는 신호 추출 보존부와,
단음마다의 상기 분리 음향 신호를 적어도 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터와 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 포함하는 복수의 파라미터에 의해 정식화된 조파 모델에 의해 표현하기 위해서 상기 단음마다 상기 복수의 파라미터를 분석해서 보존하는 분리 음향 신호 분석 보존부와,
상기 제 1 종류의 악기와는 다른 제 2 종류의 악기로부터 발생된 악기음의 음향 신호로부터 작성한 상기 분리 음향 신호에 포함되는 모든 단음에 대응하는 상기 제 2 종류의 악기로부터 발생되는 복수의 단음에 대한 음향 신호를 상기 조파 모델에 의해 표현할 경우에 필요하게 되는 상기 제 2 종류의 악기의 상기 복수의 단음마다의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터 및 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 보존하는 치환용 파라미터 보존부와,
상기 분리 음향 신호 분석 보존부에 보존된 상기 제 1 종류의 악기의 단음마다의 상기 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크를 상기 치환용 파라미터 보존부에 보존된 상기 제 1 종류의 악기의 단음에 대응하는 상기 제 2 종류의 악기의 상기 단음의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크로 치환함으로써 작성한 치환 배음 피크ㆍ파라미터를 보존하고, 또한 상기 분리 음향 신호 분석 보존부에 보존된 상기 제 1 종류의 악기의 단음마다의 상기 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 상기 치환용 파라미터 보존부에 보존된 상기 제 1 종류의 악기의 단음에 대응하는 상기 제 2 종류의 악기의 상기 단음의 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터로 치환함으로써 작성한 치환 파워 엔벨로프ㆍ파라미터를 보존하는 치환 파라미터 작성 보존부와,
상기 분리 음향 신호 분석 보존부에 보존된 상기 배음 피크ㆍ파라미터 및 상기 파워 엔벨로프ㆍ파라미터를 제외한 다른 파라미터와 상기 치환 파라미터 작성 보존부에 보존된 상기 치환 배음 피크ㆍ파라미터 및 상기 치환 파워 엔벨로프ㆍ파라미터를 이용해서 단음마다의 합성 분리 음향 신호를 생성하는 합성 분리 음향 신호 생성부와,
상기 합성 분리 음향 신호와 상기 잔차 음향 신호를 가산해서 제 2 종류의 악기로부터 발생된 악기음의 음향 신호를 포함하는 음악 음향 신호를 출력하는 신호 가산부로 이루어지는 것을 특징으로 하는 음악 음향 신호 생성 시스템. - 제 1 종류의 악기로부터 발생된 악기음의 음향 신호를 포함하는 음악 음향 신호로부터 추출한 상기 제 1 종류의 악기로부터 발생된 악기음의 음향 신호만을 포함하는 분리 음향 신호를 단음마다 보존하고 또한 잔차 음향 신호를 보존하는 신호 추출 보존부와,
상기 단음마다의 분리 음향 신호를 적어도 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터와 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 포함하는 복수의 파라미터에 의해 정식화된 조파 모델에 의해 표현하기 위해서 상기 단음마다 상기 복수의 파라미터를 분석해서 보존하는 분리 음향 신호 분석 보존부와,
상기 제 1 종류의 악기와는 다른 제 2 종류의 악기로부터 발생된 악기음의 음향 신호로부터 작성한 상기 분리 음향 신호에 포함되는 모든 단음에 대응하는 상기 제 2 종류의 악기로부터 발생되는 복수의 단음에 대한 음향 신호를 상기 조파 모델에 의해 표현할 경우에 필요하게 되는 상기 제 2 종류의 악기로부터 발생된 상기 복수의 단음마다의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터 및 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 보존하는 치환용 파라미터 보존부와,
상기 제 1 종류의 악기와 상기 제 2 종류의 악기가 동일한 악기 분류에 속하는지의 여부를 판정하는 악기 분류 판정부와,
상기 분리 음향 신호 분석 보존부에 보존된 상기 제 1 종류의 악기의 단음마다의 상기 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크를 상기 치환용 파라미터 보존부에 보존된 상기 제 1 종류의 악기의 단음에 대응하는 상기 제 2 종류의 악기의 상기 단음의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크로 치환함으로써 작성한 치환 배음 피크ㆍ파라미터를 보존하고, 또한 상기 분리 음향 신호 분석 보존부에 보존된 상기 제 1 종류의 악기의 단음마다의 상기 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 상기 치환용 파라미터 보존부에 보존된 상기 제 1 종류의 악기의 단음에 대응하는 상기 제 2 종류의 악기의 상기 단음의 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터로 치환함으로써 작성한 치환 파워 엔벨로프ㆍ파라미터를 보존하는 치환 파라미터 작성 보존부와,
상기 악기 분류 판정부가 상기 제 1 종류의 악기와 상기 제 2 종류의 악기가 동일한 악기 분류에 속하는 것으로 판정했을 때에는 상기 분리 음향 신호 분석 보존부에 보존된 상기 배음 피크ㆍ파라미터를 제외한 다른 파라미터와 상기 치환 파라미터 작성 보존부에 보존된 상기 치환 배음 피크ㆍ파라미터를 이용해서 단음마다의 합성 분리 음향 신호를 생성하고, 상기 악기 분류 판정부가 상기 제 1 종류의 악기와 상기 제 2 종류의 악기가 다른 악기 분류에 속하는 것으로 판정했을 때에는 상기 분리 음향 신호 분석 보존부에 보존된 상기 배음 피크ㆍ파라미터 및 상기 파워 엔벨로프ㆍ파라미터를 제외한 다른 파라미터와 상기 치환 파라미터 작성 보존부에 보존된 상기 치환 배음 피크ㆍ파라미터 및 상기 치환 파워 엔벨로프ㆍ파라미터를 이용해서 단음마다의 합성 분리 음향 신호를 생성하는 합성 분리 음향 신호 생성부와,
상기 합성 분리 음향 신호와 상기 잔차 음향 신호를 가산해서 제 2 종류의 악기로부터 발생된 악기음의 음향 신호를 포함하는 음악 음향 신호를 출력하는 신호 가산부로 이루어지는 것을 특징으로 하는 음악 음향 신호 생성 시스템. - 제 2 항 또는 제 3 항에 있어서,
상기 분리 음향 신호 분석 보존부는 제 1 종류의 악기의 복수 종류의 단음마다의 비조파 성분 분포 파라미터를 보존하는 기능을 더 구비하고 있고,
상기 치환용 파라미터 보존부는 상기 제 2 종류의 악기로부터 발생된 악기음의 음향 신호의 상기 복수 종류의 단음마다의 비조파 성분 분포 파라미터를 보존하는 기능을 더 구비하고 있고,
상기 치환 파라미터 작성 보존부는 상기 분리 음향 신호 분석 보존부에 보존된 상기 제 1 종류의 악기의 단음마다의 상기 비조파 성분 분포 파라미터를 상기 치환용 파라미터 보존부에 보존된 상기 제 1 종류의 악기의 단음에 대응하는 상기 제 2 종류의 악기의 상기 단음의 상기 비조파 성분 분포 파라미터로 치환함으로써 작성한 치환 비조파 성분 분포 파라미터를 더 보존하고,
상기 합성 분리 음향 신호 생성부는 상기 분리 음향 신호 분석 보존부에 보존된 상기 배음 피크ㆍ파라미터, 상기 파워 엔벨로프ㆍ파라미터 및 상기 비조파 성분 분포 파라미터를 제외한 다른 파라미터와 상기 치환 파라미터 작성 보존부에 보존된 상기 치환 배음 피크ㆍ파라미터, 상기 치환 파워 엔벨로프ㆍ파라미터 및 상기 치환 비조파 성분 분포 파라미터를 이용해서 단음마다의 합성 분리 음향 신호를 생성하는 것을 특징으로 하는 음악 음향 신호 생성 시스템. - 제 2 항 또는 제 3 항에 있어서,
상기 치환용 파라미터 보존부는 상기 제 2 종류의 악기로부터 발생된 악기음의 음향 신호로부터 얻은 복수 종류의 단음의 분리 음향 신호를 상기 조파 모델에 의해 표현할 경우에 필요하게 되는 상기 복수 종류의 단음마다의 적어도 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터를 분석해서 보존하고, 아울러 상기 복수 종류의 단음마다의 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 보존하는 파라미터 분석 보존부와,
상기 파라미터 분석 보존부에 보존한 상기 복수 종류의 단음에 대한 상기 배음 피크ㆍ파라미터와 상기 파워 엔벨로프ㆍ파라미터에 의거해서 상기 분리 음향 신호에 포함되는 모든 단음에 대응하는 상기 제 2 종류의 악기로부터 발생되는 복수의 단음 중 상기 복수 종류의 단음 이외의 단음에 대한 음향 신호를 상기 조파 모델에 의해 표현할 경우에 필요하게 되는 상기 제 2 종류의 악기의 상기 복수의 단음마다의 상기 배음 피크ㆍ파라미터를 보간법을 이용해서 생성해서 보존하는 파라미터 보간 생성 보존부로 이루어지고,
상기 파라미터 분석 보존부는 분석에 의해 얻어진 상기 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 대표 파워 엔벨로프ㆍ파라미터로서 보존하는 것을 특징으로 하는 음악 음향 신호 생성 시스템. - 제 2 항 또는 제 3 항에 있어서,
상기 치환용 파라미터 보존부는 복수 종류의 단음마다의 적어도 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터 및 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 분석해서 보존하는 파라미터 분석 보존부와,
상기 파라미터 분석 보존부에 보존한 상기 복수 종류의 단음에 대한 상기 배음 피크ㆍ파라미터와 상기 파워 엔벨로프ㆍ파라미터에 의거해서 상기 분리 음향 신호에 포함되는 모든 단음에 대응하는 상기 제 2 종류의 악기로부터 발생되는 복수의 단음 중 상기 복수 종류의 단음 이외의 단음에 대한 음향 신호를 상기 조파 모델에 의해 표현할 경우에 필요하게 되는 상기 제 2 종류의 악기의 상기 복수의 단음마다의 상기 배음 피크ㆍ파라미터 및 상기 파워 엔벨로프ㆍ파라미터를 보간법을 이용해서 생성해서 보존하는 파라미터 보간 생성 보존부로 이루어지는 것을 특징으로 하는 음악 음향 신호 생성 시스템. - 제 5 항에 있어서,
상기 치환용 파라미터 보존부는 상기 파라미터 분석 보존부 및 상기 파라미터 보간 생성 보존부에 보존된 데이터에 의거해서 상기 제 2 종류의 상기 복수의 단음마다의 상기 배음 피크ㆍ파라미터를 음높이 의존 특징 함수로서 보존하는 함수 생성 보존부를 더 구비하고,
상기 치환 파라미터 작성 보존부는 상기 제 2 종류의 악기의 상기 단음의 상기 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크를 상기 음높이 의존 특징 함수로부터 취득하도록 구성되어 있는 것을 특징으로 하는 음악 음향 신호 생성 시스템. - 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 음악 음향 신호를 포함하는 혼합 음향 신호로부터 상기 음악 음향 신호를 분리하는 음향 신호 분리부를 더 구비하고 있는 것을 특징으로 하는 음악 음향 신호 생성 시스템. - 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 음악 음향 신호를 포함하는 혼합 음향 신호로부터 상기 음악 음향 신호를 분리하는 음향 신호 분리부를 더 구비하고 있고, 상기 음악 음향 신호 이외의 음향 신호가 상기 잔차 음향 신호 중에 포함되는 것을 특징으로 하는 음악 음향 신호 생성 시스템. - 제 9 항에 있어서,
상기 음악 음향 신호를 포함하는 혼합 음향 신호로부터 얻은 별도의 음악 음향 신호로부터 상기 제 2 종류의 악기의 악기음을 취득하는 것을 특징으로 하는 음악 음향 신호 생성 시스템. - 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 조파 모델은 배음 구조의 비조화성을 포함시킨 조파 모델인 것을 특징으로 하는 음악 음향 신호 생성 시스템. - 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 분리 음향 신호 분석 보존부가 분석하는 복수의 파라미터에는 음높이에 관한 음높이 파라미터와 음장에 관한 음장 파라미터가 포함되어 있고,
상기 음높이 파라미터를 조작하는 음높이 조작부와 상기 음장 파라미터를 조작하는 음장 파라미터 조작부를 더 구비하고 있는 것을 특징으로 하는 음악 음향 신호 생성 시스템. - 제 1 종류의 악기로부터 발생된 악기음의 음향 신호를 포함하는 음악 음향 신호로부터 상기 제 1 종류의 악기로부터 발생된 악기음의 음향 신호만을 포함하는 분리 음향 신호를 단음마다 각각 추출하고 또한 잔차 음향 신호를 추출하는 스텝과,
단음마다의 상기 분리 음향 신호를 적어도 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터와 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 포함하는 복수의 파라미터에 의해 정식화된 조파 모델에 의해 표현하기 위해서 상기 단음마다 상기 복수의 파라미터를 분석하는 스텝과,
상기 제 1 종류의 악기와는 다른 제 2 종류의 악기로부터 발생된 악기음의 음향 신호로부터 상기 분리 음향 신호에 포함되는 모든 단음에 대응하는 상기 제 2 종류의 악기로부터 발생되는 복수의 단음에 대한 음향 신호를 상기 조파 모델에 의해 표현할 경우에 필요하게 되는 상기 제 2 종류의 악기의 상기 복수의 단음의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터를 작성하는 스텝과,
상기 제 1 종류의 악기의 단음마다의 상기 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크를 상기 제 1 종류의 악기의 단음에 대응하는 상기 제 2 종류의 악기의 상기 단음의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크로 치환함으로써 치환 배음 피크ㆍ파라미터를 작성하는 스텝과,
상기 배음 피크ㆍ파라미터를 제외한 다른 파라미터와 상기 치환 배음 피크ㆍ파라미터를 이용해서 단음마다의 합성 분리 음향 신호를 생성하는 스텝과,
상기 합성 분리 음향 신호와 상기 잔차 음향 신호를 가산해서 제 2 종류의 악기로부터 발생된 악기음을 포함하는 음악 음향 신호를 출력하는 스텝을 컴퓨터가 실시하는 것을 특징으로 하는 음악 음향 신호 생성 방법. - 제 1 종류의 악기로부터 발생된 악기음의 음향 신호를 포함하는 음악 음향 신호로부터 상기 제 1 종류의 악기로부터 발생된 악기음의 음향 신호만을 포함하는 분리 음향 신호를 단음마다 각각 추출하고 또한 잔차 음향 신호를 추출하는 스텝과,
단음마다의 상기 분리 음향 신호를 적어도 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터와 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 포함하는 복수의 파라미터에 의해 정식화된 조파 모델에 의해 표현하기 위해서 상기 단음마다 상기 복수의 파라미터를 분석하는 스텝과,
상기 제 1 종류의 악기와는 다른 제 2 종류의 악기로부터 발생된 악기음의 음향 신호로부터 상기 분리 음향 신호에 포함되는 모든 단음에 대응하는 상기 제 2 종류의 악기로부터 발생되는 복수의 단음에 대한 음향 신호를 상기 조파 모델에 의해 표현할 경우에 필요하게 되는 상기 제 2 종류의 악기의 상기 복수의 단음마다의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터 및 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 작성하는 스텝과,
상기 제 1 종류의 악기의 단음마다의 상기 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크를 상기 제 1 종류의 악기의 단음에 대응하는 상기 제 2 종류의 악기의 상기 단음의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크로 치환함으로써 치환 배음 피크ㆍ파라미터를 작성하고, 또한 상기 제 1 종류의 악기의 단음마다의 상기 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터의 특징 영역을 상기 제 1 종류의 악기의 단음에 대응하는 상기 제 2 종류의 악기의 상기 단음의 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터의 특징 영역으로 치환함으로써 치환 파워 엔벨로프ㆍ파라미터를 작성하는 스텝과,
상기 배음 피크ㆍ파라미터 및 상기 파워 엔벨로프ㆍ파라미터를 제외한 다른 파라미터와 상기 치환 배음 피크ㆍ파라미터 및 상기 치환 파워 엔벨로프ㆍ파라미터를 이용해서 단음마다의 합성 분리 음향 신호를 생성하는 스텝과,
상기 합성 분리 음향 신호와 상기 잔차 음향 신호를 가산해서 제 2 종류의 악기로부터 발생된 악기음의 음향 신호를 포함하는 음악 음향 신호를 출력하는 스텝을 컴퓨터가 실시하는 것을 특징으로 하는 음악 음향 신호 생성 방법. - 제 1 종류의 악기로부터 발생된 악기음의 음향 신호를 포함하는 음악 음향 신호로부터 상기 제 1 종류의 악기로부터 발생된 악기음의 음향 신호만을 포함하는 분리 음향 신호를 단음마다 각각 추출하고 또한 잔차 음향 신호를 추출하는 스텝과,
단음마다의 상기 분리 음향 신호를 적어도 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터와 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 포함하는 복수의 파라미터에 의해 정식화된 조파 모델에 의해 표현하기 위해서 상기 단음마다 상기 복수의 파라미터를 분석하는 스텝과,
상기 제 1 종류의 악기와는 다른 제 2 종류의 악기로부터 발생된 악기음의 음향 신호로부터 상기 분리 음향 신호에 포함되는 모든 단음에 대응하는 상기 제 2 종류의 악기로부터 발생되는 복수의 단음에 대한 음향 신호를 상기 조파 모델에 의해 표현할 경우에 필요하게 되는 상기 제 2 종류의 악기의 상기 복수의 단음마다의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터 및 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 작성하는 스텝과,
상기 제 1 종류의 악기와 상기 제 2 종류의 악기가 동일한 악기 분류에 속하는지의 여부를 판정하는 악기 분류 스텝과,
상기 제 1 종류의 악기의 단음마다의 상기 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크를 상기 제 1 종류의 악기의 단음에 대응하는 상기 제 2 종류의 악기의 상기 단음의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크로 치환함으로써 치환 배음 피크ㆍ파라미터를 작성하고, 또한 상기 제 1 종류의 악기의 단음마다의 상기 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터의 특징 영역을 상기 제 1 종류의 악기의 단음에 대응하는 상기 제 2 종류의 악기의 상기 단음의 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터의 특징 영역으로 치환함으로써 치환 파워 엔벨로프ㆍ파라미터를 작성하는 스텝과,
상기 악기 분류 스텝이 상기 제 1 종류의 악기와 상기 제 2 종류의 악기가 동일한 악기 분류에 속하는 것으로 판정했을 때에는 상기 배음 피크ㆍ파라미터를 제외한 다른 파라미터와 상기 치환 배음 피크ㆍ파라미터를 이용해서 단음마다의 합성 분리 음향 신호를 생성하고, 상기 악기 분류 판정부가 상기 제 1 종류의 악기와 상기 제 2 종류의 악기가 다른 악기 분류에 속하는 것으로 판정했을 때에는 상기 배음 피크ㆍ파라미터 및 상기 파워 엔벨로프ㆍ파라미터를 제외한 다른 파라미터와 상기 치환 배음 피크ㆍ파라미터 및 상기 치환 파워 엔벨로프ㆍ파라미터를 이용해서 단음마다의 합성 분리 음향 신호를 생성하는 스텝과,
상기 합성 분리 음향 신호와 상기 잔차 음향 신호를 가산해서 제 2 종류의 악기로부터 발생된 악기음의 음향 신호를 포함하는 음악 음향 신호를 출력하는 스텝을 컴퓨터가 실시하는 것을 특징으로 하는 음악 음향 신호 생성 방법. - 제 1 종류의 악기로부터 발생된 악기음의 음향 신호를 포함하는 음악 음향 신호로부터 상기 제 1 종류의 악기로부터 발생된 악기음의 음향 신호만을 포함하는 분리 음향 신호를 단음마다 각각 추출하고 또한 잔차 음향 신호를 추출하는 스텝과,
단음마다의 상기 분리 음향 신호를 적어도 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터와 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 포함하는 복수의 파라미터에 의해 정식화된 조파 모델에 의해 표현하기 위해서 상기 단음마다 상기 복수의 파라미터를 분석하는 스텝과,
상기 제 1 종류의 악기와는 다른 제 2 종류의 악기로부터 발생된 악기음의 음향 신호로부터 상기 분리 음향 신호에 포함되는 모든 단음에 대응하는 상기 제 2 종류의 악기로부터 발생되는 복수의 단음에 대한 음향 신호를 상기 조파 모델에 의해 표현할 경우에 필요하게 되는 상기 제 2 종류의 악기의 상기 복수의 단음의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터를 작성하는 스텝과,
상기 제 1 종류의 악기의 단음마다의 상기 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크를 상기 제 1 종류의 악기의 단음에 대응하는 상기 제 2 종류의 악기의 상기 단음의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크로 치환함으로써 치환 배음 피크ㆍ파라미터를 작성하는 스텝과,
상기 배음 피크ㆍ파라미터를 제외한 다른 파라미터와 상기 치환 배음 피크ㆍ파라미터를 이용해서 단음마다의 합성 분리 음향 신호를 생성하는 스텝과,
상기 합성 분리 음향 신호와 상기 잔차 음향 신호를 가산해서 제 2 종류의 악기로부터 발생된 악기음의 음향 신호를 포함하는 음악 음향 신호를 출력하는 스텝을 컴퓨터를 이용해서 실시하기 위해서 상기 컴퓨터에서 이용되는 것을 특징으로 하는 음악 음향 신호 생성용 컴퓨터 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체. - 제 1 종류의 악기로부터 발생된 악기음의 음향 신호를 포함하는 음악 음향 신호로부터 상기 제 1 종류의 악기로부터 발생된 악기음의 음향 신호만을 포함하는 분리 음향 신호를 단음마다 각각 추출하고 또한 잔차 음향 신호를 추출하는 스텝과,
단음마다의 상기 분리 음향 신호를 적어도 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터와 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 포함하는 복수의 파라미터에 의해 정식화된 조파 모델에 의해 표현하기 위해서 상기 단음마다 상기 복수의 파라미터를 분석하는 스텝과,
상기 제 1 종류의 악기와는 다른 제 2 종류의 악기로부터 발생된 악기음의 음향 신호로부터 상기 분리 음향 신호에 포함되는 모든 단음에 대응하는 상기 제 2 종류의 악기로부터 발생되는 복수의 단음에 대한 음향 신호를 상기 조파 모델에 의해 표현할 경우에 필요하게 되는 상기 제 2 종류의 악기의 상기 복수의 단음마다의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터 및 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 작성하는 스텝과,
상기 제 1 종류의 악기의 단음마다의 상기 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크를 상기 제 1 종류의 악기의 단음에 대응하는 상기 제 2 종류의 악기의 상기 단음의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크로 치환함으로써 치환 배음 피크ㆍ파라미터를 작성하고, 또한 상기 제 1 종류의 악기의 단음마다의 상기 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터의 특징 영역을 상기 제 1 종류의 악기의 단음에 대응하는 상기 제 2 종류의 악기의 상기 단음의 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터의 특징 영역으로 치환함으로써 치환 파워 엔벨로프ㆍ파라미터를 작성하는 스텝과,
상기 배음 피크ㆍ파라미터 및 상기 파워 엔벨로프ㆍ파라미터를 제외한 다른 파라미터와 상기 치환 배음 피크ㆍ파라미터 및 상기 치환 파워 엔벨로프ㆍ파라미터를 이용해서 단음마다의 합성 분리 음향 신호를 생성하는 스텝과,
상기 합성 분리 음향 신호와 상기 잔차 음향 신호를 가산해서 제 2 종류의 악기로부터 발생된 악기음의 음향 신호를 포함하는 음악 음향 신호를 출력하는 스텝을 컴퓨터를 이용해서 실시하기 위해서 상기 컴퓨터에서 이용되는 것을 특징으로 하는 음악 음향 신호 생성용 컴퓨터 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체. - 제 1 종류의 악기로부터 발생된 악기음의 음향 신호를 포함하는 음악 음향 신호로부터 상기 제 1 종류의 악기로부터 발생된 악기음의 음향 신호만을 포함하는 분리 음향 신호를 단음마다 각각 추출하고 또한 잔차 음향 신호를 추출하는 스텝과,
단음마다의 상기 분리 음향 신호를 적어도 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터와 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 포함하는 복수의 파라미터에 의해 정식화된 조파 모델에 의해 표현하기 위해서 상기 단음마다 상기 복수의 파라미터를 분석하는 스텝과,
상기 제 1 종류의 악기와는 다른 제 2 종류의 악기로부터 발생된 악기음의 음향 신호로부터 상기 분리 음향 신호에 포함되는 모든 단음에 대응하는 상기 제 2 종류의 악기로부터 발생되는 복수의 단음에 대한 음향 신호를 상기 조파 모델에 의해 표현할 경우에 필요하게 되는 상기 제 2 종류의 악기의 상기 복수의 단음마다의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터 및 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터를 작성하는 스텝과,
상기 제 1 종류의 악기와 상기 제 2 종류의 악기가 동일한 악기 분류에 속하는지의 여부를 판정하는 악기 분류 스텝과,
상기 제 1 종류의 악기의 단음마다의 상기 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크를 상기 제 1 종류의 악기의 단음에 대응하는 상기 제 2 종류의 악기의 상기 단음의 n차 배음 성분의 상대 강도를 나타내는 배음 피크ㆍ파라미터에 포함되는 복수의 배음 피크로 치환함으로써 치환 배음 피크ㆍ파라미터를 작성하고, 또한 상기 제 1 종류의 악기의 단음마다의 상기 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터의 특징 영역을 상기 제 1 종류의 악기의 단음에 대응하는 상기 제 2 종류의 악기의 상기 단음의 n차 배음 성분의 시간 방향의 파워 엔벨로프를 나타내는 파워 엔벨로프ㆍ파라미터의 특징 영역으로 치환함으로써 치환 파워 엔벨로프ㆍ파라미터를 작성하는 스텝과,
상기 악기 분류 스텝이 상기 제 1 종류의 악기와 상기 제 2 종류의 악기가 동일한 악기 분류에 속하는 것으로 판정했을 때에는 상기 배음 피크ㆍ파라미터를 제외한 다른 파라미터와 상기 치환 배음 피크ㆍ파라미터를 이용해서 단음마다의 합성 분리 음향 신호를 생성하고, 상기 악기 분류 판정부가 상기 제 1 종류의 악기와 상기 제 2 종류의 악기가 다른 악기 분류에 속하는 것으로 판정했을 때에는 상기 배음 피크ㆍ파라미터 및 상기 파워 엔벨로프ㆍ파라미터를 제외한 다른 파라미터와 상기 치환 배음 피크ㆍ파라미터 및 상기 치환 파워 엔벨로프ㆍ파라미터를 이용해서 단음마다의 합성 분리 음향 신호를 생성하는 스텝과,
상기 합성 분리 음향 신호와 상기 잔차 음향 신호를 가산해서 제 2 종류의 악기로부터 발생된 악기음의 음향 신호를 포함하는 음악 음향 신호를 출력하는 스텝을 컴퓨터를 이용해서 실시하기 위해서 상기 컴퓨터에서 이용되는 것을 특징으로 하는 음악 음향 신호 생성용 컴퓨터 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체. - 제 1 항에 있어서,
상기 제 1 종류의 악기 또는 상기 제 2 종류의 악기를 이용해서 연주했을 때에 상기 제 1 종류의 악기 또는 상기 제 2 종류의 악기로부터 발생되는 악기음의 음향 신호를 상기 분리 음향 신호 분석 보존부에 보존된 상기 단음마다의 상기 복수의 파라미터를 이용해서 생성하기 위한 조작을 행하는 악보 조작부를 더 구비하고 있는 것을 특징으로 하는 음악 음향 신호 생성 시스템. - 제 19 항에 있어서,
상기 악보 조작부는 다른 악보의 악보 구조 중의 각 단음에 어울리는 음높이에 관한 음높이 파라미터, 음장에 관한 음장 파라미터 및 조파 모델을 구성하는 파라미터 중 음색에 관한 파라미터를 생성하도록 구성되어 있는 것을 특징으로 하는 음악 음향 신호 생성 시스템. - 삭제
- 삭제
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JPJP-P-2009-034664 | 2009-02-17 | ||
| JP2009034664 | 2009-02-17 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110129883A KR20110129883A (ko) | 2011-12-02 |
| KR101602194B1 true KR101602194B1 (ko) | 2016-03-10 |
Family
ID=42633902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020117020862A KR101602194B1 (ko) | 2009-02-17 | 2010-02-16 | 음악 음향 신호 생성 시스템 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8831762B2 (ko) |
| EP (1) | EP2400488B1 (ko) |
| JP (1) | JP5283289B2 (ko) |
| KR (1) | KR101602194B1 (ko) |
| WO (1) | WO2010095622A1 (ko) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5569307B2 (ja) * | 2010-09-30 | 2014-08-13 | ブラザー工業株式会社 | プログラム、及び編集装置 |
| US8620646B2 (en) * | 2011-08-08 | 2013-12-31 | The Intellisis Corporation | System and method for tracking sound pitch across an audio signal using harmonic envelope |
| JP2013205830A (ja) * | 2012-03-29 | 2013-10-07 | Sony Corp | トーン成分検出方法、トーン成分検出装置およびプログラム |
| CN104683933A (zh) | 2013-11-29 | 2015-06-03 | 杜比实验室特许公司 | 音频对象提取 |
| CN104200818A (zh) * | 2014-08-06 | 2014-12-10 | 重庆邮电大学 | 一种音高检测方法 |
| US9552741B2 (en) * | 2014-08-09 | 2017-01-24 | Quantz Company, Llc | Systems and methods for quantifying a sound into dynamic pitch-based graphs |
| JP6409417B2 (ja) * | 2014-08-29 | 2018-10-24 | ヤマハ株式会社 | 音響処理装置 |
| JP6337698B2 (ja) * | 2014-08-29 | 2018-06-06 | ヤマハ株式会社 | 音響処理装置 |
| GB2548321B (en) * | 2016-01-26 | 2019-10-09 | Melville Wernick William | Percussion instrument and signal processor |
| US11127387B2 (en) * | 2016-09-21 | 2021-09-21 | Roland Corporation | Sound source for electronic percussion instrument and sound production control method thereof |
| JP6708179B2 (ja) | 2017-07-25 | 2020-06-10 | ヤマハ株式会社 | 情報処理方法、情報処理装置およびプログラム |
| JP6708180B2 (ja) | 2017-07-25 | 2020-06-10 | ヤマハ株式会社 | 演奏解析方法、演奏解析装置およびプログラム |
| JP6724938B2 (ja) * | 2018-03-01 | 2020-07-15 | ヤマハ株式会社 | 情報処理方法、情報処理装置およびプログラム |
| WO2019229738A1 (en) * | 2018-05-29 | 2019-12-05 | Sound Object Technologies S.A. | System for decomposition of digital sound samples into sound objects |
| CN108986841B (zh) * | 2018-08-08 | 2023-07-11 | 百度在线网络技术（北京）有限公司 | 音频信息处理方法、装置及存储介质 |
| CN111492424A (zh) * | 2018-10-19 | 2020-08-04 | 索尼公司 | 信息处理设备、信息处理方法以及信息处理程序 |
| US11183201B2 (en) | 2019-06-10 | 2021-11-23 | John Alexander Angland | System and method for transferring a voice from one body of recordings to other recordings |
| CN110910895B (zh) * | 2019-08-29 | 2021-04-30 | 腾讯科技（深圳）有限公司 | 一种声音处理的方法、装置、设备和介质 |
| CN112466275B (zh) * | 2020-11-30 | 2023-09-22 | 北京百度网讯科技有限公司 | 语音转换及相应的模型训练方法、装置、设备及存储介质 |
| CN116710998A (zh) * | 2021-01-13 | 2023-09-05 | 雅马哈株式会社 | 信息处理系统、电子乐器、信息处理方法及程序 |
| CN113362837B (zh) * | 2021-07-28 | 2024-05-14 | 腾讯音乐娱乐科技（深圳）有限公司 | 一种音频信号处理方法、设备及存储介质 |
| CN114464151B (zh) * | 2022-04-12 | 2022-08-23 | 北京荣耀终端有限公司 | 修音方法及装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05188931A (ja) | 1992-01-14 | 1993-07-30 | Sony Corp | 音楽処理システム |
| US5536902A (en) * | 1993-04-14 | 1996-07-16 | Yamaha Corporation | Method of and apparatus for analyzing and synthesizing a sound by extracting and controlling a sound parameter |
| ID29029A (id) | 1998-10-29 | 2001-07-26 | Smith Paul Reed Guitars Ltd | Metode untuk menemukan fundamental dengan cepat |
| US6836761B1 (en) * | 1999-10-21 | 2004-12-28 | Yamaha Corporation | Voice converter for assimilation by frame synthesis with temporal alignment |
| JP4318119B2 (ja) | 2004-06-18 | 2009-08-19 | 国立大学法人京都大学 | 音響信号処理方法、音響信号処理装置、音響信号処理システム及びコンピュータプログラム |
| JP4534883B2 (ja) | 2005-07-11 | 2010-09-01 | カシオ計算機株式会社 | 楽音制御装置および楽音制御処理のプログラム |
| JP2008057310A (ja) | 2006-08-03 | 2008-03-13 | Mikumo Juken:Kk | 自在手摺 |
| JP5201602B2 (ja) | 2007-04-13 | 2013-06-05 | 国立大学法人京都大学 | 音源分離システム、音源分離方法及び音源分離用コンピュータプログラム |
-
2010
- 2010-02-16 JP JP2011500614A patent/JP5283289B2/ja not_active Expired - Fee Related
- 2010-02-16 US US13/201,757 patent/US8831762B2/en not_active Expired - Fee Related
- 2010-02-16 EP EP10743748.5A patent/EP2400488B1/en not_active Not-in-force
- 2010-02-16 WO PCT/JP2010/052293 patent/WO2010095622A1/ja active Application Filing
- 2010-02-16 KR KR1020117020862A patent/KR101602194B1/ko not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| WO2010095622A1 (ja) | 2010-08-26 |
| US20120046771A1 (en) | 2012-02-23 |
| EP2400488B1 (en) | 2017-09-27 |
| JPWO2010095622A1 (ja) | 2012-08-23 |
| EP2400488A4 (en) | 2015-12-30 |
| EP2400488A1 (en) | 2011-12-28 |
| JP5283289B2 (ja) | 2013-09-04 |
| US8831762B2 (en) | 2014-09-09 |
| KR20110129883A (ko) | 2011-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101602194B1 (ko) | 음악 음향 신호 생성 시스템 | |
| JP7243052B2 (ja) | オーディオ抽出装置、オーディオ再生装置、オーディオ抽出方法、オーディオ再生方法、機械学習方法及びプログラム | |
| US8239052B2 (en) | Sound source separation system, sound source separation method, and computer program for sound source separation | |
| CN1174368C (zh) | 修改复合波形的泛音含量的方法 | |
| EP1646035B1 (en) | Mapped meta-data sound-playback device and audio-sampling/sample processing system useable therewith | |
| US7613612B2 (en) | Voice synthesizer of multi sounds | |
| CN112382257B (zh) | 一种音频处理方法、装置、设备及介质 | |
| JP2001159892A (ja) | 演奏データ作成装置及び記録媒体 | |
| JP2003241757A (ja) | 波形生成装置及び方法 | |
| Paulus | Signal processing methods for drum transcription and music structure analysis | |
| JP2012506061A (ja) | デジタル音楽音響信号の分析方法 | |
| Lerch | Software-based extraction of objective parameters from music performances | |
| Abeßer et al. | Parametric audio coding of bass guitar recordings using a tuned physical modeling algorithm | |
| JP2008058753A (ja) | 音分析装置およびプログラム | |
| Yasuraoka et al. | Changing timbre and phrase in existing musical performances as you like: manipulations of single part using harmonic and inharmonic models | |
| JP5879813B2 (ja) | 複数音源の識別装置および複数音源に連動する情報処理装置 | |
| Pardo et al. | Applying source separation to music | |
| Joysingh et al. | Development of large annotated music datasets using HMM based forced Viterbi alignment | |
| Somerville et al. | Multitimbral musical instrument classification | |
| JP2003216147A (ja) | 音響信号の符号化方法 | |
| JP5569307B2 (ja) | プログラム、及び編集装置 | |
| Müller et al. | Music signal processing | |
| Lavault | Generative Adversarial Networks for Synthesis and Control of Drum Sounds | |
| Sarkar | Time-domain music source separation for choirs and ensembles | |
| Janer et al. | Morphing techniques for enhanced scat singing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |