KR20010082280A - 복합 파형의 고조파 내용 수정 방법 - Google Patents

복합 파형의 고조파 내용 수정 방법 Download PDF

Info

Publication number
KR20010082280A
KR20010082280A KR1020017005410A KR20017005410A KR20010082280A KR 20010082280 A KR20010082280 A KR 20010082280A KR 1020017005410 A KR1020017005410 A KR 1020017005410A KR 20017005410 A KR20017005410 A KR 20017005410A KR 20010082280 A KR20010082280 A KR 20010082280A
Authority
KR
South Korea
Prior art keywords
harmonic
frequency
harmonics
waveform
amplitude
Prior art date
Application number
KR1020017005410A
Other languages
English (en)
Inventor
폴리드 스미스
잭더블유. 스미스
Original Assignee
추후제출
파울 리드 스미스 기타스, 리미티드 파트너쉽
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 추후제출, 파울 리드 스미스 기타스, 리미티드 파트너쉽 filed Critical 추후제출
Publication of KR20010082280A publication Critical patent/KR20010082280A/ko

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/44—Tuning means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/18—Selecting circuits
    • G10H1/20—Selecting circuits for transposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/38—Chord
    • G10H1/383—Chord detection and/or recognition, e.g. for correction, or automatic bass generation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H3/00—Instruments in which the tones are generated by electromechanical means
    • G10H3/12—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
    • G10H3/125—Extracting or recognising the pitch or fundamental frequency of the picked up signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H3/00—Instruments in which the tones are generated by electromechanical means
    • G10H3/12—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
    • G10H3/14—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument using mechanically actuated vibrators with pick-up means
    • G10H3/18—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument using mechanically actuated vibrators with pick-up means using a string, e.g. electric guitar
    • G10H3/186—Means for processing the signal picked up from the strings
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/325—Musical pitch modification
    • G10H2210/331—Note pitch correction, i.e. modifying a note pitch or replacing it by the closest one in a given scale
    • G10H2210/335—Chord correction, i.e. modifying one or several notes within a chord, e.g. to correct wrong fingering or to improve harmony
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/395—Special musical scales, i.e. other than the 12- interval equally tempered scale; Special input devices therefor
    • G10H2210/471—Natural or just intonation scales, i.e. based on harmonics consonance such that most adjacent pitches are related by harmonically pure ratios of small integers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/571—Chords; Chord sequences
    • G10H2210/581—Chord inversion
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/571—Chords; Chord sequences
    • G10H2210/586—Natural chords, i.e. adjustment of individual note pitches in order to generate just intonation chords
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/571—Chords; Chord sequences
    • G10H2210/596—Chord augmented
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/571—Chords; Chord sequences
    • G10H2210/601—Chord diminished
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/571—Chords; Chord sequences
    • G10H2210/621—Chord seventh dominant
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/571—Chords; Chord sequences
    • G10H2210/626—Chord sixth
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
    • G10H2250/161—Logarithmic functions, scaling or conversion, e.g. to reflect human auditory perception of loudness or frequency

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Surface Acoustic Wave Elements And Circuit Networks Thereof (AREA)
  • Separation By Low-Temperature Treatments (AREA)
  • Complex Calculations (AREA)
  • Crystals, And After-Treatments Of Crystals (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Manufacture, Treatment Of Glass Fibers (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Auxiliary Devices For Music (AREA)
  • Tires In General (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Prostheses (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Measuring Frequencies, Analyzing Spectra (AREA)

Abstract

진폭 및 주파수 측면에서 시간에 대해 이동하는 타겟으로 고조파 및 파아셜 주파수를 고려함으로서, 그리고 진폭 및 주파수 측면에서 수정장치를 이동시킴으로서 이동 타겟을 조절함으로서, 복합 파형을 조작하는 방법이 공개된다. 고조파 주파수의 조작과 고조파 주파수의 합성은 고조파 차수를 바탕으로 한다. 수정 장치는 차수를 바탕으로 한 주파수의 이동과 함께 움직인다. 고조파 변환은 제 1 음원으로부터의 파형을, 제 2, 또는 타겟 음원의 파형으로 차수만큼 수정한다. 고조파 및 다른 파아셜 강약조절은 각각의 주파수를 식별하고, 그 인접 주파수와의 관계를 식별하며, 이뿐 아니라 고정 또는 이동 한계값까지 식별한다. 또한, 적절한 조절을 행한다. 보간은 자연 고조파를 모방하는 모델로 또한 공개된다.

Description

복합 파형의 고조파 내용 수정 방법{METHOD OF MODIFYING HARMONIC CONTENT OF A COMPLEX WAVEFORM}
본 명세서에서 사용되는 여러 용어가 본 단락에서 정의될 것이다.
인체의 귀에 끊임없이 도달하는 여러 종류의 소리 중에서, 귀가 진폭, 음색, 음고 특성을 소리에 속하는 것으로 할만큼 충분히 오래 지속되고 꾸준한 특성에 의해 소리들이 서로 구별된다. 이 종류의 소리를 톤(tone)이라고 한다.
톤의 성질, 또는 음색은 동일한 주파수와 음량, 또는 진폭을 가지는 다른 톤과 구별되게 하는 특성이다. 보다 일반적인 측면에서, 이러한 면은 악기에게 인지가능한 특성을 부여하고, 이는 시간에 따른 고조파 내용에 그 대부분의 원인이 있다.
일부 악기는 수백 사이클이 일어날만큼 충분히 긴, 몇초 이상동안 그 특성이변하지 않는 상태로 유지시킬 수 있는 꾸준한 톤을 발생시킨다. 이러한 톤은 주기적이라 말할 수 있다.
악기를 포함한 대부분의 음원은 여러 진폭과 주파수의 사인파 혼합형인 복합 파형을 생성한다. 복합 톤을 구성하는 개별 사인파는 부분 톤, 또는 간단히 파아셜(partial)이라 불린다. 파아셜이나 파아셜 주파수는 한정된 에너지 주파수 대역으로 정의되고, 고조파 주파수는 노드의 정수배로 현과 같은 기계적 객체를 분할하는, 정수 관계를 바탕으로 하는 현상에 따라 발생되는 파아셜로 정의된다. 주어진 복합 톤의 톤 성질, 즉 음색은 파아셜들의 양, 주파수, 진폭에 의해 결정되고, 특히 서로에 대한 진폭비와 다른 파아셜에 대한 상대적 주파수에 의해 결정된다(즉, 상기 요소들이 조합하고 블렌딩되는 방식에 따라 결정된다). 주파수 자체는 결정 인자가 아니다. 악기에서 연주되는 음은 동일 악기에서 연주되는 또다른 음과 유사한 음색을 가진다. 소리를 조작하는 구체화된 시스템에서, 파아셜은 실제로 작은 주파수 대역의 에너지를 나타내고, 샘플링 레이트에 의해 통제되며, 샘플링 시스템과 관련된 불확정성을 보인다.
악기나 사람의 음성과 특히 관련된 음향 신호는 신호가 어떻게 소리나는지를 규정하는 특성 고조파 내용을 가진다. 각각의 신호는 기본 주파수와 상위 고조파 주파수들로 이루어진다. 이러한 조합된 사이클 각각에 대한 그래픽 패턴이 파형이다. 복합파의 상세한 파형은 그 고조파들의 상대적 진폭에 부분적으로 의존한다. 고조파들 간의 진폭, 주파수, 위상 관계 중 하나를 변화시키는 것은 톤의 음색이나 특성을 귀로 인지할 때 다르게 느끼게 한다.
기본 주파수(1차 고조파, f1)와 상위 고조파들(f2-fN)는 일반적으로 수학적인 관계를 가진다. 일반적인 악기에 의해 생성되는 소리에서, 상위 고조파들은 기본 고조파의 정수배이다. 2차 고조파의 주파수는 기본 주파수의 두배이고, 3차 고조파의 주파수는 기본 주파수의 3배이며, 그 이후도 마찬가지다. 이 정수배 수치를 "차수"라 한다. 일반적으로, 본 명세서에서 고조파라는 용어는 기본 주파수를 포함한 모든 고조파들을 나타낸다.
각각의 고조파는 기본 주파수에 대한 진폭, 주파수, 위상 관계를 가진다. 이 관계는 인지된 소리를 변경시키도록 조작될 수 있다. 주기적인 복합톤이 구성 요소들(기본 주파수와 상위 고조파)로 분할될 수 있다. 이 분석의 그래픽 표면은 스펙트럼이라 불린다. 주어진 음의 특성 음색은 "스펙트럴 프로파일"에서 그래픽 방식으로 나타날 수 있다.
일반적인 악기가 정수배의 고조파나 정수배 근처의 고조파를 포함하는 음을 생성하지만, 여러 다른 악기와 음원은 기본 주파수와 상위 고조파들 사이에 보다 복합적인 관계를 가지는 소리를 생성한다. 일부 악기는 수학적 관련성을 가지는 고조파들을 생성하지만, 그 관계가 완전히 비-정수적이다. 더욱이, 모든 악기가 주지적 진동으로 이루어진 톤을 생성하지는 않는다. 각각의 사이클에서 파형이 반복되지 않는 톤의 경우에, 파아셜 주파수가 기본 주파수에 관련될 필요가 없다. 이 톤들은 "비-고조파"로 불린다.
현대의 등분평균율 음계(또는 서양 음계)는 옥타브를 12개의 동일 간격 반음음정으로 구성하도록 음계가 조절되는 방법이다. 반음 주파수는 그 이전반음 주파수에 21/12, 또는 1.0594631을 곱한 값이다. 이는 모든 옥타브 음정의 주파수가 1:2 비에 있는 음계를 생성한다. 이 옥타브만이 어울림 음정이다. 모든 다른 음정은 안어울림 음정이다.
음계의 내재된 약속은 가령 피아노를 모든 건반에서 연주하게 한다. 그러나 사람 귀에는, 등분평균율 음계로 정확하게 조율된 피아노와 같은 악기가 상위 음역에서 약간 낮은 음을 내며, 이는 대부분의 기계적 악기의 고조파들이 정확한 배수관계를 이루지 못하며 사람의 귀가 이를 인지하기 때문이다. 그래서 일부 악기의 조율이 "스트레치"된다. 즉, 간단한 기계적 공식에 의한 음고로부터 편차를 보이는 조율을 실시한다. 이 편차는 간단한 기계적 공식에 의한 음보다 약간 높을 수도 있고, 약간 낮을 수도 있다. 스트레치형 조율에서, 음과 고조파간의 수학적 관계는 여전히 존재하지만, 그 관계는 보다 복잡하다. 악기를 포함한 여러 종류의 발진/진동 장치에 의해 생성되는 고조파 주파수들 간의 관계는 아래의 함수로 모델링될 수 있다.
fn= f1x G(n)
이때, fn은 n차 고조파의 주파수이고, n은 고조파 차수를 나타내는 양의 정수이다. 이러한 함수의 예는 다음과 같다.
a) fn= f1x n
b) fn= f1x n x [1 + (n2-1)β]1/2
이때, β는 현악기의 현이나 악기에 따라 좌우되는 상수이고, 일부 경우에는 연주되는 음의 주파수 음역에 따라 좌우되는 상수이다.
일반적으로(항상은 아님) 음향이나 음악적 톤의 인지되는 음고는 주기적 신호의 기본(최저) 주파수이다. 앞서 언급한 바와 같이, 음악에서의 음은 서로에 대해 다양한 진폭, 주파수, 위상 관계를 가지는 고조파들을 포함한다. 중첩되었을 때, 이 고조파들은 복합적인 시간-도메인 신호를 생성한다. 신호의 고조파의 양과 진폭은 그 음색이나 음악적 특성의 가장 강한 표시자이다.
악기의 인지된 음악적 톤이나 특성의 또다른 태양은 악기의 모양, 치수, 재료, 제작 세부사항, 형태, 작동 방법에 의해 강조되는 가청 스펙트럼의 일부인 "공명 대역"을 포함한다. 이 공명 대역은 가청 스펙트럼의 다른 부분에 비해 더 큰 음량으로 인지된다.
이러한 공명 대역에서는 주파수가 고정되고, 다른 음이 악기에서 연주될 때 공명 대역은 일정하게 유지된다. 이 공명 대역은 악기에서 연주되는 다른 음에 대해 이동되지 않는다. 공명 대역은 악기의 물리구조에 의해 결정되지, 주어진 시간에서 연주되는 특정 음에 의해 결정되는 것이 아니다.
고조파 내용과 공명 대역 간의 중요한 차이점은 기존 주파수와의 관계에서의 차이에 있다. 고조파들은 기본 주파수의 변화와 함께 이동하여(즉, 연주되는 기본 주파수에 직접적으로 연계되어 주파수가 변화하여), 기본 주파수와의 관계는 항상일정하다. 기본 주파수가 새로운 기본 주파수로 이동하므로, 그 고조파들도 이를 따라 이동한다.
이와는 대조적으로, 악기의 공명 대역은 고정 주파수를 가지며, 기본 주파수의 이동에 따라 선형으로 움직이지 않는다.
음의 고유 고조파 구조와 악기의 고유 공명 대역과는 별개로, 악기의 인지되는 톤이나 음악적 특성을 구성하는 다른 인자는 음악적인 음의 구간에서 고조파 내용이 변화하는 방식을 수반한다. 음악적 음의 구간이나 "수명"은 생성(struck), 지속(sustain), 소멸(decay) 순으로 표시된다.
앞서 세 개의 상태(생성, 지속, 소멸) 동안 음의 고조파 내용은 음의 주관적 음색에 관한 중요한 인지 요점을 사람의 귀에 제공한다. 기본 주파수를 포함한, 복합 시간-도메인 신호의 각각의 고조파는 독자적인 생성 및 소멸 특성을 가지며, 이는 시간에 따른 음의 음색을 결정하는데 도움이 된다.
고조파들의 상대적 진폭 레벨이 기본 주파수의 진폭과 관련하여 음의 수명 중 변화할 수 있기 때문에, 이에 따라 특정 음의 음색이 그 구간에서 변화할 수 있다. 기타 및 피아노 같이 퉁기거나 누르는 악기에서, 고차수 고조파들은 저차수 고조파들보다 더 빨리 소멸한다. 이와는 대조적으로, 관악기(플루트 등) 및 현악기(바이얼린 등)와 같이, 계속적으로 음이 영향을 미치는 악기에서는, 고조파들이 계속적으로 발생된다.
가령 기타에서, 인지되는 음색에 영향을 미치는 가장 중요한 두가지 인자는 1) 현에 의해 생성되는 핵심 고조파들과, 2) 기타 동체의 공명 대역 특성이다.
현이 기본 주파수와 그 관련 고조파 핵심 세트를 발생시켰을 때, 주로 공명 특성에 의해 음색을 추가 변형시키도록, 동체, 브리지, 그리고 다른 성분의 작동이 시작된다. 기타는 공명 대역이나 영역을 가진다. 이 공명 대역 내에서, 기본 주파수에 상관없이 톤의 일부 고조파가 강조된다.
기타연주자는 프렛(fret) 위치와 현의 조합을 이용하여 기타의 여섯 위치에서 정확하게 동일한 음(동일한 주파수나 동일한 음고)을 연주할 수 있다. 그러나, 기본 주파수와 그 고조파들 사이의 관계로 인해 여섯 위치의 각각은 서로 구별되게 소리가 난다. 이 차이는 현의 물질 조성과 설계, 현 직경이나 현 길이의 변화로 인해 유발된다. 여기서 "길이"라는 용어는 반드시 총 현의 길이를 의미하는 것이 아니라, 음고를 생성하는 진동부의 길이(즉, 프렛 위치로부터 브리지까지의 거리)를 말한다. 동체 자체의 공명 특성은 변하지 않으나, 현 직경이나 길이의 변화로 인해, 동일 음고의 다른 버전이 상당히 다르게 소리난다.
여러 경우에, 악기의 음색에 영향을 미치는 것이 바람직하다. 현재의 방법과 전통적인 방법들은 고정 대역 전자 이퀄라이저라 불리는 필터를 갖춘 기본 형태로 음색에 영향을 미친다. 고정 대역 전자 이퀄라이저는 넓은 주파수 스펙트럼 내의 한 개 이상의 특정 부분이나 대역에 영향을 미친다. 상기 특정 대역 내에서만 바람직한 강조(부스트)나 저하(컷)가 발생한다. 대역 외부의 음이나 고조파들은 영향을 받지 않는다.
주어진 주파수는 변화하는 기본 주파수에 대한 관계에 따르는 고조파 차수를 가질 수 있다. 공명 대역 필터나 이퀄라이저는 고정 대역 내부나 외부에 있는 것과같은 주파수를 인지한다. 주파수의 고조파 차수는 인지하지 못하며, 이에 반응하지도 않는다. 장치는 유입 주파수가 기본 주파수, 2차 주파수, 3차 주파수, 등등 중 어느 것인지 구분할 수 없다. 따라서, 고정 대역 이퀄라이저의 결과는 주파수 차수에 대해 변화하지 않는다. 균등화(equalization)는 고정 상태를 유지하여, 기본 주파수에 대한 그 고조파 관계에 상관없이 지정된 주파수들에 영향을 미친다. 인지된 음색에 크게 영향을 미치는 고조파들의 레벨에 균등화가 영향을 미치지만, 음, 소리, 악기, 또는 다른 음향 신호의 내재적인 "핵심" 고조파 내용을 변화시키지는 않는다. 조절되면, 고정 대역 이퀄라이저가 어떤 결과를 보이는 지는 유입 음이나 신호의 주파수 자체에만 의존한다. 주파수가 기본 주파수, 2차 고조파, 3차 고조파 등등 중 어느 주파수인지에 좌우되지 않는다.
일부 현재의 이퀄라이저는 필터를 동적으로 변경시키는 능력을 가지면서도, 이 변경이 고조파 차수 정보보다는 시간 큐에 제한된다. 이러한 이퀄라이저는 사용자 입력 명령에 의해 규정되는 바와 같이 필터 위치를 변경시킴으로서 시간에 따른 필터링을 조절할 수 있는 능력을 가진다. 본 발명의 한가지 방법은 1000-대역 이상의 그래픽 이퀄라이저로 관찰될 수 있지만, 아래의 측면에서 차이점을 가진다. 즉, 상기 진폭과 이에 상응하여 영향받는 주파수들이 주파수 및 진폭을 순간적으로 변화시키고, 음의 고조파 에너지 내용을 변화시키도록 주파수와 진폭에 대해 매우 빠른 속도로 움직이며, 그리고 생략된 고조파들과 모든 그 다음의 고조파를 추가하면서 변경을 위한 고조파 세트와 관련된 주파수를 참가시키는 신세사이저(synthesizer)와 조화하여 작용한다.
사람의 음성은 음악의 악기와 같이 간주될 수 있다. 수많은 동일한 성질과 특성이 다른 악기 종류에서 발견된다. 음성은 대기압 하에서 울려나오기 때문에 음성은 기본적으로 관악기이다. 하지만, 주파수 발생 측면에서, 여러개의 고조파 진동이 일련의 조직에 의해 생성되고 그 진동 주파수가 장력 조절에 의해 변화되는 점에서, 음성은 현악기와 비슷하다. 고정된 공명 챔버를 가지는 어쿠스틱 기타 동체와 달리, 음성의 공명 대역은 순간적으로 조절할 수 있다. 왜냐하면 공명 구멍의 일부 태양이 단일 음의 구간 내에서 여러번까지 (소리를 내는) 사람에 의해 변경될 수 있기 때문이다. 공명은 콧구멍 및 입의 구조와 배치, 혀의 위치, 그리고 사람의 성도(vocal tract)의 측면에 의해 영향을 받는다.
공지 기술
미국 특허 5,847,303 호(Matsumoto)는 사람의 음성 입력의 주파수 스펙트럼을 수정하는 음성 처리 장치를 기술한다. 이 특허는 입력 음성 신호를 또다른 음성 신호(예를 들어 가수의 음성)와 유사하게 들리도록 균등화시키는 여러 처리 및 연산 단계를 구체화한다. 이 특허는 가수의 인지된 성별을 변경시키는 내용을 또한 포함한다.
Matsumoto 특허의 주파수 스펙트럼 수정은 기존의 공명 대역 필터링 방법을 이용하여 달성된다. 이 방법은 원음성을 분석함으로서 인체의 성도(vocal tract)나 공명기의 형태를 흉내낸다(simulation). 압축기/확장기와 필터에 대한 관련 계수는 장치의 메모리나 디스크에 저장되고, 고정된다(최종 사용자에 의해 선택될 수 없다). Matsumoto 특허의 주파수에 이어지는 효과는 "적절"하거나 "정확"한 음고로음성 대역을 이동시키고 음성을 조율하기 위해 음성 입력으로부터의 기본 주파수 정보를 사용하는 것이다. 음고 변화는 성도 내의 포맷 주파수를 이동시키는 전자 클럭 레이트 조작을 통해 달성된다. 이 정보는 완전한 파형을 합성하는 전자 장치로 공급된다. 특정 고조파는 합성되지 않는다. 기본 주파수에 대해 개별적으로 조절되지 않으며 전체 신호가 동일하게 처리된다.
미국 특허 5,218,160 호(Grob-Da Veiga)는 기초음 위의 배음(overtone)이나 기초음 아래의 배음(undertone)을 생성함으로서, 현이 있는 악기의 소리를 향상시키는 방법을 기술한다. 이 특허는 고조파 방식으로 관련된 기초음 위의 배음이나 기초음 아래의 배음을 생성하기 위해, 기본 주파수를 찾아내어, 정수나 작은 소수로 상기 주파수를 곱하는 방법을 사용한다. 따라서, 기초음 아래의 배음과 기초음 위의 배음을 기본 주파수로부터 직접 얻을 수 있다. 미국 특허 5,749,073호(Slaney)는 음향 정보의 자동 모핑(morphing)을 다룬다. 음향 모핑은 두 개 이상의 소리를 블렌딩하는 과정으로서, 인지가능한 특성을 가지는 각각의 소리를 원래의 두 음원의 복합 특성을 갖춘 새로운 소리로 바꾼다.
Slaney의 특허는 다단계 접근방식을 이용한다. 먼저, 두 개의 서로 다른 입력 소리가 분석용 형태로 변환되어, 두 소리가 고조파 관계와 비-고조파 관계를 인지하는 여러 방식으로 부합될 수 있다. 입력이 변환되면, 두 원음을 부합시키기 위해 음고와 포르만트(formant) 주파수가 사용된다. 부합되면, 소리가 합쳐지고 두 소리의 조합인 새로운 소리를 생성하도록 다시 전환된다. 이 방법은 필터링을 통한 스펙트럴 프로파일 조작과 음고 변형을 사용한다. 앞서 언급한 특허들에서, 상기방법들은 포맷 정보의 공명형 필터링 및 조작을 수반한다.
Slaney 특허에 관련된 것은 E.Tellman, L.Haken, B.Holloway의 논문, "Timber Morphing of Sounds with Unequal Numbers of Features"(Journal of Audio Engineering Society, 43권, 9호, 1995년 9월)에 공개된 기술이다. 이 기술은 Lemur 분석 및 합성을 이용하여 소리들간의 모핑 알고리즘을 수반한다. Tellman/Haken/Holloway 음색 모핑 개념은 개별 사인파 성분의 진폭 및 주파수 수정과 시간-스케일 수정(경로의 속도 저지 및 속도 향상)을 포함한다.
미국특허 4,050,343 호(Robert A.Moog)는 전자 음악 신세사이저에 관한 것이다. 사용자가 누른 건반악기 건반으로부터 음 정보를 얻는다. 눌러진 건반은 전압/제어 발진기를 제어하고 이 발진기의 출력은 대역 통과 필터, 저역 통과 필터, 출력 증폭기를 제어한다. 대역 통과 필터의 대역폭과 중심 주파수는 제어 전압의 응용에 의해 조절된다. 저역 통과 필터의 저역 통과 컷-오프 주파수는 제어 전압의 응용에 의해 조절되고, 증폭기의 이득은 제어 전압에 의해 조절된다.
Ionizer(이온화장치)라 불리는 제품[Arboretum Systems]에서, 신호에 포함된 잡음의 스펙트럼을 얻기 위해 "사전 분석"을 이용하여 방법이 시작된다. 이는 음향 시스템에서 매우 유용하다. 왜냐하면, 테이프 히스(고음역 잡음), 녹음 장치 잡음, 윙윙거리는 소리(hum), 그리고 소음이 되풀이되는 형태의 잡음이기 때문이다. 소리 흔적을 남김으로서, 이는 "반-잡음"을 생성하는 기준으로 사용될 수 있고, 음원 신호로부터 상기 값을 빼는(반드시 직접적으로 빼는 것은 아님) 기준으로 사용될 수 있다. 프로그램의 소리 설계부 내의 경로에서 "피크 파인딩(peak finding)"의 이용은 512-대역 게이트 EQ를 구현하고, 이는 개별 고조파들을 도출하거나 어떤 음향 요소를 제거하기 위한, 매우 가파른 "장벽(brick wall)" 필터를 생성할 수 있다. 이 필터들은 동적 필터를 생성하게 하는 한계값을 구현한다. 그러나, 이 방법은 기본 주파수를 추구하거나 찾을 수 없으며, 고조파 제거는 주파수 대역 내에서 이루어져야 하며, 이는 악기의 전체 경로를 검색하지 않는다.
Kyma-5는 Symbolic Sound에 의해 개발된 하드웨어 및 소프트웨어의 조합이다. Kyma-5는 Capybara 하드웨어 플랫폼에 의해 가속되는 소프트웨어이다. Kyma-5는 주로 합성 기구이지만, 그 입력은 기존 녹음된 소리 파일로부터 얻는다. 이 제품은 실시간 처리 능력을 가지나, 주로 정적-파일 처리 기구이다. 이 제품의 한가지 태양은 소리 경로와의 스펙트럴 디스플레이로부터 파아셜을 그래픽 방식으로 선택하여 처리를 실행하는 능력이다. Kyma-5는 파아셜의 선택을 시각적으로 접근하고, 고조파 차수에 의해서가 아니라 주파수 대역 내의 스펙트럴 디스플레이의 연결점을 식별한다. 고조파가 수동으로 설정된 대역 내에 있는 경우 고조파들이 선택될 수 있다. Kyma-5는 고조파들을 분석함으로서, 그리고 추가 합성을 포함한 여러 합성 알고리즘을 적용함으로서, 정적 파일로부터 소리나 경로를 재합성할 수 있다. 그러나, 음이 시간에 따라 변할 때 고조파들을 검색하기 위한 자동 공정은 존재하지 않는다. Kyma-5는 한 개의 기본 주파수를 사용자가 선택하게 한다. Kyma 스펙트럴 분석 기구 상의 점들을 식별하는 것은 엄격하게 말해서 비-고조파인 점들을 식별할 수 있다. 마지막으로, Kyma는 소리에 스트레칭 상수를 적용하지 않는다.
본 출원은 1998년 10월 29일 미국출원된 미국특허출원 60/106,150호를 바탕으로 우선권은 주장하며, 그 내용은 본 명세서에서 참고로 인용된다.
본 발명은 음향 신호 처리 및 파형 처리, 그리고 주기적 음향 신호의 고조파 내용의 수정에 관한 것이고, 특히, 소리를 변화시키거나 소리를 인지하기 위해 이러한 신호의 고조파 내용을 동적으로 변경하는 방법에 관한 것이다.
도 1은 네 개의 음과 네 개의 각각의 음에 대한 네 개씩의 고조파에 대한 주파수 대 진폭의 그래프.
도 2는 특정 시간에서 음의 고조파 내용에 대한 주파수 대 진폭의 그래프.
도 3은 본 발명의 원칙을 구체화하는 도 2의 음의 개별 주파수와 합성된 주파수의 조절을 나타내는 그래프.
도 4는 본 발명에 따르는 필터 방법을 따르는 진폭 및 주파수를 이용하여 도 3에 도시되는 방법을 실행하기 위한 시스템의 제 1 실시예의 도면.
도 5는 본 발명에 따르는 버켓 브리게이드(bucket brigade) 방법을 이용하여 도 3의 방법을 실행하기 위한 시스템의 도면.
도 6은 주파수(x축), 시간(y축), 크기(z축)의 함수로 440Hz 피아노 건반을 누를 때 복합 파형의 스펙트럴 프로파일 그래프.
도 7은 고조파 및 다른 파아셜의 감쇠와 고조파 변환의 원리에 따라 수정된 신호의 그래프.
도 8A-D는 고조파 변환과 관련될 때 동일한 음에서 플루트와 피아노의 스펙트럴 내용을 이른 시간과 이후 시간에서 나타내는 도면.
도 9A는 본 발명에 따른 감쇠 방법을 실행하기 위한 잠재 한계 곡선을 도시하는 그래프.
도 9B는 도 9A와 함께 사용될 낮은 수준의 잠재적 조절을 도시하는 그래프.
도 9C는 고조파 및 다른 파아셜 감쇠의 잠재적인 고정 한계 방법을 도시하는 그래프.
도 9D는 고조파 및 다른 파아셜 감쇠의 한가지 방법에 대한 주파수 대역 동적 한계 예 곡선을 도시하는 그래프.
도 10은 본 발명의 작동을 실행하는 시스템의 블록도표.
도 11은 본 발명의 원리를 구체화하는 소프트웨어나 방법 단계의 블록 도표.
발명의 방법과 결과
본 발명은 복합 음향 신호가 시간에 따라 진행할 때 사용자가 원하는 방식으로 모든 기존 주파수나 음의 특정 고조파를 수정함으로서, 신호, 파형, 음, 또는 음원에 의해 생성되는 다른 신호의 톤 성질, 즉 음색에 영향을 미친다. 가령, 음악적 음이나 다른 신호 파형의 고조파에 대해 사용자에 의해 정해지는 변경은 다음 음이나 다음 신호에도 적용될 수 있고, 그 다음의 음이나 신호에도 적용될 수 있으며, 결국, 음악 경로가 시간에 따라 진행할 때 모든 이어지는 음이나 신호에 적용될 수 있다. 본 발명의 모든 태양이 음, 소리, 파아셜, 고조파, 톤, 비고조파, 신호, 등을 시간에 따라 진폭 및 주파수가 이동하는 타겟으로 본다는 것을 주목하는 것이 중요하고, 시간에 따라 진폭 및 주파수를 조절할 수 있는 이동하는 수정자에 의해 이동 타겟을 조절한다는 것을 주목하는 것이 또한 중요하다.
본 발명은 하기의 단계로 이루어지는 방법을 구체화한다.
- 복합 파형의 고조파(f1-f)의 에너지를 동적으로, 그리고 개별적으로 변경하고,
- 다른 고조파들과 정해진 진폭 및 위상 관계를 가지는 새로운 고조파와 비-고조파(원하는 소리로부터 무언가 빠진 고조파)를 생성하며,
- fn = f1 x n x (S)log 2 n과 같이 정수나 사용자-규정 고조파 관계를 바탕으로 합성음에서 자연적으로 발생하는 고조파들을 식별하고 모방하며,
- 고조파를 추출하고, 수정하며, 음으로 재삽입하고,
- 선택된 음들의 고조파 구조를 조절하도록 주파수, 진폭, 또는 다른 매개변수에 따라 신호를 보간하며, 그후, 사용자에 의해 규정된 여러 곡선에 따라 사용자 조절 점 중 하나로부터 다른 하나의 점으로 음악적 범위 사이에서 신호의 고조파 구조를 이동시키고,
- 고조파의 생성 속도, 소멸 속도, 지속 매개변수를 동적으로 변경시키며,
- 여러 종류를 처리하기 위해 복합 신호로부터 고조파들을 분리시키고,
- 주파수와 진폭에 따라 신호 내의 파아셜 레벨을 변화시키며,
- 차수와 진폭을 바탕으로 복합 신호의 고조파 레벨을 연속적으로 변화시키며,
- 전체 선택된 경로 전체에서, 또는 전체 경로 내의 일부에서, 고정량 또는 가변량만큼 고조파들을 증가시키거나 감소시키고,
- 녹음 처리에서나, 원래의 자기 매체나 타매체 녹음 정보의 악화에서, 손실, 손상, 변경될 수 있는 음원 신호의 특성 정보를 재저장하며,
- fn = f1 x n x (S)log 2 n스트레치 함수를 이용하여 파아셜 및 고조파 위치를 계산하고,
- 고조파 조절과 고조파 합성에 관한 앞서 언급한 실시예의 조합을 이용하여 한 개의 소리 신호를 다른 소리 신호와 일치시키고 닮게하며, 또는 부분적으로 닮게하도록 상기 한 개의 소리 신호를 고조파 방식으로 변환하고,
- 새로운 종류의 기타 신세사이저, 베이스 신세사이저, 기타, 베이스, 피아노, 키보드, 스튜디오 소리 수정 장비, 마스터링 소리 수정 장비, 새로운 스타일의 균등화 장치, 그리고 음, 소리, 또는 신호를 변경하도록 앞서 언급한 방법에 관한 새로운 음향 디지털 하드웨어 및 소프트웨어 기술을 포함하는 새로운 음악 악기에 대한 원칙을 제공한다.
고조파 차수 매개변수를 진폭, 주파수, 시간 매개변수로 변경시킬 때, 그 결과는 다음과 같다.
- 개별 음성, 악기, 음악적 음, 파아셜, 고조파, 사인파, 음성 집합으로부터의 다른 소리나 신호, 악기 소리, 또는 다른 음향 신호를 분리시키거나 고립시키고,
- 이전에 듣기 어려웠던 음성, 악기, 음악적 음, 고조파, 파아셜, 다른 소리나 신호, 다른 이러한 신호 집합 내의 소리나 신호의 일부를 강조하며,
- 잡음을 소거하거나 감소시키고,
- 이전에 거칠거나 완전히 두드러졌던 음성, 악기, 음악적 음, 고조파, 파아셜, 다른 소리나 신호, 또는 이러한 다른 신호의 집합 내의 소리나 신호 일부를 고르게하거나 감소시키며,
- 상대적으로 높은 볼륨의 파아셜, 고조파, 비-고조파, 또는 음악 경로의 다른 신호, 또는 다른 복합 시간-도메인 신호를 감쇠시키고, 상대적으로 낮은 볼륨의 경우엔 증가시키고,
- 낮은 레벨의 정보가 보다 쉽게 식별되거나 처리되도록 파아셜의 일부 진폭 범위를 제거하며,
- 음성, 악기, 음악적 음, 고조파, 파아셜, 다른 소리나 신호, 또는 소리나 신호의 일부의 보다 바람직한 균형을 잡게 한다.
발명의 방법의 요약
본 공정은 인지된 성질의 변경, 음색의 특정 태양 향상, 또는 특정 태양의 저하를 위해, 기존의 악기에 제한되지 않고, 어떤 입력 음원 신호 파형에도 적용될 수 있다. 이는 주어진 신호의 스펙트럼의 개별 고조파나 파아셜의 조작에 의해 달성된다. 본 발명으로, 고조파나 파아셜의 조절이 정해진 시간 구간동안 행해진다. 이는 일반적인 고정 대역 균등화의 결과와 다르다. 상기 고정 대역 균등화는 무한정한 시간 구간에서 유지된다.
할당된 처리공정은 고조파(또는 고조파 그룹)의 에너지 레벨을 조작함으로서, 또는 새로운 고조파(또는 고조파 그룹)나 파아셜을 생성함으로서, 또는 고조파(또는 고조파 그룹)나 파아셜을 완전히 제거함으로서 달성된다. 이 조작은 어떤 다른 고조파의 반응에 묶일 수 있고, 또는 어떤 주파수, 차수, 또는 사용자가 선택하는 다른 매개변수의 반응에 묶일 수 있다. 이는 매우 실용적이다. 왜냐하면, 고조파 양식의 단지 한 예를 들기 위하여, 제한되는 주파수가 상대적으로 느리게 소멸될 경우, 조절되는 고조파가 상대적으로 느리게 소멸되기 때문이다. 역으로, 제한되는 주파수가 상대적으로 신속하게 소멸될 경우, 조절되는 고조파도 상대적으로 신속하게 소멸될 것이다. 기존 고조파에 독립적으로 조절이 생성될 수도 있다. 일부 경우에, 방법의 조합을 이용한 다중 조작이 사용될 수 있다. 다른 경우에, 고조파나 고조파 그룹은 여러 수단에 의해 개별 처리공정에 대해 분리될 수 있다. 또다른 경우에, 파아셜이 강조되거나 저하될 수 있다.
고조파 조작의 선호되는 실시예는 디지털 신호 처리(DSP) 기술을 이용한다. 필터링 및 분석 방법은 컴퓨터(가령, DSP나 다른 마이크로프로세서)에 의한 디지털 데이터 표현으로 실행된다. 디지털 데이터는 아날로그 신호나 복합파형을 나타낸다. 상기 복합 파형은 샘플링된 것으로, 아날로그 전기 파형으로부터 디지털 데이터로 변환된 것이다. 처리 공정 완료시, 데이터는 다시 아날로그 전기 신호로 변환될 수 있다. 데이터는 디지털 형태로 또다른 시스템에 전송될 수도 있다. 뿐만 아니라, 일부 자기 매체나 다른 저장 매체에 국부적으로 저장될 수도 있다. 신호 음원은 준-실시간이거나 디지털 음향 포맷으로 사전녹음되고, 소프트웨어는 바람직한 연산 및 조작을 실행하기 위해 사용된다.
고조파 조절 및 합성의 목표는 고조파의 차수를 바탕으로 고조파들의 특성을 개별적으로 조작하는 것이다. 이 조작은 특정 음이 진폭을 가지는 시간 구간에 대해 처리된다. 고조파는 그 주파수의 중심에 필터를 적용함으로서 조절될 수 있다. 본 발명에서, 필터는 이퀄라이저, 수학적 모델, 알고리즘 중 하나의 형태를 취할수도 있다. 필터는 다른 고조파에 대한 주파수, 진폭, 시간에 따른 고조파의 위치를 바탕으로 계산된다. 또한, 본 발명은 고조파들을 이동 주파수 및 진폭 타겟으로 간주한다.
본 발명의 한 태양은 고조파 주파수, 진폭, 위상, 고조파 내용, 그리고 앞서 기술된 다른 태양의 변화를 포함하여 음향 신호의 변화를 처리하는 능력이고, 이러한 변화에 따라 조절을 행하는 능력이다. 이는 신호가 어떻게 저장되는 지와는 관계가 없다. 즉, 원래의 음향 신호가 자기 테이프, 디지털 장치, 또는 다른 매체에 저장되는 지와는 관련이 없다. 또한 본 발명은 본 발명의 처리 이전의 시간과는 관계가 없다. 즉, 수 밀리초, 몇초, 몇분, 며칠, 몇주, 몇월, 몇년과 같은 시간과는 상관이 없다. 대부분의 경우에, 본 발명은 유입 신호의 이동에 관련된 모든 방식을 "내다보고", 연산과 사용자의 입력 및 제어에 따라 작동한다.
준-실시간으로 "내다보는" 것은, 적절한 처리의 개시를 위해 유입 데이터(즉, 음향 신호)의 적절한 특성이 인식될 수 있도록, 최소한의 시간동안 데이터를 모으는 과정을 수반한다. 이 정보는 필요한 태양이 확인될 때까지 지연 버퍼에 저장된다. 지연 버퍼는 새로운 데이터로 계속 채워지고, 필요없는 데이터는 더 이상 필요성이 없을 때 버퍼의 "가장 오래된" 부분으로부터 제거된다. 이는 작은 잠재 시간이 준-실시간 상황에서 발생하는 방법이다.
준-실시간이란 대략 60 밀리초까지의 작은 지연을 말한다. 이는 모션-픽쳐 필름에서 두 프레임까지의 구간으로 기술된다. 실제 선호되는 것은 한 프레임 지연이다.
본 발명에서, 처리 필터는 주파수와 진폭에 대해 고조파가 이동함에 따라 고조파의 움직임을 처리하고 고조파와 함께 이동한다. 따라서, 제 1 고조파(f1)가 변화함에 따라, 지정된 고조파(또는 "진폭 조절용 고조파 세트")는 차수와 관련된 수학적 고정값만큼 주파수 상에서 이동할 것이다. 가령, 제 1 고조파(f1)가 100Hz에서 110Hz로 변화하면, 제 4 고조파(f4)에 대한 본 발명의 고조파 조절은 400Hz에서 440Hz로 이동한다.
도 1은 주어진 시점에서 네 개의 음과, 각 음의 네 개의 고조파의 특징적 고조파 내용을 도시한다. 이 가설적 순서는 고조파 및 필터가 고조파를 기본 주파수에 대해 어떻게 이동시키는 지, 그리고 서로에 대해 고조파를 어떻게 이동시키는 지를 보여준다. 시간에 대해 진폭 및 주파수가 이동하는 고조파의 검색은 여기서 구체화되는 처리 방법에 있어 중요한 요소이다.
(필터간의 간격에 상응하는) 주파수 사이의 간격이나 거리는 기본 주파수가 상승함에 따라 확장되고, 기본 주파수가 하강함에 따라 단축된다. 일반적으로 말하면, 이 처리는 "어코디언 효과"로 알려져 있다.
본 발명은 진폭 조절용 신호 세트의 비고정(주파수가 변하는) 고조파들과 함께 움직이는 필터로 시간에 대해 고조파의 진폭을 조절하도록 고안된다. 특히, 개별 고조파들은 주기적 시변정수를 이용하여 필터링되거나 증폭된다. 이는 고조파가 생기는 주파수 대역을 바탕으로 하지 않는, 그러나 고조파 차수를 바탕으로 하는, 개별 연주 음의 스펙트럼에서 여러 고조파의 상대적 진폭을 증가시키고 감소시키며, 이 개별 연주 음의 스펙트럼에서 고조파 차수가 필터링되도록 설정된다. 이는오프-라인으로, 가령, 음악이나 복합 파형의 녹음 후, 또는 준-실시간으로 행하여진다. 이를 준 실시간으로 처리하기 위해, 개별 연주 음의 고조파 주파수가 공지된 주파수 감지 방법이나 기본 주파수 고속 검색(Fast Find Fundamental) 방법을 이용하여 결정된다. 그리고 고조파별 필터링이 정해진 음에서 실행된다.
고조파가 본 독자적인 방식으로 조작되기 때문에, 악기의 전체 음색은 한 개 이상의 고정 공명 대역에 할당된 기존 필터와 함께 스펙트럼 일부에만 영향을 미치는 데 반해, 악기의 전체 음색은 개별적인 정확하게 선택된 고조파에 대해 영향을 받는다.
설명을 돕기 위해, 도 1-3의 고조파 관계 모델은 fn = f1 x n이다.
가령, 두 음(도 1의 음(1)과 음(3))의 4차 고조파가 서로 다른 주파수 범위를 가짐에도 불구하고, 이 형태의 필터링은 2400Hz에서 4차 고조파를 필터링하는 것과 같은 방식으로 400Hz에서 4차 고조파를 필터링할 것이다. 본 발명의 이러한 응용은 기존 주파수 대역간 주파수 대역 균등화 장치에 대한 보완장치나 대체 장치로 유용할 것이다. 출력용의 연주되는 음의 개별적으로 필터링된 고조파들을 혼합하는 것은 도 4와 5를 참고하여 기술될 것이다.
도 2는 한 시점에서 신호의 고조파 내용의 예를 도시한다. 기본 주파수(f1)는 100Hz이다. 따라서, 100Hz의 배수에서, 이 신호의 고조파를 찾을 수 있다. 즉, 200Hz(f2 = f1 x 2), 300Hz(f3 = f1 x 3), 400Hz(f4 = f1 x 4) 등이 그 예이다. 설명을 위해, 이 예는 총 10개의 고조파를 가지지만, 실제 신호에서는 더 많은 수의 고조파를 가지는 경우가 자주 있다.
도 3은 도 2의 일부 고조파의 조절 수정을 도시한다. 200, 400, 500, 1000 Hz에 위치한 고조파들의 에너지 내용 및 진폭이 상향으로 조절된다. 600, 700, 800, 900 Hz에서의 고조파들은 그 에너지 내용과 진폭에서 모두 하향으로 조절된다.
본 발명으로, 고조파들은 진폭 수정 함수라고 여기서 언급되는 여러 방법에 의해 그 진폭이 증가되거나 감소한다. 한가지 요즘의 방법은 특별하게 연산된 디지털 필터를 관심있는 시간 프레임에 대해 적용하는 것이다. 이 필터들은 고조파의 주파수 조절과 함께 이동될 진폭 및 주파수 반응을 조절한다. 다른 방법 역시 아래와 같이 디지털 신호 처리(DSP)를 이용한다. 즉, 사인파의 위상을 관심있는 고조파에 일치시키고, 그후, A) 감소를 위해 원 신호에 상기 파형의 역을 더함으로서 원하는 크기를 추출하고, B) 증가를 위해 축적화된 버전(즉, 지정된 인수만큼 곱해진 값)을 추가한다.
다른 실시예들은 인접 주파수의 일련의 필터나 일련의 고정 주파수 필터를 사용할 수 있다. 이때, 처리 공정은 한 필터의 범위로부터 다음 필터의 범위까지 고조파가 이동함에 따라 "버켓-브리게이드(bucket brigade)" 방식으로 넘어간다.
도 4는 구현 실시예를 도시한다. 픽업 장치, 마이크로폰, 기저장 데이터 중 하나로부터일 수 있는 입력(10)에서의 신호는 고조파 신호 감지기(HSD)(12)에, 그리고 필터 뱅크(14)에 제공된다. 뱅크(14)의 각각의 필터는 고조파 감지 신호의 특정 고조파 주파수에 대해 프로그래밍가능하고, f1, f2, f3,...,fN으로 표시된다. 제어기(16)는 고조파 신호 감지기(12)에 의해 감지되는 고조파 주파수를 그 차수에 대해 일치시키는 주파수로, 각각의 필터의 주파수를 조절한다. 개별 고조파들의 바람직한 수정은 사용자 입력을 바탕으로 제어기(16)에 의해 제어된다. 필터 뱅크(14)의 출력은 입력(10)으로부터 입력 신호와 믹서(18)에서 혼합되고, 사용되는 특정 알고리즘에 따라 출력(20)에서 조합된 출력 신호로 제공된다. 아래의 도 3에 대해 기술되겠지만, 제어기(16)는 이퀄라이저 뱅크(14)와 입력(10)으로부터 신호와 조합되도록 믹서(18)에서 합성 고조파들을 제공할 수 있다.
도 5는 대안의 버켓-브리게이드 방법을 실행하기 위해 수정된 시스템을 도시한다. 이퀄라이저 뱅크(14')는 필터 뱅크를 가지며, 각각의 필터는 Fa, Fb, Fc, 등으로 표시되는 고정 주파수 인접 대역폭을 가진다. 제어기(16)는 고조파 신호 감지기(12)에 의해 식별되는 고조파 신호를 수신할 때, 감지된 고조파 신호의 특성과 일치시키기 위해 고정 대역폭 필터의 특성의 신호 수정을 조절한다. 도 4의 뱅크(14)의 필터 각각이 바람직한 고조파로 조절되는 주파수를 가지고 바람직한 고조파에 대해 고정된 수정 특성을 가질 때, 도 5의 뱅크(14')의 이퀄라이저 각각은 고정된 주파수와, 감지된 고조파 신호에 따라 변하는 수정 특성을 가진다.
어코디언 주파수 및 주파수를 조절할 수 있는 이동 필터 방법이나, 주파수가 이어지는 주파수를 처리하는 버켓-브리게이드 방법을 사용하던지, 또는 그 조합을 사용하던지, 필터링 효과는 진폭 변화에 대해 선택된 고조파와 함께 주파수 상에서 이동하고, 신호의 주파수에만이 아니라 고조파 차수와 진폭에도 반응한다.
고조파 신호 감지기(12)가 제어기(16)로부터 분리되어 도시되지만,감지기(12)와 제어기(16)는 공통의 DSP나 마이크로컴퓨터의 소프트웨어일 수 있다.
필터(14)는 디지털 방식이 선호된다. 디지털 필터링의 한가지 장점은 위상 왜곡이라 불리는 원신호와 처리된 신호간의 불필요한 위상 편이를 최소화할 수 있다. 본 발명의 한 방법에서, 원하는 목적에 따라 두가지 디지털 필터링 방법, 즉 유한 임펄스 응답 방법(FIR)과 무한 임펄스 응답 방법(IIR) 중 한 개가 사용될 수 있다. 유한 임펄스 응답법은 진폭 조절과 위상 보정을 위해 분리된 필터를 사용한다. 진폭 조절 필터는 바람직한 응답이 입력 신호 주파수의 함수이도록 설계될 수 있다. 이러한 진폭 응답 특성을 보이도록 고안된 디지털 필터는 데이터 어레이의 위상 특성에 내재적으로 영향을 미치거나 위상을 왜곡시킨다.
그 결과, 진폭 조절 필터 다음에는 위상 보정 필터인 제 2 필터가 직렬로 위치한다. 위상 보정 필터는 단위 이득 장치로서, 진폭 조절 필터에 의해 생기는 위상 왜곡을 중화시키는 작용을 한다.
필터와 소리 프로세서에는 실시간, 또는 비-실시간(고정식, 또는 정적)의 두 종류의 입력 음향 신호 중 하나가 가해진다. 실시간 신호는 사설 세팅, 공공 장소, 또는 녹음 스튜디오 중 어느 곳에서 발생하던지 간에 생생한 성능을 제공한다. 복합 파형이 자기 테이프, 디지털 장치, 또는 다른 매체로 캡쳐되면, 복합 파형은 고정식이나 정적인 것으로 간주되어, 추가적으로 처리될 수 있다.
입력 신호에 디지털 처리가 시작되기 전에, 상기 입력 신호 자체가 디지털 정보로 변환되어야 한다. 어레이는 신호의 디지털 표현을 나타내는 숫자의 순서이다. 필터는 어레이의 시작으로부터 끝까지 순방향으로 어레이에 적용될 수 있고,어레이의 끝으로부터 시작까지 역방향으로 어레이에 적용될 수도 있다.
제 2 디지털 필터링 방법에서, 무한 임펄스 응답(IIR), 0-위상 필터링은 관심있는 데이터 어레이 사이에서 양방향으로 필터를 적용함으로서 비실시간(고정식, 정적) 신호로 달성될 수 있다. 위상 왜곡이 양방향에서 동일하기 때문에, 알짜 효과는 필터가 양방향으로 작동할 때 이러한 왜곡이 소거되도록 한다. 이 방법은 정적(고정식, 녹음된) 데이터에 제한된다. 본 발명의 한가지 방법은 고속 디지털 연산 장치와, 디지털화된 음악을 정량화하는 방법을 이용하며, 고속 퓨리에/웨이블릿 분석(high-speed Fourier/Wavelet Analysis)에 대한 부가용 수학적 알고리즘을 개선시킨다. 디지털 장치는 기존 음악을 분석하여, 고조파의 볼륨이나 진폭을 원하는 레벨로 조절한다. 이 방법은 매우 급작스럽게 변화하는, 복합적이고 정밀한 디지털 균등화 윈도우로 달성되고, 상기 윈도우는 고조파의 주파수 이동을 수반한다. 또한 바람직한 고조파 레벨이 도 4에서와 같이 변화한다.
본 발명에 대한 응용은 기타, 베이스, 피아노, 균등화 및 필터링 장치, 녹음에 사용되는 마스터링 장치, 전자 키보드, 오르간, 악기 톤 수정장치, 그리고 다른 파형 수정장치를 포함하지만 이에 제한되는 것은 아니다.
고조파 합성
음악적 음이나 다른 음향 신호의 고조파 내용의 에너지 레벨을 조절하는 것이 바람직한 여러 환경에서, 고조파 내용이 간헐적이거나 실제적으로 존재하지 않을 경우 앞서의 조절이 불가능할 수 있다. 이는 고조파가 소스 신호의 잡음 하한(구별가능한 에너지 레벨의 최소값) 아래로 사라질 때 발생할 수 있다. 본 발명으로, 이러한 잃어버린, 또는 하한 아래의 고조파들이 전자적으로 합성될 수 있다. 완전히 새로운 고조파, 비-고조파, 서브-고조파(기본 주파수 아래의 고조파 주파수)를 소스 신호에 대해 정수 관계나 비정수 관계로 함께 생성하는 것이 또한 바람직하다. 또한, 이 생성 과정은 일종의 합성 과정이다. 자연적으로 발생하는 고조파와 마찬가지로, 합성된 고조파들은 기본 주파수와 수학적 관련성을 가진다.
고조파 조절에서와 같이, 본 발명에 의해 생성되는 합성 고조파의 주파수는 비-고정적이다. 합성 고조파는 나머지 고조파와 관련하여 움직인다. 합성고조파들은 개별 고조파에 연계하여 합성되고, 음의 주파수 변화에 따라 합성 고조파의 주파수도 변화하며, 고조파 합성장치를 정확하게 조절하도록 변경을 가한다.
도 2에 도시되는 바와 같이, 원신호의 고조파 내용은 1000Hz까지의 주파수를 포함한다(즉, 기본 주파수인 100Hz의 10차 고조파까지를 포함한다). 11차, 12차 고조파는 존재하지 않는다. 도 3은 고조파 합성을 통해 생성되는 이 삭제된 고조파들이 존재함을 보여준다. 따라서, 새로운 고조파 스펙트럼은 1200Hz(12차 고조파)까지의 고조파들을 포함한다.
가정 스펙트럼에서 고조파의 상대적 레벨에 의해서뿐 아니라, 기본 주파수에 대한 고조파들의 위상(시간에 따라 변하는 관계)에 의해서도 악기가 규정된다. 따라서, 고조파 합성은 진폭 보정 및 위상 정렬된 고조파를 생성하게 한다. 필터(14, 14')의 뱅크는 디지털 사인파 발생기인 디지털 장치인 것이 선호되고, 합성 고조파들은 fn = f1 x n과는 다른 함수를 이용하여 생성되는 것이 선호된다. 새로운 고조파 생성에 선호되는 관계는 fn = f1 x n x Slog 2 n이다. S는 1보다 큰 상수로서, 가령 1.002다.
고조파 조절 및 합성
고조파 조절 및 합성의 조합은 "잃어버린" 고조파를 포함하여 그 차수를 바탕으로 음에 포함된 모든 고조파의 진폭을 동적으로 제어하는 능력을 구체화한다. 고조파들을 제어하는 이 능력은 여러 음이나 신호의 음색을 사람이 선호하는 취향으로 조작함에 있어서 운용폭이 넓다. 즉, 유동성이 풍부하다. 이 방법은 특정 입력 신호의 고조파 레벨을 바탕으로 다른 조작이 추구될 수 있다는 것을 인정한다. 이 방법은 고조파 조절과 합성을 구체화한다. 악기의 전체적 음색은 이미 존재하는 스펙트럼의 일부에만 영향을 미치는 것에 대립하도록 영향을 받는다.
고조파가 소스 신호의 잡음 하한 아래로 사라지는 경우와 같이 고조파 내용이 간헐적이거나 실제 존재하지 않을 때, 신호의 고조파 내용의 에너지 레벨을 조정하는 것이 불가능할 수 있다. 본 발명으로, 이러한 잃어버린, 또는 하한 아래의 고조파들이 전기적으로 합성되어 원래의 신호 및 조절된 신호와 함께 다시 혼합될 수 있다.
이를 처리하기 위해, 소스 신호의 전체 고조파 반응을 변경하도록 고조파 조절과 연계하여 고조파 합성이 사용될 수도 있다. 가령, 전자 기타의 10차 고조파는 더 낮은 차수의 고조파들보다 더 빨리 사라진다. 이는 도 6에 도시된다. 음의 초기 부분에서 이 고조파의 레벨을 상승시키기 위해, 그리고 음의 전체 존재를 통해 이상승된 레벨을 유지하기 위해, 합성을 사용하는 것이 흥미로울 수 있다. 합성은 선택된 부분이나 경로의 모든 음에 대해 실행될 수 있다. 따라서, 어떤 한계를 넘는 부분에서 기존 고조파가 조절될 수 있고, 그 후 음의 잔여부 중 합성될 수 있다(도 7 참조).
여러 고조파에 대해 이를 달성하는 것이 바람직할 수 있다. 이 경우에, 고조파는 바람직한 한계에서 진폭을 유지하기 위해 바람직한 위상 정렬을 갖춘 채로 합성된다. 위상 정렬은 임의 세팅으로부터 도출될 수 있다. 또는 위상은 사용자에 의해 선택된 고조파와 어떤 방식으로 정렬될 수 있다. 이 방법은 주파수와 진폭을 변경시키고, 음의 고조파 에너지 내용을 변경시키도록 매우 고속으로 이동하며, "잃어버린" 원하는 고조파들을 추가하기 위해 신세사이저와 조화롭게 작용한다. 이 고조파들과 합성된 고조파들은 디지털 소자의 소프트웨어에 설정된 백분율에서 세트 고조파 진폭에 볼륨으로 비례할 것이다. 새로운 고조파를 생성하기 위해 함수 fn = f1 x n x Slog 2 n이 사용된다.
존재하지 않는 고조파의 상승 기도를 방지하기 위하여, 본 발명은 보증된 조절을 행하도록 존재하는 파아셜이 충분함을 표시하는 감지 알고리즘을 사용한다. 일반적으로, 이러한 감지 방법은 파아셜의 에너지를 바탕으로 한다. 그래서, 파아셜의 에너지(또는 진폭)가 임의로 설정된 시간 구간에 대한 한계 위에 있을 경우, 이 신호는 존재하는 것으로 간주된다.
고조파 변환
고조파 변환은 한 개의 소리나 신호(변경될 파일 세트)를 다른 소리나 신호(제 2 파일)와 비교하여, 변경될 신호 세트가 제 2 파일과 보다 닮도록, 필요할 경우엔 제 2 파일의 음색을 복제하도록 조절하기 위해 고조파 조절 및 고조파 합성을 이용하는 본 발명의 능력에 관한 것이다. 이 방법들은 앞서 언급한 발명의 여러 태양을 조합하여, 음향 신호를 조합하는 전체 목적, 또는 한 소리를 또다른 소리와 보다 닮도록 변경하는 전체적인 목적을 달성할 수 있다. 실제로, 녹음된 악기나 음성의 소리를 다른 악기나 음성과 거의 유사하게 만들도록 이 변환이 사용될 수 있다.
시간에 대한 고조파 주파수 내용 측면에서 악기나 음성에 의해 생성되는 주어진 음을 관찰할 때(도 6), 각각의 고조파가 생성 특성, 지속 특성, 그리고 소멸 특성을 가진다는 것을 알 수 있다. 일부 경우에, 기본 주파수가 종료되기 전에 특정 주파수가 완전히 사라질 수 있다.
한 종류의 악기의 다른 예(가령, 두개의 피아노)가 여러 방식으로 변화할 수 있다. 한가지 변화는 특정 복합 시간-도메인 신호의 고조파 내용에 있다. 가령, 한 피아노에서 소리나는 가온다 음은 다른 피아노에서 소리나는 동일음과는 다른 고조파 내용을 가질 수 있다.
두 피아노가 다를 수 있는 또다른 방식은 시간에 대한 고조파 내용에 있다. 두 피아노에서 연주되는 동일 음이 다른 고조파 구조를 가질 뿐만 아니라, 상기 구조들은 시간에 대해 서로 다른 작용양식을 보인다. 한 음의 일부 고조파들은 다른 피아노에서 소리나는 동일 음의 고조파 구조의 시간에 따른 작용양식에 비해 매우다른 방식으로 지속되거나 사라질 것이다.
녹음된 악기에 의해 생성되는 각각의 신호의 고조파를 개별적으로 조작함으로서, 상기 악기의 응답은 다른 악기의 응답과 매우 비슷하거나 일치하도록 만들어진다. 이 기술이 고조파 변환이라 불린다. 이 기술은 각 음 내의 고조파 에너지 레벨을 동적으로 변경하여 또다른 악기의 고조파 에너지 레벨과 일치하도록 시간에 따른 에너지 반응을 정형하는 과정을 포함한다. 이는 고조파 차수와 관련된 주파수 대역 비교에 의해 달성된다. 제 1 파일의 고조파들은 제 2 파일 고조파들의 생성, 지속, 소멸 특성과 일치하도록 타겟 소리 파일과 비교된다.
고조파들의 일대일 매치가 불가능하기 때문에, 조절용 규칙을 생성하기 위한 알고리즘에 의한 비교 분석이 요구될 것이다. 일반적 처리가 발생할 때 사용자로부터의 입력이 이 처리 과정을 도울 수 있다.
이러한 조작의 예는 플루트와 피아노에서 발견할 수 있다. 도 8a-d는 시간에 따른 특정 지점에서 피아노와 플루트에 대한 스펙트럴 내용 그래프를 도시한다. 도 8a는 한 음의 초기에서 전형적인 플루트의 스펙트럴 내용을 도시한다. 도 8b는 시간이 경과한 후 동일 음의 플루트 고조파 내용을 도시한다. 도 8c는 전형적인 피아노로부터 도 8a와 상대적으로 같은 시간 지점에서의 동일 음의 그래프를 도시한다. 이 시간 지점에서, 더 높은 고조파 에너지 대역의 양이 크다. 그러나, 시간이 경과한 후, 각 음의 상대적인 고조파 내용이 크게 변화한다. 도 8d는 피아노에서 도 8b와 같은 음에 대해 상대적으로 같은 시간 지점에 대한 경우의 그래프이다. 피아노의 높은 고조파 내용이 음의 이 지점에서 플루트 경우보다 보다 산재되어 있다.
한개의 소리 파일이 다른 소리 소스의 광범위한 어레이를 보다 닮도록 제작될 수 있기 때문에, 제 2 소리 파일로부터 직접 정보를 얻을 필요가 없다. 여러 수단을 통해 모델이 개발될 수 있다. 한가지 방법은 시간에 따른 작용양식을 바탕으로 또다른 소리를 특성화하여, 특성 고조파나 파아셜 내용 작용양식에 초점을 맞추는 것이다. 따라서, 변경될 소리 파일의 각 고조파 처리를 안내하기 위해 다양한 수학적, 또는 다른 논리 규칙이 생성될 수 있다. 또다른 소리 파일로부터 모델 파일이 생성도리 수 있고, 이 모델 파일은 완전히 이론적인 모델일 수 있으며, 또는 실제로 사용자에 의해 임의적으로 규정될 수도 있다.
사용자가 피아노 소리를 플루트같이 만들고자 하는 경우를 가정해보자. 이 과정은 두 악기의 상대적 특성을 고려하여야 한다. 피아노는 음의 시초에서 다량의 고조파 에너지를 가진다. 이어서 그 에너지 내용이 날카롭게 저하된다. 이에 비해, 플루트의 초기 생성은 약하며, 비-고조파 방식이다. 본 발명으로, 피아노의 각각의 고조파는 플루트의 상응하는 고조파들과 잃어버린 파아셜에 근사하거나 이를 합성하도록 모든 음의 이 단계 중에 절차에 따라 조절될 것이다.
피아노에서 한 음의 지속 부분 중, 높은 고조파 에너지 내용은 급히 소멸되지만, 플루트에서는 높은 고조파 에너지 내용이 음의 구간 전반에 존재한다. 따라서, 지속 부분 중에서, 피아노의 고조파의 연속된 동적 조절이 필요하다. 실제로 일부 지점에서, 고조파가 매우 낮은 레벨로 저하될 때 고조파 내용을 대체하기 위해 합성이 필요하다. 마지막으로, 이 두 악기에서, 음의 소멸 역시 약간 다르며, 이를 일치시키기 위해 적절한 조절이 또한 요구된다.
이는 디지털 필터, 조절 매개변수, 한계값, 사인파 신세사이저를 이용하여 달성된다. 이들은 조합되어 사용되고, 기본 주파수를 포함하여 관심있는 음이나 신호의 다양한 측면에서 주파수 이동을 야기한다.
고조파 및 다른 파아셜 감쇠
본 발명에서, 고조파 및 다른 파아셜 감쇠는 사인파, 파아셜, 비-고조파, 고조파, 또는 그 진폭을 바탕으로 한 다른 신호를, 관련된 주파수 범위 내의 타 신호의 진폭과 연계하여 조절하는 방법을 제공한다. 필터 진폭 위치 안내 또는 평형으로 고조파 차수를 대치하기 위해 고조파 범위의 진폭을 이용하여 고조파를 조절하는 것이 또다른 대안이다. 또한, 고조파 조절에서와 같이, 파아셜의 주파수가 진폭과 함께 변화하기 때문에 파아셜의 주파수는 필터 주파수 조절 가이드이다. 음악 경로나 다른 복합 음향 신호와 같은 많은 음향 요소 중에서, 사용자에 의해 선택되는 동적 범위를 압축하거나 압축하지 않으면서, 약한 음향 요소는 본 발명에 의해 타요소에 비해 증강되고, 강한 음향 요소는 타요소에 비해 저하된다.
본 발명은 1) 상대적으로 조용한 소리나 신호를 고립시키거나 강조시키고, 2) 상대적으로 큰 소리나 신호를 감소시키며, 특히 다른 음 중에서도 배경 잡음, 왜곡, 산란, 사용자가 판단하기에 불필요해 보이는 다른 음향 신호를 감소시킨다. 그리고 3) 파아셜, 음성, 음악적 음, 고조파, 사인파, 그외 다른 소리나 신호에 대해 보다 이해하기 쉬우면서도 바람직한 블렌딩을 실행한다.
기존 전자 컴프레서와 익스팬더는 본 발명에 의해 고려되는 단지 몇가지의 매개변수에 따라 작동한다. 더욱이, 이러한 압축/확장 장치의 작동은 본 발명의 작동과는 기본적으로 틀리다. 강약조절, 즉, 신호의 조절은 그 진폭에만 바탕하는 것이 아니라, 주파수 범위에서 다른 신호의 진폭에 대한 상대적 진폭에 의해서도 좌우된다. 가령, 마루에서 발을 질질 끄는 소리를 듣기 위해 그 소리를 조절할 수도 있고 조절하지 않을 수도 있다. 그러나 조용한 방에서는, 소리가 조절될 필요가 없고, 강한 경쟁 파아셜, 소리, 신호가 배경으로 있는 상황에서 동일한 진폭의 동일한 소리는 이를 듣고자 강약조절을 할 필요가 있다. 본 발명은 이러한 결정을 행할 수 있고, 이에 따라 작동한다.
본 발명의 한가지 방법에서, 조용한 파아셜을 강약조절하기 위해 음악성분이 디지털화되고 그 진폭이 수정된다. 전체 신호가 전체 동적 범위를 바탕으로 처리되도록, 본 기술은 고정 주파수 범위에서 음악을 압축함으로서 이를 달성한다. 알짜 효과는 상대적으로 조용한 경로를 증폭함으로서 이 상대적으로 조용한 부분을 강조하는 것이다. 본 발명의 이러한 태양은 다른 원리에도 작용한다. 컴퓨터 소프트웨어는 복합 파형의 스펙트럴 범위를 검사하고, 특정 세트 한계 레벨 아래의 개별 파아셜의 레벨을 상승시킨다. 마찬가지로, 특정 한계값 이상의 파아셜 레벨의 진폭은 낮춰지게 된다. 소프트웨어는 복합 파형의 모든 파아셜 주파수를 시간에 대해 점검할 것이고, 변화에 대해 설정된 한계값 내애서 주파수를 수정할 것이다. 이 방법에서, 아날로그 및 디지털 하드웨어와 소프트웨어는 음악을 디지털화하고, 이를 메모리에 저장한다. 복합파형은 고속 퓨리에 변환, 웨이블릿(wavelets), 그외 적절한 분석 방법 등을 통해 높은 정확성으로 검사될 것이다. 관련된 소프트웨어는 연산된 파아셜을 진폭, 주파수, 시간 한계값이나 매개변수에 시간에 대해 비교할 것이고,진폭 수정을 위한 상기 한계값 내에 위치하는 파아셜 주파수를 결정할 것이다. 이 한계값은 동적이고, 일부 특정 주파수 범위 내의 조절에 대한 파아셜을 둘러싸는 경쟁 파아셜에 의존한다.
본 발명의 이 부분은 정밀화되고 주파수 선택적인 동기화나 필터링 장치로 작용한다. 이때 선택될 수 있는 주파수의 수는 거의 무제한에 가깝다. 디지털 균등화 윈도우가 발생되고 소거되어, 거의 듣기 힘들었던 소리의 파아셜의 시작, 피크, 그리고 종료 진폭을 수정함으로서 이 파아셜이 사람에게 보다 명백하게 들릴 것이다.
관심있는 진폭의 신호가 다른 신호의 진폭에 대해 상대적으로 변경되면, 본 발명의 원활한 적용은 1) 계속적으로 변하는 원칙에 따라, 또는 2) 고정된 비연속적 변화 원칙에 따라 조절을 행할 수 있다. 실제 효과는 조절을 필요로하는 음향 신호 부분을 표시하고 이러한 조절을 행하는 능력뿐 아니라, 이러한 조절이 필요할 때 조절을 행하고 이러한 조절이 필요할 때만 조절을 행하는 능력이다. 필터 변화가 초당 30 사이클보다 빠를 경우, 이러한 조절은 독자적인 소리를 생성할 것이다. 그러므로, 낮은 베이스 소리가 필터링되어 없어지지 않는다면, 이보다 빠른 속도에서의 변화는 제안되지 않는다.
본 발명의 제 1 방법(또는 그 조합)은 시간 상의 특정 지점에서 특정 파아셜을 원하는 대로 조절하기 위해 필요한 것에 따라, 주파수 및 진폭을 변화시키는 필터를 수반한다.
본 발명의 제 2 방법에서, 진폭 조절에 대한 파아셜 세트가 한 필터 범위로부터 다음 필터 범위로 이동함에 따라 이 처리과정은 "버켓-브리게이드" 방식으로 넘어간다.
앞서 언급한 바와 같이, 본 발명의 두 방법은 복합 음향 신호를 포함하는 조절될 파아셜의 주파수나 고조파 내용뿐 아니라 진폭까지를 비실시간이나 준-실시간으로 처리하는 능력을 수반한다. 즉, "내다보는" 능력을 수반한다. 이렇게 함에 있어서, 본 발명은 주파수, 시간에 대한 주파수, 시간에 대한 주파수 대역의 경쟁 파아셜, 진폭, 그리고 시간에 대한 진폭을 검사할 수 있다. 그후, 주파수 및 진폭을 조절할 수 있는 필터, 수학적 모델, 또는 알고리즘을 이용하여, 상기 파아셜, 고조파, 그리고 다른 신호의 진폭을 동적으로 조절하고, 이에 의해 앞서 기술된 것과 같은 발명의 목적, 결과, 효과를 달성할 수 있다. 두 방법에서, 파아셜의 주파수와 진폭을 평가한 후, 본 발명은 한계값을 바탕으로 신호를 상승, 저하, 처리않음 등으로 조절할 지를 결정한다.
강약조절은 진폭 한계값 및 조절 곡선에 의존한다. 바람직한 결과를 얻기 위해 본 발명에서 한계값 및 조절을 구현하는 것에는 세가지 방법이 있다. 첫 번째 방법은 복합 파형의 전체 에너지를 바탕으로 진폭 한계값을 동적으로 조절하는 한계값을 사용한다. 에너지 한계값은 균일한 주파수 의존도를 유지한다(즉, 한계 곡선의 기울기는 전체 에너지가 변화하여도 일정하다). 두 번째 방법은 조절될 파아셜을 둘러싸는 주파수 대역 내의 보간된 한계값 곡선을 구현한다. 이 한계값은 동적이며, 이 파아셜 주위의 주파수 영역에 국부화된다. 동일 주파수 대역에서 조절은 또한 동적이며, 영역 내 주변 파아셜의 진폭이 변화함에 따라 변한다. 파아셜의주파수가 변할 수 있기 때문에, 한계값과 조절 주파수 대역은 동적 주파수 특성을 가진다. 세 번째 방법은 고정된 한계 레벨을 이용한다. 진폭이 한계값 이상인 파아셜은 하향으로 조절된다. 한계값 아래의 파아셜의 진폭은 상향으로 조절된다. 이 세 방법이 아래에 기술된다.
위 세가지 방법에서, 조절 레벨은 "스케일링 함수"에 좌우된다. 고조파나 파아셜이 한계값을 넘거나 한계값 아래로 떨어지면, 한계값을 벗어난 크기만큼이 조절의 정도를 결정한다. 가령, 상한값을 겨우 초과하는 파아셜은 아주 조금 하향으로 조절될 뿐이지만, 상당히 초과하는 파아셜은 더 큰 조절을 필요로한다. 조절량의 변화는 연속적인 함수이다. 간단한 함수는 선형 함수이지만, 어떤 스케일링 함수가 적용될 수도 있다. 어떤 수학적 함수에 관해, 한계값을 넘거나 한계값 미만의 파아셜 조절 범위는 스케일링되거나 오프셋될 수 있다. 스케일링 함수 효과가 스케일링될 경우에, 파아셜이 한계값을 넘을 때 동일한 크기의 조절이 발생한다. 이는 한계값이 변경되었는 지에 관계가 없다. 가령, 앞서 나열된 제 1 방법에서, 파형에 추가적인 에너지가 있을 때 한계값이 변화한다. 스케일링 함수는 조절될 파아셜의 0-25% 조절 사이의 범위에 여전히 놓일 수 있지만, 파형에 추가 에너지가 있을 경우 더 작은 진폭 범위에 놓인다. 이에 대한 대안은 스케일링 함수를 일부만 오프셋시키는 것이다. 따라서, 추가 에너지가 신호에 존재할 경우, 범위가 같아지지 않는다. 예를 들어 0-10%의 범위를 가질 수 있다. 그러나, 조절에서 변화의 크기는 파아셜이 한계값을 초과한 에너지양에 대해 상대적으로 일정하다.
제 1 한계값 및 조절 방법을 따름으로서, 진폭의 최소한계 및 최대한계를 정의함에 의해 신호의 파아셜 내용의 일부에 영향을 미치는 것이 바람직하다. 이상적으로는 이러한 처리가 두 개의 한계값 경계 내에서 신호를 유지시킨다. 즉, 상한값과 하한값을 말한다. 파아셜의 진폭은 하한값 아래로 떨어지거나 상한값을 초과하는 것이 허용되지 않는다. 이 한계값들은 주파수에 따라 변화하며, 이는 도 9A에 도시된다. 잡음 하한값은 실제로 낮은 레벨의 잡음인 파아셜의 조절을 방지하기 위해 구축될 수 있다. 잡음 하한선은 강약조절에 대한 전체 하한으로 작용하고, 수동으로 또는 분석과정을 통해 구축될 수 있다. 주파수에 따른 조절 곡선은 주파수에 따른 한계값 곡선과 공존한다. 각각의 입력 파아셜이 두 한계값 곡선과 비교되고, 그후 상향으로 조절(에너지 증가)되거나 하향으로 조절(에너지 감소)되거나 또는 조절되지 않는다. 파아셜의 주파수 범위에서 전체 신호 진폭에 대해 상승이나 저하가 필요하기 때문에, 한계값 곡선은 주어진 시점에서 전체 신호 에너지에 따라 변한다. 파아셜 진폭의 고정 조절이 한계값 위아래에서 유지될 경우, 조절된 파아셜이 그 파아셜을 둘러싸는 다른 파아셜보다 낮게 될 것이다. 이를 방지하기 위해, 조절 량의 특정 점에서 파아셜의 레벨에 따라 변화한다. 앞서 언급한 바와 같이, 조절은 스케일링 함수를 바탕으로 발생한다. 그후 조절은 조절될 파아셜이 한계값을 초과하거나 한계값 아래로 내려가는 에너지 양에 따라 변화한다.
제 2 한계값 및 조절 방법에서, 파아셜은 파아셜의 시간 주기에서 조절될 파아셜을 둘러싸는 주파수 대역의 경쟁 파아셜에 비교된다. 이 주파수 대역은 여러 특징부를 가지며, 그 예가 도 9D에 도시된다. 1) 대역의 폭은 원하는 결과에 따라 수정될 수 있다. 2) 한계값 및 조절 영역의 형태는 연속적 곡선으로서, 전체 곡선의 선형 부분과 부합되며 부드러워진다. 곡선의 선형부는 본 파아셜에 대한 비교 및 조절 영역 외부의 주파수를 나타낸다. 그러나, 곡선 선형부의 전체 "오프셋"은 파형의 전체 에너지에 따라 좌우된다. 따라서, 한계값의 오프셋에 전체적인 이동을 관찰할 수 있지만, 특정 파아셜의 조절은 변화하지 않을 수 있다. 왜냐하면, 그 조절은 고유 주파수 영역의 파아셜에 따라 좌우되기 때문이다. 비교할 주파수영역의 상한값은 경쟁 파아셜과 함께 상승한다. 한계선 위 파아셜의 조절에 대한 스케일링 함수는 마찬가지로 이동하거나 재-스케일링된다. 비교 주파수 대역의 하한값은 경쟁 파아셜과 함께 하강한다. 또한, 파아셜의 조절에 대한 스케일링 함수는 마찬가지로 이동하거나 재-스케일링된다. 3) 파아셜이 한계값을 초과하거나 한계값 아래로 떨어질 경우, 그 조절은 진폭이 하한값을 초과하거나 하한값 아래로 떨어지는 크기에 따라 좌우된다. 조절양은 연속적인 매개변수로서, 이어지는 파아셜을 둘러싸는 경쟁 파아셜의 에너지만큼 오프셋된다. 가령, 파아셜이 상한값을 겨우 넘을 경우, 파아셜의 진폭은 가령 5%만큼 하향으로 조절될 것이다. 보다 극단적인 경우에, 파아셜이 25%만큼 조절되는 것을 볼 수 있다. 이는 그 진폭이 더 큰 정도로 상한을 초과하는 경우이다. 그러나, 전체 신호 에너지가 서로 다를 경우, 이 조절양은 일부양만큼 오프셋될 것이고, 한계값 오프셋에서 전체 변이에 관계될 것이다. 4) 잡음 하한선은 실제 저레벨 잡음인 파아셜의 조절을 방지하도록 구축된다. 잡음 하한선은 강약조절 고려에 대한 전체 하한선으로 작용하고, 수동적으로, 또는 분석 과정을 통해 구축될 수 있다.
제 3 한계값 및 조절 방법에서, 모든 동일한 조절 방법이 사용되지만, 단일고정 한계값에 대해 비교가 이루어진다. 도 9c는 이러한 한계값의 예를 도시한다. 파아셜이 한계값을 넘거나 한계값 미만으로 떨어질 경우, 그 조절은 진폭이 한계값 위아래로 얼마나 변동이 있는 지에 따라 좌우된다. 조절량은 파아셜의 에너지만큼 오프셋되거나 재-스케일링되는 연속적인 매개변수이다. 또한, 실제로 저-레벨 잡음인 파아셜의 조절을 방지하기 위해 잡음 하한성이 구축되어야 한다. 이는 앞서 방법에서도 설명한 바 있다.
모든 한계값 및 조절 방법에서, 한계값(단일 한계값이거나 상한, 하한으로 분리된 한계값)은 평탄하지 않을 수 있다. 왜냐하면, 사람의 귀 자체가 평탄하지 않기 때문이다. 귀는 가청 범위에서 균일하거나 선형 방식의 진폭을 인지하지 않는다. 우리의 가청 반응은 주파수에 의존하기 때문에(일부 주파수는 다른 주파수보다 더 큰 에너지를 가지는 것으로 인지됨), 본 발명의 에너지 조절 역시 주파수에 따라 좌우된다.
최대 및 최소 진폭 조절 사이에서 조절양을 보간함으로서, 보다 연속적이고 일관된 조절을 얻을 수 있다. 가령, 최대 레벨 근처의 진폭을 가지는 파아셜은 하향-조절 한계값을 겨우 초과하는 진폭을 가지는 파아셜보다 더 많은 에너지로 하향으로 조절될 것이다. 시간 한계값이 설정되어, 세트 주파수 범위의 경쟁 파아셜이 제한값을 가진다. 한계값 곡선과 조절 곡선은 사람의 청력에 바탕한 경험적 인지 곡선과 사용자가 원하는 정의의 조합을 나타낼 수 있다.
도 9A는 샘플 한계값 곡선을 도시하고, 도 9B는 제 1 한계값 및 조절 방법에 대한 샘플 조절 곡선을 도시한다. 한계값은 전체 신호 에너지에 따라 좌우된다(즉,낮은 전체 에너지가 한계값을 낮출 것이다). 입력 파아셜의 진폭이 상한 에너지 한계값 곡선(도 9A의 상한값)을 넘을 경우, 파아셜은 도 9B의 주파수에 대한 관련 조절 곡선에 의해 규정되는 양만큼의 에너지가 잘려나간다(하향으로 조절된다). 마찬가지로, 파아셜의 진폭이 가장 낮은 에너지 한계값 곡선 아래로 떨어질 경우, 그 에너지는 증가된다(상향으로 조절된다). 그 증가되는 크기는 상기 주파수에 대한 관련 조절 함수에 의해 규정되는 양만큼이다. 진폭의 증가나 감소는 어떤 지정된 양만큼일 수 있다.
도 9B의 조절 함수는 주어진 주파수에서 만들어지는 최대 조절량을 정의한다. 파아셜의 진폭으로 왜곡이 삽입되는 것을 방지하기 위하여, 조절양은 시간에 따라 줄어들어, 최대 조절까지 부드러운 전이를 볼 수 있다. 전이는 임의 함수에 의해 정의될 수 있고, 선형 패턴과 같이 간단할 수도 있다. 점진적으로 줄어들지 않을 경우에, 파형은 너무 빨리 조절되거나, 불연속성을 생성할 수 있다. 이는 조절되는 신호에 불필요한 왜곡을 생성한다. 마찬가지로, 파아셜을 상향으로 조절할 때에도 부드러운 줄어듬이 적용된다.
도 9C는 제 2 한계값 및 조절 방법에 관한 예를 도시한다.
신호의 구간 전체에서, 고조파/파아셜의 진폭은 일정할 수 있지만, 가끔씩 상당히 변화할 수도 있다. 이 태양들은 주파수 및 시간에 따라 좌우되고, 일부 고조파들의 진폭 및 소멸 특성은 경쟁 파아셜에 대해 한 방식으로 작용한다.
고조파들(개별 고조파들, 또는 그룹 고조파들)의 최대 진폭 및 최소 진폭을 제어하기 위해 앞서 언급한 한계값과는 별도로, 사용자에 의해 설정될 수 있는 시간에 바탕한 한계값이 또한 존재한다. 이는 본 발명이 파아셜의 조절을 처리하기 위해 반드시 부합되어야 한다.
시간에 바탕한 한계값은 특정 조절에 대한 개시 시간, 중간 구간, 종료 시간을 설정하여, 본 발명의 작동이 개시되기 위해 사용자에 의해 구체화되는 시간 주기와 진폭 한계값이 부합되어야 한다. 진폭 한계값이 초과될 경우, 그렇지만 사용자에 의해 구체화된 시간 동안 초과된 상태를 유지하지 않을 경우, 진폭 조절은 처리되지 않는다. 가령, 최소 한계값 아래로 내려가는 신호는 1) 최소 한계값과 만나서 그 이후 그 아래로 내려가거나, 2) 첫 번째 위치에서 절대로 만나지 않는, 최소 한계값 아래로 내려가는 신호 역시 조절되지 않는다. 신호를 조절할 때 소프트웨어가 이러한 차이를 인지하고 사용자에 의해 조정가능함을 인지하는 것이 유용하다.
보간
일반적 측면에서, 보간은 주어진 양과 알려진 변수 사이의 관계를 바탕으로, 두 주어진 양 사이에서 미지의 양을 추정하거나 계산하는 방법이다. 본 발명에서, 보간은 고조파 조절, 고조파 조절 및 합성, 파아셜 변환, 그리고 고조파 변환에 적용할 수 있다. 이는 악기나 사람의 음성에 의해 소리나는 일부 지점에서 음의 고조파 구조를 사용자가 조절할 수 있는 방법에 관한 것이다. 사용자에 의해 조절되는 지점 중 하나로부터 나머지까지 음악적 범위 전체에서 고조파 구조의 이동은 사용자에 의해 규정되는 여러 곡선, 윤곽, 또는 보간 함수 중 하나에 따라 발명에 의해 실행된다. 따라서, 연주되는 음의 고조파 내용을 변화시키는 것은 연속적인 방식으로 제어된다.
음성이나 악기의 소리는 음역의 함수로 변화한다. 서로 다른 음역에서의 소리 특성 변화로 인해, 가수나 연주인들은 다른 음역에서 음을 낼 때 한 음역의 특성이나 특색을 유지하고자 할 수 있다. 본 발명에서, 보간은 이를 가능하게 할 뿐 아니라, 제어가능한 방식으로 사용자에 의해 조절되는 한 지점으로부터 다른 지점까지 음악적 스펙트럼 사이에서 음의 고조파 구조를 자동적으로 조절하게 한다.
고-음역 음의 3차 고조파와 중-음역 음의 10차 고조파를 사용자가 강조하고자 할 때를 가정해보자. 사용자가 원하는 매개변수를 설정하였을 때, 본 발명은 상기 지점들 사이에 있는 음들의 고조파 구조의 이동을 자동적으로 처리하고, 이때 변환의 특징은 사용자에 의해 제어가능하다.
간단하게 말해서, 사용자는 일부 지점에 고조파들을 설정하고, 보간은 "설정 지점" 사이에서의 모든 것들을 자동적으로 조절한다. 특히, 다음의 두가지를 달성한다.
- 먼저, 사용자는 음성이나 악기의 범위 내의 서로 다른 지점에서 음성이나 악기의 음의 고조파 구조를 조절할 수 있다. 이렇게 할 때, 사용자는 소리의 인지된 결함을 교정할 수 있고, 또는 특정 결과를 생성하기 위해 소리를 조절할 수 있으며, 또는 원하는 고조파를 강조할 수 있고, 또는 불필요한 고조파를 저하시키거나 삭제할 수 있다.
- 두 번째로, 이 선택된 음이나 음역의 소리를 사용자가 조절하였을 경우, 본 발명은 사용자에 의해 선택되는 공식에 따라 설정 지점 사이 음악적 스펙트럼 간의 모든 음과 모든 인지된 고조파의 고조파 구조를 이동시키거나 변환시킨다.
보간 함수(즉, 한 설정 지점의 고조파 구조로부터 다른 설정 지점의 고조파 구조까지의 이동 특성이나 이동 곡선)는 선형일 수도 있고, 대수함수일 수도 있으며, 또는 사용자에 의해 선택되는 또다른 외형을 가질 수도 있다.
주파수 스케일은 여러 음, 고조파, 파아셜, 또는 그외 다른 신호의 위치를 차트화할 수 있다. 가령, 스케일은 한 옥타브만큼 떨어진 주파수들의 위치를 차트화할 수 있다. 사용자 설정 지점 사이에서 본 발명이 모든 고조파 구조를 조절하는 방식은 사용자에 의해 선택될 수 있다.
자연 고조파의 모방
고조파 주파수의 좋은 모델은 fn = n x f1x Slog 2 n이다. 왜냐하면, 넓은 공명 대역에서 자연적인 "음올림"에 근사하도록 설정될 수 있기 때문이다. 가령, f1=185Hz의 10차 고조파는 10x185를 이용할 때의 1850Hz가 아니라 1862.3Hz이다. 보다 중요한 것은 어울림 고조파를 시뮬레이션하는 모델이다. 예를 들어, 1차 고조파와 2차 고조파, 2차 고조파와 4차 고조파, 4차 고조파와 5차 고조파, 4차 고조파와 8차 고조파, 6차 고조파와 8차 고조파, 8차와 10차, 9차와 12차 등이 그 에이다. 고조파 생성을 위해 사용될 때 상기 고조파들은 자연 고조파가 하는 이상으로 강화되고 울릴 것이다. 고조파 조절 및 합성과 자연 고조파에도 사용될 수 있다. 이 함수나 모델은 높은 고조파들을 "올리는" 악기에 의해 생성되는, 가장 부합하는 고조파를 찾는 좋은 방법이다. 이 방식으로, 스트레치 함수가 자연 고조파 모방(INH)에 사용될 수 있다.
함수 fn = n x f1x Slog 2 n는 n이 증가함에 따라 점진적으로 음이 올라가는 고조파를 모델링하기 위해 사용된다. S는 올림 상수로서, 1과 1.003 사이의 값이다. n은 양의 정수, 1, 2, 3,..., T이며, T는 일반적으로 17이다. 이 함수로, S의 값은 상기 올림의 정도를 결정한다. 이 함수가 모델링하는 고조파들은 fn = n x f1에서 고조파가 어울리는 방식과 마찬가지로 어울린다. 즉, fn과 fm이 한 음의 n차, m차 고조파일 때, fn/fm = f2n/f2m = f3n/f3m =... =fkn/fkm이다.
기본 주파수 고속 탐색, 또는 필터 뱅크나 자동 교정 기술을 통한 주파수의 명백한 위치설정 등과 같이 기본 주파수 및 고조파 주파수를 결정하기 위해 사용될 수 있는 방법에는 여러 가지가 있다. 특정 연산에 필요한 정확성 및 속도는 사용자에 의해 정해지고, 이는 적절한 주파수 검색 알고리즘을 선택하는 것을 돕는다.
효과를 위한 고조파 분리
본 발명 및 그 방법에 대한 추가적인 확장은 음향을 독자적으로 조작하게 하고, 본 발명을 다른 영역의 음향 처리에 적용할 수 있게 한다. 흥미로운 고조파들은 사용자에 의해 선택되고, 그후 앞서 언급한 가변 디지털 필터를 이용함으로서 원 데이터로부터 분리된다. 신호 분리에 사용되는 필터링 방법은 어떤 방법도 가능하나, 특히 적용가능한 것은 입력 데이터를 바탕으로 재연산될 수 있는 계수를 가지는 디지털 필터이다.
분리된 고조파는 다른 신호 처리 유닛에 공급되고(방향, 코러스, 플랜지 등과 같은 악기를 위한 효과), 사용자 선택 블렌딩이나 비율에 의해 최종적으로는 원신호로 분리된다.
구현
한가지 변형 구현은 데스크톱 PC(24)와 같이 호스트 컴퓨터 시스템에 연결되는 음향 신호(22)의 음원을 포함한다. 상기 PC(24)는 추가 기능 실행을 위해 시스템 내에 설치되는 여러 개의 애드-인 카드(add-in card)를 가진다. 음원(22)은 살아있는 음일 수도 있고, 저장된 파일로부터의 음일 수도 있다. 이 카드는 아날로그-디지털 변환 카드(26)와 디지털-아날로그 변환 카드(28)뿐 아니라, 추가적인 디지털 신호 처리 카드를 포함한다. 상기 디지털 신호 처리 카드는 연산 및 필터링 작동을 고속처리하기 위해 사용된다. 호스트 컴퓨터 시스템은 사용자 인터페이스 작동을 대부분 제어한다. 그러나, 일반적인 개인용 컴퓨터 프로세서는 디지털 신호 프로세서 카드를 설치하지 않으면서 자체적으로 모든 수학 연산을 실행할 수 있다.
입력 음향 신호는 아날로그-디지털 변환 유닛(26)에 공급된다. 상기 유닛(26)은 전기 소리 신호를 디지털 방식으로 변환한다. 전형적인 응용에서, 아날로그-디지털 변환은 20-24 비트 변환기를 이용하여 실행되고, 48kHz-96kHz 샘플 속도에서 작동한다. 개인용 컴퓨터는 8-44.1kHz 샘플 속도를 지원하는 16비트 변환기를 가지는 것이 일반적이다. 이는 일부 응용에서 충분할 수 있다. 그러나, 워드 사이즈가 크다면(가령, 20, 24, 32비트 등) 더 좋은 결과를 제공할 수 있다. 높은 샘플링 속도 역시 변환된 신호의 품질을 개선시킨다. 디지털 방식 표현은 하드 디스크(30)에 저장되는 긴 스트림의 수이다. 하드 디스크는 고성능 탈착형 디스크식 매체와 같은 독립형 디스크 드라이브일 수도 있고, 컴퓨터용 다른 데이터 및 프로그램을 가지는 동일한 디스크일 수도 있다. 성능 및 호환성을 위해 디스크는 탈착식이다.
디지털화된 음향 데이터가 디스크(30)에 저장되면, 신호의 바람직한 조작을 실행하기 위한 프로그램이 선택된다. 프로그램은 바람직한 목표를 달성하는 일련의 프로그램으로 이루어진다. 이 처리 알고리즘은 처리 알고리즘에 의해 제어되는 램(RAM)에 저장되는 가변 크기 유닛의 디스크(32)로부터 컴퓨터 데이터를 판독한다. 처리 과정이 종료됨에 따라, 처리된 데이터는 컴퓨터 디스크(30)에 다시 저장된다.
본 발명에서, 디스크로부터 읽어들이고 디스크에 기록하는 과정은 반복적이고 회귀적이어서, 판독 및 기록이 서로 얽힐 수 있고, 데이터 섹션이 여러번 판독되고 기록될 수 있다. 음향 신호의 실시간 처리는 디지털 음향 신호의 디스크 접근 및 저장을 최소화하는 것을 가끔씩 필요로한다. 왜냐하면 이 요소들이 시스템에 지연을 유발시키기 때문이다. RAM만을 사용함으로서, 또는 캐시 메모리를 이용함으로서, 실시간 및 준-실시간 방식으로 일부 처리가 실행될 수 있는 지점까지 시스템 성능이 향상될 수 있다. 실시간이란, 사용자가 식별하지 못할만큼 빠르게 결과를 얻도록 하는 속도로 처리가 진행되는 것을 말한다. 처리 종류와 사용자 선호도에 따라, 처리되는 데이터는 원 데이터 위에 덮어쓸 수도 있고, 또는 원 데이터와 혼합될 수도 있다. 새로운 파일과 함께 기록될 수도 있다.
처리 종료시, 데이터는 듣기 위해, 또는 추가 외부 처리(34)를 위해 다시 한번 컴퓨터 디스크나 메모리(30)로부터 판독된다. 디지털화된 데이터는 디스크(30)로부터 판독되어, 디지털-아날로그 변환 유닛(28)에 기록된다. 이 유닛(28)은 컴퓨터 외부에서의 사용(34)을 위해 디지털화된 데이터를 아날로그 신호로 다시 변환한다. 대안으로, 디지털화된 데이터가 다양한 수단을 통해 디지털 형태로 외부 장치에 직접 기록될 수도 있다(AES/EBU나 SPDIF 디지털 음향 인터페이스 포맷 등). 외부 장치로는 녹음 시스템, 마스터링 시스템, 음향 처리 유닛, 방송 유닛, 컴퓨터 등이 있다.
처리 과정은 실시간으로 결과를 얻는 속도로 진행된다. 처리 종류와 사용자 선호도에 따라, 처리 데이터는 원 데이터를 덮어쓸 수도 있고, 원데이터와 혼합될 수도 있다. 새로운 파일과 함께 기록될 수도 있다.
처리 종료시, 데이터는 듣기 위해, 또는 추가 외부 처리(34)를 위해 다시 한번 컴퓨터 디스크나 메모리(30)로부터 판독된다. 디지털화된 데이터는 디스크(30)로부터 판독되어, 디지털-아날로그 변환 유닛(28)에 기록된다. 이 유닛(28)은 컴퓨터 외부에서의 사용(34)을 위해 디지털화된 데이터를 아날로그 신호로 다시 변환한다. 대안으로, 디지털화된 데이터가 다양한 수단을 통해 디지털 형태로 외부 장치에 직접 기록될 수도 있다(AES/EBU나 SPDIF 디지털 음향 인터페이스 포맷 등). 외부 장치로는 녹음 시스템, 마스터링 시스템, 음향 처리 유닛, 방송 유닛, 컴퓨터 등이 있다.
고조파 고속 검색
여기서 기술되는 구현은 준-실시간 처리를 위한 기본 주파수의 고속 검색 방법과 같은 기술을 이용할 수 있다. 이 고속 검색 방법 기술은 실시간으로 처리되어야할 필요가 있는 차후 알고리즘이 매우 짧은 잠복 시간만으로 행하여지도록 매우 신속한 방식으로 높은 고조파의 고조파 관계로부터 음향 신호의 기본 주파수를 추론하는 알고리즘을 이용한다. 고속 검색 알고리즘은 고조파 주파수 위치에 관한 정보를 제공할 수 있어서, 고조파 처리가 고속으로 그리고 효율적으로 실행되게 할 수 있다.
앞서의 방법은 신호의 두 개 이상의 후보 주파수의 세트를 선택하는 단계를 포함한다. 그 다음에, 후보 주파수의 세트 요소들이 고조파 관계를 가지는 정당한 고조파 주파수의 그룹인 지를 결정한다. 이는 각 고조파 주파수의 차수를 결정한다. 마지막으로, 기본 주파수가 정당한 주파수로부터 추론된다.
상기 방법의 한 알고리즘에서, 모든 요소가 정당한 고조파 주파수일 경우 우세해지는 비교가능한 관계와, 감지된 파아셜 간의 관계가 비교된다. 비교되는 관계는 주파수비, 주파수의 차이, 상기 주파수들간의 비율, 그리고 정수 변수의 함수에 의해 고조파 주파수가 모델링된다는 사실로부터 기인하는 독자적 관계를 포함한다. 후보 주파수는 신호 음원에 의해 생성될 수 있는 고차 고조파 주파수와 기본 주파수의 상한과 하한을 이용하여서도 구별된다.
이 방법은 고차 고조파 사이의 관계, 선택을 제한하는 조건, 고차 고조파들과 기본 주파수와의 관계, 그리고 가능한 기본 주파수의 범위를 이용한다. fn = f1x n x G(n)은 n차 고조파의 주파수를 모델링한다. 그 예는 다음과 같다.
a) 후보 주파수 fH, fM, fL의 비는 고조파 모델의 그 차수 RH, RM, RL로 대체함으로서 얻어지는 비와 대략 같아야 한다. 즉, fH/fM~ {RHx G(RH)}/{RMx G(RM)}, 그리고 fM/fL~ {RMx G(RM)}/{RLx G(RL)}.
b) 후보 주파수 간의 차이의 비는 모델링된 주파수의 차이의 비와 같아야 한다. 즉, (RH-RM)/(RM-RL) ~ [{RHx G(RH)}-{RMx G(RM)}]/[{RMx G(RM)}/{RLx G(RL)}].
c) 후보 주파수 파아셜 fH, fM, fL은 악기의 음원에 의해 생성될 수 있는 주파수 범위 내에 놓여야 한다.
d) 고조파 차수 RH, RM, RL은 FL아래나 FH위의 기본 주파수를 의미하면 안된다. 기본 주파수의 범위는 악기나 음원에 의해 생성될 수 있다.
e) 가능한 세 개의 차수를 얻기 위해 정수 가변 비를 일치시킬 때, 정수비 RH/RM의 정수 RM은 정수비 RM/RL의 정수 RM과 반드시 같아야 한다. 이 간계는 차수 쌍{RH, RM}과 {RM, RL}을 가능한 트리오{RH, RM, RL}로 합치기 위해 사용된다.
후보 주파수와 그 차수는 관심있는 고조파를 수정하거나 합성하기 위해 기본 주파수를 추정하지 않으면서도 앞서 기술한 방법에 사용될 수 있다.
정당한 고조파 주파수를 결정하고 기본 주파수를 추정하는 또다른 방법은 후보 주파수 그룹을 기본 주파수 및 그 고조파들과 비교하여 수용가능한 일치점을 찾아내는 단계를 포함한다. 이 방법은 기본 주파수와 그 모든 고조파에 대한 고조파 멀티플라이어 스케일을 생성하는 단계를 포함한다. 후보 파아셜 주파수 스케일은후보 주파수와 함께 생성되고, 수용가능한 일치점을 찾기 위해 고조파 멀티플라이어 스케일을 찾아낸다. 후보 주파수의 차수가 두 스케일의 일치점으로부터 결정된다. 이 차수들은 정당한 주파수 그룹이 어느 그룹인 지를 결정하기 위해 사용된다. 이렇게 사용될 경우, 기본 주파수를 결정하기 위해 일치점이 또한 사용될 수 있고, 추가적인 연산이 실행될 수도 있다. 스케일은 대수 스케일이 선호된다.
본 발명은 연산을 실행하기 위해 기본 주파수 고속 검색에만 의존하지 않는다. 기본 주파수와 고조파 주파수 위치를 결정하기 위해 여러 방법이 사용될 수 있다. 가령, 짧은-시간 퓨리에 변환 방법, 또는 필터 뱅크나 자동 교정 기술을 통한 주파수의 정확한 위치 설정 등이 그 예이다. 특정 연산에 필요한 정확도와 속도는 사용자에 의해 정해지고, 이는 적절한 주파수 검색 알고리즘을 선택하는데 도움이 된다.
본 발명의 원칙에 따라 복합 파형을 수정하기 위한 여러 방법 및 시스템의 잠재적 내부관계가 도 11에 도시된다. 입력 신호는 복합 파형으로 소리 파일에 제공된다. 이 정보는 기본 주파수 고속 검색 방법이나 회로에 제공된다. 이는 추가적인 고조파 조절 및 합성을 위한 정보를 제공하기 위한 프로커서로, 또는 복합 파형의 기본 주파수를 신속하게 결정하기 위해 사용될 수 있다. 이는 분석이 준-실시간으로 행하여질 경우 특히 사실에 가깝다.
고조파 조절 및 합성은 진폭 및 주파수에 대해 수정 장치가 조절가능하다는 사실을 바탕으로 한다. 오프라인 모드에서, 고조파 조절 및 합성은 소리 파일로부터 직접 입력을 수신한다. 출력은 고조파 조절 및 합성으로부터 직접 얻을 수 있다.
대안으로, 여기서 공개한 방법 중 하나와 조합된 고조파 조절 및 합성 신호가 출력 신호로 제공될 수 있다.
이동 타겟에 바탕한 고조파 및 파아셜 활성화는 복합 파형의 소리 파일의 입력으로부터 직접 오프-라인으로 입력 신호를 수신할 수 있고, 고조파 조절 및 합성으로부터의 출력으로 입력 신호를 수신할 수 있다. 이는 고조파 변환에 대한 입력으로, 또는 시스템 외부로 출력 신호를 제공한다. 고조파 변환은 이동 타겟을 바탕으로 할 뿐 아니라, 타겟 파일, 보간, 자연 고조파 모방을 포함한다.

Claims (36)

  1. 기본 주파수와 고조파 주파수를 가지는 고조파 신호를 포함하는 복합 파형의 조작 방법으로서, 상기 방법은,
    - 파형에 존재하는 고조파 신호의 고조파 주파수의 차수를 결정하고,
    - 파형 조작을 위해 결정된 고조파 주파수의 선택된 차수를 수정하며,
    - 파형의 고조파 신호 주파수의 변화와 동일한 고조파 주파수의 선택된 차수를 수정하도록 상기 결정 및 수정 단계를 반복하는, 이상의 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제 1 항에 있어서, 한 개 이상의 a) 선택된 차수와, b) 수정은 파형 내에서 시간과 함께 변화하는 것을 특징으로 하는 방법.
  3. 제 1 항에 있어서, 상기 수정 단계는 고조파 주파수의 선택된 차수의 진폭을 설정된 값으로 조절하는 단계를 포함하는 것을 특징으로 하는 방법.
  4. 제 1 항에 있어서, 상기 수정 단계는 파형의 파아셜 주파수에 대해 상대적으로, 고조파 주파수의 선택된 차수의 진폭을 조절하는 과정을 포함하는 것을 특징으로 하는 방법.
  5. 제 1 항에 있어서, 상기 수정 단계는 제 2 음원의 신호를 닮도록 제 1 음원으로부터의 파형을 차수에 의해 수정하는 과정을 포함하는 것을 특징으로 하는 방법.
  6. 제 1 항에 있어서, 상기 수정 단계는,
    - 고조파 주파수의 잃어버린 선택 차수를 결정하고,
    - 잃어버린 고조파 주파수를 합성하며,
    - 합성된 고조파 주파수를 상기 파형에 더하는, 이상의 단계를 포함하는 것을 특징으로 하는 방법.
  7. 제 6 항에 있어서, 상기 잃어버린 고조파 주파수는 모델링 함수 (S)log 2 n을 이용하여 합성되고, 이때 S는 1보다 큰 상수이며, n은 고조파의 차수인 것을 특징으로 하는 방법.
  8. 제 1 항에 있어서, 상기 수정 단계는,
    - 잃어버린 선택 비-고조파 주파수를 결정하고,
    - 잃어버린 비-고조파 주파수를 합성하며,
    - 합성된 비-고조파 주파수를 파형에 더하는, 이상의 단계를 포함하는 것을 특징으로 하는 방법.
  9. 제 1 항에 있어서, 차수를 결정하는 단계는,
    - 파형의 주파수를 선택하고,
    - 선택된 주파수 중 어느 것이 고조파 관계와를 가지는 지 결정하며,
    - 고조파 관계를 가진다고 결정되는 선택 주파수로부터 선택된 차수의 주파수를 결정하는, 이상의 단계를 포함하는 것을 특징으로 하는 방법.
  10. 제 9 항에 있어서, 고조파 관계를 결정하는 단계는 모델링 함수 (S)log 2 n을 사용하는 단계를 포함하며, 이때 S는 1보다 큰 상수이고, n은 고조파 차수인 것을 특징으로 하는 방법.
  11. 제 1 항에 있어서, 상기 방법은,
    - 한 개 이상의 주파수 및 진폭에 대해 조절가능한 다수의 수정 수단을 포함하고,
    - 선택된 차수의 고조파 주파수를 이 주파수가 놓이는 수정 수단에 의해 처리하는, 단계를 포함하는 것을 특징으로 하는 방법.
  12. 제 11 항에 있어서, 상기 방법은,
    - 각각의 조절 수단에 고조파 차수를 할당하고,
    - 결정된 고조파 주파수의 주파수로 수정 수단을 조율하는, 이상의 단계를 포함하는 것을 특징으로 하는 방법.
  13. 제 11 항에 있어서, 상기 수정 수단은 고정 주파수로 설정되고, 상기 방법은, 선택된 고조파 주파수의 주파수 함수로 수정 수단의 수정 효과를 조절하는 단계를 포함하는 것을 특징으로 하는 방법.
  14. 제 1 항에 있어서, 디지털 신호 프로세서의 명령으로 상기 방법을 저장하는 단계를 포함하는 것을 특징으로 하는 방법.
  15. 복합 파형의 고조나 내용을 수정하는 방법으로서, 상기 방법은,
    - 파형의 고조파 주파수를 결정하고,
    - 파형의 고조파 주파수의 선택된 차수의 존재를 결정하며,
    - 파형으로부터 빠진 선택된 고조파 주파수를 합성하고,
    - 합성된 고조파 주파수를 파형과 더하고,
    - 파형의 고조파 주파수의 주파수 변화와 동일하게 선택된 고조파 주파수 차수를 수정하도록 상기 결정 및 합성 단계를 반복하는, 이상의 단계를 포함하는 것을 특징으로 하는 방법.
  16. 제 15 항에 있어서, 상기 잃어버린 고조파 주파수는 모델링 함수 (S)log 2 n을 이용하여 합성되고, 이때 S는 1보다 큰 상수이며, n은 고조파 차수인 것을 특징으로 하는 방법.
  17. 제 15 항에 있어서, 파형에 존재하는 고조파 주파수의 선택된 차수의 진폭을 조절하는 단계를 포함하는 것을 특징으로 하는 방법.
  18. 제 17 항에 있어서, 상기 방법은,
    - 한 개 이상의 주파수 및 진폭에 대해 조절가능한 다수의 수정 수단을 포함하고,
    - 선택된 차수의 고조파 주파수를 이 주파수가 위치하는 수정 수단에 의해 처리하는, 단계를 포함하는 것을 특징으로 하는 방법.
  19. 제 15 항에 있어서, 디지털 신호 프로세서의 명령으로 상기 방법을 저장하는 단계를 포함하는 것을 특징으로 하는 방법.
  20. 고조파 조절 방법으로서, 상기 방법은,
    - 복합 파형을 저장하고,
    - 시간에 대한 주파수, 진폭, 고조파 차수를 포함하여 파형의 고조파를 결정하며,
    - 고조파 차수와 설정 매개변수를 바탕으로, 선택된 고조파의 진폭을 조절하는, 이상의 단계를 포함하는 것을 특징으로 하는 방법.
  21. 제 20 항에 있어서, 상기 방법은 모델링 함수 (S)log 2 n을 이용하여 고조파를 결정하는 단계를 포함하고, 이때 S는 1보다 큰 상수이고, n은 고조파 차수인 것을 특징으로 하는 방법.
  22. 제 20 항에 있어서, 상기 방법은,
    - 파형의 인접 파아셜 주파수에 고조파를 비교하고,
    - 상기 비교값을 바탕으로 한 고조파에 대해 고조파를 조절하는, 이상의 단계를 포함하는 것을 특징으로 하는 방법.
  23. 제 20 항에 있어서, 상기 방법은,
    - 두 개 이상의 주파수에 바탕한 매개변수를 설정하고,
    - 보간 함수를 선택하며,
    - 주파수 기반의 매개변수와 보간 함수에 바탕하여 고조파의 진폭을 조절하는, 이상의 단계를 포함하는 것을 특징으로 하는 방법.
  24. 제 20 항에 있어서,
    - 고조파 차수 및 설정 매개변수를 바탕으로 선택 고조파를 합성하고,
    - 합성된 고조파를 파형에 더하는, 이상의 단계를 포함하는 것을 특징으로 하는 방법.
  25. 제 20 항에 있어서, 상기 방법은,
    - 한 개 이상의 주파수 및 진폭에 대해 조절가능한 다수의 수정 수단을 포함하고,
    - 선택된 차수의 고조파 주파수를 이 주파수가 위치하는 수정 수단에 의해 처리하는, 단계를 포함하는 것을 특징으로 하는 방법.
  26. 제 20 항에 있어서, 디지털 신호 프로세서의 명령으로 상기 방법을 저장하는 단계를 포함하는 것을 특징으로 하는 방법.
  27. 고조파 조절 방법으로서, 상기 방법은,
    - 제 1 소리 파형의 시간에 대한 주파수, 진폭, 고조파 차수를 포함하여 고조파를 결정하고,
    - 타겟 소리 파형의 시간에 대한 주파수, 진폭, 고조파 차수를 포함하여 고조파를 결정하며,
    - 타겟 소리 파형의 상응하는 차수 고조파의 진폭을 바탕으로 제 1 소리 파형의 고조파 진폭을 조절하는, 이상의 단계를 포함하는 것을 특징으로 하는 방법.
  28. 제 27 항에 있어서, 고조파 차수를 바탕으로 타겟 파형에 비교되는 제 1 소리 파형에서 잃어버린 고조파 및 비-고조파를 합성하는 단계를 포함하는 것을 특징으로 하는 방법.
  29. 제 27 항에 있어서, 상기 방법은,
    - 한 개 이상의 주파수 및 진폭에 대해 조절가능한 다수의 수정 수단을 포함하고,
    - 선택 차수의 고조파 주파수를, 주파수가 위치하는 수정 수단에 의해 처리하는, 단계를 포함하는 것을 특징으로 하는 방법.
  30. 제 27 항에 있어서, 디지털 신호 프로세서의 명령으로 상기 방법을 저장하는 단계를 포함하는 것을 특징으로 하는 방법.
  31. 복합 파형의 조작 방법으로서, 상기 방법은,
    - 시간에 대해 파형의 파아셜 주파수와 그 진폭을 결정하고,
    - 인접 파아셜 주파수의 진폭을 비교하며,
    - 상기 비교값을 바탕으로 선택 파아셜 주파수의 진폭을 조절하는, 이상의 단계를 포함하는 것을 특징으로 하는 방법.
  32. 제 31 항에 있어서, 상기 비교 및 조절은 시간에 대한 파아셜 주파수와 함께 이동하는 것을 특징으로 하는 방법.
  33. 제 31 항에 있어서, 선택된 파아셜 주파수를 한쌍으 한계값 내로 유지하기 위해 진폭을 조절하는 단계를 포함하는 것을 특징으로 하는 방법.
  34. 복합 파형의 조작 방법으로서, 상기 방법은,
    - 시간에 대해 동적인 진폭 한계값을 연산하고,
    - 시간에 대해 동적인 한계값에 역으로 파아셜의 진폭을 조절하는, 이상의 단계를 포함하는 것을 특징으로 하는 방법.
  35. 제 34 항에 있어서, 한계값으로부터 벗어난 파아셜의 크기를 바탕으로 조절 정도를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  36. 제 34 항에 있어서, 복합 파형에 대한 잡음 한계를 결정하고, 잡음 하한보다 작은 진폭을 가지는 파아셜을 조절하지 않는 이상의 단계를 포함하는 것을 특징으로 하는 방법.
KR1020017005410A 1998-10-29 1999-10-29 복합 파형의 고조파 내용 수정 방법 KR20010082280A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10615098P 1998-10-29 1998-10-29
US60/106,150 1998-10-29
PCT/US1999/025295 WO2000026897A1 (en) 1998-10-29 1999-10-29 Method of modifying harmonic content of a complex waveform

Publications (1)

Publication Number Publication Date
KR20010082280A true KR20010082280A (ko) 2001-08-29

Family

ID=22309765

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020017005410A KR20010082280A (ko) 1998-10-29 1999-10-29 복합 파형의 고조파 내용 수정 방법
KR1020017005408A KR20010082278A (ko) 1998-10-29 1999-10-29 음계 조정 방법 및 장치
KR1020017005409A KR20010082279A (ko) 1998-10-29 1999-10-29 기본 주파수 고속 검색 방법

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020017005408A KR20010082278A (ko) 1998-10-29 1999-10-29 음계 조정 방법 및 장치
KR1020017005409A KR20010082279A (ko) 1998-10-29 1999-10-29 기본 주파수 고속 검색 방법

Country Status (17)

Country Link
US (2) US6448487B1 (ko)
EP (3) EP1145220A1 (ko)
JP (4) JP5113307B2 (ko)
KR (3) KR20010082280A (ko)
CN (3) CN1174368C (ko)
AT (2) ATE239286T1 (ko)
AU (3) AU1327700A (ko)
CA (3) CA2345718A1 (ko)
DE (2) DE69904640T2 (ko)
DK (2) DK1125273T3 (ko)
EA (2) EA003958B1 (ko)
ES (2) ES2194540T3 (ko)
HK (1) HK1044843A1 (ko)
ID (2) ID29029A (ko)
MX (2) MXPA01004281A (ko)
TW (2) TW446932B (ko)
WO (3) WO2000026898A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8554552B2 (en) 2008-10-31 2013-10-08 Samsung Electronics Co., Ltd. Apparatus and method for restoring voice

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ID29029A (id) * 1998-10-29 2001-07-26 Smith Paul Reed Guitars Ltd Metode untuk menemukan fundamental dengan cepat
DE10309000B4 (de) * 2003-03-01 2009-10-01 Werner Mohrlok Verfahren für eine programmgesteuerte variable Stimmung für Musikinstrumente
EP1605439B1 (en) * 2004-06-04 2007-06-27 Honda Research Institute Europe GmbH Unified treatment of resolved and unresolved harmonics
US7538265B2 (en) * 2006-07-12 2009-05-26 Master Key, Llc Apparatus and method for visualizing music and other sounds
US8843377B2 (en) * 2006-07-12 2014-09-23 Master Key, Llc System and method for foreign language processing
US7514620B2 (en) * 2006-08-25 2009-04-07 Apple Inc. Method for shifting pitches of audio signals to a desired pitch relationship
US7589269B2 (en) * 2007-04-03 2009-09-15 Master Key, Llc Device and method for visualizing musical rhythmic structures
US7880076B2 (en) * 2007-04-03 2011-02-01 Master Key, Llc Child development and education apparatus and method using visual stimulation
US7932454B2 (en) * 2007-04-18 2011-04-26 Master Key, Llc System and method for musical instruction
WO2008130665A1 (en) * 2007-04-19 2008-10-30 Master Key, Llc System and method for audio equalization
WO2008130697A1 (en) * 2007-04-19 2008-10-30 Master Key, Llc Method and apparatus for editing and mixing sound recordings
WO2008130664A1 (en) * 2007-04-20 2008-10-30 Master Key, Llc System and method for sound recognition
US7960637B2 (en) * 2007-04-20 2011-06-14 Master Key, Llc Archiving of environmental sounds using visualization components
WO2008130659A1 (en) * 2007-04-20 2008-10-30 Master Key, Llc Method and apparatus for identity verification
US7928306B2 (en) * 2007-04-20 2011-04-19 Master Key, Llc Musical instrument tuning method and apparatus
US7932455B2 (en) * 2007-04-20 2011-04-26 Master Key, Llc Method and apparatus for comparing musical works
US20080269775A1 (en) * 2007-04-20 2008-10-30 Lemons Kenneth R Method and apparatus for providing medical treatment using visualization components of audio spectrum signals
US7671266B2 (en) * 2007-04-20 2010-03-02 Master Key, Llc System and method for speech therapy
WO2008130696A1 (en) * 2007-04-20 2008-10-30 Master Key, Llc Calibration of transmission system using tonal visualization components
US7935877B2 (en) * 2007-04-20 2011-05-03 Master Key, Llc System and method for music composition
US7947888B2 (en) * 2007-04-20 2011-05-24 Master Key, Llc Method and apparatus for computer-generated music
JP5162963B2 (ja) * 2007-05-24 2013-03-13 ヤマハ株式会社 即興演奏支援機能付き電子鍵盤楽器及び即興演奏支援プログラム
US7875787B2 (en) * 2008-02-01 2011-01-25 Master Key, Llc Apparatus and method for visualization of music using note extraction
EP2245627A4 (en) * 2008-02-01 2012-09-26 Master Key Llc DEVICE AND METHOD FOR DISPLAYING INFINITE SMALL MEASURING RANGES
WO2010095622A1 (ja) * 2009-02-17 2010-08-26 国立大学法人京都大学 音楽音響信号生成システム
KR101053668B1 (ko) * 2009-09-04 2011-08-02 한국과학기술원 노래의 감성 향상 방법 및 장치
EP2513897B1 (en) 2009-12-16 2014-08-20 Robert Bosch GmbH Audio system, method for generating an audio signal and corresponding computer program
CN101819764B (zh) * 2009-12-31 2012-06-27 南通大学 基于子带分解的特殊音效镶边的处理系统
EP2362376A3 (en) 2010-02-26 2011-11-02 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for modifying an audio signal using envelope shaping
JP5585764B2 (ja) * 2010-03-30 2014-09-10 マツダ株式会社 車両用発音装置
KR101486119B1 (ko) * 2011-09-14 2015-01-23 야마하 가부시키가이샤 음향 효과 부여 장치 및 어쿠스틱 피아노
CN103794222B (zh) * 2012-10-31 2017-02-22 展讯通信（上海）有限公司 语音基音频率检测方法和装置
CN103293227B (zh) * 2013-05-17 2015-02-18 廊坊中电熊猫晶体科技有限公司 一种压电石英晶体晶片倒边实现效果的测量方法
KR101517957B1 (ko) 2013-06-13 2015-05-06 서울대학교산학협력단 음향 지각 능력 평가 방법 및 평가 장치
US9530391B2 (en) * 2015-01-09 2016-12-27 Mark Strachan Music shaper
US11120816B2 (en) * 2015-02-01 2021-09-14 Board Of Regents, The University Of Texas System Natural ear
CN105118523A (zh) * 2015-07-13 2015-12-02 努比亚技术有限公司 音频处理方法和装置
WO2017048998A1 (en) * 2015-09-18 2017-03-23 Multipitch Inc. Electronic measuring device
US11030983B2 (en) 2017-06-26 2021-06-08 Adio, Llc Enhanced system, method, and devices for communicating inaudible tones associated with audio files
US10460709B2 (en) 2017-06-26 2019-10-29 The Intellectual Property Network, Inc. Enhanced system, method, and devices for utilizing inaudible tones with music
JPWO2019026325A1 (ja) * 2017-08-03 2020-07-30 ヤマハ株式会社 差分提示装置、差分提示方法および差分提示プログラム
CN108231046B (zh) * 2017-12-28 2020-07-07 腾讯音乐娱乐科技（深圳）有限公司 歌曲调性识别方法及装置
CN108320730B (zh) * 2018-01-09 2020-09-29 广州市百果园信息技术有限公司 音乐分类方法及节拍点检测方法、存储设备及计算机设备
TWI718716B (zh) * 2019-10-23 2021-02-11 佑華微電子股份有限公司 樂器音階觸發的偵測方法
US11842712B2 (en) * 2020-12-23 2023-12-12 Crown Sterling Limited, LLC Methods of providing precise tuning of musical instruments

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE29144E (en) * 1974-03-25 1977-03-01 D. H. Baldwin Company Automatic chord and rhythm system for electronic organ
US4152964A (en) 1977-10-17 1979-05-08 Waage Harold M Keyboard controlled just intonation computer
JPS5565996A (en) 1978-11-13 1980-05-17 Nippon Musical Instruments Mfg Electronic musical instrument
DE3023578C2 (de) * 1980-06-24 1983-08-04 Matth. Hohner Ag, 7218 Trossingen Schaltungsanordnung zum Identifizieren des Akkordtyps und seines Grundtons bei einem chromatisch gestimmten elektronischen Musikinstrument
JPS57136696A (en) 1981-02-18 1982-08-23 Nippon Musical Instruments Mfg Electronic musical instrument
US4449437A (en) * 1981-09-21 1984-05-22 Baldwin Piano & Organ Company Automatic piano
US4434696A (en) 1981-11-20 1984-03-06 Harry Conviser Instrument for comparing equal temperament and just intonation
DE3304995A1 (de) 1982-02-13 1983-09-01 Victor Company Of Japan, Ltd., Yokohama, Kanagawa Rein gestimmtes elektronisches tasteninstrument
JPS60125892A (ja) * 1983-12-10 1985-07-05 株式会社河合楽器製作所 電子楽器
DE3725820C1 (ko) 1987-08-04 1988-05-26 Mohrlok, Werner, 7218 Trossingen, De
US4860624A (en) 1988-07-25 1989-08-29 Meta-C Corporation Electronic musical instrument employing tru-scale interval system for prevention of overtone collisions
US5056398A (en) * 1988-09-20 1991-10-15 Adamson Tod M Digital audio signal processor employing multiple filter fundamental acquisition circuitry
JPH02173799A (ja) * 1988-12-27 1990-07-05 Kawai Musical Instr Mfg Co Ltd 音高変更装置
JPH03230197A (ja) * 1990-02-05 1991-10-14 Yamaha Corp 電子鍵盤楽器
JP2555765B2 (ja) * 1990-09-06 1996-11-20 ヤマハ株式会社 電子楽器
JP2661349B2 (ja) * 1990-09-13 1997-10-08 ヤマハ株式会社 電子楽器
JPH04178696A (ja) * 1990-11-13 1992-06-25 Roland Corp 折返しノイズ除去装置
JP3109117B2 (ja) * 1991-03-12 2000-11-13 ヤマハ株式会社 電子楽器
US5210366A (en) * 1991-06-10 1993-05-11 Sykes Jr Richard O Method and device for detecting and separating voices in a complex musical composition
JPH064076A (ja) * 1992-06-22 1994-01-14 Roland Corp 音色形成装置
US5440756A (en) * 1992-09-28 1995-08-08 Larson; Bruce E. Apparatus and method for real-time extraction and display of musical chord sequences from an audio signal
US5536902A (en) * 1993-04-14 1996-07-16 Yamaha Corporation Method of and apparatus for analyzing and synthesizing a sound by extracting and controlling a sound parameter
JP2500495B2 (ja) * 1993-04-19 1996-05-29 ヤマハ株式会社 電子鍵盤楽器
JPH07104753A (ja) * 1993-10-05 1995-04-21 Kawai Musical Instr Mfg Co Ltd 電子楽器の自動調律装置
US5501130A (en) * 1994-02-10 1996-03-26 Musig Tuning Corporation Just intonation tuning
US5569871A (en) * 1994-06-14 1996-10-29 Yamaha Corporation Musical tone generating apparatus employing microresonator array
WO1996004642A1 (en) * 1994-08-01 1996-02-15 Zeta Music Partners Timbral apparatus and method for musical sounds
US5504270A (en) * 1994-08-29 1996-04-02 Sethares; William A. Method and apparatus for dissonance modification of audio signals
JP3517972B2 (ja) * 1994-08-31 2004-04-12 ヤマハ株式会社 自動伴奏装置
JP3538908B2 (ja) * 1994-09-14 2004-06-14 ヤマハ株式会社 電子楽器
JP3265962B2 (ja) * 1995-12-28 2002-03-18 日本ビクター株式会社 音程変換装置
JP3102335B2 (ja) * 1996-01-18 2000-10-23 ヤマハ株式会社 フォルマント変換装置およびカラオケ装置
US5736661A (en) 1996-03-12 1998-04-07 Armstrong; Paul R. System and method for tuning an instrument to a meantone temperament
JP3585647B2 (ja) * 1996-05-14 2004-11-04 ローランド株式会社 効果装置
JP3692661B2 (ja) * 1996-10-25 2005-09-07 松下電器産業株式会社 楽音合成装置
JP3468337B2 (ja) * 1997-01-07 2003-11-17 日本電信電話株式会社 補間音色合成方法
US5977472A (en) * 1997-01-08 1999-11-02 Yamaha Corporation Chord detecting apparatus and method, and machine readable medium containing program therefor
JPH11338480A (ja) * 1998-05-22 1999-12-10 Yamaha Corp カラオケ装置
ID29029A (id) * 1998-10-29 2001-07-26 Smith Paul Reed Guitars Ltd Metode untuk menemukan fundamental dengan cepat

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8554552B2 (en) 2008-10-31 2013-10-08 Samsung Electronics Co., Ltd. Apparatus and method for restoring voice

Also Published As

Publication number Publication date
WO2000026896B1 (en) 2000-09-28
AU1327700A (en) 2000-05-22
ATE230148T1 (de) 2003-01-15
WO2000026897A9 (en) 2000-09-28
ATE239286T1 (de) 2003-05-15
MXPA01004262A (es) 2002-06-04
EP1125273A2 (en) 2001-08-22
JP5113307B2 (ja) 2013-01-09
JP2012083768A (ja) 2012-04-26
DE69907498T2 (de) 2004-05-06
EP1125273B1 (en) 2003-05-02
WO2000026898A1 (en) 2000-05-11
JP2002529772A (ja) 2002-09-10
CA2347359A1 (en) 2000-05-11
ID29354A (id) 2001-08-23
US6448487B1 (en) 2002-09-10
EA200100478A1 (ru) 2001-10-22
AU1809100A (en) 2000-05-22
EA003958B1 (ru) 2003-10-30
EP1125272A1 (en) 2001-08-22
DE69904640D1 (de) 2003-01-30
EP1145220A1 (en) 2001-10-17
MXPA01004281A (es) 2002-06-04
WO2000026897A1 (en) 2000-05-11
DE69907498D1 (de) 2003-06-05
KR20010082279A (ko) 2001-08-29
HK1044843A1 (zh) 2002-11-01
US20030033925A1 (en) 2003-02-20
KR20010082278A (ko) 2001-08-29
EA002990B1 (ru) 2002-12-26
WO2000026898A9 (en) 2000-11-30
DK1125273T3 (da) 2003-06-02
JP2002529774A (ja) 2002-09-10
CN1325525A (zh) 2001-12-05
WO2000026896A9 (en) 2001-01-04
CA2341445A1 (en) 2000-05-11
US6777607B2 (en) 2004-08-17
JP2002529773A (ja) 2002-09-10
CN1325526A (zh) 2001-12-05
DE69904640T2 (de) 2003-11-13
WO2000026898A8 (en) 2001-10-25
TW502248B (en) 2002-09-11
WO2000026896A2 (en) 2000-05-11
ID29029A (id) 2001-07-26
CA2345718A1 (en) 2000-05-11
AU1327600A (en) 2000-05-22
CN1328680A (zh) 2001-12-26
TW446932B (en) 2001-07-21
ES2194540T3 (es) 2003-11-16
EA200100480A1 (ru) 2001-10-22
DK1125272T3 (da) 2003-03-24
WO2000026896A3 (en) 2000-08-10
CN1174368C (zh) 2004-11-03
ES2187210T3 (es) 2003-05-16
WO2000026897B1 (en) 2000-06-22
EP1125272B1 (en) 2002-12-18

Similar Documents

Publication Publication Date Title
JP5113307B2 (ja) 複合波形の倍音内容を変える方法
US7003120B1 (en) Method of modifying harmonic content of a complex waveform
JP2002529773A5 (ko)
US5744742A (en) Parametric signal modeling musical synthesizer
US5703311A (en) Electronic musical apparatus for synthesizing vocal sounds using format sound synthesis techniques
US7750229B2 (en) Sound synthesis by combining a slowly varying underlying spectrum, pitch and loudness with quicker varying spectral, pitch and loudness fluctuations
US9515630B2 (en) Musical dynamics alteration of sounds
KR20010029507A (ko) 웨이브테이블 신디사이저와 다양한 샘플링 구간 근사치를 사용하는 방법
WO1997017692A9 (en) Parametric signal modeling musical synthesizer
Penttinen et al. Model-based sound synthesis of the guqin
Lindemann Music synthesis with reconstructive phrase modeling
Ethington et al. SeaWave: A system for musical timbre description
US5504270A (en) Method and apparatus for dissonance modification of audio signals
Jensen The timbre model
JP3797283B2 (ja) 演奏音制御方法及び装置
US10319353B2 (en) Method for audio sample playback using mapped impulse responses
KR100884225B1 (ko) 임베딩된 디바이스들에서의 타악기 소리 발생
WO2020158891A1 (ja) 音信号合成方法およびニューラルネットワークの訓練方法
JP6028844B2 (ja) 楽音合成装置及びプログラム
WO1996004642A1 (en) Timbral apparatus and method for musical sounds
Jensen Musical instruments parametric evolution
Wager et al. Towards expressive instrument synthesis through smooth frame-by-frame reconstruction: From string to woodwind
Olney Computational Thinking through Modular Sound Synthesis
Tfirn Hearing Images and Seeing Sound: The Creation of Sonic Information Through Image Interpolation
Brandtsegg Adaptive and crossadaptive strategies for composition and performance

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid