KR102601194B1 - 오디오 신호의 저복잡도 피치 시프팅 장치 및 그 방법 - Google Patents

오디오 신호의 저복잡도 피치 시프팅 장치 및 그 방법 Download PDF

Info

Publication number
KR102601194B1
KR102601194B1 KR1020210128528A KR20210128528A KR102601194B1 KR 102601194 B1 KR102601194 B1 KR 102601194B1 KR 1020210128528 A KR1020210128528 A KR 1020210128528A KR 20210128528 A KR20210128528 A KR 20210128528A KR 102601194 B1 KR102601194 B1 KR 102601194B1
Authority
KR
South Korea
Prior art keywords
audio signal
frequency components
distance
listener
pitch shifting
Prior art date
Application number
KR1020210128528A
Other languages
English (en)
Other versions
KR20230045801A (ko
Inventor
이용주
유재현
장대영
강경옥
이태진
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020210128528A priority Critical patent/KR102601194B1/ko
Priority to US17/582,209 priority patent/US11778376B2/en
Publication of KR20230045801A publication Critical patent/KR20230045801A/ko
Application granted granted Critical
Publication of KR102601194B1 publication Critical patent/KR102601194B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/18—Selecting circuits
    • G10H1/20—Selecting circuits for transposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
    • G10L21/013—Adapting to target pitch
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/15—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being formant information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/195—Modulation effects, i.e. smooth non-discontinuous variations over a time interval, e.g. within a note, melody or musical transition, of any sound parameter, e.g. amplitude, pitch, spectral response, playback speed
    • G10H2210/221—Glissando, i.e. pitch smoothly sliding from one note to another, e.g. gliss, glide, slide, bend, smear, sweep
    • G10H2210/225—Portamento, i.e. smooth continuously variable pitch-bend, without emphasis of each chromatic pitch during the pitch change, which only stops at the end of the pitch shift, as obtained, e.g. by a MIDI pitch wheel or trombone
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
    • G10H2250/215—Transforms, i.e. mathematical transforms into domains appropriate for musical signal processing, coding or compression
    • G10H2250/235—Fourier transform; Discrete Fourier Transform [DFT]; Fast Fourier Transform [FFT]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/315—Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
    • G10H2250/371—Gensound equipment, i.e. synthesizing sounds produced by man-made devices, e.g. machines
    • G10H2250/381—Road, i.e. sounds which are part of a road, street or urban traffic soundscape, e.g. automobiles, bikes, trucks, traffic, vehicle horns, collisions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation

Abstract

오디오 신호의 저복잡도 피치 시프팅 장치 및 그 방법이 개시된다. 오디오 신호의 피치 시프팅 방법은 오디오 신호에 포함된 오디오 객체와 청취자 간의 거리를 식별하는 단계; 상기 오디오 객체와 청취자 간의 거리가 감소하는지 여부를 확인하는 단계; 및 상기 오디오 객체와 청취자 간의 거리가 감소하는 경우, 상기 오디오 신호의 주파수 성분 중 적어도 하나를 반복 사용하는 계단식 뻗기(stretching) 피치 시프팅을 수행하는 단계를 포함할 수 있다.

Description

오디오 신호의 저복잡도 피치 시프팅 장치 및 그 방법{APPARATUS AND METHOD FOR PITCH-SHIFTING AUDIO SIGNAL WITH LOW COMPLEXITY}
본 발명은 오디오 신호의 피치 시프팅 방법에 관한 것으로, 구체적으로는 계단식 피치 시프팅을 수행하여 연산량을 저감하는 장치 및 방법에 관한 것이다.
오디오 서비스는 모노, 스테레오 서비스에서 5.1 7.1 채널 등을 거쳐 상향 채널을 포함하는 9.1, 11.1, 10.2, 13.1, 15.1, 22.2 채널과 같은 다채널 서비스로 변화를 해왔다.
오디오 서비스의 발전에 따라 하나의 음원 소스를 객체로 간주하고, 오디오 객체를 포함하는 오디오 신호와 오디오 객체의 위치, 크기 등과 같은 오디오 객체 관련 정보를 저장/전송/재생하는 객체기반 오디오 서비스 기술도 개발이 되고 있다.
이때, 오디오 객체의 이동 속도에 따른 음향 처리 중 도플러 현상에서 발생하는 피치 시프팅 알고리즘이 있다.
종래의 피치 시프팅 알고리즘은 오디오 신호에 Time stretching을 수행한 후, Interpolation을 수행하고, Resampling을 수행한 결과를 출력하고 있었다. 그러나, time stretching 이나, resampling의 경우 알고리즘이 복잡하지는 않으나, 많은 연산량을 필요로 하고 있다.
따라서, 오디오를 재현하는 단말의 연산 능력에 따라 피치 시프팅 알고리즘의 활용이 제한될 수 있으므로, 저연산량의 피치 시프팅 방법이 요청되고 있다.
본 발명은 오디오 신호의 피치 시프팅 장치(100)는 오디오 신호에 포함된 오디오 객체와 청취자 간의 거리 변화에 따라 계단식 뻗기(stretching) 피치 시프팅, 또는 계단식 당기기(pull) 피치 시프팅을 수행함으로써, 적은 연산량으로 도플러 효과를 재현하는 장치 및 방법을 제공할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 피치 시프팅 방법은 오디오 신호에 포함된 오디오 객체와 청취자 간의 거리를 식별하는 단계; 상기 오디오 객체와 청취자 간의 거리가 감소하는지 여부를 확인하는 단계; 및 상기 오디오 객체와 청취자 간의 거리가 감소하는 경우, 상기 오디오 신호의 주파수 성분 중 적어도 하나를 반복 사용하는 계단식 뻗기(stretching) 피치 시프팅을 수행하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 피치 시프팅 방법의 상기 계단식 뻗기 피치 시프팅을 수행하는 단계는, 상기 오디오 객체와 청취자 간의 감소된 거리에 따라 상기 오디오 신호의 주파수 성분들 중 적어도 하나를 삭제하는 단계; 삭제된 주파수 성분의 개수에 따라 반복 사용할 주파수 성분을 결정하는 단계; 및 상기 반복 사용할 주파수 성분을 복제하여 추가하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 피치 시프팅 방법의 상기 반복 사용할 주파수 성분을 결정하는 단계는, 상기 오디오 신호의 주파수 성분의 개수와 상기 삭제된 주파수 성분의 개수에 따라 주파수 성분의 간격을 결정하는 단계; 및 상기 주파수 성분의 간격에 따라 오디오 신호의 주파수 성분들 중에서 반복 사용할 주파수 성분을 결정하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 피치 시프팅 방법은 오디오 신호에 포함된 오디오 객체와 청취자 간의 거리를 식별하는 단계; 상기 오디오 객체와 청취자 간의 거리가 증가하는지 여부를 확인하는 단계; 및 상기 오디오 객체와 청취자 간의 거리가 증가하는 경우, 상기 오디오 신호의 주파수 성분 중 적어도 하나를 삭제하는 계단식 당기기(pull) 피치 시프팅을 수행하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 피치 시프팅 방법의 상기 계단식 당기기 피치 시프팅을 수행하는 단계는, 상기 오디오 객체와 청취자 간의 거리에 따라 상기 오디오 신호에서 삭제할 주파수 성분을 결정하는 단계; 및 결정한 주파수 성분을 상기 오디오 신호에서 삭제하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 피치 시프팅 방법의 상기 삭제할 주파수 성분을 결정하는 단계는, 상기 오디오 객체와 청취자 간의 증가된 거리에 따라 상기 오디오 신호에서 삭제해야 하는 주파수 성분의 개수를 결정하는 단계; 상기 오디오 신호의 주파수 성분의 개수와 상기 삭제해야 하는 주파수 성분의 개수에 따라 주파수 성분의 간격을 결정하는 단계; 및 상기 주파수 성분의 간격에 따라 오디오 신호의 주파수 성분들 중에서 삭제할 주파수 성분의 위치를 결정하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 피치 시프팅 방법의 상기 주파수 성분을 삭제하는 단계는, 상기 오디오 신호의 주파수 성분들 중에서 상기 주파수 성분의 위치에 대응하는 주파수 성분을 삭제하는 단계; 및 상기 오디오 신호의 주파수 성분들 중에서 상기 주파수 성분의 위치를 기준으로 오른쪽에 위치한 주파수 성분들을 왼쪽으로 이동시키는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 피치 시프팅 장치는 오디오 신호에 포함된 오디오 객체와 청취자 간의 거리를 식별하는 거리 식별부; 상기 오디오 객체와 청취자 간의 거리가 변화하는지 여부를 식별하는 변화 식별부; 상기 오디오 객체와 청취자 간의 거리가 감소하는 경우, 상기 오디오 신호의 주파수 성분 중 적어도 하나를 반복 사용하는 계단식 뻗기(stretching) 피치 시프팅을 수행하는 스트레칭 피치 시프팅부; 및 상기 오디오 객체와 청취자 간의 거리가 증가하는 경우, 상기 오디오 신호의 주파수 성분 중 적어도 하나를 삭제하는 계단식 당기기(pull) 피치 시프팅을 수행하는 풀 피치 시프팅부를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 피치 시프팅 장치의 상기 스트레칭 피치 시프팅부는, 상기 오디오 객체와 청취자 간의 감소된 거리에 따라 상기 오디오 신호의 주파수 성분들 중 적어도 하나를 삭제하고, 삭제된 주파수 성분의 개수에 따라 반복 사용할 주파수 성분을 결정하며, 결정한 주파수 성분을 복제하여 상기 오디오 신호에 추가할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 피치 시프팅 장치의 상기 스트레칭 피치 시프팅부는, 상기 오디오 신호의 주파수 성분의 개수와 상기 삭제된 주파수 성분의 개수에 따라 주파수 성분의 간격을 결정하고, 상기 주파수 성분의 간격에 따라 오디오 신호의 주파수 성분들 중에서 반복 사용할 주파수 성분을 결정할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 피치 시프팅 장치의 상기 풀 피치 시프팅부는, 상기 오디오 객체와 청취자 간의 증가된 거리에 따라 상기 오디오 신호의 전체 대역폭을 감소시키고, 상기 오디오 객체와 청취자 간의 거리에 따라 상기 오디오 신호에서 삭제할 주파수 성분을 결정하며, 결정한 주파수 성분을 상기 오디오 신호에서 삭제할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 피치 시프팅 장치의 상기 풀 피치 시프팅부는, 상기 오디오 객체와 청취자 간의 증가된 거리에 따라 상기 오디오 신호에서 삭제해야 하는 주파수 성분의 개수를 결정하고, 상기 오디오 신호의 주파수 성분의 개수와 상기 삭제해야 하는 주파수 성분의 개수에 따라 주파수 성분의 간격을 결정하며, 상기 주파수 성분의 간격에 따라 오디오 신호의 주파수 성분들 중에서 삭제할 주파수 성분의 위치를 결정할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 피치 시프팅 장치의 상기 풀 피치 시프팅부는, 상기 오디오 신호의 주파수 성분들 중에서 상기 주파수 성분의 위치에 대응하는 주파수 성분을 삭제하고, 상기 오디오 신호의 주파수 성분들 중에서 상기 주파수 성분의 위치를 기준으로 오른쪽에 위치한 주파수 성분들을 왼쪽으로 이동시킬 수 있다.
본 발명의 일실시예에 의하면, 오디오 신호에 포함된 오디오 객체와 청취자 간의 거리 변화에 따라 계단식 뻗기(stretching) 피치 시프팅, 또는 계단식 당기기(pull) 피치 시프팅을 수행함으로써, 적은 연산량으로 도플러 효과를 재현할 수 있다.
또한, 본 발명의 일실시예에 의하면, 오디오 객체와 청취자 간의 거리가 감소하여 주파수 성분의 높이에 따라 가장 높은 주파수 성분부터 적어도 하나의 주파수 성분이 삭제되는 경우, 오디오 신호의 주파수 성분 중 적어도 하나를 반복 사용하는 계단식 뻗기(stretching) 피치 시프팅을 수행함으로써, 오디오 신호에 포함된 주파수 성분의 개수를 유지할 수 있다.
그리고, 본 발명의 일실시예에 의하면, 오디오 객체와 청취자 간의 거리가 증가하여 오디오 신호의 전체 대역폭이 감소하는 경우, 오디오 신호의 주파수 성분 중 적어도 하나를 삭제하는 계단식 당기기(pull) 피치 시프팅을 수행함으로써, 오디오 신호에 포함된 주파수 성분들 각각의 대역 폭을 유지할 수 있다.
도 1은 본 발명의 일실시예에 따른 오디오 신호의 피치 시프팅 장치를 나타내는 도면이다.
도 2는 도플러 효과에 따른 오디오 신호의 주파수 변화 일례이다.
도 3은 피치 시프팅에 따른 이상적인 주파수 변화의 일례이다.
도 4는 본 발명의 일실시예에 따른 피치 시프팅에 따른 오디오 신호의 주파수 변화의 일례이다.
도 5는 오디오 객체와 청취자 간의 거리가 감소하는 경우, 본 발명의 일실시예에 따라 피치 시프팅을 수행한 결과의 일례이다.
도 6은 도 5의 피치 시프팅 과정에서 오디오 신호의 주파수 성분 변화 과정의 일례이다.
도 7은 오디오 객체와 청취자 간의 거리가 증가하는 경우, 본 발명의 일실시예에 따라 피치 시프팅을 수행한 결과의 일례이다.
도 8은 도 7의 피치 시프팅 과정에서 오디오 신호의 주파수 성분 변화 과정의 일례이다.
도 9는 본 발명의 일실시예에 따른 오디오 신호의 피치 시프팅 방법을 도시한 플로우차트이다.
도 10은 본 발명의 일실시예에 따른 오디오 신호의 피치 시프팅 방법의 계단식 뻗기 피치 시프팅 과정을 도시한 플로우차트이다.
도 11은 본 발명의 일실시예에 따른 오디오 신호의 피치 시프팅 방법의 계단식 당기기 피치 시프팅 과정을 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 오디오 신호의 피치 시프팅 방법 및 오디오 복호화 방법은 오디오 신호의 피치 시프팅 장치(110) 및 오디오 복호화 장치(120)에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 오디오 신호의 피치 시프팅 장치를 나타내는 도면이다.
오디오 신호의 피치 시프팅 장치(100)는 도 1에 도시된 바와 같이 거리 식별부(110), 변화 식별부(120), 스트레칭 피치 시프팅부(130), 및 풀 피치 시프팅부(140)를 포함할 수 있다. 이때, 거리 식별부(110), 변화 식별부(120), 스트레칭 피치 시프팅부(130), 및 풀 피치 시프팅부(140)는 서로 다른 프로세스, 또는 하나의 프로세스에 포함된 각각의 모듈일 수 있다.
거리 식별부(110)는 오디오 신호에 포함된 오디오 객체와 청취자 간의 거리를 식별할 수 있다.
변화 식별부(120)는 거리 식별부(110)가 식별한 오디오 객체와 청취자 간의 거리가 변화하는지 여부를 식별할 수 있다. 오디오 객체와 청취자 간의 거리가 변화하는 경우, 변화 식별부(120)는 오디오 객체와 청취자 간의 거리가 증가하는지, 또는 오디오 객체와 청취자 간의 거리가 감소하는지 여부를 확인할 수 있다. 오디오 객체와 청취자 간의 거리가 감소하는 경우, 변화 식별부(120)는 스트레칭 피치 시프팅부(130)에게 피치 시프팅을 요청할 수 있다. 또한, 오디오 객체와 청취자 간의 거리가 증가하는 경우, 변화 식별부(120)는 풀 피치 시프팅부(130)에게 피치 시프팅을 요청할 수 있다.
스트레칭 피치 시프팅부(Stretching Pitch Shifter)(130)는 오디오 신호의 주파수 성분 중 적어도 하나를 반복 사용하는 계단식 뻗기(stretching) 피치 시프팅을 수행할 수 있다.
구체적으로, 스트레칭 피치 시프팅부(130)는 오디오 객체와 청취자 간의 감소된 거리에 따라 상기 오디오 신호의 주파수 성분들 중 적어도 하나를 삭제할 수 있다.
다음으로, 스트레칭 피치 시프팅부(130)는 삭제된 주파수 성분의 개수에 따라 반복 사용할 주파수 성분을 결정할 수 있다. 이때, 스트레칭 피치 시프팅부(130)는 오디오 신호의 주파수 성분의 개수와 삭제된 주파수 성분의 개수에 따라 주파수 성분의 간격을 결정할 수 있다. 그리고, 스트레칭 피치 시프팅부(130)는 주파수 성분의 간격에 따라 오디오 신호의 주파수 성분들 중에서 반복 사용할 주파수 성분을 결정할 수 있다.
그 다음으로, 스트레칭 피치 시프팅부(130)는 반복 사용할 주파수 성분을 복제하여 추가할 수 있다.
풀 피치 시프팅부(Pull Pitch Shifter)(140)는 오디오 신호의 주파수 성분 중 적어도 하나를 삭제하는 계단식 당기기(pull) 피치 시프팅을 수행할 수 있다.
구체적으로, 풀 피치 시프팅부(140)는 오디오 객체와 청취자 간의 거리에 따라 오디오 신호에서 삭제할 주파수 성분을 결정할 수 있다. 이때, 풀 피치 시프팅부(140)는 오디오 객체와 청취자 간의 증가된 거리에 따라 오디오 신호에서 삭제해야 하는 주파수 성분의 개수를 결정할 수 있다. 그리고, 풀 피치 시프팅부(140)는 오디오 신호의 주파수 성분의 개수와 삭제해야 하는 주파수 성분의 개수에 따라 주파수 성분의 간격을 결정할 수 있다. 마지막으로, 풀 피치 시프팅부(140)는 주파수 성분의 간격에 따라 오디오 신호의 주파수 성분들 중에서 삭제할 주파수 성분의 위치를 결정할 수 있다.
다음으로, 풀 피치 시프팅부(140)는 결정한 주파수 성분을 오디오 신호에서 삭제할 수 있다. 이때, 풀 피치 시프팅부(140)는 오디오 신호의 주파수 성분들 중에서 주파수 성분의 위치에 대응하는 주파수 성분을 삭제할 수 있다. 그리고, 풀 피치 시프팅부(140)는 오디오 신호의 주파수 성분들 중에서 주파수 성분의 위치를 기준으로 오른쪽에 위치한 주파수 성분들을 왼쪽으로 이동시킬 수 있다.
오디오 신호의 피치 시프팅 장치(100)는 오디오 신호에 포함된 오디오 객체와 청취자 간의 거리 변화에 따라 계단식 뻗기(stretching) 피치 시프팅, 또는 계단식 당기기(pull) 피치 시프팅을 수행함으로써, 적은 연산량으로 도플러 효과를 재현할 수 있다.
또한, 오디오 신호의 피치 시프팅 장치(100)는 적은 연산량으로 도플러 효과를 재현함으로써, 6자유도 오디오 렌더링 단말 등과 같은 다양한 단말에서 많은 개수의 오디오 객체에 대한 도플러 효과를 실시간으로 재현할 수 있다.
도 2는 도플러 효과에 따른 오디오 신호의 주파수 변화 일례이다.
오디오 객체(210)의 이동에 따라 청취자(220)가 청취하는 오디오 신호의 주파수(230)는 도플러 효과에 의하여 도 2에 도시된 바와 같이 변화할 수 있다. 구체적으로, 오디오 객체(210)가 청취자(220)에게 근접하는 경우, 청취자(220)는 원본보다 높은 주파수의 오디오 신호를 청취할 수 있다. 반면, 오디오 객체(210)가 청취자(220)로부터 멀어지는 경우, 청취자(220)는 원본보다 낮은 주파수의 오디오 신호를 청취할 수 있다.
도 3은 피치 시프팅에 따른 이상적인 주파수 변화의 일례이다.
오디오 객체와 청취자 간의 거리가 가까워지는 경우(310), 청취자가 청취하는 오디오 신호(311)는 도 3에 도시된 바와 같이 원본 오디오 신호(300)의 피치(pitch)가 주파수가 높은 쪽으로 변화된 신호일 수 있다.
또한, 오디오 객체와 청취자 간의 거리가 멀어지는 경우(320), 청취자가 청취하는 오디오 신호(321)는 도 3에 도시된 바와 같이 원본 오디오 신호(300)의 피치(pitch)가 주파수가 낮은 쪽으로 변화된 신호일 수 있다.
이때, 오디오 신호(311), 및 오디오 신호(321)는 모든 주파수에서 동일한 비율로 주파수가 증가하거나, 감소하는 형태를 나타내는 것이 이상적이며, 그 기울기는 오디오 객체와 사용자 간의 상대 속도에 따라 변화할 수 있다.
그러나, 모든 주파수에서 동일한 비율로 주파수를 변화시키기 위해서는 'interpolation'이나 'resampling'과 같이 연산량이 높은 알고리즘이 수행되어야 하는 실정이다.
도 4는 본 발명의 일실시예에 따른 피치 시프팅에 따른 오디오 신호의 주파수 변화의 일례이다.
오디오 신호의 피치 시프팅 장치(100)는 오디오 객체와 청취자 간의 거리가 가까워지는 경우(410), 도 4에 도시된 바와 같이 원본 오디오 신호(300)의 피치(pitch)를 일정 구간 마다 계단식으로 증가시킨 오디오 신호(411)를 출력할 수 있다.
또한, 오디오 신호의 피치 시프팅 장치(100)는 오디오 객체와 청취자 간의 거리가 멀어지는 경우(420), 도 4에 도시된 바와 같이 원본 오디오 신호(300)의 피치(pitch)를 일정 구간 마다 계단식으로 감소시킨 오디오 신호(421)를 출력할 수 있다.
오디오 신호의 피치 시프팅 장치(100)는 계단식 증가, 또는 계단식 감소하는 피치 시프팅을 수행함으로써, 'interpolation'이나 'resampling'과 같이 연산량이 높은 알고리즘 없이도 피치 시프팅이 가능하여 적은 연산량으로 도플러 효과를 재현할 수 있다.
도 5는 오디오 객체와 청취자 간의 거리가 감소하는 경우, 본 발명의 일실시예에 따라 피치 시프팅을 수행한 결과의 일례이다.
원본 오디오 신호(510)가 도 5에 도시된 바와 같이 7개의 주파수 성분을 포함하고 있고, 오디오 객체와 청취자 간의 거리가 감소하는 경우, 종래의 피치 시프팅 장치는 원본 오디오 신호(510)의 주파수 성분들 중 가장 높은 주파수 성분(511)을 삭제하여 6개의 주파수 성분만 존재하는 오디오 신호(520)를 출력할 수 있다. 이때, 오디오 신호(520)는 주파수 성분의 개수 감소에 의하여 주파수 성분들 각각의 대역폭이 확장되므로, 주파수가 fb였던 주파수 성분이 주파수 fc로 변화될 수 있다.
반면, 오디오 신호의 피치 시프팅 장치(100)는 도 5에 도시된 바와 같이 원본 오디오 신호(510)의 주파수 성분들 중 가장 높은 주파수 성분(511)을 삭제하였으나, 원본 오디오 신호(510)의 주파수 성분들 중 주파수 성분(512)를 복제하여 주파수 성분(531)을 추가함으로써, 7개의 주파수 성분을 포함하는 오디오 신호(530)를 출력할 수 있다. 이때, 오디오 신호(530)는 원본 오디오 신호(510)과 포함하는 주파수 성분의 개수가 동일하므로, 오디오 신호(530)에 포함된 주파수 성분들 각각의 대역폭도 원본 오디오 신호(510)에 포함된 주파수 신호들 각각의 대역폭과 동일할 수 있다.
즉, 본 발명의 일실시예에 따른 오디오 신호의 피치 시프팅 장치(100)는 오디오 객체와 청취자 간의 거리가 감소하여 주파수 성분의 높이에 따라 가장 높은 주파수 성분부터 적어도 하나의 주파수 성분이 삭제되는 경우, 오디오 신호의 주파수 성분 중 적어도 하나를 반복 사용하는 계단식 뻗기(stretching) 피치 시프팅을 수행함으로써, 오디오 신호에 포함된 주파수 성분의 개수를 유지할 수 있다.
도 6은 도 5의 피치 시프팅 과정에서 오디오 신호의 주파수 성분 변화 과정의 일례이다.
원본 오디오 신호(610)의 FFT 포인트(주파수 성분)의 개수가 10이고, 오디오 객체와 청취자 간의 거리가 감소하는 경우, 오디오 신호의 피치 시프팅 장치(100)는 오디오 객체의 속도에 따라 2개의 FFT 포인트(주파수 성분)(611, 612)를 삭제할 수 있다.
이때, 오디오 신호의 피치 시프팅 장치(100)는 삭제된 주파수 성분의 개수에 따라 반복 사용할 주파수 성분을 결정할 수 있다. 이때, 오디오 신호의 피치 시프팅 장치(100)는 오디오 객체의 속도에 따라 삭제한 주파수 성분의 개수와 동일한 숫자를 반복 사용할 주파수 성분의 개수로 결정할 수 있다. 예를 들어, 오디오 신호의 피치 시프팅 장치(100)는 2를 반복 사용할 주파수 성분의 개수로 결정할 수 있다.
그리고, 오디오 신호의 피치 시프팅 장치(100)는 오디오 신호의 주파수 성분의 개수와 삭제된 주파수 성분의 개수에 따라 주파수 성분의 간격을 결정할 수 있다. 예를 들어, 오디오 신호의 피치 시프팅 장치(100)는 수학식 1을 사용하여 주파수 성분의 간격을 결정할 수 있다.
예를 들어, 오디오 신호의 피치 시프팅 장치(100)는 도 6에서 10 / (2 + 1) = 3을 주파수 성분의 간격으로 결정할 수 있다.
그리고, 오디오 신호의 피치 시프팅 장치(100)는 주파수 성분의 간격에 따라 오디오 신호의 주파수 성분들 중에서 반복 사용할 주파수 성분을 결정할 수 있다. 예를 들어, 오디오 신호의 피치 시프팅 장치(100)는 주파수 성분의 간격인 3에 따라 3번째 주파수 성분(613)과 6번째 주파수 성분(614)를 반복 사용할 주파수 성분으로 결정할 수 있다.
마지막으로 오디오 신호의 피치 시프팅 장치(100)는 반복 사용할 주파수 성분을 복제하여 추가한 오디오 신호(620)를 출력할 수 있다.
정리하면, 오디오 신호의 피치 시프팅 장치(100)는 오디오 객체와 청취자 간의 거리 감소에 따라 원본 오디오 신호(610)에서 2개의 주파수 성분(611, 612)를 삭제할 수 있다. 다음으로, 오디오 신호의 피치 시프팅 장치(100)는 오디오 신호의 주파수 성분의 개수와 삭제된 주파수 성분의 개수에 따라 주파수 성분의 간격인 3을 결정할 수 있다. 그 다음으로, 오디오 신호의 피치 시프팅 장치(100)는 주파수 성분의 간격인 3에 따라 3번째 주파수 성분(613)과 6번째 주파수 성분(614)를 반복 사용할 주파수 성분으로 결정할 수 있다. 다음으로, 오디오 신호의 피치 시프팅 장치(100)는 3번째 주파수 성분(613)을 복제하여 주파수 성분(621)을 3번째 주파수 성분(613)의 다음에 추가하고, 6번째 주파수 성분(614)을 복제하여 주파수 성분(622)을 6번째 주파수 성분(614)의 다음에 추가한 오디오 신호(620)를 출력할 수 있다.
도 7은 오디오 객체와 청취자 간의 거리가 증가하는 경우, 본 발명의 일실시예에 따라 피치 시프팅을 수행한 결과의 일례이다.
원본 오디오 신호(710)가 도 7에 도시된 바와 같이 7개의 주파수 성분을 포함하고 있고, 오디오 객체와 청취자 간의 거리가 증가하는 경우, 종래의 피치 시프팅 장치는 원본 오디오 신호(710)의 주파수 성분들의 개수를 유지하며, 주파수 성분들 각각의 대역폭을 감소시킴으로써, 가장 높은 주파수 성분을 주파수 fb에서 주파수 fc로 변화시킬 수 있다.
반면, 오디오 신호의 피치 시프팅 장치(100)는 도 7에 도시된 바와 같이 원본 오디오 신호(510)의 주파수 성분들 중 주파수 성분(711)을 삭제하고, 나머지 주파수 성분들을 왼쪽으로 이동 시킴으로써, 6개의 주파수 성분을 포함하지만 주파수 성분들 각각의 대역 폭이 원본 오디오 신호(710)과 동일한 오디오 신호(730)를 출력할 수 있다.
즉, 본 발명의 일실시예에 따른 오디오 신호의 피치 시프팅 장치(100)는 오디오 객체와 청취자 간의 거리가 증가하여 오디오 신호의 전체 대역폭이 감소하는 경우, 오디오 신호의 주파수 성분 중 적어도 하나를 삭제하는 계단식 당기기(pull) 피치 시프팅을 수행함으로써, 오디오 신호에 포함된 주파수 성분들 각각의 대역 폭을 유지할 수 있다.
도 8은 도 7의 피치 시프팅 과정에서 오디오 신호의 주파수 성분 변화 과정의 일례이다.
원본 오디오 신호(810)의 FFT 포인트(주파수 성분)의 개수가 10이고, 오디오 객체와 청취자 간의 거리가 증가하는 경우, 오디오 신호의 피치 시프팅 장치(100)는 오디오 객체의 속도에 따라 원본 오디오 신호(810)에서 삭제해야 하는 주파수 성분의 개수를 결정할 수 있다. 예를 들어, 오디오 신호의 피치 시프팅 장치(100)는 2를 삭제해야 하는 주파수 성분의 개수로 결정할 수 있다.
그리고, 오디오 신호의 피치 시프팅 장치(100)는 오디오 신호의 주파수 성분의 개수와 삭제해야 하는 주파수 성분의 개수에 따라 주파수 성분의 간격을 결정할 수 있다. 예를 들어, 오디오 신호의 피치 시프팅 장치(100)는 수학식 2를 사용하여 주파수 성분의 간격을 결정할 수 있다.
예를 들어, 오디오 신호의 피치 시프팅 장치(100)는 도 8에서 10 / (2 + 1) = 3을 주파수 성분의 간격으로 결정할 수 있다.
다음으로, 오디오 신호의 피치 시프팅 장치(100)는 주파수 성분의 간격에 따라 오디오 신호의 주파수 성분들 중에서 삭제할 주파수 성분의 위치를 결정할 수 있다. 예를 들어, 오디오 신호의 피치 시프팅 장치(100)는 주파수 성분의 간격인 3이 유지되도록 3개의 주파수 성분의 다음에 오는 주파수 성분인 4번째 주파수 성분(811)과 8번째 주파수 성분(812)를 삭제할 주파수 성분으로 결정할 수 있다.
그 다음으로, 오디오 신호의 피치 시프팅 장치(100)는 오디오 신호의 주파수 성분들 중에서 주파수 성분의 위치에 대응하는 주파수 성분을 삭제할 수 있다.
마지막으로, 오디오 신호의 피치 시프팅 장치(100)는 오디오 신호의 주파수 성분들 중에서 주파수 성분의 위치를 기준으로 오른쪽에 위치한 주파수 성분들을 왼쪽으로 이동시킬 수 있다.
정리하면, 오디오 신호의 피치 시프팅 장치(100)는 오디오 객체와 청취자 간의 거리 증가에 따라 원본 오디오 신호(810)에서 삭제해야 하는 주파수 성분의 개수를 2로 결정할 수 있다. 다음으로, 오디오 신호의 피치 시프팅 장치(100)는 오디오 신호의 주파수 성분의 개수와 삭제된 주파수 성분의 개수에 따라 주파수 성분의 간격인 3을 결정할 수 있다. 그 다음으로, 오디오 신호의 피치 시프팅 장치(100)는 주파수 성분의 간격인 3에 따라 4번째 주파수 성분(811)과 8번째 주파수 성분(812)를 삭제할 주파수 성분으로 결정할 수 있다. 다음으로, 오디오 신호의 피치 시프팅 장치(100)는 원본 오디오 신호(810)에서 4번째 주파수 성분(811)과 8번째 주파수 성분(812)를 삭제할 수 있다. 그리고, 오디오 신호의 피치 시프팅 장치(100)는 5번째 주파수 성분 내지 7번째 주파수 성분들 각각을 왼쪽으로 이동시켜 4번째 주파수 성분(811)의 자리를 채울 수 있다. 또한, 오디오 신호의 피치 시프팅 장치(100)는 9번째 주파수 성분 내지 10번째 주파수 성분들 각각을 왼쪽으로 이동시켜 8번째 주파수 성분(812)의 자리를 채울 수 있다. 마지막으로 오디오 신호의 피치 시프팅 장치(100)는 9번째 주파수 성분(821) 및 10번째 주파수 성분(822)의 값을 0으로 설정하여 데이터가 없는 상태로 변경한 오디오 신호(820)를 출력할 수 있다.
오디오 신호(820)는 주파수가 가장 높은 9번째 주파수 성분(821) 및 10번째 주파수 성분(822)의 데이터가 없어짐에 따라 주파수가 가장 높은 주파수 성분이 f(10)으로 변경되어 전체 대역폭의 감소할 수 있다.
도 9는 본 발명의 일실시예에 따른 오디오 신호의 피치 시프팅 방법을 도시한 플로우차트이다.
단계(910)에서 거리 식별부(110)는 오디오 신호에 포함된 오디오 객체와 청취자 간의 거리를 식별할 수 있다.
단계(920)에서 변화 식별부(120)는 거리 식별부(110)가 식별한 오디오 객체와 청취자 간의 거리가 변화하는지 여부를 식별할 수 있다. 오디오 객체와 청취자 간의 거리가 변화하는 경우, 변화 식별부(120)는 단계(930)를 수행할 수 있다. 또한, 오디오 객체와 청취자 간의 거리가 변화하지 않는 경우, 변화 식별부(120)는 오디오 객체와 청취자 간의 거리가 변화할 때까지 단계(910) 내지 단계(920)를 반복 수행할 수 있다.
단계(930)에서 변화 식별부(120)는 오디오 객체와 청취자 간의 거리가 증가하는지 여부를 확인할 수 있다. 오디오 객체와 청취자 간의 거리가 감소하는 경우, 변화 식별부(120)는 스트레칭 피치 시프팅부(130)에게 단계(940)의 수행을 요청할 수 있다. 또한, 오디오 객체와 청취자 간의 거리가 증가하는 경우, 변화 식별부(120)는 풀 피치 시프팅부(130)에게 단계(950)의 수행을 요청할 수 있다.
단계(940)에서 스트레칭 피치 시프팅부(Stretching Pitch Shifter)(130)는 오디오 신호의 주파수 성분 중 적어도 하나를 반복 사용하는 계단식 뻗기(stretching) 피치 시프팅을 수행할 수 있다.
단계(950)에서 풀 피치 시프팅부(Pull Pitch Shifter)(140)는 오디오 신호의 주파수 성분 중 적어도 하나를 삭제하는 계단식 당기기(pull) 피치 시프팅을 수행할 수 있다.
도 10은 본 발명의 일실시예에 따른 오디오 신호의 피치 시프팅 방법의 계단식 뻗기 피치 시프팅 과정을 도시한 플로우차트이다. 단계(1010) 내지 단계(1030)는 도 9의 단계(940)에 포함될 수 있다.
단계(1010)에서 스트레칭 피치 시프팅부(130)는 오디오 객체와 청취자 간의 감소된 거리에 따라 상기 오디오 신호의 주파수 성분들 중 적어도 하나를 삭제할 수 있다.
단계(1020)에서 스트레칭 피치 시프팅부(130)는 단계(1010)에서 삭제된 주파수 성분의 개수에 따라 반복 사용할 주파수 성분을 결정할 수 있다. 이때, 스트레칭 피치 시프팅부(130)는 오디오 신호의 주파수 성분의 개수와 삭제된 주파수 성분의 개수에 따라 주파수 성분의 간격을 결정할 수 있다. 그리고, 스트레칭 피치 시프팅부(130)는 주파수 성분의 간격에 따라 오디오 신호의 주파수 성분들 중에서 반복 사용할 주파수 성분을 결정할 수 있다.
단계(1030)에서 스트레칭 피치 시프팅부(130)는 단계(1040)에서 결정된 주파수 성분을 복제하여 오디오 신호에 추가할 수 있다.
도 11은 본 발명의 일실시예에 따른 오디오 신호의 피치 시프팅 방법의 계단식 당기기 피치 시프팅 과정을 도시한 플로우차트이다. 단계(1110) 내지 단계(1130)는 도 9의 단계(950)에 포함될 수 있다.
단계(1110)에서 풀 피치 시프팅부(140)는 오디오 객체와 청취자 간의 증가된 거리에 따라 오디오 신호에서 삭제해야 하는 주파수 성분의 개수를 결정할 수 있다. 이때, 오디오 신호에서 삭제해야 하는 주파수 성분의 개수에 따라 오디오 신호의 전체 대역폭이 감소할 수 있다.
단계(1120)에서 풀 피치 시프팅부(140)는 오디오 객체와 청취자 간의 거리에 따라 오디오 신호에서 삭제할 주파수 성분을 결정할 수 있다. 이때, 풀 피치 시프팅부(140)는 오디오 신호의 주파수 성분의 개수와 단계(1110)에서 결정한 주파수 성분의 개수에 따라 주파수 성분의 간격을 결정할 수 있다. 마지막으로, 풀 피치 시프팅부(140)는 주파수 성분의 간격에 따라 오디오 신호의 주파수 성분들 중에서 삭제할 주파수 성분의 위치를 결정할 수 있다.
단계(1130)에서 풀 피치 시프팅부(140)는 결정한 주파수 성분을 오디오 신호에서 삭제할 수 있다. 이때, 풀 피치 시프팅부(140)는 오디오 신호의 주파수 성분들 중에서 주파수 성분의 위치에 대응하는 주파수 성분을 삭제할 수 있다. 그리고, 풀 피치 시프팅부(140)는 오디오 신호의 주파수 성분들 중에서 주파수 성분의 위치를 기준으로 오른쪽에 위치한 주파수 성분들을 왼쪽으로 이동시킬 수 있다.
본 발명은 오디오 신호에 포함된 오디오 객체와 청취자 간의 거리 변화에 따라 계단식 뻗기(stretching) 피치 시프팅, 또는 계단식 당기기(pull) 피치 시프팅을 수행함으로써, 적은 연산량으로 도플러 효과를 재현할 수 있다.
이때, 본 발명은 오디오 객체와 청취자 간의 거리가 감소하여 주파수 성분의 높이에 따라 가장 높은 주파수 성분부터 적어도 하나의 주파수 성분이 삭제되는 경우, 오디오 신호의 주파수 성분 중 적어도 하나를 반복 사용하는 계단식 뻗기(stretching) 피치 시프팅을 수행함으로써, 오디오 신호에 포함된 주파수 성분의 개수를 유지할 수 있다.
또한, 본 발명은 오디오 객체와 청취자 간의 거리가 증가하여 오디오 신호의 전체 대역폭이 감소하는 경우, 오디오 신호의 주파수 성분 중 적어도 하나를 삭제하는 계단식 당기기(pull) 피치 시프팅을 수행함으로써, 오디오 신호에 포함된 주파수 성분들 각각의 대역 폭을 유지할 수 있다.
한편, 본 발명에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.
본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체) 또는 전파 신호에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.
컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.
또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체 및 전송매체를 모두 포함할 수 있다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
100: 오디오 신호의 피치 시프팅 장치
110: 거리 식별부
120: 변화 식별부
130: 스트레칭 피치 시프팅부
140: 풀 피치 시프팅부

Claims (14)

  1. 오디오 신호에 포함된 오디오 객체와 청취자 간의 거리를 식별하는 단계;
    상기 오디오 객체와 청취자 간의 거리가 감소하는지 여부를 확인하는 단계; 및
    상기 오디오 객체와 청취자 간의 거리가 감소하는 경우, 상기 오디오 신호의 주파수 성분 중 적어도 하나를 반복 사용하는 계단식 뻗기(stretching) 피치 시프팅을 수행하는 단계
    를 포함하고,
    상기 계단식 뻗기 피치 시프팅을 수행하는 단계는,
    상기 오디오 객체와 청취자 간의 감소된 거리에 따라 상기 오디오 신호의 주파수 성분들 중 적어도 하나를 삭제하는 단계;
    상기 오디오 신호의 주파수 성분의 개수와 상기 삭제된 주파수 성분의 개수에 따라 주파수 성분의 간격을 결정하는 단계;
    상기 주파수 성분의 간격에 따라 오디오 신호의 주파수 성분들 중에서 반복 사용할 주파수 성분을 결정하는 단계; 및
    상기 반복 사용할 주파수 성분을 복제하여 추가하는 단계
    를 포함하는 오디오 신호의 피치 시프팅 방법.
  2. 삭제
  3. 삭제
  4. 오디오 신호에 포함된 오디오 객체와 청취자 간의 거리를 식별하는 단계;
    상기 오디오 객체와 청취자 간의 거리가 증가하는지 여부를 확인하는 단계; 및
    상기 오디오 객체와 청취자 간의 거리가 증가하는 경우, 상기 오디오 신호의 주파수 성분 중 적어도 하나를 삭제하는 계단식 당기기(pull) 피치 시프팅을 수행하는 단계
    를 포함하고,
    상기 계단식 당기기 피치 시프팅을 수행하는 단계는,
    상기 오디오 객체와 청취자 간의 증가된 거리에 따라 상기 오디오 신호에서 삭제해야 하는 주파수 성분의 개수를 결정하는 단계;
    상기 오디오 신호의 주파수 성분의 개수와 상기 삭제해야 하는 주파수 성분의 개수에 따라 주파수 성분의 간격을 결정하는 단계;
    상기 주파수 성분의 간격에 따라 오디오 신호의 주파수 성분들 중에서 삭제할 주파수 성분의 위치를 결정하는 단계; 및
    결정한 주파수 성분을 상기 오디오 신호에서 삭제하는 단계
    를 포함하는 오디오 신호의 피치 시프팅 방법.
  5. 삭제
  6. 삭제
  7. 오디오 신호에 포함된 오디오 객체와 청취자 간의 거리를 식별하는 단계;
    상기 오디오 객체와 청취자 간의 거리가 증가하는지 여부를 확인하는 단계; 및
    상기 오디오 객체와 청취자 간의 거리가 증가하는 경우, 상기 오디오 신호의 주파수 성분 중 적어도 하나를 삭제하는 계단식 당기기(pull) 피치 시프팅을 수행하는 단계
    를 포함하고,
    상기 계단식 당기기 피치 시프팅을 수행하는 단계는,
    상기 오디오 객체와 청취자 간의 거리에 따라 상기 오디오 신호에서 삭제할 주파수 성분을 결정하는 단계;
    상기 오디오 신호의 주파수 성분들 중에서 상기 삭제할 주파수 성분의 위치에 대응하는 주파수 성분을 삭제하는 단계; 및
    상기 오디오 신호의 주파수 성분들 중에서 상기 주파수 성분의 위치를 기준으로 오른쪽에 위치한 주파수 성분들을 왼쪽으로 이동시키는 단계
    를 포함하는 오디오 신호의 피치 시프팅 방법.
  8. 제1항, 제4항, 제7항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
  9. 오디오 신호에 포함된 오디오 객체와 청취자 간의 거리를 식별하는 거리 식별부;
    상기 오디오 객체와 청취자 간의 거리가 변화하는지 여부를 식별하는 변화 식별부;
    상기 오디오 객체와 청취자 간의 거리가 감소하는 경우, 상기 오디오 신호의 주파수 성분 중 적어도 하나를 반복 사용하는 계단식 뻗기(stretching) 피치 시프팅을 수행하는 스트레칭 피치 시프팅부; 및
    상기 오디오 객체와 청취자 간의 거리가 증가하는 경우, 상기 오디오 신호의 주파수 성분 중 적어도 하나를 삭제하는 계단식 당기기(pull) 피치 시프팅을 수행하는 풀 피치 시프팅부
    를 포함하고,
    상기 스트레칭 피치 시프팅부는,
    상기 오디오 객체와 청취자 간의 감소된 거리에 따라 상기 오디오 신호의 주파수 성분들 중 적어도 하나를 삭제하고, 상기 오디오 신호의 주파수 성분의 개수와 상기 삭제된 주파수 성분의 개수에 따라 주파수 성분의 간격을 결정하고, 상기 주파수 성분의 간격에 따라 오디오 신호의 주파수 성분들 중에서 반복 사용할 주파수 성분을 결정하는 결정한 주파수 성분을 복제하여 상기 오디오 신호에 추가하는 오디오 신호의 피치 시프팅 장치.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 오디오 신호에 포함된 오디오 객체와 청취자 간의 거리를 식별하는 거리 식별부;
    상기 오디오 객체와 청취자 간의 거리가 변화하는지 여부를 식별하는 변화 식별부;
    상기 오디오 객체와 청취자 간의 거리가 감소하는 경우, 상기 오디오 신호의 주파수 성분 중 적어도 하나를 반복 사용하는 계단식 뻗기(stretching) 피치 시프팅을 수행하는 스트레칭 피치 시프팅부; 및
    상기 오디오 객체와 청취자 간의 거리가 증가하는 경우, 상기 오디오 신호의 주파수 성분 중 적어도 하나를 삭제하는 계단식 당기기(pull) 피치 시프팅을 수행하는 풀 피치 시프팅부
    를 포함하고,
    상기 풀 피치 시프팅부는,
    상기 오디오 객체와 청취자 간의 증가된 거리에 따라 상기 오디오 신호에서 삭제해야 하는 주파수 성분의 개수를 결정하고, 상기 오디오 신호의 주파수 성분의 개수와 상기 삭제해야 하는 주파수 성분의 개수에 따라 주파수 성분의 간격을 결정하며, 상기 주파수 성분의 간격에 따라 오디오 신호의 주파수 성분들 중에서 삭제할 주파수 성분의 위치를 결정하고, 결정한 주파수 성분을 상기 오디오 신호에서 삭제하는 오디오 신호의 피치 시프팅 장치.
  14. 오디오 신호에 포함된 오디오 객체와 청취자 간의 거리를 식별하는 거리 식별부;
    상기 오디오 객체와 청취자 간의 거리가 변화하는지 여부를 식별하는 변화 식별부;
    상기 오디오 객체와 청취자 간의 거리가 감소하는 경우, 상기 오디오 신호의 주파수 성분 중 적어도 하나를 반복 사용하는 계단식 뻗기(stretching) 피치 시프팅을 수행하는 스트레칭 피치 시프팅부; 및
    상기 오디오 객체와 청취자 간의 거리가 증가하는 경우, 상기 오디오 신호의 주파수 성분 중 적어도 하나를 삭제하는 계단식 당기기(pull) 피치 시프팅을 수행하는 풀 피치 시프팅부
    를 포함하고,
    상기 오디오 객체와 청취자 간의 증가된 거리에 따라 상기 오디오 신호의 전체 대역폭을 감소시키고, 상기 오디오 객체와 청취자 간의 거리에 따라 상기 오디오 신호에서 삭제할 주파수 성분을 결정하며, 상기 오디오 신호의 주파수 성분들 중에서 상기 삭제할 주파수 성분의 위치에 대응하는 주파수 성분을 삭제하고, 상기 오디오 신호의 주파수 성분들 중에서 상기 주파수 성분의 위치를 기준으로 오른쪽에 위치한 주파수 성분들을 왼쪽으로 이동시키는 오디오 신호의 피치 시프팅 장치.
KR1020210128528A 2021-09-29 2021-09-29 오디오 신호의 저복잡도 피치 시프팅 장치 및 그 방법 KR102601194B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210128528A KR102601194B1 (ko) 2021-09-29 2021-09-29 오디오 신호의 저복잡도 피치 시프팅 장치 및 그 방법
US17/582,209 US11778376B2 (en) 2021-09-29 2022-01-24 Apparatus and method for pitch-shifting audio signal with low complexity

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210128528A KR102601194B1 (ko) 2021-09-29 2021-09-29 오디오 신호의 저복잡도 피치 시프팅 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20230045801A KR20230045801A (ko) 2023-04-05
KR102601194B1 true KR102601194B1 (ko) 2023-11-13

Family

ID=85797733

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210128528A KR102601194B1 (ko) 2021-09-29 2021-09-29 오디오 신호의 저복잡도 피치 시프팅 장치 및 그 방법

Country Status (2)

Country Link
US (1) US11778376B2 (ko)
KR (1) KR102601194B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004151229A (ja) * 2002-10-29 2004-05-27 Matsushita Electric Ind Co Ltd 音声情報変換方法、映像・音声フォーマット、エンコーダ、音声情報変換プログラム、および音声情報変換装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5644677A (en) 1993-09-13 1997-07-01 Motorola, Inc. Signal processing system for performing real-time pitch shifting and method therefor
US6046395A (en) 1995-01-18 2000-04-04 Ivl Technologies Ltd. Method and apparatus for changing the timbre and/or pitch of audio signals
KR101847213B1 (ko) 2010-09-28 2018-04-11 한국전자통신연구원 쉐이핑 함수를 이용한 오디오 신호 디코딩 방법 및 장치
TW201325268A (zh) * 2011-12-01 2013-06-16 Univ Nat Central 虛擬實境音源定位裝置
US9449272B2 (en) 2013-10-29 2016-09-20 Qualcomm Incorporated Doppler effect processing in a neural network model
KR101988222B1 (ko) 2015-02-12 2019-06-13 한국전자통신연구원 대어휘 연속 음성 인식 장치 및 방법
WO2017218973A1 (en) * 2016-06-17 2017-12-21 Edward Stein Distance panning using near / far-field rendering
JP6917107B2 (ja) 2017-01-17 2021-08-11 株式会社コルグ 移動体およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004151229A (ja) * 2002-10-29 2004-05-27 Matsushita Electric Ind Co Ltd 音声情報変換方法、映像・音声フォーマット、エンコーダ、音声情報変換プログラム、および音声情報変換装置

Also Published As

Publication number Publication date
KR20230045801A (ko) 2023-04-05
US11778376B2 (en) 2023-10-03
US20230112342A1 (en) 2023-04-13

Similar Documents

Publication Publication Date Title
US9756445B2 (en) Adaptive audio content generation
US9294862B2 (en) Method and apparatus for processing audio signals using motion of a sound source, reverberation property, or semantic object
US7809453B2 (en) Apparatus and method for simulating a wave field synthesis system
US20050273321A1 (en) Audio signal time-scale modification method using variable length synthesis and reduced cross-correlation computations
US10873826B2 (en) Binaural rendering apparatus and method for playing back of multiple audio sources
WO2018008395A1 (ja) 音場形成装置および方法、並びにプログラム
JP4547009B2 (ja) 波面合成レンダリング手段を制御するための装置および方法
KR102099029B1 (ko) 오디오 데이터 처리 방법 및 단말기
US7813826B2 (en) Apparatus and method for storing audio files
KR20150005477A (ko) 2차원 및 3차원 공간 상에서의 가상 음상 정위 방법
KR102601194B1 (ko) 오디오 신호의 저복잡도 피치 시프팅 장치 및 그 방법
JP7447798B2 (ja) 信号処理装置および方法、並びにプログラム
US20230105632A1 (en) Signal processing apparatus and method, and program
CN109545174A (zh) 一种音频处理方法、装置及设备
CN113821190A (zh) 音频播放方法、装置、设备及存储介质
JP7468359B2 (ja) 情報処理装置および方法、並びにプログラム
US11570571B2 (en) Method and apparatus for performing binaural rendering of audio signal
US20230345197A1 (en) Method of rendering object-based audio and electronic device for performing the method
US20230142302A1 (en) Audio processing
KR101981955B1 (ko) 컨텐츠 제작 장치 및 방법
KR20240050247A (ko) 객체 오디오 렌더링 방법 및 상기 방법을 수행하는 전자 장치
Ishii et al. An audio response method for CAI services
JP2003216187A (ja) 再生装置
WO2007123177A1 (ja) データ記憶装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant