KR20170107781A - Apparatus and method for discriminating sound source azimuth of mixed signal dynamically panned - Google Patents

Apparatus and method for discriminating sound source azimuth of mixed signal dynamically panned Download PDF

Info

Publication number
KR20170107781A
KR20170107781A KR1020160031519A KR20160031519A KR20170107781A KR 20170107781 A KR20170107781 A KR 20170107781A KR 1020160031519 A KR1020160031519 A KR 1020160031519A KR 20160031519 A KR20160031519 A KR 20160031519A KR 20170107781 A KR20170107781 A KR 20170107781A
Authority
KR
South Korea
Prior art keywords
azimuth
azimuth angle
frequency
mixed signal
plane
Prior art date
Application number
KR1020160031519A
Other languages
Korean (ko)
Other versions
KR102458367B1 (en
Inventor
정영호
이태진
장대영
최진수
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160031519A priority Critical patent/KR102458367B1/en
Publication of KR20170107781A publication Critical patent/KR20170107781A/en
Application granted granted Critical
Publication of KR102458367B1 publication Critical patent/KR102458367B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/8006Multi-channel systems specially adapted for direction-finding, i.e. having a single aerial system capable of giving simultaneous indications of the directions of different signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802Systems for determining direction or deviation from predetermined direction
    • G01S3/808Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/21Direction finding using differential microphone array [DMA]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Stereophonic System (AREA)

Abstract

The present invention provides a device and a method for preventing sound quality degradation of separation sound source generated when separating the sound source with respect to a mixed stereo signal based on fixed panning and dynamic panning. Disclosed are a device and a method for identifying a sound source azimuth angle of a mixed signal dynamically panned. The method for identifying a sound source azimuth angle comprises the following steps: generating a frequency-azimuth plane of the mixed signal based on a real azimuth angle axis of the mixed signal; determining a cumulative energy for each azimuth angle by applying a time interval window to the frequency-azimuth plane; and identifying the azimuth angle having a peak value of the cumulative energy for each azimuth angle.

Description

동적 패닝된 혼합 신호의 음원 방위각 식별 장치 및 그 방법{APPARATUS AND METHOD FOR DISCRIMINATING SOUND SOURCE AZIMUTH OF MIXED SIGNAL DYNAMICALLY PANNED}[0001] APPARATUS AND METHOD FOR DISCRIMINATING SOUND SOURCE AZIMUTH OF MIXED SIGNAL DYNAMICALLY PANNED [0002]

본 발명은 복수개의 음원이 동적으로 패닝된 스테레오 오디오 신호에서의 음원 방위각을 식별하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and a method for identifying a source azimuth angle in a stereo audio signal in which a plurality of sound sources are dynamically panned.

복수개의 음원이 혼합된 스테레오 오디오 신호로부터 음원을 분리하는 기술은 멀티채널 업믹싱 기반 다채널 오디오 서비스, 객체 기반 오디오 서비스, 음원 위치 추적과 같은 다양한 응용 분야에서 활용될 수 있다. 특히, 현재 유통되는 대부분의 오디오 콘텐츠가 스테레오 채널로 제작되는 상황을 고려한다면 기술 활용도 측면에서 매우 큰 장점을 가질 수 있다.A technique for separating a sound source from a stereo audio signal in which a plurality of sound sources are mixed can be utilized in various applications such as multi-channel upmixing based multi-channel audio service, object-based audio service, and sound source location tracking. Especially, considering the fact that most of the current audio content is produced by a stereo channel, it can have a great advantage in terms of technology utilization.

종래의 스테레오 채널에 대한 음원 분리 기술로 ADRess(Azimuth Discrimination and Resynthesis) 알고리즘이 있다. ADRess 알고리즘은 인간의 좌/우 귀에 입력되는 오디오 신호 간 강도 차(IID: Inter-aural Intensity Difference)를 기반으로 음원의 위치를 인지하는 인간의 청각 특성을 이용하는 알고리즘이다. There is an Azimuth Discrimination and Resynthesis (ADRess) algorithm as a sound source separation technique for a conventional stereo channel. The ADRess algorithm is an algorithm that utilizes human auditory characteristics that recognize the position of a sound source based on the intensity difference (IID: Inter-aural Intensity Difference) between audio signals input to the left and right ears of a human.

그러나, ADRess 알고리즘은 고정 패닝 인덱스를 갖는 음원들로 혼합된 스테레오 신호에 대해서는 주파수-방위각 평면값의 누적 에너지를 이용하여 일정 수준의 안정적인 음원 분리 성능을 보이는 반면, 가변 패닝 인덱스를 갖는 음원들이 혼합된 동적 패닝 혼합 음원의 경우에는 분리된 음원의 음질이 저하되는 문제점이 발생한다. However, the ADRess algorithm has a stable sound source separation performance using a cumulative energy of frequency-azimuth plane values for a mixed stereo signal with sound sources having a fixed panning index, while a sound source having a variable panning index is mixed In the case of the dynamic panning mixed sound source, the sound quality of the separated sound source is deteriorated.

음원의 위치가 시간적으로 변하는 동적 패닝의 경우에는 고정 패닝과는 달리 정확한 음원 방위각 식별이 어렵고, 특히 무음 구간에서 많은 오류가 포함되기 때문에 분리된 음원의 음질이 저하된다.In the case of dynamic panning where the position of a sound source changes in time, it is difficult to accurately identify the azimuth angle of the sound source unlike the fixed panning. In particular, the sound quality of the separated sound source is lowered because many errors are included in the silence interval.

따라서, 동적 패닝된 혼합 신호에 대해서도 음원 분리 시 발생하는 분리 음원의 음질 저하를 방지하는 방법이 요청되고 있다.Therefore, a method for preventing deterioration in sound quality of a separate sound source caused when a sound source is separated is also required for a dynamic panned mixed signal.

본 발명은 고정 패닝 및 동적 패닝을 기반으로 혼합된 스테레오 신호에 대한 음원 분리 시 발생하는 분리 음원의 음질 저하를 방지하는 장치 및 방법을 제공할 수 있다.The present invention can provide an apparatus and method for preventing deterioration in sound quality of an isolated sound source caused when a sound source is separated from a mixed stereo signal based on fixed panning and dynamic panning.

본 발명의 일실시예에 따른 음원 방위각 식별 방법은 혼합 신호의 실제 방위각 축을 기초로 혼합 신호의 주파수 방위각(frequency-azimuth) 평면을 생성하는 단계; 상기 주파수 방위각 평면에 시구간 윈도우를 적용하여 방위각 별 누적 에너지를 결정하는 단계; 및 방위각 별 누적 에너지의 피크값을 가지는 방위각을 식별하는 단계를 포함할 수 있다.A method for identifying a source azimuth according to an embodiment of the present invention includes: generating a frequency-azimuth plane of a mixed signal based on an actual azimuth axis of the mixed signal; Determining an accumulated energy for each azimuth angle by applying a time window to the frequency azimuth angle plane; And identifying an azimuth having a peak value of cumulative energy for each azimuth angle.

본 발명의 일실시예에 따른 음원 방위각 식별 방법의 생성하는 단계는, 혼합 신호의 좌채널과 우채널간 신호 강도비를 기초로 혼합 신호의 주파수 방위각 평면을 생성하는 단계; 혼합 신호의 좌채널과 우채널간 신호 강도비 및 실제 방위각과 신호 강도비 간의 관계를 이용하여 실제 방위각을 결정하는 단계; 및 결정한 실제 방위각의 축을 기초로 상기 혼합 신호의 주파수 방위각 평면을 재구성하는 단계를 포함할 수 있다.The generating the azimuth angle identification method according to an exemplary embodiment of the present invention includes generating a frequency azimuth plane of a mixed signal based on a signal intensity ratio between a left channel and a right channel of the mixed signal; Determining an actual azimuth using a relationship between a left channel and a right channel signal intensity ratio of the mixed signal and a relationship between the actual azimuth and the signal intensity ratio; And reconstructing a frequency azimuth plane of the mixed signal based on the determined actual azimuth angle axis.

본 발명의 일실시예에 따른 음원 방위각 식별 방법의 결정하는 단계는 재구성된 주파수 방위각 평면에 시구간 윈도우를 슬라이딩하여, 상기 재구성된 주파수 방위각 평면의 에너지를 방위각 축에 따라 누적하는 단계를 포함할 수 있다.The determining of the source azimuth identification method according to an embodiment of the present invention may include the step of sliding the time window on the reconstructed frequency azimuth plane and accumulating the energy of the reconstructed frequency azimuth plane along the azimuth axis have.

본 발명의 일실시예에 따른 음원 방위각 식별 방법의 시구간 윈도우는, 상기 시구간 윈도우의 폭이 증가할수록 감소되는 부정확한 방위각 식별 및 방위각 식별에 대한 민감도를 고려하여 결정될 수 있다. The time window of the method for identifying the source azimuth angle according to an embodiment of the present invention can be determined in consideration of an incorrect azimuth identification and a sensitivity to the azimuth identification that decrease as the width of the time window increases.

본 발명의 일실시예에 따른 음원 방위각 식별 방법의 식별하는 단계는, 상기 혼합 신호의 분석 프레임 각각에 포함된 방위각 별 누적 에너지들 중 상기 혼합 신호에 혼합된 음원 개수, 또는 기준값 이상인 값을 가지는 방위각 별 누적 에너지를 피크값으로 결정하는 단계; 및 피크값으로 결정된 방위각 별 누적 에너지를 기초로 상기 분석 프레임의 방위각을 식별하는 단계를 포함할 수 있다.The step of identifying a source azimuth identification method according to an exemplary embodiment of the present invention may include a step of identifying an azimuth angle having a number of sound sources mixed with the mixed signal or a value equal to or greater than a reference value among cumulative energies for each azimuth angle included in each analysis frame of the mixed signal, Determining the cumulative energies as a peak value; And identifying the azimuth angle of the analysis frame based on the accumulated energy for each azimuth determined by the peak value.

본 발명의 일실시예에 따른 음원 방위각 식별 방법은 임의의 분석 구간에서 식별된 방위각에 커브 피팅을 수행하는 단계; 및 커브 피팅 결과를 이용하여 상기 분석 구간의 방위각을 재계산하는 단계를 더 포함할 수 있다.A method of identifying a source azimuth angle according to an embodiment of the present invention includes: performing curve fitting at an azimuth angle identified in an analysis interval; And recalculating the azimuth angle of the analysis section using the curve fitting results.

본 발명의 일실시예에 따른 음원 방위각 식별 방법의 분석 구간은, 묵음 구간, 랜덤성 방위각 오류 중 적어도 하나를 고려하여 설정될 수 있다.The analysis interval of the sound source azimuth identification method according to an embodiment of the present invention may be set in consideration of at least one of a silent interval and a random azimuth error.

본 발명의 일실시예에 따른 음원 방위각 식별 장치는 혼합 신호의 실제 방위각 축을 기초로 혼합 신호의 주파수 방위각 평면을 생성하는 주파수 방위각 평면 생성부; 상기 주파수 방위각 평면에 시구간 윈도우를 적용하여 방위각 별 누적 에너지를 결정하는 누적 에너지 결정부; 및 방위각 별 누적 에너지의 피크값을 가지는 방위각을 식별하는 방위각 식별부를 포함할 수 있다.The azimuth identification device for a sound source according to an embodiment of the present invention includes a frequency azimuth plane generating unit for generating a frequency azimuth plane of a mixed signal based on an actual azimuth axis of the mixed signal; An accumulated energy determining unit for determining accumulated energy for each azimuth angle by applying a time window to the frequency azimuth angle plane; And an azimuth angle identification unit for identifying an azimuth angle having a peak value of cumulative energy for each azimuth angle.

본 발명의 일실시예에 따른 음원 방위각 식별 장치의 주파수 방위각 평면 생성부는, 혼합 신호의 좌채널과 우채널간 신호 강도비를 기초로 혼합 신호의 주파수 방위각 평면을 생성하고, 혼합 신호의 좌채널과 우채널간 신호 강도비 및 실제 방위각과 신호 강도비 간의 관계를 이용하여 실제 방위각을 결정하며, 결정한 실제 방위각의 축을 기초로 상기 혼합 신호의 주파수 방위각 평면을 재구성할 수 있다.The frequency azimuth plane generating unit of the source azimuth identifying apparatus according to an embodiment of the present invention generates a frequency azimuth plane of the mixed signal based on the signal intensity ratio between the left channel and the right channel of the mixed signal, The inter-channel signal intensity ratio and the relationship between the actual azimuth angle and the signal intensity ratio to determine the actual azimuth angle, and reconstruct the frequency azimuth plane of the mixed signal based on the determined actual azimuth angle axis.

본 발명의 일실시예에 따른 음원 방위각 식별 장치의 누적 에너지 결정부는, 재구성된 주파수 방위각 평면에 시구간 윈도우를 슬라이딩하여, 상기 재구성된 주파수 방위각 평면의 에너지를 방위각 축에 따라 누적할 수 있다.The cumulative energy determiner of the source azimuth identification apparatus according to an embodiment of the present invention can slide the time window on the reconstructed frequency azimuth plane and accumulate the energy of the reconstructed frequency azimuth plane along the azimuth axis.

본 발명의 일실시예에 따른 음원 방위각 식별 장치의 시구간 윈도우는, 상기 시구간 윈도우의 폭이 증가할수록 감소되는 부정확한 방위각 식별 및 방위각 식별에 대한 민감도를 고려하여 결정될 수 있다.The time window of the source azimuth identification apparatus according to an embodiment of the present invention can be determined in consideration of an incorrect azimuth identification and a sensitivity to azimuth identification that decrease as the width of the time window increases.

본 발명의 일실시예에 따른 음원 방위각 식별 장치의 방위각 식별부는, 상기 혼합 신호의 분석 프레임 각각에 포함된 방위각 별 누적 에너지들 중 상기 혼합 신호에 혼합된 음원 개수, 또는 기준값 이상인 값을 가지는 방위각 별 누적 에너지를 피크값으로 결정하고, 피크값으로 결정된 방위각 별 누적 에너지를 기초로 상기 분석 프레임의 방위각을 식별할 수 있다.The azimuth identification unit of the azimuth angle identification apparatus according to an embodiment of the present invention may be configured such that the azimuth angle identification unit of the azimuth angle identification unit of the azimuth angle identification unit of the azimuth angle identification unit of the azimuth angle discrimination unit includes a number of sound sources mixed with the mixed signal, The cumulative energy is determined as a peak value, and the azimuth of the analysis frame can be identified based on the accumulated energy for each azimuth determined by the peak value.

본 발명의 일실시예에 따른 음원 방위각 식별 장치는 임의의 분석 구간에서 식별된 방위각에 커브 피팅을 수행하는 커브 피팅부; 및 커브 피팅 결과를 이용하여 상기 분석 구간의 방위각을 재계산하는 방위각 재계산부를 더 포함할 수 있다.The apparatus for identifying a source azimuth according to an embodiment of the present invention includes: a curve fitting unit for performing curve fitting at an azimuth angle identified in an analysis section; And an azimuth calculator for recalculating an azimuth angle of the analysis section using a curve fitting result.

본 발명의 일실시예에 따른 음원 방위각 식별 장치의 분석 구간은, 묵음 구간, 랜덤성 방위각 오류 중 적어도 하나를 고려하여 설정될 수 있다.The analysis period of the source azimuth identification apparatus according to an embodiment of the present invention may be set in consideration of at least one of a silent period and a random azimuth error.

본 발명의 일실시예에 의하면, 혼합 신호의 실제 방위각 축을 기초로 혼합 신호의 주파수 방위각 평면을 생성하고, 주파수 방위각 평면에 시구간 윈도우를 적용하여 결정한 방위각 별 누적 에너지를 기초로 음원의 정확한 방위각을 식별함으로써, 고정 패닝 및 동적 패닝을 기반으로 혼합된 스테레오 신호에 대한 음원 분리 시 발생하는 분리 음원의 음질 저하를 방지할 수 있다.According to an embodiment of the present invention, a frequency azimuth plane of a mixed signal is generated based on a real azimuth axis of a mixed signal, and an accurate azimuth angle of a sound source is calculated based on cumulative energies of azimuths determined by applying a time window to a frequency azimuth plane It is possible to prevent deterioration in the sound quality of the separated sound source caused when the sound sources are separated from the mixed stereo signal based on the fixed panning and the dynamic panning.

도 1은 본 발명의 일실시예에 따른 음원 방위각 식별 장치를 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 주파수 방위각 평면, 시구간 윈도우, 및 분석 구간의 일례이다.
도 3은 본 발명의 일실시예에 따라 시구간 윈도우를 적용한 결과의 일례이다.
도 4는 본 발명의 일실시예에 따라 커브 피팅을 적용한 결과의 일례이다.
도 5는 본 발명의 일실시예에 따른 음원 방위각 식별 방법을 도시한 플로우차트이다.
FIG. 1 is a view showing a sound source azimuth identification apparatus according to an embodiment of the present invention.
2 is an example of a frequency azimuth plane, a time window, and an analysis interval according to an embodiment of the present invention.
3 is an example of a result of applying a time window in accordance with an embodiment of the present invention.
4 is an example of a result of applying curve fitting according to an embodiment of the present invention.
5 is a flowchart illustrating a method of identifying a source azimuth angle according to an embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 음원 방위각 식별 방법은 음원 방위각 식별 장치에 의해 수행될 수 있다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The method of identifying a source azimuth angle according to an embodiment of the present invention may be performed by a source azimuth identification device.

도 1은 본 발명의 일실시예에 따른 음원 방위각 식별 장치를 나타내는 도면이다.FIG. 1 is a view showing a sound source azimuth identification apparatus according to an embodiment of the present invention.

음원 방위각 식별 장치(100)는 도 1에 도시된 바와 같이 주파수 방위각 평면 생성부(110), 누적 에너지 결정부(120), 방위각 식별부(130), 분석 구간 설정부(140), 커브 피팅 수행부(150) 및 방위각 재계산부(160)를 포함할 수 있다. 예를 들어, 음원 방위각 식별 장치(100)는 음원 방위각 식별 방법을 수행하는 프로세서, 또는 음원 방위각 식별 방법이 저장된 저장 매체일 수 있다. 또한, 주파수 방위각 평면 생성부(110), 누적 에너지 결정부(120), 방위각 식별부(130), 분석 구간 설정부(140), 커브 피팅 수행부(150) 및 방위각 재계산부(160)는 음원 방위각 식별 방법을 수행하기 위한 각각의 프로그램 모듈일 수 있다.1, the sound source azimuth identification apparatus 100 includes a frequency azimuth plane generating unit 110, an accumulated energy determining unit 120, an azimuth identifying unit 130, an analysis interval setting unit 140, a curve fitting Unit 150 and an azimuth calculator 160. The azimuth estimator 160 may be a microprocessor, For example, the sound source azimuth identification device 100 may be a processor that performs a sound source azimuth identification method, or a storage medium that stores a sound source azimuth identification method. The frequency azimuth plane generating unit 110, the accumulated energy determining unit 120, the azimuth identifying unit 130, the analysis interval setting unit 140, the curve fitting unit 150, And may be each program module for performing the azimuth identification method.

주파수 방위각 평면 생성부(110)는 혼합 신호의 실제 방위각 축을 기초로 혼합 신호의 주파수 방위각(frequency-azimuth) 평면을 생성할 수 있다. 이때, 혼합 신호는 고정 패닝 및 동적 패닝을 기반으로 혼합된 스테레오 신호일 수 있다.The frequency azimuth plane generating unit 110 may generate a frequency-azimuth plane of the mixed signal based on the actual azimuth axis of the mixed signal. At this time, the mixed signal may be a mixed stereo signal based on fixed panning and dynamic panning.

먼저, 주파수 방위각 평면 생성부(110)는 혼합 신호의 좌채널과 우채널간 신호 강도비를 기초로 혼합 신호의 주파수 방위각 평면을 생성할 수 있다. 이때, 주파수 방위각 평면 생성부(110)는 ADRess 알고리즘의 분석 프레임별 주파수 방위각 평면을 생성할 수 있다.First, the frequency azimuth plane generating unit 110 may generate a frequency azimuth plane of the mixed signal based on the signal intensity ratio between the left channel and the right channel of the mixed signal. At this time, the frequency azimuth plane generating unit 110 may generate a frequency azimuth plane plane for each analysis frame of the ADRess algorithm.

구체적으로, 주파수 방위각 평면 생성부(110)는 혼합 신호의 분석 프레임들 각각에 대하여 STFT(Short-Time Fourier Transform)을 적용할 수 있다. 그리고, 주파수 방위각 평면 생성부(110)는 STFT 적용결과에 수학식 1을 이용하여 (N+1)x(β+1) 배열의 주파수 방위각 평면을 생성할 수 있다. 이때, N은 주파수 해상도이고, β는 방위각 해상도일 수 있다. 이때, 방위각 해상도는 신호 강도비 해상도일 수 있다.Specifically, the frequency azimuth plane generating unit 110 may apply STFT (Short-Time Fourier Transform) to each of the analysis frames of the mixed signal. The frequency azimuth plane generating unit 110 may generate the frequency azimuth plane of the (N + 1) x (beta + 1) array using the equation (1) in the STFT application result. In this case, N is the frequency resolution and? Can be the azimuth resolution. At this time, the azimuth resolution may be signal strength non-resolution.

Figure pat00001
Figure pat00001

이때, k는

Figure pat00002
일 수 있다. 또한, X1(k,m)은 좌측 채널의 m번째 프레임에서의 k번째 주파수 성분이고, X2(k,m)는 우측 채널의 m번째 프레임에서의 k번째 주파수 성분일 수 있다. 그리고, 좌채널과 우채널간 신호 강도비 g(i)는 0과 1사이의 값을 가질 수 있다. At this time, k is
Figure pat00002
Lt; / RTI > Further, X 1 (k, m) may be the kth frequency component in the mth frame of the left channel and X 2 (k, m) may be the kth frequency component in the mth frame of the right channel. Then, the signal intensity ratio g (i) between the left channel and the right channel may have a value between 0 and 1.

예를 들어, 좌채널과 우채널간 신호 강도비 g(i)는 수학식 2와 같이 정의될 수 있다.For example, the signal intensity ratio g (i) between the left channel and the right channel can be defined as Equation (2).

Figure pat00003
Figure pat00003

수학식 1과 수학식 2에서 i는

Figure pat00004
이며, i와 β는 정수일 수 있다. 이때, β 값이 증가할수록 방위각 식별의 정확도 및 계산량이 증가할 수 있다. 따라서, 방위각 식별의 정확도 및 계산량을 고려하여 β 값이 결정될 수 있다. 또한, ADRess 알고리즘을 이용한 주파수 방위각 평면에서 방위각 축은 신호 강도비 함수에서의 i 값일 수 있다. 즉, ADRess 알고리즘을 이용한 주파수 방위각 평면의 방위각은 i 값을 이용하여 추정한 방위각일 수 있다.In Equations (1) and (2), i is
Figure pat00004
, And i and? May be integers. At this time, as β value increases, accuracy and calculation amount of azimuth angle can be increased. Therefore, the beta value can be determined in consideration of the accuracy of azimuth angle identification and the calculation amount. Also, the azimuth axis in the frequency azimuth plane using the ADRess algorithm can be the i value in the signal intensity ratio function. That is, the azimuth angle of the frequency azimuth plane using the ADRess algorithm may be an azimuth estimated using the i value.

또한, 주파수 방위각 평면 생성부(110)는 음원이 좌측 채널에서 우세한 경우

Figure pat00005
, AZ이 최소가 되는 g(i)와 음원이 우측 채널에서 우세한 경우
Figure pat00006
, AZ이 최소가 되는 g(i)를 찾을 수 있다. 이때, 주파수 방위각 평면 생성부(110)는 수학식 1을 재정의한 수학식 3을 이용하여 주파수 방위각 평면 전체를 구성할 수 있다. In addition, the frequency azimuth plane generating unit 110 generates a frequency azimuth plane when the sound source is dominant in the left channel
Figure pat00005
, G (i) where A Z is the minimum and sound source is dominant in the right channel
Figure pat00006
, G (i) where A Z is the minimum can be found. At this time, the frequency azimuth plane generating unit 110 can construct the entire frequency azimuth plane using Equation (3) redefining Equation (1).

Figure pat00007
Figure pat00007

이때, max는 k번째 주파수 성분에 대한 방위각축 선상의 Az(k.m.i) 최대값이고, min은 k번째 주파수 성분에 대한 방위각축 선상의 Az(k.m.i) 최소값일 수 있다. 또한, 본 발명은 음원의 위치가 좌측인 경우, 방위각을 0°로 표시하고, 음원의 위치가 정 중앙인 경우, 방위각을 90°로 표시하며, 음원의 위치가 우측인 경우, 방위각을 180°로 표시할 수 있다.In this case, max is A z (kmi) maximum value on the azimuth angular line for the k-th frequency component, and min may be A z (kmi) minimum value on the azimuth angular axis for the k-th frequency component. When the position of the sound source is on the left side, the azimuth angle is displayed on the right side. When the position of the sound source is positive, the azimuth angle is indicated by 90. When the position of the sound source is on the right side, As shown in FIG.

다음으로, 주파수 방위각 평면 생성부(110)는 혼합 신호의 좌채널과 우채널간 신호 강도비 및 실제 방위각과 신호 강도비 간의 관계를 이용하여 실제 방위각을 결정할 수 있다. 이때, 실제 방위각은 음원의 정확한 방위각일 수 있다. Next, the frequency azimuth plane generating unit 110 can determine the actual azimuth angle using the relationship between the left and right channel signal intensity ratios of the mixed signal and the actual azimuth angle and signal intensity ratio. At this time, the actual azimuth angle may be the accurate azimuth angle of the sound source.

이때, 주파수 방위각 평면 생성부(110)는 시누소이드 에너지 보존 패닝 방법(sinusoidal energy-preserving panning law)를 기반으로 유도한 실제 방위각과 신호 강도비간 관계를 이용하여 정확한 음원 방위각을 결정할 수 있다.At this time, the frequency azimuth plane generating unit 110 can determine an accurate source azimuth angle using the relation between the actual azimuth angle and the signal intensity derived based on the sinusoidal energy-preserving panning law.

예를 들어, 주파수 방위각 평면 생성부(110)는 수학식 4를 이용하여 음원의 실제 방위각 azimuth(i)를 결정할 수 있다.For example, the frequency azimuth plane generating unit 110 may determine the azimuth azimuth (i) of the sound source using Equation (4).

Figure pat00008
Figure pat00008

이때, i는

Figure pat00009
이며, i와 β는 정수일 수 있다.At this time, i
Figure pat00009
, And i and? May be integers.

마지막으로, 주파수 방위각 평면 생성부(110)는 결정한 실제 방위각의 축을 기초로 혼합 신호의 주파수 방위각 평면을 재구성할 수 있다.Finally, the frequency azimuth plane generating unit 110 can reconstruct the frequency azimuth plane of the mixed signal based on the determined actual azimuth angle axis.

이때, 주파수 방위각 평면 생성부(110)는 수학식 2를 사용하여 결정한 신호 강도비 g(i)를 수학식 4에 적용하여 실제 방위각축을 기반으로 한 각 신호 분석 프레임별 주파수-방위각 평면을 재구성할 수 있다.At this time, the frequency azimuth plane generating unit 110 applies the signal intensity ratio g (i) determined using Equation (2) to Equation (4) to reconstruct the frequency-azimuth plane of each signal analysis frame based on the actual azimuth axis .

구체적으로, 주파수 방위각 평면 생성부(110)는 수학식 1, 및 수학식 3을 사용하여 생성한 주파수 방위각 평면에서 방위각을 나타내는 i값을 실제 방위각 azimuth(i)으로 변경함으로써, 혼합 신호의 주파수 방위각 평면을 재구성할 수 있다.Specifically, the frequency azimuth plane generating unit 110 changes the i azimuth (i) representing the azimuth angle in the frequency azimuth plane plane generated using Equations (1) and (3) to the azimuth azimuth The plane can be reconstructed.

누적 에너지 결정부(120)는 주파수 방위각 평면 생성부(110)가 생성한 주파수 방위각 평면에 시구간 윈도우를 적용하여 방위각 별 누적 에너지를 결정할 수 있다.The cumulative energy determining unit 120 may determine the cumulative energies for each azimuth angle by applying a time window to the frequency azimuth plane plane generated by the frequency azimuth plane generating unit 110. [

구체적으로, 누적 에너지 결정부(120)는 재구성된 주파수 방위각 평면에 시구간 윈도우를 슬라이딩하여, 재구성된 주파수 방위각 평면의 에너지를 방위각 축에 따라 누적할 수 있다.Specifically, the cumulative energy determining unit 120 may accumulate the energy of the reconstructed frequency azimuth plane along the azimuth axis by sliding the time window on the reconstructed frequency azimuth plane.

예를 들어, 누적 에너지 결정부(120)가 누적한 평면값 에너지

Figure pat00010
은 수학식 5와 같이 정의될 수 있다.For example, when the cumulative energy determining unit 120 accumulates the planar value energy
Figure pat00010
Can be defined as shown in Equation (5).

Figure pat00011
Figure pat00011

이때, W는 시구간 윈도우의 폭일 수 있다. 시구간 윈도우의 폭이 증가할 수록 랜덤 형태로 발생되는 부정확한 방위각 식별을 감소시킬 수 있다. 그러나, 시구간 윈도우의 폭이 증가할 수록, 이전 분석 프레임의 영향이 증가하여 현재 시점에서의 방위각 식별에 대한 민감도가 감소할 수 있다. 따라서, 시구간 윈도우의 폭은 랜덤 형태로 발생되는 부정확한 방위각 식별 감소와 현재 시점에서의 방위각 식별에 대한 민감도가 감소를 고려하여 결정될 수 있다.At this time, W may be the width of the time window. As the width of the window between the time windows increases, it is possible to reduce the incorrect azimuth identification that occurs in random form. However, as the window width of the time window increases, the influence of the previous analysis frame increases and the sensitivity to the azimuth identification at the current time point may decrease. Therefore, the width of the time window can be determined in consideration of the reduction of the incorrect azimuth identification, which occurs in a random form, and the decrease in the sensitivity to azimuth identification at the present time.

방위각 식별부(130)는 방위각 별 누적 에너지의 피크값을 가지는 방위각을 식별할 수 있다.The azimuth identification unit 130 can identify an azimuth angle having a peak value of cumulative energy for each azimuth angle.

이때, 방위각 식별부(130)는 혼합 신호의 분석 프레임(m) 각각에 포함된 방위각 별 누적 에너지

Figure pat00012
들 중 혼합 신호에 혼합된 음원 개수, 또는 기준값 이상인 값을 가지는 방위각 별 누적 에너지를 피크값으로 결정할 수 있다. 그리고, 방위각 식별부(130)는 피크값으로 결정된 방위각 별 누적 에너지를 기초로 분석 프레임의 방위각을 식별할 수 있다. 구체적으로, 방위각 식별부(130)는 피크값으로 결정된 방위각 별 누적 에너지
Figure pat00013
의 i 값을 분석 프레임의 방위각으로 식별할 수 있다.At this time, the azimuth identification unit 130 compares the accumulated energy per azimuth angle included in each of the analysis frame m of the mixed signal
Figure pat00012
The cumulative energy of the azimuth angle having a value equal to or greater than the reference value can be determined as the peak value. The azimuth identification unit 130 can identify the azimuth angle of the analysis frame based on the cumulative energies of the azimuth angles determined as the peak values. Specifically, the azimuth identification unit 130 calculates the azimuth angle?
Figure pat00013
Can be identified by the azimuth of the analysis frame.

분석 구간 설정부(140)는 임의의 분석 구간을 설정할 수 있다. 이때, 분석 구간은 묵음 구간, 랜덤성 방위각 오류 중 적어도 하나를 고려하여 설정될 수 있다.The analysis section setting section 140 can set an arbitrary analysis section. At this time, the analysis section may be set in consideration of at least one of a silent section and a random azimuth error.

커브 피팅 수행부(150)는 분석 구간 설정부(140)가 설정한 분석 구간에서 식별된 방위각에 커브 피팅(curve fitting)을 수행할 수 있다.The curve fitting performing unit 150 may perform curve fitting on the identified azimuth angle in the analysis period set by the analysis period setting unit 140. [

방위각 재계산부(160)는 커브 피팅 수행부(150)가 출력한 커브 피팅 결과를 이용하여 분석 구간의 방위각을 재계산할 수 있다.The azimuth calculator 160 may recalculate the azimuth angle of the analysis section using the curve fitting results output by the curve fitting performing unit 150. [

음원 방위각 식별 장치(100)는 혼합 신호의 실제 방위각 축을 기초로 혼합 신호의 주파수 방위각 평면을 생성하고, 주파수 방위각 평면에 시구간 윈도우를 적용하여 결정한 방위각 별 누적 에너지를 기초로 음원의 정확한 방위각을 식별함으로써, 고정 패닝 및 동적 패닝을 기반으로 혼합된 스테레오 신호에 대한 음원 분리 시 발생하는 분리 음원의 음질 저하를 방지할 수 있다.The sound source azimuth identification apparatus 100 generates a frequency azimuth plane of the mixed signal based on the actual azimuth axis of the mixed signal and identifies the accurate azimuth angle of the sound source based on the accumulated energy of each azimuth determined by applying the time window to the frequency azimuth plane Thus, it is possible to prevent deterioration of the sound quality of the separated sound source caused when the sound sources are separated from the mixed stereo signal based on the fixed panning and the dynamic panning.

도 2는 본 발명의 일실시예에 따른 주파수 방위각 평면, 시구간 윈도우, 및 분석 구간의 일례이다.2 is an example of a frequency azimuth plane, a time window, and an analysis interval according to an embodiment of the present invention.

음원 방위각 식별 장치(100)는 혼합 신호의 좌채널과 우채널간 신호 강도비 및 실제 방위각과 신호 강도비 간의 관계를 이용하여 실제 방위각을 결정하고, 주파수 방위각 평면에서 방위각을 나타내는 i값을 실제 방위각 azimuth(i)으로 변경함으로써, 혼합 신호의 주파수 방위각 평면(210)을 재구성할 수 있다.The sound source azimuth identification device 100 determines the actual azimuth using the relationship between the left and right channel signal intensity ratios of the mixed signal and the actual azimuth angle and signal intensity ratio and sets the i value representing the azimuth angle in the frequency azimuth plane as the actual azimuth angle By changing to azimuth (i), the frequency azimuth plane 210 of the mixed signal can be reconstructed.

그리고, 음원 방위각 식별 장치(100)는 도 2에 도시된 바와 같이 시구간 윈도우(220)를 슬라이딩하여 시구간 윈도우 폭만큼 누적된 주파수 방위각 평면(210)의 평면값 에너지들을 결정할 수 있다.2, the sound source azimuth identification apparatus 100 can determine the planar value energies of the frequency azimuth plane 210 accumulated by the time window width by sliding the window 220 between the time periods.

다음으로, 음원 방위각 식별 장치(100)는 도 2에 도시된 바와 같은 분석 구간에서 식별된 방위각에 커브 피팅(curve fitting)을 수행하고, 커브 피팅 결과를 이용하여 분석 구간의 방위각을 재계산할 수 있다.Next, the sound source azimuth identification device 100 performs curve fitting at the identified azimuth angle in the analysis interval as shown in FIG. 2, and recalculates the azimuth angle of the analysis interval using the curve fitting result .

도 3은 본 발명의 일실시예에 따라 시구간 윈도우를 적용한 결과의 일례이다.3 is an example of a result of applying a time window in accordance with an embodiment of the present invention.

일실시예에서 동적 패닝된 혼합 신호는 시작부터 전체 구간의 절반까지 20°-70°로 변화하는 방위각을 가지는 제1 음원, 및 시작부터 전체 구간의 절반까지 160°- 110°로 변화하는 방위각을 갖는 제2 음원으로 구성될 수 있다.In one embodiment, the dynamic panned mixed signal includes a first sound source having an azimuth angle varying from 20 to 70 degrees from the beginning to half of the entire interval, and an azimuth angle varying from 160 to 110 degrees from the beginning to half of the entire interval The second sound source having the second sound source.

음원 방위각 식별 장치(100)는 혼합 신호의 실제 방위각 축을 기초로 혼합 신호의 주파수 방위각 평면을 생성한 후, 시구간 윈도우를 적용하지 않거나, 폭(W)이 시구간 윈도우를 적용하여 제1 음원의 방위각 식별 결과(310) 및 제2 음원의 방위각 식별 결과(320)를 출력할 수 있다. 이때, 제1 음원의 방위각 식별 결과(310) 및 제2 음원의 방위각 식별 결과(320)는 도 3에 도시된 바와 같이 제1 음원과 제2 음원의 묵음 구간에서 음원 방위각에 대한 식별 오류가 커지는 현상을 표시할 수 있다.The sound source azimuth identification apparatus 100 generates a frequency azimuth plane of the mixed signal based on the actual azimuth axis of the mixed signal and then applies the time window without applying the time window, The azimuth identification result 310 and the azimuth identification result 320 of the second sound source. At this time, as shown in FIG. 3, the azimuth identification result 310 of the first sound source and the azimuth identification result 320 of the second sound source indicate that the identification error with respect to the sound source azimuth angle in the silence interval of the first sound source and the second sound source becomes large A phenomenon can be displayed.

또한, 음원 방위각 식별 장치(100)는 혼합 신호의 실제 방위각 축을 기초로 혼합 신호의 주파수 방위각 평면을 생성한 후, 윈도우 폭(W)이 5인 사각 윈도우(rectangular window)를 시구간 윈도우로 적용하여 제1 음원의 방위각 식별 결과(311) 및 제2 음원의 방위각 식별 결과(321)를 출력할 수 있다. 이때, 음원 방위각 식별 장치(100)는 이전 분석 프레임의 주파수-방위각 평면값의 영향을 줄이기 위해 삼각 윈도우를 시구간 윈도우로 적용할 수도 있다.In addition, the sound source azimuth identification device 100 generates a frequency azimuth plane of the mixed signal based on the actual azimuth axis of the mixed signal, and then applies a rectangular window having a window width W of 5 as a time window It is possible to output the azimuth identification result 311 of the first sound source and the azimuth identification result 321 of the second sound source. At this time, the sound source azimuth identification apparatus 100 may apply a triangular window as a time window to reduce the influence of the frequency-azimuth plane value of the previous analysis frame.

이때, 제1 음원의 방위각 식별 결과(311) 및 제2 음원의 방위각 식별 결과(321)는 도 3에 도시된 바와 같이 시공간 윈도우를 적용하지 않은 결과인 제1 음원의 방위각 식별 결과(310) 및 제2 음원의 방위각 식별 결과(320)보다 랜덤성으로 발생하는 방위각 식별 오류를 개선될 수 있다.Here, the azimuth identification result 311 of the first sound source and the azimuth identification result 321 of the second sound source are the same as the azimuth identification result 310 of the first sound source, which is a result of not applying the space time window, The azimuth identification error that occurs more randomly than the azimuth identification result 320 of the second sound source can be improved.

다만, 음원의 묵음 구간에서는 신호 성분 Xi(k,m)가 존재하지 않으므로, 해당 음원에 대한 g(i)를 추정하기 어렵다. 따라서, 시구간 윈도우를 적용하더라고 묵음 구간에서의 음원 방위각 식별 오류는 개선되지 않을 수 있다. However, since the signal component X i (k, m) does not exist in the silence period of the sound source, it is difficult to estimate g (i) for the sound source. Therefore, even if the time window is applied, the error identification error of the source azimuth in the silence period may not be improved.

따라서, 음원 방위각 식별 장치(100)는 도 4에 도시된 바와 같이 커브 피팅을 수행하여 음원 방위각을 재식별할 수 있다.Accordingly, the sound source azimuth identification device 100 can perform curve fitting as shown in FIG. 4 to re-identify the source azimuth angle.

도 4는 본 발명의 일실시예에 따라 커브 피팅을 적용한 결과의 일례이다.4 is an example of a result of applying curve fitting according to an embodiment of the present invention.

음원 방위각 식별 장치(100)는 혼합 신호에 임의의 분석 구간을 설정하고, 해당 구간에서 식별된 제1 음원의 방위각 식별 결과(311) 및 제2 음원의 방위각 식별 결과(321)에 각각 커브 피팅(curve fitting)를 수행할 수 있다. 그리고, 음원 방위각 식별 장치(100)는 커브 피팅 수행 결과를 이용하여 해당 구간의 방위각 값을 재계산하여 음원 방위각을 재식별함으로써, 제1 음원의 방위각 식별 결과(410) 및 제2 음원의 방위각 식별 결과(420)를 출력할 수 있다.The sound source azimuth identification device 100 sets an arbitrary analysis section in the mixed signal and adds curve fitting (first and second) to the azimuth identification result 311 of the first sound source and the azimuth identification result 321 of the second sound source curve fitting can be performed. Then, the sound source azimuth identification device 100 recalculates the azimuth angle value of the corresponding section by using the result of the curve fitting operation to re-identify the sound source azimuth angle so that the azimuth identification result 410 of the first sound source and the azimuth identification A result 420 can be output.

구체적으로, 제1 음원의 방위각 식별 결과(410) 및 제2 음원의 방위각 식별 결과(420)는 제1 음원의 방위각 식별 결과(311) 및 제2 음원의 방위각 식별 결과(321)에 1차 선형 다항식(linear polynomial) 커브 피팅을 수행하여 음원 방위각을 재식별한 결과이다.More specifically, the azimuth identification result 410 of the first sound source and the azimuth identification result 420 of the second sound source are inputted to the first-order linearly-polarized-angle identification result 311 and the second- This is the result of re-identifying the source azimuth angle by performing a linear polynomial curve fitting.

제1 음원의 방위각 식별 결과(410) 및 제2 음원의 방위각 식별 결과(420)는 도 4에 도시된 바와 같이 제1 음원의 방위각 식별 결과(311) 및 제2 음원의 방위각 식별 결과(321)보다 묵음 구간에서 발생하는 음원 방위각에 대한 식별 오류도 개선될 수 있다.As shown in FIG. 4, the azimuth identification result 410 of the first sound source and the azimuth identification result 420 of the second sound source correspond to the azimuth identification result 311 of the first sound source and the azimuth identification result 321 of the second sound source, An identification error with respect to the sound source azimuth generated in the silent section can be improved.

도 5는 본 발명의 일실시예에 따른 음원 방위각 식별 방법을 도시한 플로우차트이다.5 is a flowchart illustrating a method of identifying a source azimuth angle according to an embodiment of the present invention.

단계(510)에서 주파수 방위각 평면 생성부(110)는 혼합 신호의 실제 방위각 축을 기초로 혼합 신호의 주파수 방위각(frequency-azimuth) 평면을 생성할 수 있다. In step 510, the frequency azimuth plane generator 110 may generate a frequency-azimuth plane of the mixed signal based on the actual azimuth axis of the mixed signal.

이때, 주파수 방위각 평면 생성부(110)는 혼합 신호의 좌채널과 우채널간 신호 강도비를 기초로 혼합 신호의 주파수 방위각 평면을 생성할 수 있다. 그리고, 주파수 방위각 평면 생성부(110)는 혼합 신호의 좌채널과 우채널간 신호 강도비 및 실제 방위각과 신호 강도비 간의 관계를 이용하여 실제 방위각을 결정할 수 있다. 마지막으로, 주파수 방위각 평면 생성부(110)는 결정한 실제 방위각의 축을 기초로 혼합 신호의 주파수 방위각 평면을 재구성할 수 있다.At this time, the frequency azimuth plane generating unit 110 may generate the frequency azimuth plane of the mixed signal based on the signal intensity ratio between the left channel and the right channel of the mixed signal. The frequency azimuth plane generating unit 110 can determine the actual azimuth using the relationship between the left and right channel signal intensity ratios of the mixed signal and the actual azimuth angle and signal intensity ratio. Finally, the frequency azimuth plane generating unit 110 can reconstruct the frequency azimuth plane of the mixed signal based on the determined actual azimuth angle axis.

단계(520)에서 누적 에너지 결정부(120)는 단계(510)에서 주파수 방위각 평면에 시구간 윈도우를 적용하여 방위각 별 누적 에너지를 결정할 수 있다. 이때, 누적 에너지 결정부(120)는 재구성된 주파수 방위각 평면에 시구간 윈도우를 슬라이딩하여, 재구성된 주파수 방위각 평면의 에너지를 방위각 축에 따라 누적할 수 있다.In step 520, the cumulative energy determining unit 120 may determine a cumulative energy for each azimuth angle by applying a time window on the frequency azimuth plane in step 510. At this time, the cumulative energy determiner 120 may slice the time window on the reconstructed frequency azimuth plane, and accumulate the energy of the reconstructed frequency azimuth plane along the azimuth axis.

단계(530)에서 방위각 식별부(130)는 단계(520)에서 결정한 방위각 별 누적 에너지의 피크값을 가지는 방위각을 식별할 수 있다. 이때, 방위각 식별부(130)는 혼합 신호의 분석 프레임 각각에 포함된 방위각 별 누적 에너지들 중 혼합 신호에 혼합된 음원 개수, 또는 기준값 이상인 값을 가지는 방위각 별 누적 에너지를 피크값으로 결정할 수 있다. 그리고, 방위각 식별부(130)는 피크값으로 결정된 방위각 별 누적 에너지

Figure pat00014
의 i 값을 분석 프레임의 방위각으로 식별할 수 있다.In step 530, the azimuth identification unit 130 may identify an azimuth angle having a peak value of the accumulated energy for each azimuth determined in step 520. At this time, the azimuth identification unit 130 may determine the cumulative energies of azimuth angles having the number of sound sources mixed in the mixed signal among accumulated energies for each azimuth angle included in each analysis frame of the mixed signal, or a value equal to or greater than a reference value as a peak value. Then, the azimuth identification unit 130 calculates the azimuth angle < RTI ID = 0.0 >
Figure pat00014
Can be identified by the azimuth of the analysis frame.

단계(540)에서 커브 피팅 수행부(150)는 단계(530)에서 식별한 방위각들 중 분석 구간 설정부(140)가 설정한 분석 구간에서 식별된 방위각에 커브 피팅을 수행할 수 있다.The curve fitting performing unit 150 may perform curve fitting at the azimuth angle identified in the analysis interval set by the analysis interval setting unit 140 among the azimuths identified at Step 530 at Step 540.

단계(550)에서 방위각 재계산부(160)는 단계(540)의 커브 피팅 결과를 이용하여 분석 구간의 방위각을 재계산할 수 있다.In step 550, the azimuth recalculator 160 may recalculate the azimuth angle of the analysis section using the curve fitting results in step 540.

본 발명은 혼합 신호의 실제 방위각 축을 기초로 혼합 신호의 주파수 방위각 평면을 생성하고, 주파수 방위각 평면에 시구간 윈도우를 적용하여 결정한 방위각 별 누적 에너지를 기초로 음원의 정확한 방위각을 식별함으로써, 고정 패닝 및 동적 패닝을 기반으로 혼합된 스테레오 신호에 대한 음원 분리 시 발생하는 분리 음원의 음질 저하를 방지할 수 있다.The present invention creates a frequency azimuth plane of a mixed signal based on the actual azimuth axis of the mixed signal and identifies the exact azimuth of the source based on the accumulated energy for each azimuth determined by applying a time window to the frequency azimuth plane, It is possible to prevent degradation of the sound quality of the separated sound source caused when the sound source is separated from the mixed stereo signal based on the dynamic panning.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

110: 주파수 방위각 평면 생성부
120: 누적 에너지 결정부
130: 방위각 식별부
140: 분석 구간 설정부
150: 커브 피팅 수행부
160: 방위각 재계산부
110: frequency azimuth plane generating unit
120: cumulative energy determining unit
130: azimuth angle identification unit
140: Analysis section setting section
150: Curve fitting performing unit
160: azimuth calculation unit

Claims (14)

혼합 신호의 실제 방위각 축을 기초로 혼합 신호의 주파수 방위각(frequency-azimuth) 평면을 생성하는 단계;
상기 주파수 방위각 평면에 시구간 윈도우를 적용하여 방위각 별 누적 에너지를 결정하는 단계; 및
방위각 별 누적 에너지의 피크값을 가지는 방위각을 식별하는 단계
를 포함하는 음원 방위각 식별 방법.
Generating a frequency-azimuth plane of the mixed signal based on the actual azimuth axis of the mixed signal;
Determining an accumulated energy for each azimuth angle by applying a time window to the frequency azimuth angle plane; And
A step of identifying an azimuth angle having a peak value of accumulated energy per azimuth
Wherein the azimuthal azimuth angle of the source azimuth is greater than the azimuth angle.
제1항에 있어서,
상기 생성하는 단계는,
혼합 신호의 좌채널과 우채널간 신호 강도비를 기초로 혼합 신호의 주파수 방위각 평면을 생성하는 단계;
혼합 신호의 좌채널과 우채널간 신호 강도비 및 실제 방위각과 신호 강도비 간의 관계를 이용하여 실제 방위각을 결정하는 단계; 및
결정한 실제 방위각의 축을 기초로 상기 혼합 신호의 주파수 방위각 평면을 재구성하는 단계
를 포함하는 음원 방위각 식별 방법.
The method according to claim 1,
Wherein the generating comprises:
Generating a frequency azimuth plane of the mixed signal based on the signal intensity ratio between the left channel and the right channel of the mixed signal;
Determining an actual azimuth using a relationship between a left channel and a right channel signal intensity ratio of the mixed signal and a relationship between the actual azimuth and the signal intensity ratio; And
Reconstructing the frequency azimuth plane of the mixed signal based on the determined actual azimuth axis
Wherein the azimuthal azimuth angle of the source azimuth is greater than the azimuth angle.
제1항에 있어서,
상기 결정하는 단계는,
재구성된 주파수 방위각 평면에 시구간 윈도우를 슬라이딩하여, 상기 재구성된 주파수 방위각 평면의 에너지를 방위각 축에 따라 누적하는 단계
를 포함하는 음원 방위각 식별 방법.
The method according to claim 1,
Wherein the determining comprises:
Sliding the time window on the reconstructed frequency azimuth plane and accumulating the energy of the reconstructed frequency azimuth plane along the azimuth axis;
Wherein the azimuthal azimuth angle of the source azimuth is greater than the azimuth angle.
제1항에 있어서,
상기 시구간 윈도우는,
상기 시구간 윈도우의 폭이 증가할수록 감소되는 부정확한 방위각 식별 및 방위각 식별에 대한 민감도를 고려하여 결정되는 음원 방위각 식별 방법.
The method according to claim 1,
The window of time-
Wherein the azimuth angle is determined in consideration of an incorrect azimuth identification and a sensitivity to azimuth identification that decrease as the width of the time window increases.
제1항에 있어서,
상기 식별하는 단계는,
상기 혼합 신호의 분석 프레임 각각에 포함된 방위각 별 누적 에너지들 중 상기 혼합 신호에 혼합된 음원 개수, 또는 기준값 이상인 값을 가지는 방위각 별 누적 에너지를 피크값으로 결정하는 단계; 및
피크값으로 결정된 방위각 별 누적 에너지를 기초로 상기 분석 프레임의 방위각을 식별하는 단계
를 포함하는 음원 방위각 식별 방법.
The method according to claim 1,
Wherein the identifying comprises:
Determining cumulative energies of azimuth angles having a value equal to or greater than a reference number of sound sources mixed with the mixed signal among cumulative energies for each azimuth angle included in each of the analysis frames of the mixed signal as a peak value; And
Identifying an azimuth angle of the analysis frame based on accumulated energy for each azimuth determined by a peak value
Wherein the azimuthal azimuth angle of the source azimuth is greater than the azimuth angle.
제1항에 있어서,
임의의 분석 구간에서 식별된 방위각에 커브 피팅을 수행하는 단계; 및
커브 피팅 결과를 이용하여 상기 분석 구간의 방위각을 재계산하는 단계
를 더 포함하는 음원 방위각 식별 방법.
The method according to claim 1,
Performing curve fitting on the identified azimuth in any analysis interval; And
Calculating the azimuth angle of the analysis section using the curve fitting result
Further comprising the steps of:
제6항에 있어서,
상기 분석 구간은,
묵음 구간, 랜덤성 방위각 오류 중 적어도 하나를 고려하여 설정되는 음원 방위각 식별 방법.
The method according to claim 6,
In the analysis section,
A silence interval, and a random azimuth error.
혼합 신호의 실제 방위각 축을 기초로 혼합 신호의 주파수 방위각 평면을 생성하는 주파수 방위각 평면 생성부;
상기 주파수 방위각 평면에 시구간 윈도우를 적용하여 방위각 별 누적 에너지를 결정하는 누적 에너지 결정부; 및
방위각 별 누적 에너지의 피크값을 가지는 방위각을 식별하는 방위각 식별부
를 포함하는 음원 방위각 식별 장치.
A frequency azimuth plane generating unit for generating a frequency azimuth plane of the mixed signal based on an actual azimuth axis of the mixed signal;
An accumulated energy determining unit for determining accumulated energy for each azimuth angle by applying a time window to the frequency azimuth angle plane; And
An azimuth angle identification unit for identifying an azimuth angle having a peak value of accumulated energy for each azimuth angle
And an azimuth angle of the sound source.
제8항에 있어서,
상기 주파수 방위각 평면 생성부는,
혼합 신호의 좌채널과 우채널간 신호 강도비를 기초로 혼합 신호의 주파수 방위각 평면을 생성하고, 혼합 신호의 좌채널과 우채널간 신호 강도비 및 실제 방위각과 신호 강도비 간의 관계를 이용하여 실제 방위각을 결정하며, 결정한 실제 방위각의 축을 기초로 상기 혼합 신호의 주파수 방위각 평면을 재구성하는 음원 방위각 식별 장치.
9. The method of claim 8,
Wherein the frequency azimuth plane generating unit comprises:
The signal intensity ratio between the left channel and the right channel of the mixed signal and the relationship between the actual azimuth angle and the signal intensity ratio are used to generate the frequency azimuth plane of the mixed signal based on the signal intensity ratio between the left channel and the right channel of the mixed signal. Determines an azimuth angle, and reconstructs a frequency azimuth plane of the mixed signal based on the determined axis of the actual azimuth angle.
제8항에 있어서,
상기 누적 에너지 결정부는,
재구성된 주파수 방위각 평면에 시구간 윈도우를 슬라이딩하여, 상기 재구성된 주파수 방위각 평면의 에너지를 방위각 축에 따라 누적하는 음원 방위각 식별 장치.
9. The method of claim 8,
Wherein the cumulative energy determining unit comprises:
And slides the time window on the reconstructed frequency azimuth plane to accumulate the energy of the reconstructed frequency azimuth plane along the azimuth axis.
제8항에 있어서,
상기 시구간 윈도우는,
상기 시구간 윈도우의 폭이 증가할수록 감소되는 부정확한 방위각 식별 및 방위각 식별에 대한 민감도를 고려하여 결정되는 음원 방위각 식별 장치.
9. The method of claim 8,
The window of time-
Wherein the azimuth angle is determined in consideration of incorrect azimuth identification and sensitivity to azimuth identification that decrease as the width of the time window increases.
제8항에 있어서,
상기 방위각 식별부는,
상기 혼합 신호의 분석 프레임 각각에 포함된 방위각 별 누적 에너지들 중 상기 혼합 신호에 혼합된 음원 개수, 또는 기준값 이상인 값을 가지는 방위각 별 누적 에너지를 피크값으로 결정하고, 피크값으로 결정된 방위각 별 누적 에너지를 기초로 상기 분석 프레임의 방위각을 식별하는 음원 방위각 식별 장치.
9. The method of claim 8,
Wherein the azimuth-
A cumulative energy of each azimuth angle having a value equal to or greater than a reference value is determined as a peak value among the cumulative energies of the azimuth angle included in each of the analysis frames of the mixed signal and the accumulated energy per azimuth determined by the peak value And identifying the azimuth angle of the analysis frame based on the azimuth angle of the analysis frame.
제8항에 있어서,
임의의 분석 구간에서 식별된 방위각에 커브 피팅을 수행하는 커브 피팅부; 및
커브 피팅 결과를 이용하여 상기 분석 구간의 방위각을 재계산하는 방위각 재계산부
를 더 포함하는 음원 방위각 식별 장치.
9. The method of claim 8,
A curve fitting unit for performing curve fitting at the identified azimuth angle in an arbitrary analysis section; And
Calculating an azimuth angle of the analysis section using a curve fitting result,
Wherein the azimuth angle identification device further comprises:
제13항에 있어서,
상기 분석 구간은,
묵음 구간, 랜덤성 방위각 오류 중 적어도 하나를 고려하여 설정되는 음원 방위각 식별 장치.
14. The method of claim 13,
In the analysis section,
A silence interval, and a random azimuth error.
KR1020160031519A 2016-03-16 2016-03-16 Apparatus and method for discriminating sound source azimuth of mixed signal dynamically panned KR102458367B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160031519A KR102458367B1 (en) 2016-03-16 2016-03-16 Apparatus and method for discriminating sound source azimuth of mixed signal dynamically panned

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160031519A KR102458367B1 (en) 2016-03-16 2016-03-16 Apparatus and method for discriminating sound source azimuth of mixed signal dynamically panned

Publications (2)

Publication Number Publication Date
KR20170107781A true KR20170107781A (en) 2017-09-26
KR102458367B1 KR102458367B1 (en) 2022-10-25

Family

ID=60036605

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160031519A KR102458367B1 (en) 2016-03-16 2016-03-16 Apparatus and method for discriminating sound source azimuth of mixed signal dynamically panned

Country Status (1)

Country Link
KR (1) KR102458367B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012529843A (en) * 2009-06-09 2012-11-22 アンダーソン,ディーン・ロバート・ゲイリー Method and apparatus for directional acoustic fitting of hearing aids
KR101586364B1 (en) * 2014-09-05 2016-01-18 한양대학교 산학협력단 Method, appratus and computer-readable recording medium for creating dynamic directional impulse responses using spatial sound division

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012529843A (en) * 2009-06-09 2012-11-22 アンダーソン,ディーン・ロバート・ゲイリー Method and apparatus for directional acoustic fitting of hearing aids
KR101586364B1 (en) * 2014-09-05 2016-01-18 한양대학교 산학협력단 Method, appratus and computer-readable recording medium for creating dynamic directional impulse responses using spatial sound division

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
정영호 외 2명, "ADRess 알고리즘 기반 새로운 분리음원 합성 기법", 한국방송미디어공학회 학술발표대회 논문집, 2015.11.06. 1부.* *

Also Published As

Publication number Publication date
KR102458367B1 (en) 2022-10-25

Similar Documents

Publication Publication Date Title
EP2355097B1 (en) Signal separation system and method
CN110379434B (en) Method for parametric multi-channel coding
US8532999B2 (en) Apparatus and method for generating a multi-channel synthesizer control signal, multi-channel synthesizer, method of generating an output signal from an input signal and machine-readable storage medium
US8612237B2 (en) Method and apparatus for determining audio spatial quality
RU2526745C2 (en) Sbr bitstream parameter downmix
EP2903301A2 (en) Improving at least one of intelligibility or loudness of an audio program
EP3996090A1 (en) Method and apparatus for decompressing a higher order ambi-sonics representation for a sound field
US9767811B2 (en) Device and method for postprocessing a decoded multi-channel audio signal or a decoded stereo signal
US11869518B2 (en) Method and apparatus for increasing stability of an inter-channel time difference parameter
US11158330B2 (en) Apparatus and method for decomposing an audio signal using a variable threshold
BRPI0304540B1 (en) METHODS FOR CODING AN AUDIO SIGNAL, AND TO DECODE AN CODED AUDIO SIGN, ENCODER TO CODIFY AN AUDIO SIGN, CODIFIED AUDIO SIGN, STORAGE MEDIA, AND, DECODER TO DECOD A CODED AUDIO SIGN
EP3440670B1 (en) Audio source separation
EP3170174A1 (en) Decomposing audio signals
EP3230980B1 (en) Mdct-domain error concealment
KR101756838B1 (en) Method and apparatus for down-mixing multi channel audio signals
BR112021007807A2 (en) analyzer, similarity evaluator, audio encoder and decoder, format converter, renderer, methods and audio representation
KR20140074918A (en) Direct-diffuse decomposition
US8447618B2 (en) Method and apparatus for encoding and decoding residual signal
KR102458367B1 (en) Apparatus and method for discriminating sound source azimuth of mixed signal dynamically panned
KR101761099B1 (en) Methods for audio encoding and decoding, corresponding computer-readable media and corresponding audio encoder and decoder
EP2876640B1 (en) Audio encoding device and audio coding method
US20150170656A1 (en) Audio encoding device, audio coding method, and audio decoding device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant