WO2017222356A1 - 잡음 환경에 적응적인 신호 처리방법 및 장치와 이를 채용하는 단말장치 - Google Patents

잡음 환경에 적응적인 신호 처리방법 및 장치와 이를 채용하는 단말장치 Download PDF

Info

Publication number
WO2017222356A1
WO2017222356A1 PCT/KR2017/006728 KR2017006728W WO2017222356A1 WO 2017222356 A1 WO2017222356 A1 WO 2017222356A1 KR 2017006728 W KR2017006728 W KR 2017006728W WO 2017222356 A1 WO2017222356 A1 WO 2017222356A1
Authority
WO
WIPO (PCT)
Prior art keywords
noise
signal
class
spectrum
speech
Prior art date
Application number
PCT/KR2017/006728
Other languages
English (en)
French (fr)
Inventor
주기현
프랑수와홀리
오은미
김창용
성호상
정경훈
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to CN201780039330.3A priority Critical patent/CN109416914B/zh
Priority to US16/312,827 priority patent/US11037581B2/en
Priority to EP17815768.1A priority patent/EP3457402B1/en
Priority to KR1020197006303A priority patent/KR102417047B1/ko
Publication of WO2017222356A1 publication Critical patent/WO2017222356A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility

Definitions

  • the present disclosure relates to audio and / or speech signal processing, and more particularly, to a signal processing method and apparatus for changing an audio and / or speech signal adaptively to a noise environment of a receiving end or near-end, and A terminal device to be employed.
  • the other party's voice cannot be heard well due to the background noise. For example, if you are talking in a noisy place, such as a subway, or talking on a car-driven street, the other party's voice will be much smaller than in a quiet place without noise. As such, the biggest reason for the background noise degrading speech intelligibility or sound quality may be explained by a masking effect.
  • the problem to be solved is a signal for adaptively changing the decoded signal to the receiving or near-end noise environment in order to improve the call quality, the intelligibility and / or sound quality of the decoded signal at the receiving end or near-end. It provides a processing method and apparatus and a computer-readable recording medium.
  • the problem to be solved is to provide a terminal apparatus employing the above-described signal processing method, apparatus or recording medium.
  • a method of processing a signal based on a noise spectrum and a received speech spectrum of a receiver or near-end device and determining a class related to clarity improvement, based on the noise spectrum, the speech spectrum, and the determined class.
  • the method may include generating guide information for improving clarity, and generating a modified speech spectrum by applying the guide information to the speech spectrum.
  • a signal processing method includes determining a band class related to clarity improvement for each band of a noise spectrum of a receiving side or a near-end device and a voice spectrum of a received counterpart, and determining the band class of the determined noise spectrum and the voice. Generating guide information for clarity improvement based on the band class of the spectrum, and generating a modified speech spectrum by applying the guide information to the speech spectrum.
  • a signal processing apparatus includes: a first receiver configured to receive a noise signal of a receiving side or a near-end apparatus through a microphone; A second receiver which receives a voice signal of the other party from a transmitter or a far-end device; And determine a class related to the clarity improvement of the speech signal for the noise signal and the speech signal, and generate guide information for clarity improvement based on the noise spectrum, the speech spectrum, and the determined class. And a processor configured to apply guide information to the speech spectrum to generate a modified speech spectrum.
  • a signal processing apparatus includes: a first receiver configured to receive a noise signal of a receiving side or a near-end apparatus through a microphone; A second receiver which receives a voice signal of the other party from a transmitter or a far-end device; And determining a band class related to clarity improvement for each band of the noise signal and the voice signal, and generating guide information for clarity improvement based on the determined band class of the noise signal and the band class of the voice signal. And a processor configured to generate the changed voice signal by applying the guide information to the voice signal.
  • the computer-readable recording medium may record a command for executing each signal processing method.
  • a terminal device includes at least one microphone for receiving a surrounding environment signal including a speaker's voice signal and / or a noise signal, and a noise spectrum of a receiver or near-end device and a voice spectrum of the other party.
  • Determine a class related to clarity improvement generate guide information for clarity improvement based on the noise spectrum, the speech spectrum, and the determined class, and apply the guide information to the speech spectrum to generate a modified speech spectrum
  • the call quality can be improved adaptively to the noise environment at the receiving end or near end. In addition, it is possible to improve the intelligibility and / or sound quality while minimizing the tone change. In addition, it is possible to improve the intelligibility of the decoded audio and / or speech signal corresponding to the user's intention based on the volume level and the user input of the terminal.
  • FIG. 1 shows a structure of a transceiver and a packet network for a voice call.
  • FIG. 2 is a block diagram illustrating a configuration of a mobile communication device for a voice call according to an embodiment.
  • FIG. 3 is a block diagram illustrating a configuration of a mobile communication device for voice communication in a packet network according to an embodiment.
  • FIG. 4 is a block diagram illustrating a configuration of a mobile communication device for a voice call according to another embodiment.
  • FIG. 5 is a block diagram illustrating a configuration of a mobile communication device for a voice call in a packet network according to another embodiment.
  • FIG. 6 is a block diagram illustrating a configuration of a signal processing apparatus according to an exemplary embodiment.
  • FIG. 7 is a block diagram showing a configuration of a signal processing apparatus according to another embodiment.
  • FIG. 8 is a block diagram illustrating a detailed configuration of a coding artifact reduction unit illustrated in FIG. 7.
  • FIG. 9 is a view for explaining the operation of the coding artifact reduction unit shown in FIG.
  • FIG. 10 is a diagram illustrating signals for generating far-line I / O and near-end I / O in a far-end device and a near-end device according to an embodiment.
  • FIG. 11 is a diagram illustrating signals for generating far-line I / O and near-end I / O in a far-end device and a near-end device according to another embodiment.
  • FIG. 12 is a block diagram illustrating a detailed configuration of a signal processing apparatus according to an exemplary embodiment.
  • FIG. 13 is a block diagram illustrating a detailed configuration of a band class determiner illustrated in FIG. 12.
  • FIG. 14 is a block diagram illustrating a detailed configuration of an example of the signal analyzer illustrated in FIG. 13.
  • FIG. 15 is a block diagram illustrating a detailed configuration of the guide information generation unit of FIG. 12.
  • FIG. 16 is a diagram illustrating an operation of the guide information generation unit illustrated in FIG. 12.
  • 17 is a block diagram showing a detailed configuration of a signal processing apparatus according to another embodiment.
  • FIG. 19 is a block diagram illustrating a detailed configuration of an example of a guide information applying unit illustrated in FIG. 17.
  • 20 is a block diagram showing a detailed configuration of a signal processing apparatus according to another embodiment.
  • 21 is a diagram for describing a method of generating a voice signal having improved clarity, according to an exemplary embodiment.
  • FIG. 22 is a diagram for describing a method of generating a speech signal having improved clarity according to another exemplary embodiment.
  • FIG. 23 is a block diagram of a device employing a signal processing apparatus according to an embodiment.
  • first and second may be used to describe various components, but the components are not limited by the terms. The terms are only used to distinguish one component from another.
  • the signal processed in the present disclosure may include an audio signal including music, a speech signal, a mixed signal of an audio signal and a speech signal, etc., but for the convenience of description, it is referred to as a voice signal.
  • a signal may be processed in a super frame unit, a frame unit, or a sub frame unit, but for the convenience of description, the signal is processed in a frame unit.
  • FIG. 1 illustrates a structure of a transmitting and receiving terminal and a server network for a voice call to which a signal processing apparatus according to the present disclosure is applied.
  • An example of the network used in FIG. 1 is Long Term Evolution (LTE), and a packet-based voice call service in an LTE network is referred to as Voice over Long Term Evolution (VOLTE).
  • LTE Long Term Evolution
  • VOLTE Voice over Long Term Evolution
  • the signal processing apparatus according to the present disclosure may be applied not only to VoLTE but also to a voice call service of a circuit switching scheme.
  • a voice call is performed through a signaling path between a transmitting end and a receiving end in a network structure consisting of a network of an operator A to which a transmitting terminal and a transmitting terminal are connected, and a network of operator B to which a receiving terminal and a receiving terminal are connected.
  • the call condition negotiation process can be preceded. At least one of a transmission rate, a codec, a codec bit rate, a sampling frequency Fs, a bandwidth, and the number of channels may be determined through a call condition negotiation process.
  • the data rate refers to the data amount of the communication channel required for the actual transmission, and the codec may mean the name of the voice codec actually used.
  • the codec examples include, but are not limited to, Adaptive Multi-Rate (AMR), AMR-WB (AMR-Wideband), Enhanced Voice Services (EVS), and Enhanced Variable Rate Codec (EVRC).
  • AMR Adaptive Multi-Rate
  • AMR-WB AMR-Wideband
  • EVS Enhanced Voice Services
  • EVRC Enhanced Variable Rate Codec
  • the codec bit rate means a bit rate to be used in the determined codec, compresses a voice signal according to the negotiated codec bit rate, and the compressed data may be transmitted to the receiver through a packet network.
  • Each codec consists of a plurality of modes having various bit rates, and the bit rate used in each mode may be predefined.
  • the sampling frequency refers to the sampling frequency of the encoder input signal or the decoder output signal of the codec.
  • the bandwidth refers to the bandwidth of the signal and, unlike the sampling frequency, refers to the bandwidth in which actual encoding occurs.
  • Examples of signal bands supported by the EVS codec include NB (20-4,000 Hz), WB (20-8,000 Hz), SWB (20-16,000 Hz), and FB (20-20,000 Hz). It is possible to actually code for a bandwidth lower than the bandwidth to be used.
  • the bands that can be supported at a sampling frequency of 32 kHz are FB, SWB, WB, and NB.
  • the number of channels means the number of channels supported by a signal to be encoded or a decoded signal such as mono or stereo.
  • the call condition negotiation process When the call condition negotiation process is completed, encoding is performed at the transmitting end and decoding at the receiving end according to the call condition.
  • the bitstream generated as a result of the encoding may be transmitted to the receiver through a media path.
  • the data compressed by the transmitter is wirelessly transmitted to the RAN (Radio Access Network) through a modem, and after RAN, transmission may be performed to the operator of the counterpart through a PS (Packet Switched) domain by wire.
  • the operator used by the receiver may be the same as or different from the operator used by the transmitter.
  • a transmitting terminal (Tx Terminal) 110 corresponds to a transmitting terminal apparatus and a receiving terminal (Rx Terminal) 130 corresponds to a receiving terminal apparatus.
  • the signal processing algorithm related to the improvement of sound quality and / or clarity according to an embodiment to be described later may be mounted on at least one of the transmission and reception terminals 110 and 130, or may be mounted on the server 150 connected to the two terminals and the network 170. . Meanwhile, the signal processing algorithm according to the embodiment may be mounted in both the transmission and reception terminals 110 and 130 and the server 150.
  • the network 170 connects the transmitting terminal 110, the receiving terminal 130, and the server 150.
  • the network 170 includes a leased line, a LAN, a VAN, an intranet, a private telephone network, a public telephone network, a PSTN network, and a combination thereof, and includes a comprehensive network that allows each network component shown in FIG. 1 to communicate smoothly with each other.
  • a data communication network in a sense of meaning, it may include a wired internet, a wireless internet, and a mobile wireless communication network.
  • the transmitting terminal 110 and the receiving terminal 130 may be a transmitting and receiving terminal disclosed in FIGS. 2 to 5 to be described later, and may use a packet network structure.
  • the transmitter terminal 110 may transmit information about the transmitter noise to the server 150.
  • the receiver terminal 130 may transmit information about the receiver noise to the server 150.
  • the transmitting terminal 110 or the receiving terminal 130 may additionally transmit situation information about each call to the server 150.
  • the server 150 may include at least one parameter for a sound quality improvement algorithm to be applied to the preprocessor 113 by the transmitting terminal 110 to improve the sound quality of the transmitting voice signal based on the transmitting noise information received from the transmitting terminal 110. Can be determined.
  • the server 150 is at least one of the sound quality improvement algorithm to be applied to the post-processing unit 137 by the receiving terminal 130 to improve the sound quality of the transmitting end voice signal based on the receiving end noise information received from the receiving terminal 130 Can be determined.
  • At least one parameter for the sound quality improvement algorithm may be referred to as spectral guide information or gain information, which will be described later.
  • the server 150 transmits at least one parameter for the sound quality improvement algorithm to the transmitting terminal 110.
  • the transmitting terminal 110 may improve the sound quality and / or clarity of the input transmitter voice signal by performing preprocessing using at least one parameter for the sound quality improvement algorithm transmitted from the server 150.
  • the preprocessing may include noise suppression or echo cancellation.
  • the transmitting terminal 110 transmits a transmitting end voice signal having improved sound quality and / or clarity to the receiving terminal 130 through preprocessing.
  • the server 1850 transmits at least one parameter for the sound quality improvement algorithm to the receiving terminal 130. do.
  • the receiving terminal 130 performs post-processing using the at least one parameter for the sound quality improvement algorithm, thereby transmitting from the transmitting terminal 110.
  • the sound quality and / or clarity of the received transmitting end voice signal may be improved.
  • the post-processing process may further include DyVE (Dynamic Voice Enhancement).
  • the transmitting terminal 110, the receiving terminal 130, and the server 150 may further include a communication unit, a controller, a storage unit, a processor, a display unit, and a user input unit (not shown).
  • FIG. 2 is a block diagram illustrating a configuration of a mobile communication device for a voice call according to an embodiment.
  • the far-end device 210 includes a first converter 211 and a transmission processor 213.
  • the encoder 215, and the near-end device 230 may include a decoder 231, a signal changer 233, a reception processor 235, and a second converter 237.
  • Each component in the far-end device 210 and / or the near-end device 230 may be integrally implemented with at least one processor except that the components may be implemented as separate hardware.
  • the far-end device 210 and the near-end device 230 may be installed at the transmitting side and the receiving side of each user equipment.
  • the first converter 211 may convert an analog signal provided through an input device such as a microphone into a digital signal.
  • the transmission processor 213 may perform various signal processing on the digital signal provided from the first converter 211. Examples of signal processing include, but are not limited to, noise reduction and echo reduction.
  • the encoder 215 may perform encoding on a signal provided from the transmission processor 213 using a predetermined codec.
  • the bitstream generated as a result of the encoding may be transmitted to a receiver through a transport channel or stored in a storage medium and used for decoding.
  • the decoder 231 may decode the received bitstream using a predetermined codec.
  • the signal changing unit 233 may change the decoded signal corresponding to the reception environment according to the environmental noise signal of the near-end terminal.
  • the signal changing unit 233 may change the decoded signal corresponding to the reception environment in response to the terminal state information such as the volume level and the user input related to the volume adjustment.
  • the signal changing unit 233 determines a band class related to improving clarity for each band of the noise signal and the voice signal, and based on the determined band class of the noise signal and the band class of the voice signal. Guide information for improvement may be generated, and the changed voice signal may be generated by applying the guide information to the voice signal.
  • the signal changing unit 233 determines a class related to clarity improvement based on the noise spectrum and the received speech spectrum of the receiving side or the near-end device, and based on the noise spectrum, the speech spectrum, and the determined class.
  • guide information for improving clarity may be generated, and the changed voice spectrum may be generated by applying the guide information to the voice spectrum.
  • guide information for example, gain information for each frequency bin, may be generated based on a noise spectrum, a speech spectrum, a speech spectrum reflecting the generated guide information, and a speech clarity model modeled from the determined class.
  • the reception processor 235 may perform various signal processing on the signal provided from the signal changer 233. Examples of signal processing include, but are not limited to, noise removal and high frequency recovery.
  • the second converter 237 may convert an analog signal from a signal provided from the reception processor 235.
  • the analog signal provided from the second converter 237 may be reproduced through a speaker or a receiver.
  • An example of the codec used in FIG. 2 is EVS.
  • FIG. 3 is a block diagram illustrating a configuration of a mobile communication device for voice communication in a packet network according to an embodiment.
  • the far-end device 310 includes a first converter 311, a transmission processor 313, an encoder 315, and a formatter ( 317, and the near-end device 330 may include a deformatter 431, a decoder 333, a signal changer 335, a reception processor 337, and a second converter 339.
  • Each component in the far-end device 310 and / or the near-end device 330 may be integrated into at least one processor, except that the components are to be implemented in separate hardware.
  • the far-end device 310 and the near-end device 330 may be installed at the transmitting side and the receiving side of the user equipment. Since the apparatus of FIG. 3 shares the components of FIG. 2 except for the formatter 317 and the deformatter 331, descriptions of redundant operations will be omitted.
  • the formatter 317 may format a Real-time Transport Protocol (RTP) payload packet for communication in a packet network using a bitstream provided from the encoder 315.
  • RTP Real-time Transport Protocol
  • the RTP payload packet generated by the formatter 317 may be transmitted to the receiver through a transport channel or stored in a storage medium and used for decoding.
  • the deformatter 331 may deformat the received RTP payload packet and extract necessary information.
  • necessary information include time stamp information, packet loss information, and an EVS bitstream.
  • the decoder 333 may include a Jitter Buffer Management (JBM) unit (not shown).
  • JBM Jitter Buffer Management
  • the decoder 333 may cancel network jitter using information extracted from the deformatter 331 and then perform a decoding process. have.
  • An example of the codec used in FIG. 3 is EVS.
  • FIG. 4 is a block diagram illustrating a configuration of a mobile communication device for a voice call according to another embodiment.
  • the transmitting module 410 includes a first converter 411, a transmitter 413, and an encoder 415.
  • the reception module 430 may include a decoder 431, a signal changer 433, a reception processor 435, and a second converter 437.
  • Each component in the transmitting module 410 and / or the receiving module 430 may be integrated into at least one processor except that the components are implemented in separate hardware.
  • the transmitting module 410 and the receiving module 430 may be installed at the transmitting side and the receiving side of the near end device. Since each component of FIG. 4 is the same as that of FIG.
  • the output parameters of the first converter 411 and the transmission processor 413 or the encoding parameters used in the encoder 415 are The signal changing unit 433 may be provided.
  • the signal change unit 433 may further receive terminal state information or user input related to volume control.
  • FIG. 5 is a block diagram illustrating a configuration of a mobile communication device for a voice call in a packet network according to another embodiment.
  • the apparatus illustrated in FIG. 5 includes a transmitting module 510 and a receiving module 530.
  • the transmitting module 510 includes a first converting unit 511, a transmitting processing unit 513, an encoding unit 515, and a formatter ( 517, and the reception module 530 may include a deformatter 531, a decoder 533, a signal changer 535, a reception processor 537, and a second converter 539.
  • Each component in the transmitting module 510 and / or the receiving module 530 may be integrally implemented with at least one processor except when the components are to be implemented in separate hardware.
  • the transmitting module 510 and the receiving module 530 may be installed on the transmitting side and the receiving side of the near end device. Since each component of FIG.
  • the receiving module 510 and the transmitting module 530 are included in one near-end device, signal processing of the first transforming unit 511, the transmitting processing unit 513, the encoding unit 515, and the formatter 517 is performed. Information obtained from the information may be provided to the signal changer 535. In addition, the signal changer 535 may further receive terminal state information or user input related to volume control.
  • FIG. 6 is a block diagram illustrating a configuration of a signal processing apparatus according to an exemplary embodiment, and may correspond to the signal changing units 233, 335, 433, and 535 of FIGS. 2 to 5.
  • the signal processing apparatus shown in FIG. 6 may be mounted on the near end device or the receiving module, or may be implemented as a separate module detachably from the terminal device.
  • the apparatus illustrated in FIG. 6 may include a mode determiner 610, a first intelligibility improving unit 630, and a second intelligibility improving unit 650.
  • the mode determiner 610 and the second intelligibility improving unit 650 may be provided as an option, and accordingly, the signal processing device may be implemented as the first intelligibility improving unit 630.
  • Intelligibility is a measure of the quality of speech, which may indicate how well the listener understands the syllables of the actual speech signal.
  • intelligibility is a measure of understanding the meaning of a word or sentence that is meaningful.
  • Intelligibility is also measured in terms of speech transmission index (STI) or direct-to-reflective ratio (D_50), but it is not proportional to objective sound quality such as signal-to-noise ratio and is subjective and perceptual. Can have Thus, clarity improvement may correspond to a method for improving subjective sound quality.
  • STI speech transmission index
  • D_50 direct-to-reflective ratio
  • the mode determination unit 610 may determine one of the first mode and the second mode by determining whether a volume up input is additionally received from the user. According to another embodiment, the mode determiner 610 may determine the first mode or the second mode when a disaster broadcast is received or an emergency situation such as a 119 call is detected.
  • the first mode may be referred to as a basic mode
  • the second mode may be referred to as an aggressive mode. According to the embodiment, the first mode is set by default.
  • the first intelligibility improving unit 630 operates when the mode determining unit 610 determines the first mode, determines a band class related to intelligibility improvement for each band of the noise signal and the voice signal, and determines the Based on the band class and the band class of the voice signal, guide information for improving clarity may be generated, and the changed voice signal may be generated by applying the guide information to the voice signal. At this time, signal processing may be performed to conserve the total energy of the frame. As a result, even if the voice signal is changed, the tone change can be minimized.
  • the first clarity improving unit 630 determines a class related to clarity improvement based on the noise spectrum and the received speech spectrum of the receiving side or the near-end device, and determines the class related to the clarity improvement. Based on this, guide information for improving clarity may be generated, and the changed voice spectrum may be generated by applying the guide information to the voice spectrum.
  • guide information for example, gain information for each frequency bin, may be generated based on a noise spectrum, a speech spectrum, a speech spectrum reflecting the generated guide information, and a speech clarity model modeled from the determined class.
  • the second intelligibility improving unit 650 operates when the mode determination unit 610 determines that the second mode is the same.
  • the second intelligibility improving unit 650 operates in the same manner as in the first intelligibility improving unit 630, but provides a predetermined ratio of the total energy of the frame. For example, signal processing may be performed to allow an increase of about 20%.
  • the second intelligibility improving unit 650 may additionally increase energy with respect to an active band of the effective bands for improving the intelligibility determined by the first intelligibility improving unit 630.
  • the second clarity improving unit 650 may set a constant of the Lim value or the TMN value used in the first clarity improving unit 630 to a larger value.
  • FIG. 7 is a block diagram illustrating a signal processing apparatus according to another exemplary embodiment, and may correspond to the signal changing units 233, 335, 433, and 535 of FIGS. 2 to 5.
  • the apparatus illustrated in FIG. 7 may include a noise reduction unit 710 and an intelligibility improvement unit 730.
  • the clearness improvement unit 730 may be implemented as shown in FIG. 6.
  • the noise reduction unit 710 may not be used depending on the needs of the terminal user or a condition such as a reception environment.
  • the noise reduction unit 710 may reduce or remove coding artifacts such as high frequency noise generated during an encoding process. According to another embodiment, the noise reduction unit 710 may reduce noise from the entire received signal by using the noise signal received through the microphone.
  • the clarity improvement unit 730 may improve the clarity of the decoded signal or the output signal of the noise reduction unit 710 based on the environmental noise signal of the near-end terminal.
  • the clarity improving unit 730 may further receive a user input related to the terminal state information and the volume up and operate in an aggressive mode.
  • the terminal state information may be related to whether the volume level reaches the maximum value
  • the user input may be related to whether the user presses the volume up button after the volume level reaches the maximum value.
  • the aggressive mode is activated when the volume up button is continuously pressed for a predetermined number of times after the volume level reaches the maximum value, or when the user presses the volume up button at least once within the predetermined time after the volume level reaches the maximum value.
  • a user may directly input a command for activating the aggressive mode through a user voice or through a user interface.
  • the aggressive mode may be activated even when the ambient noise level is higher than the preset maximum.
  • FIG. 8 is a block diagram illustrating a detailed configuration of the noise reduction unit 710 illustrated in FIG. 7.
  • the noise reduction unit 710 illustrated in FIG. 8 may include a bandwidth determiner 810 and a post processor 830, and may be implemented by at least one processor.
  • the bandwidth determiner 810 may detect an optimal coding bandwidth of a decoded signal based on the decoding band information, the decoding sampling frequency, and the decoding bit rate in order to determine the decoding bandwidth.
  • the decoding band information may include NB, WB, SWB or FB.
  • the post processor 830 may remove the high frequency noise transmitted in the encoding process by performing low pass filtering based on the optimum encoding bandwidth detected by the bandwidth determiner 810.
  • FIG. 9 is a view illustrating the operation of the noise reduction unit 710 illustrated in FIG. 7, and it can be seen that noise in the high frequency region is removed by performing low pass filtering based on the detected optimal coding bandwidth.
  • FIG. 10 is a diagram illustrating signals for generating far-end I / O and near-end I / O in the far-end device 1010 and the near-end device 1030, according to an embodiment. Accordingly, in order to improve clarity, the noise NI1 from the front or rear of the bottom or bottom and the noise NI2 from the front or rear of the top or top may be used. .
  • the receiving end output NO is a signal in which the transmitting end input voice signal FI is transmitted to the receiving end device through the network, and a final output signal NO1 is generated using the receiving end noise received through the microphone of the receiving end device.
  • FIG. 11 is a diagram illustrating signals for generating far-end I / O and near-end I / O in the far-end device 1110 and the near-end device 1130 according to another embodiment, and show an example in which three microphones are installed in a terminal. According to this, the noise from the first or second micro (NI1, NI2) located in the front or rear of the bottom or bottom and the noise from the third micro (NI3) located in the front or rear of the top or top for the improvement of clarity Can be used.
  • NI1, NI2 located in the front or rear of the bottom or bottom
  • NI3 the noise from the third micro
  • the signal processing apparatus according to the embodiment is not limited to the number and / or location of the microphones.
  • the initial output NO of the near-end device provided from the far-end device is changed to increase the volume based on the noise provided from at least one microphone to generate the final output NO1 of the near-end device. can do.
  • FIG. 12 is a block diagram illustrating a detailed configuration of a signal processing apparatus according to an exemplary embodiment, and may correspond to the first clarity improving unit 630 of FIG. 6 or the clarity improving unit 730 of FIG. 7.
  • the signal processing apparatus illustrated in FIG. 12 may include a band class determiner 1210, a guide information generator 1230, and a guide information applicator 1250. Each component may be integrated into at least one processor. Although not shown, a memory for storing an input / output signal may be further provided at a front end or a rear end of each component.
  • the band class determiner 1210 may determine a band class in order to select at least one valid band for clarity improvement with respect to a transmitted voice signal and a microphone input noise signal.
  • the band class may be determined based on psychoacoustic principles for the voice signal and the noise signal, respectively.
  • the guide information generator 1230 may generate guide information for clarity improvement based on the band class of the voice signal and the band class of the noise signal determined by the band class determiner 1210.
  • the guide information may include a valid band in which clarity improvement is performed and a change value for the valid band.
  • the effective band may vary in units of frames.
  • the guide information applying unit 1250 may generate the changed voice spectrum by applying the generated guide information to the voice spectrum.
  • FIG. 13 is a block diagram illustrating a detailed configuration of the band class determiner 1210 illustrated in FIG. 12 according to an embodiment.
  • the band class determiner 1210 illustrated in FIG. 13 includes a first masking threshold calculator 1310, a first band class determiner 1330, a signal analyzer 1350, and a second masking threshold calculator 1370.
  • the second band class determiner 1390 may be included.
  • Each component may be integrated into at least one processor.
  • a memory for storing an input / output signal may be further provided at a front end or a rear end of each component.
  • the first masking threshold calculator 1310 may estimate the voice masking threshold by analyzing the voice signal converted into the frequency domain.
  • the voice masking threshold may be calculated based on psychoacoustic principles, and may apply, for example, the method used in the Moving Picture Experts Group (MPEG) standard.
  • MPEG Moving Picture Experts Group
  • the voice masking threshold may have a different value for each band.
  • the first band class determiner 1330 may determine a class for each band of the voice signal based on the voice masking threshold obtained by the first masking threshold calculator 1310.
  • the first band class determiner 1330 classifies a donation band and a remaining band based on the frequency domain, and determines an active band or a band according to a comparison result between the energy of the voice signal and the voice masking threshold for the remaining bands. It can be classified as an in-active band.
  • the donation class corresponds to a band located in the low frequency region, and at least one band may be set from the lowest band.
  • the energy of the voice signal is greater than or equal to the masking threshold of the voice, it may be set to the active class, if it is small may be set to the inactive class.
  • the signal analyzer 1350 may extract a noise signal by analyzing a signal received from the microphone. Regarding noise signal extraction, various known methods may be applied.
  • the second masking threshold calculator 1370 may estimate the noise masking threshold by analyzing the noise signal provided from the signal analyzer 1350. Similarly, the noise masking threshold can be calculated based on psychoacoustic principles, for example applying the method used in the MPEG standard. The noise masking threshold may also have a different value for each band.
  • the second band class determiner 1390 may determine a class for each band of the noise signal based on the masking threshold calculated by the second masking threshold calculator 1370. At this time, it may be classified into an active band or an inactive band according to a comparison result between the energy of the noise signal and the noise masking threshold. If the energy of the noise signal is greater than or equal to the masking threshold of noise, it may be set to an active class, and if it is less, it may be set to an inactive class.
  • the band class of the noise signal can be used to determine the band class of the speech signal. According to another embodiment, a band corresponding to the donation band of the voice signal in the noise signal may be allocated as the inactive band.
  • signal analysis may be performed in units of frames or sub-frames.
  • a single frame or sub-frame may be processed in subband units.
  • the subbands may be configured in units of a critical band or a bark band, and the intervals between the subbands may be configured to be dense in the low band and to be written in the high band.
  • the signal analysis is performed on a frame basis.
  • the signal analyzer 1350 illustrated in FIG. 14 may include a voice activity detector 1410 and a noise signal estimator 1430.
  • the voice activity detector 1410 may detect voice activity with respect to a current frame input from a microphone. In this case, it is also possible to use signal activity instead of voice activity. Instead of the voice activity detector 1410, a VAD or SAD unit mounted inside the codec may be used.
  • the noise signal estimator 1430 classifies the current frame into an active frame or an in-actve frame according to a result of comparing the voice activity provided by the voice activity detector 1410 with a predetermined threshold. can do.
  • the active frame refers to a section in which the talker is speaking in the terminal, and the noise signal estimator 1430 may estimate the noise signal of the previous inactive frame as the noise signal of the current frame.
  • the inactive frame refers to a section in which the speaker does not speak, and the noise signal estimator 1430 may estimate the input signal of the microphone as the noise signal of the current frame.
  • FIG. 15 is a block diagram illustrating a detailed configuration of the guide information generation unit 1230 illustrated in FIG. 12.
  • the guide information generator 1230 illustrated in FIG. 15 may include a first energy calculator 1510, a second energy calculator 1530, and a change value calculator 1570.
  • the first energy calculator 1510 may calculate the boosting energy by comparing the total energy of voice and the total energy of noise.
  • the sum of energy of speech and the sum of energy of noise may be calculated using respective active bands.
  • the boosting energy can be determined by considering the level at which the voice can mask noise.
  • the noise can be determined in a similar manner in consideration of the level at which the voice can be masked.
  • tone masking noise ratio TMNR
  • NMTR noise masking tone ratio
  • the sum of energy of the voice may be calculated from the band set as the active class in the first band class determiner 1610.
  • the total energy of noise may be calculated from a band set as an active class in the second band class determiner 1630. Each sum of energy can be expressed in dB scale.
  • the boosting energy may be represented by Equation 1 below.
  • Equation 1 The parameter used in Equation 1 may be represented as in Equations 2 to 6 below.
  • Is the sum of the energy of the noise Is the sum of energy of speech
  • M th, N, dB are masking thresholds of noise
  • M th, T, dB are masking thresholds of speech, respectively.
  • b is a band index and k is an index representing the last donation band.
  • Band iT (k) indicates band information belonging to the active band of the voice signal when the last donation band is k
  • Band iN (k) indicates band information belonging to the active band of the noise signal when the last donation band is k.
  • B represents the total number of bands in the frame.
  • TMN dB (k) is related to the ratio of active bands in the noise signal
  • Lim dB (k) is related to the ratio of active bands in the voice signal. This means taking into account spectrum dynamics of the voice signal and the noise signal, respectively.
  • the second energy calculator 1530 may determine the donating energy based on the donation band.
  • the same donating energy may be allocated to each donation band.
  • the donating energy may be expressed by Equation 7 below.
  • Equation 8 D dB in Equation 2 may be expressed as Equation 8 below.
  • Is the total energy of the active band in the noise signal Denotes the total energy of the active band in the voice signal.
  • the change value calculator 1550 may perform smoothing using the boosted energy of the previous band with respect to the boosted energy of the current band in order to prevent sound quality deterioration. In this case, the smoothing process may be omitted for the donating energy of the current band.
  • Equation 9 the smoothing of the boosting energy for the band other than the donation band and the donating energy for the donation band.
  • the boosting band means an active band.
  • the change value calculation unit 1550 converts the smoothed boosting energy and the donating energy from the dB scale to the linear scale to calculate the sum of boosting energy and the donating energy of the frame, and calculates the change value for each band in consideration of the energy increment. can do.
  • a change value for each band for example, gain Gain (b) may be expressed by Equation 10 below.
  • E T, lin (b) represents the negative energy of the linear scale of the band (b).
  • the gain Gain (b) may be calculated based on the difference from the original voice energy.
  • the change value calculator 1550 may increase the number of donation bands and determine an allowable number of donation bands at a point where the total boosting energy is smaller than the total donating energy in the frame.
  • the sum of boosting energy ( ) Total donating energy corresponds to the allowable number of donation bands.
  • b is the band index and k is the index representing the last donation band.
  • Band iT (k) represents band information belonging to the active band of the voice signal when the last donation band is k, and the donation band may be performed by increasing the frequency from low to high frequency one by one.
  • the change value calculator 1550 adjusts the donation band based on the sum of boosting energy based on the sum of the donating energy, the active band and the inactive band are modified according to the modified donation band, and the band for the modified donation band and the active band.
  • the change value Gain (b) can be calculated. This allows the original signal to be maintained for inactive bands.
  • FIG. 16 is a diagram illustrating an operation of the guide information generation unit 1230 illustrated in FIG. 12.
  • step 1610 the donation band index k is set to one.
  • the boosting energy and the donating energy are calculated as in the first energy calculator 1510 and the second energy calculator 1530 of FIG. 15.
  • step 1690 when the comparison result of step 1650 is equal to or greater than the sum of boosting energy, the band index k that satisfies the condition is determined as the allowable number of donation bands in the frame. In consideration of this, a change value is calculated for each band.
  • FIG. 17 is a block diagram illustrating a detailed configuration of a signal processing apparatus according to another exemplary embodiment, and may correspond to the first clarity improving unit 630 of FIG. 6 or the clarity improving unit 730 of FIG. 7.
  • the signal processing apparatus shown in FIG. 17 may include a class determiner 1710, a prevailing level determiner 1730, a guide information generator 1750, and a guide information applier 17700. .
  • Each component may be integrated into at least one processor.
  • a memory for storing an input / output signal may be further provided at a front end or a rear end of each component.
  • the prevailing level determiner 1730 may be used as an option, and in this case, the speech intelligibility may not be considered when calculating the distortion D used in the model.
  • the class determiner 1710 may determine a class for each spectrum of a transmitted voice signal.
  • the class may be determined in units of frequency bins.
  • the voice signal and the noise signal are converted into the frequency domain, and the resulting voice spectrum and the noise spectrum may be provided to the class determiner 1710.
  • a transformation technique a discrete transform (DFT), a fast fourier transform (FFT), a modified discrete cosine transform (MDCT) + a modified discrete sine transform (MDST) may be used, but are not limited thereto.
  • the class determiner 1710 may compare the voice masking threshold value in units of frequency bins and set the class B to maintain the frequency bins unchanged if the size of the frequency bins is smaller than the voice masking threshold value. In other words, voices that are inaudible are kept intact.
  • the class determiner 1710 may compare the noise energy with the comfort noise level in units of frequency bins, and set the class B to maintain the frequency bin without change if the noise energy is less than the comfort noise level. In other words, if the noise level is small, the corresponding frequency bin is kept intact.
  • the class determiner 1710 may set the frequency bin to change to a class C when the voice energy E1 is larger than the noise energy E2 in units of frequency bins, for example, when E2 * 64 ⁇ E1. .
  • the frequency bins that do not correspond to the above classes B and C may be set to class A which changes size to increase or decrease.
  • For frequency bins set to class A change the frequency to be reduced if the frequency bin is smaller than the frequency threshold Th set to a specific frequency bin, or increase if the frequency bin is greater than or equal to the frequency threshold Th preset to a particular frequency bin. You can change it as much as possible.
  • the masking threshold of the voice may consider the absolute threshold of the voice signal itself.
  • the frequency threshold Th may be determined in consideration of the characteristics of the speaker, in which case too low frequency signal may be excluded.
  • the prevailing level determiner 1730 obtains a signal-to-noise ratio or an effective noise level from the noise spectrum, and determines the pre-baling level based on the signal-to-noise ratio or the effective noise level.
  • the effective noise level does not reflect the magnitude of actual noise present in the noise spectrum, but may be a large value compared to the magnitude of actual noise by reflecting psychoacoustic principles.
  • the prevailing level determiner 1730 may include a table in which a signal to noise ratio or an effective noise level and a prevailing level are mapped.
  • the guide information generator 1750 may generate a guide value by calculating a change value for each spectrum by inputting a voice spectrum, a noise spectrum, spectrum class information, and a prevailing level.
  • the guide information generator 1750 may calculate a change value for each spectrum based on a voice intelligibility (VI) model.
  • VI voice intelligibility
  • the general VI model may be defined as an algorithm for generating guide information used to generate Sp 'which minimizes the difference between the received voice signal Sp and the voice signal Sp' + N reflected with guide information in a noise reception environment. Can be.
  • the distortion D may be defined as [Sp ⁇ (Sp ′ + N)] 2
  • the constraints S may be defined as maintaining the total energy of the frame.
  • the VI model considers the determined class, and thus, a difference between the received voice signal S and the noise signal S * Gain reflecting the noise signal and the guide information to be generated, that is, It may be modeled to generate guide information (Gain) that minimizes the distortion (D).
  • the frequency threshold Th is moved from 0 to a specific frequency, for example, the last frequency bin, alpha ( ⁇ ) and beta ( ⁇ ) for minimizing D may be determined using the frequency threshold Th.
  • the guide information generator 1750 may use a general VI model that does not consider the interspectral importance, or may use a weighted VI model that considers the interspectral importance.
  • D may be defined as in Equation 12 based on the class of frequency bins.
  • alpha ⁇ represents a gain of a frequency bin smaller than the frequency threshold Th of frequency bins classified as class C and frequency bins classified as class A, for example, frequency bins of 0 to Th-1, not k.
  • Beta ( ⁇ ) represents the gain of frequency bins that are greater than or equal to the frequency threshold Th of the frequency bins classified as Class A, for example, frequency bins of Th through N-1 that are not k.
  • Gamma ⁇ represents the prevailing level for the transmitted voice signal X versus the noise signal Y of the microphone. k represents an inaudible frequency bin. If the prevailing level is not taken into account, the gamma ⁇ may be set to one.
  • Equation 12 Is a term for a frequency bin smaller than the frequency threshold Th of frequency bins classified as class C and frequency bins classified as class A, and the frequency bin is related to alpha ( ⁇ ) indicating energy reduction. Is a term for a frequency bin that is greater than or equal to the frequency threshold Th of frequency bins classified as class A, and the frequency bin is related to beta ( ⁇ ) indicating an increase in energy. Is a term for a frequency bin classified as class B, and that frequency bin is maintained without increasing or decreasing energy.
  • Equation 12 D in Equation 12 may be simplified as in Equation 13.
  • Equation 14 Equation 14
  • E represents the energy to increase or decrease in the frame.
  • Equation 15 a solution can be obtained based on Equation 15 below.
  • Equation 16 the energy conservation constraint may be represented as in Equation 16 below.
  • alpha ( ⁇ ) and beta ( ⁇ ) may be expressed as in Equation 17 by the optimum gain.
  • Equation 18 it can be expressed as in Equation 18 to determine the lambda parameter.
  • Alpha lambda (beta) and beta (beta) can be obtained by substituting lambda lambda obtained by the above equation (18) into equation (11).
  • the final alpha ( ⁇ ) and beta ( ⁇ ) can be determined by Equations 12 to 18, and as a result, a frequency threshold Th that minimizes D can be obtained.
  • the frequency threshold Th may be limited to a range greater than or equal to 1 kHz and smaller than Nyq_frq / 4. Where Nyq_frq represents the Nyquist frequency.
  • the frequency threshold Th may be limited to another range corresponding to the sampling rate.
  • the alpha ( ⁇ ) and the beta ( ⁇ ) are also adjusted, and the process of calculating D therefrom is repeated while the frequency threshold Th (D) is minimized.
  • ) Can be determined.
  • Alpha ( ⁇ ) and beta ( ⁇ ) are determined corresponding to the determined frequency threshold Th, where the final determined alpha ( ⁇ ) is the energy of class C, that is, the frequency bin determined by energy reduction and the frequency bin determined by class A.
  • the change value for the frequency bin determined as the decrease is represented, and the beta ( ⁇ ) represents the change value for the frequency bin determined as the energy increase among the frequency bins determined as Class A.
  • D may be defined as in Equation 19 based on the class of frequency bins.
  • Equation 19 differs in that the weight W is used when compared with Equation 12.
  • the weight W may be calculated based on the importance of the spectrum.
  • the importance may be relative or absolute. Relative importance can be obtained by utilizing previous spectra based on the unpredictability used in psychoacoustic models.
  • Equation 19 may be simplified as in Equation 20 below.
  • Equation 21 the optimization problem described above may be formulated as in Equation 21 below.
  • Equation 22 the energy conservation constraint may be represented as in Equation 22 below.
  • alpha ( ⁇ ) and beta ( ⁇ ) may be expressed as in Equation 24 according to the optimal gain.
  • Equation 25 it may be calculated as in Equation 25 to determine the lambda parameter.
  • Equation 21 can be formulated as shown in Equation 26 by including the weight in the constraint S.
  • Equation 27 a solution can be obtained as in Equation 27 below.
  • alpha ( ⁇ ) and beta ( ⁇ ) need to be changed as shown in Equation 28 below.
  • the final alpha ( ⁇ ) and beta ( ⁇ ) can be determined by Equations 19 to 28, and as a result, a frequency threshold Th that minimizes D can be obtained.
  • the frequency threshold Th may have a range greater than or equal to 1 kHz and smaller than Nyq_frq / 4, but is not limited thereto. Where Nyq_frq represents the Nyquist frequency.
  • the guide information generator 1750 may generate guide information for clarity improvement based on a variable value based on the VI model.
  • the guide information may include a change value for the effective frequency bin and the effective frequency bin on which clarity improvement is performed.
  • the effective frequency bin may vary in units of frames. Specifically, when a frequency threshold Th at which D is minimized is obtained based on the VI model, alpha ⁇ and beta ⁇ may be determined corresponding to the frequency threshold Th.
  • the final alpha ( ⁇ ) represents a spectral change value for the frequency bin determined by class C, that is, the energy bin determined by energy reduction, and the frequency bin determined by energy reduction, among the frequency bins determined by class A, and the beta ( ⁇ ) is determined by class A It represents the spectral change value for the frequency bin determined by the increase in energy among the frequency bins.
  • the guide information applying unit 1770 may secure additional energy from the excluded band by limiting the band in which the clarity is to be improved in the transmitted voice spectrum to a significant frequency band.
  • the frequency band in which clarity improvement is to be performed may be a band containing perceptually important information. Additional energy can be used in the VI model to influence gain determination. In this case, considering the SNR of the voice signal, a small value when the SNR is high and a large value when the SNR is low may be added to the additional energy. To this end, an energy storage scheme similar to the bitrate control of an audio codec may be utilized.
  • the guide information applying unit 1770 calculates an effective noise energy ratio in consideration of the long-term history to multiply the magnitude of the noise spectrum obtained from the microphone in order to prevent a sudden change in the noise signal. Can be used.
  • the guide information applying unit 1770 may apply a spectrum-specific change value obtained by the guide information generating unit 1750, for example, a gain to a group of frequency bins that need to reduce energy and a group of frequency bins that need to increase energy. Can be.
  • the guide information application unit 1770 may additionally apply a frame-by-frame gain, for example, a global gain, to each frequency bin to which the gain by spectrum is applied.
  • the gain for each frame may be set corresponding to the volume level of the terminal.
  • the guide information application unit 1770 may store a table in which the volume level of the terminal and the global gain are mapped.
  • 18 is a diagram illustrating an example of a class of frequency bins or spectral bins, where 1810 represents a class A, 1830 represents a class B, and 1850 represents a class bin.
  • FIG. 19 is a block diagram illustrating a detailed configuration of the guide information applying unit 1770 illustrated in FIG. 17 and may be applied to the guide information applying unit 1250 of FIG. 12.
  • the guide information applying unit 1770 illustrated in FIG. 19 may include a first gain applying unit 1910, a second gain applying unit 1930, and an inverse transform unit 1950.
  • the second gain applying unit 1930 may be disposed after the inverse transform unit 1950 to apply the global gain to the voice signal converted into the time domain.
  • the first gain applier 1910 may apply a local gain determined in units of frequency bins to a corresponding frequency bin.
  • the second gain applicator 1930 may apply a global gain set corresponding to the volume level of the terminal to each frequency bin to which the local gain is applied.
  • the inverse transform unit 1950 may perform inverse transform in the time domain on the frame including the frequency bin to which the global gain is applied in the second gain applying unit 1930. At this time,
  • gain can be applied to each frequency bin.
  • the guide information application unit 1770 may additionally apply a frame-by-frame gain, for example, a global gain, to each frequency bin to which the gain by spectrum is applied.
  • the gain for each frame may be set corresponding to the volume level of the terminal.
  • the first gain applying unit 1910 may apply the corresponding band to a local gain determined in band units. .
  • 20 is a block diagram showing a detailed configuration of a signal processing apparatus according to another embodiment.
  • the signal processing apparatus illustrated in FIG. 20 may include a first receiver 2010, a second receiver 2030, and a processor 2050.
  • the first receiver 2010 may receive a noise signal of a receiver or near-end device through a microphone.
  • the second receiver 2030 may receive a voice signal of the other party from the transmitting side or the far end device.
  • the processor 2050 may determine a class related to improving clarity of the voice signal based on the noise signal provided from the first receiver 2010 and the voice signal from the second receiver 2030. Based on the voice signal and the determined class, guide information for clarity improvement may be generated, and the changed voice signal may be generated by applying the guide information to the voice signal. According to another exemplary embodiment, the processor 2050 may determine a noise band provided from the first receiver 2010 and a band class related to clarity improvement for each band of the voice signal from the second receiver 2030, and determine the determined noise signal. Guide information for clarity improvement may be generated based on the band class and the band class of the speech signal, and the changed speech signal may be generated by applying the guide information to the speech signal.
  • 21 is a diagram for describing a method of generating a voice signal having improved clarity, according to an exemplary embodiment.
  • the noise reduction unit 710 of FIG. 7 reduces or removes the noise of the decoded signal or the other party's voice signal, and performs time alignment and framing of each signal to perform a time G frame sync with the clarity improvement unit 730 of FIG. 7. Can be adjusted.
  • the clarity improvement unit 730 of FIG. 7 may further perform noise signal change processing.
  • the noise signal changing unit performs time-frequency conversion 2110 on the noise signal and the output signal of the noise reducing unit 710, and based on the output signal of the noise reducing unit (710 of FIG. 7), the noise signal is changed in the frequency domain.
  • the spectrum can be modified 2120 to alter the noise signal. If the clarity improvement unit 730 of FIG. 7 does not perform the noise signal changing process, the noise signal may be used as it is.
  • the clarity improving unit 730 of FIG. 7 determines a spectrum-specific class of the converted speech signal based on the changed noise signal (2130), and generates speech signal change information based on the spectrum-specific class information of the speech signal (2140). The gain for each spectrum is output.
  • the speech signal change may be performed based on the speech intelligibility model.
  • FIG. 22 is a diagram for describing a method of generating a speech signal having improved clarity according to another exemplary embodiment.
  • the receiving end device 2200 further includes a preprocessor 2220 and a codec unit 2260 as compared with the embodiment of FIG. 21.
  • the receiving voice signal includes a noise-voice signal received through the first microphone 2211, a noise signal received through the second microphone, and the transmitting voice signal includes a voice signal transmitted from the transmitting terminal.
  • the information on the incoming call may include a codec type, a core mode of the codec, DTX information, and the like for the transmitter voice signal.
  • the preprocessor 2220 preprocesses the transmitted signal to obtain a voice signal, a noise signal, and an error signal, and transmits the received signal to the controller 2230 and the codec unit 2260, and transmits information about the received incoming call to the controller 2230. Transfer to codec unit 2260.
  • the preprocessor 2230 may include an echo canceller.
  • the encoder 2221 of the codec unit 2260 encodes the receiving end voice signal, and the decoder 2226 decodes the transmitting end voice signal.
  • the codec unit 2260 transmits the transmitting end voice signal s_f (n) decoded by the decoder to the controller 2230.
  • the controller 2230 controls the operations of the noise reducer 2250 and the clarity improver 2270 based on the receiver voice signal and the noise signal, the transmitter voice signal, and the call information.
  • the controller 2230 controls the output of the noise reduction unit 2250 and the power output of the clarity improvement unit 2270, or selectively controls the operations of the noise reduction unit 2250 and the clarity improvement unit 2270 according to the type of noise. Can be controlled to operate.
  • controller 2230 may determine the noise reduction information of the noise reduction unit 2250 or the clarity of the clarity improvement unit 2270 based on the receiver voice signal and the noise signal, the transmitter voice signal, and the call information.
  • the noise reduction unit 2250 may be configured in the same manner as the noise reduction unit 2250 of FIG. 7, or may apply various known techniques.
  • the intelligibility improvement unit 2270 improves intelligibility by processing the transmission end audio signal.
  • the intelligibility improvement unit 2270 uses the control signal transmitted from the control unit 2230 and the noise reduction signal transmitted from the noise reduction unit 2250 in order to improve the intelligibility of the transmitter voice signal.
  • FIG. 23 is a block diagram of a device employing a signal processing apparatus according to an embodiment.
  • the signal processing apparatus may be mounted in the sound quality improving unit 2330.
  • the device 2300 may include a transceiving unit 2310, a display unit 2320, a sound quality improving unit 2330, a control unit 2340, a storage unit 2350, an input unit 2360, and an output unit 2370. .
  • the transceiver 2310 transmits and receives data to and from another terminal connected through a network, receives an incoming call signal and a transmitter voice signal according to the incoming call from a transmitting end device (not shown), and receives the input unit 2360.
  • the receiving end voice signal of the receiving end noise signal environment acquired through the transmitting end device may be transmitted.
  • the transmitter / receiver 2310 transmits information on a receiver noise signal obtained through the input unit 2360 to the server (150 of FIG. 1), and at least one for improving the sound quality algorithm from the server 150. Parameters can be received.
  • the transceiver 2310 may receive a transmitter voice signal to which sound quality improvement preprocessing is applied from a transmitter device (not shown).
  • the display unit 2320 may provide a user with information on a state or setting of the device 2300 on which the signal processing apparatus is mounted, and may obtain a user input through a touch or the like. According to an embodiment, the display unit 2320 may obtain feedback information on the sound quality improvement performance from the user. According to another exemplary embodiment, the display unit 2320 may obtain context information about a call through a user input.
  • the sound quality improvement unit 2330 obtains at least one parameter for a sound quality improvement algorithm in a noise environment based on the voice signal stored in the storage unit 2350 and the receiver noise signal obtained through the input unit 2360.
  • context information about an incoming call may be additionally used, and a weight may be determined based on the context information.
  • the sound quality improving unit 2330 may improve the sound quality of the transmitting voice signal based on the combination of at least one parameter for the sound quality improving algorithm.
  • the controller 2340 controls the operation of the entire device 2300.
  • the controller 2340 and the sound quality improving unit 2330 may be implemented as one processor.
  • the storage unit 2350 may store at least one parameter for a sound quality improvement algorithm.
  • the input unit 2360 may acquire a receiver noise signal and a receiver voice signal, and may be implemented through a microphone.
  • the number of input units 2360 is not limited and is generally located near the user's mouth and near the ear.
  • the output unit 2370 may output a voice signal of the transmitter having improved sound quality and may be implemented through a speaker. According to an embodiment, the output unit 2370 may output an antiphase signal of the obtained receiver noise signal, and in this case, dynamic noise removal may be possible.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • Computer readable media may include both computer storage media and communication media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • Communication media typically includes computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transmission mechanism, and includes any information delivery media.
  • a “unit” or “module” may be a hardware component such as a processor or a circuit, and / or a software component executed by a hardware component such as a processor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

잡음환경에 적응적인 신호 처리방법은 수신측 혹은 근단 장치의 잡음 스펙트럼과 수신된 음성 스펙트럼에 기초하여, 명료도 개선과 관련된 클래스를 결정하는 단계, 상기 잡음 스펙트럼, 상기 음성 스펙트럼 및 상기 결정된 클래스에 기초하여, 명료도 개선을 위한 가이드 정보를 생성하는 단계, 및 상기 가이드 정보를 상기 음성 스펙트럼에 적용하여 변경된 음성 스펙트럼을 생성하는 단계를 포함한다.

Description

잡음 환경에 적응적인 신호 처리방법 및 장치와 이를 채용하는 단말장치
본 개시는 오디오 및/또는 스피치 신호 처리에 관한 것으로서, 보다 구체적으로는 수신단 혹은 근단(near-end)의 잡음 환경에 적응적으로 오디오 및/또는 스피치신호를 변경하기 위한 신호 처리 방법 및 장치와 이를 채용하는 단말장치에 관한 것이다.
다양한 배경 잡음이 존재하는 환경에서 모바일 기기를 이용하여 상대방과 음성 통화를 하게 되면 배경 잡음으로 인하여 상대방의 음성이 잘 들리지 않게 된다. 예를 들어, 지하철과 같이 소음이 큰 곳에서 통화하거나, 자동차가 다니는 길거리에서 통화하는 경우, 소음이 없는 조용한 곳에서 통화하는 것보다 상대방의 음성이 매우 작게 들리게 된다. 이와 같이 배경 잡음이 음성의 명료도 혹은 음질을 저하시키는 가장 큰 이유는 마스킹 효과(masking effect)에 의해 설명될 수 있다.
이와 같은 배경 잡음을 고려한 음성 처리 기법은 다양하며, 특히 원단(far-end)과 근단(near-end) 환경에 따라서 분류될 수 있다. 이 중, 원단 환경을 고려한 음성 처리 기법은 근단의 다양한 배경 잡음 환경을 고려하지 못하는 한계를 가지게 된다. 이에, 다양한 배경 잡음을 갖는 수신 환경을 고려하여, 원단 장치로부터 전송되거나 송신 모듈로부터 제공되는 음성신호를 근단 장치 혹은 수신 모듈의 사용자를 둘러싼 배경 잡음에 따라서 효율적으로 처리할 수 있는 기술을 필요로 한다.
해결하고자 하는 과제는 통화 품질을 개선하기 위하여, 수신측 혹은 근단에서 복호화된 신호의 명료도 및/또는 음질을 향상시키기 위하여, 복호화된 신호를 수신측 혹은 근단의 잡음 환경에 적응적으로 변경하기 위한 신호 처리방법 및 장치와 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 있다.
해결하고자 하는 과제는 상기한 신호 처리방법, 장치 혹은 기록매체를 채용한 단말장치를 제공하는데 있다.
일측면에 따른 신호 처리방법은 수신측 혹은 근단 장치의 잡음 스펙트럼과 수신된 음성 스펙트럼에 기초하여, 명료도 개선과 관련된 클래스를 결정하는 단계, 상기 잡음 스펙트럼, 상기 음성 스펙트럼 및 상기 결정된 클래스에 기초하여, 명료도 개선을 위한 가이드 정보를 생성하는 단계, 및 상기 가이드 정보를 상기 음성 스펙트럼에 적용하여 변경된 음성 스펙트럼을 생성하는 단계를 포함할 수 있다.
일측면에 따른 신호 처리방법은 수신측 혹은 근단 장치의 잡음 스펙트럼과 수신된 상대방의 음성 스펙트럼의 각 밴드에 대하여 명료도 개선과 관련된 밴드 클래스를 결정하는 단계, 상기 결정된 상기 잡음 스펙트럼의 밴드 클래스와 상기 음성 스펙트럼의 밴드 클래스에 기초하여 명료도 개선을 위한 가이드 정보를 생성하는 단계, 및 상기 가이드 정보를 상기 음성 스펙트럼에 적용하여 변경된 음성 스펙트럼을 생성하는 단계를 포함할 수 있다.
다른 측면에 따른 신호 처리장치는 마이크로폰을 통하여 수신측 혹은 근단 장치의 잡음신호를 수신하는 제1 수신부; 송신측 혹은 원단장치로부터 상대방의 음성신호를 수신하는 제2 수신부; 및 상기 잡음신호와 상기 음성 신호에 대하여 각각 상기 음성 신호의 명료도 개선과 관련된 클래스를 결정하고, 상기 잡음 스펙트럼, 상기 음성 스펙트럼 및 상기 결정된 클래스에 기초하여, 명료도 개선을 위한 가이드 정보를 생성하고, 상기 가이드 정보를 상기 음성 스펙트럼에 적용하여 변경된 음성 스펙트럼을 생성하는 프로세서를 포함할 수 있다.
다른 측면에 따른 신호 처리장치는 마이크로폰을 통하여 수신측 혹은 근단 장치의 잡음신호를 수신하는 제1 수신부; 송신측 혹은 원단장치로부터 상대방의 음성신호를 수신하는 제2 수신부; 및 상기 잡음 신호와 상기 음성 신호의 각 밴드에 대하여 명료도 개선과 관련된 밴드 클래스를 결정하고, 상기 결정된 상기 잡음 신호의 밴드 클래스와 상기 음성 신호의 밴드 클래스에 기초하여 명료도 개선을 위한 가이드 정보를 생성하고, 상기 가이드 정보를 상기 음성 신호에 적용하여 변경된 음성 신호를 생성하는 프로세서를 포함할 수 있다.
또 다른 측면에 따른 컴퓨터로 읽을 수 있는 기록매체는 상기 각 신호 처리방법을 실행할 수 있는 명령어를 기록할 수 있다.
또 다른 측면에 따른 단말장치는 화자의 음성신호 및/혹은 잡음신호를 포함하는 주변 환경 신호를 수신하는 적어도 하나의 마이크로폰, 및 수신측 혹은 근단 장치의 잡음 스펙트럼과 수신된 상대방의 음성 스펙트럼에 기초하여 명료도 개선과 관련된 클래스를 결정하고, 상기 잡음 스펙트럼, 상기 음성 스펙트럼 및 상기 결정된 클래스에 기초하여, 명료도 개선을 위한 가이드 정보를 생성하고, 상기 가이드 정보를 상기 음성 스펙트럼에 적용하여 변경된 음성 스펙트럼을 생성하여 스피커로 제공하는 프로세서를 포함할 수 있다.
수신측 혹은 근단의 잡음 환경에 적응적으로 통화 품질을 개선할 수 있다. 또한, 음색 변화를 최소화하면서 명료도 및/또는 음질을 향상시킬 수 있다. 또한, 단말의 볼륨 레벨과 사용자 입력에 기초한 사용자 의도에 대응하여 복호화된 오디오 및/또는 스피치 신호의 명료도를 개선할 수 있다.
도 1은 음성 통화를 위한 송수신단 및 패킷 네트워크의 구조를 나타낸다.
도 2는 일실시예에 따른 음성통화를 위한 이동통신장치의 구성을 나타내는 블록도이다.
도 3은 일실시예에 따른 패킷 네트워크에서 음성통화를 위한 이동통신장치의 구성을 나타내는 블록도이다.
도 4는 다른 실시예에 따른 음성통화를 위한 이동통신장치의 구성을 나타내는 블록도이다.
도 5는 다른 실시예에 따른 패킷 네트워크에서 음성통화를 위한 이동통신장치의 구성을 나타내는 블록도이다.
도 6은 일실시예에 따른 신호처리장치의 구성을 나타낸 블록도이다.
도 7은 다른 실시예에 따른 신호처리장치의 구성을 나타낸 블록도이다.
도 8은 도 7에 도시된 코딩아티팩트 감소부의 세부적인 구성을 나타낸 블록도이다.
도 9는 도 7에 도시된 코딩아티팩트 감소부의 작용을 설명하는 도면이다.
도 10은 일실시예에 따른 원단 장치와 근단 장치에서 원단 입출력 및 근단 입출력 생성을 위한 신호를 설명하는 도면이다.
도 11은 다른 실시예에 따른 원단 장치와 근단 장치에서 원단 입출력 및 근단 입출력 생성을 위한 신호를 설명하는 도면이다.
도 12는 일실시예에 따른 신호처리장치의 세부적인 구성을 나타낸 블록도이다.
도 13은 도 12에 도시된 밴드클래스 결정부의 일실시예에 따른 세부적인 구성을 나타낸 블록도이다.
도 14는 도 13에 도시된 신호 분석부의 일실시예에 따른 세부적인 구성을 나타낸 블록도이다.
도 15은 도 12에 가이드 정보 생성부의 일실시예에 따른 세부적인 구성을 나타낸 블록도이다.
도 16은 도 12에 도시된 가이드 정보 생성부의 동작을 설명하는 도면이다.
도 17는 다른 실시예에 따른 신호처리장치의 세부적인 구성을 나타낸 블록도이다.
도 18은 주파수 빈의 클래스의 예를 보여주는 도면이다.
도 19는 도 17에 도시된 가이드 정보 적용부의 일실시예에 따른 세부적인 구성을 나타낸 블록도이다.
도 20은 또 다른 실시예에 따른 신호처리장치의 세부적인 구성을 나타낸 블록도이다.
도 21은 일실시예에 따른 명료도가 개선된 음성 신호를 생성하는 방법을 설명하는 도면이다.
도 22 는 다른 실시예에 따른 명료도가 개선된 음성 신호를 생성하는 방법을 설명하는 도면이다.
도 23은 일실시예에 따른 신호처리장치가 채용되는 디바이스의 블록도이다.
본 개시는 다양한 변환을 가할 수 있고 여러가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 한정하려는 것이 아니며, 기술적 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해될 수 있다. 실시예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들이 용어들에 의해 한정되는 것은 아니다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 개시에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 한정하려는 의도가 아니다. 본 개시에서 사용한 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나 이는 당 분야에 종사하는 기술자의 의도, 판례, 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 개시에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 개시에서 처리되는 신호는 음악을 포함하는 오디오 신호, 스피치 신호, 오디오 신호와 스피치 신호의 혼합 신호 등이 있으나, 설명의 편의를 위하여 음성 신호(voice signal)로 칭하기로 한다.
한편, 본 개시에서는 신호는 슈퍼 프레임 단위, 프레임 단위 혹은 서브 프레임 단위로 처리될 수 있으나, 설명의 편의를 위하여 프레임 단위로 처리되는 것을 예로 들기로 한다.
이하, 실시예들을 첨부 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 개시에 따른 신호 처리장치가 적용되는 음성 통화를 위한 송수신단말 및 서버 네트워크의 구조를 나타낸다. 도 1에 사용되는 네트워크의 예로는 LTE(Long Term Evolution)가 있으며, LTE 네트워크에서의 패킷 기반 음성통화 서비스를 VoLTE(Voice over Long Term Evolution)라고 한다. 한편, 본 개시에 따른 신호 처리장치는 VoLTE 뿐만 아니라, 회선교환(Circuit Switching) 방식의 음성통화 서비스에도 적용될 수 있다.
일반적으로 음성통화가 이루어지기 위해서는, 송신단말과 송신단말이 접속된 Operator A의 네트워크와, 수신단말과 수신단말이 접속된 Operator B의 네트워크로 이루어진 네트워크 구조에서 송신단과 수신단간의 시그널링 경로(Signaling path)를 통해 통화조건 교섭과정이 선행될 수 있다. 통화조건 교섭과정을 통하여 전송율(Transmission rate), 코덱(Codec), 코덱 비트율(Codec bit rate), 샘플링 주파수(Fs), 대역폭(Bandwidth), 및 채널의 개수 중 적어도 하나 이상이 결정될 수 있다. 전송율은 실제 전송에 필요한 통신채널의 데이터량을 의미하며, 코덱은 실제로 사용되는 음성 코덱의 명칭을 의미할 수 있다. 코덱의 예로는 AMR(Adaptive Multi-Rate), AMR-WB(AMR-Wideband), EVS(Enhanced Voice Services), EVRC (Enhanced Variable Rate Codec) 등을 들 수 있으나, 이에 한정되지는 않는다. 코덱 비트율은 결정된 코덱에서 사용할 비트율을 의미하며, 교섭된 코덱 비트율에 따라 음성신호를 압축하고, 압축된 데이터는 패킷 네트워크를 통하여 수신단으로 전송될 수 있다. 각 코덱은 다양한 비트율을 갖는 복수의 모드로 이루어져 있으며, 각 모드에서 사용하는 비트율은 미리 정의될 수 있다. 샘플링 주파수는 코덱의 엔코더 입력신호 또는 디코더 출력신호의 샘플링 주파수를 의미한다. 대역폭은 신호의 대역폭을 의미하며 샘플링 주파수와 달리 실제 부호화가 일어나는 대역폭을 의미한다. EVS 코덱에서 지원하는 신호대역의 예로는 NB(20~4,000Hz), WB(20~8,000Hz), SWB(20~16,000Hz), 그리고 FB(20~20,000Hz)가 있으며, 각 샘플링 주파수에서 지원하는 대역보다 낮은 대역폭에 대하여 실제로 부호화가 가능하다. 예를 들어, 32kHz의 샘플링 주파수에서 지원이 가능한 대역은 FB, SWB, WB, NB이다. 그리고 채널의 개수는 모노 혹은 스테레오와 같이 부호화될 신호 혹은 복호화된 신호에서 지원하는 채널의 개수를 의미한다.
통화조건 교섭과정이 완료되면, 통화조건에 따라 송신단에서는 부호화가 이루어지며, 수신단에서는 복호화가 이루어질 수 있다. 부호화결과 생성되는 비트스트림은 미디어 경로(Media path)를 통하여 수신단으로 전송될 수 있다. VoLTE 서비스의 경우, 송신단에서 압축된 데이터는 모뎀을 통해 RAN(Radio Access Network)까지 무선으로 전송되며, RAN 이후는 유선으로 PS(Packet Switched) 도메인을 통해 상대방의 오퍼레이터로 전송이 이루어질 수 있다. 수신단이 사용하는 오퍼레이터는 송신단이 사용하는 오퍼레이터와 동일하거나 다를 수 있다.
도 1을 참조하면, 송신 단말(Tx Terminal, 110)은 송신단 장치에, 수신 단말(Rx Terminal, 130)은 수신단 장치에 해당한다. 후술하는 실시예에 따른 음질 및/또는 명료도 개선과 관련된 신호 처리 알고리즘은 송수신 단말(110, 130) 중 적어도 하나에 탑재되거나, 두 단말과 네트워크(170)로 연결된 서버(150)에 탑재될 수 있다. 한편, 실시예에 따른 신호처리 알고리즘은 송수신 단말(110, 130)과 서버(150)에 모두 탑재될 수 있다.
네트워크(170)는 송신 단말(110), 수신 단말(130) 및 서버(150)를 연결하는 역할을 수행한다. 네트워크(170)는 전용선, LAN, VAN, 인트라넷, 사설 전화망, 공중 전화망, PSTN 망 및 이들의 상호 조합을 포함하며, 도 1 에 도시된 각 네트워크 구성 주체가 서로 원활하게 통신을 할 수 있도록 하는 포괄적인 의미의 데이터 통신망으로, 유선 인터넷, 무선 인터넷 및 모바일 무선 통신망을 포함할 수 있다.
송신 단말(110) 및 수신 단말(130)은 후술하는 도 2 내지 도 5에 개시된 송수신 단말일 수 있으며 패킷 네트워크 구조를 이용할 수 있다.
통화 교섭이 완료되고 송신 단말(110)에 송신단 잡음 신호 및 송신단 음성 신호가 입력되면, 송신 단말(110)은 송신단 잡음에 대한 정보를 서버(150)로 전달할 수 있다. 통화 교섭이 완료되고 수신 단말(130)에 수신단 잡음 신호가 입력되면, 수신 단말(130)은 수신단 잡음에 대한 정보를 서버(150)로 전달할 수 있다. 또 다른 실시예에 따르면, 송신 단말 (110) 또는 수신 단말(130)은 각자의 통화에 대한 상황정보들을 추가로 서버(150)로 전달할 수 있다.
서버(150)는 송신 단말(110)로부터 수신된 송신단 잡음 정보에 기초하여 송신 단말(110)이 송신단 음성 신호의 음질을 개선하기 위하여 전처리부(113)에 적용될 음질 개선 알고리즘에 대한 적어도 하나의 파라미터를 결정할 수 있다. 한편, 서버(150)는 수신 단말(130)로부터 수신된 수신단 잡음 정보에 기초하여 수신 단말(130)이 송신단 음성 신호의 음질을 개선하기 위하여 후처리부(137)에 적용될 음질 개선 알고리즘에 대한 적어도 하나의 파라미터를 결정할 수 있다. 음질 개선 알고리즘에 대한 적어도 하나의 파라미터는 스펙트럼별 가이드 정보 혹은 이득 정보로 칭할 수 있으며, 후술하기로 한다.
서버(150)는 송신 단말(110)의 전처리부(113)에 적용될 음질 개선 알고리즘에 대한 적어도 하나의 파라미터가 결정되면, 음질 개선 알고리즘에 대한 적어도 하나의 파라미터를 송신 단말(110)로 전송한다. 송신 단말(110)은 서버(150)로부터 전송된 음질 개선 알고리즘에 대한 적어도 하나의 파라미터를 이용하여 전처리를 수행함으로써, 입력된 송신단 음성 신호의 음질 및/또는 명료도를 개선할 수 있다. 실시예에 따르면, 전처리 과정에는 잡음 억제 또는 에코 캔슬링이 포함될 수 있다. 송신 단말(110)은 전처리를 통해 음질 및/또는 명료도가 개선된 송신단 음성 신호를 수신 단말(130)로 전송한다.
또한, 서버(1850)는 수신 단말(130)의 후처리부(137)에 적용될 음질 개선 알고리즘에 대한 적어도 하나의 파라미터가 결정되면, 음질 개선 알고리즘에 대한 적어도 하나의 파라미터를 수신 단말(130)로 전송한다. 수신 단말(130)은 서버(150)로부터 전송된 음질 개선 알고리즘에 대한 적어도 하나의 파라미터가 결정되면, 음질 개선 알고리즘에 대한 적어도 하나의 파라미터를 이용하여 후처리를 수행함으로써, 송신 단말(110)로부터 수신된 송신단 음성 신호의 음질 및/또는 명료도를 개선할 수 있다. 실시예에 따르면, 후처리 과정에는 DyVE(Dynamic Voice Enhancement)가 더 포함될 수 있다.
송신 단말(110), 수신 단말(130) 및 서버(150)는 통신부, 제어부, 저장부, 프로세서, 디스플레이부 및 사용자 입력부를 더 포함할 수 있다(미도시).
도 2는 일실시예에 따른 음성통화를 위한 이동통신장치의 구성을 나타내는 블록도이다.
도 2에 도시된 장치는 원단(far-end) 장치(210)와 근단(near-end) 장치(230)로 이루어지며, 원단 장치(210)는 제1 변환부(211), 송신처리부(213)와 부호화부(215)를 포함하고, 근단 장치(230)는 복호화부(231), 신호 변경부(233), 수신처리부(235)와 제2 변환부(237)를 포함할 수 있다. 원단 장치(210) 및/또는 근단 장치(230)에서 각 구성요소는 별도의 하드웨어로 구현되어야 하는 경우를 제외하고는 적어도 하나의 프로세서로 일체화되어 구현될 수 있다. 원단 장치(210)와 근단 장치(230)는 각 사용자 장비(User Equipment)의 송신측과 수신측에 각각 설치될 수 있다.
도 2에 있어서, 제1 변환부(211)는 마이크로폰과 같은 입력장치를 통하여 제공되는 아날로그 신호를 디지털 신호로 변환할 수 있다.
송신처리부(213)는 제1 변환부(211)로부터 제공되는 디지털 신호에 대하여 다양한 신호처리를 수행할 수 있다. 신호처리의 예로는 노이즈 제거, 에코 저감 등이 있으나 이에 한정되는 것은 아니다.
부호화부(215)는 송신처리부(213)로부터 제공되는 신호에 대하여 미리 정해진 코덱을 이용하여 부호화를 수행할 수 있다. 부호화 결과 생성되는 비트스트림은 전송채널을 통하여 수신측으로 전송되거나 저장매체에 저장되어 복호화를 위하여 사용될 수 있다.
한편, 복호화부(231)는 수신된 비트스트림에 대하여 미리 정해진 코덱을 이용하여 복호화를 수행할 수 있다.
신호 변경부(233)는 근단 단말의 환경 잡음 신호에 따라서, 수신 환경에 대응하여 복호화된 신호를 변경할 수 있다. 신호 변경부(233)는 볼륨 레벨과 같은 단말 상태 정보와 볼륨 조정과 관련된 사용자 입력에 대응하여, 수신 환경에 대응하여 복호화된 신호를 변경할 수 있다. 일실시예에 따르면, 신호 변경부(233)는 잡음 신호와 음성 신호의 각 밴드에 대하여 명료도 개선과 관련된 밴드 클래스를 결정하고, 결정된 상기 잡음 신호의 밴드 클래스와 음성 신호의 밴드 클래스에 기초하여 명료도 개선을 위한 가이드 정보를 생성하고, 가이드 정보를 음성 신호에 적용하여 변경된 음성 신호를 생성할 수 있다.
다른 실시예에 따르면, 신호 변경부(233)는 수신측 혹은 근단 장치의 잡음 스펙트럼과 수신된 음성 스펙트럼에 기초하여, 명료도 개선과 관련된 클래스를 결정하고, 잡음 스펙트럼, 음성 스펙트럼 및 결정된 클래스에 기초하여, 명료도 개선을 위한 가이드 정보를 생성하고, 가이드 정보를 음성 스펙트럼에 적용하여 변경된 음성 스펙트럼을 생성할 수 있다. 이를 위하여, 잡음 스펙트럼, 음성 스펙트럼, 생성된 가이드 정보가 반영된 음성 스펙트럼 및 결정된 클래스로부터 모델링된 음성 명료도 모델에 기초하여 가이드 정보, 예를 들면 주파수 빈별 이득정보를 생성할 수 있다.
수신처리부(235)는 신호 변경부(233)로부터 제공되는 신호에 대하여 다양한 신호처리를 수행할 수 있다. 신호처리의 예로는 노이즈 제거, 고주파 복원 등이 있으나 이에 한정되는 것은 아니다.
제2 변환부(237)는 수신처리부(235)로부터 제공되는 신호를 아날로그 신호를 변환할 수 있다. 제2 변환부(237)로부터 제공되는 아날로그 신호는 스피커 또는 리시버를 통하여 재생될 수 있다.
도 2에서 사용되는 코덱의 예로는 EVS를 들 수 있다.
도 3은 일실시예에 따른 패킷 네트워크에서 음성통화를 위한 이동통신장치의 구성을 나타내는 블록도이다.
도 3에 도시된 장치는 원단 장치(310)와 근단 장치(330)로 이루어지며, 원단 장치(310)는 제1 변환부(311), 송신처리부(313), 부호화부(315)와 포매터(317)를 포함하고, 근단 장치(330)는 디포매터(431), 복호화부(333), 신호 변경부(335), 수신 처리부(337)와 제2 변환부(339)를 포함할 수 있다. 원단 장치(310) 및/또는 근단 장치(330)에서 각 구성요소는 별도의 하드웨어로 구현되어야 하는 경우를 제외하고는 적어도 하나의 프로세서로 일체화되어 구현될 수 있다. 원단 장치(310)와 근단 장치(330)는 사용자 장비(User Equipment)의 송신측과 수신측에 각각 설치될 수 있다. 도 3의 장치는 포매터(317)와 디포매터(331)를 제외하고는 도 2의 구성요소를 공유하고 있으므로, 중복적인 동작 설명은 생략하기로 한다.
도 3에 있어서, 포매터(317)는 부호화부(315)로부터 제공되는 비트스트림을 이용하여 패킷 네트워크에서의 통신을 위한 RTP(Real-time Transport Protocol) 페이로드 패킷으로 포맷팅할 수 있다. 포매터(317)에서 생성되는 RTP 페이로드 패킷은 전송채널을 통하여 수신측으로 전송되거나 저장매체에 저장되어 복호화를 위하여 사용될 수 있다.
한편, 디포매터(331)는 수신된 RTP 페이로드 패킷을 디포맷팅하여 필요한 정보를 추출할 수 있다. 필요한 정보의 예로는 타임 스탬프 정보, 패킷 손실 정보와 EVS 비트스트림 등을 들 수 있다.
한편, 복호화부(333)는 JBM(Jitter Buffer Management)부(미도시)를 포함할 수 있고, 디포매터(331)에서 추출된 정보를 이용하여 네트워크 지터를 상쇄한 다음, 복호화 처리를 수행할 수 있다.
도 3에서 사용되는 코덱의 예로는 EVS를 들 수 있다.
도 4는 다른 실시예에 따른 음성통화를 위한 이동통신장치의 구성을 나타내는 블록도이다.
도 4에 도시된 장치는 송신 모듈(410)과 수신 모듈(430)로 이루어지며, 송신 모듈(410)은 제1 변환부(411), 송신처리부(413)와 부호화부(415)를 포함하고, 수신 모듈(430)는 복호화부(431), 신호 변경부(433), 수신처리부(435)와 제2 변환부(437)를 포함할 수 있다. 송신 모듈(410) 및/또는 수신 모듈(430)에서 각 구성요소는 별도의 하드웨어로 구현되어야 하는 경우를 제외하고는 적어도 하나의 프로세서로 일체화되어 구현될 수 있다. 송신 모듈(410)와 수신 모듈(430)은 근단 장치의 송신측과 수신측에 설치될 수 있다. 도 4의 각 구성요소는 근단 장치의 수신모듈(410)과 송신모듈(430)에 포함된다는 점을 제외하고는 도 2에서와 동일하므로 세부적인 동작 설명은 생략하기로 한다. 한편, 수신모듈(410)과 송신모듈(430)이 하나의 근단 장치에 포함되므로, 제1 변환부(411) 및 송신처리부(413)의 출력신호 혹은 부호화부(415)에서 사용된 엔코딩 파라미터가 신호 변경부(433)로 제공될 수 있다. 또한, 신호 변경부(433)는 볼륨 제어와 관련된 단말 상태 정보 또는 사용자 입력을 더 수신할 수 있다.
도 5는 다른 실시예에 따른 패킷 네트워크에서 음성통화를 위한 이동통신장치의 구성을 나타내는 블록도이다.
도 5에 도시된 장치는 송신 모듈(510)과 수신 모듈(530)로 이루어지며, 송신 모듈(510)은 제1 변환부(511), 송신처리부(513), 부호화부(515)와 포매터(517)를 포함하고, 수신 모듈(530)는 디포매터(531), 복호화부(533), 신호 변경부(535), 수신처리부(537)와 제2 변환부(539)를 포함할 수 있다. 송신 모듈(510) 및/또는 수신 모듈(530)에서 각 구성요소는 별도의 하드웨어로 구현되어야 하는 경우를 제외하고는 적어도 하나의 프로세서로 일체화되어 구현될 수 있다. 송신 모듈(510)와 수신 모듈(530)은 근단 장치의 송신측과 수신측에 설치될 수 있다. 도 5의 각 구성요소는 근단 장치의 수신모듈(510)과 송신모듈(530)에 포함된다는 점을 제외하고는 도 3에서와 동일하므로 세부적인 동작 설명은 생략하기로 한다. 한편, 수신모듈(510)과 송신모듈(530)이 하나의 근단 장치에 포함되므로, 제1 변환부(511), 송신처리부(513), 부호화부(515)와 포매터(517)의 신호 처리과정으로부터 얻어진 정보가 신호 변경부(535)로 제공될 수 있다. 또한, 신호 변경부(535)는 볼륨 제어와 관련된 단말 상태 정보 또는 사용자 입력을 더 수신할 수 있다.
도 6은 일실시예에 따른 신호처리장치의 구성을 나타낸 블록도로서, 도 2 내지 도 5의 신호 변경부(233,335,433,535)에 대응될 수 있다. 도 6에 도시된 신호처리장치는 근단장치 혹은 수신모듈에 탑재되거나, 단말장치에 착탈식으로 별도의 모듈로 구현될 수 있다.
도 6에 도시된 장치는 모드 결정부(610), 제1 명료도 개선부(630)와 제2 명료도 개선부(650)를 포함할 수 있다. 여기서, 모드 결정부(610)와 제2 명료도 개선부(650)는 옵션으로 구비될 수 있으며, 이에 따르면 신호처리장치는 제1 명료도 개선부(630)로 구현될 수 있다.
명료도(intelligibility)는 음성의 품질을 나타내는 척도로 실제 음성 신호의 음절을 청취자가 얼마나 잘 이해하는지를 비율로 나타낼 수 있다. 또는, 명료도(intelligibility)는 의미가 있는 단어나 문장에 대한 이해도를 나타내는 척도로 명료도가 높아지면 이해도도 높아지는 관계에 있다.
명료도는 음성 전송 지수(STI, Speech Transmission Index)나 직접음 대 반사음비(D_50)등의 수치로 측정되기도 하지만, 신호대잡음비와 같은 객관적 음질과 비례하는 관계에 있지 않으며 청자에 따라 주관적이고 지각적인 특징을 가질 수 있다. 따라서, 명료도 개선은 주관적 음질을 향상시키기 위한 방법에 해당할 수 있다.
도 6을 참조하면, 모드 결정부(610)는 수신 볼륨이 설정된 최대치에 도달되었을 때, 사용자로부터 볼륨 업 입력이 추가적으로 수신되는지를 판단하여 제 모드와 제2 모드 중 하나를 결정할 수 있다. 다른 실시예에 따르면, 모드 결정부(610)는 재난방송이 수신되거나 119 통화와 같은 긴급 상황이 감지되면 제1 모드 혹은 제2 모드로 결정할 수 있다. 여기서, 제1 모드는 기본 모드(basic mode)로, 제2 모드는 어그레시브 모드(aggressive mode)로 칭할 수 있다. 실시예에 따르면, 제1 모드는 디폴트로 설정되어 있다.
제1 명료도 개선부(630)는 모드 결정부(610)에서 제1 모드로 결정된 경우 동작하며, 잡음 신호와 음성 신호의 각 밴드에 대하여 명료도 개선과 관련된 밴드 클래스를 결정하고, 결정된 상기 잡음 신호의 밴드 클래스와 음성 신호의 밴드 클래스에 기초하여 명료도 개선을 위한 가이드 정보를 생성하고, 가이드 정보를 음성 신호에 적용하여 변경된 음성 신호를 생성할 수 있다. 이때, 프레임의 전체 에너지가 보존되도록 신호 처리가 수행될 수 있다. 그 결과, 음성신호가 변경되더라도 음색 변화를 최소화시킬 수 있다.
다른 실시예에 따르면, 제1 명료도 개선부(630)는 수신측 혹은 근단 장치의 잡음 스펙트럼과 수신된 음성 스펙트럼에 기초하여, 명료도 개선과 관련된 클래스를 결정하고, 잡음 스펙트럼, 음성 스펙트럼 및 결정된 클래스에 기초하여, 명료도 개선을 위한 가이드 정보를 생성하고, 가이드 정보를 음성 스펙트럼에 적용하여 변경된 음성 스펙트럼을 생성할 수 있다. 이를 위하여, 잡음 스펙트럼, 음성 스펙트럼, 생성된 가이드 정보가 반영된 음성 스펙트럼 및 결정된 클래스로부터 모델링된 음성 명료도 모델에 기초하여 가이드 정보, 예를 들면 주파수 빈별 이득정보를 생성할 수 있다.
제2 명료도 개선부(650)는 모드 결정부(610)에서 제2 모드로 결정된 경우 동작하며, 제1 명료도 개선부(630)에서와 동일하게 동작하되, 프레임의 전체 에너지에 대한 소정 비율 예를 들면 20% 정도 증가가 허용되도록 신호 처리가 수행될 수 있다. 다른 실시예에 따르면, 제2 명료도 개선부(650)는 제1 명료도 개선부(630)에서 결정된 명료도 개선을 위한 유효 밴드 중 활성 밴드에 대하여 추가적으로 에너지를 증가시킬 수 있다. 다른 실시예에 따르면, 제2 명료도 개선부(650)는 제1 명료도 개선부(630)에서 사용되는 Lim 값 혹은 TMN 값의 상수를 좀 더 큰 값으로 설정할 수 있다.
도 7은 다른 실시예에 따른 신호처리장치의 구성을 나타낸 블록도로서, 도 2 내지 도 5의 신호 변경부(233,335,433,535)에 대응될 수 있다.
도 7에 도시된 장치는 잡음 감소부(710)와 명료도 개선부(730)를 포함할 수 있다. 여기서 명료도 개선부(730)는 도 6에서와 같이 구현될 수 있다. 한편, 단말 사용자의 필요 혹은 수신 환경 등 조건에 따라서 잡음 감소부(710)는 사용되지 않을 수 있다.
도 7을 참조하면, 잡음 감소부(710)는 부호화과정에서 생성된 고주파 잡음과 같은 코딩 아티팩트를 감소시키거나 제거할 수 있다. 다른 실시예에 따르면, 잡음 감소부(710)는 마이크로폰을 통해 수신된 잡음 신호를 이용하여, 전체 수신 신호로부터 잡음을 감소시킬 수 있다.
명료도 개선부(730)는 근단 단말의 환경 잡음 신호에 근거하여, 복호화된 신호 혹은 잡음 감소부(710)의 출력신호의 명료도를 개선시킬 수 있다. 이때, 명료도 개선부(730)는 단말 상태 정보와 볼륨 업과 관련된 사용자 입력을 추가로 수신하여 어그레시브 모드로 동작될 수 있다. 여기서, 단말 상태 정보는 볼륨 레벨이 최대치에 도달하였는지와 관련되며, 사용자 입력은 볼륨 레벨이 최대치에 도달한 이후 사용자가 볼륨 업 버튼을 눌렀는지와 관련될 수 있다. 이때, 볼륨 레벨이 최대치에 도달한 이후 연속적으로 소정 횟수 이상 볼륨 업 버튼을 누른 경우, 혹은 볼륨 레벨이 최대치에 도달한 이후 사용자가 소정 시간내에 볼륨 업 버튼을 적어도 한번 이상 누른 경우 어그레시브 모드가 활성화될 수 있다. 다른 실시예에 따르면, 어그레시브 모드를 활성화하기 위한 명령을 사용자 음성을 통하여 혹은 사용자 인터페이스를 통하여 사용자가 직접 입력할 수 있다. 다른 실시예에 따르면, 주변 잡음 레벨이 미리 설정된 최대치보다 높은 경우에도 어그레시브 모드가 활성화될 수 있다.
도 8은 도 7에 도시된 잡음 감소부(710)의 세부적인 구성을 나타낸 블록도이다.
도 8에 도시된 잡음 감소부(710)는 대역폭 결정부(810)와 후처리부(830)를 포함할 수 있으며, 적어도 하나의 프로세서로 구현될 수 있다.
도 8을 참조하면, 대역폭 결정부(810)는 디코딩 대역폭을 결정하기 위하여, 디코딩 대역 정보, 디코딩 샘플링 주파수 및 디코딩 비트율에 근거하여, 복호화된 신호의 최적 부호화 대역폭을 검출할 수 있다. 여기서, 디코딩 대역 정보로는 NB, WB, SWB 혹은 FB를 들 수 있다.
후처리부(830)는 대역폭 결정부(810)에서 검출된 최적 부호화 대역폭에 근거하여, 저역통과필터링을 수행함으로써 부호화과정에서 함께 전송된 고주파 잡음을 제거할 수 있다.
도 9는 도 7에 도시된 잡음 감소부(710)의 작용을 설명하는 도면으로서, 검출된 최적 부호화 대역폭에 근거하여 저역통과필터링을 수행함으로써 고주파 영역의 잡음이 제거됨을 알 수 있다.
도 10은 일실시예에 따른 원단 장치(1010)와 근단 장치(1030)에서 원단 입출력 및 근단 입출력 생성을 위한 신호를 설명하는 도면으로서, 단말에 마이크가 두개 설치된 예를 나타낸다. 이에 따르면, 명료도 개선을 위하여 하단 혹은 하단의 전면 혹은 후면에 위치하는 제1 마이크로부터의 잡음(NI1)과 상단 혹은 상단의 전면 혹은 후면에 위치하는 제3 마이크로부터의 잡음(NI2)가 사용될 수 있다.
수신단 출력 NO 는 송신단 입력 음성 신호 FI가 네트워크를 통해 수신단 장치로 전달된 신호로, 수신단 장치의 마이크로폰을 통해 수신된 수신단 잡음을 이용하여 최종 출력 신호인 NO1이 생성된다.
도 11은 다른 실시예에 따른 원단 장치(1110)와 근단 장치(1130)에서 원단 입출력 및 근단 입출력 생성을 위한 신호를 설명하는 도면으로서, 단말에 마이크가 세개 설치된 예를 나타낸다. 이에 따르면, 명료도 개선을 위하여 하단 혹은 하단의 전면 혹은 후면에 위치하는 제1 혹은 제2 마이크로부터의 잡음(NI1, NI2)과 상단 혹은 상의 전면 혹은 후면에 위치하는 제3 마이크로부터의 잡음(NI3)가 사용될 수 있다.
도 10 및 도 11에는 각각 2개의 마이크로폰와 3개의 마이크로폰을 예로 들었으나, 실시예에 따른 신호처리장치는 마이크로폰의 갯수 및/혹은 위치에 제한되지 않는다.
도 10 및 도 11에 따르면, 원단 장치로부터 제공되는 근단 장치의 초기 출력(NO)를 적어도 하나 이상의 마이크로폰로부터 제공되는 잡음을 기준으로 음량을 키우는 방향으로 변경하여 근단 장치의 최종 출력(NO1)을 생성할 수 있다.
도 12는 실시예에 따른 신호처리장치의 세부적인 구성을 나타낸 블록도로서, 도 6의 제1 명료도 개선부(630) 혹은 도 7의 명료도 개선부(730)에 대응될 수 있다.
도 12에 도시된 신호처리장치는 밴드클래스 결정부(1210), 가이드 정보 생성부(1230)와 가이드 정보 적용부(1250)를 포함할 수 있다. 각 구성요소는 적어도 하나의 프로세서로 일체화될 수 있다. 도시되진 않았으나, 각 구성요소의 전단 혹은 후단에 입출력신호를 저장하기 위한 메모리를 더 구비할 수 있다.
도 12를 참조하면, 밴드클래스 결정부(1210)는 전송되는 음성신호와 마이크로 입력되는 잡음신호에 대하여 명료도 개선을 위한 적어도 하나 이상의 유효한 밴드를 선택하기 위하여 밴드 클래스를 결정할 수 있다. 이때, 음성신호와 잡음신호에 대하여 각각 심리 음향학적 원리에 의거하여 밴드 클래스가 결정될 수 있다.
가이드 정보 생성부(1230)는 밴드 클래스 결정부(1210)에서 결정된 음성신호의 밴드 클래스와 잡음신호의 밴드 클래스에 기초하여, 명료도 개선을 위한 가이드 정보를 생성할 수 있다. 가이드 정보는 명료도 개선이 수행되는 유효 밴드와 유효 밴드에 대한 변경값을 포함할 수 있다. 유효 밴드는 프레임 단위로 달라질 수 있다.
가이드 정보 적용부(1250)는 생성된 가이드 정보를 음성 스펙트럼에 적용하여 변경된 음성 스펙트럼을 생성할 수 있다.
도 13은 도 12에 도시된 밴드클래스 결정부(1210)의 일실시예에 따른 세부적인 구성을 나타낸 블록도이다.
도 13에 도시된 밴드클래스 결정부(1210)는 제1 마스킹 임계치 산출부(1310), 제1 밴드 클래스 결정부(1330), 신호 분석부(1350), 제2 마스킹 임계치 산출부(1370)와 제2 밴드 클래스 결정부(1390)을 포함할 수 있다. 각 구성요소는 적어도 하나의 프로세서로 일체화될 수 있다. 도시되진 않았으나, 각 구성요소의 전단 혹은 후단에 입출력신호를 저장하기 위한 메모리를 더 구비할 수 있다.
도 13을 참조하면, 제1 마스킹 임계치 산출부(1310)는 주파수 도메인으로 변환된 음성 신호를 분석하여 음성 마스킹 임계치를 추정할 수 있다. 음성 마스킹 임계치는 심리음향학적 원리에 의거하여 산출될 수 있으며, 일예를 들면 MPEG(Moving Picture Experts Group) 표준에서 사용되는 방식을 적용할 수 있다. 음성 마스킹 임계치는 밴드별로 다른 값을 가질 수 있다.
제1 밴드 클래스 결정부(1330)는 제1 마스킹 임계치 산출부(1310)에서 얻어진 음성 마스킹 임계치에 근거하여, 음성 신호의 각 밴드에 대한 클래스를 결정할 수 있다. 제1 밴드 클래스 결정부(1330)는 주파수 영역에 기초하여 도네이션 밴드(donation)와 나머지 밴드로 분류하고, 나머지 밴드에 대하여 음성 신호의 에너지와 음성 마스킹 임계치간의 비교 결과에 따라서 활성(active) 밴드 혹은 비활성(in-active) 밴드로 분류할 수 있다. 구체적으로, 도네이션 클래스는 저주파 영역에 위치하는 밴드가 해당되며 가장 낮은 대역에서부터 적어도 하나 이상의 밴드가 설정될 수 있다. 한편, 음성신호의 에너지가 음성의 마스킹 임계치보다 크거나 같으면 활성 클래스로 설정되고, 작으면 비활성 클래스로 설정될 수 있다.
신호 분석부(1350)는 마이크로폰으로부터 수신되는 신호를 분석하여 잡음신호를 추출할 수 있다. 잡음신호 추출과 관련해서는 공지된 다양한 방식이 적용될 수 있다.
제2 마스킹 임계치 산출부(1370)는 신호 분석부(1350)로부터 제공되는 잡음 신호를 분석하여 잡음 마스킹 임계치를 추정할 수 있다. 마찬가지로, 잡음 마스킹 임계치는 심리음향학적 원리에 의거하여 산출될 수 있으며, 일예를 들면 MPEG 표준에서 사용되는 방식을 적용할 수 있다. 잡음 마스킹 임계치 또한 밴드별로 다른 값을 가질 수 있다.
제2 밴드 클래스 결정부(1390)는 제2 마스킹 임계치 산출부(1370)에서 산출된 마스킹 임계치에 근거하여, 잡음 신호의 각 밴드에 대한 클래스를 결정할 수 있다. 이때, 잡음 신호의 에너지와 잡음 마스킹 임계치간의 비교 결과에 따라서 활성 밴드 혹은 비활성 밴드로 분류할 수 있다. 잡음신호의 에너지가 잡음의 마스킹 임계치보다 크거나 같으면 활성 클래스로 설정되고, 작으면 비활성 클래스로 설정될 수 있다. 잡음 신호의 밴드 클래스는 음성 신호의 밴드 클래스를 결정하는데 사용될 수 있다. 다른 실시예에 따르면, 잡음 신호에서 음성 신호의 도네이션 밴드에 대응하는 밴드를 비활성 밴드로 할당할 수 있다.
도 14는 도 13에 도시된 신호 분석부(1350)의 일실시예에 따른 세부적인 구성을 나타낸 블록도이다. 여기서, 신호 분석은 프레임 혹은 서브-프레임 단위로 수행될 수 있다. 또한, 단일 프레임 혹은 서브-프레임에 대하여 서브밴드 단위로 처리할 수도 있다. 여기서, 서브밴드는 임계밴드 혹은 바크밴드 단위로 구성할 수 있으며, 서브밴드간 간격이 저대역에서는 조밀하고 고대역에서는 듬성해지도록 구성할 수 있다. 이하에서는 프레임 단위로 신호 분석이 수행되는 것을 예로 들기로 한다.
도 14에 도시된 신호 분석부(1350)는 음성활동도 검출부(Voice Activity Detector, 1410)와 잡음신호 추정부(1430)을 포함할 수 있다.
도 14를 참조하면, 음성활동도 검출부(1410)는 마이크로폰으로부터 입력되는 현재 프레임에 대하여 음성활동도(voice activity)를 검출할 수 있다. 이때, 음성활동도 대신 신호활동도(signal activity)를 사용하는 것도 가능하다. 한편, 음성활동도 검출부(1410) 대신 코덱 내부에 탑재된 VAD 혹은 SAD 유니트를 이용할 수도 있다.
잡음신호 추정부(1430)는 음성활동도 검출부(1410)로부터 제공되는 음성활동도와 소정 임계치와의 비교결과에 따라서, 현재 프레임을 활성 프레임(active frame) 혹은 비활성 프레임(in-actve frame)으로 분류할 수 있다. 활성 프레임은 근간 단말에서 화자가 말을 하고 있는 구간을 의미하며, 이때 잡음신호 추정부(1430)는 이전 비활성 프레임의 잡음 신호를 현재 프레임의 잡음 신호로 추정할 수 있다. 한편, 비활성 프레임은 화자가 말을 하지 않는 구간을 의미하며, 이때 잡음신호 추정부(1430)는 마이크로폰의 입력신호를 현재 프레임의 잡음 신호로 추정할 수 있다.
도 15는 도 12에 도시된 가이드 정보 생성부(1230)의 일실시예에 따른 세부적인 구성을 나타낸 블록도이다.
도 15에 도시된 가이드 정보 생성부(1230)는 제1 에너지 계산부(1510), 제2 에너지 계산부(1530)와 변경값 산출부(1570)을 포함할 수 있다.
도 15를 참조하면, 제1 에너지 계산부(1510)는 음성의 에너지 총합과 잡음의 에너지 총합을 비교하여 부스팅 에너지를 산출할 수 있다. 이때, 음성의 에너지 총합과 잡음의 에너지 총합은 각각의 활성 밴드를 이용하여 산출될 수 있다. 부스팅 에너지는 음성이 잡음을 마스킹할 수 있는 수준을 고려하여 결정될 수 있다. 또한, 유사한 방법으로 잡음이 음성을 마스킹할 수 있는 수준을 고려하여 결정될 수 있다. 이를 위하여 음성을 심리음향에서 톤 신호로 가정하여 산출되는 TMNR(Tone Masking Noise Ratio) 또는 NMTR(Noise Masking Tone Ratio)를 이용할 수 있다. 음성의 에너지 총합은 제1 밴드클래스 결정부(1610)에서 활성 클래스로 설정된 밴드로부터 산출될 수 있다. 잡음의 에너지 총합은 제2 밴드클래스 결정부(1630)에서 활성 클래스로 설정된 밴드로부터 산출될 수 있다. 각 에너지 총합은 dB 스케일로 표현될 수 있다.
일예를 들면, 부스팅 에너지는 하기 수학식 1과 같이 나타낼 수 있다.
수학식 1
Figure PCTKR2017006728-appb-M000001
수학식 1에서 사용된 파라미터는 하기 수학식 2 내지 6과 같이 나타낼 수 있다.
수학식 2
Figure PCTKR2017006728-appb-M000002
수학식 3
Figure PCTKR2017006728-appb-M000003
수학식 4
Figure PCTKR2017006728-appb-M000004
수학식 5
Figure PCTKR2017006728-appb-M000005
수학식 6
Figure PCTKR2017006728-appb-M000006
여기서,
Figure PCTKR2017006728-appb-I000001
는 잡음의 에너지 총합,
Figure PCTKR2017006728-appb-I000002
는 음성의 에너지 총합, Mth,N, dB는 잡음의 마스킹 임계치, Mth,T,dB는 음성의 마스킹 임계치를 각각 나타낸다. 한편, b는 밴드 인덱스, k는 마지막 도네이션 밴드를 나타내는 인덱스이다. BandiT(k)는 마지막 도네이션 밴드가 k인 경우 음성신호의 활성 밴드에 속하는 밴드 정보, BandiN(k)는 마지막 도네이션 밴드가 k인 경우 잡음신호의 활성 밴드에 속하는 밴드 정보를 나타낸다. B는 프레임의 전체 밴드의 수를 나타낸다. TMNdB(k)는 잡음신호에서 활성 밴드의 비율과 관련있으며, LimdB(k)는 음성신호에서 활성 밴드의 비율과 관련있다. 이는 음성신호와 잡음신호 각각의 스펙트럼 다이나믹스(spectrum dynamics)를 고려하는 것을 의미한다.
제2 에너지 계산부(1530)는 도네이션 밴드를 기준으로 하여 도네이팅 에너지를 결정할 수 있다. 이때, 각 도네이션 밴드에 대하여 동일한 값의 도네이팅 에너지를 할당할 수 있다. 일예를 들면, 도네이팅 에너지를 하기 수학식 7과 같이 나타낼 수 있다.
수학식 7
Figure PCTKR2017006728-appb-M000007
수학식 2에서 DdB는 하기 수학식 8과 같이 나타낼 수 있다.
수학식 8
Figure PCTKR2017006728-appb-M000008
여기서,
Figure PCTKR2017006728-appb-I000003
는 잡음신호에 있는 활성 밴드 전체 에너지,
Figure PCTKR2017006728-appb-I000004
는 음성신호에 있는 활성 밴드 전체 에너지를 나타낸다.
변경값 산출부(1550)는 음질 열화를 방지하기 위하여, 현재 밴드의 부스팅 에너지에 대하여 이전 밴드의 스무딩된 부스팅 에너지를 이용하여 스무딩을 수행할 수 있다. 이때, 현재 밴드의 도네이팅 에너지에 대해서는 스무딩 처리가 생략될 수 있다.
일예를 들면, 도네이션 밴드 이외의 밴드에 대한 부스팅 에너지와 도네이션 밴드에 대한 도네이팅 에너지의 스무딩은 하기 수학식 9와 같이 나타낼 수 있다.
수학식 9
Figure PCTKR2017006728-appb-M000009
여기서, 부스팅 밴드는 활성 밴드를 의미한다.
변경값 산출부(1550)는 스무딩된 부스팅 에너지와 도네이팅 에너지를 dB 스케일에서 리니어 스케일로 변환하여 프레임의 부스팅 에너지 총합과 도네이팅 에너지 총합을 산출하고, 에너지 증감분을 고려하여 밴드별로 변경값을 산출할 수 있다.
일예를 들면, 밴드별 변경값 예를 들면 이득 Gain(b)는 하기 수학식 10과 같이 나타낼 수 있다.
수학식 10
Figure PCTKR2017006728-appb-M000010
여기서, ET,lin(b)는 밴드(b)의 리니어 스케일의 음성 에너지를 나타낸다.
수학식 4에 따르면, 음성 에너지에 스무딩된 부스팅 에너지 혹은 도네이팅 에너지를 리니어 스케일로 변환한 값을 추가한 후, 원래의 음성 에너지와의 차이에 근거하여 이득 Gain(b)이 산출될 수 있다.
한편, 변경값 산출부(1550)는 도네이션 밴드의 갯수를 늘려가면서, 프레임에서 부스팅 에너지 총합이 도네이팅 에너지 총합보다 작게 되는 지점에서 허용가능한 도네이션 밴드의 갯수를 결정할 수 있다.
이는 하기 수학식 11과 같이 나타낼 수 있다.
수학식 11
Figure PCTKR2017006728-appb-M000011
즉, 부스팅 에너지 총합(
Figure PCTKR2017006728-appb-I000005
)이 도네이팅 에너지 총합(
Figure PCTKR2017006728-appb-I000006
)보다 작게 되는 지점의 k값이 허용가능한 도네이션 밴드의 갯수에 해당한다. 여기서, b는 밴드 인덱스, k는 마지막 도네이션 밴드를 나타내는 인덱스이다. BandiT(k)는 마지막 도네이션 밴드가 k인 경우 음성신호의 활성 밴드에 속하는 밴드 정보를 나타내며, 도네이션 밴드는 저주파에서 고주파로 하나씩 증가시켜 가면서 상기 수학식 5를 수행할 수 있다.
변경값 산출부(1550)는 부스팅 에너지 총합이 도네이팅 에너지 총합에 근거하여 도네이션 밴드를 수정하고, 수정된 도네이션 밴드에 따라서 활성 밴드와 비활성 밴드가 수정되고, 수정된 도네이션 밴드와 활성 밴드에 대하여 밴드별 변경값 Gain(b)을 산출할 수 있다. 이에 따르면 비활성 밴드에 대해서는 원래의 신호가 유지될 수 있다.
도 16은 도 12에 도시된 가이드 정보 생성부(1230)의 동작을 설명하는 도면이다.
도 16을 참조하면, 1610 단계에서는 도네이션 밴드 인덱스 k를 1로 설정한다.
1630 단계에서는 도 15의 제1 에너지 계산부(1510)와 제2 에너지 계산부(1530)에서와 같이 부스팅 에너지와 도네이팅 에너지를 산출한다.
1650 단계에서는 도 15의 변경값 산출부(1550)에서와 같이 프레임의 부스팅 에너지 총합과 도네이팅 에너지 총합을 비교한다.
1670 단계에서는 1650 단계에서의 비교결과 도네이팅 에너지 총합이 부스팅 에너지 총합보다 작은 경우, 도네이션 밴드 인덱스를 1만큼 증가시켜 1630 단계로 이행한다.
1690 단계에서는 1650 단계에서의 비교결과 도네이팅 에너지 총합이 부스팅 에너지 총합보다 크거나 같은 경우, 해당 조건을 만족하는 밴드 인덱스 k를 프레임내에서 허용가능한 도네이션 밴드의 갯수로 결정하고, 이에 근거하여 에너지 증감분을 고려하여 밴드별로 변경값을 산출한다.
도 17는 다른 실시예에 따른 신호처리장치의 세부적인 구성을 나타낸 블록도로서, 도 6의 제1 명료도 개선부(630) 혹은 도 7의 명료도 개선부(730)에 대응될 수 있다.
도 17에 도시된 신호처리장치는 클래스 결정부(1710), 프리베일링레벨(prevailing level) 결정부(1730), 가이드 정보 생성부(1750)와 가이드 정보 적용부(17700)를 포함할 수 있다. 각 구성요소는 적어도 하나의 프로세서로 일체화될 수 있다. 도시되진 않았으나, 각 구성요소의 전단 혹은 후단에 입출력신호를 저장하기 위한 메모리를 더 구비할 수 있다. 여기서, 프리베일링레벨 결정부(1730)는 옵션으로 사용될 수 있으며, 이 경우 음성 명료도 모델에서 사용되는 왜곡(D) 산출시 고려되지 않을 수 있다.
도 17을 참조하면, 클래스 결정부(1710)는 전송되는 음성신호의 각 스펙트럼별로 클래스를 결정할 수 있다. 일실시예에 따르면, 주파수 빈 단위로 클래스를 결정할 수 있다. 이를 위하여 음성신호와 잡음신호를 주파수 도메인으로 변환하고, 그 결과 얻어지는 음성 스펙트럼과 잡음 스펙트럼이 클래스 결정부(1710)에 제공될 수 있다. 변환 기법으로는, DFT(Discrete Transform), FFT(Fast Fourier Transform), MDCT(Modified Discrete Cosine Transform) + MDST(Modified Discrete Sine Transform)를 사용할 수 있으나 이에 한정되지 않는다. 클래스 결정부(1710)는 주파수 빈 단위로 음성의 마스킹 임계치와 비교하고, 주파수 빈의 크기가 음성의 마스킹 임계치보다 작으면 해당 주파수 빈은 변경없이 그대로 유지하는 클래스 B로 설정할 수 있다. 즉, 들리지 않는 음성이라도 원래대로 유지하게 된다. 클래스 결정부(1710)는 주파수 빈 단위로 잡음 에너지를 컴포트 노이즈 레벨과 비교하고, 잡음 에너지가 컴포트 노이즈 레벨보다 작으면 해당 주파수 빈은 변경없이 그대로 유지하는 클래스 B로 설정할 수 있다. 즉, 잡음 레벨이 작으면 해당 주파수 빈은 원래대로 유지하게 된다. 클래스 결정부(1710)는 주파수 빈 단위로 음성 에너지(E1)가 잡음 에너지(E2)보다 크면, 예를 들어 E2*64 < E1이면 해당 주파수 빈은 크기가 감소되도록 변경하는 클래스 C로 설정할 수 있다. 한편, 상기한 클래스 B 및 C에 해당하지 않는 주파수 빈은 크기가 증가 혹은 감소되도록 변경하는 클래스 A로 설정할 수 있다. 클래스 A로 설정된 주파수 빈인 경우, 특정 주파수 빈으로 설정된 주파수 임계치(Th)보다 주파수 빈이 작으면 크기가 감소되도록 변경하거나, 특정 주파수 빈으로 미리 설정된 주파수 임계치(Th)보다 주파수 빈이 크거나 같으면 크기가 증가되도록 변경할 수 있다. 이때, 음성의 마스킹 임계치는 음성신호 자체의 절대 임계치(absolute threshold)를 고려할 수 있다. 한편, 주파수 임계치(Th)는 스피커의 특성을 고려하여 결정될 수 있고, 이때 너무 낮은 주파수 신호는 배제될 수 있다.
프리베일링레벨 결정부(1730)는 잡음 스펙트럼으로부터 신호대 잡음비 혹은 유효 노이즈 레벨을 구하고, 신호대 잡음비 혹은 유효 노이즈 레벨에 근거하여 프리베일링 레벨을 결정할 수 있다. 신호대 잡음비 혹은 유효 노이즈 레벨이 클수록 프리베일링 레벨이 큰 값을 갖게 되고, 프리베일링 레벨이 클수록 음성신호의 변경 정도가 클 수 있다. 즉, 프리베일링 레벨이 클수록 음성신호의 에너지 증가폭이 커질 수 있다. 유효 노이즈 레벨은 잡음 스펙트럼에 존재하는 실제 잡음의 크기를 그대로 반영하는 것이 아니라, 심리 음향학적 원리를 반영함으로써 실제 잡음의 크기에 비하여 큰 값이 될 수 있다. 프리베일링레벨 결정부(1730)는 신호대 잡음비 혹은 유효 노이즈 레벨과 프리베일링레벨을 매핑시킨 테이블을 포함할 수 있다.
가이드 정보 생성부(1750)는 음성 스펙트럼, 잡음 스펙트럼, 스펙트럼 클래스 정보 및 프레베일링 레벨을 입력으로 하여 스펙트럼별 변경값을 산출하여 가이드 정보로 생성할 수 있다. 가이드 정보 생성부(1750)는 음성 명료도(Voice Intelligibility; VI) 모델(Model)에 기초하여 스펙트럼별 변경값을 산출할 수 있다. 일반적인 VI 모델은 수신된 음성신호(Sp)와 잡음 수신환경에서 가이드 정보가 반영된 음성신호(Sp'+N)과의 차이를 최소화하는 Sp'를 생성하는데 사용되는 가이드 정보를 생성하는 알고리즘으로 정의될 수 있다. 왜곡(D)는 [Sp - (Sp'+N)]2로 정의하고, 제약(constraints, S)는 프레임의 전체 에너지를 유지하는 것으로 정의할 수 있다. 좀 더 구체적으로 설명하면, VI 모델은 결정된 클래스를 고려하여, 수신된 음성신호(S)와 잡음신호(Noise) 및 생성될 가이드 정보(Gain)가 반영된 음성신호(S*Gain) 간의 차이 즉, 왜곡(D)을 최소화하는 가이드 정보(Gain)를 생성하기 위하여 모델링될 수 있다.
최적화 문제는 라그랑지 승수(Lagrange Multiplier)를 통하여 L = D + λS 와 같이 표현하고, D를 최소화하는 α와 β를 결정할 수 있다. 이때, 주파수 임계치(Th)를 0에서부터 특정 주파수, 예를 들면 마지막 주파수 빈까지 이동하면서, D를 최소화하는 알파(α)와 베타(β)를 주파수 임계치(Th)를 이용하여 결정할 수 있다. 가이드 정보 생성부(1750)는 스펙트럼간 중요도를 고려하지 않는 일반 VI 모델을 사용하거나, 스펙트럼간 중요도를 고려하는 가중 VI 모델을 사용할 수 있다.
이하에서는 일반 VI 모델을 이용하여 스펙트럼별 변경값을 구하는 방법에 대하여 좀 더 구체적으로 살펴보기로 한다.
먼저, 주파수 빈의 클래스에 근거하여 D를 하기 수학식 12에서와 같이 정의할 수 있다.
수학식 12
Figure PCTKR2017006728-appb-M000012
여기서, 알파(α)는 클래스 C로 분류된 주파수 빈과 클래스 A로 분류된 주파수 빈 중 주파수 임계치(Th)보다 작은 주파수 빈, 예를 들면 k 가 아닌 0 내지 Th-1 의 주파수 빈의 이득을 나타낸다. 베타(β)는 클래스 A로 분류된 주파수 빈 중 주파수 임계치(Th)보다 크거나 같은 주파수 빈, 예를 들면 k 가 아닌 Th 내지 N-1 의 주파수 빈의 이득을 나타낸다. 감마(γ)는 전송된 음성신호(X) 대 마이크의 잡음신호(Y)에 대한 프리베일링 레벨을 나타낸다. k는 들을 수 없는 주파수 빈을 나타낸다. 프리베일링 레벨을 고려하지 않을 경우, 감마(γ)는 1로 설정될 수 있다.
수학식 12에 있어서,
Figure PCTKR2017006728-appb-I000007
는 클래스 C로 분류된 주파수 빈과 클래스 A로 분류된 주파수 빈 중 주파수 임계치(Th)보다 작은 주파수 빈에 대한 항이며, 해당 주파수 빈은 에너지 감소를 나타내는 알파(α)와 관련있다.
Figure PCTKR2017006728-appb-I000008
는 클래스 A로 분류된 주파수 빈 중 주파수 임계치(Th)보다 크거나 같은 주파수 빈에 대한 항이며, 해당 주파수 빈은 에너지 증가를 나타내는 베타(β)와 관련있다.
Figure PCTKR2017006728-appb-I000009
는 클래스 B로 분류된 주파수 빈에 대한 항이며, 해당 주파수 빈은 에너지 증가 혹은 감소없이 유지된다.
수학식 12의 D는 하기 수학식 13에서와 같이 간소화될 수 있다.
수학식 13
Figure PCTKR2017006728-appb-M000013
요약하면, 상기한 최적화 문제는 하기 수학식 14에서와 같이 형식화될 수 있다
수학식 14
Figure PCTKR2017006728-appb-M000014
여기서, E는 프레임에서 증가 혹은 감소시키기 위한 에너지를 나타낸다.
일련의 과정을 통하여, 솔루션은 하기 수학식 15에 기초하여 구해질 수 있다.
수학식 15
Figure PCTKR2017006728-appb-M000015
구체적으로, 에너지 보존 제약에 의하여 하기 수학식 16에서와 같이 나타낼 수 있다.
수학식 16
Figure PCTKR2017006728-appb-M000016
다음, 최적 이득에 의하여 알파(α)와 베타(β)가 하기 수학식 17에서와 같이 나타낼 수 있다.
수학식 17
Figure PCTKR2017006728-appb-M000017
다음, 람다 파라미터 결정을 위하여 하기 수학식 18에서와 같이 나타낼 수 있다.
수학식 18
Figure PCTKR2017006728-appb-M000018
상기 수학식 18에 의해 구해지는 람다(λ)를 수학식 11에 대입하여, 알파(α)와 베타(β)를 구할 수 있다.
상기 수학식 12 내지 18에 의해 최종 알파(α)와 베타(β)를 결정할 수 있고, 그 결과 D를 최소화하는 주파수 임계치(Th)가 구해질 수 있다. 주파수 임계치(Th)는 1kHz보다 크거나 같고 Nyq_frq/4보다 작은 범위로 한정할 수 있다. 여기서 Nyq_frq는 나이퀴스트 주파수를 나타낸다. 한편, 주파수 임계치(Th)는샘플링 레이트에 대응하여 다른 범위로 한정할 수도 있다.
이와 같이, 주파수 임계치(Th)를 초기값에서부터 소정 단위로 조정함에 따라서 알파(α)와 베타(β) 또한 조정되고, 이로부터 D를 산출하는 과정을 반복하면서, D가 최소화되는 주파수 임계치(Th)를 결정할 수 있다. 결정된 주파수 임계치(Th)에 대응하여 알파(α)와 베타(β)가 결정되며, 여기서 최종 결정된 알파(α)는 클래스 C 즉, 에너지 감소로 결정된 주파수 빈과, 클래스 A로 결정된 주파수 빈 중 에너지 감소로 결정된 주파수 빈에 대한 변경값을 나타내고, 베타(β)는 클래스 A로 결정된 주파수 빈 중 에너지 증가로 결정된 주파수 빈에 대한 변경값을 나타낸다.
다음, 가중 VI 모델을 이용하여 스펙트럼별 변경값을 구하는 방법에 대하여 좀 더 구체적으로 살펴보기로 한다.
먼저, 주파수 빈의 클래스에 근거하여 D를 하기 수학식 19에서와 같이 정의할 수 있다.
수학식 19
Figure PCTKR2017006728-appb-M000019
수학식 19는 수학식 12와 비교할 때 가중치(W)가 사용된다는 점에 차이가 있다. 가중치(W)는 스펙트럼의 중요도에 기초하여 구해질 수 있다. 중요도는 상대 중요도 혹은 절대 중요도일 수 있다. 상대 중요도는 심리음향 모델에 사용되는 예측불가능성(unpredictability)를 기초로 이전 스펙트럼을 활용하여 얻어질 수 있다.
수학식 19의 D는 하기 수학식 20에서와 같이 간소화될 수 있다.
수학식 20
Figure PCTKR2017006728-appb-M000020
요약하면, 상기한 최적화 문제는 하기 수학식 21에서와 같이 형식화될 수 있다.
수학식 21
Figure PCTKR2017006728-appb-M000021
일련의 과정을 통하여, 솔루션은 하기 수학식 22에 기초하여 구해질 수 있다.
수학식 22
Figure PCTKR2017006728-appb-M000022
구체적으로, 에너지 보존 제약에 의하여 하기 수학식 22에서와 같이 나타낼 수 있다.
수학식 23
Figure PCTKR2017006728-appb-M000023
다음, 최적 이득에 의하여 알파(α)와 베타(β)가 하기 수학식 24에서와 같이 나타낼 수 있다.
수학식 24
Figure PCTKR2017006728-appb-M000024
다음, 람다 파라미터 결정을 위하여 하기 수학식 25에서와 같이 산출될 수 있다.
수학식 25
Figure PCTKR2017006728-appb-M000025
상기 수학식 25에 대한 이론적 솔루션은 없기 때문에, 가중치를 제약(S)에 포함시켜 수학식 21을 하기 수학식 26과 같이 형식화할 수 있다.
수학식 26
Figure PCTKR2017006728-appb-M000026
일련의 과정을 통하여, 솔루션은 하기 수학식 27에서와 같이 구해질 수 있다.
수학식 27
Figure PCTKR2017006728-appb-M000027
한편, 상기한 바와 같이 가중 VI 모델에 근거하여 솔루션을 구하는 방법은 제약이 변경되었기 때문에 에너지 보존 제약을 만족시킬 수 없다. 따라서, 에너지 보존 제약을 만족시키기 위하여 알파(α)와 베타(β)를 하기 수학식 28에서와 같이 변경시킬 필요가 있다.
수학식 28
Figure PCTKR2017006728-appb-M000028
상기 수학식 19 내지 28에 의해 최종 알파(α)와 베타(β)를 결정할 수 있고, 그 결과 D를 최소화하는 주파수 임계치(Th)가 구해질 수 있다. 주파수 임계치(Th)는 1kHz보다 크거나 같고 Nyq_frq/4보다 작은 범위를 가질 수 있으나, 이에 한정되지는 않는다. 여기서 Nyq_frq는 나이퀴스트 주파수를 나타낸다.
가이드 정보 생성부(1750)는 VI 모델에 근거하여 변수값에 기초하여 명료도 개선을 위한 가이드 정보를 생성할 수 있다. 가이드 정보는 명료도 개선이 수행되는 유효 주파수 빈과 유효 주파수 빈에 대한 변경값을 포함할 수 있다. 유효 주파수 빈은 프레임 단위로 달라질 수 있다. 구체적으로, VI 모델에 근거하여 D가 최소화되는 주파수 임계치(Th)가 구해지면, 주파수 임계치(Th)에 대응하여 알파(α)와 베타(β)가 결정될 수 있다. 여기서 최종 결정된 알파(α)는 클래스 C 즉, 에너지 감소로 결정된 주파수 빈과, 클래스 A로 결정된 주파수 빈 중 에너지 감소로 결정된 주파수 빈에 대한 스펙트럼 변경값을 나타내고, 베타(β)는 클래스 A로 결정된 주파수 빈 중 에너지 증가로 결정된 주파수 빈에 대한 스펙트럼 변경값을 나타낸다.
다른 실시예에 따르면, 가이드 정보 적용부(1770)는 전송된 음성 스펙트럼에서 명료도 개선이 행해질 대역을 유의미한 주파수 대역으로 한정함으로써, 배제된 대역으로부터 추가 에너지를 확보할 수 있다. 명료도 개선이 행해질 주파수 대역은 지각적으로 중요한 정보를 포함하는 대역일 수 있다. 추가 에너지는 VI 모델에 이용되어 이득 결정에 영향을 미칠 수 있다. 이때, 음성신호의 SNR을 고려하여, SNR이 높으면 작은 값을, SNR이 낮으면 큰 값을 추가 에너지에 가산할 수 있다. 이를 위하여 오디오 코덱의 비트레이트 제어와 유사한 에너지 저장고(reservior) 방식을 활용할 수 있다.
다른 실시예에 따르면, 가이드 정보 적용부(1770)는 잡음신호의 급격한 변화를 방지하기 위하여, 장구간 히스토리를 고려하여 유효 잡음 에너지 비율을 산출하여, 마이크로폰으로부터 얻어지는 잡음 스펙트럼의 크기에 승산한 다음, 사용할 수 있다.
가이드 정보 적용부(1770)는 가이드 정보 생성부(1750)에서 얻어진 스펙트럼별 변경값 예를 들면 이득을 에너지를 감소시킬 필요가 있는 주파수 빈 그룹과 에너지를 증가시킬 필요가 있는 주파수 빈 그룹에 적용할 수 있다. 가이드 정보 적용부(1770)는 스펙트럼별 이득이 적용된 각 주파수 빈에 대하여 프레임별 이득 예를 들면 글로벌 이득을 추가적으로 적용할 수 있다. 프레임별 이득은 단말의 볼륨 레벨에 대응하여 설정될 수 있다. 가이드 정보 적용부(1770)는 단말의 볼륨 레벨과 글로벌 이득을 매핑시킨 테이블을 저장할 수 있다.
도 18은 주파수 빈 혹은 스펙트럼 빈의 클래스의 예를 보여주는 도면으로서, 1810은 클래스 A, 1830은 클래스 B, 1850은 클래스 C가 설정된 주파수 빈을 나타낸다.
도 19는 도 17에 도시된 가이드 정보 적용부(1770)의 세부적인 구성을 나타낸 블록도로서, 도 12의 가이드 정보 적용부(1250)에도 적용될 수 있다.
도 19에 도시된 가이드 정보 적용부(1770)는 제1 이득 적용부(1910), 제2 이득 적용부(1930)와 역변환부(1950)을 포함할 수 있다. 여기서, 제2 이득 적용부(1930)는 역변환부(1950) 이후에 배치되어 시간도메인을 변환된 음성신호에 대하여 글로벌 이득을 적용하는 것도 가능하다.
도 19를 참조하면, 제1 이득 적용부(1910)는 주파수 빈 단위로 결정되는 로컬 이득을 해당 주파수 빈에 적용할 수 있다.
제2 이득 적용부(1930)는 로컬 이득이 적용된 각 주파수 빈에 대하여 단말의 볼륨 레벨에 대응하여 설정된 글로벌 이득을 적용할 수 있다
역변환부(1950)는 제2 이득 적용부(1930)에서 글로벌 이득이 적용된 주파수 빈을 포함하는 프레임에 대하여 시간 도메인으로 역변환을 수행할 수 있다. 이때,
스펙트럼별 변경값 예를 들면 이득을 각 주파수 빈에 적용할 수 있다. 가이드 정보 적용부(1770)는 스펙트럼별 이득이 적용된 각 주파수 빈에 대하여 프레임별 이득 예를 들면 글로벌 이득을 추가적으로 적용할 수 있다. 프레임별 이득은 단말의 볼륨 레벨에 대응하여 설정될 수 있다.
도 19의 가이드 정보 적용부(1770)를 도 12의 가이드 정보 적용부(1250)에 적용할 경우, 제1 이득 적용부(1910)는 밴드 단위로 결정되는 로컬 이득을 해당 밴드를 적용할 수 있다.
도 20은 또 다른 실시예에 따른 신호처리장치의 세부적인 구성을 나타낸 블록도이다.
도 20에 도시된 신호처리장치는 제1 수신부(2010), 제2 수신부(2030)와 프로세서(2050)을 포함할 수 있다.
도 20을 참조하면, 제1 수신부(2010)는 마이크로폰을 통하여 수신측 혹은 근단 장치의 잡음신호를 수신할 수 있다. 제2 수신부(2030)는 송신측 혹은 원단장치로부터 상대방의 음성신호를 수신할 수 있다.
일실시예에 따르면, 프로세서(2050)는 제1 수신부(2010)로부터 제공되는 잡음신호와 제2 수신부(2030)로부터 음성 신호에 기초하여, 음성 신호의 명료도 개선과 관련된 클래스를 결정하고, 잡음 신호, 음성 신호 및 결정된 클래스에 기초하여, 명료도 개선을 위한 가이드 정보를 생성하고, 가이드 정보를 음성 신호에 적용하여 변경된 음성 신호를 생성할 수 있다. 다른 실시예에 따르면, 프로세서(2050)는 제1 수신부(2010)로부터 제공되는 잡음신호와 제2 수신부(2030)로부터 음성 신호의 각 밴드에 대하여 명료도 개선과 관련된 밴드 클래스를 결정하고, 결정된 잡음 신호의 밴드 클래스와 음성 신호의 밴드 클래스에 기초하여 명료도 개선을 위한 가이드 정보를 생성하고, 가이드 정보를 음성 신호에 적용하여 변경된 음성 신호를 생성할 수 있다.
도 21은 일실시예에 따른 명료도가 개선된 음성 신호를 생성하는 방법을 설명하는 도면이다.
잡음 감소부(도 7의 710)에서는 복호화된 신호 혹은 상대방 음성신호에 대하여 잡음을 감소시키거나 제거하고, 각 신호를 시간 정렬 및 프레이밍하여 명료도 개선부(도 7의 730)와 시간 G 프레임 싱크를 맞출 수 있다.
명료도 개선부(도 7의 730)는 잡음 신호 변경 처리를 추가로 수행할 수 있다. 잡음 신호 변경부는 잡음 신호와 잡음 감소부(710)의 출력 신호에 대해 시간-주파수 변환(2110)을 수행하고, 잡음 감소부(도 7의 710)의 출력 신호에 기초하여 주파수 도메인에서 잡음 신호의 스펙트럼을 수정(2120)하여 잡음 신호를 변경할 수 있다. 명료도 개선부(도 7의 730)에서 잡음 신호 변경 처리를 수행하지 않는 경우에는 잡음신호를 그대로 이용할 수 있다.
명료도 개선부(도 7의 730)는 변경된 잡음 신호에 기초하여 변환된 음성 신호의 스펙트럼별 클래스를 결정(2130)하고, 음성 신호의 스펙트럼별 클래스 정보에 기초하여 음성 신호 변경 정보를 생성(2140)하고, 각 스펙트럼별 이득을 출력한다.
일실시예에 따르면, 음성 신호 변경은 음성 명료도 모델에 기초하여 수행될 수 있다.
도 22 는 다른 실시예에 따른 명료도가 개선된 음성 신호를 생성하는 방법을 설명하는 도면이다.
도 22 의 실시예에 따른 수신단 장치(2200)는 도 21 의 실시예와 비교하여 전처리부(2220)와 코덱부(2260)를 더 포함한다.
수신단 음성 신호, 수신단 잡음 신호, 송신단 음성 신호 및 송신단 단말로부터의 착신 호에 대한 정보가 전처리부(2220)로 전달된다.
이 때 수신단 음성 신호는 제 1 마이크(2211)를 통해 수신된 잡음-음성 신호, 제 2 마이크를 통해 수신된 잡음 신호, 송신단 음성 신호는 송신단 단말로부터 전달된 음성 신호를 포함한다. 착신 호에 대한 정보는 송신단 음성신호에 대한 코덱 종류, 코덱의 코어 모드 및 DTX 정보 등을 포함할 수 있다.
전처리부(2220)는 전달된 신호를 전처리하여 음성 신호, 잡음 신호 및 에러 신호를 획득하여 제어부(2230) 및 코덱부(2260)로 전달하고, 전달된 착신 호에 대한 정보를 제어부(2230) 및 코덱부(2260)로 전달한다. 이 때, 전처리부(2230)는 에코캔슬러 등을 포함할 수 있다.
코덱부(2260)의 인코더(2261)는 수신단 음성 신호를 인코딩하고 디코더(2262)는 송신단 음성 신호를 디코딩한다. 코덱부(2260)는 디코더에서 디코딩된 송신단 음성 신호 s_f(n)을 제어부(2230)로 전달한다.
제어부(2230)는, 수신단 음성 신호 및 잡음 신호, 송신단 음성 신호 및 호 정보에 기초하여 잡음 감소부(2250) 및 명료도 개선부(2270)의 동작을 제어한다. 제어부(2230)는 잡음 감소부(2250)의 출력 및 명료도 개선부(2270)의 전력 출력을 제어하거나, 잡음의 종류에 따라 잡음 감소부(2250)와 명료도 개선부(2270)의 동작을 선택적으로 동작하도록 제어할 수 있다.
또한, 제어부(2230)는 수신단 음성 신호 및 잡음 신호, 송신단 음성 신호 및 호 정보에 기초하여 잡음 감소부(2250)의 잡음 감소 정보 또는 명료도 개선부(2270)의 명료도 개선 정도를 결정할 수 있다.
잡음 감소부(2250)는 도 7의 잡음 감소부(2250)와 동일하게 구성하거나, 공지된 다양한 기술을 적용할 수 있다.
명료도 개선부(2270)는, 송신단 음성 신호를 처리하여 명료도를 개선한다. 명료도 개선부(2270)는, 송신단 음성 신호의 명료도를 개선하기 위하여, 제어부(2230)로부터 전달된 제어신호 및 잡음 감소부(2250)로부터 전달된 잡음 감소 신호를 이용한다.
도 23은 일실시예에 따른 신호처리장치가 채용되는 디바이스의 블록도이다.
도 23 에 도시된 바와 같이, 신호처리장치는 음질 개선부(2330)에 탑재될 수 있다. 디바이스(2300)는 송수신부(2310), 디스플레이부(2320), 음질 개선부(2330), 제어부(2340), 저장부(2350), 입력부(2360) 및 출력부(2370)를 포함할 수 있다.
송수신부(2310)는 네트워크를 통해 연결된 다른 단말과 데이터를 송수신하며, 송신단 장치(미도시)로부터 요청된 착신 호(incoming call) 신호 및 착신 호에 따른 송신단 음성 신호를 수신하고 입력부(2360)를 통해 획득된 수신단 잡음 신호 환경의 수신단 음성 신호를 송신단 장치로 전송할 수 있다.
일실시예에 따르면 송수신부(2310)는 입력부(2360)를 통해 획득된 수신단 잡음 신호에 대한 정보를 서버(도 1의 150)로 전송하고, 서버(150)로부터 음질 개선 알고리즘을 위한 적어도 하나의 파라미터를 수신할 수 있다. 다른 실시예에 따르면 송수신부(2310)는 송신단 장치(미도시)로부터 음질 개선 전처리가 적용된 송신단 음성 신호를 수신할 수 있다.
디스플레이부(2320)는 신호처리장치가 탑재된 디바이스(2300)의 상태 또는 설정에 대한 정보 등을 사용자에게 제공하고 터치 등의 수단을 통해 사용자 입력을 획득할 수 있다. 일실시예에 따르면 디스플레이부(2320)는 사용자로부터 음질 개선 성능에 대한 피드백 정보를 획득할 수 있다. 다른 실시예에 따르면 디스플레이부(2320)는 통화에 대한 상황정보를 사용자 입력을 통해 획득할 수 있다.
음질 개선부(2330)는 저장부(2350)에 저장된 음성 신호 및 입력부(2360)를 통해 획득된 수신단 잡음 신호에 기초하여 잡음 환경에서 음질 개선 알고리즘을 위한 적어도 하나의 파라미터을 획득한다.
일 실시예에 따르면, 착신 호에 대한 상황 정보를 추가로 이용할 수 있으며, 각 상황 정보에 기초하여 가중치가 결정될 수 있다.
또한, 음질 개선부(2330)는 음질 개선 알고리즘을 위한 적어도 하나의 파라미터의 조합에 기초하여 송신단 음성 신호의 음질을 개선한다.
제어부(2340)는 디바이스(2300) 전체의 동작을 제어한다. 제어부(2340) 및 음질 개선부(2330)는 하나의 프로세서로 구현될 수 있다.
저장부(2350)는 음질 개선 알고리즘을 위한 적어도 하나의 파라미터를 저장할 수 있다.
입력부(2360)는 수신단 잡음 신호 및 수신단 음성 신호를 획득하며, 마이크로폰을 통해 구현될 수 있다. 입력부(2360)의 개수는 제한되지 않으며 일반적으로 사용자의 입 근처와 귀 근처에 위치한다.
출력부(2370)는 음질 개선 처리된 송신단 음성 신호가 출력되며 스피커를 통해 구현될 수 있다. 일실시예에 따르면, 출력부(2370)는 획득된 수신단 잡음 신호의 역위상 신호를 출력할 수 있으며, 이와 같은 경우 동적 잡음 제거가 가능하다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
또한, 본 개시에서, “부” 혹은 “모듈”은 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 설명은 예시를 위한 것이며, 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 수신측 혹은 근단 장치의 잡음 스펙트럼과 수신된 음성 스펙트럼에 기초하여, 명료도 개선과 관련된 클래스를 결정하는 단계;
    상기 잡음 스펙트럼, 상기 음성 스펙트럼 및 상기 결정된 클래스에 기초하여, 명료도 개선을 위한 가이드 정보를 생성하는 단계; 및
    상기 가이드 정보를 상기 음성 스펙트럼에 적용하여 변경된 음성 스펙트럼을 생성하는 단계를 포함하는 신호 처리방법.
  2. 제1 항에 있어서, 상기 각 단계에서의 처리는 주파수 빈 단위로 수행되는 신호 처리방법.
  3. 제1 항에 있어서, 상기 클래스를 결정하는 단계는 상기 음성 스펙트럼의 주파수 빈을 그대로 유지하는 제1 클래스, 상기 주파수 빈의 크기를 감소시키는 제2 클래스와 상기 주파수 빈의 크기를 감소 또는 증가시키는 제3 클래스 중 하나를 상기 주파수 빈의 클래스로 결정하는 신호 처리방법.
  4. 제1 항에 있어서, 상기 클래스를 결정하는 단계는
    상기 음성 스펙트럼의 음성 에너지가 음성 마스킹 임계치보다 작은 주파수 빈 혹은 상기 잡음 스펙트럼의 잡음 에너지가 안정 잡음 레벨보다 작은 주파수 빈에 대하여 제1 클래스를 설정하는 단계;
    상기 음성 스펙트럼의 음성 에너지가 상기 잡음 스펙트럼의 잡음 에너지보다 상대적으로 큰 주파수 빈에 제2 클래스를 설정하는 단계; 및
    상기 음성 스펙트럼의 음성 에너지가 상기 음성 마스킹 임계치보다 같거나 큰 주파수 빈에 대하여 제3 클래스를 설정하는 단계를 포함하는 신호 처리방법.
  5. 제4 항에 있어서, 상기 제3 클래스를 설정하는 단계는 상기 음성 에너지가 소정의 주파수 임계치보다 작은 주파수 빈의 크기를 감소시키고, 상기 음성 에너지가 소정의 주파수 임계치보다 크거나 같은 주파수 빈의 크기를 증가시키도록 상기 제3 클래스를 설정하는 신호 처리방법.
  6. 제1 항에 있어서, 상기 가이드 정보를 생성하는 단계는 상기 잡음 스펙트럼, 상기 음성 스펙트럼, 상기 생성된 가이드 정보가 반영된 음성 스펙트럼 및 상기 결정된 클래스로부터 모델링된 음성 명료도 모델에 기초하여 상기 가이드 정보를 생성하는 신호 처리방법.
  7. 제6 항에 있어서, 상기 가이드 정보를 생성하는 단계는 상기 음성 스펙트럼의 주파수 빈의 중요도를 고려하여 모델링된 음성 명료도 모델을 이용하는 신호 처리방법.
  8. 제6 항에 있어서, 상기 음성 명료도 모델은 심리 음향 특성에 기반한 유효 노이즈 레벨을 반영하여 모델링되는 신호 처리방법.
  9. 제1 항에 있어서, 상기 가이드 정보를 생성하는 단계는 주파수 빈 단위의 이득 정보와 프레임 단위의 이득 정보 중 적어도 하나를 포함하는 가이드 정보를 생성하는 신호 처리방법.
  10. 제1 항에 기재된 신호 처리방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  11. 음성 통화를 수행하는 단말장치에 있어서,
    화자의 음성신호 및/혹은 잡음신호를 포함하는 주변 환경 신호를 수신하는 적어도 하나의 마이크로폰; 및
    수신측 혹은 근단 장치의 잡음 스펙트럼과 수신된 음성 스펙트럼에 기초하여, 명료도 개선과 관련된 클래스를 결정하고, 상기 잡음 스펙트럼, 상기 음성 스펙트럼 및 상기 결정된 클래스에 기초하여, 명료도 개선을 위한 가이드 정보를 생성하고, 상기 가이드 정보를 상기 음성 스펙트럼에 적용하여 변경된 음성 스펙트럼을 생성하여 스피커로 제공하는 프로세서를 포함하는 단말장치.
  12. 제10 항에 있어서, 상기 명료도 개선을 위한 가이드 정보는 유효 주파수 빈에 대한 정보와 상기 유효 주파수 빈의 이득정보를 포함하는 단말장치.
  13. 제12 항에 있어서, 상기 유효 주파수 빈은 프레임마다 달라지는 단말장치.
  14. 제12 항에 있어서, 상기 유효 주파수 빈은 에너지를 감소시킬 필요가 있는 그룹과 에너지를 증가시킬 필요가 있는 그룹을 포함하는 단말장치.
  15. 제10 항에 있어서, 상기 프로세서는 상기 잡음 스펙트럼, 상기 음성 스펙트럼, 상기 생성된 가이드 정보가 반영된 음성 스펙트럼 및 상기 결정된 클래스로부터 모델링된 음성 명료도 모델에 기초하여 상기 가이드 정보를 생성하는 단말장치.
PCT/KR2017/006728 2016-06-24 2017-06-26 잡음 환경에 적응적인 신호 처리방법 및 장치와 이를 채용하는 단말장치 WO2017222356A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201780039330.3A CN109416914B (zh) 2016-06-24 2017-06-26 适于噪声环境的信号处理方法和装置及使用其的终端装置
US16/312,827 US11037581B2 (en) 2016-06-24 2017-06-26 Signal processing method and device adaptive to noise environment and terminal device employing same
EP17815768.1A EP3457402B1 (en) 2016-06-24 2017-06-26 Noise-adaptive voice signal processing method and terminal device employing said method
KR1020197006303A KR102417047B1 (ko) 2016-06-24 2017-06-26 잡음 환경에 적응적인 신호 처리방법 및 장치와 이를 채용하는 단말장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20160079692 2016-06-24
KR10-2016-0079692 2016-06-24

Publications (1)

Publication Number Publication Date
WO2017222356A1 true WO2017222356A1 (ko) 2017-12-28

Family

ID=60784405

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/006728 WO2017222356A1 (ko) 2016-06-24 2017-06-26 잡음 환경에 적응적인 신호 처리방법 및 장치와 이를 채용하는 단말장치

Country Status (5)

Country Link
US (1) US11037581B2 (ko)
EP (1) EP3457402B1 (ko)
KR (1) KR102417047B1 (ko)
CN (1) CN109416914B (ko)
WO (1) WO2017222356A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117896218A (zh) * 2024-03-14 2024-04-16 贵州大学 基于边缘计算实现矿山通信信号的提升方法及系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018143979A1 (en) * 2017-02-01 2018-08-09 Hewlett-Packard Development Company, L.P. Adaptive speech intelligibility control for speech privacy
US11601483B2 (en) * 2018-02-14 2023-03-07 Genband Us Llc System, methods, and computer program products for selecting codec parameters
CN110390830A (zh) * 2019-08-08 2019-10-29 西北民族大学 一种基于智能控制和语音识别引导功能的车载系统
CN111131616B (zh) * 2019-12-28 2022-05-17 科大讯飞股份有限公司 基于智能终端的音频共享方法及相关装置
KR102424795B1 (ko) * 2020-08-25 2022-07-25 서울과학기술대학교 산학협력단 음성 구간 검출 방법
CN113409803B (zh) * 2020-11-06 2024-01-23 腾讯科技（深圳）有限公司 语音信号处理方法、装置、存储介质及设备
CN113823307B (zh) * 2021-09-17 2023-05-23 广州华多网络科技有限公司 语音信号处理方法及其装置、设备、介质、产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004235737A (ja) * 2003-01-28 2004-08-19 Hitachi Kokusai Electric Inc 通信機
KR20090009560A (ko) * 2007-07-20 2009-01-23 에스케이 텔레콤주식회사 수신 음성 인지율 향상을 위한 음성 처리 장치 및 방법
KR20100136629A (ko) * 2009-06-19 2010-12-29 인하대학교 산학협력단 근단 배경잡음 환경에서 지.729에이 음성부호화기 파라미터에 기반한 음성강화 방법
KR20110063001A (ko) * 2009-12-04 2011-06-10 삼성전자주식회사 잡음 환경에서 음성 신호를 강화하는 방법 및 그 장치
US20140064507A1 (en) * 2012-09-02 2014-03-06 QoSound, Inc. Method for adaptive audio signal shaping for improved playback in a noisy environment

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994026036A1 (en) * 1993-05-04 1994-11-10 Motorola Inc. Apparatus and method for substantially eliminating noise in an audible output signal
CA2354755A1 (en) 2001-08-07 2003-02-07 Dspfactory Ltd. Sound intelligibilty enhancement using a psychoacoustic model and an oversampled filterbank
JP4460256B2 (ja) 2003-10-02 2010-05-12 日本電信電話株式会社 雑音低減処理方法、この方法を実施する装置、プログラム、記録媒体
JP4260046B2 (ja) 2004-03-03 2009-04-30 アルパイン株式会社 音声明瞭度改善装置及び音声明瞭度改善方法
KR101435411B1 (ko) 2007-09-28 2014-08-28 삼성전자주식회사 심리 음향 모델의 마스킹 효과에 따라 적응적으로 양자화간격을 결정하는 방법과 이를 이용한 오디오 신호의부호화/복호화 방법 및 그 장치
KR100910384B1 (ko) 2007-11-05 2009-08-04 권영현 환경소음에 따른 스피커 음량 자동 제어 시스템 및 그 제어방법
US8180064B1 (en) * 2007-12-21 2012-05-15 Audience, Inc. System and method for providing voice equalization
SG189747A1 (en) * 2008-04-18 2013-05-31 Dolby Lab Licensing Corp Method and apparatus for maintaining speech audibility in multi-channel audio with minimal impact on surround experience
US20090281803A1 (en) * 2008-05-12 2009-11-12 Broadcom Corporation Dispersion filtering for speech intelligibility enhancement
WO2010091339A1 (en) * 2009-02-06 2010-08-12 University Of Ottawa Method and system for noise reduction for speech enhancement in hearing aid
WO2010091399A2 (en) 2009-02-09 2010-08-12 University Of South Florida Reelin rescues cognitive function
JP5127754B2 (ja) 2009-03-24 2013-01-23 株式会社東芝 信号処理装置
US8744091B2 (en) 2010-11-12 2014-06-03 Apple Inc. Intelligibility control using ambient noise detection
US20140365212A1 (en) 2010-11-20 2014-12-11 Alon Konchitsky Receiver Intelligibility Enhancement System
JP2012163682A (ja) 2011-02-04 2012-08-30 Nec Casio Mobile Communications Ltd 音声処理装置及び方法
KR20120091701A (ko) 2011-02-09 2012-08-20 삼성전자주식회사 오디오 신호 출력 방법 및 그에 따른 오디오 신호 출력 장치
PL2737479T3 (pl) * 2011-07-29 2017-07-31 Dts Llc Adaptacyjna poprawa zrozumiałości głosu
US8666753B2 (en) 2011-12-12 2014-03-04 Motorola Mobility Llc Apparatus and method for audio encoding
JP5443547B2 (ja) 2012-06-27 2014-03-19 株式会社東芝 信号処理装置
US20150019213A1 (en) 2013-07-15 2015-01-15 Rajeev Conrad Nongpiur Measuring and improving speech intelligibility in an enclosure
GB2520048B (en) * 2013-11-07 2018-07-11 Toshiba Res Europe Limited Speech processing system
RU2745298C1 (ru) * 2017-10-27 2021-03-23 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство, способ или компьютерная программа для генерации аудиосигнала с расширенной полосой с использованием процессора нейронной сети
US10896674B2 (en) * 2018-04-12 2021-01-19 Kaam Llc Adaptive enhancement of speech signals
US10672414B2 (en) * 2018-04-13 2020-06-02 Microsoft Technology Licensing, Llc Systems, methods, and computer-readable media for improved real-time audio processing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004235737A (ja) * 2003-01-28 2004-08-19 Hitachi Kokusai Electric Inc 通信機
KR20090009560A (ko) * 2007-07-20 2009-01-23 에스케이 텔레콤주식회사 수신 음성 인지율 향상을 위한 음성 처리 장치 및 방법
KR20100136629A (ko) * 2009-06-19 2010-12-29 인하대학교 산학협력단 근단 배경잡음 환경에서 지.729에이 음성부호화기 파라미터에 기반한 음성강화 방법
KR20110063001A (ko) * 2009-12-04 2011-06-10 삼성전자주식회사 잡음 환경에서 음성 신호를 강화하는 방법 및 그 장치
US20140064507A1 (en) * 2012-09-02 2014-03-06 QoSound, Inc. Method for adaptive audio signal shaping for improved playback in a noisy environment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117896218A (zh) * 2024-03-14 2024-04-16 贵州大学 基于边缘计算实现矿山通信信号的提升方法及系统

Also Published As

Publication number Publication date
EP3457402B1 (en) 2021-09-15
CN109416914B (zh) 2023-09-26
KR20190057052A (ko) 2019-05-27
EP3457402A1 (en) 2019-03-20
KR102417047B1 (ko) 2022-07-06
US11037581B2 (en) 2021-06-15
CN109416914A (zh) 2019-03-01
US20190348058A1 (en) 2019-11-14
EP3457402A4 (en) 2019-05-22

Similar Documents

Publication Publication Date Title
WO2017222356A1 (ko) 잡음 환경에 적응적인 신호 처리방법 및 장치와 이를 채용하는 단말장치
WO2013141638A1 (ko) 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치
WO2012157932A2 (en) Bit allocating, audio encoding and decoding
WO2017039422A2 (ko) 음질 향상을 위한 신호 처리방법 및 장치
WO2018174310A1 (ko) 잡음 환경에 적응적인 음성 신호 처리방법 및 장치
WO2013058635A2 (ko) 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치
WO2012144877A2 (en) Apparatus for quantizing linear predictive coding coefficients, sound encoding apparatus, apparatus for de-quantizing linear predictive coding coefficients, sound decoding apparatus, and electronic device therefor
WO2012144878A2 (en) Method of quantizing linear predictive coding coefficients, sound encoding method, method of de-quantizing linear predictive coding coefficients, sound decoding method, and recording medium
WO2013183977A1 (ko) 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치
AU2012246798A1 (en) Apparatus for quantizing linear predictive coding coefficients, sound encoding apparatus, apparatus for de-quantizing linear predictive coding coefficients, sound decoding apparatus, and electronic device therefor
WO2016018058A1 (ko) 신호 부호화방법 및 장치와 신호 복호화방법 및 장치
AU2012246799A1 (en) Method of quantizing linear predictive coding coefficients, sound encoding method, method of de-quantizing linear predictive coding coefficients, sound decoding method, and recording medium
WO2014046526A1 (ko) 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치
FI124716B (fi) Järjestelmä ja menetelmä adaptiivista älykästä kohinanvaimennusta varten
WO2012165910A2 (ko) 오디오 부호화방법 및 장치, 오디오 복호화방법 및 장치, 그 기록매체 및 이를 채용하는 멀티미디어 기기
WO2012036487A2 (en) Apparatus and method for encoding and decoding signal for high frequency bandwidth extension
WO2016024853A1 (ko) 음질 향상 방법 및 장치, 음성 복호화방법 및 장치와 이를 채용한 멀티미디어 기기
WO2010087614A2 (ko) 오디오 신호의 부호화 및 복호화 방법 및 그 장치
WO2013115625A1 (ko) 낮은 복잡도로 오디오 신호를 처리하는 방법 및 장치
WO2013002623A4 (ko) 대역폭 확장신호 생성장치 및 방법
WO2010008229A1 (ko) 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치
US20110282676A1 (en) Method and System for Dual Mode Subband Acoustic Echo Canceller with Integrated Noise Suppression
WO2020185025A1 (ko) 라우드니스 레벨을 제어하는 오디오 신호 처리 방법 및 장치
WO2018164304A1 (ko) 잡음 환경의 통화 품질을 개선하는 방법 및 장치
WO2015170899A1 (ko) 선형예측계수 양자화방법 및 장치와 역양자화 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17815768

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017815768

Country of ref document: EP

Effective date: 20181211

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20197006303

Country of ref document: KR

Kind code of ref document: A