WO2015071148A1 - Verfahren und vorrichtung zum komprimieren und dekomprimieren von schallfelddaten eines gebiets - Google Patents

Verfahren und vorrichtung zum komprimieren und dekomprimieren von schallfelddaten eines gebiets Download PDF

Info

Publication number
WO2015071148A1
WO2015071148A1 PCT/EP2014/073808 EP2014073808W WO2015071148A1 WO 2015071148 A1 WO2015071148 A1 WO 2015071148A1 EP 2014073808 W EP2014073808 W EP 2014073808W WO 2015071148 A1 WO2015071148 A1 WO 2015071148A1
Authority
WO
WIPO (PCT)
Prior art keywords
harmonic components
order
sound field
field data
designed
Prior art date
Application number
PCT/EP2014/073808
Other languages
English (en)
French (fr)
Inventor
Johannes Nowak
Christoph SLADECZEK
Original Assignee
Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Technische Universität Ilmenau
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V., Technische Universität Ilmenau filed Critical Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Priority to CN201480061929.3A priority Critical patent/CN105766002B/zh
Priority to JP2016530874A priority patent/JP6329629B2/ja
Priority to EP14793183.6A priority patent/EP3069530B1/de
Publication of WO2015071148A1 publication Critical patent/WO2015071148A1/de
Priority to US15/154,189 priority patent/US20160255452A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G10L19/0208—Subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Definitions

  • the present invention relates to audio technology, and more particularly to the compression of spatial sound field data.
  • the acoustic description of rooms is of great interest for the control of display devices in the form of e.g. a headphone, a speaker assembly with e.g. two to an average number of loudspeakers, such as 10 loudspeakers or loudspeaker arrangements with a large number of loudspeakers, such as those used in Wave Field Synthesis (WFS).
  • WFS Wave Field Synthesis
  • One approach is e.g. in creating different channels for different speakers at predefined speaker positions, as is the case with MPEG surround, for example.
  • a listener located in the reproduction room at a certain and, ideally, the middle position obtains a sense of space for the reproduced sound field.
  • An alternative spatial description is to describe a space through its impulse response. For example, if a sound source is positioned anywhere in a room or area, that space or area may be measured with a circular array of microphones in the case of a two-dimensional area or with a ball-microphone array in the case of a three-dimensional area. For example, if a ball-microphone array with a high number of microphones is considered, such as 350 microphones, then a survey of the room will be done as follows. At a certain position inside or outside the microphone array, a pulse is generated. Then the response to this pulse, ie the impulse response, is measured by each microphone. Depending on how strong the reverb characteristics are, a longer or shorter impulse response is then measured.
  • impulse responses can last over 10 s.
  • Such a set of eg 350 impulse responses thus describes the sound characteristic of this space for the particular position of a sound source at which the impulse has been generated.
  • this set of impulse responses represents sound field data of the area for exactly the one case where a source is positioned at the position where the impulse was generated.
  • the procedure described In order to measure the room further, ie to capture the sound properties of the room when a source is positioned at another room, the procedure described must be repeated for each additional position eg outside the array (but also inside the array).
  • the temporal length of the impulse responses can be quite considerable, and since a more detailed representation of the sound properties of the room may be desired in terms of not only four but even more positions, there is a huge amount of impulse response data, especially if taken into account - it is considered that the impulse responses can certainly take lengths over 10 s.
  • a harmonic decoder scheme for low bit rates is described in [8].
  • the encoder generates a composite audio information signal representing the sound field to be reproduced describes and a directional vector or steering control signal.
  • the spectrum is divided into subbands. For control, the dominant direction is evaluated in each subband.
  • [9] describes a spatial audio coding framework in the frequency domain. Time-frequency-dependent direction vectors describe the input audio scene.
  • [10] describes a parametric, channel-based audio coding method in the time and frequency domain.
  • a binaural-cue-coding (BCC) is described which uses one or more object-based cue codes. These include the direction, width and envelopment of an auditory scene.
  • BCC binaural-cue-coding
  • [12] refers to the processing of sphere array data for playback using Ambisonics. Thereby the distortions of the system are to be affected by measurement errors, e.g. Noise, be equalized.
  • a channel-based coding method is described, which also refers to positions of the loudspeakers, as well as individual audio objects.
  • a matrix-based coding method is presented, which allows the real-time transmission of Higher Order Ambisonics sound fields with orders greater than 3.
  • [15] describes a method for encoding spatial audio that is independent of the rendering system.
  • the input material is subdivided into two groups, of which the first group contains the audio, which requires high localizability, while the second group is described with sufficiently low Ambisonics orders for the localization.
  • the signal is encoded into a set of mono channels with metadata.
  • the metadata includes time information as to when the corresponding channel is to be played back and directional information at each moment.
  • the audio channels are decoded for conventional panning algorithms, where the playback system must be known.
  • the audio in the second group is encoded into channels of different Ambisonics orders. In decoding, the playback system uses corresponding Ambisonics orders.
  • Corteel E and Rosenthal M (201 1) Method and device for enhanced sound field reproduction of spatially encoded audio input signals, EP 2609759 A1
  • the object of the present invention is to provide a more efficient concept for handling such.
  • a device for compressing sound field data of a region comprises a splitter for splitting the sound field data into a first part and a second part, and a downstream converter for converting the first part and the second part into harmonic components, wherein the conversion takes place so that the second Number is converted into one or more harmonic components with a second order, and that the first fraction is converted into harmonic components with a first order, with the first order being higher than the second order, to obtain the compressed sound field data.
  • an implementation of the sound field data such as, for example, the amount of impulse responses, is carried out in harmonic components, whereby even this conversion can lead to a considerable saving of data.
  • Harmonic components such as are obtainable by means of a spatial spectral transformation, describe a sound field much more compact than impulse responses.
  • the order of harmonic components is readily controllable.
  • the har- monic zero-order component is just a (non-directional) mono signal. It does not yet allow a sound field direction description.
  • the additional first order harmonic components already allow a relatively coarse directional representation analogous to beamforming.
  • the harmonic components of second order allow an even more accurate sound field description with even more directional information.
  • the number of components is 2n + 1, where n is the order. For the zeroth order there is thus only a single harmonic component. There are already three harmonic components for implementation up to the first order. For example, for a fifth-order conversion, there are already 11 harmonic components, and it has been found that, for example, for 350 impulse responses, an order equal to 14 is sufficient. In other words, this means that 29 harmonic components describe space as well as 350 impulse responses. Already this conversion from a value of 350 input channels to 29 output channels brings a compression gain. Moreover, according to the invention, a conversion of different parts of the sound field data, such as impulse responses with different orders, is carried out since it has been found that not all parts have to be described with the same accuracy / order.
  • the directional perception of the human ear is mainly derived from the early reflections, while the late / diffuse reflections in a typical impulse response to directional perception contribute little or nothing.
  • the first portion will be the early portion of the impulse responses, which is translated at a higher order to the harmonic component range, while the late diffused portion is converted to a lower order and sometimes even zero order becomes.
  • the directional perception of human hearing is frequency-dependent. At low frequencies, the directional perception of the human ear is relatively weak.
  • the sound field data can be broken down into individual subband sound field data by means of a filter bank, and these subband sound field data are then decomposed with different orders, again the first portion having subband sound field data at higher frequencies, while the second portion having subband sound field data at lower frequencies , where very low frequencies can again be represented even with an order equal to zero, ie only with a single harmonic component.
  • the advantageous characteristics of temporal and frequency processing are combined.
  • the early portion which is anyway implemented with a higher order, can be decomposed into spectral components, for which then again orders adapted to the individual bands can be obtained.
  • QMF quadrature mirror filter bank
  • the effort to convert the subband sound field data in the harmonic component area is additionally reduced.
  • the differentiation of different parts of the sound field data with respect to the order to be calculated provides a considerable reduction of the computational effort, since the calculation of the harmonic components, such as the cylindrical harmonic components or the spherical harmonic components, depends strongly on the order up to which order the harmonic components are to be calculated.
  • a calculation of the harmonic components to the second order requires much less computational effort and thus computation time or battery performance, especially in mobile devices as a calculation of the harmonic components to order 14, for example.
  • the converter is thus designed to implement the component, that is to say the first component of the sound field data, which is more important for a directional perception of the human ear, with a higher order than the second part, which is less important for the directional perception of a sound source than the first part.
  • the present invention can be used not only for a temporal decomposition of the sound field data into shares or for a spectral decomposition of the sound field data into shares, but also for an alternative, for.
  • B. spatial decomposition of the shares for example, if it is considered that the direction perception of the human ear for sound in different azimuth or elevation angles is different.
  • the sound field data is impulse responses or other sound field annotations in which each description is assigned a certain azimuth / elevation angle
  • the sound field data may be from azimuth / elevation angles, where the direction perception of the human ear is stronger, compressed with a higher order than a spatial portion of the sound field data from another direction.
  • the individual harmonics can be "thinned out", ie in the example with order 14, in which there are 29.
  • Modes Depending on the human direction perception, individual modes are saved which map the sound field for unimportant sound incidence directions - There is some uncertainty here, because you do not know in which direction the head is aligned to the array sphere, but if you represent HRTFs by means of spherical harmonics, this uncertainty is resolved.
  • decompositions of the sound field data in addition to decompositions in temporal, spectral or spatial direction can also be used, such as a decomposition of the sound field data into a first and a second portion in volume classes, etc.
  • the description of acoustic problems occurs in the cylindrical or spherical coordinate system, ie by means of complete sets of orthogonal eigenfunctions, the so-called cylindrical or spherical harmonic components.
  • cylindrical or spherical harmonic components With higher spatial accuracy of the description of the sound field increase the amount of data and the computing time in the processing or manipulation of the data.
  • high accuracies are required, which adds to the problems of long computation times, which are particularly detrimental to real-time systems, the large amount of data, which makes the transmission more spatial Sound field data difficult, and high energy consumption by intensive computational effort, especially in mobile devices leads.
  • the reduced computing power and the reduced storage volume automatically reduce the energy consumption, which is particularly incurred when using sound field data in mobile devices.
  • the spatial sound field description is optimized in the cylindrical or spherical harmonic region based on the spatial perception of humans.
  • a combination of time- and frequency-dependent calculation of the order of spherical harmonics as a function of the spatial perception of human hearing leads to a considerable effort reduction without reducing the subjective quality of sound field perception.
  • the objective quality is reduced since the present invention represents lossy compression.
  • this lossy compression is not critical, especially since the ultimate receiver is the human ear, and therefore it is irrelevant even for transparent reproduction, whether or not sound field components, which are not perceived by the human ear anyway, are present in the reproduced sound field.
  • FIG. 1a is a block diagram of an apparatus for compressing sound field data according to an embodiment
  • Fig. 1b is a block diagram of an apparatus for decompressing compressed sound field data of a region
  • FIG. 1 c is a block diagram of a device for compression with temporal decomposition
  • Fig. 1d is a block diagram of an embodiment of a device for decompressing in the case of a temporal decomposition
  • Fig. 1e is an alternative to Fig. 1d device for decompressing
  • Fig. 1f an example of the application of the invention with temporal and spectral
  • Fig. 2a is a block diagram of a device for compressing with spectral
  • Fig. 2b shows an example of a sub-sampled filter bank and a subsequent one
  • Fig. 2c shows a device for decompressing the example of the spectral decomposition shown in Fig. 2a;
  • Fig. 2d shows an alternative implementation of the decompressor for the spectral
  • decomposition an overview block diagram with a special analysis / synthesis encoder according to another embodiment of the present invention; a more detailed representation of an embodiment with temporal and spectral decomposition; a schematic representation of an impulse response; a block diagram of a converter from the time or spectral range in the harmonic component variable-order area; and an illustration of an exemplary harmonic component region converter into the time domain or spectral domain followed by auralization.
  • FIG. 1 a shows a block diagram of a device or a method for compressing sound field data of a region, as they are input at an input 10 into a splitter 100.
  • the splitter 100 is designed to divide the sound field data into a first portion 101 and a second portion 102.
  • a converter is provided which has the two functionalities designated 140 or 180.
  • the converter is configured to convert the first portion 101, as shown at 140, and to convert the second portion 102, as shown at 180.
  • the converter converts the first portion 101 into one or more harmonic components 141 having a first order
  • the converter 180 converts the second portion 102 into one or more harmonic components 182 having a second order.
  • the first order that is, the order underlying the harmonic components 141 is higher than the second order, which means, in other words, that the higher order converter 140 outputs more harmonic components 141 than the lower order converter 180.
  • the order n t by which the converter 140 is driven is thus greater than the order n 2 , with which the converter 180 is driven.
  • the converters 140, 180 may be controllable converters. Alternatively, however, the order may be fixed and thus permanently programmed so that the inputs designated ni and n 2 are not present in this embodiment.
  • Fig. 1b shows an apparatus for decompressing compressed sound field data 20 having first harmonic components of a first order and one or more second harmonic components of a second order, such as those outputted from Fig. 1a at 141, 182.
  • the decompressed sound field data need not necessarily be "raw" harmonic components 141, 142.
  • a lossless entropy coder such as a Huffman coder or an arithmetic coder, could be provided to reduce the number of
  • the data stream 20 fed to an input interface 200 would consist of entropy-coded harmonic components and, if necessary, page information, as further described with reference to FIGS
  • a respective entropy decoder would be provided at the output of the input interface 200, which is adapted to the entropy encoder on the encoder side, that is to say with reference to Fig.
  • Both groups of harmonic components are fed to a decoder / combiner 240.
  • the block 240 is configured to decompress the compressed sound field data 201, 202 using a combination of the first portion and the second portion and using a translation from a harmonic component representation into a time domain representation, and finally to provide the decompressed representation of the sound field as shown at 240.
  • the decoder 240 which may be formed, for example, as a signal processor, is thus designed, on the one hand, to implement a conversion into the time domain from the spherical-harmonic component region and, on the other hand, to perform a combination. However, the order between conversion and combination may be different, as illustrated with respect to Figs. 1d, 1e, or 2c, 2d for different examples.
  • FIG. 1 c shows a device for compressing sound field data of a region according to an exemplary embodiment, in which the splitter 100 is designed as a temporal splitter 100 a.
  • the scheduler 100a is one implementation splitter 100 of Fig. 1a is arranged to divide the sound field data into a first portion comprising first reflections in the area and a second portion comprising second reflections in the area, the second reflections being later in time when the first reflections occur.
  • the first portion 101 output from the block 100a thus represents the impulse response portion 310 of Fig. 4
  • the second fraction represents the portion 320 of the impulse response of Fig. 4.
  • the timing of the division may be, for example, 100 ms.
  • the division is preferably made where the discrete reflections change into diffuse reflections. This can be a different time, depending on the room, and concepts exist to create the best layout here.
  • the division into an early and a late portion can also be carried out depending on an available data rate, in such a way that the distribution time is made smaller and smaller the less bit rate there is. This is favorable in terms of the bit rate, because then as large a proportion of the impulse response with a low order is converted into the harmonic component range.
  • the converter which is represented by blocks 140 and 180 in FIG. 1c, is thus designed to convert the first component 101 and the second component 102 into harmonic components, wherein the converter in particular converts the second component into one or more harmonic components Converts components 182 with a second order and converts the first portion 101 into harmonic components 141 having a first order, the first order being higher than the second order, to finally obtain the compressed sound field received from an output interface 190 finally for purposes of Transmission and / or storage can be issued.
  • Fig. 1d shows an implementation of the decompressor for the example of the time distribution.
  • the decompressor is configured to perform the compressed sound field data using a combination of the first portion 201 with the first reflections and the second portion 202 with the late reflections and a conversion from the harmonic component range to the time domain.
  • Fig. 1d shows an implementation in which the combination takes place after the conversion.
  • Fig. 1e shows an alternative implementation in which the combination takes place before the conversion.
  • the converter 241 is configured to convert harmonic components of the high order into the time domain while the converter 242 is configured to form the harmonic components of the low order to implement in the time domain.
  • the output of converter 241 provides something corresponding to region 210, while converter 242 provides something corresponding to region 320, but due to the lossy compression, the portions at the output of bridge 241, 242 do not identical to the sections 310, 320 are.
  • an at least perceptual similarity or identity of the portion will exist at the output of block 241 to portion 310 of Figure 4, while the portion at the output of block 242 corresponding to the late portion 320 of the impulse response will have significant differences and thus only approximates the course of the impulse response.
  • these deviations are not critical for human directional perception, because human directional perception is hardly or not based on the late component or diffuse reflections of the impulse response anyway.
  • FIG. 1 e shows an alternative implementation in which the decoder first comprises the combiner 245 and then the converter 244.
  • the individual harmonic components are added together in the exemplary embodiment shown in FIG. 1e, whereupon the result of the addition is converted in order finally to obtain a time domain representation.
  • a combination will not consist in an addition, but in a serialization, in that the output of the block 241 will be located earlier in a decompressed impulse response than the output of the block 242 again to receive an impulse response corresponding to Fig. 4, which can then be used for further purposes, such as an auralization so in a preparation of sound signals with the desired spatial impression.
  • Fig. 2a shows an alternative implementation of the present invention in which a division in the frequency domain is made.
  • the splitter 100 of FIG. 1a is implemented as a filter bank in the embodiment of FIG. 2a in order to filter at least part of the sound field data in order to obtain sound field data in different filter bank channels 101, 102.
  • the filter bank in one embodiment in which the timing of FIG. 1a is not implemented, receives both the early and late portions, while in an alternative embodiment, only the early portion of the sound field data is fed to the filter bank, while the latter Part is no longer spectrally decomposed.
  • Subordinate to the analysis filter bank 100b is the converter, which may be formed of sub-converters 140a, 140b, 10c.
  • the converter 140a, 140b, 140c is configured to convert the sound field data in different filter bank channels using different orders for different filter bank channels in order to obtain one or more harmonic components for each filter bank channel.
  • the converter is configured to perform a first-order conversion for a first filterbank channel having a first center frequency, and to perform a second-order conversion for a second filterbank channel having a second center frequency, the first order being higher than the second order and wherein the first center frequency, ie, f n , is higher than the second center frequency to finally obtain the compressed sound field representation.
  • a lower order may be used for the lowest frequency band than for a middle frequency band.
  • the highest frequency band does not necessarily have to be converted with a higher order than, for example, a middle channel.
  • the highest order may be used in the areas where the direction perception is highest, as in the other areas, which may include, for example, a certain high frequency range, the order is lower, because in these areas also the directional Perception of human hearing is lower.
  • Fig. 2b shows a more detailed implementation of the analysis filter bank 100b.
  • this comprises a bandpass filter and furthermore has downstream decimators 100c for each filterbank channel.
  • each decimator can be decimated by a factor of 1/64, so that the total number of digital samples at the output of the decimators over all channels adds up to the number of samples of one Blocks of sound field data in the time domain, which has been decomposed by the filter bank.
  • An exemplary filter bank may be a real or complex QMF filter bank.
  • Each subband signal preferably the early portions of the impulse responses, is then converted to harmonic components by means of the converters 140a to 140c in analogy to FIG. 2a to finally obtain a description for cylindrical or preferably spherical harmonic components for various subband signals of the sound field description different subband signals have different orders, that is, a different number of harmonic components.
  • FIG. 2 c and FIG. 2 d again show different implementations of the decompressor, as shown in FIG. 1 b, ie a different sequence of the combination and subsequent conversion in FIG. 2 c or the implementation carried out initially and the subsequent combination as described in FIG Fig. 2d is shown.
  • 1 b again comprises a combiner 245 which performs an addition of the different harmonic components from the various subbands in order then to obtain an overall representation of the harmonic components. which are then converted with the converter 244 in the time domain.
  • the inputs to combiner 245 are in the harmonic component spectral region, while the output of combiner 345 is a harmonic component region representation, which is then converted by converter 244 to the time domain.
  • the individual harmonic components for each subband are first converted into the spectral domain by different converters 241a, 241b, 241c, so that the output signals of the blocks 241a, 241b, 241c are the output signals of the blocks 140a , 140b, 140c of Fig. 2a or Fig.
  • synthesis filter bank which in the case of a downsampling on the encoder side (block 100c of FIG. 2b) can also have a high-touch function, that is to say an upsampling function.
  • the synthesis filter bank then represents the combiner function of the decoder 240 of FIG. 1b. At the output of the synthesis filter bank there is thus the decompressed sound field representation that can be used for auralization, as will be shown.
  • Fig. 1f shows an example of the decomposition of impulse responses into harmonic components of different orders.
  • the late sections are not spectrally decomposed but implemented in total with the zeroth order.
  • the early sections of the impulse responses are spectrally decomposed. For example, the lowest band is processed with the first order, while the next band is already processed with the fifth order and the last band, because it is most important for direction / space perception, with the highest order, in this example with order 14, is processed.
  • Figure 3a shows the entire encoder / decoder scheme or the entire compressor / decompressor scheme of the present invention.
  • the compressor includes not only the functionalities of Fig. 1a, denoted by 1 or PENC, but also a decoder PDEC2, which may be formed as in Fig. 1b.
  • the compressor also comprises a controller CTRL4, which is designed to compare decompressed sound field data obtained by the decoder 2 with original sound field data taking into account a psychoacoustic model, such as the model PEAQ, which has been standardized by the ITU.
  • the controller 4 generates optimized parameters for the division, such as the time distribution, the frequency distribution in the filter bank or optimized parameters for the orders in the individual converters for the different parts of the sound field data, if these converters are designed to be controllable.
  • Control parameters such as split information, filter bank parameters, or orders, may then be transmitted along with a bitstream having the harmonic components to a decoder, represented at 2 in Figure 3a.
  • the compressor 11 thus consists of the control block CTRL4 for the codec control as well as a parameter encoder PENC1 and the parameter decoder PDEC2.
  • the inputs 10 are data from microphone array measurements.
  • the control block 4 initializes the encoder 1 and provides all the parameters for encoding the array data.
  • PENC block 1 the data is processed in the time and frequency domain in accordance with the described methodology of the sub-band division and provided for data transmission.
  • Fig. 3b shows the scheme of data en- and decoding.
  • the input data 10 are first decomposed by the splitter 100a into an early 101 and a late sound field 102.
  • This spherical harmonic decomposition is a preferred embodiment, but can be performed by any sound field decomposition that generates harmonic components.
  • the frequency range in the reconstruction block 245, which is also referred to as a combiner is reconstructed and recombined with the late sound field in the further combiner 243 after it has been computed with a low-order listener fit.
  • the control block CTRL4 of Fig. 3a includes a room acoustic analysis module and a psychoacoustic module.
  • the control block analyzes both the input data 10 and the output data of the decoder 2 of FIG. 3a in order to provide the coding parameters, which are also referred to as page information 300 in FIG. 3a, or which are provided directly in the compressor 11 to the encoder PENC1. adaptively adapt.
  • room acoustic parameters are extracted which specify the initial parameters of the coding with the parameters of the array configuration used. These include both the time of separation between early and late sound field, also referred to as "mixing time", and the parameters for the filter bank, such as corresponding orders of spherical harmonics.
  • the output which may be in the form of binaural impulse responses, for example, as output from combiner 243, is fed into a psychoacoustic module with an auditory model that evaluates the quality and adjusts the encoding parameters accordingly.
  • the concept can also work with static parameters.
  • the invention is advantageous in that data and computational complexity in the processing and transmission of circular and Kugelarray poems be reduced depending on the human ear. It is also advantageous that the data thus processed can be integrated into existing compression methods and thus allow additional data reduction. This is advantageous in band-limited transmission systems, such as for mobile terminals.
  • the present invention can be used in many fields, and in particular in the areas where the acoustic sound field is represented by means of cylindrical or spherical harmonics. This is done, for example, in sound field analysis by means of circular or spherical arrays. If the analyzed sound field is to be auralized, the concept of the present invention can be used. In devices for simulating rooms, the databases used to store existing spaces. Here, the inventive concept allows a space-saving and high-quality storage. There are reproduction methods based on spherical surface functions, such as Higher Order Ambisonics or binaural synthesis.
  • the present invention provides a reduction of computation time and data overhead. This can be of particular advantage, in particular with regard to data transmission, for example in the case of teleconferencing systems.
  • FIG 5 shows an implementation of a converter 140 or 180 with adjustable order or with at least different order, which can also be fixed.
  • the converter includes a time-frequency transform block 502 and a downstream space transform block 504.
  • the space transform block 504 is configured to operate in accordance with computation rule 508.
  • n is the order.
  • the calculation rule 508 is solved only once, if the order is zero, depending on the order, or is solved more often if the order is e.g. to order 5 or in the example described above to order 14.
  • the time-frequency transform element 502 is configured to transform the impulse responses on the input lines 101, 102 into the frequency domain, preferably employing the fast Fourier transform. Furthermore, then only the half-page spectrum is forwarded to reduce the computational effort.
  • a spatial Fourier transform is performed in the block space transformation 504 as described in the Fourier Acoustics, Sound Radiation and Nearfield Acoustical Holography, Academic Press, 1999 by Earl G. Williams.
  • the spatial transformation 504 is optimized for sound field analysis while providing high numerical accuracy and fast computation speed.
  • FIG. 6 shows the preferred implementation of a harmonic component range converter into the time domain, where as an alternative a planar wave processor and beamforming 602 is illustrated as an alternative to an inverse space transform implementation 604.
  • the outputs of both blocks 602, 604 may alternatively be fed to a block 606 for generating impulse responses.
  • Inverse space transformation 604 is configured to undo the Hin transformation in block 504.
  • the decomposition into plane waves and the beamforming in block 606 results in a large amount of decomposition direction. can be processed uniformly, which is favorable for rapid processing in particular for visualization or auralization.
  • the block 602 receives radial filter coefficients and, depending on the implementation, additional beamforming or beamforming coefficients. These can either have a constant orientation or be frequency-dependent.
  • Alternative inputs to block 602 may be modal radial filters, and in particular spherical arrays or different configurations, such as an omnidirectional open-sphere microphone, an open sphere with cardioid microphones, and a rigid sphere with omnidirectional microphones.
  • the impulse response generation block 606 generates impulse responses or time domain signals from either block 602 or block 604. This block recombines the previously omitted negative portions of the spectrum, performs a fast inverse Fourier transform, and allows resampling. Sample rate conversion to the original sample rate if the input signal was down-sampled at one location. Furthermore, a window option can be used.
  • the block 606 may further be configured to output the complete set of decompressed impulse responses, such as the lossy impulse responses, in which case the block 608 would again output, for example, 350 impulse responses.
  • it is preferred to output only the impulse responses ultimately required for rendering which may be accomplished by a block 608 that provides selection or interpolation for a particular rendering scenario. For example, if stereo reproduction is desired, as shown in block 616, then depending on the placement of the two stereo speakers, the impulse response selected from the 350 retrieved impulse responses, for example, corresponds to the spatial direction of the corresponding stereo speaker. With this impulse response, a prefilter of the corresponding loudspeaker is then set, such that the prefilter has a filter characteristic which corresponds to this impulse response.
  • an audio signal to be reproduced is fed to the two speakers via the corresponding pre-filters and reproduced to finally produce the desired spatial impression for a stereo auralization. If among the available impulse responses there is not an impulse response in a particular direction in which a loudspeaker is located in the actual rendering scenario, preferably the two or three nearest impulse impulses are used and interpolation is performed.
  • the reflections of a source in wave field synthesis playback 612 are represented by four impulse responses at certain positions for the early reflections and eight impulse responses at certain positions for the late reflections.
  • Selection block 608 then selected the 12 impulse responses for the 12 virtual positions. Subsequently, these impulse responses are fed along with the associated positions in a wavefield synthesis renderer, which may be located at block 612, and the wavefield synthesis renderer then uses these impulse responses to compute the loudspeaker signals for the speakers actually present to make them then map the corresponding virtual sources. This calculates a separate pre-filter for each loudspeaker in the Wave Field Synthesis Playback System, which is then used to filter an audio signal to be ultimately reproduced before it is output from the loudspeaker to achieve adequate high quality spatial effects.
  • An alternative implementation of the present invention is a generation of a headphone signal, ie in a binaural application, in which the spatial impression of the area is to be generated via the headphone reproduction.
  • any other sound field data for example sound field data by magnitude and vector, ie also with respect to eg sound pressure and sound velocity at certain positions in space, can also be used. These sound field data can also make more important and less important contributions to the human cattle tion perception and implemented into harmonic components.
  • the sound field data may also include any type of impulse responses, such as Head Elated Transfer Functions (HRTF) functions or Binaural Room Impulse Responses (BRIR) functions or impulse responses, each one discrete point to a predetermined position in the area.
  • HRTF Head Elated Transfer Functions
  • BRIR Binaural Room Impulse Responses
  • a space is scanned with a ball array.
  • the sound field is a set of impulse responses.
  • the sound field is split into its early and late parts.
  • both parts are decomposed into their spherical or cylindrical harmonic components. Since the relative direction information is present in the early sound field, a higher order of the spherical harmonic is calculated here than in the late sound field, which is sufficient for a low order.
  • the early part is relatively short, for example 100 ms, and is represented accurately, that is, with many harmonic components, while the late part is, for example, 100 ms to 2 s or 10 s long. However, this late part is represented with less or only a single harmonic component.
  • a further data reduction results from the splitting of the early sound field into individual bands before the representation as spherical harmonics.
  • the early sound field is decomposed into its spectral components by means of a filter bank.
  • a data reduction is achieved which significantly accelerates the calculation of the harmonic components.
  • a sufficiently early order is used perceptually as a function of human directional perception.
  • aspects have been described in the context of a device, it should be understood that these aspects also constitute a description of the corresponding method such that a block or device of a device may also be described as a corresponding method step or feature of a method step. is standing. Similarly, aspects described in connection with or as a method step also represent a description of a corresponding block or detail or feature of a corresponding device.
  • Some or all of the method steps may be performed by a hardware device (or using a Hardware apparatus), such as a microprocessor, a programmable computer or an electronic circuit. In some embodiments, some or more of the most important method steps may be performed by such an apparatus.
  • embodiments of the invention may be implemented in hardware or in software.
  • the implementation may be performed using a digital storage medium, such as a floppy disk, a DVD, a Blu-ray Disc, a CD, a ROM, a PROM, an EPROM, an EEPROM or FLASH memory, a hard disk, or other magnetics Viewing or optical storage are carried on the electronically readable control signals are stored, which can cooperate with a programmable computer system or cooperate such that the respective method is performed. Therefore, the digital storage medium can be computer readable.
  • some embodiments according to the invention include a data carrier having electronically readable control signals capable of interacting with a programmable computer system such that one of the methods described herein is performed.
  • embodiments of the present invention may be implemented as a computer program product having a program code, wherein the program code is operable to perform one of the methods when the computer program product runs on a computer.
  • the program code can also be stored, for example, on a machine-readable carrier.
  • an embodiment of the method according to the invention is thus a computer program which has a program code for performing one of the methods described herein when the computer program runs on a computer.
  • a further embodiment of the inventive method is thus a data carrier (or a digital storage medium or a computer-readable medium) on which the computer program is recorded for carrying out one of the methods described herein.
  • a further embodiment of the method according to the invention is thus a data stream or a sequence of signals, which represent the computer program for performing one of the methods described herein.
  • the data stream or the sequence of signals may be configured, for example, to be transferred via a data communication connection, for example via the Internet.
  • Another embodiment includes a processing device, such as a computer or programmable logic device, configured or adapted to perform any of the methods described herein.
  • a processing device such as a computer or programmable logic device, configured or adapted to perform any of the methods described herein.
  • Another embodiment includes a computer on which the computer program is installed to perform one of the methods described herein.
  • Another embodiment according to the invention comprises a device or system adapted to transmit a computer program for performing at least one of the methods described herein to a receiver.
  • the transmission can be done for example electronically or optically.
  • the receiver may be, for example, a computer, a mobile device, a storage device or a similar device.
  • the device or system may include a file server for transmitting the computer program to the recipient.
  • a programmable logic device eg, a field programmable gate array, an FPGA
  • a field programmable gate array may include a Microprocessor cooperate to perform any of the methods described herein.
  • the methods are performed by any hardware device. This may be a universal hardware such as a computer processor (CPU) or hardware specific to the process, such as an ASIC.

Abstract

Eine Vorrichtung zum Komprimieren von Schallfelddaten (10) eines Gebiets, umfasst einen Aufteiler (100) zum Aufteilen der Schallfelddaten in einen ersten Anteil (101) und in einen zweiten Anteil (102), und einen Umsetzer (140, 180) zum Umsetzen des ersten Anteils (101) und des zweiten Anteils (102) in harmonische Komponenten (141, 182), wobei der Umsetzer (140, 180) ausgebildet ist, um den zweiten Anteil (102) in eine oder mehrere harmonische Komponenten (141) mit einer zweiten Ordnung umzusetzen, und um den ersten Anteil (101) in harmonische Komponenten mit einer ersten Ordnung umzusetzen, wobei die erste Ordnung höher als die zweite Ordnung ist, um die komprimierten Schallfelddaten zu erhalten.

Description

Verfahren und Vorrichtung zum Komprimieren und Dekomprimieren von Schallfelddaten eines Gebiets
Beschreibung
Die vorliegende Erfindung bezieht sich auf die Audiotechnik und insbesondere auf die Komprimierung von räumlichen Schallfelddaten.
Die akustische Beschreibung von Räumen ist von hohem Interesse zur Ansteuerung von Wiedergabeanordnungen in Form z.B. eines Kopfhörers, einer Lautsprecheranordnung mit z.B. zwei bis zu einer mittleren Anzahl von Lautsprechern, wie beispielsweise 10 Lautsprechern oder auch für Lautsprecheranordnungen mit einer großen Anzahl von Laut- Sprechern, wie sie bei der Wellenfeldsynthese (WFS) zum Einsatz kommen.
Für die räumliche Audiocodierung allgemein existieren verschiedene Ansätze. Ein Ansatz besteht z.B. darin, verschiedene Kanäle für verschiedene Lautsprecher an vordefinierten Lautsprecherpositionen zu erzeugen, wie es beispielsweise bei MPEG-Surround der Fall ist. Dadurch erhält ein Hörer, der in dem Wiedergaberaum an einer bestimmten und optimalerweise der mittleren Position angeordnet ist, ein Raumgefühl für das wiedergegebene Schallfeld.
Eine alternative Raumbeschreibung besteht darin, einen Raum durch seine Impulsantwort zu beschreiben. Wird beispielsweise eine Schallquelle irgendwo in einem Raum oder Gebiet positioniert, so kann dieser Raum bzw. dieses Gebiet mit einem Kreisarray von Mikrofonen im Falle eines zweidimensionalen Gebiets oder mit einem Kugel-Mikrofon-Array im Falle eines dreidimensionalen Gebiets ausgemessen werden. Wenn beispielsweise ein Kugel-Mikrofon-Array mit einer hohen Anzahl von Mikrofonen betrachtet wird, wie bei- spielsweise 350 Mikrofonen, so wird eine Vermessung des Raumes folgendermaßen vonstatten gehen. An einer bestimmten Position innerhalb oder außerhalb des Mikrofon- Arrays wird ein Impuls erzeugt. Daraufhin wird von jedem Mikrofon die Antwort auf diesen Impuls, also die Impulsantwort gemessen. Abhängig davon, wie stark die Nachhalleigenschaften sind, wird dann eine längere oder kürzere Impulsantwort gemessen. So haben - bezüglich der Größenordnung - Messungen in großen Kirchen beispielsweise ergeben, dass Impulsantworten über 10 s dauern können. Ein solcher Satz von z.B. 350 Impulsantworten beschreibt damit die Schallcharakteristik dieses Raumes für die spezielle Position einer Schallquelle, an der der Impuls erzeugt worden ist. Mit anderen Worten ausgedrückt stellt dieser Satz von Impulsantworten Schallfelddaten des Gebiets dar, und zwar für genau den einen Fall, bei dem eine Quelle an der Position positioniert ist, an der der Impuls erzeugt worden ist. Um den Raum weiter zu vermessen, also um die Schalleigenschaften des Raumes zu erfassen, wenn eine Quelle an einem anderen Raum positioniert wird, muss die dargestellte Prozedur für jede weitere Position z.B. außerhalb des Arrays (aber auch innerhalb des Arrays) wiederholt werden. Würde man daher z.B. einen Konzertsaal schallfeldmäßig erfassen, wenn z.B. ein Musiker-Quartett spielt, bei dem die einzelnen Musiker an vier verschiedenen Positionen angeordnet sind, so werden bei dem genannten Beispiel für jede der vier Positionen 350 Impulsantworten gemessen, und diese 4 x 350 = 1400 Impulsantworten stellen dann die Schallfelddaten des Gebiets dar.
Da die zeitliche Länge der Impulsantworten durchaus beträchtliche Werte annehmen kann, und da womöglich noch eine detailliertere Darstellung der Schalleigenschaften des Raumes im Hinblick auf nicht nur vier sondern noch mehr Positionen gewünscht sein kann, ergibt sich eine riesige Menge an Impulsantwort-Daten, insbesondere wenn berück- sichtigt wird, dass die Impulsantworten durchaus Längen über 10 s annehmen können.
Ansätze für räumliches Audiocoding ist z.B. spatial audio coding (SAC) [1] bzw. spatial audio object coding (SAOC) [2], die eine Bitraten-effiziente Kodierung von Mehrkanal- Audiosignalen bzw. objektbasierten räumlichen Audioszenen ermöglichen. Das spatial impulse resonse rendering (SIRR) [3] und die Weiterentwicklung directional audio coding (DirAc) [4] sind parametrische Kodierverfahren und basieren auf einer zeitabhängigen Schalleinfallsrichtungsschätzung (direction of arrival - DOA), sowie einer Schätzung der Diffusität innerhalb von Frequenzbändern. Hier wird eine Trennung zwischen nicht- diffusem und diffusem Schallfeld vorgenommen. In [5] wird die verlustfreie Kompression von Kugelmikrofonarraydaten und die Kodierung von Higher-Order-Ambisonics-Signalen behandelt. Die Kompression wird durch Ausnutzen redundanter Daten zwischen den Kanälen (interChannel redundancy) erreicht.
Untersuchungen in [6] zeigen eine getrennte Betrachtung von frühem und spätem Schall- feld bei der binauralen Wiedergabe. Für dynamische Systeme, in denen Kopfbewegungen berücksichtigt werden wird die Filterlänge optimiert indem nur das frühe Schallfeld in Echtzeit gefaltet wird. Für das späte Schallfeld reicht lediglich ein Filter für alle Richtungen, ohne dabei die wahrgenommene Qualität zu reduzieren. In [7] werden kopfbezogene Übertragungsfunktionen (HRTF) auf einer Kugel im sphärischen harmonischen Bereich dargestellt. Der Einfluss verschiedener Genauigkeiten mittels unterschiedlicher Ordnun- gen sphärischer Harmonischer auf die Interaurale Kreuzkorrelation und die Raum-Zeit- Korrelation (spatio-temporal correlation) wird analytisch untersucht. Dies geschieht in Oktavbändern im diffusen Schallfeld.
[1] Herre, J et al (2004) Spatial Audio Coding: Next-generation efficient and compatible coding of multi-channel audio AES Convention Paper 6186 presented at the 1 17th Convention, San Francisco, USA
[2] Engdegard, J et al (2008) Spatial Audio Object Coding (SAOC) - The Upcoming MPEG Standard on Parametric Object Based Audio Coding, AES Convention Paper 7377 presented at the 125th Convention, Amsterdam, Netherlands
[3] Merimaa J and Pulkki V (2003) Perceptually-based processing of directional room re- sponses for multiChannel loudspeaker reproduction, IEEE Workshop on Applications of Signal Processing to Audio and Acoustics
[4] Pulkki, V (2007) Spatial Sound Reproduction with Directional Audio Coding, J. Audio Eng. Soc, Vol. 55. No.6
[5] Hellerud E et al (2008) Encoding Higher Order Ambisonics with AAC AES Convention Paper 7366 presented at the 125th Convention, Amsterdam, Netherlands
[6] Liindau A, Kosanke L, Weinzierl S (2010) Perceptual evaluation of physical predictors of the mixing time in binaural room im pulse responses AES Convention Paper presented at the 128th Convention, London, UK
[7] Avni, A and Rafaely B (2009) Interaural cross correlation and spatial correlation in a sound field represented by spherical harmonics in Ambisonics Symposium 2009, Graz, Austria Ein Enkoder-Dekoder Schema für niedrige Bitraten wird in [8] beschrieben. Der Enkoder generiert ein Komposit-Audio-Informations-Signal, das das zu reproduzierende Schallfeld beschreibt und einen Richtungsvektor oder Steering-Control-Signal. Das Spektrum wird in Subbänder zerlegt. Zur Steuerung wird in jedem Subband die dominante Richtung ausgewertet. Basierend auf der wahrgenommenen räumlichen Audioszene wird in [9] ein räumliches Audiokodier-Framework im Frequenzbereich beschrieben. Zeit- Frequenzabhängige Richtungsvektoren beschreiben die Eingangsaudioszene.
[10] beschreibt ein parametrisches, kanalbasiertes Audiokodierverfahren im Zeit- und Frequenzbereich. In [1 1] wird ein binaural-cue-coding (BCC) beschrieben, das ein oder mehr objektbasierte Cue-Codes verwendet. Diese beinhalten Richtung, Weite und Umhül- lung einer auditorischen Szene. [12] bezieht sich auf die Verarbeitung von Kugelarrayda- ten für die Wiedergabe mittels Ambisonics. Dabei sollen die Verzerrungen des Systems durch Messfehler, wie z.B. Rauschen, equalisiert werden. In [13] wird ein kanalbasiertes Kodierverfahren beschrieben, dass sich auch auf Positionen der Lautsprecher, sowie einzelner Audio Objekte bezieht. In [14] wird ein Matrix-basiertes Kodierverfahren vorgestellt, das die Echtzeitübertragung von Higher Order Ambisonics Schallfeldern mit Ordnungen größer als 3 ermöglicht.
In [15] wird eine Methode zur Kodierung von räumlichen Audiodaten beschrieben, das unabhängig vom Wiedergabesystem ist. Dabei wird das Eingangsmaterial in zwei Grup- pen unterteilt, von denen die erste Gruppe das Audio beinhaltet, das hohe Lokalisierbar- keit benötigt, während die zweite Gruppe mit für die Lokalisation ausreichend niedrigen Ambisonics-Ordnungen beschrieben wird. In der ersten Gruppe wird das Signal in einen Satz aus Monokanälen mit Metadaten kodiert. Die Metadaten beinhalten Zeitinformationen, wann der entsprechende Kanal wiedergegeben werden soll und Richtungsinformati- onen zu jedem Moment. Bei der Wiedergabe werden die Audiokanäle für herkömmliche Panning-Algorithmen dekodiert, wobei das Wiedergabe-System bekannt sein muss. Das Audio in der zweiten Gruppe wird in Kanäle verschiedener Ambisonics-Ordnungen kodiert. Bei der Dekodierung werden dem Wiedergabesystem entsprechende Ambisonics- Ordnungen verwendet.
[8] Dolby R M (1999) Low-bit-rate spatial coding method and System, EP 1677576 A3
[9] Goodwin M and Jot J-M (2007) Spatial audio coding based on universal spatial cues, US 8,379,868 B2 [10] Seefeldt A and Vinton M (2006) Controlling spatial audio coding Parameters as a function of auditory events, EP 2296142 A2
[1 1 ] Faller C (2005) Parametric coding of spatial audio with object-based side Information, US 8340306 B2
[12] Kordon S, Batke J-M, Krüger A (201 1 ) ethod and apparatus for processing Signals of a spherical microphone array on a rigid sphere used for generating an ambisonics rep- resentation of the sound field, EP 2592845 A1
[13] Corteel E and Rosenthal M (201 1) Method and device for enhanced sound field re- production of spatially encoded audio input Signals, EP 2609759 A1
[14] Abeling S et al (2010) Method and apparatus for generating and for decoding sound field data including ambisonics sound field data of an order higher than three, EP 2451 196 A1
[15] Arumi P and Sole A (2008) Method and apparatus for three-dimensional acoustic field encoding and optimal reconstruction, EP 2205007 A1
Die Aufgabe der vorliegenden Erfindung besteht darin, ein effizienteres Konzept zum Handhaben wie z. B. Komprimieren oder Dekomprimieren von Schallfelddaten eines Gebiets zu schaffen. Diese Aufgabe wird durch eine Vorrichtung zum Komprimieren von Schallfelddaten gemäß Anspruch 1 , eine Vorrichtung zum Dekomprimieren von Schallfelddaten gemäß Anspruch 14, ein Verfahren zum Komprimieren von Schallfelddaten gemäß Anspruch 21 , ein Verfahren zum Dekomprimieren von Schallfelddaten gemäß Anspruch 22 oder ein Computerprogramm gemäß Anspruch 23 gelöst.
Eine Vorrichtung zum Komprimieren von Schallfelddaten eines Gebiets umfasst einen Aufteiler zum Aufteilen der Schallfelddaten in einen ersten Anteil und in einen zweiten Anteil sowie einen nachgeordneten Umsetzer zum Umsetzen des ersten Anteils und des zweiten Anteils in harmonische Komponenten, wobei die Umsetzung so stattfindet, dass die zweite Anzahl in eine oder mehrere harmonische Komponenten mit einer zweiten Ordnung umgesetzt wird, und dass der erste Anteil in harmonische Komponenten mit ei- ner ersten Ordnung umgesetzt wird, wobei die erste Ordnung höher als die zweite Ordnung ist, um die komprimierten Schallfelddaten zu erhalten.
Damit wird erfindungsgemäß eine Umsetzung der Schallfelddaten, wie beispielsweise der Menge an Impulsantworten in harmonische Komponenten durchgeführt, wobei bereits diese Umsetzung zu einer erheblichen Dateneinsparung führen kann. Harmonische Komponenten, wie sie beispielsweise mittels einer räumlichen Spektraltransformation erhaltbar sind, beschreiben ein Schallfeld wesentlich kompakter als Impulsantworten. Darüber hinaus ist die Ordnung der harmonischen Komponenten ohne Weiteres steuerbar. Die har- monische Komponente nullter Ordnung ist lediglich ein (ungerichtetes) Mono-Signal. Sie erlaubt noch keine Schallfeld-Richtungsbeschreibung. Dagegen erlauben die zusätzlichen harmonischen Komponenten erster Ordnung bereits eine relativ grobe Richtungsdarstellung analog zum Beamforming. Die harmonischen Komponenten zweiter Ordnung erlauben eine zusätzliche noch genauere Schallfeldbeschreibung mit noch mehr Richtungsin- formation. Bei Ambisonics beispielsweise ist die Anzahl der Komponenten gleich 2n+1 , wobei n die Ordnung ist. Für die nullte Ordnung gibt es somit nur eine einzige harmonische Komponente. Für eine Umsetzung bis zur ersten Ordnung gibt es bereits drei harmonische Komponenten. Für eine Umsetzung mit fünfter Ordnung beispielsweise gibt es bereits 11 harmonische Komponenten und es hat sich herausgestellt, dass beispielsweise für 350 Impulsantworten eine Ordnung gleich 14 ausreichend ist. Dies bedeutet in anderen Worten, dass 29 harmonische Komponenten den Raum genauso gut beschreiben wie 350 Impulsantworten. Bereits diese Umsetzung von einem Wert von 350 Eingangskanälen auf 29 Ausgangskanäle bringt einen Kompressionsgewinn. Erfindungsgemäß wird darüber hinaus noch eine Umsetzung verschiedener Anteile der Schallfelddaten, wie bei- spielsweise der Impulsantworten mit verschiedenen Ordnungen durchgeführt, da herausgefunden worden ist, dass nicht alle Anteile mit der gleichen Genauigkeit/Ordnung beschrieben werden müssen.
Ein Beispiel hierfür besteht darin, dass die Richtungswahrnehmung des menschlichen Gehörs hauptsächlich von den frühen Reflexionen abgeleitet wird, während die späten/diffusen Reflexionen in einer typischen Impulsantwort zur Richtungswahrnehmung nichts oder nur sehr wenig beitragen. Bei diesem Beispiel wird somit der erste Anteil der frühe Anteil der Impulsantworten sein, der mit einer höheren Ordnung in den Harmoni- sche-Komponenten-Bereich umgesetzt wird, während der späte diffuse Anteil mit einer geringen Ordnung und teilweise sogar mit einer Ordnung gleich null umgesetzt wird. Ein anderes Beispiel besteht darin, dass die Richtungswahrnehmung des menschlichen Gehörs frequenzabhängig ist. Bei tiefen Frequenzen ist die Richtungswahrnehmung des menschlichen Gehörs relativ schwach. Für die Kompression von Schallfelddaten genügt es daher, den niedrigen Spektralbereich der harmonischen Komponenten mit einer relativ geringen Ordnung in den Harmonische-Komponenten-Bereich umzusetzen, während die Frequenzbereiche der Schallfelddaten, in denen die Richtungswahrnehmung des menschlichen Gehörs sehr hoch ist, mit einer hohen und vorzugsweise sogar mit der maximalen Ordnung umgesetzt werden. Hierzu können die Schallfelddaten mittels einer Filterbank in einzelne Subband-Schallfelddaten zerlegt werden und diese Subband- Schallfelddaten werden dann mit unterschiedlichen Ordnungen zerlegt, wobei wiederum der erste Anteil Subband-Schallfelddaten bei höheren Frequenzen aufweist, während der zweite Anteil Subband-Schallfelddaten bei niedrigeren Frequenzen aufweist, wobei ganz niedrige Frequenzen ebenso wiederum sogar mit einer Ordnung gleich null, also nur mit einer einzigen harmonischen Komponente dargestellt werden können.
Bei einem weiteren Beispiel werden die vorteilhaften Eigenschaften der zeitlichen und frequenzmäßigen Verarbeitung kombiniert. So kann der frühe Anteil, der ohnehin mit höherer Ordnung umgesetzt wird, in Spektralanteile zerlegt werden, für die dann wieder für die einzelnen Bänder angepasste Ordnungen erhalten werden können. Insbesondere dann, wenn für die Subbandsignale eine dezimierende Filterbank, wie beispielsweise eine Q F-Filterbank (QMF = Quadrature Mirror Filterbank) eingesetzt wird, reduziert sich der Aufwand zur Umsetzung der Subband-Schallfelddaten in den Harmonische- Komponenten-Bereich zusätzlich. Darüber hinaus liefert die Differenzierung verschiedener Anteile der Schallfelddaten im Hinblick auf die zu berechnende Ordnung eine erhebli- che Reduktion des Berechnungsaufwands, zumal die Berechnung der harmonischen Komponenten, wie beispielsweise der zylindrischen harmonischen Komponenten oder der sphärischen harmonischen Komponenten stark davon abhängt, bis zu welcher Ordnung die harmonischen Komponenten ausgerechnet werden sollen. Eine Berechnung der harmonischen Komponenten bis zur zweiten Ordnung beispielsweise benötigt wesentlich weniger Rechenaufwand und damit Rechenzeit bzw. Batterieleistung insbesondere bei mobilen Geräten als eine Berechnung der harmonischen Komponenten bis zur Ordnung 14 beispielsweise.
Bei den beschriebenen Ausführungsbeispielen ist der Umsetzer somit ausgebildet, um den Anteil, also den ersten Anteil der Schallfelddaten, der für eine Richtungswahrnehmung des menschlichen Gehörs wichtiger ist, mit einer höheren Ordnung umzusetzen als den zweiten Anteil, der für die Richtungswahrnehmung einer Schallquelle weniger wichtig als der erste Anteil ist.
Die vorliegende Erfindung kann nicht nur für eine zeitliche Zerlegung der Schallfelddaten in Anteile oder für eine spektrale Zerlegung der Schallfelddaten in Anteile eingesetzt werden, sondern auch für eine alternative, z. B. räumliche Zerlegung der Anteile, wenn beispielsweise berücksichtigt wird, dass die Richtungswahrnehmung des menschlichen Gehörs für Schall in unterschiedlichen Azimuth- oder Elevations-Winkeln unterschiedlich ist. Wenn die Schallfelddaten beispielsweise als Impulsantworten oder andere Schallfeldbe- Schreibungen vorliegen, bei denen jeder einzelnen Beschreibung ein bestimmter Azi- muth/Elevations-Winkel zugeordnet ist, so können die Schallfelddaten aus Azi- muth/Elevations-Winkeln, bei denen die Richtungswahrnehmung des menschlichen Gehörs stärker ist, mit einer höheren Ordnung komprimiert werden als ein räumlicher Anteil der Schallfelddaten aus einer anderen Richtung.
Alternativ oder zusätzlich können die einzelnen Harmonischen„ausgedünnt" werden, also im Beispiel mit Ordnung 14, bei der es 29 Moden gibt. Es werden in Abhängigkeit der menschlichen Richtungswahrnehmung einzelne Moden eingespart, die das Schallfeld für unwichtige Schalleinfallsrichtungen abbilden. Im Falle von Mikrofonarraymessungen be- steht hier eine Unsicherheit, weil man nicht weiss, in welche Richtung der Kopf bezogen zur Arraykugel ausgerichtet ist. Wenn man aber HRTFs mittels sphärischer Harmonischer darstellt, ist diese Unsicherheit behoben.
Weitere Zerlegungen der Schallfelddaten zusätzlich zu Zerlegungen in zeitlicher, spektra- ler oder räumlicher Richtung können ebenfalls verwendet werden, wie beispielsweise eine Zerlegung der Schallfelddaten in einen ersten und einen zweiten Anteil in Volumenklassen etc.
Bei Ausführungsbeispielen geschieht die Beschreibung akustischer Problemstellungen im zylindrischen oder sphärischen Koordinatensystem, also mittels vollständiger Sätze or- thonormaler Eigenfunktionen, den sogenannte zylindrischen oder sphärischen harmonischen Komponenten. Mit höherer räumlicher Genauigkeit der Beschreibung des Schallfelds steigen das Datenaufkommen und die Rechenzeit bei der Verarbeitung bzw. Manipulation der Daten. Für hochqualitative Audioanwendungen sind hohe Genauigkeiten er- forderlich, was zu den Problemen der langen Berechnungszeiten, die insbesondere nachteilig für Echtzeitsysteme sind, der großen Datenmengen, was die Übertragung räumlicher Schallfelddaten erschwert, und des hohen Energieverbrauchs durch intensiven Rechenaufwand insbesondere bei mobilen Geräten führt.
Alle diese Nachteile werden durch Ausführungsbeispiele der Erfindung dahin gehend ge- lindert bzw. eliminiert, weil aufgrund der Differenzierung der Ordnungen zur Berechnung der harmonischen Komponenten die Berechnungszeiten reduziert werden, und zwar im Vergleich zu einem Fall, bei dem sämtliche Anteile mit der höchsten Ordnung in harmonische Komponenten umgesetzt werden. Die großen Datenmengen werden dahin gehend erfindungsgemäß reduziert, dass die Darstellung durch harmonische Komponenten ins- besondere bereits kompakter ist und dass zusätzlich noch unterschiedliche Anteile mit unterschiedlichen Ordnungen dargestellt werden, wobei die Datenmengenreduktion dadurch erreicht wird, dass eine niedrige Ordnung, wie beispielsweise die erste Ordnung nur drei harmonische Komponenten hat, während die höchste Ordnung beispielsweise 29 harmonische Komponenten hat, und zwar am Beispiel einer Ordnung von 14.
Die reduzierte Rechenleistung und das reduzierte Speicheraufkommen verringern automatisch den Energieverbrauch, der insbesondere für einen Einsatz von Schallfelddaten in mobilen Geräten anfällt. Bei Ausführungsbeispielen wird die räumliche Schallfeldbeschreibung im zylindrischen bzw. sphärischen harmonischen Bereich basierend auf der räumlichen Wahrnehmung des Menschen optimiert. Insbesondere eine Kombination aus zeit- und frequenzabhängiger Berechnung der Ordnung sphärischer Harmonischer in Abhängigkeit der räumlichen Wahrnehmung des menschlichen Gehörs führt zu einer erheblichen Aufwandsreduktion ohne die subjektive Qualität der Schallfeldwahrnehmung zu reduzieren. Selbstverständlich wird die objektive Qualität reduziert, da die vorliegende Erfindung eine verlustbehaftete Kompression darstellt. Diese verlustbehaftete Kompression ist jedoch unkritisch, zumal der letztendliche Empfänger das menschliche Gehör ist, und zumal es daher sogar für eine transparente Wiedergabe unerheblich ist, ob Schallfeldkomponenten, die vom menschlichen Gehör ohnehin nicht wahrgenommen werden, im wiedergegebenen Schallfeld vorhanden sind oder nicht.
In anderen Worten stellt daher bei der Wiedergabe/Auralisation entweder binaural, also mit Kopfhörern oder mit Lautsprechersystemen mit wenigen (z.B. Stereo) oder vielen Lautsprechern (z.B. WFS) das menschlichen Gehör das wichtigste Qualitätsmaß dar. Erfindungsgemäß wird die Genauigkeit der harmonischen Komponenten wie beispielsweise der zylindrischen oder sphärischen Harmonischen im Zeitbereich und/oder im Frequenzbereich und/oder in weiteren Bereichen gehörangepasst reduziert. Dadurch wird die Daten- und Rechenzeitreduktion erreicht. Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen detailliert erläutert. Es zeigen:
Fig. 1a ein Blockdiagramm einer Vorrichtung zum Komprimieren von Schallfelddaten gemäß einem Ausführungsbeispiel;
Fig. 1 b ein Blockdiagramm einer Vorrichtung zum Dekomprimieren von komprimierten Schallfelddaten eines Gebiets;
Fig. 1 c ein Blockdiagramm einer Vorrichtung zum Komprimieren mit zeitlicher Zer- legung;
Fig. 1d ein Blockdiagramm eines Ausführungsbeispiels einer Vorrichtung zum Dekomprimieren für den Fall einer zeitlichen Zerlegung; Fig. 1e eine zu Fig. 1d alternative Vorrichtung zum Dekomprimieren;
Fig. 1f ein Beispiel für die Anwendung der Erfindung mit zeitlicher und spektraler
Zerlegung am Beispiel von 350 gemessenen Impulsantworten als Schallfelddaten;
Fig. 2a ein Blockdiagramm einer Vorrichtung zum Komprimieren mit spektraler
Zerlegung;
Fig. 2b ein Beispiel einer unterabgetasteten Filterbank und einer anschließenden
Umsetzung der unterabgetasteten Subband-Schallfelddaten;
Fig. 2c eine Vorrichtung zum Dekomprimieren für das in Fig. 2a gezeigte Beispiel der spektralen Zerlegung; Fig. 2d eine alternative Implementierung des Dekomprimierers für die spektrale
Zerlegung; ein Übersichts-Blockdiagramm mit einem speziellen Analyse/Synthese- Codierer gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung; eine detailliertere Darstellung eines Ausführungsbeispiels mit zeitlicher und spektraler Zerlegung; eine schematische Darstellung einer Impulsantwort; ein Blockschaltbild eines Umsetzers vom Zeit- oder Spektralbereich in den Harmonischen-Komponenten-Bereich mit variabler Ordnung; und eine Darstellung eines beispielhaften Umsetzers vom Harmonischen- Komponenten-Bereich in den Zeitbereich oder Spektralbereich mit anschließender Auralisation.
Fig. 1 a zeigt ein Blockschaltbild einer Vorrichtung bzw. eines Verfahrens zum Komprimieren von Schallfelddaten eines Gebiet, wie sie an einem Eingang 10 in einen Aufteiler 100 eingegeben werden. Der Aufteiler 100 ist ausgebildet, um die Schallfelddaten in einen ersten Anteil 101 und eine zweiten Anteil 102 aufzuteilen. Darüber hinaus ist ein Umsetzer vorgesehen, der die zwei Funktionalitäten aufweist, die mit 140 oder 180 bezeichnet sind. Insbesondere ist der Umsetzer ausgebildet, um den ersten Anteil 101 umzusetzen, wie es bei 140 gezeigt ist, und um den zweiten Anteil 102 umzusetzen, wie es bei 180 gezeigt ist. Der Umsetzer setzt insbesondere den ersten Anteil 101 in eine oder mehrere harmonische Komponenten 141 mit einer ersten Ordnung um, während der Umsetzer 180 den zweiten Anteil 102 in eine oder mehrere harmonische Komponenten 182 mit einer zweiten Ordnung umsetzt. Insbesondere ist die erste Ordnung, also die den harmonischen Komponenten 141 zugrunde liegende Ordnung höher als die zweite Ordnung, was, in anderen Worten ausgedrückt bedeutet, dass der Umsetzer 140 mit höherer Ordnung mehr harmonische Komponenten 141 ausgibt als der Umsetzer 180 mit niedrigerer Ordnung. Die Ordnung n t durch die der Umsetzer 140 angesteuert wird, ist somit größer als die Ordnung n2, mit der der Umsetzer 180 angesteuert wird. Die Umsetzer 140, 180 können steuerbare Umsetzer sein. Alternativ kann die Ordnung jedoch festgelegt sein und damit fest einprogrammiert sein, so dass die Eingänge, die mit ni und n2 bezeichnet sind, in diesem Ausführungsbeispiel nicht vorhanden sind. Fig. 1 b zeigt eine Vorrichtung zum Dekomprimieren von komprimierten Schallfelddaten 20, die erste harmonische Komponenten mit einer ersten Ordnung und eine oder mehrere zweite harmonische Komponenten mit einer zweiten Ordnung aufweisen, wie sie z.B. von Fig. 1 a bei 141 , 182 ausgegeben werden. Die dekomprimierten Schallfelddaten müssen jedoch nicht unbedingt die harmonischen Komponenten 141 , 142 im„Rohformat" sein. Stattdessen könnte in Fig. 1 a noch ein verlustloser Entropie-Codierer, wie beispielsweise ein Huffman-Codierer oder ein arithmetischer Codierer vorgesehen sein, um die Anzahl von Bits, die letztendlich zur Darstellung der harmonischen Komponenten benötigt wer- den, weiter zu reduzieren. Dann würde der Datenstrom 20, der in eine Eingangs- Schnittstelle 200 eingespeist wird, aus Entropie-codierten harmonischen Komponenten und gegebenenfalls Seiteninformationen bestehen, wie es noch anhand von Fig. 3a dargestellt wird. In diesem Fall wäre am Ausgang der Eingangs-Schnittstelle 200 ein jeweiliger Entropie-Decodierer vorgesehen, der an den Entropie-Encodierer auf Encodierer- Seite, also bezüglich Fig. 1a angepasst ist. So stellen somit die ersten harmonischen Komponenten der ersten Ordnung 201 und die zweiten harmonischen Komponenten der zweiten Ordnung 202, wie sie in Fig. 1 b dargestellt sind, gegebenenfalls noch Entropiecodierte oder aber bereits Entropie-decodierte oder tatsächlich die harmonischen Komponenten in„Rohform", wie sie bei 141 , 182 in Fig. 1a vorliegen, dar.
Beide Gruppen von harmonischen Komponenten werden in einen Decodierer bzw. Umsetzer/Kombinierer 240 eingespeist. Der Block 240 ist ausgebildet, um die komprimierten Schallfelddaten 201 , 202 unter Verwendung einer Kombination des ersten Anteils und des zweiten Anteils und unter Verwendung einer Umsetzung von einer Harmonische- Komponenten-Darstellung in eine Zeitbereichsdarstellung zu dekomprimieren, um schließlich die dekomprimierte Darstellung des Schallfelds zu erhalten, wie es bei 240 dargestellt ist. Der Decodierer 240, der beispielsweise als Signalprozessor ausgebildet sein kann, ist somit ausgebildet, um zum einen eine Umsetzung in den Zeitbereich vom Sphärische-Harmonische-Komponentenbereich durchzuführen, und um zum anderen eine Kombination durchzuführen. Die Reihenfolge zwischen Umsetzung und Kombination kann jedoch unterschiedlich sein, wie es im Hinblick auf Fig. 1d, Fig. 1e oder Fig. 2c, 2d für verschiedene Beispiele dargestellt wird.
Fig. 1 c zeigt eine Vorrichtung zum Komprimieren von Schallfelddaten eines Gebiets ge- mäß einem Ausführungsbeispiel, bei dem der Aufteiler 100 als zeitlicher Aufteiler 100a ausgebildet ist. Insbesondere ist der zeitliche Aufteiler 100a, der eine Implementierung des Aufteilers 100 von Fig. 1 a ist, ausgebildet, um die Schallfelddaten in einen ersten Anteil, der erste Reflexionen in dem Gebiet umfasst, und in einen zweiten Anteil, der zweite Reflexionen in dem Gebiet umfasst, aufzuteilen, wobei die zweiten Reflexionen zeitlich später als die ersten Reflexionen auftreten. Anhand von Fig. 4 stellt der erste Anteil 101 , der vom Block 100a ausgegeben wird, somit den Impulsantwort-Abschnitt 310 von Fig. 4 dar, während der zweite späte Anteil den Abschnitt 320 der Impulsantwort von Fig. 4 darstellt. Der Zeitpunkt der Aufteilung kann beispielsweise bei 100 ms liegen. Allerdings existieren auch andere Möglichkeiten der zeitlichen Aufteilung, wie beispielsweise früher oder später. Vorzugsweise wird die Aufteilung dort gelegt, wo die diskreten Reflexionen in dif- fuse Reflexionen übergehen. Dies kann je nach Raum ein unterschiedlicher Zeitpunkt sein, und es existieren Konzepte, um hier eine beste Aufteilung zu schaffen. Andererseits kann die Aufteilung in einen frühen und in einen späten Anteil auch abhängig von einer verfügbaren Datenrate durchgeführt werden, dahin gehend, dass die Aufteilungszeit immer kleiner gemacht wird, je weniger Bitrate vorhanden ist. Dies ist im Hinblick auf die Bitrate günstig, weil dann ein möglichst großer Anteil der Impulsantwort mit einer niedrigen Ordnung in den Harmonische-Komponenten-Bereich umgesetzt wird.
Der Umsetzer, der durch die Blöcke 140 und 180 in Fig. 1c dargestellt ist, ist somit ausgebildet, um den ersten Anteil 101 und den zweiten Anteil 102 in harmonische Kompo- nenten umzusetzen, wobei der Umsetzer insbesondere den zweiten Anteil in eine oder mehrer harmonische Komponenten 182 mit einer zweiten Ordnung umsetzt und den ersten Anteil 101 in harmonische Komponenten 141 mit einer ersten Ordnung umsetzt, wobei die erste Ordnung höher als die zweite Ordnung ist, um schließlich das komprimierte Schallfeld zu erhalten, das von einer Ausgabeschnittstelle 190 schließlich zu Zwecken der Übertragung und/oder Speicherung ausgebbar ist.
Fig. 1d zeigt eine Implementierung des Dekomprimierers für das Beispiel der zeitlichen Aufteilung. Insbesondere ist der Dekomprimierer ausgebildet, um die komprimierten Schallfelddaten unter Verwendung einer Kombination des ersten Anteils 201 mit den ers- ten Reflexionen und des zweiten Anteils 202 mit den späten Reflexionen und einer Umsetzung von dem Harmonische-Komponenten-Bereich in den Zeitbereich durchzuführen. Fig. 1d zeigt eine Implementierung, bei der die Kombination nach der Umsetzung stattfindet. Fig. 1e zeigt eine alternative Implementierung, bei der die Kombination vor der Umsetzung stattfindet. Insbesondere ist der Umsetzer 241 ausgebildet, um harmonische Komponenten mit der hohen Ordnung in den Zeitbereich umzusetzen, während der Umsetzer 242 ausgebildet ist, um die harmonischen Komponenten mit der niedrigen Ordnung in den Zeitbereich umzusetzen. Im Hinblick auf Fig. 4 liefert somit der Ausgang des Umsetzers 241 etwas, das dem Bereich 210 entspricht, während der Umsetzer 242 etwas liefert, das dem Bereich 320 entspricht, wobei jedoch aufgrund der verlustbehafteten Kompression die Abschnitte am Ausgang der Brücke 241 , 242 nicht identisch zu den Ab- schnitten 310, 320 sind. Insbesondere wird jedoch eine zumindest wahrnehmungsmäßige Ähnlichkeit oder Identität des Abschnitts am Ausgang des Blocks 241 zu dem Abschnitt 310 von Fig. 4 bestehen, während der Abschnitt am Ausgang des Blocks 242, der dem späten Anteil 320 der Impulsantwort entspricht, deutliche Unterschiede haben wird und somit den Verlauf der Impulsantwort lediglich näherungsweise darstellt. Diese Abwei- chungen sind jedoch für die menschliche Richtungswahrnehmung unkritisch, weil die menschliche Richtungswahrnehmung ohnehin kaum oder nicht auf dem späten Anteil bzw. den diffusen Reflexionen der Impulsantwort basiert.
Fig. 1e zeigt eine alternative Implementierung, bei der der Decodierer zunächst den Kom- binierer 245 und dann nachfolgend den Umsetzer 244 aufweist. Die einzelnen harmonischen Komponenten werden bei dem in Fig. 1e gezeigten Ausführungsbeispiel aufaddiert, woraufhin das Ergebnis der Aufaddition umgesetzt wird, um schließlich eine Zeitbereichsdarstellung zu erhalten. Im Unterschied hierzu wird bei der Ausführung in Fig. 1d eine Kombination nicht in einer Aufaddition bestehen, sondern in einer Serialisierung, dahin gehend, dass der Ausgang des Blocks 241 zeitlich früher in einer dekomprimierten Impulsantwort angeordnet sein wird als der Ausgang des Blocks 242, um wieder eine zu Fig. 4 entsprechende Impulsantwort zu erhalten, die dann für weitere Zwecke, wie beispielsweise eine Auralisation also in eine Aufbereitung von Tonsignalen mit dem gewünschten Raumeindruck verwendet werden kann.
Fig. 2a zeigt eine alternative Implementierung der vorliegenden Erfindung, bei der eine Aufteilung im Frequenzbereich vorgenommen wird. Insbesondere ist der Aufteiler 100 von Fig. 1 a bei dem Ausführungsbeispiel von Fig. 2a als Filterbank implementiert, um zumindest einen Teil der Schallfelddaten zu filtern, um Schallfelddaten in verschiedenen Filter- bankkanälen 101 , 102 zu erhalten. Die Filterbank erhält bei einem Ausführungsbeispiel, bei dem die zeitliche Aufteilung von Fig. 1 a nicht implementiert ist, sowohl den frühen als auch den späten Anteil, während bei einem alternativen Ausführungsbeispiel lediglich der frühe Anteil der Schallfelddaten in die Filterbank eingespeist wird, während der späte Anteil nicht weiter spektral zerlegt wird. Der Analyse-Filterbank 100b nachgeordnet ist der Umsetzer, der aus Teil-Umsetzern 140a, 140b, 1 0c ausgebildet sein kann. Der Umsetzer 140a, 140b, 140c ist ausgebildet, um die Schallfelddaten in verschiedenen Filterbankkanälen unter Verwendung verschiedener Ordnungen für verschiedene Filterbankkanäle umzusetzen, um für jeden Filter- bankkanal einen oder mehrere harmonische Komponenten zu erhalten. Insbesondere ist der Umsetzer ausgebildet, um für einen ersten Filterbankkanal mit einer ersten Mittenfrequenz eine Umsetzung mit einer ersten Ordnung durchzuführen, und um für einen zweiten Filterbankkanal mit einer zweiten Mittenfrequenz eine Umsetzung mit einer zweiten Ordnung durchzuführen, wobei die erste Ordnung höher als die zweite Ordnung ist, und wobei die erste Mittenfrequenz, d.h. fn, höher als die zweite Mittenfrequenz ist, um schließlich die komprimierte Schallfelddarstellung zu erhalten. Generell kann, je nach Ausführungsbeispiel, für das niedrigste Frequenzband eine niedrigere Ordnung als für ein mittleres Frequenzband verwendet werden. Allerdings muss je nach Implementierung das höchste Frequenzband, wie es bei dem in Fig. 2a gezeigten Ausführungsbeispiel der Fil- terbankkanal mit der Mittenfrequenz fn ist, nicht unbedingt mit einer höheren Ordnung als z.B. ein mittlerer Kanal umgesetzt werden. Stattdessen kann in den Bereichen, in denen die Richtungswahrnehmung am höchsten ist, die höchste Ordnung verwendet werden, wie in den anderen Bereichen, zu denen auch z.B. ein bestimmter hoher Frequenzbereich gehören kann, die Ordnung niedriger ist, weil in diesen Bereichen auch die Richtungs- Wahrnehmung des menschlichen Gehörs niedriger ist.
Fig. 2b zeigt eine detailliertere Implementierung der Analyse-Filterbank 100b. Diese um- fasst bei dem in Fig. 2b gezeigten Ausführungsbeispiel einen Bandfilter und hat ferner nachgeschaltete Dezimierer 100c für jeden Filterbankkanal. Wenn beispielsweise eine Filterbank bestehend aus Bandfilter und Dezimierern eingesetzt wird, die 64 Kanäle hat, so kann jeder Dezimierer mit einem Faktor 1/64 dezimieren, so dass insgesamt die Anzahl der digitalen Abtastwerte am Ausgang der Dezimierer über alle Kanäle aufaddiert der Anzahl von Abtastwerten eines Blocks der Schallfelddaten im Zeitbereich entspricht, der durch die Filterbank zerlegt worden ist. Eine beispielhafte Filterbank kann eine reelle oder komplexe QMF-Filterbank sein. Jedes Subbandsignal vorzugsweise der frühen Anteile der Impulsantworten wird dann in harmonische Komponenten mittels der Umsetzer 140a bis 140c in Analogie zu Fig. 2a umgesetzt, um schließlich für verschiedene Subbandsig- nale der Schallfeldbeschreibung eine Beschreibung mit zylindrischen oder vorzugsweise sphärischen harmonischen Komponenten zu erhalten, die für unterschiedliche Sub- bandsignale unterschiedliche Ordnungen, also eine unterschiedlich große Anzahl von harmonischen Komponenten, aufweist. Fig. 2c und Fig. 2d zeigen wieder verschiedene Implementierungen des Dekomprimierers, wie er in Fig. 1 b dargestellt ist, also eine unterschiedliche Reihenfolge der Kombination und anschließenden Umsetzung in Fig. 2c oder der zunächst durchgeführten Umsetzung und der anschließenden Kombination, wie es in Fig. 2d dargestellt ist. Insbesondere um- fasst der Dekomprimierer 240 von Fig. 1 b bei dem in Fig. 2c gezeigten Ausführungsbei- spiel wieder einen Kombinierer 245, der eine Addition der unterschiedlichen harmonischen Komponenten aus den verschiedenen Subbändern durchführt, um dann eine Gesamtdarstellung der harmonischen Komponenten zu erhalten, die dann mit dem Umsetzer 244 in den Zeitbereich umgesetzt werden. Damit liegen die Eingangssignale in dem Kombinierer 245 im Harmonische-Komponenten-Spektralbereich vor, während der Ausgang des Kombinierers 345 eine Darstellung im Harmonische-Komponenten-Bereich darstellt, von dem dann durch den Umsetzer 244 eine Umsetzung in den Zeitbereich erhalten wird. Bei dem in Fig. 2d gezeigten alternativen Ausführungsbeispiel werden die einzelnen harmonischen Komponenten für jedes Subband zunächst durch unterschiedliche Umsetzer 241a, 241 b, 241c in den Spektralbereich umgesetzt, so dass die Ausgangssignale der Blöcke 241a, 241 b, 241 c den Ausgangssignalen der Blöcke 140a, 140b, 140c von Fig. 2a oder Fig. 2b entsprechen. Dann werden diese Subbandsignale in einer nachgeordneten Synthese-Filterbank, die im Falle eines Downsampling auf Encodierer-Seite (Block 100c von Fig. 2b) auch eine Hoch-Tast-Funktion, also eine Upsampling-Funktion aufweisen kann, verarbeitet. Die Synthese-Filterbank stellt dann die Kombinierer-Funktion des De- codierers 240 von Fig. 1 b dar. Am Ausgang der Synthese-Filterbank liegt somit die dekomprimierte Schallfelddarstellung vor, die zur Auralisation verwendet werden kann, wie es noch dargestellt wird.
Fig. 1f zeigt ein Beispiel für die Zerlegung von Impulsantworten in harmonische Komponenten verschiedener Ordnungen. Die späten Abschnitte werden nicht spektral zerlegt sondern insgesamt mit der nullten Ordnung umgesetzt. Die frühen Abschnitte der Impuls- antworten werden spektral zerlegt. Das niedrigste Band wird beispielsweise mit der ersten Ordnung verarbeitet, während das nächste Band bereits mit der fünften Ordnung verarbeitet wird und das letzte Band, weil es für die Richtungs/Raumwahrnehmung am wichtigsten ist, mit der höchsten Ordnung, also bei diesem Beispiel mit der Ordnung 14, verarbeitet wird. Fig. 3a zeigt das gesamte Encodierer/Decodierer-Schema oder das gesamte Komprimie- rer/Dekomprimierer-Schema der vorliegenden Erfindung.
Insbesondere umfasst bei dem in Fig. 3a gezeigten Ausführungsbeispiel der Komprimie- rer nicht nur die Funktionalitäten von Fig. 1 a, die mit 1 oder PENC bezeichnet sind, sondern auch einen Decodierer PDEC2, der wie in Fig. 1b ausgebildet sein kann. Darüber hinaus umfasst der Komprimierer noch eine Steuerung CTRL4, die ausgebildet ist, um vom Decodierer 2 erhaltene dekomprimierte Schallfelddaten mit ursprünglichen Schallfelddaten unter Berücksichtigung eines psychoakustischen Modells, wie beispielsweise dem Modell PEAQ, das von der ITU standardisiert worden ist, verglichen.
Daraufhin erzeugt die Steuerung 4 optimierte Parameter für die Aufteilung, wie beispielsweise die zeitliche Aufteilung, die frequenzmäßige Aufteilung in der Filterbank oder optimierte Parameter für die Ordnungen in den einzelnen Umsetzern für die verschiedenen Anteile der Schallfelddaten, wenn diese Umsetzer steuerbar ausgebildet sind.
Steuerparameter, wie beispielsweise Aufteilungsinformationen, Filterbankparameter oder Ordnungen können dann zusammen mit einem Bitstrom, der die harmonischen Komponenten aufweist, zu einem Decodierer bzw. Dekomprimierer übertragen werden, der mit 2 in Fig. 3a dargestellt ist. Der Komprimierer 11 besteht somit aus dem Kontrollblock CTRL4 für die Codec-Steuerung sowie einen Parameter-Codierer PENC1 und dem Parameter- Decodierer PDEC2. Die Eingaben 10 sind Daten von Mikrofon-Array-Messungen. Der Steuerblock 4 initialisiert den Encodierer 1 und stellt sämtliche Parameter für die Encodie- rung der Array-Daten bereit. Im PENC-Block 1 werden die Daten gemäß der beschriebe- nen Methodik der gehörabhängigen Aufteilung im Zeit- und im Frequenzbereich verarbeitet und für die Datenübertragung bereitgestellt.
Fig. 3b zeigt das Schema der Daten-En- und Decodierung. Die Eingangsdaten 10 werden zunächst durch den Aufteiler 100a in ein frühes 101 und ein spätes Schallfeld 102 zerlegt. Das frühe Schallfeld 101 wird mittels einer n-Band-Filterbank 100b in seine spektralen Anteile fi .... fn zerlegt, die jeweils mit einer dem menschlichen Gehör angepassten Ordnung des sphärischen Harmonischen (x-Ordnung-SHD - SHD = Spherical Harmonics Decomposition) zerlegt werden. Diese Zerlegung in sphärische Harmonische stellt ein bevorzugtes Ausführungsbeispiel dar, wobei jedoch mittels jeder Schallfeldzerlegung (Sound Field Decomposition), die harmonische Komponenten erzeugt, gearbeitet werden kann. Da die Zerlegung in sphärische harmonische Komponenten in jedem Band je nach Ordnung unterschiedlich lange Berechnungszeiten braucht, wird es bevorzugt, die Zeitversätze in einer Verzögerungsleitung mit Verzögerungsblöcken 306, 304 zu korrigieren. Damit wird der Frequenzbereich im Rekonstruktionsblock 245, der auch als Kombinierer bezeichnet wird, rekonstruiert und mit dem späten Schallfeld im weiteren Kombinierer 243 wieder kombiniert, nachdem dieses mit einer gehörangepasst niedrigen Ordnung gerechnet wurde.
Der Steuerblock CTRL4 von Fig. 3a beinhaltet ein raumakustisches Analysemodul und ein Psychoakustikmodul. Der Steuerblock analysiert dabei sowohl die Eingangsdaten 10 als auch die Ausgangsdaten des Decodierers 2 von Fig. 3a, um die Codierparameter, die auch als Seiteninformationen 300 in Fig. 3a bezeichnet werden, bzw. die direkt im Komprimierer 1 1 dem Codierer PENC1 bereitgestellt werden, adaptiv anzupassen. Aus den Eingangssignalen 10 werden raumakustische Parameter extrahiert, die mit den Parametern der verwendeten Array-Konfiguration die initialen Parameter der Codierung vorgeben. Diese beinhalten sowohl den Zeitpunkt der Trennung zwischen frühem und spätem Schallfeld, der auch als„mixing time" oder„Mischzeit" bezeichnet wird, als auch die Parameter für die Filterbank, wie beispielsweise entsprechende Ordnungen der sphärischen Harmonischen. Die Ausgabe, die z.B. in Form von binauralen Impulsantworten vorliegen kann, wie sie vom Kombinierer 243 ausgegeben wird, wird in ein psychoakustisches Mo- dul mit einem auditorischen Modell geführt, das die Qualität evaluiert und die Codierparameter entsprechend anpasst. Alternativ kann das Konzept auch mit statischen Parametern arbeiten. Dann entfällt das Steuermodul CTRL4 sowie das PEDC-Modul 2 auf En codierer- bzw. Komprimiererseite 1 1. Die Erfindung ist dahin gehend vorteilhaft, dass Daten und Rechenaufwand bei der Verarbeitung und Übertragung von Kreis- und Kugelarraydaten in Abhängigkeit des menschlichen Gehörs reduziert werden. Es ist ferner vorteilhaft, dass die so verarbeiteten Daten in bestehende Kompressionsverfahren integriert werden können und somit eine zusätzliche Datenreduktion erlauben. Dies ist in bandbegrenzten Übertragungssystemen, wie für mobile Endgeräte von Vorteil. Ein weiterer Vorteil ist die mögliche Echtzeitverarbeitung der Daten im sphärischen harmonischen Bereich auch bei hohen Ordnungen. Die vorliegende Erfindung kann in vielen Bereichen Anwendung finden, und insbesondere in den Bereichen, wo das akustische Schallfeld mittels zylindrischer oder sphärischer Harmonischer dargestellt wird. Dies erfolgt z.B. bei der Schallfeldanalyse mittels Kreis- bzw. Ku- gelarrays. Wenn das analysieret Schallfeld auralisiert werden soll, kann das Konzept der vorliegenden Erfindung eingesetzt werden. Bei Geräten zur Simulation von Räumen wer- den Datenbanken zur Speicherung existierender Räume eingesetzt. Hier ermöglicht das erfindungsgemäße Konzept eine platzsparende und qualitativ hochwertige Speicherung. Es existieren Wiedergabeverfahren, die auf Kugelflächenfunktionen beruhen, wie beispielsweise Higher Order Ambisonics oder die binaurale Synthese. Hier liefert die vorlie- gende Erfindung eine Reduktion von Rechenzeit und Datenaufwand. Dies kann insbesondere im Hinblick auf die Datenübertragung z.B. bei Telekonferenz-Systemen von besonderem Vorteil sein.
Fig. 5 zeigt eine Implementierung eines Umsetzers 140 bzw. 180 mit einstellbarer Ord- nung bzw. mit zumindest unterschiedlicher Ordnung, die auch fest eingestellt sein kann.
Der Umsetzer umfasst einen Zeit-Frequenz-Transformationsblock 502 und einen nachgeschalteten Raum-Transformationsblock 504. Der Raum-Transformationsblock 504 ist ausgebildet, um gemäß der Berechnungsvorschrift 508 zu arbeiten. In der Berechnungs- Vorschrift beträgt n die Ordnung. Die Berechnungsvorschrift 508 wird je nach Ordnung nur einmal gelöst, wenn die Ordnung gleich null ist, oder wird öfter gelöst, wenn die Ordnung z.B. bis zur Ordnung 5 oder bei dem vorstehend beschriebenen Beispiel bis zur Ordnung 14 geht. Insbesondere ist das Zeit-Frequenz-Transformationselement 502 ausgebildet, um die Impulsantworten auf den Eingangsleitungen 101 , 102 in den Frequenzbereich zu transformieren, wobei vorzugsweise die schnelle Fourier-Transformation eingesetzt wird. Ferner wird dann nur das halbseitige Spektrum weitergeleitet, um den Rechenaufwand zu reduzieren. Dann wird eine räumliche Fourier-Transformation im Block Raumtransformation 504 durchgeführt, wie sie in dem Fachbuch Fourier Acoustics, Sound Radiation and Nearfield Acoustical Holography, Academic Press, 1999 von Earl G. Williams beschrieben ist. Vorzugsweise ist die Raumtransformation 504 optimiert für die Schallfeldanalyse und liefert gleichzeitig eine hohe numerische Genauigkeit und eine schnelle Berechnungsgeschwindigkeit.
Fig. 6 zeigt die bevorzugte Implementierung eines Umsetzers vom Harmonische- Komponenten-Bereich in den Zeitbereich, wo als Alternative ein Prozessor zur Zerlegung in ebene Wellen und Beamforming 602 dargestellt ist, und zwar alternativ zu einer inver- sen Raumtransformationsimplementierung 604. Die Ausgangssignale beider Blöcke 602, 604 können alternativ in einen Block 606 zur Erzeugung von Impulsantworten eingespeist werden. Die inverse Raumtransformation 604 ist ausgebildet, um die Hin-Transformation im Block 504 rückgängig zu machen. Alternativ hierzu führt die Zerlegung in ebene Wellen und das Beamforming in Block 606 dazu, dass eine große Menge an Zerlegungsrichtun- gen gleichmäßig verarbeitet werden können, was zu einer schnellen Verarbeitung insbesondere zur Visualisierung oder Auralisierung günstig ist. Vorzugsweise erhält der Block 602 radiale Filterkoeffizienten sowie, je nach Implementierung, zusätzliche Strahlfor- mungs- bzw. Beamforming-Koeffizienten. Diese können entweder eine konstante Gerich- tetheit haben oder frequenzabhängig sein. Alternative Eingangssignale in den Block 602 können modale Radialfilter sein, und insbesondere für sphärische Arrays oder unterschiedliche Konfigurationen, wie beispielsweise eine offene Kugel mit omnidirektionalen Mikrofonen, eine offene Kugel mit Cardioid-Mikrofonen und eine starre Kugel mit omnidirektionalen Mikrofonen. Der Block 606 zur Erzeugung von Impulsantworten erzeugt Im- pulsantworten oder Zeitbereichssignale aus Daten entweder vom Block 602 oder vom Block 604. Dieser Block rekombiniert insbesondere die vorher weggelassene negativen Anteile des Spektrums, führt eine schnelle inverse Fourier-Transformation durch und erlaubt ein Resampling bzw. Abtastratenumsetzung auf die ursprüngliche Abtast-Rate, falls das Eingangssignal an einer Stelle herunter-abgetastet wurde. Ferner kann eine Fenster- Option eingesetzt werden.
Details zu der Funktionalität der Blöcke 502, 504, 602, 604, 606 sind in der Fachveröffent- üchung„SofiA Sound Field Analysis Toolbox" von Bernschütz u.a., ICSA - International Conference on Spatial Audio, Detmold, 10. bis 13.11.2011" beschrieben, wobei diese Fachveröffentlichung hierin durch Bezugnahme in ihrer Gesamtheit aufgenommen ist.
Der Block 606 kann ferner ausgebildet sein, um den kompletten Satz von dekomprimierten Impulsantworten, also beispielsweise den verlustbehafteten Impulsantworten auszugeben, wobei dann der Block 608 wieder beispielsweise 350 Impulsantworten ausgeben würde. Je nach Auralisierung wird es jedoch bevorzugt, lediglich die letztendlich für die Wiedergabe nötigen Impulsantworten auszugeben, was durch einen Block 608 bewerkstelligt werden kann, der eine Auswahl oder eine Interpolation für ein bestimmtes Wiedergabeszenario liefert. Wird beispielsweise eine Stereowiedergabe angestrebt, wie es in Block 616 dargestellt ist, so wird abhängig von der Platzierung der beiden Stereo- Lautsprecher von den 350 beispielsweise wiedergewonnenen Impulsantworten die Impulsantwort ausgewählt, die jeweils der Raumrichtung des entsprechenden Stereo- Lautsprechers entspricht. Mit dieser Impulsantwort wird dann ein Vorfilter des entsprechenden Lautsprechers eingestellt, derart, dass das Vorfilter eine Filtercharakteristik hat, die dieser Impulsantwort entspricht. Dann wird ein wiederzugebendes Audiosignal zu den beiden Lautsprechern über die entsprechenden Vorfilter geführt und wiedergegeben, um schließlich den gewünschten Raumeindruck für eine Stereo-Auralisation zu erzeugen. Existiert unter den zur Verfügung stehenden Impulsantworten eine Impulsantwort in einer bestimmten Richtung, in der im tatsächlichen Wiedergabeszenario ein Lautsprecher angeordnet ist, nicht, so werden die vorzugsweise zwei oder drei am nächsten benachbarten Impulsantworten verwendet und es wird eine Interpolation durchgeführt.
Bei einem alternativen Ausführungsbeispiel, bei dem die Wiedergabe bzw. Auralisation durch eine Wellenfeldsynthese 612 stattfindet, wird es bevorzugt, eine Wiedergabe von frühen und späten Reflexionen über virtuelle Quellen durchzuführen, wie es in der PH. D.Arbeit„Spatial Sound Design based on Measured Room Impulse Responses" von Frank Melchior an der TU Delft aus dem Jahr 2011 detailliert dargestellt ist, wobei diese Fachveröffentlichung ebenfalls durch Bezugnahme in ihrer Gesamtheit hierin aufgenommen ist.
Insbesondere werden die Reflexionen einer Quelle bei der Wellefeldsynthese-Wiedergabe 612 durch vier Impulsantworten an bestimmten Positionen für die frühen Reflexionen und 8 Impulsantworten an bestimmten Positionen für die späten Reflexionen wiedergegeben. Der Auswahlblock 608 wählte dann die 12 Impulsantworten für die 12 virtuellen Positionen aus. Hierauf werden diese Impulsantworten zusammen mit den zugehörigen Positionen in einem Wellenfeld-Synthese-Renderer, der in Block 612 angeordnet sein kann, zugeführt, und der Wellenfeld-Synthese-Renderer berechnet dann unter Verwendung dieser Impulsantworten die Lautsprechersignale für die tatsächlich vorhandenen Lautsprecher, damit diese dann die entsprechenden virtuellen Quellen abbilden. Damit wird für jeden Lautsprecher im Wellefeld-Synthese-Wiedergabesystem ein eigenes Vorfilter berechnet, über das dann ein letztendlich wiederzugebendes Audiosignal gefiltert wird, bevor es vom Lautsprecher ausgegeben wird, um eine entsprechende Wiedergabe mit hohen qualitativen Raumeffekten zu erreichen.
Eine alternative Implementierung der vorliegenden Erfindung besteht in einer Erzeugung eines Kopfhörersignals, also in einer Binaural-Anwendung, bei der der Raumeindruck des Gebiets über die Kopfhörerwiedergabe erzeugt werden soll.
Obgleich im Vorstehenden hauptsächlich Impulsantworten als Schallfelddaten dargestellt worden sind, können beliebige andere Schallfelddaten, beispielsweise Schallfelddaten nach Betrag und Vektor also im Hinblick auf z.B. Schalldruck und Schallschnelle an be- stimmten Positionen im Raum ebenfalls eingesetzt werden. Auch diese Schallfelddaten können in wichtigere und weniger wichtigere Anteile im Hinblick auf die menschliche Rieh- tungswahrnehmung aufgeteilt und in harmonische Komponenten umgesetzt werden. Die Schallfelddaten können auch jede Art von Impulsantworten, wie beispielsweise Head- elated Transfer Functions (HRTF-) Funktionen oder Binaural Room Impulse Responses (BRIR-) Funktionen oder Impulsantworten von jeweils einem diskreten Punkt zu einer vor- bestimmten Position in dem Gebiet umfassen.
Vorzugsweise wird ein Raum mit einem Kugelarray abgetastet. Dann liegt das Schallfeld als Satz von Impulsantworten vor. Im Zeitbereich wird das Schallfeld in seine frühen und späten Anteile zerlegt. Anschließend werden beide Teile in ihre sphärischen oder zylindri- sehen harmonischen Komponenten zerlegt. Da die relativen Richtungsinformationen im frühen Schallfeld vorhanden sind, wird hier eine höhere Ordnung der sphärischen Harmonischen gerechnet als im späten Schallfeld, das für eine niedrige Ordnung ausreichend ist. Der frühe Teil ist verhältnismäßig kurz, beispielsweise 100 ms und wird genau, also mit vielen harmonischen Komponenten dargestellt, während der späte Teil, beispielsweise 100 ms bis 2 s oder 10 s lang ist. Dieser späte Teil wird jedoch mit weniger oder nur einer einzigen harmonischen Komponente dargestellt.
Eine weitere Datenreduktion ergibt sich durch die Aufspaltung des frühen Schallfelds in einzelne Bänder vor der Darstellung als sphärische Harmonische. Dazu wird nach der Trennung im Zeitbereich in frühes und spätes Schallfeld das frühe Schallfeld mittels einer Filterbank in seine spektralen Anteile zerlegt. Durch Unterabtastung der einzelnen Frequenzbänder wird eine Datenreduktion erreicht, die die Berechnung der harmonischen Komponenten deutlich beschleunigt. Zusätzlich wird für jedes Frequenzband eine in Abhängigkeit der menschlichen Richtungswahrnehmung perzeptiv ausreichend frühe Ord- nung verwendet. So sind für niedrige Frequenzbänder, in denen die menschliche Richtungswahrnehmung niedrig ist, niedrige Ordnungen oder sogar für das niedrigste Frequenzband die Ordnung null ausreichen, während bei hohen Bändern höhere Ordnungen bis zur maximal sinnvollen Ordnung im Hinblick auf die Genauigkeit des gemessenen Schallfeldes benötigt werden. Auf der Decodierer- bzw. Dekomprimierer-Seite wird das komplette Spektrum rekonstruiert. Anschließend werden frühes oder spätes Schallfeld wieder kombiniert. Die Daten stehen nun zur Auralisation bereit.
Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu ver- stehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar. Einige oder alle der Verfahrensschritte können durch einen Hardware-Apparat (oder unter Verwen- dung eines Hardware-Apparats), wie zum Beispiel einen Mikroprozessor, einen programmierbaren Computer oder eine elektronische Schaltung ausgeführt werden. Bei einigen Ausführungsbeispielen können einige oder mehrere der wichtigsten Verfahrensschritte durch einen solchen Apparat ausgeführt werden. Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-ray Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magneti- sehen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem derart zusammenwirken können oder zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Deshalb kann das digitale Speichermedium computerlesbar sein. Manche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird. Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computerprogrammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahin gehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer abläuft. Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger gespeichert sein.
Andere Ausführungsbeispiele umfassen das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschinenlesbaren Träger gespeichert ist. Mit anderen Worten ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens somit ein Computerprogramm, das einen Programmcode zum Durchführen eines der hierin beschriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer abläuft.
Ein weiteres Ausführungsbeispiel der erfindungsgemäßen Verfahren ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist.
Ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist somit ein Datenstrom oder eine Sequenz von Signalen, der bzw. die das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Datenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahin gehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, transferiert zu werden.
Ein weiteres Ausführungsbeispiel umfasst eine Verarbeitungseinrichtung, beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahin gehend konfigu- riert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen.
Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist. Ein weiteres Ausführungsbeispiel gemäß der Erfindung umfasst eine Vorrichtung oder ein System, die bzw. das ausgelegt ist, um ein Computerprogramm zur Durchführung zumindest eines der hierin beschriebenen Verfahren zu einem Empfänger zu übertragen. Die Übertragung kann beispielsweise elektronisch oder optisch erfolgen. Der Empfänger kann beispielsweise ein Computer, ein Mobilgerät, ein Speichergerät oder eine ähnliche Vor- richtung sein. Die Vorrichtung oder das System kann beispielsweise einen Datei-Server zur Übertragung des Computerprogramms zu dem Empfänger umfassen.
Bei manchen Ausführungsbeispielen kann ein programmierbares Logikbauelement (beispielsweise ein feldprogrammierbares Gatterarray, ein FPGA) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausführungsbeispielen kann ein feldprogrammierbares Gatterarray mit einem Mikroprozessor zusammenwirken, um eines der hierin beschriebenen Verfahren durchzuführen. Allgemein werden die Verfahren bei einigen Ausführungsbeispielen seitens einer beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hardware wie ein Computerprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC.
Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.

Claims

Patentansprüche
Vorrichtung zum Komprimieren von Schallfelddaten (10) eines Gebiets, mit folgenden Merkmalen: einem Aufteiler (100) zum Aufteilen der Schallfelddaten in einen ersten Anteil (101) und in einen zweiten Anteil (102); und einem Umsetzer (140, 180) zum Umsetzen des ersten Anteils (101) und des zweiten Anteils (102) in harmonische Komponenten (141 , 182), wobei der Umsetzer (140, 180) ausgebildet ist, um den zweiten Anteil (102) in eine oder mehrere harmonische Komponenten (141) mit einer zweiten Ordnung umzusetzen, und um den ersten Anteil (101) in harmonische Komponenten mit einer ersten Ordnung umzusetzen, wobei die erste Ordnung höher als die zweite Ordnung ist, um die komprimierten Schallfelddaten zu erhalten.
Vorrichtung nach Anspruch 1 , bei der der Umsetzer (140, 180) ausgebildet ist, um für den ersten Anteil, der für eine Richtungswahrnehmung des menschlichen Gehörs wichtiger als der zweite Anteil ist, die harmonischen Komponenten mit der ersten Ordnung zu berechnen, die höher als die zweite Ordnung ist.
Vorrichtung nach Anspruch 1 oder 2, bei der der Aufteiler (100) ausgebildet ist, um die Schallfelddaten (10) in den ersten Anteil, der erste Reflexionen in dem Gebiet umfasst, und in den zweiten Anteil, der zweite Reflexionen in dem Gebiet umfasst, aufzuspalten, wobei die zweiten Reflexionen zeitlich später als die ersten Reflexionen auftreten.
Vorrichtung nach einem der vorhergehenden Ansprüche, bei der der Aufteiler (100) ausgebildet ist, um eine spektrale Aufteilung durchzuführen und eine Filterbank (100b) zum Filtern zumindest eines Teils der Schall- felddaten (10) aufweist, um Schallfelddaten in verschiedenen Filterbankkanälen
(140a, 140b, 140c) zu erhalten, und wobei der Umsetzer ausgebildet ist, um für ein Subbandsignal aus einem ersten Filterbankkanal die Komponenten mit der ersten Ordnung zu berechnen, und um für ein Subbandsignal aus einem zweiten Filterbankkanal die harmonischen Komponenten mit der zweiten Ordnung zu berechnen, wobei eine Mittenfrequenz des ersten Filterbankkanals höher als eine Mittenfrequenz des zweiten Filterbankkanals ist.
Vorrichtung nach einem der vorhergehenden Ansprüche, bei der der Aufteiler (100) ausgebildet ist, um die Schallfelddaten in den ersten Anteil, der erste Reflexionen in dem Gebiet umfasst, und in den zweiten Anteil, der zweite Reflexionen in dem Gebiet umfasst, aufzuteilen, wobei die zweiten Reflexionen zeitlich später als die ersten Reflexionen auftreten, und bei dem der Aufteiler (100) ferner ausgebildet ist, um den ersten Anteil in spektrale Anteile (101 , 102) zu zerlegen, und um die spektralen Anteile jeweils in eine oder mehrere harmonische Komponenten mit unterschiedlicher Ordnung umzusetzen, wobei eine Ordnung für einen spektralen Anteil mit einem höheren Frequenzband höher ist als eine Ordnung für einen spektralen Anteil in einem niedrigeren Frequenzband.
Vorrichtung nach einem der vorhergehenden Ansprüche, die ferner eine Ausgabe- Schnittstelle (190) aufweist, um die eine oder die mehreren harmonischen Komponenten (182) mit der zweiten Ordnung und die harmonischen Komponenten mit der ersten Ordnung (141) zusammen mit Seiteninformationen (300), die einen Hinweis auf die erste Ordnung oder die zweite Ordnung aufweisen, zur Übertragung und Speicherung zu liefern.
Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Schallfelddaten ein dreidimensionales Gebiet beschreiben und der Umsetzer ausgebildet ist, um als die harmonischen Komponenten zylindrische harmonische Komponenten zu berechnen, oder bei der die Schallfelddaten (10) ein dreidimensionales Gebiet beschreiben und der Umsetzer (140, 180) ausgebildet ist, um als die harmonischen Komponenten sphärische harmonische Komponenten zu berechnen.
8. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Schallfelddaten als eine erste Anzahl von diskreten Signalen vorliegen, bei der der Umsetzer (140, 180) für den ersten Anteil (101 ) und den zweiten Anteil (102) eine zweite gesamte Anzahl von harmonischen Komponenten liefert, und bei der die zweite gesamte Anzahl von harmonischen Komponenten kleiner als die erste Anzahl von diskreten Signalen ist.
9. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der der Aufteiler (100) ausgebildet ist, um als Schallfelddaten (10) eine Vielzahl verschiedener Impulsantworten zu verwenden, die unterschiedlichen Positionen in dem Gebiet zugeordnet sind.
10. Vorrichtung nach Anspruch 9, bei der die Impulsantworten Head-Related Transfer Functions (HRTF-) Funktionen oder Binaural Room Impulse Responses (BRIR-) Funktionen oder Impulsantworten von jeweils einem diskreten Punkt in dem Gebiet zu einer vorbestimmten Position in dem Gebiet sind.
11. Vorrichtung nach einem der vorhergehenden Ansprüche, die ferner folgendes Merkmal aufweist: einen Decodierer (2) zum Dekomprimieren der komprimierten Schallfelddaten unter Verwendung einer Kombination des ersten und des zweiten Anteils und unter Verwendung einer Umsetzung von einer Harmonische-Komponenten-Darstellung in eine Zeitbereichsdarstellung, um eine dekomprimierte Darstellung zu erreichen; und eine Steuerung (4) zum Steuern des Aufteilers (100) oder des Umsetzers (140, 180) bezüglich der ersten oder zweiten Ordnung, wobei die Steuerung (4) ausgebildet ist, um unter Verwendung eines psychoakustischen Moduls die dekomprimierten Schallfelddaten mit den Schallfelddaten (10) zu vergleichen und um den Aufteiler (100) oder den Umsetzer (140, 180) unter Verwendung des Vergleichs anzusteuern.
12. Vorrichtung nach Anspruch 1 1 , bei der der Decodierer ausgebildet ist, um die harmonischen Komponenten der zweiten Ordnung und die harmonischen Komponenten der ersten Ordnung umzusetzen (241 , 242), und dann eine Kombination der umgesetzten harmonischen Komponenten durchzuführen, oder wobei der Decodierer (2) ausgebildet ist, um die harmonischen Komponenten mit der zweiten Ordnung und die harmonischen Komponenten mit der ersten Ordnung zu kombinieren (245), und um ein Ergebnis der Kombination in dem Kombinierer (245) von einem Harmonische-Komponenten-Bereich in den Zeitbereich umzusetzen (244).
13. Vorrichtung nach Anspruch 11 , bei der der Decodierer ausgebildet ist, um harmonische Komponenten verschiedener spektraler Anteile mit unterschiedlichen Ordnungen umzusetzen (140a, 140b), um unterschiedliche Verarbeitungszeiten für unterschiedliche spektrale Anteile auszugleichen (304, 306), und um in einen Zeitbereich umgesetzte spektrale Anteile des ersten Anteils mit in den Zeitbereich umgesetzten spektralen Komponenten des zweiten Anteils durch zueinander serielle Anordnung zu kombinieren.
14. Vorrichtung zum Dekomprimieren von komprimierten Schallfelddaten, die erste harmonischen Komponenten (141) bis zu einer ersten Ordnung und eine oder mehrere zweite harmonische Komponenten (182) bis zu einer zweiten Ordnung aufweisen, wobei die erste Ordnung größer als die zweite Ordnung ist, mit folgenden Merkmalen: einer Eingangsschnittstelle (200) zum Erhalten der komprimierten Schallfelddaten; und einem Prozessor (240) zum Verarbeiten der ersten harmonischen Komponenten (201) und der zweiten harmonischen Komponenten (202) unter Verwendung einer Kombination des ersten und des zweiten Anteils und unter Verwendung einer Umsetzung von einer Harmonische-Komponenten-Darstellung in eine Zeitbereichsdarstellung, um eine dekomprimierte Darstellung zu erreichen, wobei der erste Anteil durch die ersten harmonischen Komponenten und der zweite Anteil durch die zweiten harmonischen Komponenten dargestellt sind.
15. Vorrichtung nach Anspruch 14, bei der der Prozessor (240) folgende Merkmale aufweist: einen Kombinierer (245) zum Kombinieren der ersten harmonischen Komponenten und der zweiten harmonischen Komponenten, um kombinierte harmonische Komponenten zu erhalten; und einen Umsetzer (244) zum Umsetzen der kombinierten harmonischen Komponenten in den Zeitbereich.
16. Vorrichtung nach Anspruch 14, bei der der Prozessor folgende Merkmale aufweist: einen Umsetzer (241 , 242) zum Umsetzen der ersten harmonischen Komponenten und der zweiten harmonischen Komponenten in den Zeitbereich; und einen Kombinierer (243, 245) zum Zusammensetzen der in den Zeitbereich umgesetzten harmonischen Komponenten, um die dekomprimierten Schallfelddaten zu erhalten.
Vorrichtung nach einem der Ansprüche 12 bis 16, bei der der Prozessor (240) ausgebildet ist, um Informationen über eine Wiedergabeanordnung (610, 612, 614) zu erhalten, und bei der der Prozessor (240) ausgebildet ist, um die dekomprimierten Schallfelddaten (602, 604, 606) zu berechnen und aufgrund der Informationen über die Wiedergabeanordnung einen Teil der Schallfelddaten der dekomprimierten Schallfelddaten zu Zwecken einer Wiedergabe auszuwählen (608), oder bei der der Prozessor ausgebildet ist, um nur einen Teil der für die Wiedergabeanordnung nötigen dekomprimierten Schallfelddaten zu berechnen.
18. Vorrichtung nach einem der Ansprüche 12 bis 17, bei der die ersten harmonischen Komponenten der ersten Ordnung einen ersten Spektralbereich darstellen, und die eine oder die mehreren harmonischen Komponenten der zweiten Ordnung einen unterschiedlichen Spektralbereich darstellen, wobei der Prozessor (240) ausgebildet ist, um die harmonischen Komponenten der ersten Ordnung im den Spektralbereich umzusetzen, und um die eine oder die mehreren zweiten harmonischen Komponenten der zweiten Ordnung in den Spektralbereich umzusetzen, und um die umgesetzten harmonischen Komponenten mittels einer Synthese-Filterbank (245) zu kombinieren, um eine Darstellung von Schallfelddaten in dem Zeitbereich zu erhalten.
19. Vorrichtung nach einem der Ansprüche 12 bis 18, bei der die ersten harmonischen Komponenten mit der ersten Ordnung frühe Reflexionen des Gebiets darstellen und die zweiten harmonischen Komponenten mit der zweiten Ordnung späte Reflexionen des Gebiets darstellen, und bei der der Prozessor (240) ausgebildet ist, um die ersten harmonischen Komponenten und die zweiten harmonischen Komponenten zu addieren und um ein Ergebnis der Addition in den Zeitbereich umzusetzen, um die dekomprimierten Schallfelddaten zu erhalten.
20. Vorrichtung nach einem der Ansprüche 12 bis 19, bei der der Prozessor ausgebildet ist, um zum Umsetzen eine inverse Raumtransformation (604) und eine inverse Fouriertransformation (606) durchzuführen.
21. Verfahren zum Komprimieren von Schallfelddaten (10) eines Gebiets, mit folgenden Schritten:
Aufteilen (100) der Schallfelddaten in einen ersten Anteil (101 ) und in einen zweiten Anteil (102); und
Umsetzen (140, 180) des ersten Anteils (101 ) und des zweiten Anteils (102) in harmonische Komponenten (141 , 182), wobei der zweite Anteil (102) in eine oder mehrere harmonische Komponenten (141 ) mit einer zweiten Ordnung umgesetzt wird, und wobei der erste Anteil (101 ) in harmonische Komponenten mit einer ers- ten Ordnung umgesetzt wird, wobei die erste Ordnung höher als die zweite Ordnung ist, um die komprimierten Schallfelddaten zu erhalten.
22. Verfahren zum Dekomprimieren von komprimierten Schallfelddaten, die erste harmonischen Komponenten (141 ) bis zu einer ersten Ordnung und eine oder mehre- re zweite harmonische Komponenten (182) bis zu einer zweiten Ordnung aufweisen, wobei die erste Ordnung größer als die zweite Ordnung ist, mit folgenden Schritten:
Erhalten (200) der komprimierten Schallfelddaten; und
Verarbeiten (240) der ersten harmonischen Komponenten (201 ) und der zweiten harmonischen Komponenten (202) unter Verwendung einer Kombination des ersten und des zweiten Anteils und unter Verwendung einer Umsetzung von einer Harmonische-Komponenten-Darstellung in eine Zeitbereichsdarstellung, um eine dekomprimierte Darstellung zu erreichen, wobei der erste Anteil durch die ersten harmonischen Komponenten und der zweite Anteil durch die zweiten harmonischen Komponenten dargestellt sind.
23. Computerprogramm zum Durchführen eines Verfahrens nach einem der Ansprü- che 21 bis 22, wenn das Verfahren auf einem Computer abläuft.
PCT/EP2014/073808 2013-11-14 2014-11-05 Verfahren und vorrichtung zum komprimieren und dekomprimieren von schallfelddaten eines gebiets WO2015071148A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201480061929.3A CN105766002B (zh) 2013-11-14 2014-11-05 用于对区域的声场数据进行压缩和解压缩的方法和装置
JP2016530874A JP6329629B2 (ja) 2013-11-14 2014-11-05 領域の音場データを圧縮および解凍するための方法および装置
EP14793183.6A EP3069530B1 (de) 2013-11-14 2014-11-05 Verfahren und vorrichtung zum komprimieren und dekomprimieren von schallfelddaten eines gebiets
US15/154,189 US20160255452A1 (en) 2013-11-14 2016-05-13 Method and apparatus for compressing and decompressing sound field data of an area

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102013223201.2 2013-11-14
DE201310223201 DE102013223201B3 (de) 2013-11-14 2013-11-14 Verfahren und Vorrichtung zum Komprimieren und Dekomprimieren von Schallfelddaten eines Gebietes

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/154,189 Continuation US20160255452A1 (en) 2013-11-14 2016-05-13 Method and apparatus for compressing and decompressing sound field data of an area

Publications (1)

Publication Number Publication Date
WO2015071148A1 true WO2015071148A1 (de) 2015-05-21

Family

ID=51846694

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2014/073808 WO2015071148A1 (de) 2013-11-14 2014-11-05 Verfahren und vorrichtung zum komprimieren und dekomprimieren von schallfelddaten eines gebiets

Country Status (6)

Country Link
US (1) US20160255452A1 (de)
EP (1) EP3069530B1 (de)
JP (1) JP6329629B2 (de)
CN (1) CN105766002B (de)
DE (1) DE102013223201B3 (de)
WO (1) WO2015071148A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111801732A (zh) * 2018-04-16 2020-10-20 杜比实验室特许公司 用于定向声源的编码及解码的方法、设备及系统

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2960903A1 (de) 2014-06-27 2015-12-30 Thomson Licensing Verfahren und Vorrichtung zur Bestimmung der Komprimierung einer HOA-Datenrahmendarstellung einer niedrigsten Ganzzahl von Bits zur Darstellung nichtdifferentieller Verstärkungswerte
BR112018013526A2 (pt) * 2016-01-08 2018-12-04 Sony Corporation aparelho e método para processamento de áudio, e, programa
DE102016125886B4 (de) * 2016-12-29 2019-08-29 Symonics GmbH Vorrichtung und Verfahren zur effizienten Berechnung einer Auralisation
US10614788B2 (en) * 2017-03-15 2020-04-07 Synaptics Incorporated Two channel headset-based own voice enhancement
US10764684B1 (en) * 2017-09-29 2020-09-01 Katherine A. Franco Binaural audio using an arbitrarily shaped microphone array
EP3525482B1 (de) 2018-02-09 2023-07-12 Dolby Laboratories Licensing Corporation Mikrofonanordnung für die erfassung eines schallfeldes
EP3547305B1 (de) * 2018-03-28 2023-06-14 Fundació Eurecat Nachhalltechnik für audio-3d
GB2574873A (en) * 2018-06-21 2019-12-25 Nokia Technologies Oy Determination of spatial audio parameter encoding and associated decoding
GB201818959D0 (en) * 2018-11-21 2019-01-09 Nokia Technologies Oy Ambience audio representation and associated rendering
EP3683794B1 (de) * 2019-01-15 2021-07-28 Nokia Technologies Oy Audioverarbeitung
CN110265042B (zh) * 2019-05-31 2021-07-23 歌尔科技有限公司 声音信号处理方法、装置及设备
WO2021154211A1 (en) * 2020-01-28 2021-08-05 Hewlett-Packard Development Company, L.P. Multi-channel decomposition and harmonic synthesis

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1677576A2 (de) 1998-04-07 2006-07-05 Dolby Laboratories Licensing Corporation Verfahren und System zur räumlichen Kodierung mit niedriger Bitrate
WO2010012478A2 (en) * 2008-07-31 2010-02-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal generation for binaural signals
EP2205007A1 (de) 2008-12-30 2010-07-07 Fundació Barcelona Media Universitat Pompeu Fabra Verfahren und Vorrichtung zur Kodierung dreidimensionaler Hörbereiche und zur optimalen Rekonstruktion
EP2296142A2 (de) 2005-08-02 2011-03-16 Dolby Laboratories Licensing Corporation Steuerung von räumlichen Audiocodierungsparametern als Funktion von Gehörereignissen
EP2451196A1 (de) 2010-11-05 2012-05-09 Thomson Licensing Verfahren und Vorrichtung zur Erzeugung und Decodierung von Schallfelddaten einschließlich Ambisonics-Schallfelddaten höher als drei
US8340306B2 (en) 2004-11-30 2012-12-25 Agere Systems Llc Parametric coding of spatial audio with object-based side information
US8379868B2 (en) 2006-05-17 2013-02-19 Creative Technology Ltd Spatial audio coding based on universal spatial cues
EP2592845A1 (de) 2011-11-11 2013-05-15 Thomson Licensing Verfahren und Vorrichtung zur Verarbeitung von Signalen einer kugelförmigen Mikrofonanordnung auf einer starren Kugel zur Erzeugung einer Ambisonics-Wiedergabe des Klangfelds
EP2609759A1 (de) 2010-08-27 2013-07-03 SonicEmotion AG Verfahren und vorrichtung für erhöhte klangfeldwiedergabe von räumlich codierten audioeingangssignalen

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54149684A (en) * 1978-05-15 1979-11-24 Sanyo Electric Co Ltd Reverberation meter
JP3295139B2 (ja) * 1992-09-28 2002-06-24 日本放送協会 残響付加装置
US5440639A (en) * 1992-10-14 1995-08-08 Yamaha Corporation Sound localization control apparatus
JP2002510921A (ja) * 1998-03-31 2002-04-09 レイク テクノロジー リミティド ３次元オーディオ情報からの複雑な室内インパルス応答の公式化
FR2851879A1 (fr) * 2003-02-27 2004-09-03 France Telecom Procede de traitement de donnees sonores compressees, pour spatialisation.
DE102006050068B4 (de) * 2006-10-24 2010-11-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Umgebungssignals aus einem Audiosignal, Vorrichtung und Verfahren zum Ableiten eines Mehrkanal-Audiosignals aus einem Audiosignal und Computerprogramm
JP4277234B2 (ja) * 2007-03-13 2009-06-10 ソニー株式会社 データ復元装置、データ復元方法及びデータ復元プログラム
US9703756B2 (en) * 2008-09-05 2017-07-11 Adobe Systems Incorporated Method and apparatus for converting spherical harmonics representations of functions into multi-resolution representations
JP5168208B2 (ja) * 2009-03-30 2013-03-21 ヤマハ株式会社 オーディオ信号処理装置およびスピーカ装置
KR101613684B1 (ko) * 2009-12-09 2016-04-19 삼성전자주식회사 음향 신호 보강 처리 장치 및 방법
US9047876B2 (en) * 2010-03-30 2015-06-02 Panasonic Intellectual Property Managment Co., Ltd. Audio device
EP2375779A3 (de) * 2010-03-31 2012-01-18 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Vorrichtung und Verfahren zum Messen einer Vielzahl von Lautsprechern und Mikrofonanordnung
JP4886881B2 (ja) * 2010-06-30 2012-02-29 株式会社東芝 音響補正装置、音響出力装置、及び音響補正方法
EP2782094A1 (de) * 2013-03-22 2014-09-24 Thomson Licensing Verfahren und Vorrichtung zur Erhöhung der Richtwirkung eines Ambisonics-Signals erster Ordnung
US9674632B2 (en) * 2013-05-29 2017-06-06 Qualcomm Incorporated Filtering with binaural room impulse responses
KR101815082B1 (ko) * 2013-09-17 2018-01-04 주식회사 윌러스표준기술연구소 멀티미디어 신호 처리 방법 및 장치

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1677576A2 (de) 1998-04-07 2006-07-05 Dolby Laboratories Licensing Corporation Verfahren und System zur räumlichen Kodierung mit niedriger Bitrate
US8340306B2 (en) 2004-11-30 2012-12-25 Agere Systems Llc Parametric coding of spatial audio with object-based side information
EP2296142A2 (de) 2005-08-02 2011-03-16 Dolby Laboratories Licensing Corporation Steuerung von räumlichen Audiocodierungsparametern als Funktion von Gehörereignissen
US8379868B2 (en) 2006-05-17 2013-02-19 Creative Technology Ltd Spatial audio coding based on universal spatial cues
WO2010012478A2 (en) * 2008-07-31 2010-02-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal generation for binaural signals
EP2205007A1 (de) 2008-12-30 2010-07-07 Fundació Barcelona Media Universitat Pompeu Fabra Verfahren und Vorrichtung zur Kodierung dreidimensionaler Hörbereiche und zur optimalen Rekonstruktion
EP2609759A1 (de) 2010-08-27 2013-07-03 SonicEmotion AG Verfahren und vorrichtung für erhöhte klangfeldwiedergabe von räumlich codierten audioeingangssignalen
EP2451196A1 (de) 2010-11-05 2012-05-09 Thomson Licensing Verfahren und Vorrichtung zur Erzeugung und Decodierung von Schallfelddaten einschließlich Ambisonics-Schallfelddaten höher als drei
EP2592845A1 (de) 2011-11-11 2013-05-15 Thomson Licensing Verfahren und Vorrichtung zur Verarbeitung von Signalen einer kugelförmigen Mikrofonanordnung auf einer starren Kugel zur Erzeugung einer Ambisonics-Wiedergabe des Klangfelds

Non-Patent Citations (13)

* Cited by examiner, † Cited by third party
Title
AVNI, A; RAFAELY B: "Interaural cross correlation and spatial correlation in a sound field represented by spherical harmonics", AMBISONICS SYMPOSIUM, 2009
BERNSCHÜTZ U.A.: "SofiA Sound Field Analysis Toolbox", ICSA - INTERNATIONAL CONFERENCE ON SPATIAL AUDIO, DETMOLD, 10 November 2011 (2011-11-10)
CHRIS TRAVIS: "A NEW MIXED-ORDER SCHEME FOR AMBISONIC SIGNALS", AMBISONICS SYMPOSIUM 2009, 25 June 2009 (2009-06-25), Graz, pages 1 - 6, XP055161700, Retrieved from the Internet <URL:http://ambisonics.iem.at/symposium2009/proceedings/ambisym09-travis-newmixedorder.pdf> [retrieved on 20150113] *
ENGDEGARD, J ET AL.: "Spatial Audio Object Coding (SAOC) - The Upcoming MPEG Standard on Parametric Object Based Audio Coding", AES CONVENTION PAPER 7377 PRESENTED AT THE 125TH CONVENTION, AMSTERDAM, NETHERLANDS, 2008
FRANK MELCHIOR: "Spatial Sound Design based on Measured Room Impulse Responses", PH. D, 2011
HELLERUD E ET AL.: "Encoding Higher Order Ambisonics with AAC", AES CONVENTION PAPER 7366 PRESENTED AT THE 125TH CONVENTION, AMSTERDAM, NETHERLANDS, 2008
HERRE, J ET AL.: "Spatial Audio Coding: Next-generation efficient and compatible coding of multi-channel audio", AES CONVENTION PAPER 6186 PRESENTED AT THE 117TH CONVENTION, SAN FRANCISCO, USA, 2004
IKHWANA ELFITRI ET AL: "Multichannel Audio Coding Based on Analysis by Synthesis", PROCEEDINGS OF THE IEEE, IEEE. NEW YORK, US, vol. 99, no. 4, 1 April 2011 (2011-04-01), pages 657 - 670, XP011363629, ISSN: 0018-9219, DOI: 10.1109/JPROC.2010.2102310 *
JOHANNES KÄSBACH: "Development and evaluation of a mixed-order Ambisonics playback system", 1 November 2010 (2010-11-01), Danmarks Tekniske Universitet, 2800 Kgs. Lyngby, Denmark, pages 1 - 103, XP055161760, Retrieved from the Internet <URL:http://johannes.kaesbach.de/Acoustics_files/Master%20Thesis%20-%20Mixed-Order%20Ambisonics%28small%29.pdf> [retrieved on 20150113] *
LIINDAU A; KOSANKE L; WEINZIERL S: "Perceptual evaluation of physical predictors of the mixing time in binaural room impulse responses", AES CONVENTION PAPER PRESENTED AT THE 128TH CONVENTION, LONDON, UK, 2010
MERIMAA J; PULKKI V: "Perceptually-based processing of directional room responses for multichannel loudspeaker reproduction", IEEE WORKSHOP ON APPLICATIONS OF SIGNAL PROCESSING TO AUDIO AND ACOUSTICS, 2003
PULKKI, V: "Spatial Sound Reproduction with Directional Audio Coding", J. AUDIO ENG. SOC., vol. 55, no. 6, 2007
VON EARL G. WILLIAMS: "Fachbuch Fourier Acoustics, Sound Radiation and Nearfield Acoustical Holography", 1999, ACADEMIC PRESS

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111801732A (zh) * 2018-04-16 2020-10-20 杜比实验室特许公司 用于定向声源的编码及解码的方法、设备及系统

Also Published As

Publication number Publication date
US20160255452A1 (en) 2016-09-01
EP3069530B1 (de) 2019-02-20
CN105766002A (zh) 2016-07-13
JP2017500782A (ja) 2017-01-05
EP3069530A1 (de) 2016-09-21
CN105766002B (zh) 2018-04-20
DE102013223201B3 (de) 2015-05-13
JP6329629B2 (ja) 2018-05-23

Similar Documents

Publication Publication Date Title
EP3069530B1 (de) Verfahren und vorrichtung zum komprimieren und dekomprimieren von schallfelddaten eines gebiets
US11096000B2 (en) Method and apparatus for processing multimedia signals
US10692508B2 (en) Method for generating filter for audio signal and parameterizing device therefor
EP1854334B1 (de) Vorrichtung und verfahren zum erzeugen eines codierten stereo-signals eines audiostücks oder audiodatenstroms
DE60311794T2 (de) Signalsynthese
KR101456640B1 (ko) 공간적 출력 다채널 오디오 신호를 결정하기 위한 장치
DE602004001868T2 (de) Verfahren zum bearbeiten komprimierter audiodaten zur räumlichen wiedergabe
EP1687809A1 (de) Vorrichtung und verfahren zur wiederherstellung eines multikanal-audiosignals und zum erzeugen eines parameterdatensatzes hierfür
EP3044972A2 (de) Vorrichtung und verfahren zur dekorrelation von lautsprechersignalen
DE112015003108T5 (de) Arbeitsweise der Mehrkanal-Audiosignalsysteme
EP1471770B1 (de) Verfahren zur Erzeugung einer angenäherten Teilübertragungsfunktion
EP2357854B1 (de) Verfahren und Vorrichtung zur Erzeugung individuell anpassbarer binauraler Audiosignale
DE102011003450A1 (de) Erzeugung von benutzerangepassten Signalverarbeitungsparametern
EP2503799B1 (de) Verfahren und System zur Berechnung synthetischer Außenohrübertragungsfunktionen durch virtuelle lokale Schallfeldsynthese
DE102023209048A1 (de) Verfahren und system zum verlagern von lautstärkeanpassungen von audiokomponenten
DE102017121876A1 (de) Verfahren und vorrichtung zur formatumwandlung eines mehrkanaligen audiosignals

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14793183

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
REEP Request for entry into the european phase

Ref document number: 2014793183

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014793183

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016530874

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE