WO2020177981A1 - Codage audio spatialisé avec interpolation et quantification de rotations - Google Patents

Codage audio spatialisé avec interpolation et quantification de rotations Download PDF

Info

Publication number
WO2020177981A1
WO2020177981A1 PCT/EP2020/053264 EP2020053264W WO2020177981A1 WO 2020177981 A1 WO2020177981 A1 WO 2020177981A1 EP 2020053264 W EP2020053264 W EP 2020053264W WO 2020177981 A1 WO2020177981 A1 WO 2020177981A1
Authority
WO
WIPO (PCT)
Prior art keywords
matrix
frame
channels
current frame
rotation matrix
Prior art date
Application number
PCT/EP2020/053264
Other languages
English (en)
Inventor
Stéphane RAGOT
Pierre Mahe
Original Assignee
Orange
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange filed Critical Orange
Priority to US17/436,390 priority Critical patent/US11922959B2/en
Priority to CN202080031569.8A priority patent/CN113728382A/zh
Priority to EP20703048.7A priority patent/EP3935629A1/fr
Priority to BR112021017511A priority patent/BR112021017511A2/pt
Priority to JP2021552656A priority patent/JP7419388B2/ja
Priority to KR1020217031995A priority patent/KR20210137114A/ko
Publication of WO2020177981A1 publication Critical patent/WO2020177981A1/fr
Priority to ZA2021/06465A priority patent/ZA202106465B/en
Priority to JP2024001364A priority patent/JP2024024095A/ja

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/002—Dynamic bit allocation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients

Definitions

  • the present invention relates to the coding / decoding of spatialized sound data, in particular in a surround sound context (hereinafter also referred to as “ambisonic”).
  • the coders / decoders (hereinafter called “codecs”) which are currently used in mobile telephony are mono (a single signal channel for reproduction on a single loudspeaker).
  • the 3GPP EVS (for “Enhanced Voice Services”) codec makes it possible to offer “Super-HD” quality (also called “High Definition +” or HD + voice) with an audio band in super-wide band (SWB for “super- wideband "in English) for signals sampled at 32 or 48 kHz or full band (FB for" Fullband ”) for signals sampled at 48 kHz; the audio bandwidth is 14.4 to 16 kHz in SWB mode (9.6 to 128 kbit / s) and 20 kHz in FB mode (16.4 to 128 kbit / s).
  • the next quality development in conversational services offered by operators should be immersive services, using terminals such as smartphones, for example, equipped with several microphones or spatialized audio conferencing or tele-presence type videoconferencing equipment.
  • - Object-based format where sound objects are described as an audio signal (generally mono) associated with metadata describing the attributes of this object (position in space, spatial width of the source, etc. ), and - Ambisonic format (scene-based in English) which describes the sound field at a given point, generally picked up by a spherical microphone or synthesized in the field of spherical harmonics.
  • a sound in ambisonic format by way of example of an embodiment (at least certain aspects presented in connection with the invention below can also be applied to other formats. than ambisonics).
  • Ambisonics is a recording method ("encoding” in the acoustic sense) of spatialized sound and a reproduction system (“decoding” in the acoustic sense).
  • An ambisonic microphone (at order 1) comprises at least four capsules (typically of the cardoid or sub-cardoid type) arranged on a spherical grid, for example the vertices of a regular tetrahedron.
  • the audio channels associated with these capsules are called “A-format”. This format is converted into a “B-format”, in which the sound field is broken down into four components (spherical harmonics) denoted W, X, Y, Z, which correspond to four coincident virtual microphones.
  • the W component corresponds to an omnidirectional capture of the sound field while the X, Y and Z components, which are more directive, are comparable to pressure gradients oriented along the three dimensions of space.
  • An ambisonic system is a flexible system in the sense that recording and playback are separate and decoupled. It allows decoding (in the acoustic sense) on any speaker configuration (for example, binaural, 5.1-type surround sound or 7.1.4-type periphery (with elevation)).
  • the ambisonic approach can be generalized to more than four channels in B-format and this generalized representation is commonly called “HOA” (for “Higher-Order Ambisonics”).
  • FOA First-Order Ambisonics
  • the first order ambisonics (4 channels: W, X, Y, Z) and the first order planar ambisonics (3 channels: W, X, Y) are hereinafter referred to as “ambisonics” indiscriminately to facilitate reading, the treatments presented being applicable regardless of planar type or not. If, however, in some passages it is necessary to make a distinction, the terms “first-order ambisonics” and “first-order planar ambisonics” are used.
  • a stereo signal (2 channels) corresponding to coincident stereo pickups of the Blumlein Crossed Pair (X + Y and XY) or Mid-Side type (by combining W and X for Mid and taking Y as Side).
  • a B-format signal with a predetermined order is called “ambisonic sound”.
  • the ambisonic sound can be defined in another format such as A-format or pre-combined channels by fixed matrixing (keeping the number of channels or reducing it to a 3 or 2 channel case), as will be seen.
  • the signals to be processed by the encoder / decoder are presented as successions of blocks of sound samples called “frames” or “sub-frames” below.
  • mathematical notations follow the following convention:
  • FIG. 1 A (uppercase, bold)
  • the simplest approach to encoding a stereo or ambisonic signal is to use a mono encoder and apply it in parallel to all channels with possibly a different bit allocation depending on the channel. This approach is called here "multi-mono" (although in practice we can generalize the approach to multi-stereo or the use of several parallel instances of the same core codec).
  • One such embodiment is shown in Figure 1.
  • the input signal is divided into channels (mono) by block 100. These channels are individually coded by blocks 120 through 122 according to a predetermined allocation. Their binary train is multiplexed (block 130) and after transmission and / or storage it is demultiplexed (block 140) to apply a decoding of each of the channels (blocks 150 to 152) which are recombined (block 160).
  • the solutions currently proposed for more sophisticated codecs, for ambisonic spatialization in particular, are not satisfactory, in particular in terms of complexity, delay and efficient use of the bit rate, to ensure efficient decorrelation between ambisonic channels.
  • the MPEG-H codec for ambisonic sounds uses an add-overlap operation which adds delay and complexity, as well as linear interpolation on direction vectors which is suboptimal and introduces defects.
  • a basic problem with this codec is that it implements a decomposition into predominant components and ambience because the predominant components are supposed to be perceptually distinct from ambience, but this decomposition is not fully specified.
  • the MPEG-H encoder suffers from the problem of non-correspondence between the directions of the principal components from one frame to another: the order of the components (signals) can be swapped just like the associated directions. This is the reason why the MPEG-H codec uses a “matching” and overlap-add technique in order to solve this problem.
  • the present invention makes it possible to improve a decorrelation between the N channels to be encoded separately subsequently.
  • This separate encoding is hereinafter also referred to as “multi-mono encoding”.
  • the method may further include:
  • the method may further include:
  • the method further comprises:
  • the method may further comprise:
  • a number of interpolations to be made between the rotation matrix of the current frame and the rotation matrix of the previous frame is determined, - the current frame is divided into a number of sub- frames corresponding to the number of interpolations to operate, and
  • each interpolation for a current sub-frame is a linear spherical interpolation (or “SLERP”), carried out as a function of the interpolation of the sub-frame preceding the sub-frame. current frame and from the quaternions of the previous subframe.
  • SLERP linear spherical interpolation
  • QR, t ⁇ 1 is the other of the quaternions of the previous subframe t-1,
  • QR, t is the other of the quaternions of the current subframe t
  • the search for the eigenvectors is performed by principal component analysis (or "PCA”) or by Karhunen Loeve transform (or "KLT”), in the time domain.
  • PCA principal component analysis
  • KLT Karhunen Loeve transform
  • the method includes a preliminary step of forecasting the budget for allocation of bits per ambisonic channel, comprising:
  • the present invention also relates to a method of decoding sound signals forming a succession in time of frames of samples, in each of N channels in ambisonic representation of order greater than 0, the method comprising:
  • the present invention is also aimed at a coding device comprising a processing circuit for implementing the coding method presented above. It also relates to a decoding device comprising a processing circuit for implementing the above decoding method. It also relates to a computer program comprising instructions for the implementation of the above method, when these instructions are executed by a processor of a processing circuit.
  • FIG. 3 shows the general structure of an example of an encoder according to the invention
  • FIG. 4 shows details of the analysis and the PCA / KLT transformation carried out by block 310 of the encoder of Figure 3,
  • FIG. 5 shows an example of a decoder according to the invention
  • FIG. 7 illustrates examples of structural embodiments of an encoder and of a decoder within the meaning of the invention.
  • the invention aims to allow an optimized coding by:
  • PCA designating a principal component analysis
  • KLT designating a Karhunen Loeve transform
  • Adaptive matrixing allows more efficient channelization than fixed matrixing.
  • the matrixing according to the invention advantageously makes it possible to decorrelate the channels before multi-mono coding, so that the coding noise introduced by the coding of each of the channels globally distorts the spatial image as little as possible when the channels are recombined to reconstruct a ambisonic signal on decoding.
  • the invention makes it possible to ensure a gentle adaptation of the matrixing parameters in order to avoid "click" type artefacts at the edge of the frame or too rapid spatial image fluctuations, or even coding artefacts due to too strong variations (for example linked to untimely permutations of sound sources between channels) in the various individual channels resulting from the mastering which are then coded by different instances of a mono codec.
  • Multi-mono coding is presented below with preferentially variable allocation of bits between channels (after adaptive matrixing), but in variants several instances of a stereo or other core codec can be used.
  • certain explanatory concepts concerning rotations in dimension n decompositions of the PCA / KLT or SVD type ("SVD" denoting a decomposition into singular values) are recalled below.
  • the invention uses a representation of the rotations in dimension with parameters suitable for a quantization by frame and especially an efficient interpolation by subframe.
  • the representations of rotations used in dimension 2, 3 and 4 are defined below.
  • a rotation (around the origin) is a transformation of space into dimension that changes one vector to another vector, such as:
  • I n designates the identity matrix of size nxn (i.e. M is a unit matrix, M T designating the transpose of M) and its determinant is +1.
  • a rotation matrix of size 3x3 can be decomposed into a product of 3 elementary angle rotations! along the x, y, or z axes.
  • the SLERP interpolation method (for "spherical linear interpolation") consists of interpolating according to the formula: where 0 £ a £ 1 is the interpolation factor to go from q 1 to q 2 and ⁇ is the angle between the two quaternions: where q 1 .
  • q 2 denotes the dot product between two quaternions (identical to the dot product between two vectors of dimension 4). This amounts to interpolating by following a large circle on a 4D sphere with a constant angular speed as a function of ⁇ . It should be ensured that the shortest path is used for the interpolant by changing the sign of one of the quaternions when q 1 . q 2 ⁇ 0. Note that other quaternion interpolation methods can be used (normalized linear interpolation or nlerp, splines,).
  • Singular value decomposition (or "SVD") Singular value decomposition (SVD) consists in factoring a real matrix A of size mxn in the form:
  • p min ( m, n)
  • V T is the transpose of V.
  • the coefficients s i in the diagonal of R are the singular values of the matrix P By convention, they are generally listed in decreasing order, and in this case the diagonal matrix R associated with P is unique.
  • the rank r of A is given by the number of non-zero coefficients s I. We can therefore rewrite the decomposition in singular values as:
  • the eigenvalues of S T S and SS T are s columns of U are the vectors
  • the SVD can be interpreted geometrically: the image of a sphere in dimension by the matrix A is in dimension m a hyper-ellipse having main axes in the directions u 1 , u 2 ,..., u m and of length s 1 ,..., s m .
  • Karhunen Loeve transform (or “KLT” for “Karhunen Loeve Transform”)
  • KLT Karhunen Loeve transform
  • ⁇ S is the eigenvector matrix (with the convention that eigenvectors are column vectors) obtained by eigenvalue decomposition of s tt
  • L diag (l 1 ,..., l n ) is a diagonal matrix whose coefficients are the eigenvalues.
  • the matrix V [v 1 , v 2 ,..., v n ] contains the eigenvectors (columns) of R xx , such that
  • Principal component analysis is a dimensionality reduction technique which produces orthogonal variables and maximizes the variance of the variables after projection (or in an equivalent manner minimize the reconstruction error).
  • PCA Principal component analysis
  • the PCA is a transformation by the matrix S T which projects the data into a new basis to maximize the variance of the variables after projection.
  • the PCA can also be obtained from an SVD of the signal ⁇ ⁇ put in the form of a matrix ⁇ of size nx N. In this case, we can write:
  • PCA is generally seen as a dimensionality reduction technique, to "compress" a large-dimensional dataset into a set. comprising few principal components.
  • the PCA advantageously makes it possible to decorrelate the multidimensional input signal but one avoids eliminating channels (therefore reducing the number of channels) in order to avoid introducing artefacts.
  • a minimum encoding rate is thus forced to avoid "truncating" the spatial image, except in specific variants where eigenvalues are so low that a zero rate can be authorized (for example to better encode ambisonic sounds created artificially. with a single synthetically spatialized source).
  • FIG. 2 describes the general principles of the steps which are implemented in a method within the meaning of the invention, for a current frame t.
  • Step S1 consists in obtaining the respective signals of the ambisonics channels (here four channels W, Y, Z, X in the example described using a channel order according to the ACN convention for Ambisonics Channel Number), for each frame t. These signals can be put in the form of an n x L matrix (for n ambisonic channels (here 4) and L samples per frame).
  • the signals from these channels can optionally be pre-processed, for example by a high-pass filter as described below with reference to FIG. 3.
  • step S3 we apply to these signals a PCA principal component analysis or in an equivalent way a Karhunen Loeve KLT transform, to obtain eigenvalues and an eigenvector matrix from a covariance matrix of the n canals.
  • a PCA principal component analysis or in an equivalent way a Karhunen Loeve KLT transform, to obtain eigenvalues and an eigenvector matrix from a covariance matrix of the n canals.
  • an SVD could be used.
  • step S4 this matrix of eigenvectors, obtained for the current frame t, undergoes signed permutations so that it is as aligned as possible with the matrix of the same nature of the previous frame t-1.
  • Such an embodiment makes it possible to ensure maximum consistency between the two matrices and thus avoid audible clicks between two frames during sound reproduction.
  • the determinant of the eigenvector matrix of the current frame t must be positive and equal to (or, in practice, close to) + 1 in step S6. If it is equal to (or close to) -1, then it is necessary to: - swap two eigenvectors again (for example associated with channels of low energy, therefore not very representative), or
  • step S6 preferably inverting the sign of all the elements of a column (for example associated with a low energy channel) in step S6.
  • Parameters of this matrix can then be coded on a number of bits allocated for this purpose) at l 'step S8.
  • a significant difference greater than a threshold for example
  • Step S9 in the case where a significant difference (greater than a threshold for example) is observed in step S9 between the rotation matrix estimated for the current frame t and the rotation matrix of the frame previous t-1, it is possible to determine a variable number of interpolation sub-frames: otherwise, this number of sub-frames is fixed at a predetermined value.
  • Step S10 consists of:
  • step S11 the interpolated rotation matrices are applied to a matrix n X (L / K) representing each of the K sub-frames of the signals of the ambisonic channels of step S1 (or optionally S2) in order to decorrelate as much as possible these signals before the multi-mono encoding of step S14. It is recalled in fact that it is desired to de-correlate as much as possible these signals before this multi-mono transformation, according to a general approach. A bit allocation to the separate channels is made in step S12 and encoded in step S13.
  • step S14 before carrying out the multiplexing of step S15 and thus ending the compression coding method, it is possible to decide on a number of bits to be allocated per channel as a function of the representativeness of this channel and of the speed available on the RES network (figure 7).
  • the energy in each channel is estimated for a current frame and this energy is multiplied by a predefined score for this channel and for a given bit rate (this score being for example an MOS score explained below with reference to figure 3).
  • the number of bits to be allocated for each channel is thus weighted.
  • Such an embodiment is advantageous as such and may possibly be the subject of separate protection in an ambisonic context.
  • the DCOD coding device comprises a processing circuit typically including:
  • an interface INT1 for receiving ambisonic signals distributed over different channels for example four channels W, Y, Z, X in order 1
  • channels W, Y, Z, X in order 1 for example four channels W, Y, Z, X in order 1
  • a view to their coding in compression within the meaning of the invention
  • processor PROC1 for receiving these signals and processing them by executing the computer program instructions stored in the memory MEM1, with a view to their coding;
  • the DDEC decoding device has its own processing circuit, typically including:
  • a memory MEM2 for storing instruction data of a computer program within the meaning of the invention (these instructions can be distributed between the DCOD encoder and the DDEC decoder as indicated above);
  • an interface COM2 for receiving the encoded signals from the RES network with a view to their compression decoding within the meaning of the invention
  • a processor PROC2 for processing these signals by executing the computer program instructions stored in the memory MEM2, with a view to their decoding
  • FIG. 7 illustrates an example of a structural embodiment of a codec (encoder or decoder) within the meaning of the invention.
  • FIG. 3 to describe an encoder device within the meaning of the invention.
  • the encoder's strategy is to decorrelate the channels of the ambisonic signal as much as possible and to encode them with a core codec. This strategy makes it possible to limit the artefacts in the decoded ambisonic signal.
  • the latter can typically be an extension of the standardized 3GPP EVS (for “Enhanced Voiced Services”) encoder.
  • EVS coding rates can be used without then modifying the structure of the EVS binary train.
  • the multi-mono coding (block 340 of FIG. 3 described below) operates here with a possible allocation to each transformed channel, restricted to the following rates for coding in super-wide audio band: 9.6; 13.2; 16.4; 24.4; 32; 48; 64; 96 and 128 kbit / s.
  • the block 300 receives an input signal Y in the current frame of index t.
  • the index is not indicated here so as not to weigh down the ratings.
  • This is a matrix of size nx L.
  • W, Y, Z, X (thus defined according to the order ACN) which can be normalized according to the SN3D convention.
  • the order of the channels can be alternately, for example W, X, Y, Z (following the FuMA convention) and the normalization can be different (N3D or FuMa).
  • This is therefore a succession of samples from 1 to L occupying frame t.
  • the block 300 of the encoder applies a pre-processing (optional) to obtain the pre-processed input signal denoted Y.
  • a pre-processing may be a high-pass filtering (with a cutoff frequency typically at 20 Hz) of each new one. 20 ms frame of the input signal channels. This operation removes the DC component likely to bias estimating the covariance matrix so that at the output of block 300 the signal can be considered to have zero mean.
  • H pre H pre (Z) Y i (Z).
  • a Butterworth filter of order 6 with a frequency of 50 Hz can be used, for example a Butterworth filter of order 6 with a frequency of 50 Hz.
  • the pre-processing could include a fixed die-stamping step which could keep the same number of channels or reduce the number of channels.
  • An example of matrixing applied to the four channels of an ambisonic signal in B-format is given below:
  • this preprocessing will have to be reversed on decoding by applying a matrixing by u decoded signal to find the channels in the original format.
  • the following block 310 estimates at each frame t a transformation matrix obtained by determining the eigenvectors by PCA / KLT and checking that the transformation matrix formed by these eigenvectors indeed characterizes a rotation. Details of the block operation 310 are given further on with reference to FIG. 4. This transformation matrix performs a matrixing of the channels to de-correlate them making it possible to apply an independent coding of the multi-mono type by the block. 340.
  • Block 310 transmits to the multiplexer quantization indices representing the transformation matrix and optionally information encoding the number of interpolations of the transformation matrix, per sub-frame of the current frame t, as detailed further below.
  • Block 320 determines the optimal rate allocation for each channel (after PCA / KLT transformation) as a function of a given B-bit budget. This block seeks a distribution of the bit rate between channels by calculating a score for each possible combination of bit rates; the optimal allocation is found by looking for the combination maximizing this score.
  • the number of possible bit rates for mono encoding of one channel may be limited to the nine discrete bit rates of the EVS codec having super-wide audio band: 9.6; 13.2; 16.4; 24.4; 32; 48; 64; 96 and 128 kbit / s.
  • the codec according to the invention operates at a given bit rate associated with a budget of B bits in the current frame of index t, in general only a subset of these listed bit rates can be used.
  • B overhead corresponds to the bit budget for the additional information encoded per frame (binary allocation + rotation data) as described later.
  • B multimono 50.05 kbit / s.
  • the block 320 can then evaluate all the possible (relevant) combinations of bit rates for the 4 channels resulting from the PCA / KLT transformation (at the output of the block 310) and attribute a score to them. This score is calculated based on:
  • MOS for "Mean Opinion Score", being an average score on a panel of testers
  • the optimal allocation can be such that:
  • the factor E i can be fixed at the value taken by the eigenvalue associated with channel 1 resulting from the decomposition into eigenvalues of the signal at the input of block 310 and after possible signed permutation.
  • the subjective (average) MOS scores of an EVS standardized encoder given by:
  • MOS score values for each of the listed bit rates can be derived from other tests (subjective or objective) predicting the quality of the codec. It is also possible to adapt the MOS notes used in the current frame according to a classification of the type of signal (for example a speech signal without background noise, or speech with ambient noise, or music or mixed content), by reusing classification methods implemented by the EVS codec and by applying them to the W channel of the ambisonic input signal before performing the binary allocation.
  • the MOS score can also correspond to an average score resulting from different types of methodologies and rating scales: MOS (absolute) from 1 to 5, DMOS (from 1 to 5), MUSHRA (from 0 to 100).
  • the list of bit rates 0 ⁇ and the notes Q (b i ) can be replaced as a function of this other codec. It is also possible to add additional coding rates to the EVS encoder and therefore complete the list of rates and MOS notes, or even modify the EVS encoder and potentially the associated MOS notes.
  • the allocation between the channels is refined by weighting the energy by a power a where a takes a value between 0 and 1.
  • a second weighting can be added to the score function to penalize inter-frame rate changes.
  • a penalty is added to the score if the rate combination is not the same in frame ⁇ as in frame t - 1.
  • the score is then expressed in the form:
  • the combination of the 4 bit rates can be coded in the form of the index: However, we can prefer to enumerate (initially, offline)
  • the index can then be represented by a coding of the type "permutation code” + “offset of the combination”; for example in the example where we code on a 4-bit index the 16 bit rate combinations comprising 4 permutations of (13.2, 13.2, 13.2, 9.6) and 12 permutations of (16.4, 13.2, 9.6, 9.6), we can use indices 0-3 to code the first 4 possible permutations (with an offset of 0 and a code ranging from 0 to 3) and the indices 4-15 to code the 12 other possible permutations (with an offset of 4 and a code of 0 to 11). Referring again to FIG.
  • the multiplexing block 350 takes as input the matrixed channels coming from the block 310 and the bit rates allocated to each channel coming from the block 320 to then separately code the different channels with a core codec which corresponds to the codec. EVS for example. If the core codec used allows stereo or multi-channel coding, the multi-mono approach can be replaced by multi-stereo or multi-channel coding. Once the channels are coded, the associated bit stream is sent to the multiplexer (block 350).
  • the multiplexer (block 350) can add zero stuffing bits to reach the bit budget allocated to the current frame, that is, in the variants, the budget of bits remaining can be
  • the specified 3GPP EVS encoding algorithm can be modified to introduce additional bit rates. In this case, it is also possible to integrate these additional rates in the table defining the correspondence between b i and Q (b i ).
  • a bit can also be reserved in order to be able to switch between two coding modes:
  • this matrix can be replaced by the correlation matrix, where the channels are pre-normalized by their respective standard deviation, or generally weights reflecting a relative importance can be applied to each of the channels; moreover, the normalization term 1 / (L - 1) can be omitted or replaced by another value (for example 1 / ⁇ ).
  • the values C ij correspond to the variance between x i and x j .
  • the encoder then performs in block 410 an eigenvalue decomposition (EVD for “Eigenvalue Decomposition”), by calculating the eigenvalues and the eigenvectors of the matrix C.
  • EDD eigenvalue Decomposition
  • the eigenvectors are denoted here V t to indicate the frame index t because the eigenvectors V t - 1 obtained in the previous frame of index t - 1 are preferably stored and used subsequently.
  • the eigenvalues are noted l 1 , l 2 ,..., l n .
  • the encoder then applies in block 420 a first signed permutation of the columns of the transformation matrix for frame t (whose columns are the vectors clean) in order to avoid too much disparity with the transformation matrix of the previous frame t-1, which would generate click problems at the border with the previous frame.
  • the eigenvectors of frame t are permuted so that the associated basis are as close as possible to the basis of frame t - 1. This has the effect of improving the continuity of the transformed signal frames (once the transformation matrix is applied to the channels).
  • Another constraint is that the transformation matrix must correspond to a rotation.
  • the encoder can convert the transformation matrix into generalized Euler angles (block 430) in order to quantize them (block 440) with a predetermined bit budget as seen previously.
  • the determinant of this matrix must be positive (equal to +1 typically).
  • the optimal signed permutation is obtained in two steps:
  • the first step matches the closest vectors between two frames, looking only at the axis and not the direction (sense) of the axis.
  • This problem can be formulated as a combinatorial task assignment problem, where the objective is to find the configuration which minimizes a cost.
  • the cost can be defined here as the trace of the absolute value of the inter-correlation between the eigenvector matrices of frames t and t - 1.
  • the "Hungarian” method (or “Hungarian algorithm”) is used to determine the optimal assignment which gives a permutation of the eigenvectors of the frame t;
  • the second step (S6 in FIG. 2) consists in determining the direction / direction of each permuted eigenvector.
  • the block 420 calculates the inter-correlation between the permuted eigenvectors Sa of the frame t and the eigenvector of the frame t - 1
  • the transformation matrix at frame t is designated by V t so that at the following frame the stored matrix becomes V t - 1.
  • the search for the optimal signed permutation can be done by calculating the passage matrix is converted to 3D or 4D and converting this pass matrix respectively into a unit quaternion or two unit quaternions. The search then becomes a search for the nearest neighbor with a dictionary representing the set of possible signed permutations. For example in the 4D case the twelve possible even permutations (out of 24 total permutations) of 4 values are associated with the following double unit quaternions written as 4D vectors:
  • the search for the optimal permutation (pair) can be done by using the above list as a pre-defined double quaternion dictionary and performing a closest neighbor search against the double quaternion associated with the passage matrix.
  • An advantage of this method is to reuse the quaternion and double quaternion type rotation parameters.
  • the transformation matrix resulting from blocks 410 and 420 is an orthogonal matrix (unitary ) which can have a determinant at -1 or 1, ie a reflection or rotation matrix. If the transformation matrix is a reflection matrix (if its determinant is equal to -1), it can be modified into a rotation matrix by inverting an eigenvector (for example the eigenvector associated with the lowest value) or by inverting two columns (eigenvectors).
  • Block 430 converts the rotation matrix into parameters.
  • an angular representation is used for the quantification (6 generalized Euler angles for the 4D case, 3 Euler angles for the 3D case, and one 2D angle).
  • ambisonic case four channels we obtain six Euler angles generalized according to the method described in the article “Generalization of Euler Angles to N-Dimensional Orthogonal Matrices” by David K. Hoffman, Richard C.
  • the quantization indices of the transformation matrix are sent to the multiplexer (block 350).
  • block 440 will be able to convert the quantized parameters into a quantized rotation matrix.
  • the parameters used for quantization do not match the parameters used for interpolation.
  • the blocks 430 and 440 can be replaced as follows: -
  • the unit quaternions q1, q2 (4D case) and q (3D case) can be converted into axis-angle representations known to the state of the art.
  • - Block 440 can perform quantization in the indicated domain:
  • the encoder interpolates in block 460 the (quantized) representation of the rotation between the current frame and the previous frame to avoid excessively rapid fluctuations of the different channels after transformation.
  • the number of interpolations can be fixed (equal to a predetermined value) or adaptive.
  • Each frame is then divided into sub-frames as a function of the number of interpolations determined in the block 450.
  • the block 450 can code on a chosen number of bits the number of interpolations to be performed, and therefore the number of subframes to be provided, in the case where this number is determined adaptively; in the case of a fixed interpolation, no information is to be coded.
  • block 460 converts the rotation matrices to a specific domain representing a rotation matrix. The frame is divided into sub-frames, and in the chosen domain the interpolation is performed for each sub-frame.
  • the encoder For an ambisonic input signal of order 1 (with 4 channels W, X, Y, Z), in block 460, the encoder reconstructs from the 6 quantized Euler angles a quantized 4D rotation matrix and that- ci is then converted to two unit quaternions for interpolation purposes.
  • the input of the encoder is a planar ambisonic signal (3 channels W, X, Y)
  • in block 460 the encoder reconstructs from the 3 quantized Euler angles a quantized 3D rotation matrix and the latter is then converted to a unitary quaternion for interpolation purposes.
  • the encoder input is a stereo signal
  • the encoder uses in block 460 the representation of the 2D rotation quantized with a rotation angle.
  • the rotation matrix calculated for the frame ⁇ is factored into 2 quaternions (a double quaternion) thanks to the Cayley factorization and we use the double quaternion stored for the previous frame t-1 and noted (Q L, t-1 , Q R, t-1 ).
  • the quaternions two by two are interpolated in each sub-frame.
  • the block determines the shortest path between the two possible (Q L, t or -Q L, t ).
  • the sign of the quaternion of the current frame is reversed.
  • the rotation matrix of 4x4 dimension is calculated (respectively 3x3 for planar ambisonics or 2x2 for the stereo case).
  • the quaternion and antiquaternion matrices are calculated and the matrix product is calculated.
  • interpolation are then used in the transformation block 470 which produces channels transformed by applying the rotation matrices thus found, to the ambisonic channels which have been preprocessed by the block 300.
  • K the number of sub- frames to be determined in block 450 for the case where this number is adaptive. It is measured the final difference between the current frame and the previous frame or directly from the angular difference of the parameters describing the rotation matrix. In the latter case, an attempt is made to ensure that the angular variation between successive sub-frames is not perceptible.
  • the realization of an adaptive number of subframes is especially advantageous for reducing the average complexity of the codec, but if it is chosen to reduce the complexity, it may be preferable to use an interpolation with a fixed number of subframes.
  • the final difference between the corrected frame rotation matrix t and the frame rotation matrix t - 1 gives a measure of the magnitude of the difference in channel mastering between the two frames.
  • the larger this gap the greater the number of subframes for the interpolation made in block 460.
  • I n is the identity matrix
  • V t the vectors specific to the frame of index t
  • M ⁇ a norm of the matrix M which corresponds here to the sum of the absolute values of all the coefficients.
  • Other matrix standards can be used (for example the Frobenius standard). If the two matrices are identical then this difference is equal to 0. The more the matrices are dissimilar, the greater the value of the difference d t .
  • Predetermined thresholds can be applied to d t , with each threshold is associated a predefined number of interpolations, for example according to the following decision logic: Thresholds: ⁇ 4.0, 5.0, 6.0, 7.0 ⁇
  • Number K of subframes for interpolation ⁇ 10, 48, 96, 192 ⁇
  • the number K of interpolations determined by the block 450 is then sent to the interpolation module 460 and in the adaptive case the number of subframes is encoded in the form of a binary index which is sent to the multiplexer (block 350) .
  • the realization of the interpolation makes it possible to apply in fine an optimization of the decorrelation of the input channels before multi-mono coding.
  • the rotation matrices calculated respectively for a previous frame t-1 and a current frame t may be very different due to this search for decorrelation, but the interpolation nevertheless makes it possible to smooth this difference.
  • FIG. 5 describes a decoder in an exemplary embodiment of the invention.
  • the allocation information is decoded (block 510) which makes it possible to de-multiplex and decode (block 520) the binary train (s) (s) received for each of the transformed channels.
  • Block 520 calls for multiple instances executed separately from core decoding.
  • the core decoding can be of the EVS type optionally modified to improve its performance.
  • each channel is decoded separately. If the Previously used encoding is stereo or multi-channel encoding, the multi-mono approach can be replaced by multi-stereo or multi-channel for decoding.
  • the channels thus decoded are sent to block 530 which decodes the rotation matrix for the current frame and optionally the number K of subframes to be used for the interpolation (if the interpolation is adaptive).
  • the interpolation block 460 splits the frame into sub-frames, the number K of which can be read in the stream encoded by the block 610 (figure 6) and interpolates the rotation matrices, the goal being to find - in the absence of transmission errors - the same matrices as in block 460 of the encoder in order to be able to reverse the transformation which was previously done in block 470.
  • Block 530 performs the matrixing inverting that of block 470 to reconstruct a decoded signal , as detailed below with reference to FIG. 6. This matrixing amounts to calculating by sub-frame corresponds to the successive sub-blocks of size nx
  • Block 530 globally performs the decoding and reverse PCA / KLT synthesis which has been performed by block 310 of Figure 3.
  • the quantization indices of the rotation quantization parameters in the current frame are decoded in block 600. Scalar quantization can be used and the quantization step is identical for each angle.
  • the number of interpolation sub-frames is decoded (block 610) to find the number K of sub-frames among the set ⁇ 10, 48, 96, 192 ⁇ ; in variants where the length of frames L is different, this set of values may be adapted.
  • the interpolation of the decoder is identical to that performed at the encoder (block 460).
  • the block 620 performs the reverse matrixing of the ambisonic channels by subframe using the inverses (the transposed in practice) of the transformation matrices calculated in the block 460.
  • the invention uses a completely different approach than the MPEG codec. -H with addition / recovery based on a specific representation of the transformation matrices which are restricted to rotation matrices from one frame to another, in the time domain, allowing in particular an interpolation of the transformation matrices, with a mapping that ensures consistency in direction (including taking into account the meaning by sign).
  • the general approach of the invention is a coding of ambisonic sounds in the time domain by PCA with in particular PCA transformation matrices forced to be rotation matrices and interpolated by sub-frames in an optimized manner (in particular in the field of quaternions / double quaternions) to improve the quality.
  • the interpolation step is either fixed or adaptive as a function of a criterion of difference between an inter-correlation matrix and a reference matrix (identity) or between matrices to be interpolated.
  • the quantization of the rotation matrices can be implemented in the domain of generalized Euler angles. However, it may be preferentially chosen to quantify the matrices of dimension 3 and 4 in the domain of quaternions and double quaternions (respectively), which makes it possible to remain in the same domain for the quantization and the interpolation.
  • eigenvector alignment is used to avoid the problems of clicks and channel inversion from frame to frame.
  • the present invention is not limited to the embodiments described above by way of example and extends to other variants.
  • the foregoing description has dealt with the cases of four channels.
  • the transformation matrices at frames t - 1 and ⁇ are denoted V t - 1 and V t .
  • the interpolation can be performed with a factor between V t - 1 and t el Vt that:

Abstract

L'invention concerne le codage en compression de signaux sonores formant une succession dans le temps de trames d'échantillons, dans chacun de N canaux en représentation ambisonique d'ordre supérieur à 0, le procédé comportant : - former, à partir des canaux pour une trame courante, une matrice de covariance entre canaux et rechercher (S3) des vecteurs propres de la matrice de covariance pour obtenir une matrice de vecteurs propres, - tester (S5) la matrice de vecteurs propres pour vérifier qu'elle représente une rotation dans un espace de dimension N et corriger (S6) sinon la matrice de vecteurs propres jusqu'à obtenir une matrice de rotation, pour la trame courante, et - appliquer ladite matrice de rotation (S7) aux signaux des N canaux avant un encodage par canaux séparés desdits signaux.

Description

Codage audio spatialisé avec interpolation et quantification de rotations La présente invention concerne le codage/décodage de données sonores spatialisées, notamment en contexte ambiophonique (noté ci-après également « ambisonique »). Les codeurs/décodeurs (ci-après appelés « codecs ») qui sont utilisés actuellement en téléphonie mobile sont mono (un seul canal de signal pour une restitution sur un seul haut- parleur). Le codec 3GPP EVS (pour « Enhanced Voice Services ») permet d’offrir une qualité « Super-HD » (aussi appelée voix « Haute Définition + » ou HD+) avec une bande audio en bande super-élargie (SWB pour « super-wideband » en anglais) pour des signaux échantillonnés à 32 ou 48 kHz ou pleine bande (FB pour « Fullband ») pour des signaux échantillonnés à 48 kHz ; la largeur de bande audio est de 14,4 à 16 kHz en mode SWB (de 9,6 à 128 kbit/s) et de 20 kHz en mode FB (de 16,4 à 128 kbit/s). La prochaine évolution de qualité dans les services conversationnels proposés par les opérateurs devrait être constituée par les services immersifs, en utilisant des terminaux tels que des smartphones par exemple équipés de plusieurs microphones ou des équipements de conférence audio spatialisée ou de visioconférence de type télé-présence, ou encore des outils de partage de contenus « live », avec un rendu sonore spatialisé en 3D, autrement plus immersif qu’une simple restitution stéréo 2D. Avec les usages de plus en plus répandus d’écoute sur téléphone mobile avec un casque audio et l’apparition d’équipements audio avancés (accessoires tels qu’un microphone 3D, assistants vocaux avec antennes acoustiques, casques de réalité virtuelle, etc.) et d’outils spécifiques (par exemple de la production de contenu vidéo 360°) la captation et le rendu de scènes sonores spatialisées sont désormais assez communes pour offrir une expérience de communication immersive. A ce titre, la future norme 3GPP « IVAS » (pour « Immersive Voice And Audio Services ») propose l’extension du codec EVS à l’immersif en acceptant comme format d’entrée du codec au moins les formats de son spatialisé listés ci-dessous (et leurs combinaisons):
- Format multicanal (channel-based en anglais) de type stéréo, 5.1 où chaque canal vient alimenter un haut-parleur (par exemple L et R en stéréo, ou L, R, Ls, Rs et C en 5.1)
- Format objet (object-based en anglais) où des objets sonores sont décrits comme un signal audio (en général mono) associé à des métadonnées décrivant les attributs de cet objet (position dans l’espace, largeur spatiale de la source, etc.), et - Format ambisonique (scene-based en anglais) qui décrit le champ sonore en un point donné, en général capté par un microphone sphérique ou synthétisé dans le domaine des harmoniques sphériques. On s’intéresse ci-après typiquement au codage d’un son au format ambisonique, à titre d’exemple de réalisation (au moins certains aspects présentés en lien avec l’invention ci-après pouvant également s’appliquer à d’autres formats que de l’ambisonique). L’ambisonique est une méthode d’enregistrement (« codage » au sens acoustique) de son spatialisé et un système de reproduction (« décodage » au sens acoustique). Un microphone ambisonique (à l’ordre 1) comprend au moins quatre capsules (typiquement de type cardoïde ou sous-cardoïde) arrangées sur une grille sphérique, par exemple les sommets d’un tétraèdre régulier. Les canaux audio associés à ces capsules s’appellent le « A-format ». Ce format est converti dans un « B-format », dans lequel le champ sonore est décomposé en quatre composantes (harmoniques sphériques) notées W, X, Y, Z, qui correspondent à quatre microphones virtuels coïncidents. La composante W correspond à une captation omnidirectionnelle du champ sonore alors que les composantes X, Y et Z, plus directives, sont assimilables à des gradients de pression orientés suivant les trois dimensions de l’espace. Un système ambisonique est un système flexible dans le sens où l’enregistrement et la restitution sont séparés et découplés. Il permet un décodage (au sens acoustique) sur une configuration quelconque de haut-parleurs (par exemple, binaural, son « surround » de type 5.1 ou périphonie (avec élévation) de type 7.1.4). Bien entendu, l’approche ambisonique peut être généralisée à plus de quatre canaux en B-format et cette représentation généralisée est couramment nommée « HOA » (pour « Higher-Order Ambisonics »). Le fait de décomposer le son sur plus d’harmoniques sphériques améliore la précision spatiale de restitution lors d’un rendu sur hauts-parleurs. Un signal ambisonique à l’ordre N comprend (N+1)² composantes et, à l’ordre 1 (si N=1), on retrouve les quatre composantes de l’ambisonique original qui est couramment appelé FOA (pour First-Order Ambisonics). Il existe aussi une variante dite « planaire » de l’ambisonique qui décompose le son défini dans un plan qui est en général le plan horizontal. Dans ce cas, le nombre de composantes est de 2N+1 canaux. L’ambisonique d’ordre 1 (4 canaux : W, X, Y, Z) et l’ambisonique d’ordre 1 planaire (3 canaux : W, X, Y) sont désignés ci-après par « ambisonique » indistinctement pour faciliter la lecture, les traitements présentés étant applicables indépendamment du type planaire ou non. Si toutefois dans certains passages il est besoin de faire une distinction, les termes « ambisonique d’ordre 1 » et « ambisonique d’ordre 1 planaire » sont utilisés. On remarquera que l’on peut dériver du B-format à l’ordre 1 un signal stéréo (2 canaux) correspondant à des captations stéréo coïncidentes de type Blumlein Crossed Pair (X+Y et X-Y) ou Mid-Side (en combinant W et X pour le Mid et en prenant Y comme Side). Par la suite, on appelle « son ambisonique » un signal en B-format à un ordre prédéterminé. Dans des variantes, le son ambisonique peut être défini dans un autre format tel que le A- format ou des canaux précombinés par matriçage fixe (conservant le nombre de canaux ou le réduisant à un cas à 3 ou 2 canaux), comme on le verra plus loin. Les signaux à traiter par le codeur/décodeur se présentent comme des successions de blocs d’échantillons sonores appelés « trames » ou « sous-trames » ci-après. En outre, ci-après, les notations mathématiques suivent la convention suivante :
- Vecteur : u (minuscule, gras)
- Matrice : A (majuscule, gras) L’approche la plus simple pour coder un signal stéréo ou ambisonique consiste à utiliser un codeur mono et de l’appliquer en parallèle à tous les canaux avec éventuellement une allocation des bits différente selon les canaux. Cette approche est appelée ici « multi- mono » (même si en pratique on peut généraliser l’approche à du multi-stéréo ou une utilisation de plusieurs instances parallèles d’un même codec cœur). Une telle réalisation est présentée à la figure 1. Le signal d’entrée est divisé en canaux (mono) par le bloc 100. Ces canaux sont codés individuellement par les blocs 120 à 122 en fonction d’une allocation prédéterminée. Leur train binaire est multiplexé (bloc 130) et après transmission et/ou stockage il est démultiplexé (bloc 140) pour appliquer un décodage de chacun des canaux (blocs 150 à 152) qui sont recombinés (bloc 160).
La qualité associée varie selon le codage mono utilisé, et elle n’est en général satisfaisante qu’à très haut débit, par exemple avec un débit d’au moins 48 kbit/s par canal mono pour un codage EVS. Ainsi à l’ordre 1 on obtient un débit minimal de 4x48 = 192 kbit/s. Les solutions proposées actuellement pour des codecs plus sophistiqués, pour de la spatialisation ambisonique notamment, ne sont pas satisfaisantes, notamment en termes de complexité, retard et utilisation efficace du débit, pour assurer une décorrélation efficace entre canaux ambisoniques. Par exemple, le codec MPEG-H pour les sons ambisoniques utilise une opération d’addition- recouvrement qui ajoute du retard et de la complexité, ainsi qu’une interpolation linéaire sur des vecteurs de directions qui est sous-optimale et introduit des défauts. Un problème de base de ce codec est qu’il met en œuvre une décomposition en composantes prédominantes et ambiance car les composantes prédominantes sont censées être perceptuellement distinctes de l’ambiance, mais cette décomposition n’est pas complètement spécifiée. Le codeur MPEG-H souffre de problème de non-correspondance entre les directions des composantes principales d’une trame à l’autre : l’ordre des composantes (signaux) peut être permuté tout comme les directions associées. C’est la raison pour laquelle le codec MPEG- H utilise une technique de « matching » et d’addition-recouvrement (overlap-add en anglais) afin de résoudre ce problème. Par ailleurs, il serait possible d’utiliser des approches de codage fréquentiel (dans le domaine FFT ou MDCT) plutôt qu’un codage temporel comme dans le codec MPEG-H, mais un traitement des signaux dans le domaine fréquentiel (sous-bandes) oblige à transmettre à un décodeur des données par sous-bande, en augmentant ainsi le débit nécessaire à cette transmission. La présente invention vient améliorer cette situation.
Elle propose à cet effet un procédé de codage en compression de signaux sonores formant une succession dans le temps de trames d’échantillons, dans chacun de N canaux en représentation ambisonique d’ordre supérieur à 0, le procédé comportant :
- former, à partir des canaux pour une trame courante, une matrice de covariance entre canaux et rechercher des vecteurs propres de la matrice de covariance pour obtenir une matrice de vecteurs propres,
- tester la matrice de vecteurs propres pour vérifier qu’elle représente une rotation dans un espace de dimension N et corriger sinon la matrice de vecteurs propres jusqu’à obtenir une matrice de rotation, pour la trame courante, et - appliquer ladite matrice de rotation aux signaux des N canaux avant un encodage par canaux séparés desdits signaux. Ainsi, la présente invention permet d’améliorer une décorrélation entre les N canaux à encoder séparément par la suite. Cet encodage séparé est désigné aussi ci-après « encodage multi-mono ». Dans une forme de réalisation, le procédé peut comporter en outre :
- coder des paramètres tirés de la matrice de rotation en vue d’une transmission via un réseau. Ces paramètres peuvent être typiquement des valeurs de quaternion et/ou d’angle de rotation et/ou d’angle d’Euler comme on le verra plus loin, ou encore simplement des éléments de cette matrice par exemple. Dans une forme de réalisation, le procédé peut comporter en outre :
- comparer la matrice de vecteurs propres obtenue pour la trame courante à une matrice de rotation obtenue pour une trame précédant la trame courante, et
- permuter des colonnes de la matrice de vecteurs propres de la trame courante pour assurer une cohérence avec la matrice de rotation de la trame précédente.
Une telle réalisation permet de conserver une homogénéité globale et d’éviter notamment des clics audibles d’une trame à l’autre, pendant la restitution sonore. Toutefois, certaines transformations mises en œuvre pour l’obtention des vecteurs propres à partir de la matrice de covariance (comme la « PCA/KLT » vue plus loin) sont susceptibles d’inverser le sens de certains des vecteurs propres et il convient alors de vérifier à la fois une cohérence d’axe, puis de direction sur cet axe, de chaque vecteur propre de la matrice de la trame courante. A cet effet, dans une forme de réalisation, la permutation précitée des colonnes permettant d’assurer déjà une cohérence d’axes des vecteurs, le procédé comporte en outre :
- vérifier, pour chaque vecteur propre de la trame courante, une cohérence de direction avec un vecteur-colonne de position correspondante de la matrice de rotation de la trame précédente, et
- en cas d’incohérence, inverser le signe des éléments de ce vecteur propre dans la matrice de vecteurs propres de la trame courante. Typiquement, une permutation entre colonnes de la matrice de vecteurs propres inversant le signe d’un déterminant de la matrice de vecteurs propres et le déterminant d’une matrice de rotation étant égal à 1,
on peut estimer le déterminant de la matrice de vecteurs propres, et si ce dernier est égal à -1, on peut alors inverser les signes des éléments d’une colonne choisie de la matrice de vecteurs propres, pour que le déterminant soit égal à 1 et former ainsi une matrice de rotation. Dans une réalisation, le procédé peut comporter en outre :
- une estimation d’écart entre la matrice de rotation obtenue pour la trame courante et une matrice de rotation obtenue pour une trame précédant la trame courante,
- en fonction de l’écart estimé, déterminer si au moins une interpolation est à opérer entre la matrice de rotation de la trame courante et la matrice de rotation de la trame précédente.
Une telle interpolation permet alors de lisser (« moyenner progressivement ») les matrices de rotation appliquées respectivement à la trame précédente et la trame courante et atténuer ainsi un effet de clic audible d’une trame à l’autre à la restitution. Dans une telle réalisation :
- en fonction de l’écart estimé, il est déterminé un nombre d’interpolations à opérer entre la matrice de rotation de la trame courante et la matrice de rotation de la trame précédente, - la trame courante est découpée en un nombre de sous-trames correspondant au nombre d’interpolations à opérer, et
- on peut coder au moins ce nombre d’interpolations en vue d’une transmission via le réseau précité. Dans une forme de réalisation, la représentation ambisonique est d’ordre 1 et le nombre N de canaux est quatre, et la matrice de rotation de la trame courante est représentée par deux quaternions. Dans ce mode de réalisation et dans le cas d’une interpolation, chaque interpolation pour une sous-trame courante est une interpolation sphérique linéaire (ou « SLERP »), menée en fonction de l’interpolation de la sous-trame précédant la sous-trame courante et à partir des quaternions de la sous-trame précédente. Par exemple, l’interpolation sphérique linéaire de la sous-trame courante peut être menée pour obtenir les quaternions de la sous-trame courante comme suit :
Figure imgf000009_0001
Où :
QL,t─1 est l’un des quaternions de la sous-trame précédente t-1,
QR,t─1 est l’autre des quaternions de la sous-trame précédente t-1,
QL,t est l’un des quaternions de la sous-trame courante t,
QR,t est l’autre des quaternions de la sous-trame courante t,
Figure imgf000009_0002
et a correspond à un facteur d’interpolation. Dans une forme de réalisation, la recherche des vecteurs propres est effectuée par analyse en composantes principales (ou « PCA ») ou par transformée de Karhunen Loeve (ou « KLT »), dans le domaine temporel.
Bien entendu, d’autres réalisations peuvent être envisagées (décomposition en valeurs singulières, ou autres). Dans une forme de réalisation, le procédé comporte une étape préalable de prévision de budget d’allocation de bits par canal ambisonique, comprenant :
- pour chaque canal ambisonique, une estimation d’énergie acoustique courante dans le canal, - la sélection dans une mémoire d’un score prédéterminé, de qualité, fonction de ce canal ambisonique et d’un débit courant dans le réseau,
- l’estimation d’une pondération à opérer pour l’allocation de bits à ce canal, par multiplication du score sélectionné à l’énergie estimée.
Cette réalisation permet alors de gérer une allocation de bits optimale à attribuer pour chaque canal à coder. Elle est avantageuse en tant que telle et pourrait éventuellement faire l’objet d’une protection séparée. La présente invention vise aussi un procédé de décodage de signaux sonores formant une succession dans le temps de trames d’échantillons, dans chacun de N canaux en représentation ambisonique d’ordre supérieur à 0, le procédé comportant:
- recevoir, pour une trame courante, en plus des signaux des N canaux de cette trame courante, des paramètres d’une matrice de rotation,
- construire une matrice de rotation inverse à partir desdits paramètres,
- appliquer ladite matrice de rotation inverse à des signaux issus des N canaux reçus, avant un décodage par canaux séparés desdits signaux.
Une telle réalisation permet d’améliorer aussi au décodage une décorrélation entre les N canaux. La présente invention vise aussi un dispositif de codage comportant un circuit de traitement pour la mise en œuvre du procédé de codage présenté précédemment. Elle vise aussi un dispositif de décodage comportant un circuit de traitement pour la mise en œuvre du procédé de décodage ci-avant. Elle vise aussi un programme informatique comportant des instructions pour la mise en œuvre du procédé ci-avant, lorsque ces instructions sont exécutées par un processeur d’un circuit de traitement.
Elle vise aussi un support mémoire non-transitoire stockant les instructions d’un tel programme informatique. D’autres avantages et caractéristiques et caractéristiques de l’invention apparaitront à la lecture d’exemples de réalisation présentés dans la description détaillée ci-après, et à l’examen des dessins annexés sur lesquels :
- la figure 1 illustre un codage multi-mono (état de l’art),
- la figure 2 illustre une succession d’étapes principales d’un exemple procédé au sens de l’invention,
- la figure 3 présente la structure générale d’un exemple de codeur selon l’invention,
- la figure 4 présente détaille l’analyse et la transformation PCA/KLT réalisée par le bloc 310 du codeur de la figure 3,
- la figure 5 présente un exemple de décodeur selon l’invention,
- la figure 6 présente le décodage et la synthèse PCA/KLT inverse de la figure 4, au décodage, - la figure 7 illustre des exemples de réalisation structurelle d’un codeur et d’un décodeur au sens de l’invention. L’invention vise à permettre un codage optimisé par :
- un matriçage adaptatif en temporel (en particulier avec une transformation adaptative obtenue par PCA/KLT (« PCA » désignant une analyse en composante principale et « KLT » désignant une transformée de Karhunen Loeve),
- suivi préférentiellement par un codage multi-mono.
Le matriçage adaptatif permet une décomposition en canaux plus efficaces qu’un matriçage fixe. Le matriçage selon l’invention permet avantageusement de décorréler les canaux avant codage multi-mono, de sorte que le bruit de codage introduit par le codage de chacun des canaux déforme globalement le moins possible l’image spatiale lorsque les canaux sont recombinés pour reconstruire un signal ambisonique au décodage.
De plus, l’invention permet d’assurer une adaptation douce des paramètres de matriçage afin d’éviter des artéfacts de type « clics » en bordure de trame ou des fluctuations trop rapides d’image spatiale, ou encore des artéfacts de codage dus à des variations trop fortes (par exemple liées à des permutations intempestives de sources sonores entre canaux) dans les différents canaux individuels issus du matriçage qui sont ensuite codés par des instances différentes d’un codec mono. Il est présenté ci-après un codage multi-mono avec allocation préférentiellement variable des bits entre canaux (après matriçage adaptatif), mais dans des variantes plusieurs instances d’un codec cœur stéréo ou autre peuvent être utilisées. Afin de faciliter la compréhension de l’invention, il est rappelé ci-après certains concepts explicatifs concernant les rotations en dimension n, les décompositions de type PCA/KLT ou SVD (« SVD » désignant une décomposition en valeurs singulières).
Les rotations et les « quaternions » Les signaux sont représentés par blocs successifs d’échantillons sonores, ces blocs étant appelés « sous-trames » ci-après.
L’invention utilise une représentation des rotations en dimension avec des paramètres adaptés pour une quantification par trame et surtout une interpolation efficace par sous- trame. On définit ci-dessous les représentations de rotations utilisées en dimension 2, 3 et 4. Une rotation (autour de l’origine) est une transformation de l’espace en dimension qui modifie un vecteur en un autre vecteur, telle que :
- L’amplitude du vecteur est préservée
- Le produit vectoriel de vecteurs définissant un repère orthonormé avant rotation est préservé après rotation (il n’y a pas de réflexion).
Une matrice M de taille n x n est une matrice de rotation si et seulement si MT.M=In où In désigne la matrice identité de taille n x n (c’est-à-dire que M est une matrice unitaire, MT désignant la transposée de M) et son déterminant vaut +1. On utilise dans l’invention plusieurs représentations qui sont équivalentes à la représentation par matrice de rotation : En deux dimensions (dans un plan 2D) (n=2) : On utilise comme représentation l’angle de rotation comme suit. Etant donné l’angle de rotation ! on en déduit la matrice de rotation : "
Figure imgf000012_0001
Etant donnée une matrice de rotation, on peut calculer l’angle ! en observant que la trace de la matrice est 2cos !. On notera qu’il est également possible d’estimer ! directement à partir d’une matrice de covariance avant d’appliquer une décomposition en composantes principles (PCA) et décomposition en valeurs propres (EVD) présentées plus loin. L’interpolation entre deux rotations d’angles respectifs q1 et q2 peut se faire par interpolation linéaire entre q1 et q2, en prenant en compte la contrainte de plus court chemin sur le cercle unité entre ces deux angles. Dans l’espace en trois dimensions (3D) (n=3): On utilise comme représentation les angles d’Euler et les quaternions. Dans des variantes on pourra utiliser également une représentation par axe-angle qui n’est pas rappelée ici. Une matrice de rotation de taille 3x3 peut être décomposée en un produit de 3 rotations élémentaires d’angle ! selon les axes x, y, ou z.
Figure imgf000013_0001
Selon les combinaisons d’axes, les angles sont dits d’Euler ou de Cardan. Une autre représentation des rotations 3D toutefois est donnée par les quaternions. Les quaternions sont une généralisation des représentations par nombres complexes avec quatre composantes sous la forme d’un nombre q = a + bi +cj + dk oú i2 = j2 = k2= ijk =‒1. La partie réelle / est appelée scalaire et les trois parties imaginaires (0, 2, 4) forment un vecteur 3D. La norme d’un quaternion est |.|
Figure imgf000013_0002
quaternions unitaires (de norme 1) représentent les rotations– cependant cette représentation n’est pas unique ; ainsi, si 8 représente une rotation, -8 représente la même rotation. Etant donné un quaternion unitaire q = a + bi +cj + dk (avec a2 + b2 + c2 + d2 = 1), la matrice de rotation associée est :
Figure imgf000013_0003
Les angles d’Euler ne permettent pas d’interpoler correctement des rotations 3D ; pour ce faire on utilise plutôt les quaternions ou la représentation axe-angle. La méthode de l’interpolation SLERP (pour « spherical linear interpolation ») consiste à interpoler selon la formule :
Figure imgf000013_0004
où 0 £ a £ 1 est le facteur d’interpolation pour aller de q1 à q2 etΩ est l'angle entre les deux quaternions: où q1. q2 désigne le produit scalaire entre deux quaternions (identique au produit scalaire entre deux vecteurs de dimension 4). Cela revient à interpoler en suivant un grand cercle sur une sphère 4D avec une vitesse angulaire constante en fonction de ^. Il convient de s’assurer que le plus court chemin est utilisé pour l’interpolant en changeant le signe de l’un des quaternions quand q1. q2 < 0. On notera que d’autres méthodes d’interpolation de quaternions peuvent être utilisées (normalized linear interpolation ou nlerp, splines,…).
On remarquera qu’il est également possible d’interpoler des rotations 3D par le biais de la représentation axe-angle ; dans ce cas l’angle est interpolé comme dans le cas 2D et l’axe peut être interpolé par exemple par la méthode SLERP (en 3D) en s’assurant que le pls court chemin est pris sur une sphère unité 3D et en tenant compte du fait que la représentation donnée par l’axe G et l’ angle ! est équivalente à celle donnée par l’axe de direction opposée - r et l’angle En dimension 4 (n=4), une rotation peut être paramétrée par 6 angles (n(n-1)/2) et on montre que la multiplication de deux matrices de taille 4x4 appelées quaternion (I^) et antiquaternion ( associées à des quaternions 1 = a + bi + cj + dk et 2 = w + xi + yj + zk donne une matrice de rotation de taille 4x4.
Il est possible de retrouver le double quaternion associé ( q1 q2) et des matrices de quaternion et antiquaternion associées telles que :
et
Leur produit donne une matrice de taille 4x4 : et il est possible de vérifier que cette matrice vérifie les propriétés d’une matrice de rotation (matrice unitaire et déterminant égal à 1). Inversement, étant donné une matrice de rotation 4x4, on peut factoriser cette matrice en un produit de matrices sous la forme par exemple avec la méthode dite « factorisation de
Figure imgf000015_0001
Cayley ». Cela implique de calculer une matrice intermédiaire appelée « transformée tétragonale » (ou matrice associée) et d’en déduire les quaternions à une indétermination près sur le signe des deux quaternions (qui peut être levée par une contrainte supplémentaire de « plus court chemin » évoquée plus loin).
Décomposition en valeurs singulières (ou « SVD ») La décomposition en valeurs singulières (singular value decomposition ou SVD en anglais) consiste à factoriser une matrice réelle A de taille m x n sous la forme :
A = USVT
où U est une matrice unitaire (UTU = Im) de taille m × m, S est une matrice diagonale rectangulaire de taille m × n à coefficients réels et positifs si ³ 0 (i = 1…poù p =min(m, n)), V est une matrice unitaire (VTV = In) de taille n × n et VT est la transposée de V. Les coefficients si dans la diagonale de R sont les valeurs singulières de la matrice P. Par convention, elles sont en général listées par ordre décroissant, et dans ce cas la matrice diagonale R associée à P est unique. Le rang r de A est donné par le nombre de coefficients sI non nuls. On peut donc réécrire la décomposition en valeurs singulières comme:
Figure imgf000015_0002
où r = [u1, u2,… , ur] sont les vecteurs singuliers à gauche (ou vecteurs de sortie) de A, Sr = diag(s1,… , sr) and Vr = [v1, v2,… , vr] sont les vecteurs singuliers à droite (ou vecteurs d’entrée) de P. Cette formulation matricielle peut être aussi ré-écrite comme:
Figure imgf000015_0003
Si la somme est limitée à un indice i < r on obtient une matrice « filtrée » qui ne représente que l’information « prépondérante ».
On peut aussi écrire :
Avi = si ui
Qui montre que la matrice P transforme vi en si ui. La SVD de P a une relation avec la décomposition en valeurs propres de PpP et P^Pp car :
ATA = V (STS) VT
A AT = U (SST ) UT
Les valeurs propres de STS et SST sont s colonnes de U sont les vecteurs
Figure imgf000016_0001
propres de A AT , tandis que les colonnes de S sont les vecteurs propres de ATA. La SVD peut être interprétée de façon géométrique : l’image d’une sphère en dimension par la matrice A est en dimension m une hyper-ellipse ayant des axes principaux selon les directions u1, u2,… , um et de longueur s1,… , sm.
Transformée de Karhunen Loeve (ou « KLT » pour « Karhunen Loeve Transform ») La transformation de Karhunen Loeve (KLT) d’un vecteur aléatoire x centré en 0 et de matrice de covariance Rxx = E[xx T] est définie par:
y = VT x
où^S est la matrice de vecteurs propres (avec la convention que les vecteurs propres sont des vecteurs colonne) obtenue par décomposition en valeurs propres de stt
Rxx = VLVT
où L = diag(l1,… , ln) est une matrice diagonale dont les coefficients sont les valeurs propres. La matrice V = [v1, v2,… , vn] contient les vecteurs propres (colonnes) de Rxx, tels que
Rxxvi = lnvi On peut voir la KLT comme un changement de base, car le produit VT x exprime le vecteur x dans la base donnée par les vecteurs propres.
La transformation inverse est donnée par: x = V y La KLT permet de décorréler les composantes de x ; les variances du vecteur transformé y sont les valeurs propres de Rxx.
Analyse en composantes principales (ou « PCA » pour « principal component analysis ») L’analyse en composante principale (PCA) est une technique de réduction de dimensionnalité qui produit des variables orthogonales et maximise la variance des variables après projection (ou de façon équivalente minimiser l’erreur de reconstruction). La PCA présentée ci-après, bien que s’appuyant aussi sur une décomposition en valeurs propres comme la KLT, est telle que la matrice de covariance estimée calculée à partir
Figure imgf000017_0005
de N vecteurs observés xi, i = 1…N de dimension :
Figure imgf000017_0001
en supposant que ces vecteurs sont centrés :
Figure imgf000017_0002
La décomposition en valeurs propres de sous la forme met de calculer
Figure imgf000017_0003
les composantes principales: n
Figure imgf000017_0004
VT n
La PCA est une transformation par la matrice ST qui projette les données dans une nouvelle base pour maximiser la variance des variables après projection.
On notera que la PCA peut également s’obtenir à partir d’une SVD du signal {^ mis sous la forme d’une matrice ^^de taille n x N. Dans ce cas, on peut écrire :
X = UDVT
On vérifie que XXT = UDDTUT qui correspond à une dia
Figure imgf000017_0006
gonalisation de XXT. Ainsi les vecteurs de projection de la PCA correspondent aux vecteurs colonne de U et la projection donne comme résultat UTX = DV T. On notera également que la PCA est en général vue comme une technique de réduction de dimensionnalité, pour « compresser » un jeu de données en grande dimension vers un jeu comprenant peu de composantes principales. Dans l’invention, la PCA permet avantageusement de décorréler le signal multidimensionnel en entrée mais on évite de supprimer des canaux (donc réduire le nombre de canaux) pour éviter d’introduire des artéfacts. On force ainsi un débit de codage minimal pour éviter de « tronquer » l’image spatiale, sauf dans des variantes spécifiques où des valeurs propres sont tellement faibles qu’un débit nul peut être autorisé (par exemple pour mieux coder des sons ambisoniques créés artificiellement avec une seule source spatialisée de façon synthétique).
On se réfère maintenant à la figure 2 pour décrire des principes généraux des étapes qui sont mises en œuvre dans un procédé au sens de l’invention, pour une trame courante t.
L’étape S1 consiste à obtenir les signaux respectifs des canaux ambisoniques (ici quatre canaux W, Y, Z, X dans l’exemple décrit utilisant un ordre de canaux selon la convention ACN pour Ambisonics Channel Number), pour chaque trame t. Ces signaux peuvent être mis sous la forme d’une matrice n x L (pour n canaux ambisoniques (ici 4) et L échantillons par trame).
A l’étape suivante S2, on peut optionnellement pré-traiter les signaux de ces canaux par exemple par un filtre passe-haut comme décrit plus loin en référence à la figure 3.
A l’étape suivante S3, on applique à ces signaux une analyse en composantes principales PCA ou de façon équivalente une transformée de Karhunen Loeve KLT, pour obtenir des valeurs propres et une matrice de vecteurs propres à partir d’une matrice de covariance des n canaux. Dans des variantes de l’invention une SVD pourra être utilisée.
A l’étape S4, cette matrice de vecteurs propres, obtenue pour la trame courante t, subit des permutations signées pour qu’elle soit la plus alignée possible avec la matrice de même nature de la trame précédente t-1. Dans le principe, on s’assure que l’axe des vecteurs colonnes dans la matrice de vecteurs propres correspond le plus possible à l’axe des vecteurs colonnes à la même place dans la matrice de la trame précédente et sinon, on permute les positions des vecteurs propres de la matrice de la trame courante t qui ne correspondent pas. Ensuite, on s’assure en outre que les directions des vecteurs propres d’une matrice à l’autre coïncident également. En d’autres termes, on ne s’intéresse dans un premier temps qu’aux droites qui portent les vecteurs propres (juste la direction, sans le sens) et on cherche pour chaque droite la droite la plus proche dans la matrice de la trame précédente t-1. Pour cela on permute des vecteurs dans la matrice de la trame courante. Puis dans un second temps, on cherche à faire correspondre l’orientation des vecteurs (sens). Pour cela, on inverse le signe des vecteurs propres qui n’auraient pas le bon sens.
Une telle réalisation permet d’assurer une cohérence maximale entre les deux matrices et éviter ainsi des clics audibles entre deux trames lors d’une restitution sonore.
A l’étape S5, on s’assure en outre que la matrice de vecteurs propres de la trame courante t, ainsi corrigée par permutations signées, représente bien l’application d’une rotation (d’un angle pour n =2 canaux, de trois angles d’Euler, d’un axe et d’un angle ou d’un quaternion pour n=3 correspondant à la représentation ambisonique d’ordre 1 planaire W, Y, Z, et de deux quaternions pour n=4 en représentation ambisonique d’ordre 1 de type W,Y,Z,X).
Pour s’assurer qu’il s’agit bien d’une rotation, le déterminant de la matrice de vecteurs propres de la trame courante t, corrigée par permutations, doit être positif et égal à (ou, en pratique, voisin de) +1 à l’étape S6. S’il est égal à (ou proche de) -1, alors il convient de : - permuter à nouveau deux vecteurs propres (par exemple associés à des canaux de faible énergie, donc peu représentatifs), ou
- préférentiellement d’inverser le signe de tous les éléments d’une colonne (par exemple associée à un canal de faible énergie) à l’étape S6.
On obtient alors une matrice de vecteurs propres pour la trame courante t correspondant effectivement à une rotation à l’étape S7.
On peut alors coder sur un nombre de bits alloués à cet effet des paramètres de cette matrice (comme par exemple la valeur d’angle, d’un axe et d’un angle, ou de quaternion(s) de cette matrice) à l’étape S8. Dans une autre réalisation optionnelle mais avantageuse, dans le cas où il est constaté à l’étape S9 un écart significatif (supérieur à un seuil par exemple) entre la matrice de rotation estimée pour la trame courante t et la matrice de rotation de la trame précédente t-1, on peut déterminer un nombre variables de sous-trames d’interpolation : autrement on fixe ce nombre de sous-trames à une valeur pré-déterminée. L’étape S10 consiste à :
- découper la trame courante en sous-trames, et
- interpoler des matrices à appliquer aux sous-trames successives depuis la matrice de la trame précédente t-1 jusqu’à la matrice de la trame courante t, afin de lisser dans le temps la différence entre les deux matrices.
A l’étape S11, on applique les matrices de rotation interpolées à une matrice n X (L/K) représentant chacune des K sous-trames des signaux des canaux ambisoniques de l’étape S1 (ou optionnellement S2) pour décorréler autant que possible ces signaux avant l’encodage multi-mono de l’étape S14. Il est rappelé en effet qu’il est souhaité dé-corréler autant que possible ces signaux avant cette transformation multi-mono, selon une approche générale. Une allocation binaire aux canaux séparés est faite à l’étape S12 et codée à l’étape S13.
A l’étape S14, avant d’opérer le multiplexage de l’étape S15 et finir ainsi le procédé de codage en compression, on peut décider d’un nombre de bits à allouer par canal en fonction de la représentativité de ce canal et du débit disponible sur le réseau RES (figure 7). Dans une forme de réalisation, on estime l’énergie dans chaque canal pour une trame courante et on multiplie cette énergie par un score prédéfini pour ce canal et pour un débit donné (ce score étant par exemple une note MOS explicitée plus loin en référence à la figure 3). On pondère ainsi le nombre de bits à allouer pour chaque canal. Une telle réalisation est avantageuse en tant que tel et peut éventuellement faire l’objet d’une protection séparée en contexte ambisonique. On a illustré sur la figure 7 un dispositif de codage DCOD et un dispositif de décodage DDEC, au sens de l’invention, ces dispositifs étant duals l’un de l’autre (dans le sens de « réversibles ») et reliés l’un à l’autre par un réseau de communication RES. Le dispositif de codage DCOD comporte un circuit de traitement incluant typiquement :
- une mémoire MEM1 pour stocker des données d’instructions d’un programme informatique au sens de l’invention (ces instructions pouvant être réparties entre le codeur DCOD et le décodeur DDEC) ;
- une interface INT1 de réception de signaux ambisoniques répartis sur différents canaux (par exemple quatre canaux W, Y, Z, X à l’ordre 1) en vue de leur codage en compression au sens de l’invention ;
- un processeur PROC1 pour recevoir ces signaux et les traiter en exécutant les instructions de programme informatique que stocke la mémoire MEM1, en vue de leur codage ; et
- une interface de communication COM 1 pour transmettre les signaux codés via le réseau. Le dispositif de décodage DDEC comporte un circuit de traitement propre, incluant typiquement :
- une mémoire MEM2 pour stocker des données d’instructions d’un programme informatique au sens de l’invention (ces instructions pouvant être réparties entre le codeur DCOD et le décodeur DDEC comme indiqué précédemment) ;
- une interface COM2 pour recevoir du réseau RES les signaux codés en vue de leur décodage en compression au sens de l’invention ; - un processeur PROC2 pour traiter ces signaux en exécutant les instructions de programme informatique que stocke la mémoire MEM2, en vue de leur décodage ; et
- une interface de sortie INT2 pour délivrer les signaux décodés sous forme de canaux ambisoniques W’, Y’, Z’, X’, par exemple en vue de leur restitution. Bien entendu, cette figure 7 illustre un exemple d’une réalisation structurelle d’un codec (codeur ou décodeur) au sens de l’invention. Les figures 3 à 6 commentées plus loin décrivent en détails des réalisations plutôt fonctionnelles de ces codecs. On se réfère maintenant à la figure 3 pour décrire un dispositif codeur au sens de l’invention. La stratégie du codeur est de dé-corréler au maximum les canaux du signal ambisonique et de les coder avec un codec cœur. Cette stratégie permet de limiter les artéfacts dans le signal ambisonique décodé. Plus particulièrement, on cherche à appliquer une décorrélation optimisée des canaux d’entrée avant un codage multi-mono ici. Par ailleurs, une interpolation dont le coût de calcul pour le codeur et le décodeur est limité car celle-ci est réalisée dans un domaine spécifique (angle en 2D, quaternion en 3D, double quaternion en 4D) permet d’interpoler les matrices de covariance calculées pour l’analyse PCA/KLT plutôt que de répéter plusieurs fois par trame une décomposition en valeurs propres et vecteurs propres. Néanmoins, avant d’aborder le codage cœur opéré au sens de l’invention, il est présenté ici quelques fonctionnalités du codeur qui sont avantageuses comme notamment l’optimisation du budget de bits alloués au codage en fonction de critères perceptifs, vue plus loin. Dans le mode de réalisation décrit ici du codeur, ce dernier peut être typiquement une extension du codeur normalisé 3GPP EVS (pour « Enhanced Voiced Services »). Avantageusement, on peut reprendre les débits de codage EVS sans modifier alors la structure du train binaire EVS. Ainsi, le codage multi-mono (bloc 340 de la figure 3 décrit plus loin) fonctionne ici avec une allocation possible à chaque canal transformé, restreinte aux débits suivants pour un codage en bande audio super-élargie : 9,6 ; 13,2 ; 16,4 ; 24,4 ; 32 ; 48 ; 64 ; 96 et 128 kbit/s.
Bien entendu, il est possible d’ajouter des débits supplémentaires (pour avoir une granularité d’allocation plus fine) en modifiant le codec EVS. On peut utiliser aussi un autre codec que de type EVS, par exemple le codec OPUS®. De manière générale, on retient que plus la granularité de codage est fine, et plus il faut réserver de bits pour représenter les combinaisons de débits possibles. Un compromis entre finesse d’allocation et information supplémentaire décrivant l’allocation binaire doit être opéré. Cette allocation est optimisée ici par le bloc 320 de la figure 3, qui est décrit plus loin. Il s’agit d’une caractéristique avantageuse en tant que telle et indépendante de la décomposition en vecteurs propres en vue d’établir une matrice de rotation au sens de l’invention. A ce titre, l’allocation de bits qu’opère le bloc 320 peut faire l’objet d’une protection séparée. En référence à la figure 3, le bloc 300 reçoit un signal d’entrée Y dans la trame courante d’indice t. L’indice n’est pas indiqué ici pour ne pas alourdir les notations. Il s’agit d’une matrice de taille n x L. Dans une réalisation adaptée en contexte ambisonique d’ordre 1, on a =4 canaux W, Y, Z, X (définis ainsi selon l’ordre ACN) qui peuvent être normalisés selon la convention SN3D. Dans une variante, l’ordre des canaux peut être alternativement par exemple W, X, Y, Z (en suivant la convention FuMA) et la normalisation peut être différente (N3D ou FuMa). Ainsi les canaux W, Y, Z, X correspondent aux lignes successives : Y1,l, Y2,l, Y3,l, Y4,l qui seront notées sous la forme de signaux unidimensionnels yi(l), l = 1,… , L. Il s’agit donc d’une succession d’échantillons de 1 à L occupant la trame t. On suppose que le signal (dans chaque canal) est échantillonné à 48 kHz, sans perte de généralité. La longueur de trame est fixée à 20 ms, soit L =960 échantillons successifs, sans perte de généralité. Dans des variantes on pourra par exemple utiliser une longueur de trames de L = 640 échantillons pour un échantillonnage à 32 kHz. L’analyse PCA/KLT et la transformation PCA/KLT qui sont décrites plus loin sont effectuées dans le domaine temporel. On comprend ainsi que l’on reste ici dans le domaine temporel sans besoin nécessairement d’opérer une transformée en sous-bandes ou plus généralement fréquentielle. A chaque trame, le bloc 300 du codeur applique un prétraitement (optionnel) pour obtenir le signal d’entrée prétraité noté Y. Il peut s’agir d’un filtrage passe-haut (de fréquence de coupure typiquement à 20Hz) de chaque nouvelle trame de 20 ms des canaux du signal d’entrée. Cette opération permet d’enlever la composante continue susceptible de biaiser l’estimation de la matrice de covariance de sorte qu’en sortie du bloc 300 le signal peut être considéré comme étant à moyenne nulle. La fonction de transfert est notée Hpre(Z), ainsi on a pour chaque canal : Xi(Z) = Hpre(Z)Yi(Z). Si le bloc 300 n’est pas mis en œuvre on a X = Y. On peut mettre en œuvre aussi un filtre passe-bas du bloc 340 pour effectuer le codage multi-mono mais lorsque le bloc 300 est mis en œuvre, le filtrage passe-haut en prétraitement du codage mono qui peut être utilisé dans le bloc 340 est de façon préférentielle désactivé pour éviter de répéter le même prétraitement et réduire ainsi la complexité globale. La fonction de transfert notée Hpre(Z) ci-dessus peut être du type :
Figure imgf000023_0003
en appliquant ce filtre à chacun des canaux du signal d’entrée dont les coefficients peuvent être tels que présentés dans le tableau ci-dessous :
Figure imgf000023_0004
En variante, on peut utiliser un autre type de filtre, par exemple un filtre de Butterworth d’ordre 6 avec une fréquence à 50 Hz.
Dans des variantes, le pré-traitement pourra inclure une étape de matriçage fixe qui pourra garder le même nombre de canaux ou réduire le nombre de canaux. Un exemple de matriçage appliqué aux quatre canaux d’un signal ambisonique en B-format est donné ci-dessous :
Figure imgf000023_0001
On notera que dans ce cas ce prétraitement devra être inversé au décodage en appliquant un matriçage par u signal décodé pour retrouver les canaux au format d’origine.
Figure imgf000023_0002
Le bloc suivant 310 estime à chaque trame t une matrice de transformation obtenue par détermination des vecteurs propres par PCA/KLT et vérification que la matrice de transformation que forment ces vecteurs propres caractérise bien une rotation. Des précisions quant à l’opération de bloc 310 sont données plus loin en référence à la figure 4. Cette matrice de transformation effectue un matriçage des canaux pour les dé-corréler permettant d’appliquer un codage indépendant de type multi-mono par le bloc 340. Comme détaillé plus loin, le bloc 310 transmet au multiplexeur des indices de quantification représentant la matrice de transformation et de façon optionnelle des informations codant le nombre d’interpolations de la matrice de transformation, par sous-trame de la trame courante t, comme détaillé plus loin également. Le bloc 320 détermine l’allocation de débit optimale pour chaque canal (après transformation PCA/KLT) en fonction d’un budget de bits B donné. Ce bloc cherche une répartition du débit entre canaux en calculant un score pour chaque combinaison possible de débits ; l’allocation optimale est trouvée en cherchant la combinaison maximisant ce score.
Plusieurs critères peuvent être utilisés pour définir un score pour chaque combinaison.
Par exemple, le nombre de débits possibles pour le codage mono d’un canal peut être limité aux neuf débits discrets du codec EVS ayant une bande audio super-élargie : 9,6 ; 13,2 ; 16,4 ; 24,4 ; 32 ; 48 ; 64 ; 96 et 128 kbit/s. Cependant si le codec selon l’invention fonctionne à un débit donné associé à un budget de B bits dans la trame courante d’indice t, en général seul un sous-ensemble de ces débits listés est utilisable. Par exemple si le débit du codec est fixé à 4x13,2 = 52,8 kbits/s pour représenter quatre canaux et si chaque canal reçoit un budget minimal de 9,6 kbit/s pour garantir une bande super-élargie pour chacun des canaux, les combinaisons possibles de débits pour le codage de canaux séparés doivent respecter la contrainte que le débit utilisé reste inférieur au débit disponible qui correspond à :
Bmultimono = B - Boverhead,
où Boverhead correspond au budget de bits pour l’information supplémentaire codée par trame (allocation binaire + données de rotation) comme décrit plus loin. Par exemple, Boverhead peut être de l’ordre de Boverhead = 55 bits par trame de 20 ms (soit 2,75 kbit/s) pour le cas d’un codage ambisonique à quatre canaux ; cela comprend 51 bits pour coder la matrice de rotation et 4 bits (comme décrit ci-desous) pour coder l’allocation des bits pour le codage des canaux séparés. Pour un débit global de 4x13.2 = 52,8 kbits/s, cela laisse donc un budget de Bmultimono=50.05 kbit/s. Cela donne en termes de débits par canal les permutations de débit par canal suivantes:
- Singleton (9.6, 9.6, 9.6, 9.6)– total = 38.4
- Permutations de (13.2, 9.6, 9.6, 9.6)– total = 42 kbit/s
- Permutations de (13.2, 13.2, 9.6, 9.6)– total = 45.6 kbit/s
- Permutations de (13.2, 13.2, 13.2, 9.6)– total = 49.2 kbit/s
- Permutations de (16.4, 9.6, 9.6, 9.6)– total = 45.2 kbit/s
- Permutations de (16.4, 13.2, 9.6, 9.6)– total = 48.8 kbit/s
On observe que certaines combinaisons respectant la limite de budget maximal ont un débit très inférieur aux autres, et finalement seules deux combinaisons pertinentes peuvent être retenues :
- Permutations de (13.2, 13.2, 13.2, 9.6)– 4 cas et débit non utilisé de 50.5 - 49.2 = 1.3 kbit/s - et Permutations de (16.4, 13.2, 9.6, 9.6)– 12 cas et débit non utilisé de 50.5– 48.8 = 1.7 kbit/s
Cela permet d’illustrer que seize combinaisons sont intéressantes en particulier et peuvent être codées sur 4 bits (16 valeurs). Par ailleurs un certain nombre de bits restent potentiellement inutilisés en fonction de l’allocation choisie. On observe que le codage du matriçage adaptatif basé sur un traitement PCA/KLT et en autorisant une allocation binaire flexible peut avoir pour effet des bits non utilisés et, pour certains canaux, un débit inférieur (par exemple 9,6 kbit/s) au débit également réparti entre chacun des canaux (par exemple 13,2 kbit/s par canal).
Pour améliorer cette situation, le bloc 320 peut alors évaluer toutes les combinaisons possibles (pertinentes) de débits pour les 4 canaux issus de la transformation PCA/KLT (en sortie du bloc 310) et leur attribuer un score. Ce score est calculé en se basant sur :
- l’énergie de chaque canal, et
- une note moyenne qui peut être pré-mémorisée et issue de tests subjectifs ou objectifs, laquelle note, notée MOS (pour « Mean Opinion Score », s’agissant d’une note moyenne sur un panel de testeurs), est associée au débit alloué.
Ce score peut alors être défini par l’équation
Figure imgf000025_0001
où Ei est l’énergie dans la trame courante (d’indice t) du signal s(l), l =⋯ . L - 1 sur le canal 1, avec :
Figure imgf000026_0001
L’allocation optimale peut être telle que :
Figure imgf000026_0002
En variante, le facteur Ei peut être fixé à la valeur que prend la valeur propre associée au canal 1 issue de la décomposition en valeurs propres du signal en entrée du bloc 310 et après permutation signée éventuelle. La note MOS Q(bi) est de façon préférentielle la note de qualité subjective du codec utilisé pour le codage multi-mono dans le bloc 340 pour un budget 0^ (en nombres de bits) par trame de 20 ms correspondant à un débit i = 50 bi (en bits/sec). On peut utiliser au départ les notes MOS subjectives (moyennes) d’un codeur normalisé EVS données par :
Figure imgf000026_0003
Alternativement, d'autres valeurs de notes MOS pour chacun des débits listés peuvent être issues d'autres tests (subjectifs ou objectifs) prédisant la qualité du codec. Il est aussi possible d’adapter les notes MOS utilisées dans la trame courante en fonction d’une classification du type de signal (par exemple un signal de parole sans bruit de fond, ou parole avec bruit ambiant, ou musique ou contenu mixte), en réutilisant des méthodes de classification que met en œuvre le codec EVS et en les appliquant au canal W du signal ambisonique en entrée avant d’effectuer l’allocation binaire. La note MOS peut aussi correspondre à une note moyenne issue de différents types de méthodologies et d’échelles de notation : MOS (absolu) de 1 à 5, DMOS (de 1 à 5), MUSHRA (de 0 à 100). Dans une variante où le codeur EVS est remplacé par un autre codec, la liste de débits 0^ et les notes Q(bi) peuvent être remplacées en fonction de cet autre codec. On peut également ajouter des débits supplémentaires de codage au codeur EVS et donc compléter la liste de débits et de notes MOS, ou encore modifier le codeur EVS et potentiellement les notes MOS associées. Alternativement encore, l’allocation entre les canaux est affinée en pondérant l’énergie par une puissance a où a prend une valeur entre 0 et 1. En faisant varier la valeur de a, on peut ainsi contrôler l’influence de l’énergie dans l’allocation : plus a est proche de 1 plus l’énergie a de l’importance dans le score, et donc plus l’allocation est inégale entre les canaux. A l’inverse, plus a est proche de 0 moins l’énergie a de l’importance et plus l’allocation est équi-répartie entre les canaux. Le score est donc exprimé sous la forme :
Figure imgf000027_0001
Alternativement encore, pour rendre l’allocation plus stable, une seconde pondération peut être ajoutée à la fonction de score pour pénaliser les changements de débits inter-trames. Une pénalité est ajoutée au score si la combinaison de débit n’est pas la même dans la trame ^ que dans la trame t - 1. Le score s’exprime alors sous la forme :
Figure imgf000027_0002
où bi a pour valeur une constante pré-déterminée (par exemple 0.1) quand bt,i ¹ bt-1,i etbi = 0 quand bt,i ¹ bt-1,i.
Cette pondération supplémentaire permet de limiter les fluctuations trop fréquentes de débit entre les canaux. Avec cette pondération, seuls les changements significatifs d'énergie entrainent un changement de débit. On peut en outre varier la valeur de la constante pour régler une stabilité de l’allocation. En référence à nouveau à la figure 3, une fois calculé le débit pour chaque trame, ce débit est codé par le bloc 330 par exemple de façon exhaustive pour toutes les combinaisons de débits. Dans le cas de 9 débits et 4 canaux, le débit nécessaire est de lo 2(94)] =13 bits, où . ] correspond à l’arrondi à l’entier supérieur. La combinaison des 4 débits peut être codée sous la forme de l’indice : Cependant on peut préférer énumérer (au départ, hors ligne)
Figure imgf000027_0003
les différentes combinaisons de débits pertinentes pour le budget de bits donné et utiliser le débit minimal pour représenter ces combinaisons. L’indice peut alors être représenté par un codage de type « code de la permutation » + « offset de la combinaison » ; par exemple dans l’exemple où on code sur un indice de 4 bits les 16 combinaisons de débit comprenant 4 permutations de (13.2, 13.2, 13.2, 9.6) et 12 permutations de (16.4, 13.2, 9.6, 9.6), on pourra utiliser les indices 0-3 pour coder les 4 premières permutations possibles (avec un offset à 0 et un code allant de 0 à 3) et les indices 4-15 pour coder les 12 autres permutations possibles (avec un offset à 4 et un code de 0 à 11). En référence à nouveau à la figure 3, le bloc de multiplexage 350 prend en entrée les canaux matricés venant du bloc 310 et les débits alloués à chaque canal venant du bloc 320 pour coder ensuite séparément les différents canaux avec un codec cœur qui correspond au codec EVS par exemple. Si le codec cœur utilisé permet un codage stéréo ou multicanal, l’approche multi-mono peut être remplacée par un codage multi-stéréo ou multicanal. Une fois les canaux codés, le train binaire associé est envoyé au multiplexeur (bloc 350).
Dans les trames où une partie du budget global n’est pas utilisé en totalité, le multiplexeur (bloc 350) peut ajouter des bits de bourrage à zéro pour atteindre le budget de bits alloué à la trame courante, soit ans des variantes, le budget de bits restant peut être
Figure imgf000028_0001
redistribué au codage des canaux transformés afin d’utiliser tout le budget disponible et si le codage multimono est basé sur une technologie de type EVS, on peut alors modifier l’algorithme de codage 3GPP EVS spécifié pour introduire des débits supplémentaires. Dans ce cas, il est également possible d’intégrer ces débits supplémentaires dans la table définissant la correspondance entre bi et Q(bi).
On peut en outre réserver un bit pour pouvoir commuter entre deux modes de codage :
- Codage selon l’invention avec codage de la matrice de rotation, et
- Codage selon l’invention avec une matrice de rotation restreinte à la matrice identité (donc non transmise) ce qui revient à un codage multi-mono direct si la matrice de rotation de la trame précédente était aussi une matrice identité (par exemple quand le signal ambisonique comprend des sources sonores très diffuses ou de multiples sources étalées spatialement autour de certaines directions privilégiées, auquel cas les canaux ambisoniques sont moins corrélés que pour des sons mélangeant des sources plus ponctuelles et isolées).
Le choix entre ces deux modes implique d’utiliser un bit dans le train pour indiquer si la trame courante utilise un matrice de rotation restreinte à la matrice identité sans transmission de paramètres de rotation (bit=0) ou si une matrice de rotation est codée (bit=1). Quand bit=0, on pourra dans des variantes utiliser une allocation des bits fixes aux canaux séparés et ne pas transmettre d’allocation binaire. On se réfère maintenant à la figure 4 pour décrire en détail le bloc 310 appliquant l’analyse et la transformation PCA/KLT. Dans ce bloc, le codeur calcule la matrice de covariance à partir des canaux ambisoniques (prétraités) dans le bloc 400 :
Figure imgf000029_0001
En variante, cette matrice peut être remplacée par la matrice de corrélation, où les canaux sont pré-normalisés par leur écart-type respectif, ou de façon générale des pondérations reflétant une importance relative peuvent être appliquées à chacun des canaux ; de plus le terme de normalisation 1/(L - 1) peut être omis ou remplacé par une autre valeur (par exemple 1/^) . Les valeurs Cij correspondent à la variance entre xi et xj. Le codeur effectue ensuite dans le bloc 410 une décomposition en valeurs propres (EVD pour « Eigenvalue Decomposition » en anglais), en calculant les valeurs propres et les vecteurs propres de la matrice C. Les vecteurs propres sont notés ici Vt pour indiquer l’indice de trame t car les vecteurs propres Vt - 1 obtenus dans la trame précédente d’indice t - 1 sont préférentiellement mémorisés et utilisés par la suite. Les valeurs propres sont notées l1 , l2 , …, ln . Dans une variante, une décomposition en valeurs singulière (SVD) des canaux prétraités X peut être utilisée. On obtient ainsi les vecteurs singuliers (à gauche U et droite V) et les valeurs singulières si. Dans ce cas on peut considérer que les valeurs propres l1 sont l2 =
Figure imgf000029_0002
et les vecteurs propres Vt sont donnés par les n vecteurs (colonne) singuliers à gauche U. Le codeur applique ensuite dans le bloc 420 une première permutation signée des colonnes de la matrice de transformation pour la trame t (dont les colonnes sont les vecteurs propres) afin d’éviter trop de disparité avec la matrice de transformation de la trame précédente t-1, ce qui engendreraient des problèmes de clics à la frontière avec la trame précédente.
Ainsi, une fois qu’un ébauche de la matrice de transformation est obtenue pour la trame t, le bloc 430 prend vecteurs propres estimés Vt = nt,0,… , nt,n de la trame courante d’indice t et vecteurs propres Vt - 1 mémorisés de la trame précédente d’indice t - 1, et applique une permutation signée sur les vecteurs estimés S^ pour qu’ils soient le plus proche possible de Vt - 1. Ainsi les vecteurs propres de la trame t sont permutés pour que la base associée soient la plus proches possibles de la base de la trame t - 1. Cela a pour effet d’améliorer la continuité des trames de signaux transformés (une fois la matrice de transformation appliquée aux canaux). Une autre contrainte est que la matrice de transformation doit correspondre à une rotation. Cette contrainte permet de garantir que le codeur puisse convertir la matrice de transformation en des angles d’Euler généralisés (bloc 430) pour les quantifier (bloc 440) avec un budget de bits prédéterminé comme vu précédemment. A cet effet, le déterminant de cette matrice doit être positif (égal à +1 typiquement). Préférentiellement, la permutation signée optimale est obtenue en deux étapes :
- La première étape (S4 sur la figure 2 précédemment présentée) fait correspondre les vecteurs les plus proches entre deux trames en se souciant uniquement de l’axe et non de la direction (du sens) de l’axe. Ce problème peut être formulé comme un problème combinatoire d'affectation de tâches, où l'objectif est de trouver la configuration qui minimise un coût. Le coût peut être défini ici comme la trace de la valeur absolue de l’inter-corrélation entre les matrices de vecteurs propres des trames t et t - 1.
Ct = tr(abs(corrt(t Vt - 1 )))
ou tr(.) désigne la trace d’une matrice, abs(.) revient à appliquer l’opération de valeur absolue à tous les coefficients d’une matrice et corr(V1,V2) donne la matrice de corrélation entre les vecteurs V1 et V2.
Dans un mode de réalisation la méthode « hongroise » (ou « algorithme hongrois ») sert à déterminer l’assignation optimale qui donne une permutation des vecteurs propres de la trame t ;
- La seconde étape (S6 sur la figure 2) consiste à déterminer la direction/sens de chaque vecteur propre permuté. Le bloc 420 calcule l’inter-corrélation entre les vecteurs propres permutés Sa de la trame t et le vecteur propre de la trame t - 1
Figure imgf000030_0001
Si une valeur sur la diagonale de la matrice d’inter-corrélation es
Figure imgf000030_0003
t négative, cela dénote un changement de signe entre les directions de vecteurs propres. Une inversion de signe est alors opérée sur le vecteur propre correspondant dans
Figure imgf000030_0002
A l’issue des deux étapes la matrice de transformation à la trame t est désignée par Vt de sorte qu’à la trame suivante la matrice mémorisée devienne Vt - 1. Dans une variante, la recherche de la permutation signée optimale peut se faire en calculant la matrice de passage
Figure imgf000031_0001
est convertie en 3D ou 4D et en convertissant cette matrice de passage respectivement en un quaternion unitaire ou deux quaternions unitaires. La recherche devient alors une recherche du plus proche voisin avec un dictionnaire représentant l’ensemble des permutations signées possibles. Par exemple dans le cas 4D les douze permutations paires possibles (sur 24 permutations totales) de 4 valeurs sont associées aux doubles quaternions unitaires suivants écrits comme des vecteurs 4D:
• (1, 0, 0, 0) et (1, 0, 0, 0)
• (0, 0, 0, 1) et (0, 0, -1, 0)
• (0, 1, 0, 0) et (0, 0, 0, -1)
• (0, 0, 1, 0) et (0, -1, 0, 0)]
• (0.5, -0.5, -0.5, -0.5) et (0.5, 0.5, 0.5, 0.5)
• (0.5, 0.5, 0.5, 0.5) et (0.5, -0.5, -0.5, -0.5)
• (0.5, -0.5, 0.5, -0.5) et (0.5, -0.5, 0.5, 0.5)
• (0.5, -0.5, 0.5, 0.5) et (0.5, -0.5, -0.5, 0.5)
• (0.5, 0.5, -0.5, 0.5) et (0.5, 0.5, -0.5, -0.5)
• (0.5, -0.5, -0.5, 0.5) et (0.5, 0.5, -0.5, 0.5)
• (0.5, 0.5, -0.5, -0.5) et (0.5, 0.5, 0.5, -0.5)
• (0.5, 0.5, 0.5, -0.5) et (0.5, -0.5, 0.5, -0.5)
La recherche de la permutation (paire) optimale peut se faire en utilisant la liste ci-dessus comme un dictionnaire de double quaternion prédéfini et en effectuant une recherche du plus proche voisin par rapport au double quaternion associé à la matrice de passage. Un avantage de cette méthode est de réutiliser les paramètres de rotation de type quaternion et double quaternion. L’opération qui est mise en œuvre dans le bloc suivant 460 suppose que la matrice de transformation après permutation signée est bien une matrice de rotation ; la matrice de transformation est forcément unitaire, mais il faut également que son déterminant soit égal à 1 det(Vt) = 1 Or la matrice de transformation issue des blocs 410 et 420 (après EVD et permutations signées) est une matrice orthogonale (unitaire) pouvant avoir un déterminant à -1 ou 1, c’est- à-dire une matrice de réflexion ou de rotation. Si la matrice de transformation est une matrice de réflexion (si son déterminant est égal à -1), elle peut être modifiée en une matrice de rotation en inversant un vecteur propre (par exemple le vecteur propre associé à la plus faible valeur) ou en intervertissant deux colonnes (vecteurs propres).
Certaines méthodes de décomposition en valeurs propres (par exemple par rotation de Givens) ou de décomposition en valeurs singulières peuvent conduire à des matrices de transformation qui sont intrinsèquement des matrices de rotation (avec un déterminant à +1) ; dans ce cas, l’étape de vérification que le déterminant est +1 sera optionnelle. Le bloc 430 convertit la matrice de rotation en paramètres. Dans le mode de réalisation privilégié, on utilise une représentation angulaire pour la quantification (6 angles d’Euler généralisés pour le cas 4D, 3 angles d’Euler pour le cas 3D, et un angle en 2D). Pour le cas ambisonique (quatre canaux) on obtient six angles d’Euler généralisés selon la méthode décrite dans l’article « Generalization of Euler Angles to N-Dimensional Orthogonal Matrices » de David K. Hoffman, Richard C. Raffenetti, and Klaus Ruedenberg, paru dans Journal of Mathematical Physics 13, 528 (1972); pour le cas de l’ambisonique planaire (trois canaux) on obtient trois angles d’Euler et pour le cas stéréo on obtient un angle de rotation selon les méthodes bien connues de l’état de l’art. Les valeurs des angles sont quantifiées dans le bloc 440 avec budget prédéterminé de bits. Dans le mode de réalisation privilégié une quantification scalaire est utilisée et le pas de quantification est par exemple identique pour chaque angle. Par exemple dans le cas de 4 canaux, on code 6 angles d’Euler généralisés avec 3x(8+9)=51 bits (3 angles définis sur un intervalle de cod
Figure imgf000032_0001
és sur 8 bits avec un pas de et les 3 autres angles définis sur intervalle de cod és sur 9 bits avec un avec
Figure imgf000032_0002
un pas de pi/256). Les indices de quantification de la matrice de transformation sont envoyés au multiplexeur (bloc 350). De plus, le bloc 440 pourra convertir les paramètres quantifiés en une matrice de rotation quantifiée
Figure imgf000032_0003
les paramètres utilisés pour la quantification ne correspondent pas aux paramètres utilisés pour l’interpolation. En variante, les blocs 430 et 440 peuvent être remplacés comme suit : - Le bloc 430 peut effectuer une conversion des matrices de rotations en un double quaternion unitaire (cas de 4 canaux), en quaternion unitaire (cas de 3 canaux) et en un angle (cas de 2 canaux). Cette conversion en double quaternion pour le cas 4D pourra être réalisée pour une matrice de rotation dont les coefficients sont notés R[i,j], i,j=0…3, par le pseudo-code suivante :
Calcul de la matrice associée A[i,j] avec :
A[0,0] = R[0,0] + R[1,1] + R[2,2] + R[3,3]
A[1,0] = R[1,0] - R[0,1] + R[3,2] - R[2,3]
A[2,0] = R[2,0] - R[3,1] - R[0,2] + R[1,3]
A[3,0] = R[3,0] + R[2,1] - R[1,2] - R[0,3]
A[0,1] = R[1,0] - R[0,1] - R[3,2] + R[2,3]
A[1,1] = -R[0,0] - R[1,1] + R[2,2] + R[3,3]
A[2,1] = -R[3,0]– R[2,1] - R[1,2] - R[0,3]
A[3,1] = R[2,0] - R[3,1] + R[0,2] - R[1,3]
A[0,2] = R[2,0] + R[3,1] - R[0,2] - R[1,3]
A[1,2] = R[3,0] - R[2,1] - R[1,2] + R[0,3]
A[2,2] = -R[0,0] + R[1,1] - R[2,2] + R[3,3]
A[3,2] = -R[1,0] - R[0,1] - R[3,2] - R[2,3]
A[0,3] = R[3,0] - R[2,1] + R[1,2] - R[0,3]
A[1,3] = -R[2,0] - R[3,1] - R[0,2] - R[1,3]
A[2,3] = R[1,0] + R[0,1] - R[3,2] - R[2,3]
A[3,3] = -R[0,0] + R[1,1] + R[2,2] - R[3,3]
A=A/4
Calcul des 2 quaternions à partir de la matrice associée
A2 = square(A) # carré de coefficients
q1 = sqrt(A2.sum(axis=1)) # somme sur le lignes
q2= sqrt(A2.sum(axis=0)) # somme sur les colonnes
Détermination des signes
Pour k=0..3 : Si sign(A[i,k])<0, Alors q2[k] = -q2[k]
Pour k=0..3 : Si sign(A[k,j])!=sign(q1[k]*q2[j]), Alors q1[k] = -q1[k]
La conversion en quaternion pour le cas 3D peut être réalisée comme suit pour une matrice R[i,j] i,j=0…2 de taille 3x3:
Calcul de la matrice associée simplifiée :
q[0]=(R[0,0]+R[1,1]+R[2,2]+1)^2 + (R[2,1]-R[1,2])^2 + (R[0,2]-R[2,0])^2 + (R[1,0]- R[0,1])^2
q[1]=(R[2,1]-R[1,2])^2 + (R[0,0]-R[1,1]-R[2,2]+1)^2 + (R[1,0]+R[0,1])^2 + (R[2,0]+R[0,2])^2 q[2]=(R[0,2]-R[2,0])^2 + (R[1,0]+R[0,1])^2 + (R[1,1]-R[0,0]-R[2,2]+1)^2 + (R[2,1]+R[1,2])^2
q[3]=(R[1,0]-R[0,1])^2 + (R[2,0]+R[0,2])^2 + (R[2,1]+R[1,2])^2 + (R[2,2]-R[0,0]- R[1,1]+1)^2
Pour i=0..3 : q[i] = sqrt(q[i])/4
Calcul du quaternion q
Si (R[2,1]-R[1,2])<0, q[1]=-q[1]
Si (R[0,2]-R[2,0])<0, q[2]=-q[2]
Si (R[1,0]-R[0,1])<0, q[3]=-q[3]
Le calcul de l’angle pour le cas d’une matrice 2x2 se fait selon les méthodes de l’état de l’art déjà connue.
Dans des variantes on pourra convertir les quaternions unitaires q1, q2 (cas 4D) et q (cas 3D) en des représentations axe-angle connues de l’état de l’art. - Le bloc 440 peut réaliser une quantification dans le domaine indiqué :
* Cas de 4 canaux : la paire de quaternions unitaires 8^ et 8# est quantifiée par un dictionnaire de quantification sphérique en dimension 4 ; par convention on quantifie 8^ avec un dictionnaire hémisphérique (car 8^ et -8^ correspondent à une même rotation 3D) et 8# est quantifié avec un dictionnaire sphérique. Des exemples de dictionnaires peuvent être donnés par des points prédéfinis à partir de polyèdres de dimension 4 ; dans des variantes on pourra quantifier une double représentation axe-angle associés qui serait équivalente au double quaternion ;
* Cas de 3 canaux : le quaternion unitaire est quantifié par un dictionnaire de quantification sphérique en dimension 4 - des exemples de dictionnaires peuvent être donnés par des points prédéfinis à partir de polyèdres de dimension 4 ;
* Cas de 2 canaux : l’angle est quantifié par quantification scalaire uniforme. On décrit maintenant le bloc 460 d’interpolation des matrices de rotation entre deux trames successives. Il permet de lisser les discontinuités des canaux après l’application de ces matrices. Typiquement, si deux jeux d’angles ou de quaternions sont trop différents d’une trame précédente t-1 à la suivante t, des clics audibles sont à craindre s’il n’a pas été pratiqué entre ces deux trames une transition lissée dans des sous-trames entre ces deux trames. On réalise alors une interpolation de passage entre la matrice de rotation calculée pour la trame t-1 et la matrice de rotation calculée pour la trame t. Le codeur interpole dans le bloc 460 la représentation (quantifiée) de la rotation entre la trame courante et de la trame précédente pour éviter des fluctuations trop rapides des différents canaux après transformation. Le nombre d’interpolations peut être fixe (égal à une valeur prédéterminée) ou adaptatif. Chaque trame est alors divisée en sous-trames en fonction du nombre d’interpolations déterminé dans le bloc 450. Ainsi, si une interpolation adaptative est utilisée, le bloc 450 peut coder sur un nombre de bits choisi le nombre d’interpolations à effectuer, et donc le nombre de sous- trames à prévoir, dans le cas où ce nombre est déterminé de façon adaptative ; dans le cas d’une interpolation fixe, aucune information n’est à coder. Ensuite, le bloc 460 convertit les matrices de rotation dans un domaine spécifique représentant une matrice de rotations. La trame est découpée en sous-trames, et dans le domaine choisi l’interpolation est effectuée pour chaque sous-trame.
Pour un signal d’entrée ambisonique d’ordre 1 (à 4 canaux W, X, Y, Z), dans le bloc 460, le codeur reconstruit à partir des 6 angles d’Euler quantifiés une matrice de rotation 4D quantifiée et celle-ci est ensuite convertie en deux quaternions unitaires à des fins d’interpolation. Dans une variante où l’entrée du codeur est un signal ambisonique planaire (3 canaux W, X, Y), dans le bloc 460 le codeur reconstruit à partir des 3 angles d’Euler quantifiés une matrice de rotation 3D quantifiée et celle-ci est ensuite convertie en un quaternion unitaire à des fins d’interpolation. Dans une variante où l’entrée du codeur est un signal stéréo, le codeur utilise dans le bloc 460 la représentation de la rotation 2D quantifiée avec un angle de rotation.
Dans le mode de réalisation avec 4 canaux, pour l’interpolation de la matrice de rotation entre la trame t et la trame t - 1, la matrice de rotation calculée pour la trame ^ est factorisée en 2 quaternions (un double quaternion) grâce a la factorisation de Cayley et on utilise le double quaternion mémorisé pour la trame précédente t-1 et noté (QL,t-1, QR,t-1). Pour chaque sous-trame, on interpole dans chaque sous-trame les quaternions deux à deux. Pour le quaternion gauche (QL,t), le bloc détermine le plus court chemin entre les deux possible (QL,t ou -QL,t). Selon les cas, on inverse le signe du quaternion de la trame courante. Puis l’interpolation est calculée pour le quaternion gauche avec l’interpolation sphérique linéaire (SLERP) :
Figure imgf000035_0001
où a correspond au facteur d’interpolation (a=1/K, 2/K, ...1) et WL =arccos(QL,t-1∙QL,t) Pour le quaternion droit (QR,t), s’il y a eu une inversion pour le quaternion gauche alors il faut respecter la parité et forcer le signe du quaternion droit. Cette contrainte de signe est appelée ci-après « contrainte de plus court chemin conjoint ». Puis l’interpolation est calculée de manière similaire au quaternion gauche : ^
Figure imgf000036_0001
où a correspond au facteur d’
Figure imgf000036_0002
Une fois l’interpolation calculée pour les deux quaternions, on calcule la matrice de rotation de dimension 4x4 (respectivement 3x3 pour l’ambisonique planaire ou 2x2 pour le cas stéréo).
Cette conversion en matrice de rotation peut être effectuée selon les pseudo-codes suivants : Cas 4D : pour un double quaternion
- Comme décrit précédemment on calcule les matrices de quaternion et antiquaternion et on calcule le produit matriciel.
Cas 3D : pour quaternion q=(w,x,y,z) on obtient la matrice M[i,j], i,j=0…2, de taille 3x3
xy=2*x*y
xz=2*x*z
yz=2*y*z
wx=2*w*x
wy=2*w*y
wz=2*w*z
xx=2*x*x
yy=2*y*y
zz=2*z*z
M[0][0] = 1-(yy+zz)
M[0][1] = (xy-wz)
M[0][2] = (xz+wy)
M[1][0] = (xy+wz)
M[1][1] = 1-(xx+zz)
M[1][2] = (yz-wx)
M[2][0] = (xz-wy) M[2][1] = (yz+wx)
M[2][2] = 1-(xx+yy); Enfin, les matrices S ou leurs transposées) calculées par sous-trame dans le bloc
Figure imgf000037_0001
460 d’interpolation sont ensuite utilisées dans le bloc 470 de transformation qui produit canaux transformés par application des matrices de rotation ainsi trouvées, aux canaux ambisoniques qui ont été prétraités par le bloc 300. On revient ci-après sur le nombre K de sous-trames à déterminer dans le bloc 450 pour le cas où ce nombre est adaptatif. Il est mesuré l’écart final entre la trame courante et la trame précédente ou directement à partir de la différence angulaire des paramètres décrivant la matrice de rotation. On cherche dans ce dernier cas à faire en sorte que la variation angulaire entre sous-trames successives ne soit pas perceptible. La réalisation d’un nombre de sous- trames adaptatif est surtout avantageuse pour réduire la complexité moyenne du codec mais s’il est choisi de réduire la complexité on peut préférer utiliser une interpolation avec un nombre fixe de sous-trames. L’écart final entre la matrice de rotation corrigée de la trame t et la matrice de rotation de la trame t - 1 donne une mesure de l’importance de la différence de matriçage des canaux entre les deux trames. Plus cet écart est important et plus le nombre de sous-trames pour l’interpolation faite dans le bloc 460 est élevé. On utilise la somme de la valeur absolue de la matrice d’inter-corrélation entre la matrice de transformation de la trame courante et la trame précédente, comme suit, pour mesurer cet écart :
Figure imgf000037_0002
où In est la matrice identité, Vt les vecteurs propres à la trame d’indice t, et‖M‖ une norme de la matrice M qui correspond ici à la somme des valeurs absolues de tous les coefficients. D’autres normes matricielles peuvent être utilisées (par exemple la norme de Frobenius). Dans le cas où les deux matrices sont identiques alors cet écart est égal à 0. Plus les matrices sont dissimilaires, plus la valeur de l’écart dt est élevée. Des seuils prédéterminés peuvent être appliqués à dt, à chaque seuil est associé un nombre prédéfini d’interpolations par exemple selon la logique de décision suivante : Seuils : {4.0, 5.0, 6.0, 7.0}
Nombre K des sous-trames pour interpolation : {10, 48, 96, 192}
Ainsi seuls deux bits peuvent suffire à coder les quatre valeurs possibles donnant le nombre de subdivisions (sous-trames).
Le nombre K d’interpolations déterminé par le bloc 450 est ensuite envoyé au module d’interpolation 460 et dans le cas adaptatif le nombre de sous-trames est codé sous la forme d’un indice binaire qui est envoyé au multiplexeur (bloc 350). La réalisation de l’interpolation permet d’appliquer in fine une optimisation de la décorrélation des canaux d’entrée avant codage multi-mono. En effet, les matrices de rotation calculées respectivement pour une trame précédente t-1 et une trame courante t peuvent être très différentes du fait de cette recherche de décorrélation, mais l’interpolation permet néanmoins de lisser cette différence.
L’interpolation utilisée nécessite un coût de calcul limité pour le codeur et le décodeur puisqu’elle est réalisée dans un domaine spécifique (angle en 2D, quaternion en 3D, double quaternion en 4D). Cette approche est plus avantageuse que d’interpoler des matrices de covariance calculées pour l’analyse PCA/KLT et de répéter plusieurs fois par trame une décomposition en valeurs propres type EVD (pour « EigenValue Decomposition »). Le bloc 470 effectue ensuite le matriçage des canaux ambisoniques par sous-trame à l’aide des matrices de transformation calculées dans le bloc 460. Ce matriçage revient à calculer par sous-trame
Figure imgf000038_0001
correspond aux sous-blocs de taille n x (L/K) pour a=1/K, 2/K, ... 1. Le signal contenu dans ces canaux est ensuite envoyé au bloc 340 pour l’encodage multi-monos. On se réfère maintenant à la figure 5 pour décrire un décodeur dans un exemple de réalisation de l’invention.
Après démultiplexage du train binaire pour la trame courante t par le bloc 500, l’information d'allocation est décodée (bloc 510) ce qui permet de dé-multiplexer et de décoder (bloc 520) le(s) train(s) binaire(s) reçu(s) pour chacun des canaux transformés.
Le bloc 520 fait appel à plusieurs instances exécutées séparément du décodage cœur. Le décodage cœur peut être de type EVS éventuellement modifié pour améliorer ses performances. Selon une approche multi-mono, chaque canal est décodé séparément. Si le codage précédemment utilisé est un codage stéréo ou multicanal, l’approche multi-mono peut être remplacée par un multi-stéréo ou multicanal pour le décodage. Les canaux ainsi décodés sont envoyés au bloc 530 qui décode la matrice de rotation pour la trame courante et de façon optionnelle le nombre K de sous-trames à utiliser pour l’interpolation (si l’interpolation est adaptative). Pour chaque matrice, le bloc d’interpolation 460 découpe la trame en sous-trames dont le nombre K peut être lu dans le flux codé par le bloc 610 (figure 6) et interpole les matrices de rotation, le but étant de retrouver– en l’absence d’erreurs de transmission - les mêmes matrices que dans le bloc 460 du codeur pour pouvoir inverser la transformation qui a été précédemment faite dans le bloc 470. Le bloc 530 effectue le matriçage inversant celui du bloc 470 pour reconstruire un signal décodé, comme détaillé ci-après en référence à la figure 6. Ce matriçage revient à calculer par sous-trame rrespond aux sous-blocs successifs de taille n x
Figure imgf000039_0001
(L/K) pour a=1/K, 2/K, ...1.
Le bloc 530 effectue globalement le décodage et de la synthèse PCA/KLT inverse qui a été effectué par le bloc 310 de la figure 3. Les indices de quantification des paramètres de quantification de la rotation dans la trame courante sont décodés dans le bloc 600. Une quantification scalaire peut être utilisée et le pas de quantification est identique pour chaque angle. Dans le cas adaptatif le nombre de sous-trames d’interpolation est décodé (bloc 610) pour retrouver le nombre K de sous-trames parmi l’ensemble {10, 48, 96, 192} ; dans des variantes où la longueur de trames L est différente, cet ensemble de valeurs pourra être adapté. L’interpolation du décodeur est identique à celle effectuée à l’encodeur (bloc 460). Le bloc 620 effectue le matriçage inverse des canaux ambisoniques par sous-trame à l’aide des inverses (les transposées en pratique) des matrices de transformation calculées dans le bloc 460. Ainsi, l’invention utilise une toute autre approche que le codec MPEG-H à addition/recouvrement en se basant sur une représentation spécifique des matrices de transformation qui sont restreintes à des matrices de rotation d’une trame à l’autre, dans le domaine temporel, permettant notamment une interpolation des matrices de transformation, avec une mise en correspondance qui assure une cohérence en direction (y compris en prenant en compte le sens par le signe). L’approche générale de l’invention est un codage de sons ambisoniques dans le domaine temporel par PCA avec notamment des matrices de transformation PCA forcées à être des matrices de rotations et interpolées par sous-trames de façon optimisée (en particulier dans le domaine des quaternions/doubles quaternions) pour améliorer la qualité. Le pas d’interpolation est soit fixe, soit adaptatif en fonction d’un critère d’écart entre une matrice d’inter-corrélation et une matrice de référence (identité) ou entre matrices à interpoler. La quantification des matrices de rotation peut être mise en œuvre dans le domaine des angles d’Euler généralisés. Cependant il peut être choisi préférentiellement de quantifier les matrices de dimension 3 et 4 dans le domaine des quaternions et doubles quaternions (respectivement), ce qui permet de rester dans le même domaine pour la quantification et l’interpolation.
En outre, un alignement des vecteurs propres est utilisé pour éviter les problèmes de clics et d’inversion de canaux, d’une trame à l’autre. Bien entendu, la présente invention ne se limite pas aux formes de réalisation décrites ci-avant à titre d’exemple et s’étend à d’autres variantes. Ainsi, la description précédente a traité les cas de quatre canaux.
Néanmoins, dans des variantes, on peut également coder un nombre de canaux supérieur à quatre. La mise en œuvre reste identique (en termes de blocs fonctionnels) au cas n=4, mais l’interpolation par double quaternion est remplacée par la méthode générale ci-après.
Les matrices de transformation aux trames t - 1 et ^ sont notées Vt - 1 et Vt. L’interpolation peut être effectuée avec un facteur a entre Vt - 1 et Vt tel que :
Figure imgf000040_0001
Le terme peut se calculer directement par décomposition en valeurs propres de En effet, si
On notera également que cette variante pourrait aussi remplacer l’interpolation par double quaternion unitaire (cas 4D), quaternion unitaire (cas 3D) ou angle, cependant elle serait moins avantageuse car elle nécessiterait une étape de diagonalisation supplémentaire et des calculs de puissance, alors que le mode de réalisation décrit précédemment est plus efficace pour ces cas de 2, 3 ou 4 canaux.

Claims

REVENDICATIONS
1. Procédé de codage en compression de signaux sonores formant une succession dans le temps de trames (t-1, t) d’échantillons, dans chacun de N canaux en représentation ambisonique d’ordre supérieur à 0, le procédé comportant :
- former, à partir des canaux pour une trame courante (t), une matrice de covariance entre canaux et rechercher des vecteurs propres de la matrice de covariance pour obtenir une matrice de vecteurs propres,
- tester la matrice de vecteurs propres pour vérifier qu’elle représente une rotation dans un espace de dimension N et corriger sinon la matrice de vecteurs propres jusqu’à obtenir une matrice de rotation, pour la trame courante (t), et
- appliquer ladite matrice de rotation aux signaux des N canaux avant un encodage par canaux séparés desdits signaux.
2. Procédé selon la revendication 1, comportant en outre :
- comparer la matrice de vecteurs propres obtenue pour la trame courante (t) à une matrice de rotation obtenue pour une trame (t-1) précédant la trame courante (t), et
- permuter des colonnes de la matrice de vecteurs propres de la trame courante (t) pour assurer une cohérence avec la matrice de rotation de la trame précédente (t-1).
3. Procédé selon la revendication 2, dans lequel ladite permutation des colonnes permet d’assurer une cohérence d’axes des vecteurs, et le procédé comporte en outre :
- vérifier, pour chaque vecteur propre de la trame courante (t), une cohérence de direction avec un vecteur-colonne de position correspondante de la matrice de rotation de la trame précédente (t-1), et
- en cas d’incohérence, inverser le signe des éléments de ce vecteur propre dans la matrice de vecteurs propres de la trame courante (t).
4. Procédé selon l’une des revendications précédentes, comportant en outre :
- une estimation d’écart entre la matrice de rotation obtenue pour la trame courante (t) et une matrice de rotation obtenue pour une trame (t-1) précédant la trame courante,
- en fonction de l’écart estimé, déterminer si au moins une interpolation est à opérer entre la matrice de rotation de la trame courante (t) et la matrice de rotation de la trame précédente (t-1).
5. Procédé selon la revendication 4, dans lequel :
- en fonction de l’écart estimé, il est déterminé un nombre d’interpolations à opérer entre la matrice de rotation de la trame courante (t) et la matrice de rotation de la trame précédente (t-1),
- la trame courante est découpée en un nombre de sous-trames correspondant au nombre d’interpolations à opérer, et
- au moins ce nombre d’interpolations est codé en vue d’une transmission via un réseau.
6. Procédé selon l'une des revendications précédentes, dans lequel une permutation entre colonnes de la matrice de vecteurs propres inversant le signe d’un déterminant de la matrice de vecteurs propres et le déterminant d’une matrice de rotation étant égal à 1,
si le déterminant de la matrice de vecteurs propres est égal à -1, on inverse les signes des éléments d’une colonne choisie de la matrice de vecteurs propres, pour que le déterminant soit égal à 1 et former ainsi une matrice de rotation.
7. Procédé selon l'une des revendications précédentes, dans lequel la représentation ambisonique est d’ordre 1 et le nombre N de canaux est quatre, et dans lequel la matrice de rotation de la trame courante est représentée par deux quaternions.
8. Procédé selon la revendication 7, prise en combinaison avec la revendication 6, dans lequel chaque interpolation pour une sous-trame courante est une interpolation sphérique linéaire (SLERP), menée en fonction de l’interpolation de la sous-trame précédant la sous-trame courante et à partir des quaternions de la sous-trame précédente.
9. Procédé selon la revendication 8, dans lequel l’interpolation sphérique linéaire de la sous- trame courante est menée pour obtenir les quaternions de la sous-trame courante comme suit : ^ ^
Figure imgf000042_0001
Où :
QL,t-1 est l’un des quaternions de la sous-trame précédente t-1,
QR,t-1 est l’autre des quaternions de la sous-trame précédente t-1,
QL,t est l’un des quaternions de la sous-trame courante t, QR,t est l’autre des quaternions de la sous-trame courante t,
WL =^Arccos QL,t-1 ∙QL,t ; WR = Arccos (QR
Figure imgf000043_0001
,t-1 ∙QR,t)
et a correspond à un facteur d’interpolation.
10. Procédé selon l'une des revendications précédentes, dans lequel la recherche des vecteurs propres est effectuée par analyse en composantes principales (PCA), ou par transformée de Karhunen Loeve (KLT), dans le domaine temporel.
11. Procédé selon l'une des revendications précédentes, dans lequel une étape préalable de prévision de budget d’allocation de bits par canal ambisonique est mise en œuvre et comporte :
- pour chaque canal ambisonique, une estimation d’énergie acoustique courante dans le canal, - la sélection dans une mémoire d’un score prédéterminé, de qualité (MOS), fonction de ce canal ambisonique et d’un débit courant dans le réseau,
- l’estimation d’une pondération à opérer pour l’allocation de bits à ce canal, par multiplication du score sélectionné à l’énergie estimée.
12. Procédé de décodage de signaux sonores formant une succession dans le temps de trames (t-1, t) d’échantillons, dans chacun de N canaux en représentation ambisonique d’ordre supérieur à 0, le procédé comportant:
- recevoir, pour une trame courante (t), en plus des signaux des N canaux de cette trame courante, des paramètres d’une matrice de rotation,
- construire une matrice de rotation inverse à partir desdits paramètres,
- appliquer ladite matrice de rotation inverse à des signaux issus des N canaux reçus, avant un décodage par canaux séparés desdits signaux.
13. Dispositif de codage comportant un circuit de traitement pour la mise en œuvre du procédé selon l’une des revendications 1 à 11.
14. Dispositif de décodage comportant un circuit de traitement pour la mise en œuvre du procédé selon la revendication 12.
15. Programme informatique comportant des instructions pour la mise en œuvre du procédé selon l’une des revendications 1 à 12, lorsque lesdites instructions sont exécutées par un processeur d’un circuit de traitement.
PCT/EP2020/053264 2019-03-05 2020-02-10 Codage audio spatialisé avec interpolation et quantification de rotations WO2020177981A1 (fr)

Priority Applications (8)

Application Number Priority Date Filing Date Title
US17/436,390 US11922959B2 (en) 2019-03-05 2020-02-10 Spatialized audio coding with interpolation and quantization of rotations
CN202080031569.8A CN113728382A (zh) 2019-03-05 2020-02-10 利用旋转的插值和量化进行空间化音频编解码
EP20703048.7A EP3935629A1 (fr) 2019-03-05 2020-02-10 Codage audio spatialisé avec interpolation et quantification de rotations
BR112021017511A BR112021017511A2 (pt) 2019-03-05 2020-02-10 Codificação de áudio espacializada com interpolação e quantização de rotações
JP2021552656A JP7419388B2 (ja) 2019-03-05 2020-02-10 回転の補間と量子化による空間化オーディオコーディング
KR1020217031995A KR20210137114A (ko) 2019-03-05 2020-02-10 회전들의 보간 및 양자화를 통한 공간화된 오디오 코딩
ZA2021/06465A ZA202106465B (en) 2019-03-05 2021-09-03 Spatialized audio coding with interpolation and quantification of rotations
JP2024001364A JP2024024095A (ja) 2019-03-05 2024-01-09 回転の補間と量子化による空間化オーディオコーディング

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19305254.5A EP3706119A1 (fr) 2019-03-05 2019-03-05 Codage audio spatialisé avec interpolation et quantification de rotations
EP19305254.5 2019-03-05

Publications (1)

Publication Number Publication Date
WO2020177981A1 true WO2020177981A1 (fr) 2020-09-10

Family

ID=65991736

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/053264 WO2020177981A1 (fr) 2019-03-05 2020-02-10 Codage audio spatialisé avec interpolation et quantification de rotations

Country Status (8)

Country Link
US (1) US11922959B2 (fr)
EP (2) EP3706119A1 (fr)
JP (2) JP7419388B2 (fr)
KR (1) KR20210137114A (fr)
CN (1) CN113728382A (fr)
BR (1) BR112021017511A2 (fr)
WO (1) WO2020177981A1 (fr)
ZA (1) ZA202106465B (fr)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022120011A1 (fr) * 2020-12-02 2022-06-09 Dolby Laboratories Licensing Corporation Rotation de composantes sonores pour schémas de codage dépendant de l'orientation
FR3118266A1 (fr) 2020-12-22 2022-06-24 Orange Codage optimisé de matrices de rotations pour le codage d’un signal audio multicanal
WO2022262576A1 (fr) * 2021-06-18 2022-12-22 华为技术有限公司 Procédé et appareil de codage de signal audio tridimensionnel, codeur et système
EP4120255A1 (fr) 2021-07-15 2023-01-18 Orange Quantification vectorielle spherique optimisee
FR3136099A1 (fr) 2022-05-30 2023-12-01 Orange Codage audio spatialisé avec adaptation d’un traitement de décorrélation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160155448A1 (en) * 2013-07-05 2016-06-02 Dolby International Ab Enhanced sound field coding using parametric component generation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101450940B1 (ko) 2007-09-19 2014-10-15 텔레폰악티에볼라겟엘엠에릭슨(펍) 멀티채널 오디오의 조인트 인핸스먼트
CN102656628B (zh) * 2009-10-15 2014-08-13 法国电信公司 优化的低吞吐量参数编码/解码
US9854377B2 (en) * 2013-05-29 2017-12-26 Qualcomm Incorporated Interpolation for decomposed representations of a sound field
CN104282309A (zh) 2013-07-05 2015-01-14 杜比实验室特许公司 丢包掩蔽装置和方法以及音频处理系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160155448A1 (en) * 2013-07-05 2016-06-02 Dolby International Ab Enhanced sound field coding using parametric component generation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ROUMEN KOUNTCHEV ET AL: "New method for adaptive karhunen-loeve color transform", TELECOMMUNICATION IN MODERN SATELLITE, CABLE, AND BROADCASTING SERVICES, 2009. TELSIKS '09. 9TH INTERNATIONAL CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 7 October 2009 (2009-10-07), pages 209 - 216, XP031573422, ISBN: 978-1-4244-4382-6 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022120011A1 (fr) * 2020-12-02 2022-06-09 Dolby Laboratories Licensing Corporation Rotation de composantes sonores pour schémas de codage dépendant de l'orientation
FR3118266A1 (fr) 2020-12-22 2022-06-24 Orange Codage optimisé de matrices de rotations pour le codage d’un signal audio multicanal
WO2022136760A1 (fr) 2020-12-22 2022-06-30 Orange Codage optimise de matrices de rotations pour le codage d'un signal audio multicanal
WO2022262576A1 (fr) * 2021-06-18 2022-12-22 华为技术有限公司 Procédé et appareil de codage de signal audio tridimensionnel, codeur et système
EP4120255A1 (fr) 2021-07-15 2023-01-18 Orange Quantification vectorielle spherique optimisee
WO2023285748A1 (fr) 2021-07-15 2023-01-19 Orange Quantification vectorielle spherique optimisee
FR3136099A1 (fr) 2022-05-30 2023-12-01 Orange Codage audio spatialisé avec adaptation d’un traitement de décorrélation
WO2023232823A1 (fr) 2022-05-30 2023-12-07 Orange Titre: codage audio spatialisé avec adaptation d'un traitement de décorrélation

Also Published As

Publication number Publication date
JP2024024095A (ja) 2024-02-21
US11922959B2 (en) 2024-03-05
KR20210137114A (ko) 2021-11-17
ZA202106465B (en) 2022-07-27
JP2022523414A (ja) 2022-04-22
JP7419388B2 (ja) 2024-01-22
EP3706119A1 (fr) 2020-09-09
EP3935629A1 (fr) 2022-01-12
CN113728382A (zh) 2021-11-30
BR112021017511A2 (pt) 2021-11-16
US20220148607A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
WO2020177981A1 (fr) Codage audio spatialisé avec interpolation et quantification de rotations
EP2374123B1 (fr) Codage perfectionne de signaux audionumeriques multicanaux
EP1600042B1 (fr) Procede de traitement de donnees sonores compressees, pour spatialisation
EP2002424B1 (fr) Dispositif et procede de codage scalable d&#39;un signal audio multi-canal selon une analyse en composante principale
EP2374124B1 (fr) Codage perfectionne de signaux audionumériques multicanaux
EP3427260B1 (fr) Codage et décodage optimisé d&#39;informations de spatialisation pour le codage et le décodage paramétrique d&#39;un signal audio multicanal
EP2143102B1 (fr) Procede de codage et decodage audio, codeur audio, decodeur audio et programmes d&#39;ordinateur associes
EP2168121B1 (fr) Quantification apres transformation lineaire combinant les signaux audio d&#39;une scene sonore, codeur associe
EP2005420A1 (fr) Dispositif et procede de codage par analyse en composante principale d&#39;un signal audio multi-canal
WO2010004155A1 (fr) Synthese spatiale de signaux audio multicanaux
FR3045915A1 (fr) Traitement de reduction de canaux adaptatif pour le codage d&#39;un signal audio multicanal
Mahé et al. First-order ambisonic coding with quaternion-based interpolation of PCA rotation matrices
EP4042418B1 (fr) Détermination de corrections à appliquer a un signal audio multicanal, codage et décodage associés
WO2023232823A1 (fr) Titre: codage audio spatialisé avec adaptation d&#39;un traitement de décorrélation
EP2198425A1 (fr) Procede, module et programme d&#39;ordinateur avec quantification en fonction des vecteurs de gerzon
EP4172986A1 (fr) Codage optimise d&#39;une information representative d&#39;une image spatiale d&#39;un signal audio multicanal
FR3118266A1 (fr) Codage optimisé de matrices de rotations pour le codage d’un signal audio multicanal

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20703048

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021552656

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112021017511

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 20217031995

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020703048

Country of ref document: EP

Effective date: 20211005

ENP Entry into the national phase

Ref document number: 112021017511

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20210902