WO2016208406A1 - 音声処理装置および方法、並びにプログラム - Google Patents

音声処理装置および方法、並びにプログラム Download PDF

Info

Publication number
WO2016208406A1
WO2016208406A1 PCT/JP2016/067195 JP2016067195W WO2016208406A1 WO 2016208406 A1 WO2016208406 A1 WO 2016208406A1 JP 2016067195 W JP2016067195 W JP 2016067195W WO 2016208406 A1 WO2016208406 A1 WO 2016208406A1
Authority
WO
WIPO (PCT)
Prior art keywords
spread
vector
gain
audio
sound
Prior art date
Application number
PCT/JP2016/067195
Other languages
English (en)
French (fr)
Inventor
優樹 山本
徹 知念
辻　実
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to EP16814177.8A priority Critical patent/EP3319342B1/en
Priority to KR1020237000959A priority patent/KR102633077B1/ko
Priority to KR1020247003591A priority patent/KR20240018688A/ko
Priority to BR122022019901-1A priority patent/BR122022019901B1/pt
Priority to CN201680034827.1A priority patent/CN107710790B/zh
Priority to RU2017143920A priority patent/RU2708441C2/ru
Priority to EP20155520.8A priority patent/EP3680898B1/en
Priority to BR122022019910-0A priority patent/BR122022019910B1/pt
Priority to US15/737,026 priority patent/US10567903B2/en
Priority to AU2016283182A priority patent/AU2016283182B2/en
Priority to JP2017525183A priority patent/JP6962192B2/ja
Priority to BR112017027103-6A priority patent/BR112017027103B1/pt
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to KR1020187035934A priority patent/KR102373459B1/ko
Priority to KR1020177035890A priority patent/KR101930671B1/ko
Priority to KR1020227001727A priority patent/KR102488354B1/ko
Priority to SG11201710080XA priority patent/SG11201710080XA/en
Priority to CN202110611258.5A priority patent/CN113473353B/zh
Priority to EP24158155.2A priority patent/EP4354905A3/en
Publication of WO2016208406A1 publication Critical patent/WO2016208406A1/ja
Priority to AU2019202924A priority patent/AU2019202924B2/en
Priority to US16/734,211 priority patent/US11140505B2/en
Priority to AU2020277210A priority patent/AU2020277210B2/en
Priority to US17/474,669 priority patent/US11540080B2/en
Priority to AU2022201515A priority patent/AU2022201515A1/en
Priority to US17/993,001 priority patent/US20230078121A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Definitions

  • the present technology relates to a voice processing apparatus, method, and program, and more particularly, to a voice processing apparatus, method, and program that can obtain higher quality voice.
  • VBAP Vector Base Amplitude Panning
  • VBAP Vector Base Amplitude Panning
  • the sound image can be localized at any one point inside the triangle composed of these three speakers.
  • the sound image is not localized to a single point, but is considered to be localized to a partial space with a certain extent.
  • a human voice is emitted from the vocal cords, but the vibration propagates to the face, body, etc.
  • the voice is emitted from a partial space of the entire human body.
  • MDAP Multiple Direction Amplitude Panning
  • This MDAP is generally known as a technology for localizing sound in such a partial space, that is, a technology for expanding a sound image (see, for example, Non-Patent Document 2).
  • This MDAP is also used in a rendering processing unit of the MPEG (Moving Picture Experts Group) -H 3D Audio standard (see, for example, Non-Patent Document 3).
  • the present technology has been made in view of such a situation, and makes it possible to obtain higher quality sound.
  • An audio processing device acquires metadata including position information indicating a position of an audio object and sound image information representing a spread of a sound image from the position, which is composed of at least a two-dimensional vector.
  • a vector calculation unit that calculates a spread vector indicating a position in the region based on a horizontal angle and a vertical angle related to a region representing a spread of a sound image determined by the sound image information, and based on the spread vector,
  • a gain calculation unit that calculates gains of audio signals supplied to two or more audio output units located in the vicinity of the position indicated by the position information.
  • the vector calculation unit can calculate the spread vector based on a ratio between the horizontal angle and the vertical angle.
  • the vector calculation unit can calculate a predetermined number of the spread vectors.
  • the vector calculation unit can calculate an arbitrary number of variable spread vectors.
  • the sound image information can be a vector indicating the center position of the region.
  • the sound image information can be a two-dimensional or higher vector indicating the degree of spread of the sound image from the center of the region.
  • the sound image information can be a vector indicating the relative position of the center position of the region viewed from the position indicated by the position information.
  • the gain calculation unit causes the audio output unit to calculate the gain for each spread vector, and causes the audio output unit to calculate an addition value of the gain calculated for each spread vector.
  • the added value can be quantized to a gain of two or more, and the final gain can be calculated for each audio output unit based on the quantized added value.
  • the gain calculation unit is a mesh that is an area surrounded by the three audio output units, and selects the number of meshes used for the calculation of the gain, and the selection result of the number of meshes and the spread vector Based on this, the gain can be calculated for each spread vector.
  • the gain calculation unit selects the number of meshes used for calculating the gain, whether to perform the quantization, and the quantization number of the addition value at the time of the quantization, and according to the selection result The final gain can be calculated.
  • the gain calculation unit can select the number of meshes used for calculating the gain, whether to perform the quantization, and the number of quantization based on the number of the audio objects.
  • the gain calculation unit can select the number of meshes used for calculating the gain, whether to perform the quantization, and the number of quantization based on the importance of the audio object.
  • the number of meshes used for calculating the gain is increased so that the number of the meshes used for calculating the gain increases as the audio object is located closer to the audio object having higher importance. Number can be selected.
  • the gain calculator may select the number of meshes used for calculating the gain, whether to perform the quantization, and the number of quantization based on the sound pressure of the audio signal of the audio object. it can.
  • the gain calculating unit selects three or more audio output units including the audio output units located at different heights from among the plurality of audio output units according to the selection result of the number of meshes.
  • the gain can be calculated based on one or a plurality of the meshes formed from the selected audio output unit.
  • An audio processing method or program acquires metadata including position information indicating a position of an audio object and sound image information representing a spread of a sound image from the position, which is a vector of at least two dimensions. And calculating a spread vector indicating a position in the region based on a horizontal angle and a vertical angle regarding a region representing a sound image spread determined by the sound image information, and indicating the position information based on the spread vector. Calculating a gain of each of the audio signals supplied to the two or more audio output units located in the vicinity of the position.
  • metadata including position information indicating a position of an audio object and sound image information representing a spread of a sound image from the position and including at least a two-dimensional vector is acquired, and the sound image information
  • a spread vector indicating a position in the region is calculated based on a horizontal angle and a vertical angle related to the region representing the spread of the sound image determined by, and based on the spread vector, near the position indicated by the position information.
  • the gains of the audio signals supplied to the two or more audio output units located are calculated.
  • VBAP It is a figure explaining the position of a sound image. It is a figure explaining a spread vector. It is a figure explaining a spread center vector system. It is a figure explaining a spread radiation vector system. It is a figure which shows the structural example of a speech processing unit. It is a flowchart explaining a reproduction
  • the present technology makes it possible to obtain higher-quality audio when rendering is performed by acquiring an audio signal of an audio object and metadata such as position information of the audio object.
  • the audio object is also simply referred to as an object.
  • the sound image is localized at the position p by using the information indicating the positions of the three speakers SP1 to SP3 that output the sound of each channel.
  • the position p is represented by a three-dimensional vector (hereinafter also referred to as a vector p) starting from the origin O.
  • the vector p is represented by a linear sum of the vectors l 1 to l 3. be able to.
  • coefficients g 1 to g 3 multiplied by the vectors l 1 to l 3 are calculated, and these coefficients g 1 to g 3 are used as the gains of sound output from the speakers SP1 to SP3, respectively. Then, the sound image can be localized at the position p.
  • the method of obtaining the coefficients g 1 to g 3 using the position information of the three speakers SP1 to SP3 and controlling the localization position of the sound image is called three-dimensional VBAP.
  • the gain obtained for each speaker, such as the coefficient g 1 to the coefficient g 3 is referred to as a VBAP gain.
  • the sound image can be localized at an arbitrary position within the triangular region TR11 on the spherical surface including the positions of the speaker SP1, the speaker SP2, and the speaker SP3.
  • the region TR11 is a region on the surface of a sphere centered on the origin O and passing through the positions of the speakers SP1 to SP3, and is a triangular region surrounded by the speakers SP1 to SP3.
  • VBAP is described in detail in, for example, “Ville Pulkki,“ Virtual Sound Source Positioning Using Vector Base Amplitude Panning ”, Journal of AES, vol.45, no.6, pp.456-466, 1997. Yes.
  • the encoding device receives encoded audio data obtained by encoding the audio signal of each object and encoded metadata obtained by encoding the metadata of each object.
  • a bit stream obtained by multiplexing is output.
  • the metadata includes position information indicating the position of the object in space, importance information indicating the importance of the object, and spread that is information indicating the extent of the sound image of the object.
  • the spread indicating the degree of spread of the sound image is an arbitrary angle from 0 ° to 180 °, and the encoding device can specify different values of spread for each frame of the audio signal for each object. It is.
  • the position of the object is represented by a horizontal angle azimuth, a vertical angle elevation, and a distance radius.
  • the position information of the object includes values of the horizontal direction angle azimuth, the vertical direction angle elevation, and the distance radius.
  • the position of the viewer who is listening to the sound of each object output from a speaker is the origin O, and the upper right direction, upper left direction, and upper direction are perpendicular to each other in the figure.
  • the position of one object is the position OBJ11
  • the sound image may be localized at the position OBJ11 in the three-dimensional coordinate system.
  • the horizontal angle ⁇ (azimuth angle) in the figure formed by the straight line L and the x axis on the xy plane is the horizontal of the object at the position OBJ11.
  • the horizontal direction angle azimuth indicating the position of the direction is set, and the horizontal direction angle azimuth is an arbitrary value satisfying ⁇ 180 ° ⁇ azimuth ⁇ 180 °.
  • the counterclockwise direction around the origin O is the azimuth positive direction
  • the clockwise direction around the origin O is the azimuth negative direction.
  • an angle formed by the straight line L and the xy plane that is, an angle ⁇ (elevation angle) in the vertical direction in the figure is a vertical angle elevation indicating the vertical position of the object at the position OBJ11, and the vertical angle elevation is ⁇ It is an arbitrary value satisfying 90 ° ⁇ elevation ⁇ 90 °.
  • the upward direction is the + direction of the vertical angle elevation in the figure
  • the downward direction is the negative direction of the vertical angle elevation in the figure.
  • the length of the straight line L that is, the distance from the origin O to the position OBJ11 is the distance radius to the viewer, and the distance radius is a value of 0 or more. That is, the distance radius is a value satisfying 0 ⁇ radius ⁇ .
  • the distance radius is also referred to as a radial distance.
  • the distance radius from all speakers and objects to the viewer is the same, and it is a common method to calculate by normalizing the distance radius to 1.
  • the position information of the object included in the metadata includes values of a horizontal direction angle azimuth, a vertical direction angle elevation, and a distance radius.
  • the horizontal direction angle azimuth, the vertical direction angle elevation, and the distance radius are also simply referred to as azimuth, elevation, and radius.
  • the decoding device that has received the bitstream including the encoded audio data and the encoded metadata
  • the spread of the spread included in the metadata is performed.
  • a rendering process for expanding the sound image is performed according to the value.
  • the decoding apparatus sets the position in the space indicated by the position information included in the metadata of the object as the position p.
  • This position p corresponds to the position p in FIG.
  • the same reference numerals are given to the portions corresponding to those in FIG. 1, and the description thereof will be omitted as appropriate.
  • five speakers SP1 to SP5 are arranged on the spherical surface of a unit sphere having a radius 1 centered on the origin O, and the position p indicated by the position information is the center position p0.
  • the position p is also referred to as an object position p
  • a vector having the origin O as a start point and the object position p as an end point is also referred to as a vector p.
  • a vector having the origin O as the start point and the center position p0 as the end point is also referred to as a vector p0.
  • each of the spread vector p1 to spread vector p18 is a vector whose end point position is located in a circle region R11 on the unit sphere centered on the center position p0.
  • an angle formed by the spread vector having the end point position on the circumference of the circle represented by the region R11 and the vector p0 is an angle indicated by the spread.
  • the end point position of each spread vector is arranged at a position away from the center position p0 as the spread value increases. That is, the region R11 becomes large.
  • This region R11 represents the spread of the sound image from the position of the object.
  • the region R11 is a region indicating a range where the sound image of the object spreads.
  • the region R11 represents the shape of the object.
  • a region indicating a range where the sound image of the object spreads such as the region R11, is also referred to as a region indicating the spread of the sound image.
  • end points of the spread vectors p1 to p18 are also referred to as positions p1 to p18.
  • the decoding apparatus uses the VBAP for each channel for the vector p and each spread vector, that is, the position p and each of the positions p1 to p18.
  • VBAP gain is calculated for each speaker.
  • the VBAP gain for each speaker is calculated so that the sound image is localized at each position such as the position p and the position p1.
  • the decoding device adds the VBAP gain calculated for each position for each speaker. For example, in the example of FIG. 3, the position p calculated for the speaker SP1 and the respective VBAP gains at the positions p1 to p18 are added.
  • the decoding device normalizes the VBAP gain after the addition processing obtained for each speaker. That is, normalization is performed so that the square sum of the VBAP gains of all speakers is 1.
  • the decoding device multiplies the audio signal of each object by the VBAP gain of each speaker obtained by normalization to obtain an audio signal for each speaker, and supplies the audio signal obtained for each speaker to the speaker. To output sound.
  • the sound image is localized so that sound is output from the entire region R11. That is, the sound image spreads over the entire region R11.
  • the amount of processing at the time of rendering is larger than when processing for expanding a sound image is not performed.
  • the number of objects that can be handled by the decoding device may be reduced, or rendering may not be performed in a decoding device equipped with a renderer having a small hardware scale.
  • rendering could not be performed by switching the processing so that the highest quality audio can be obtained within the processing amount allowed on the renderer's hardware scale.
  • this technology can reduce the amount of processing during rendering.
  • sufficiently high-quality sound can be obtained by expressing the directivity and shape of an object.
  • an appropriate process is selected as a process at the time of rendering according to the hardware scale of the renderer, and the highest quality sound can be obtained within the allowable processing amount range.
  • VBAP gain to be multiplied with the audio signal is calculated for three speakers (processing A2). Normalization is performed so that the sum of squares of the VBAP gains of the three speakers becomes 1 (processing A3). Multiply object audio signal by VBAP gain
  • Process B1 For the vector p, VBAP gain to be multiplied with the audio signals of the three speakers is calculated (processing B2). For each of the 18 spread vectors, a VBAP gain for multiplying the audio signals of the three speakers is calculated (processing B3). For each speaker, the VBAP gain obtained for each vector is added (processing B4). Normalization is performed so that the sum of squares of the VBAP gains of all speakers is 1 (processing B5). Multiply object audio signal by VBAP gain
  • the number of speakers that output the sound is 3 or more, and therefore, in the process B5, the multiplication process is performed 3 times or more.
  • the amount of processing is increased especially by the process B2 and the process B3, and the process B5 is more than the process A3. Also increases the amount of processing.
  • the amount of processing of the above-described processing B5 can be reduced by quantizing the sum of VBAP gains of each vector obtained for each speaker.
  • the sum (addition value) of VBAP gains obtained for each vector such as the vector p and the spread vector, which is obtained for each speaker is also referred to as a VBAP gain addition value.
  • processing B1 to processing B3 are performed, and when a VBAP gain addition value is obtained for each speaker, the VBAP gain addition value is binarized.
  • binarization for example, the VBAP gain addition value of each speaker is set to either 0 or 1.
  • the method of binarizing the VBAP gain addition value may be any method such as rounding, sealing (rounding up), flooring (rounding down), threshold processing, and the like.
  • the above-described process B4 is performed based on the binarized VBAP gain addition value. Then, as a result, the final VBAP gain of each speaker is one except for zero. That is, when the VBAP gain addition value is binarized, the final VBAP gain value of each speaker is either 0 or a predetermined value.
  • the final VBAP gain value of these three speakers is 1 / 3 (1/2) .
  • the final VBAP gain value of each speaker is either 0 or a predetermined value, so that in the process B5 ′, it is sufficient to perform a single multiplication process.
  • the amount of processing can be reduced. That is, in the process B5, where the multiplication process must be performed three times or more, the process B5 'only needs to perform one multiplication process.
  • the VBAP gain addition value may be quantized to a value of three or more.
  • the VBAP gain addition value is one of three values
  • the above-described processing B1 to processing B3 are performed, and when the VBAP gain addition value is obtained for each speaker, the VBAP gain addition value is quantized. , 0, 0.5, or 1.
  • processing B4 and processing B5 ' are performed.
  • the maximum number of multiplication processes in process B5 ' is two.
  • the number of multiplication processes in the process B5 ′ is a maximum of (x ⁇ 1) times. Become.
  • the processing amount is reduced by quantizing the VBAP gain addition value when performing the process of expanding the sound image.
  • the VBAP gain is similarly applied when the process of expanding the sound image is not performed.
  • the amount of processing can be reduced by quantizing. In other words, if the VBAP gain of each speaker obtained for the vector p is quantized, the number of times of multiplication of the normalized VBAP gain audio signal can be reduced.
  • a spread three-dimensional vector which is a three-dimensional vector
  • a bit stream is transmitted.
  • a spread three-dimensional vector is stored in the metadata of the frame of each audio signal for each object.
  • the metadata does not store a spread indicating the extent of the sound image.
  • the spread three-dimensional vector is a three-dimensional vector composed of three elements: s3_azimuth indicating the extent of the sound image in the horizontal direction, s3_elevation indicating the extent of the sound image in the vertical direction, and s3_radius indicating the depth of the sound image in the radial direction. .
  • spread three-dimensional vector (s3_azimuth, s3_elevation, s3_radius).
  • s3_azimuth indicates the spread angle of the sound image in the horizontal direction from the position p, that is, in the direction of the horizontal angle azimuth described above. Specifically, s3_azimuth indicates the angle formed by the vector p (vector p0) and the vector from the origin O toward the horizontal direction end of the region showing the spread of the sound image.
  • s3_elevation indicates the spread angle of the sound image in the vertical direction from the position p, that is, in the direction of the vertical angle elevation described above. Specifically, s3_elevation indicates the angle formed by the vector p (vector p0), which is the vector from the origin O toward the end on the vertical direction side of the region showing the spread of the sound image. Further, s3_radius indicates the direction of the distance radius described above, that is, the depth in the normal direction of the unit sphere.
  • the spread three-dimensional vector is information indicating a relative position with respect to the position p indicated by the position information of the object, but the spread three-dimensional vector may be information indicating an absolute position.
  • the spread value is calculated by calculating the following equation (1) based on the spread three-dimensional vector.
  • max (a, b) indicates a function that returns a large value between a and b. Accordingly, the larger value of s3_azimuth and s3_elevation is set as the spread value here.
  • the position p of the object indicated by the position information included in the metadata is set as the center position p0, and the 18 spread vectors p1 through p1 are symmetric in the vertical and horizontal directions on the unit sphere with the center position p0 as the center.
  • a spread vector p18 is obtained.
  • the vector p0 having the origin O as the start point and the center position p0 as the end point is set as the spread vector p0.
  • each spread vector is represented by a horizontal angle azimuth, a vertical angle elevation, and a distance radius.
  • the spread vectors p0 to p18 are obtained in this way, the spread vectors p1 to p18 are then changed (corrected) based on the ratio of s3_azimuth and s3_elevation to obtain the final spread vector.
  • azimuth correction is not performed for the spread vector p0.
  • the larger one of s3_azimuth and s3_elevation is set as spread, and the process of obtaining the spread vector is a radius determined by the larger angle of s3_azimuth and s3_elevation for the time being, in the region showing the spread of the sound image on the unit sphere.
  • This is a process for obtaining a spread vector by the same process as in the past.
  • the processing for correcting the spread vector by equation (2) or equation (3) is performed by specifying the region indicating the spread of the sound image on the unit sphere by the spread three-dimensional vector. This is a process of correcting the region indicating the spread of the sound image, that is, the spread vector so that the region is determined by the original s3_azimuth and s3_elevation.
  • these processes are processes for calculating a spread vector for a region showing the spread of a sound image that is circular or elliptical on the unit sphere based on the spread three-dimensional vector, that is, s3_azimuth and s3_elevation.
  • processing B2, processing B3, processing B4, and processing B5 ′ are performed using the spread vector p0 to spread vector p18 and supplied to each speaker. An audio signal is generated.
  • the VBAP gain for each speaker is calculated for each of the 19 spread vectors from the spread vector p0 to the spread vector p18.
  • the spread vector p0 is the vector p
  • the process of calculating the VBAP gain for the spread vector p0 is to perform the process B1.
  • the VBAP gain addition value is quantized as necessary.
  • the larger value of s3_azimuth and s3_elevation is the spread value.
  • the smaller value of s3_azimuth and s3_elevation may be the spread value.
  • spread vectors p0 to p18 that is, 19 predetermined spread vectors are obtained, and VBAP gain is calculated for these spread vectors.
  • the number of calculated spread vectors can be varied. You may make it.
  • the number of spread vectors to be generated can be determined according to the ratio of s3_azimuth and s3_elevation. According to such a process, for example, when the object is horizontally long and the sound of the object is little spread in the vertical direction, the spread vectors arranged in the vertical direction are omitted, and the respective spread vectors are arranged in the substantially horizontal direction. Thus, the spread of sound in the horizontal direction can be appropriately expressed.
  • a spread center vector which is a three-dimensional vector, is stored in a bit stream and transmitted.
  • the spread center vector is stored in the metadata of the frame of each audio signal for each object.
  • the metadata also stores a spread indicating the extent of the sound image.
  • the spread center vector is a vector indicating the center position p0 of the region indicating the spread of the sound image of the object.
  • the spread center vector is azimuth indicating the horizontal angle of the center position p0, and elevation indicating the vertical angle of the center position p0.
  • the spread center vector (azimuth, elevation, radius).
  • the position indicated by the spread center vector is set as the center position p0, and the spread vectors p0 to p18 are calculated as the spread vectors.
  • the spread vector p0 is a vector p0 having the origin O as the start point and the center position p0 as the end point, for example, as shown in FIG.
  • the same reference numerals are given to the portions corresponding to those in FIG. 3, and the description thereof will be omitted as appropriate.
  • the center position p0 is a position different from the position p.
  • the region R21 showing the spread of the sound image centered on the center position p0 is shifted to the left in the drawing with respect to the position p which is the position of the object, rather than the example of FIG.
  • the arbitrary position can be designated by the spread center vector as the center position p0 of the region showing the spread of the sound image, the sound directivity of the object can be expressed more accurately. Become.
  • the process B1 is subsequently performed for the vector p, and the process B2 is performed for the spread vector p0 to the spread vector p18.
  • the VBAP gain may be calculated for each of the 19 spread vectors, or the VBAP gain may be calculated only for the spread vectors p1 to p18 excluding the spread vector p0. Good.
  • the description will be continued assuming that the VBAP gain is also calculated for the spread vector p0.
  • a spread end vector which is a five-dimensional vector, is stored in a bit stream and transmitted.
  • the spread end vector is stored in the metadata of the frame of each audio signal for each object.
  • the metadata does not store a spread indicating the extent of the sound image.
  • the spread end vector is a vector that represents a region indicating the spread of the sound image of the object, and the spread end vector is five elements of the spread left end azimuth, spread right end azimuth, spread upper end elevation, spread lower end elevation, and spread radius.
  • the spread left end azimuth and spread right end azimuth constituting the spread end vector indicate the values of the horizontal direction angle azimuth indicating the absolute position of the left end and the right end in the horizontal direction in the region indicating the spread of the sound image, respectively.
  • the spread left end azimuth and spread right end azimuth indicate angles representing the degree of spread of the sound image in the left direction and the right direction from the center position p0 of the region indicating the spread of the sound image, respectively.
  • the spread upper end elevation and the spread lower end elevation indicate the values of the vertical angle elevation indicating the absolute positions of the upper end and the lower end in the vertical direction, respectively, in the region showing the spread of the sound image.
  • the spread upper end elevation and the spread lower end elevation indicate angles representing the degree of spread of the sound image in the upward and downward directions from the center position p0 of the region indicating the spread of the sound image, respectively.
  • the radius for spread indicates the depth of the sound image in the radial direction.
  • the spread end vector is information indicating an absolute position in space, but the spread end vector is information indicating a relative position with respect to the position p indicated by the position information of the object. Also good.
  • the center position p0 is calculated by calculating the following equation (4) based on the spread end vector.
  • the horizontal direction angle azimuth indicating the center position p0 is an intermediate (average) angle between the spread left end azimuth and the spread right end azimuth
  • the vertical angle elevation indicating the center position p0 is an intermediate between the spread upper end elevation and the spread lower end elevation.
  • the angle is (average).
  • the distance radius indicating the center position p0 is set as a radius for spread.
  • the center position p0 may be different from the position p of the object indicated by the position information.
  • the spread value is calculated by calculating the following equation (5).
  • Equation (5) max (a, b) indicates a function that returns a large value between a and b. Therefore, here, the angle corresponding to the radius in the horizontal direction (spread left end azimuth-spread right end azimuth) / 2 in the region indicating the spread of the sound image of the object indicated by the spread end vector corresponds to the vertical radius. The larger value of the angle (spread upper end elevation ⁇ spread lower end elevation) / 2 is set as the spread value.
  • 18 spread vectors p1 to p18 are obtained so as to be vertically and horizontally symmetrical on the unit sphere with the center position p0 as the center.
  • the vector p0 having the origin O as the start point and the center position p0 as the end point is set as the spread vector p0.
  • the spread vectors p0 to p18 are obtained in this way, the spread vectors p1 to spread are then based on the ratio of (spread left end azimuth ⁇ spread right end azimuth) and (spread upper end elevation ⁇ spread lower end elevation). The vector p18 is changed (corrected) to obtain the final spread vector.
  • azimuth correction is not performed for the spread vector p0.
  • the spread vector calculation method described above is basically the same as in the spread three-dimensional vector method.
  • these processes are processes for calculating a spread vector for a region indicating a spread of a sound image that is circular or elliptical on a unit sphere determined by the spread end vector based on the spread end vector.
  • processing B1, processing B2, processing B3, processing B4, and processing B5 ′ are performed using the vector p and the spread vectors p0 to p18.
  • an audio signal supplied to each speaker is generated.
  • the VBAP gain for each speaker is calculated for each of the 19 spread vectors. Further, after the process B3, the VBAP gain addition value is quantized as necessary.
  • the spread of the sound image as an area having an arbitrary shape with an arbitrary position as the center position p0, the shape of the object and the directivity of the sound of the object are expressed by the spread end vector.
  • higher-quality audio can be obtained by rendering.
  • the VBAP gain is calculated for the spread vector p0.
  • the VBAP gain may not be calculated for the spread vector p0.
  • the description will be continued assuming that the VBAP gain is also calculated for the spread vector p0.
  • the number of spread vectors to be generated is determined according to the ratio of (spread left end azimuth ⁇ spread right end azimuth) and (spread upper end elevation ⁇ spread lower end elevation). May be.
  • a spread radiation vector that is a three-dimensional vector is stored in a bit stream and transmitted.
  • the spread radiation vector is stored in the metadata of the frame of each audio signal for each object.
  • the metadata also stores a spread indicating the extent of the sound image.
  • the spread radiation vector is a vector indicating the relative position of the center position p0 of the area indicating the spread of the sound image of the object with respect to the position p of the object.
  • the spread radiation vector is an azimuth indicating a horizontal angle to the center position p0, an elevation indicating a vertical angle to the center position p0, and a radius 3 indicating a radial distance of the center position p0, as viewed from the position p.
  • a three-dimensional vector consisting of two elements is used.
  • spread radiation vector (azimuth, elevation, radius).
  • the position indicated by the vector obtained by adding the spread radiation vector and the vector p is set as the center position p0, and the spread vectors p0 to p18 are calculated as the spread vectors.
  • the spread vector p0 is a vector p0 having the origin O as the start point and the center position p0 as the end point, for example, as shown in FIG. In FIG. 5, parts corresponding to those in FIG. 3 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the position p the center position p0, but in the example shown in FIG. 5, the center position p0 is a position different from the position p.
  • the end point position of the vector obtained by vector addition of the vector p and the spread radiation vector indicated by the arrow B11 is the center position p0.
  • the arbitrary position can be designated using the spread radiation vector and the position p as the center position p0 of the region showing the spread of the sound image, the sound directivity of the object can be expressed more accurately. Will be able to.
  • the process B1 is thereafter performed for the vector p, and the process B2 is performed for the spread vector p0 to the spread vector p18.
  • the VBAP gain may be calculated for each of the 19 spread vectors, or the VBAP gain may be calculated only for the spread vectors p1 to p18 excluding the spread vector p0. Good.
  • the description will be continued assuming that the VBAP gain is also calculated for the spread vector p0.
  • spread vector number information indicating the number of spread vectors for calculating the VBAP gain and spread vector position information indicating the end point position of each spread vector are stored and transmitted in the bit stream.
  • spread vector number information and spread vector position information are stored in the metadata of each audio signal frame for each object.
  • the metadata does not store a spread indicating the extent of the sound image.
  • a vector having the origin O as a start point and the position indicated by the spread vector position information as an end point is calculated as a spread vector.
  • the process B1 is performed for the vector p, and the process B2 is performed for each spread vector.
  • an index for switching processes is stored in a bitstream and transmitted from the encoding apparatus to the decoding apparatus. That is, an index index for switching processing is added to the bitstream syntax.
  • the following processing is performed according to the value of the index index.
  • each index of a predetermined combination is stored in the bitstream and transmitted.
  • the renderer calculates the VBAP gain for the spread vector indicated by each index stored and transmitted in the bitstream.
  • index 2
  • information indicating the number of spread vectors used for processing and the spread vector used for processing are any of the 18 spread vectors in the conventional MPEG-H 3D Audio standard. An index indicating such is stored in the bitstream and transmitted.
  • the rendering process is performed by the above-described arbitrary spread vector method
  • the rendering process is performed by the above-described spread center vector method.
  • the processing may be selected in a renderer in the decoding device.
  • FIG. 6 is a diagram illustrating a configuration example of a voice processing device to which the present technology is applied.
  • a speaker 12-1 to a speaker 12-M corresponding to each of M channels are connected to the sound processing apparatus 11 shown in FIG.
  • the audio processing device 11 generates an audio signal of each channel based on the audio signal and metadata of the object supplied from the outside, and supplies these audio signals to the speakers 12-1 to 12-M for audio. Play.
  • speakers 12-1 to 12-M are also simply referred to as speakers 12 when it is not necessary to distinguish them.
  • These speakers 12 are sound output units that output sound based on the supplied audio signal.
  • the speaker 12 is arranged so as to surround a user who views the content or the like.
  • each speaker 12 is disposed on the unit spherical surface described above.
  • the speech processing apparatus 11 includes an acquisition unit 21, a vector calculation unit 22, a gain calculation unit 23, and a gain adjustment unit 24.
  • the acquisition unit 21 acquires the audio signal of the object and the metadata for each frame of the audio signal of each object from the outside.
  • the audio signal and the metadata are obtained by decoding the encoded audio data and the encoded metadata included in the bit stream output from the encoding device by the decoding device.
  • the acquisition unit 21 supplies the acquired audio signal to the gain adjustment unit 24 and supplies the acquired metadata to the vector calculation unit 22.
  • the metadata includes, for example, position information indicating the position of the object, importance information indicating the importance of the object, spread indicating the extent of the sound image of the object, and the like as necessary.
  • the vector calculation unit 22 calculates a spread vector based on the metadata supplied from the acquisition unit 21 and supplies the spread vector to the gain calculation unit 23.
  • the vector calculation unit 22 also supplies the gain calculation unit 23 with the position p of the object indicated by the position information included in the metadata, that is, the vector p indicating the position p, as necessary.
  • the gain calculation unit 23 calculates the VBAP gain of the speaker 12 corresponding to each channel by VBAP based on the spread vector and the vector p supplied from the vector calculation unit 22 and supplies them to the gain adjustment unit 24. Further, the gain calculation unit 23 includes a quantization unit 31 that quantizes the VBAP gain of each speaker.
  • the gain adjustment unit 24 performs gain adjustment on the audio signal of the object supplied from the acquisition unit 21 based on each VBAP gain supplied from the gain calculation unit 23, and the M channels obtained as a result thereof are adjusted. An audio signal is supplied to the speaker 12.
  • the gain adjustment unit 24 includes an amplification unit 32-1 to an amplification unit 32-M.
  • the amplifying unit 32-1 to 32-M multiply the audio signal supplied from the acquiring unit 21 by the VBAP gain supplied from the gain calculating unit 23, and the resulting audio signal is output from the speaker 12-1. Or supplied to the speaker 12-M to reproduce the sound.
  • the amplifying unit 32-1 to the amplifying unit 32-M are also simply referred to as the amplifying unit 32 when it is not necessary to distinguish them.
  • the audio processing device 11 When the audio signal and metadata of the object are supplied from the outside, the audio processing device 11 performs a reproduction process to reproduce the audio of the object.
  • This reproduction process is performed for each frame of the audio signal.
  • step S11 the acquisition unit 21 acquires an audio signal and metadata for one frame of the object from the outside, supplies the audio signal to the amplification unit 32, and supplies the metadata to the vector calculation unit 22.
  • step S12 the vector calculation unit 22 performs a spread vector calculation process based on the metadata supplied from the acquisition unit 21, and supplies the resulting spread vector to the gain calculation unit 23.
  • the vector calculation unit 22 also supplies the vector p to the gain calculation unit 23 as necessary.
  • the spread vector calculation process the spread three-dimensional vector method, the spread center vector method, the spread end vector method, the spread radiation vector method, or the arbitrary spread vector method are used. A vector is calculated.
  • step S ⁇ b> 13 the gain calculation unit 23 determines the position of each speaker 12 based on the arrangement position information indicating the arrangement position of each speaker 12 held in advance and the spread vector and the vector p supplied from the vector calculation unit 22. Calculate the VBAP gain.
  • the VBAP gain of each speaker 12 is calculated for each of the spread vector and the vector p.
  • the VBAP gain of one or more speakers 12 located near the position of the object, more specifically near the position indicated by the vector is obtained. Note that the VBAP gain of the spread vector is always calculated, but when the vector p is not supplied from the vector calculation unit 22 to the gain calculation unit 23 by the process of step S12, the VBAP gain of the vector p is not calculated.
  • step S14 the gain calculation unit 23 calculates a VBAP gain addition value by adding the VBAP gain calculated for each vector for each speaker 12. That is, the VBAP gain addition value (sum) of each vector calculated for the same speaker 12 is calculated as the VBAP gain addition value.
  • step S15 the quantization unit 31 determines whether or not to binarize the VBAP gain addition value.
  • whether or not to perform binarization may be determined based on the index index described above, or may be determined based on the importance of the object indicated by the importance information as metadata. .
  • the index index read from the bit stream may be supplied to the gain calculation unit 23. Further, when the determination is made based on the importance level information, the importance level information may be supplied from the vector calculation unit 22 to the gain calculation unit 23.
  • step S16 the quantization unit 31 binarizes the VBAP gain addition value obtained for each speaker 12, that is, the VBAP gain addition value, and then The process proceeds to step S17.
  • step S15 determines whether binarization is not performed. If it is determined in step S15 that binarization is not performed, the process of step S16 is skipped, and the process proceeds to step S17.
  • step S17 the gain calculation unit 23 normalizes the VBAP gains of the speakers 12 so that the square sum of the VBAP gains of all the speakers 12 becomes 1.
  • the gain calculation unit 23 supplies the VBAP gain of each speaker 12 obtained by normalization to the amplification unit 32 corresponding to those speakers 12.
  • step S18 the amplification unit 32 multiplies the audio signal supplied from the acquisition unit 21 by the VBAP gain supplied from the gain calculation unit 23, and supplies the product to the speaker 12.
  • step S19 the amplifying unit 32 causes the speaker 12 to reproduce sound based on the supplied audio signal, and the reproduction process ends. Thereby, the sound image of the object is localized in a desired partial space in the reproduction space.
  • the sound processing device 11 calculates the spread vector based on the metadata, calculates the VBAP gain of each vector for each speaker 12, and obtains the added value of the VBAP gain for each speaker 12. Normalize.
  • the VBAP gain for the spread vector in this way, the spread of the sound image of the object, in particular, the shape of the object and the directivity of the sound can be expressed, and higher-quality sound can be obtained.
  • step S41 the vector calculation unit 22 determines whether to calculate a spread vector based on the spread three-dimensional vector.
  • the method by which the spread vector is calculated may be determined based on the index index as in step S15 of FIG. 7, or based on the importance of the object indicated by the importance information. May be determined.
  • step S41 If it is determined in step S41 that the spread vector is calculated based on the spread three-dimensional vector, that is, if it is determined that the spread vector is calculated by the spread three-dimensional vector method, the process proceeds to step S42.
  • step S42 the vector calculation unit 22 performs a spread vector calculation process based on the spread three-dimensional vector, and supplies the obtained vector to the gain calculation unit 23. Details of the spread vector calculation process based on the spread three-dimensional vector will be described later.
  • step S41 determines whether the spread vector is not calculated based on the spread three-dimensional vector. If it is determined in step S41 that the spread vector is not calculated based on the spread three-dimensional vector, the process proceeds to step S43.
  • step S43 the vector calculation unit 22 determines whether to calculate a spread vector based on the spread center vector.
  • step S43 If it is determined in step S43 that the spread vector is calculated based on the spread center vector, that is, if it is determined that the spread vector is calculated by the spread center vector method, the process proceeds to step S44.
  • step S44 the vector calculation unit 22 performs a spread vector calculation process based on the spread center vector, and supplies the obtained vector to the gain calculation unit 23. Details of the spread vector calculation process based on the spread center vector will be described later.
  • step S43 determines whether the spread vector is not calculated based on the spread center vector. If it is determined in step S43 that the spread vector is not calculated based on the spread center vector, the process proceeds to step S45.
  • step S45 the vector calculation unit 22 determines whether to calculate a spread vector based on the spread end vector.
  • step S45 If it is determined in step S45 that the spread vector is calculated based on the spread end vector, that is, if it is determined that the spread vector is calculated by the spread end vector method, the process proceeds to step S46.
  • step S46 the vector calculation unit 22 performs a spread vector calculation process based on the spread end vector, and supplies the obtained vector to the gain calculation unit 23. Details of the spread vector calculation process based on the spread end vector will be described later.
  • step S45 If it is determined in step S45 that the spread vector is not calculated based on the spread end vector, the process proceeds to step S47.
  • step S47 the vector calculation unit 22 determines whether to calculate a spread vector based on the spread radiation vector.
  • step S47 If it is determined in step S47 that the spread vector is calculated based on the spread radiation vector, that is, if it is determined that the spread vector is calculated by the spread radiation vector method, the process proceeds to step S48.
  • step S48 the vector calculation unit 22 performs a spread vector calculation process based on the spread radiation vector, and supplies the obtained vector to the gain calculation unit 23. Details of the spread vector calculation process based on the spread radiation vector will be described later.
  • step S47 If it is determined in step S47 that the spread vector is not calculated based on the spread radiation vector, that is, if it is determined that the spread vector is calculated by the arbitrary spread vector method, the process proceeds to step S49.
  • step S49 the vector calculation unit 22 performs a spread vector calculation process based on the spread vector position information, and supplies the obtained vector to the gain calculation unit 23. Details of the spread vector calculation process based on the spread vector position information will be described later.
  • the speech processing apparatus 11 calculates the spread vector by an appropriate method among a plurality of methods.
  • the spread vector by an appropriate method it is possible to obtain the highest quality sound within the allowable processing amount range according to the hardware scale of the renderer.
  • step S81 the vector calculation unit 22 sets the position indicated by the position information included in the metadata supplied from the acquisition unit 21 as the object position p. That is, the vector indicating the position p is set as the vector p.
  • step S82 the vector calculation unit 22 calculates spread based on the spread three-dimensional vector included in the metadata supplied from the acquisition unit 21. Specifically, the vector calculation unit 22 calculates spread by calculating Expression (1) described above.
  • step S83 the vector calculation unit 22 calculates the spread vectors p0 to p18 based on the vectors p and spread.
  • the vector p is the vector p0 indicating the center position p0
  • the vector p is the spread vector p0 as it is.
  • the image is symmetrical in the vertical and horizontal directions within the region determined by the angle indicated by the spread on the unit sphere with the center position p0 as the center.
  • Each spread vector is calculated so that
  • step S84 the vector calculation unit 22 determines whether s3_azimuth ⁇ s3_elevation based on the spread three-dimensional vector, that is, whether s3_azimuth is larger than s3_elevation.
  • step S85 the vector calculation unit 22 changes the elevation of the spread vector p1 to the spread vector p18. That is, the vector calculation unit 22 performs the calculation of the above-described equation (2), corrects the elevation of each spread vector, and obtains a final spread vector.
  • the vector calculation unit 22 supplies the spread vector p0 to the spread vector p18 to the gain calculation unit 23, and the spread vector calculation process based on the spread three-dimensional vector ends. Then, the process of step S42 in FIG. 8 ends, and thereafter, the process proceeds to step S13 in FIG.
  • step S86 the vector calculation unit 22 changes the azimuth of the spread vector p1 to the spread vector p18. That is, the vector calculation unit 22 performs the calculation of the above-described equation (3), corrects the azimuth of each spread vector, and obtains a final spread vector.
  • the vector calculation unit 22 supplies the spread vector p0 to the spread vector p18 to the gain calculation unit 23, and the spread vector calculation process based on the spread three-dimensional vector ends. Then, the process of step S42 in FIG. 8 ends, and thereafter, the process proceeds to step S13 in FIG.
  • the speech processing apparatus 11 calculates each spread vector by the spread three-dimensional vector method. As a result, the shape of the object and the directivity of the sound of the object can be expressed, and higher quality sound can be obtained.
  • step S111 is the same as the process of step S81 of FIG. 9, the description is abbreviate
  • step S112 the vector calculation unit 22 calculates the spread vector p0 to the spread vector p18 based on the spread center vector and the spread included in the metadata supplied from the acquisition unit 21.
  • the vector calculation unit 22 sets the position indicated by the spread center vector as the center position p0, and sets the vector indicating the center position p0 as the spread vector p0. Further, the vector calculation unit 22 obtains the spread vectors p1 to p18 so as to be symmetrical vertically and horizontally within an area determined by the angle indicated by the spread on the unit sphere with the center position p0 as the center. These spread vectors p1 to p18 are basically obtained in the same manner as in the MPEG-H 3D Audio standard.
  • the vector calculation unit 22 supplies the vector p obtained by the above processing and the spread vectors p0 to p18 to the gain calculation unit 23, and the spread vector calculation process based on the spread center vector ends. Then, the process of step S44 in FIG. 8 ends, and thereafter, the process proceeds to step S13 in FIG.
  • the speech processing apparatus 11 calculates the vector p and each spread vector by the spread center vector method. As a result, the shape of the object and the directivity of the sound of the object can be expressed, and higher quality sound can be obtained.
  • the spread vector p0 may not be supplied to the gain calculation unit 23. That is, the VBAP gain may not be calculated for the spread vector p0.
  • step S141 is the same as the process of step S81 of FIG. 9, the description is abbreviate
  • step S142 the vector calculation unit 22 calculates the center position p0, that is, the vector p0, based on the spread end vector included in the metadata supplied from the acquisition unit 21. Specifically, the vector calculation unit 22 calculates the center position p0 by calculating Equation (4) described above.
  • step S143 the vector calculation unit 22 calculates spread based on the spread end vector. Specifically, the vector calculation unit 22 calculates spread by calculating Equation (5) described above.
  • step S144 the vector calculation unit 22 calculates the spread vector p0 to the spread vector p18 based on the center position p0 and the spread.
  • the vector p0 indicating the center position p0 is directly used as the spread vector p0.
  • the image is symmetrical in the vertical and horizontal directions within the region determined by the angle indicated by the spread on the unit sphere with the center position p0 as the center.
  • Each spread vector is calculated so that
  • step S145 the vector calculation unit 22 determines whether or not (spread left end azimuth ⁇ spread right end azimuth) ⁇ (spread upper end elevation ⁇ spread lower end elevation), that is, (spread left end azimuth ⁇ spread right end azimuth) is (spread upper end elevation). -Spread lower end elevation) is determined.
  • step S146 the vector calculation unit 22 calculates the elevation of the spread vectors p1 to p18. change. That is, the vector calculation unit 22 performs the calculation of Equation (6) described above, corrects the elevation of each spread vector, and obtains a final spread vector.
  • the vector calculation unit 22 supplies the spread vector p0 to spread vector p18 and the vector p to the gain calculation unit 23, and the spread vector calculation process based on the spread end vector ends. . Then, the process of step S46 in FIG. 8 ends, and thereafter, the process proceeds to step S13 in FIG.
  • step S147 the vector calculation unit 22 determines the spread vectors p1 to spread vectors. Change azimuth of p18. That is, the vector calculation unit 22 performs the calculation of Equation (7) described above, corrects the azimuth of each spread vector, and obtains a final spread vector.
  • the vector calculation unit 22 supplies the spread vector p0 to spread vector p18 and the vector p to the gain calculation unit 23, and the spread vector calculation process based on the spread end vector ends. . Then, the process of step S46 in FIG. 8 ends, and thereafter, the process proceeds to step S13 in FIG.
  • the speech processing apparatus 11 calculates each spread vector by the spread end vector method. As a result, the shape of the object and the directivity of the sound of the object can be expressed, and higher quality sound can be obtained.
  • the spread vector p0 may not be supplied to the gain calculation unit 23. That is, the VBAP gain may not be calculated for the spread vector p0.
  • step S171 is the same as the process of step S81 of FIG. 9, the description is abbreviate
  • step S172 the vector calculation unit 22 calculates the spread vector p0 to the spread vector p18 based on the object position p and the spread radiation vector and spread included in the metadata supplied from the acquisition unit 21.
  • the vector calculation unit 22 sets the position indicated by the vector obtained by adding the vector p indicating the object position p and the spread radiation vector as the center position p0.
  • the vector indicating the center position p0 is the vector p0, and the vector calculation unit 22 sets the vector p0 as it is as the spread vector p0.
  • the vector calculation unit 22 obtains the spread vectors p1 to p18 so as to be vertically and horizontally symmetrical within a region determined by the angle indicated by the spread on the unit spherical surface with the center position p0 as the center.
  • These spread vectors p1 to p18 are basically obtained in the same manner as in the MPEG-H 3D Audio standard.
  • the vector calculation unit 22 supplies the vector p obtained by the above processing and the spread vectors p0 to p18 to the gain calculation unit 23, and the spread vector calculation process based on the spread radiation vector ends. Then, the process of step S48 in FIG. 8 ends, and then the process proceeds to step S13 in FIG.
  • the speech processing apparatus 11 calculates the vector p and each spread vector by the spread radiation vector method. As a result, the shape of the object and the directivity of the sound of the object can be expressed, and higher quality sound can be obtained.
  • the spread vector p0 may not be supplied to the gain calculation unit 23. That is, the VBAP gain may not be calculated for the spread vector p0.
  • step S201 is the same as the process of step S81 of FIG. 9, the description is abbreviate
  • step S202 the vector calculation unit 22 calculates a spread vector based on the spread vector number information and the spread vector position information included in the metadata supplied from the acquisition unit 21.
  • the vector calculation unit 22 calculates, as a spread vector, a vector having an origin O as a start point and an end point at a position indicated by the spread vector position information.
  • a spread vector a vector having an origin O as a start point and an end point at a position indicated by the spread vector position information.
  • the vector calculation unit 22 supplies the vector p obtained by the above process and the spread vector to the gain calculation unit 23, and the spread vector calculation process based on the spread vector position information is completed. Then, the process of step S49 in FIG. 8 ends, and then the process proceeds to step S13 in FIG.
  • the speech processing apparatus 11 calculates the vector p and each spread vector by the arbitrary spread vector method. As a result, the shape of the object and the directivity of the sound of the object can be expressed, and higher quality sound can be obtained.
  • VBAP is known as a technique for controlling localization of a sound image using a plurality of speakers, that is, performing a rendering process.
  • VBAP by outputting sound from three speakers, the sound image can be localized at any one point inside the triangle composed of these three speakers.
  • a triangle composed of such three speakers will be referred to as a mesh.
  • rendering processing by VBAP is performed for each object, for example, when the number of objects is large, such as a game, the amount of rendering processing increases. For this reason, a renderer with a small hardware scale cannot render all objects, and as a result, only a limited number of object sounds may be reproduced. If it does so, presence and sound quality may be impaired at the time of audio
  • the amount of rendering processing can be reduced while suppressing deterioration in the sense of presence and sound quality.
  • the number of speakers for which the VBAP gain is substantially calculated is three, and the VBAP gain of each speaker is calculated for each sample constituting the audio signal. X3) multiplications are performed.
  • processing for rendering processing is performed by appropriately combining VBAP gain equal gain processing, that is, VBAP gain quantization processing, and mesh number switching processing for changing the number of meshes used when calculating VBAP gain. The amount was reduced.
  • Quantization processing First, the quantization process will be described. Here, binarization processing and ternarization processing will be described as examples of quantization processing.
  • the VBAP gain obtained for each speaker by the process A1 is binarized.
  • the VBAP gain of each speaker is set to either 0 or 1.
  • the method for binarizing the VBAP gain may be any method such as rounding, sealing (rounding up), flooring (rounding down), threshold processing, and the like.
  • the final VBAP gain of each speaker excludes 0 as in the case of the above-described quantization of the spread vector. And one way. That is, when the VBAP gain is binarized, the final VBAP gain value of each speaker is either 0 or a predetermined value.
  • the VBAP gain obtained for each speaker may be ternarized.
  • the VBAP gain obtained for each speaker by the process A1 is ternarized to be any value of 0, 0.5, or 1.
  • processing A2 and processing A3 are performed, and an audio signal of each speaker is generated.
  • the processing amount of the rendering process can be significantly reduced.
  • the VBAP gain may be quantized to a value of 4 or more.
  • the VBAP gain is quantized so as to be any one of x gains of 2 or more, that is, if the VBAP gain is quantized by the quantization number x, the number of multiplication processes in the process A3 is maximum ( x-1) times.
  • the amount of rendering processing can be reduced by quantizing the VBAP gain. If the amount of rendering processing is reduced in this way, it is possible to render all objects even when the number of objects is large. Therefore, it is possible to minimize the presence and deterioration of sound quality during audio playback. Can do. That is, it is possible to reduce the amount of rendering processing while suppressing deterioration of the sense of reality and sound quality.
  • the vector p indicating the position p of the sound image of the object to be processed is the linearity of the vectors l 1 to l 3 facing the directions of the three speakers SP1 to SP3.
  • Coefficients g 1 to g 3 represented by the sum and multiplied by these vectors are used as the VBAP gain of each speaker.
  • a triangular area TR11 surrounded by the speakers SP1 to SP3 is one mesh.
  • Equation (8) p 1 , p 2 , and p 3 are orthogonal coordinate systems indicating the position p of the sound image of the object, that is, the x coordinate, y coordinate, and z on the three-dimensional coordinate system shown in FIG. The coordinates are shown.
  • l 11 , l 12 , and l 13 are an x component, a y component when the vector l 1 directed to the first speaker SP1 constituting the mesh is decomposed into x axis, y axis, and z axis components, And z component values, which correspond to the x, y, and z coordinates of the first speaker SP1.
  • l 21 , l 22 , and l 23 are x components when the vector l 2 directed to the second speaker SP2 constituting the mesh is decomposed into x-axis, y-axis, and z-axis components, y It is the value of the component and the z component.
  • l 31 , l 32 , and l 33 are an x component and a y component when the vector l 3 directed to the third speaker SP3 constituting the mesh is decomposed into x axis, y axis, and z axis components. , And z component values.
  • a plurality of speakers are arranged on the unit sphere, and one of the plurality of speakers constitutes one mesh.
  • the entire surface of the unit sphere is covered with a plurality of meshes without gaps.
  • Each mesh is determined so as not to overlap each other.
  • VBAP if sound is output from two or three speakers constituting one mesh including the position p of the object among the speakers arranged on the surface of the unit sphere, the sound image can be localized at the position p. Therefore, the VBAP gains other than the speakers constituting the mesh are zero.
  • the VBAP gain it is only necessary to specify one mesh including the position p of the object and calculate the VBAP gain of the speaker constituting the mesh. For example, whether or not the predetermined mesh is a mesh including the position p can be determined from the calculated VBAP gain.
  • the mesh is a mesh including the position p of the object.
  • one of the VBAP gains of each of the three speakers has a negative value, the position p of the object is located outside the mesh composed of those speakers.
  • the VBAP gain given is not the correct VBAP gain.
  • each mesh is selected one by one as a processing target mesh, and the calculation of the above-described equation (8) is performed on the processing target mesh, and each speaker constituting the mesh is calculated.
  • VBAP gain is calculated.
  • the mesh to be processed is a mesh including the position p of the object, and if it is determined that the mesh does not include the position p, the next mesh is The same processing is performed with a new mesh to be processed.
  • the VBAP gain of the speaker constituting the mesh is set as the calculated VBAP gain, and the other speakers The VBAP gain is set to zero. As a result, the VBAP gains of all speakers are obtained.
  • the process of calculating the VBAP gain and the process of specifying the mesh including the position p are performed simultaneously.
  • a mesh to be processed is selected and a VBAP gain of the mesh is calculated until a VBAP gain of each speaker constituting the mesh has a value of 0 or more. The process is repeated.
  • the mesh is not formed (configured) using all the speakers in the actual reproduction environment, but the mesh is formed using only some of the speakers.
  • the total number of meshes has been reduced to reduce the amount of processing during rendering. That is, in the present technology, the mesh number switching process for changing the total number of meshes is performed.
  • a total of 22 speakers SPK1 to SPK22 are arranged as speakers of each channel on the surface of a unit sphere.
  • the origin O corresponds to the origin O shown in FIG.
  • the processing amount when calculating the VBAP gain may be 8/40 times that in the case where the mesh is formed using all the 22 speakers shown in FIG. The amount of processing can be greatly reduced.
  • the vertical direction vertical direction as viewed from the user at the origin O, that is, the vertical direction
  • the vertical direction vertical direction
  • FIG. 16 a case is considered where a mesh is formed using part or all of the five speakers SP1 to SP5 arranged on the surface of the unit sphere.
  • portions corresponding to those in FIG. 3 are denoted by the same reference numerals, and description thereof is omitted.
  • the number of meshes is three. That is, each of the three areas, a triangular area surrounded by the speakers SP1 to SP3, a triangular area surrounded by the speakers SP2 to SP4, and a triangular area surrounded by the speakers SP2, SP4, and SP5, is a mesh. Is done.
  • the mesh is not a triangle but a two-dimensional arc.
  • the sound image of the object can be localized only on the arc connecting the speakers SP1 and SP2 or the arc connecting the speakers SP2 and SP5 in the unit sphere.
  • the speakers used to form the mesh are all the same height in the vertical direction, that is, the speakers in the same layer, the localization positions of the sound images of all objects will be the same height. Will deteriorate.
  • the speaker SP1 and the speakers SP3 to SP5 are used among the speakers SP1 to SP5, two meshes can be formed so as to cover the entire surface of the unit sphere.
  • the speaker SP1 and the speaker SP5, and the speaker SP3 and the speaker SP4 are located at different heights.
  • a triangular area surrounded by the speakers SP1, SP3, and SP4 and a triangular area surrounded by the speakers SP1, SP4, and SP5 may be meshed. Is possible.
  • the sound image can be localized at an arbitrary position on the surface of the unit sphere in any case, it is possible to suppress the deterioration of the sense of reality.
  • a so-called top speaker positioned directly above the user is necessarily used.
  • the top speaker is the speaker SPK19 shown in FIG.
  • the processing amount of the rendering process can be reduced, and the realistic feeling and sound quality at the time of sound reproduction can be reduced as in the case of the quantization process. Deterioration can be kept small. That is, it is possible to reduce the amount of rendering processing while suppressing deterioration of the sense of reality and sound quality.
  • Selecting whether or not to perform such a mesh number switching process and how many meshes are to be selected in the mesh number switching process is to select the total number of meshes used to calculate the VBAP gain. It can be said.
  • any of the processes described as the quantization process or the mesh number switching process may be used in a fixed manner, or the processes may be switched or the processes may be appropriately performed. They may be combined.
  • what kind of processing is combined is determined based on the total number of objects (hereinafter referred to as the number of objects), importance information included in the object metadata, sound pressure of the audio signal of the object, and the like. You can make it. Further, the combination of processes, that is, the switching of processes can be performed for each object or for each frame of an audio signal.
  • the mesh number switching process may be performed according to the number of objects to appropriately change the total number of meshes.
  • the total number of meshes may be 8, and if the number of objects is less than 10, the total number of meshes may be 40. Further, the total number of meshes may be changed in multiple stages according to the number of objects so that the total number of meshes decreases as the number of objects increases.
  • processing when processing is switched based on importance information included in object metadata, the following processing can be performed.
  • the importance information of the object is the highest value indicating the highest importance
  • only the processes A1 to A3 are performed as usual, and the importance information of the object is a value other than the highest value.
  • the binarization process for the VBAP gain is performed.
  • the mesh number switching process may be performed according to the value of the importance level information of the object, and the total number of meshes may be changed appropriately.
  • the higher the importance of the object the greater the total number of meshes, and the total number of meshes can be changed in multiple stages.
  • processing can be switched for each object based on importance information of each object.
  • the sound quality can be increased for objects with high importance, and the sound quality can be decreased for objects with low importance to reduce the processing amount. Therefore, when the sound of objects of various importance levels is played back at the same time, the amount of processing can be reduced by suppressing the deterioration of sound quality most perceptually, and this is a technique that balances ensuring sound quality and reducing the amount of processing. It can be said.
  • an object with low importance that is, an object whose importance information value is less than a predetermined value
  • an object with high importance that is, the importance information value is greater than or equal to a predetermined value.
  • a certain object may have a larger total number of meshes or may not perform quantization processing.
  • the total number of meshes is set to 40 for the object having the highest importance level information, and the total number of meshes is reduced for the object having the highest importance level information.
  • the total number of meshes may be increased as the distance between the object and the object having the highest importance information is shorter.
  • the user listens to the sound of a highly important object with particular care, so if the sound quality of other objects near the object is low, the user feels the sound quality of the entire content is not good . Therefore, by determining the total number of meshes so that the object close to the highly important object has as good a sound quality as possible, it is possible to suppress deterioration in sound quality on hearing.
  • the processing may be switched according to the sound pressure of the audio signal of the object.
  • the sound pressure of the audio signal can be obtained by calculating the square root of the mean square value of the sample values of each sample in the frame to be rendered of the audio signal. That is, the sound pressure RMS can be obtained by calculation of the following equation (10).
  • N indicates the number of samples constituting the frame of the audio signal
  • the total number of meshes may be changed appropriately by performing a mesh number switching process according to the sound pressure RMS of the audio signal of the object.
  • the larger the sound pressure RMS the larger the total number of meshes, and the total number of meshes can be changed in multiple stages.
  • a combination of quantization processing and mesh number switching processing may be selected according to the number of objects, importance information, and sound pressure RMS.
  • the VBAP gain may be calculated by processing according to the selection result. In such a case, for example, the following processing can be performed.
  • the total number of meshes is set to 10 for all objects, and further binarization processing is performed.
  • the processing amount is reduced by reducing the total number of meshes and performing binarization processing. As a result, even when the hardware scale of the renderer is small, all objects can be rendered.
  • the number of objects is less than 10, the value of importance information is not the highest value, and the sound pressure RMS is -30 dB or more, the total number of meshes is set to 10 and further ternarization processing is performed. To be done. As a result, the amount of processing during rendering processing can be reduced to the extent that sound quality degradation is not noticeable for speech with low importance but high sound pressure.
  • the total number of meshes is set to five, and further two values Process is performed. Thereby, it is possible to sufficiently reduce the processing amount at the time of rendering processing for the sound with low importance and low sound pressure.
  • the rendering processing amount is reduced so that all objects can be rendered.
  • appropriate processing is selected for each object and rendering is performed. To do. Accordingly, it is possible to reproduce sound with sufficient sound quality with a small amount of processing as a whole while balancing the securing of sound quality and the reduction of processing amount for each object.
  • FIG. 17 is a diagram illustrating a specific configuration example of such a speech processing apparatus.
  • the same reference numerals are given to portions corresponding to those in FIG. 6, and description thereof will be omitted as appropriate.
  • the 17 has the acquisition part 21, the gain calculation part 23, and the gain adjustment part 71.
  • the gain calculation unit 23 receives the object metadata and the audio signal from the acquisition unit 21, calculates the VBAP gain for each speaker 12 for each object, and supplies the VBAP gain to the gain adjustment unit 71.
  • the gain calculation unit 23 includes a quantization unit 31 that performs quantization of the VBAP gain.
  • the gain adjustment unit 71 generates an audio signal for each speaker 12 by multiplying the audio signal supplied from the acquisition unit 21 by the VBAP gain for each speaker 12 supplied from the gain calculation unit 23 for each object. , Supplied to the speaker 12.
  • the acquisition unit 21 is supplied with the audio signal and metadata of the object for each frame for one or a plurality of objects, and the reproduction process is performed for each frame of the audio signal for each object. To do.
  • step S231 the acquisition unit 21 acquires the audio signal and metadata of the object from the outside, supplies the audio signal to the gain calculation unit 23 and the gain adjustment unit 71, and supplies the metadata to the gain calculation unit 23.
  • the acquisition unit 21 also acquires the number of objects that simultaneously reproduce sound in the processing target frame, that is, information indicating the number of objects, and supplies the acquired information to the gain calculation unit 23.
  • step S232 the gain calculation unit 23 determines whether the number of objects is 10 or more based on the information indicating the number of objects supplied from the acquisition unit 21.
  • step S233 the gain calculation unit 23 sets the total number of meshes used when calculating the VBAP gain to 10. That is, the gain calculation unit 23 selects 10 as the total number of meshes.
  • the gain calculation unit 23 selects a predetermined number of speakers 12 from among all the speakers 12 so that meshes are formed on the unit sphere surface by the total number of meshes selected. Then, the gain calculation unit 23 uses ten meshes on the surface of the unit sphere formed from the selected speaker 12 as meshes used when calculating the VBAP gain.
  • the gain calculating unit 23 includes object position information included in the arrangement position information indicating the arrangement positions of the speakers 12 constituting the ten meshes defined in step S233 and the metadata supplied from the acquisition unit 21.
  • the VBAP gain of each speaker 12 is calculated by VBAP based on the position information indicating the position of the speaker 12.
  • the gain calculation unit 23 calculates the VBAP gain of each speaker 12 by performing the calculation of Expression (8) using the meshes determined in step S233 in order as the meshes to be processed. At this time, as described above, until the VBAP gains calculated for the three speakers 12 constituting the processing target mesh are all 0 or more, the new mesh is set as the processing target mesh, and the VBAP gain is calculated. It will be done.
  • step S235 the quantization unit 31 binarizes the VBAP gain of each speaker 12 obtained in step S234, and then the process proceeds to step S246.
  • step S232 If it is determined in step S232 that the number of objects is less than 10, the process proceeds to step S236.
  • step S236 the gain calculation unit 23 determines whether the value of the importance information of the object included in the metadata supplied from the acquisition unit 21 is the highest value. For example, when the value of the importance information is a numerical value “7” indicating that the importance is the highest, it is determined that the importance information is the highest value.
  • step S236 If it is determined in step S236 that the importance level information is the highest value, the process proceeds to step S237.
  • step S237 the gain calculation unit 23 calculates the VBAP gain of each speaker 12 based on the arrangement position information indicating the arrangement position of each speaker 12 and the position information included in the metadata supplied from the acquisition unit 21. Thereafter, the process proceeds to step S246.
  • meshes formed from all the speakers 12 are sequentially set as meshes to be processed, and the VBAP gain is calculated by the calculation of Expression (8).
  • the gain calculation unit 23 calculates the sound pressure RMS of the audio signal supplied from the acquisition unit 21 in step S238. Specifically, the calculation of Equation (10) described above is performed on the frame of the audio signal to be processed, and the sound pressure RMS is calculated.
  • step S239 the gain calculation unit 23 determines whether or not the sound pressure RMS calculated in step S238 is ⁇ 30 dB or more.
  • Step S239 when it is determined that the sound pressure RMS is ⁇ 30 dB or more, the processes of Step S240 and Step S241 are performed thereafter.
  • the process of these step S240 and step S241 is the same as the process of step S233 and step S234, the description is abbreviate
  • step S242 the quantization unit 31 ternizes the VBAP gain of each speaker 12 obtained in step S241, and then the process proceeds to step S246.
  • step S239 If it is determined in step S239 that the sound pressure RMS is less than ⁇ 30 dB, the process proceeds to step S243.
  • step S243 the gain calculation unit 23 sets the total number of meshes used when calculating the VBAP gain to 5.
  • the gain calculation unit 23 selects a predetermined number of speakers 12 from among all the speakers 12 according to the total number “5” of the selected meshes, and 5 on the surface of the unit sphere formed from the selected speakers 12. Each mesh is used as a mesh used when calculating the VBAP gain.
  • step S244 and step S245 are performed, and the processing proceeds to step S246.
  • the process of these step S244 and step S245 is the same as the process of step S234 and step S235, the description is abbreviate
  • step S235 When the processing of step S235, step S237, step S242, or step S245 is performed and the VBAP gain of each speaker 12 is obtained, then the processing of step S246 to step S248 is performed, and the reproduction processing ends.
  • step S248 the audio signal of each speaker 12 obtained for each object is supplied to those speakers 12. That is, the speaker 12 reproduces sound based on the signal obtained by adding the audio signals of the respective objects. As a result, the sounds of all objects are output simultaneously.
  • the sound processing device 61 selectively performs the quantization process and the mesh number switching process appropriately for each object. By doing so, it is possible to reduce the amount of rendering processing while suppressing deterioration of the presence and sound quality.
  • the voice processing device 11 is configured as shown in FIG. 19, for example.
  • FIG. 19 the same reference numerals are given to the portions corresponding to those in FIG. 6 or FIG. 17, and description thereof will be omitted as appropriate.
  • 19 includes an acquisition unit 21, a vector calculation unit 22, a gain calculation unit 23, and a gain adjustment unit 71.
  • the acquisition unit 21 acquires the audio signal and metadata of the object for one or a plurality of objects, supplies the acquired audio signal to the gain calculation unit 23 and the gain adjustment unit 71, and uses the acquired metadata as a vector calculation unit. 22 and the gain calculator 23. Further, the gain calculation unit 23 includes a quantization unit 31.
  • the acquisition unit 21 is supplied with the audio signal and metadata of the object for each frame for one or a plurality of objects, and the reproduction process is performed for each frame of the audio signal for each object. To do.
  • step S271 and step S272 are the same as the processing of step S11 and step S12 of FIG. 7, the description thereof is omitted.
  • step S271 the audio signal acquired by the acquisition unit 21 is supplied to the gain calculation unit 23 and the gain adjustment unit 71, and the metadata acquired by the acquisition unit 21 is supplied to the vector calculation unit 22 and the gain calculation unit 23. Supplied.
  • step S271 and step S272 When the processing of step S271 and step S272 is performed, a spread vector, or a spread vector and a vector p are obtained.
  • step S273 the gain calculation unit 23 performs a VBAP gain calculation process to calculate a VBAP gain for each speaker 12.
  • a quantization process and a mesh number switching process are selectively performed as appropriate, and the VBAP gain of each speaker 12 is calculated.
  • step S273 When the processing of step S273 is performed and the VBAP gain of each speaker 12 is obtained, then the processing of step S274 to step S276 is performed and the reproduction processing ends, but these processing are performed in steps S17 to S17 of FIG. Since it is the same as the process of step S19, the description is abbreviate
  • the reproduction process is performed on each object substantially simultaneously, and in step S276, the audio signal of each speaker 12 obtained for each object is supplied to those speakers 12. For this reason, the sound of all objects is simultaneously output from the speaker 12.
  • the speech processing apparatus 11 selectively performs the quantization process and the mesh number switching process appropriately for each object. In this way, even when processing for expanding the sound image is performed, it is possible to reduce the amount of rendering processing while suppressing deterioration in the sense of reality and sound quality.
  • step S303 the VBAP gain is calculated for each speaker 12 with respect to the spread vector or each of the spread vector and the vector p.
  • step S304 the gain calculation unit 23 adds the VBAP gain calculated for each vector for each speaker 12, and calculates a VBAP gain addition value.
  • step S304 the same process as step S14 of FIG. 7 is performed.
  • step S305 the quantization unit 31 binarizes the VBAP gain addition value obtained for each speaker 12 by the process of step S304, and the VBAP gain calculation process ends. Thereafter, the process proceeds to step S274 of FIG. move on.
  • step S301 If it is determined in step S301 that the number of objects is less than 10, the processes in steps S306 and S307 are performed.
  • step S306 and step S307 are the same as the process of step S236 and step S237 of FIG. 18, the description is abbreviate
  • the VBAP gain is calculated for each speaker 12 with respect to the spread vector or each of the spread vector and the vector p.
  • step S307 when the process of step S307 is performed, the process of step S308 is performed and the VBAP gain calculation process is terminated, and then the process proceeds to step S274 of FIG. 20, but the process of step S308 is the process of step S304. Since this is the same, the description thereof is omitted.
  • step S306 when it is determined in step S306 that the importance level information is not the highest value, the processes in steps S309 to S312 are performed thereafter. These processes are the same as the processes in steps S238 to S241 in FIG. Since there is, explanation is omitted. However, in step S312, the VBAP gain is calculated for each speaker 12 with respect to the spread vector or each vector of the spread vector and the vector p.
  • step S313 is performed to calculate the VBAP gain addition value, but the process of step S313 is the same as the process of step S304. Therefore, the description is omitted.
  • step S314 the quantization unit 31 ternarizes the VBAP gain addition value obtained for each speaker 12 by the process of step S313 and ends the VBAP gain calculation process. Thereafter, the process proceeds to step S274 of FIG. move on.
  • step S310 when it is determined in step S310 that the sound pressure RMS is less than ⁇ 30 dB, the process in step S315 is performed, and the total number of meshes used when calculating the VBAP gain is set to 5. Note that the processing in step S315 is the same as the processing in step S243 in FIG.
  • step S316 to step S318 When the mesh used at the time of VBAP gain calculation is determined, the processing from step S316 to step S318 is performed, the VBAP gain calculation processing is terminated, and then the processing proceeds to step S274 in FIG. Note that the processing in these steps S316 to S318 is the same as the processing in steps S303 to S305, and thus the description thereof is omitted.
  • the speech processing apparatus 11 selectively performs the quantization process and the mesh number switching process appropriately for each object. In this way, even when processing for expanding the sound image is performed, it is possible to reduce the amount of rendering processing while suppressing deterioration in the sense of reality and sound quality.
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 22 is a block diagram illustrating a configuration example of hardware of a computer that executes the above-described series of processes by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 505 is further connected to the bus 504.
  • An input unit 506, an output unit 507, a recording unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes a keyboard, a mouse, a microphone, an image sensor, and the like.
  • the output unit 507 includes a display, a speaker, and the like.
  • the recording unit 508 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 509 includes a network interface or the like.
  • the drive 510 drives a removable recording medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads the program recorded in the recording unit 508 to the RAM 503 via the input / output interface 505 and the bus 504 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 501) can be provided by being recorded in a removable recording medium 511 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 508 via the input / output interface 505 by attaching the removable recording medium 511 to the drive 510. Further, the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the recording unit 508. In addition, the program can be installed in the ROM 502 or the recording unit 508 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the present technology can be configured as follows.
  • a vector calculation unit that calculates a spread vector indicating a position in the region based on a horizontal angle and a vertical angle with respect to a region representing a spread of the sound image determined by the sound image information;
  • a speech processing apparatus comprising: a gain calculating unit that calculates gains of audio signals supplied to two or more audio output units located in the vicinity of the position indicated by the position information based on the spread vector.
  • the speech processing apparatus calculates a predetermined number of the spread vectors.
  • the vector calculation unit calculates an arbitrary number of spread vectors that are variable.
  • the sound processing apparatus wherein the sound image information is a vector indicating a center position of the region.
  • the sound image information is a two-dimensional or higher vector indicating a degree of spread of the sound image from the center of the region.
  • the sound processing apparatus wherein the sound image information is a vector indicating a relative position of a center position of the region viewed from a position indicated by the position information.
  • the gain calculator is For each audio output unit, calculate the gain for each spread vector, For each audio output unit, calculate the gain addition value calculated for each spread vector, For each audio output unit, the added value is quantized to a gain of 2 or more, The audio processing device according to any one of (1) to (7), wherein a final gain is calculated for each audio output unit based on the quantized addition value.
  • the gain calculation unit is a mesh that is an area surrounded by the three audio output units, selects the number of meshes used for the calculation of the gain, and based on the selection result of the number of meshes and the spread vector.
  • the gain calculation unit selects the number of meshes used for the calculation of the gain, whether to perform the quantization, and the quantization number of the added value at the time of the quantization, and according to the selection result, the gain calculation unit The audio processing device according to (9), wherein the final gain is calculated.
  • the gain calculation unit selects the number of meshes used for calculation of the gain, whether to perform the quantization, and the number of quantizations based on the importance of the audio object (10) or (11 ).
  • the gain calculation unit determines the number of the meshes used for the gain calculation so that the number of the meshes used for the gain calculation increases as the audio object is located closer to the audio object having the higher importance.
  • the voice processing device according to (12).
  • the gain calculation unit selects the number of meshes used for calculating the gain, whether to perform the quantization, and the quantization number based on the sound pressure of the audio signal of the audio object.
  • the sound processing device according to any one of (13) to (13).
  • the gain calculation unit selects three or more audio output units including the audio output units located at different heights from among the plurality of audio output units according to the selection result of the number of meshes,
  • the voice processing device according to any one of (9) to (14), wherein the gain is calculated based on one or a plurality of the meshes formed from the selected voice output unit.
  • An acquisition unit that acquires metadata including position information indicating a position of the audio object; A mesh that is an area surrounded by three audio output units, the number of meshes used for calculating the gain of the audio signal supplied to the audio output unit is selected, and the selection result of the number of meshes and the position information And a gain calculation unit that calculates the gain based on the above.
  • 11 voice processing device 21 acquisition unit, 22 vector calculation unit, 23 gain calculation unit, 24 gain adjustment unit, 31 quantization unit, 61 voice processing unit, 71 gain adjustment unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)

Abstract

　本技術は、より高品質な音声を得ることができるようにする音声処理装置および方法、並びにプログラムに関する。 取得部は、オブジェクトのオーディオ信号とメタデータを取得する。ベクトル算出部は、オブジェクトのメタデータに含まれている、音像の広がりを示す水平方向角度および垂直方向角度に基づいて、音像の広がりを示す領域内の位置を示すspreadベクトルを算出する。ゲイン算出部は、spreadベクトルに基づいて、VBAPにより各スピーカについてオーディオ信号のVBAPゲインを算出する。本技術は音声処理装置に適用することができる。

Description

音声処理装置および方法、並びにプログラム
　本技術は音声処理装置および方法、並びにプログラムに関し、特に、より高品質な音声を得ることができるようにした音声処理装置および方法、並びにプログラムに関する。
　従来、複数のスピーカを用いて音像の定位を制御する技術として、VBAP(Vector Base Amplitude Panning)が知られている（例えば、非特許文献１参照）。
　VBAPでは、３つのスピーカから音を出力することで、それらの３つのスピーカで構成される三角形の内側の任意の一点に音像を定位させることができる。
　しかしながら、実世界では、音像は一点に定位するのではなく、ある程度の広がりを持った部分空間に定位すると考えられる。例えば、人間の声は声帯から発せられるが、その振動は顔や体などに伝搬し、その結果、人間の体全体という部分空間から音声が発せられると考えられる。
　このような部分空間に音を定位させる技術、すなわち音像を広げる技術としてMDAP(Multiple Direction Amplitude Panning)が一般に知られている（例えば、非特許文献２参照）。また、このMDAPはMPEG(Moving Picture Experts Group)-H 3D Audio規格のレンダリング処理部でも使われている（例えば、非特許文献３参照）。
Ville Pulkki, "Virtual Sound Source Positioning Using Vector Base Amplitude Panning", Journal of AES, vol.45, no.6, pp.456-466, 1997 Ville Pulkki, "Uniform Spreading of Amplitude Panned Virtual Sources", Proc. 1999 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, New Paltz, New York, Oct. 17-20, 1999 ISO/IEC JTC1/SC29/WG11 N14747, August 2014, Sapporo, Japan, "Text of ISO/IEC 23008-3/DIS, 3D Audio"
　しかしながら、上述した技術では、十分に高品質な音声を得ることができなかった。
　例えばMPEG-H 3D Audio規格では、オーディオオブジェクトのメタデータにspreadと呼ばれる音像の広がり度合いを示す情報が含まれており、このspreadに基づいて音像を広げる処理が行われる。ところが、音像を広げる処理では、オーディオオブジェクトの位置を中心として音像の広がりが上下左右対称であるという制約がある。そのため、オーディオオブジェクトからの音声の指向性（放射方向）を考慮した処理を行うことができず、十分高品質な音声を得ることができなかった。
　本技術は、このような状況に鑑みてなされたものであり、より高品質な音声を得ることができるようにするものである。
　本技術の一側面の音声処理装置は、オーディオオブジェクトの位置を示す位置情報と、少なくとも２次元以上のベクトルからなる、前記位置からの音像の広がりを表す音像情報とを含むメタデータを取得する取得部と、前記音像情報により定まる音像の広がりを表す領域に関する水平方向角度および垂直方向角度に基づいて、前記領域内の位置を示すspreadベクトルを算出するベクトル算出部と、前記spreadベクトルに基づいて、前記位置情報により示される前記位置近傍に位置する２以上の音声出力部に供給されるオーディオ信号のそれぞれのゲインを算出するゲイン算出部とを備える。
　前記ベクトル算出部には、前記水平方向角度と前記垂直方向角度の比に基づいて、前記spreadベクトルを算出させることができる。
　前記ベクトル算出部には、予め定められた個数の前記spreadベクトルを算出させることができる。
　前記ベクトル算出部には、可変である任意の個数の前記spreadベクトルを算出させることができる。
　前記音像情報を、前記領域の中心位置を示すベクトルとすることができる。
　前記音像情報を、前記領域の中心からの音像の広がり度合いを示す２次元以上のベクトルとすることができる。
　前記音像情報を、前記位置情報により示される位置から見た前記領域の中心位置の相対的な位置を示すベクトルとすることができる。
　前記ゲイン算出部には、各前記音声出力部について、前記spreadベクトルごとに前記ゲインを算出させ、前記音声出力部ごとに、各前記spreadベクトルについて算出した前記ゲインの加算値を算出させ、前記音声出力部ごとに、前記加算値を２値以上のゲインに量子化させ、前記量子化された前記加算値に基づいて、前記音声出力部ごとに最終的な前記ゲインを算出させることができる。
　前記ゲイン算出部には、３つの前記音声出力部により囲まれる領域であるメッシュであって、前記ゲインの算出に用いるメッシュの数を選択させ、前記メッシュの数の選択結果と前記spreadベクトルとに基づいて、前記spreadベクトルごとに前記ゲインを算出させることができる。
　前記ゲイン算出部には、前記ゲインの算出に用いる前記メッシュの数、前記量子化を行うか否か、および前記量子化時における前記加算値の量子化数を選択させ、その選択結果に応じて前記最終的な前記ゲインを算出させることができる。
　前記ゲイン算出部には、前記オーディオオブジェクトの数に基づいて、前記ゲインの算出に用いる前記メッシュの数、前記量子化を行うか否か、および前記量子化数を選択させることができる。
　前記ゲイン算出部には、前記オーディオオブジェクトの重要度に基づいて、前記ゲインの算出に用いる前記メッシュの数、前記量子化を行うか否か、および前記量子化数を選択させることができる。
　前記ゲイン算出部には、前記重要度の高い前記オーディオオブジェクトに近い位置にある前記オーディオオブジェクトほど、前記ゲインの算出に用いる前記メッシュの数が多くなるように、前記ゲインの算出に用いる前記メッシュの数を選択させることができる。
　前記ゲイン算出部には、前記オーディオオブジェクトのオーディオ信号の音圧に基づいて、前記ゲインの算出に用いる前記メッシュの数、前記量子化を行うか否か、および前記量子化数を選択させることができる。
　前記ゲイン算出部には、前記メッシュの数の選択結果に応じて、複数の前記音声出力部のうち、互いに異なる高さに位置する前記音声出力部を含む３以上の前記音声出力部を選択させ、選択した前記音声出力部から形成される１または複数の前記メッシュに基づいて前記ゲインを算出させることができる。
　本技術の一側面の音声処理方法またはプログラムは、オーディオオブジェクトの位置を示す位置情報と、少なくとも２次元以上のベクトルからなる、前記位置からの音像の広がりを表す音像情報とを含むメタデータを取得し、前記音像情報により定まる音像の広がりを表す領域に関する水平方向角度および垂直方向角度に基づいて、前記領域内の位置を示すspreadベクトルを算出し、前記spreadベクトルに基づいて、前記位置情報により示される前記位置近傍に位置する２以上の音声出力部に供給されるオーディオ信号のそれぞれのゲインを算出するステップを含む。
　本技術の一側面においては、オーディオオブジェクトの位置を示す位置情報と、少なくとも２次元以上のベクトルからなる、前記位置からの音像の広がりを表す音像情報とを含むメタデータが取得され、前記音像情報により定まる音像の広がりを表す領域に関する水平方向角度および垂直方向角度に基づいて、前記領域内の位置を示すspreadベクトルが算出され、前記spreadベクトルに基づいて、前記位置情報により示される前記位置近傍に位置する２以上の音声出力部に供給されるオーディオ信号のそれぞれのゲインが算出される。
　本技術の一側面によれば、より高品質な音声を得ることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
VBAPについて説明する図である。 音像の位置について説明する図である。 spreadベクトルについて説明する図である。 spread中心ベクトル方式について説明する図である。 spread放射ベクトル方式について説明する図である。 音声処理装置の構成例を示す図である。 再生処理を説明するフローチャートである。 spreadベクトル算出処理を説明するフローチャートである。 spread3次元ベクトルに基づくspreadベクトル算出処理を説明するフローチャートである。 spread中心ベクトルに基づくspreadベクトル算出処理を説明するフローチャートである。 spread端ベクトルに基づくspreadベクトル算出処理を説明するフローチャートである。 spread放射ベクトルに基づくspreadベクトル算出処理を説明するフローチャートである。 spreadベクトル位置情報に基づくspreadベクトル算出処理を説明するフローチャートである。 メッシュ数の切り替えについて説明する図である。 メッシュ数の切り替えについて説明する図である。 メッシュの形成について説明する図である。 音声処理装置の構成例を示す図である。 再生処理を説明するフローチャートである。 音声処理装置の構成例を示す図である。 再生処理を説明するフローチャートである。 VBAPゲイン算出処理を説明するフローチャートである。 コンピュータの構成例を示す図である。
　以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第１の実施の形態〉
〈VBAPと音像を広げる処理について〉
　本技術は、オーディオオブジェクトのオーディオ信号と、そのオーディオオブジェクトの位置情報などのメタデータとを取得してレンダリングを行う場合に、より高品質な音声を得ることができるようにするものである。なお、以下では、オーディオオブジェクトを、単にオブジェクトとも称することとする。
　以下では、まずVBAP、およびMPEG-H 3D Audio規格における音像を広げる処理について説明する。
　例えば、図１に示すように、音声付の動画像や楽曲などのコンテンツを視聴するユーザＵ１１が、３つのスピーカＳＰ１乃至スピーカＳＰ３から出力される３チャンネルの音声をコンテンツの音声として聴いているとする。
　このような場合に、各チャンネルの音声を出力する３つのスピーカＳＰ１乃至スピーカＳＰ３の位置を示す情報を用いて、位置ｐに音像を定位させることを考える。
　例えば、ユーザＵ１１の頭部の位置を原点Ｏとする３次元座標系において、位置ｐを、原点Ｏを始点とする３次元のベクトル（以下、ベクトルｐとも称する）により表すこととする。また、原点Ｏを始点とし、各スピーカＳＰ１乃至スピーカＳＰ３の位置の方向を向く３次元のベクトルをベクトルｌ1乃至ベクトルｌ3とすると、ベクトルｐはベクトルｌ1乃至ベクトルｌ3の線形和によって表すことができる。
　すなわち、ｐ＝ｇ1ｌ1＋ｇ2ｌ2＋ｇ3ｌ3とすることができる。
　ここで、ベクトルｌ1乃至ベクトルｌ3に乗算されている係数ｇ1乃至係数ｇ3を算出し、これらの係数ｇ1乃至係数ｇ3を、スピーカＳＰ１乃至スピーカＳＰ３のそれぞれから出力する音声のゲインとすれば、位置ｐに音像を定位させることができる。
　このようにして、３つのスピーカＳＰ１乃至スピーカＳＰ３の位置情報を用いて係数ｇ1乃至係数ｇ3を求め、音像の定位位置を制御する手法は、３次元VBAPと呼ばれている。特に、以下では、係数ｇ1乃至係数ｇ3のようにスピーカごとに求められたゲインを、VBAPゲインと称することとする。
　図１の例では、スピーカＳＰ１、スピーカＳＰ２、およびスピーカＳＰ３の位置を含む球面上の三角形の領域ＴＲ１１内の任意の位置に音像を定位させることができる。ここで、領域ＴＲ１１は、原点Ｏを中心とし、スピーカＳＰ１乃至スピーカＳＰ３の各位置を通る球の表面上の領域であって、スピーカＳＰ１乃至スピーカＳＰ３により囲まれる３角形の領域である。
　このような３次元VBAPを用いれば、空間上の任意の位置に音像を定位させることができるようになる。なお、VBAPについては、例えば「Ville Pulkki, “Virtual Sound Source Positioning Using Vector Base Amplitude Panning”, Journal of AES, vol.45, no.6, pp.456-466, 1997」などに詳細に記載されている。
　次に、MPEG-H 3D Audio規格での音像を広げる処理について説明する。
　MPEG-H 3D Audio規格では、符号化装置からは、各オブジェクトのオーディオ信号を符号化して得られた符号化オーディオデータと、各オブジェクトのメタデータを符号化して得られた符号化メタデータとを多重化して得られたビットストリームが出力される。
　例えば、メタデータには、オブジェクトの空間上の位置を示す位置情報、オブジェクトの重要度を示す重要度情報、およびオブジェクトの音像の広がり度合いを示す情報であるspreadが含まれている。
　ここで、音像の広がり度合いを示すspreadは、0°から180°までの任意の角度とされ、符号化装置では、各オブジェクトについて、オーディオ信号のフレームごとに異なる値のspreadを指定することが可能である。
　また、オブジェクトの位置は水平方向角度azimuth、垂直方向角度elevation、および距離radiusにより表される。すなわち、オブジェクトの位置情報は水平方向角度azimuth、垂直方向角度elevation、および距離radiusの各値からなる。
　例えば、図２に示すように、図示せぬスピーカから出力される各オブジェクトの音声を聴いている視聴者の位置を原点Ｏとし、図中、右上方向、左上方向、および上方向を互いに垂直なｘ軸、ｙ軸、およびｚ軸の方向とする３次元座標系を考える。このとき、１つのオブジェクトの位置を位置OBJ11とすると、３次元座標系における位置OBJ11に音像を定位させればよい。
　また、位置OBJ11と原点Ｏとを結ぶ直線を直線Ｌとすると、ｘｙ平面上において直線Ｌとｘ軸とがなす図中、水平方向の角度θ（方位角）が、位置OBJ11にあるオブジェクトの水平方向の位置を示す水平方向角度azimuthとなり、水平方向角度azimuthは-180°≦azimuth≦180°を満たす任意の値とされる。
　例えばｘ軸方向の正の方向がazimuth＝０°とされ、ｘ軸方向の負の方向がazimuth＝+180°＝-180°とされる。また、原点Ｏを中心に反時計回りの方向がazimuthの＋方向とされ、原点Ｏを中心に時計回りの方向がazimuthの－方向とされる。
　さらに、直線Ｌとｘｙ平面とがなす角度、つまり図中、垂直方向の角度γ（仰角）が、位置OBJ11にあるオブジェクトの垂直方向の位置を示す垂直方向角度elevationとなり、垂直方向角度elevationは-90°≦elevation≦90°を満たす任意の値とされる。例えばｘｙ平面の位置がelevation＝０°とされ、図中、上方向が垂直方向角度elevationの＋方向とされ、図中、下方向が垂直方向角度elevationの－方向とされる。
　また、直線Ｌの長さ、つまり原点Ｏから位置OBJ11までの距離が視聴者までの距離radiusとされ、距離radiusは０以上の値とされる。すなわち、距離radiusは、０≦radius＜∞を満たす値とされる。以下では、距離radiusを半径方向の距離とも称する。
　なお、VBAPでは全てのスピーカやオブジェクトから視聴者までの距離radiusが同一であり、距離radiusを１に正規化して計算を行うのが一般的な方式である。
　このようにメタデータに含まれるオブジェクトの位置情報は、水平方向角度azimuth、垂直方向角度elevation、および距離radiusの各値からなる。
　以下では、水平方向角度azimuth、垂直方向角度elevation、および距離radiusを、単にazimuth、elevation、およびradiusとも称することとする。
　また、符号化オーディオデータと符号化メタデータとが含まれるビットストリームを受信した復号装置では、符号化オーディオデータと符号化メタデータの復号が行われた後、メタデータに含まれているspreadの値に応じて、音像を広げるレンダリング処理が行われる。
　具体的には、まず復号装置は、オブジェクトのメタデータに含まれる位置情報により示される空間上の位置を位置ｐとする。この位置ｐは、上述した図１の位置ｐに対応する。
　続いて、復号装置は、例えば図３に示すように位置ｐ＝中心位置ｐ０として、中心位置ｐ０を中心として単位球面上で上下左右対称になるように、１８個のspreadベクトルp1乃至spreadベクトルp18を配置する。なお、図３において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
　図３では、原点Ｏを中心とする半径１の単位球の球面上に５つのスピーカＳＰ１乃至スピーカＳＰ５が配置されており、位置情報により示される位置ｐが、中心位置ｐ０とされている。以下では、位置ｐを特にオブジェクト位置ｐとも称し、原点Ｏを始点とし、オブジェクト位置ｐを終点とするベクトルをベクトルｐとも称することとする。また、原点Ｏを始点とし、中心位置ｐ０を終点とするベクトルをベクトルｐ０とも称することとする。
　図３では、原点Ｏを始点とする、点線で描かれた矢印がspreadベクトルを表している。但し、実際にはspreadベクトルは１８個あるが、図３では、図を見やすくするためspreadベクトルが８個だけ描かれている。
　ここで、spreadベクトルp1乃至spreadベクトルp18のそれぞれは、その終点位置が中心位置ｐ０を中心とする単位球面上の円の領域Ｒ１１内に位置するベクトルとなっている。特に、領域Ｒ１１で表される円の円周上に終点位置があるspreadベクトルと、ベクトルｐ０とのなす角度がspreadにより示される角度となる。
　したがって、各spreadベクトルの終点位置は、spreadの値が大きくなるほど中心位置ｐ０から離れた位置に配置されることになる。つまり、領域Ｒ１１は大きくなる。
　この領域Ｒ１１は、オブジェクトの位置からの音像の広がりを表現している。換言すれば、領域Ｒ１１は、オブジェクトの音像が広がる範囲を示す領域となっている。さらにいえば、オブジェクトの音声は、オブジェクト全体から発せられると考えられるので、領域Ｒ１１はオブジェクトの形状を表しているともいうことができる。以下では、領域Ｒ１１のように、オブジェクトの音像が広がる範囲を示す領域を、音像の広がりを示す領域とも称することとする。
　また、spreadの値が０である場合には、１８個のspreadベクトルp1乃至spreadベクトルp18のそれぞれの終点位置は、中心位置ｐ０と等しくなる。
　なお、以下、spreadベクトルp1乃至spreadベクトルp18のそれぞれの終点位置を、特に位置ｐ１乃至位置ｐ１８とも称することとする。
　このようにして、単位球面上において上下左右対称なspreadベクトルが定められると、復号装置は、ベクトルｐと各spreadベクトルについて、つまり位置ｐと位置ｐ１乃至位置ｐ１８のそれぞれとについて、VBAPにより各チャンネルのスピーカごとにVBAPゲインを算出する。このとき、位置ｐや位置ｐ１など、それらの各位置に音像が定位するようにスピーカごとのVBAPゲインが算出される。
　そして、復号装置は各位置について算出したVBAPゲインをスピーカごとに加算する。例えば図３の例では、スピーカＳＰ１について算出された位置ｐおよび位置ｐ１乃至位置ｐ１８のそれぞれのVBAPゲインが加算される。
　さらに、復号装置は、スピーカごとに求まった加算処理後のVBAPゲインを正規化する。すなわち、全スピーカのVBAPゲインの２乗和が１となるように正規化が行われる。
　そして、復号装置は、正規化により得られた各スピーカのVBAPゲインを、オブジェクトのオーディオ信号に乗算して、それらのスピーカごとのオーディオ信号とし、スピーカごとに得られたオーディオ信号をスピーカに供給して音声を出力させる。
　これにより、例えば図３の例では、領域Ｒ１１全体から音声が出力されているように音像が定位する。つまり、音像が領域Ｒ１１全体に広がることになる。
　図３では、音像を広げる処理を行わない場合には、オブジェクトの音像は位置ｐに定位するので、この場合には、実質的にスピーカＳＰ２とスピーカＳＰ３から音声が出力される。これに対して、音像を広げる処理が行われた場合には、音像が領域Ｒ１１全体に広がるので、音声再生時には、スピーカＳＰ１乃至スピーカＳＰ４から音声が出力される。
　ところで、以上のような音像を広げる処理を行う場合には、音像を広げる処理を行わない場合と比べて、レンダリング時の処理量が多くなる。そうすると、復号装置で扱えるオブジェクトの数が減ったり、ハード規模の小さいレンダラが搭載された復号装置ではレンダリングを行うことができなくなったりする場合が生じてしまう。
　そこで、レンダリング時に音像を広げる処理を行う場合には、より少ない処理量でレンダリングを行うことができるようにすることが望ましい。
　また、上述した１８個のspreadベクトルは、中心位置ｐ０＝位置ｐを中心として、単位球面上で上下左右対称であるという制約があるため、オブジェクトの音の指向性（放射方向）やオブジェクトの形状を考慮した処理ができない。そのため、十分高品質な音声を得ることができなかった。
　さらに、MPEG-H 3D Audio規格では、レンダリング時に音像を広げる処理として、処理が１通りしか規定されていないため、レンダラのハード規模が小さい場合には、音像を広げる処理を行うことができなかった。つまり、音声の再生を行うことができなかった。
　また、MPEG-H 3D Audio規格では、レンダラのハード規模で許容される処理量内で、最大の品質の音声を得ることができるように、処理を切り替えてレンダリングを行うことができなかった。
　以上のような状況に鑑みて、本技術では、レンダリング時の処理量を削減できるようにした。また、本技術では、オブジェクトの指向性や形状を表現することで十分高品質な音声を得ることができるようにした。さらに、本技術では、レンダラのハード規模等に応じてレンダリング時の処理として適切な処理を選択し、許容される処理量の範囲で最も高い品質の音声を得ることができるようにした。
　以下、本技術の概要について説明する。
〈処理量の削減について〉
　まず、レンダリング時の処理量の削減について説明する。
　音像を広げない通常のVBAP処理（レンダリング処理）では、具体的に以下に示す処理Ａ１乃至処理Ａ３が行われる。
（処理Ａ１）
　３つのスピーカについて、オーディオ信号に乗算するVBAPゲインを算出する
（処理Ａ２）
　３つのスピーカのVBAPゲインの２乗和が１となるように正規化を行う
（処理Ａ３）
　オブジェクトのオーディオ信号にVBAPゲインを乗算する
　ここで、処理Ａ３では、３つのスピーカごとに、オーディオ信号に対するVBAPゲインの乗算処理が行われるため、このような乗算処理は最大で３回行われることになる。
　これに対して、音像を広げる処理を行う場合のVBAP処理（レンダリング処理）では、具体的に以下に示す処理Ｂ１乃至処理Ｂ５が行われる。
（処理Ｂ１）
　ベクトルｐについて、３つの各スピーカのオーディオ信号に乗算するVBAPゲインを算出する
（処理Ｂ２）
　１８個の各spreadベクトルについて、３つの各スピーカのオーディオ信号に乗算するVBAPゲインを算出する
（処理Ｂ３）
　スピーカごとに、各ベクトルについて求めたVBAPゲインを加算する
（処理Ｂ４）
　全スピーカのVBAPゲインの２乗和が１となるように正規化を行う
（処理Ｂ５）
　オブジェクトのオーディオ信号にVBAPゲインを乗算する
　音像を広げる処理を行った場合、音声を出力するスピーカの数は３以上となるので、処理Ｂ５では３回以上、乗算処理が行われることになる。
　したがって、音像を広げる処理を行う場合と行わない場合とを比較すると、音像を広げる処理を行う場合には、特に処理Ｂ２と処理Ｂ３の分だけ処理量が多くなり、また処理Ｂ５でも処理Ａ３よりも処理量が多くなる。
　そこで、本技術では、スピーカごとに求められた、各ベクトルのVBAPゲインの和を量子化することにより、上述した処理Ｂ５の処理量を削減できるようにした。
　具体的には、本技術では、以下のような処理が行われる。なお、以下では、スピーカごとに求められる、ベクトルｐやspreadベクトルなどの各ベクトルごとに求めたVBAPゲインの和（加算値）をVBAPゲイン加算値とも称することとする。
　まず、処理Ｂ１乃至処理Ｂ３が行われ、スピーカごとにVBAPゲイン加算値が得られると、そのVBAPゲイン加算値が２値化される。２値化では、例えば各スピーカのVBAPゲイン加算値が０または１の何れかの値とされる。
　VBAPゲイン加算値を２値化する方法は、例えば四捨五入、シーリング（切り上げ）、フロアリング（切り捨て）、閾値処理など、どのような方法であってもよい。
　このようにしてVBAPゲイン加算値が２値化されると、その後、２値化されたVBAPゲイン加算値に基づいて、上述した処理Ｂ４が行われる。そうすると、結果として、各スピーカの最終的なVBAPゲインは、０を除くと１通りとなる。すなわち、VBAPゲイン加算値を２値化すると、各スピーカの最終的なVBAPゲインの値は０か、または所定値の何れかとなる。
　例えば２値化の結果、３つのスピーカのVBAPゲイン加算値が１となり、他のスピーカのVBAPゲイン加算値が０となったとすると、それらの３つのスピーカの最終的なVBAPゲインの値は1/3(1/2)となる。
　このようにして各スピーカの最終的なVBAPゲインが得られると、その後は、上述した処理Ｂ５に代えて、処理Ｂ５’として、各スピーカのオーディオ信号に、最終的なVBAPゲインを乗算する処理が行われる。
　上述したように２値化を行うと、各スピーカの最終的なVBAPゲインの値は０か所定値かの何れかとなるので、処理Ｂ５’では１度の乗算処理を行なえばよいことになり、処理量を削減することができる。つまり、処理Ｂ５では３回以上の乗算処理を行わなければならなかったところを、処理Ｂ５’では１回の乗算処理を行うだけでよくなる。
　なお、ここではVBAPゲイン加算値を２値化する場合を例として説明したが、VBAPゲイン加算値が３値以上の値に量子化されるようにしてもよい。
　例えばVBAPゲイン加算値が３つの値のうちの何れかとされる場合、上述した処理Ｂ１乃至処理Ｂ３が行われ、スピーカごとにVBAPゲイン加算値が得られると、そのVBAPゲイン加算値が量子化され、０、０．５、または１の何れかの値とされる。そして、その後は、処理Ｂ４と処理Ｂ５’が行われる。この場合、処理Ｂ５’における乗算処理の回数は最大で２回となる。
　このように、VBAPゲイン加算値をｘ値化すると、つまり２以上のｘ個のゲインの何れかとなるように量子化すると、処理Ｂ５’における乗算処理の回数は最大で（ｘ－１）回となる。
　なお、以上においては、音像を広げる処理を行う場合に、VBAPゲイン加算値を量子化して処理量を削減する例について説明したが、音像を広げる処理を行わない場合においても、同様にしてVBAPゲインを量子化することで、処理量を削減することができる。すなわち、ベクトルｐについて求めた各スピーカのVBAPゲインを量子化すれば、正規化後のVBAPゲインのオーディオ信号への乗算処理の回数を削減することができる。
〈オブジェクトの形状および音の指向性を表現する処理について〉
　次に、本技術により、オブジェクトの形状と、オブジェクトの音の指向性を表現する処理について説明する。
　以下では、spread3次元ベクトル方式、spread中心ベクトル方式、spread端ベクトル方式、spread放射ベクトル方式、および任意spreadベクトル方式の５つの方式について説明する。
（spread3次元ベクトル方式）
　まず、spread3次元ベクトル方式について説明する。
　spread3次元ベクトル方式では、ビットストリーム内に３次元ベクトルであるspread3次元ベクトルが格納されて伝送される。ここでは、例えばオブジェクトごとの各オーディオ信号のフレームのメタデータに、spread3次元ベクトルが格納されるとする。この場合、メタデータには、音像の広がり度合いを示すspreadは格納されない。
　例えばspread3次元ベクトルは、水平方向の音像の広がり度合いを示すs3_azimuth、垂直方向の音像の広がり度合いを示すs3_elevation、および音像の半径方向の奥行きを示すs3_radiusの３つの要素からなる３次元ベクトルとされる。
　すなわち、spread3次元ベクトル＝（s3_azimuth, s3_elevation, s3_radius）である。
　ここでs3_azimuthは、位置ｐからの水平方向、つまり上述した水平方向角度azimuthの方向への音像の広がり角度を示している。具体的には、s3_azimuthは原点Ｏから音像の広がりを示す領域の水平方向側の端へと向かうベクトルと、ベクトルｐ（ベクトルｐ０）とのなす角度を示している。
　同様にs3_elevationは、位置ｐからの垂直方向、つまり上述した垂直方向角度elevationの方向への音像の広がり角度を示している。具体的には、s3_elevationは原点Ｏから音像の広がりを示す領域の垂直方向側の端へと向かうベクトルと、ベクトルｐ（ベクトルｐ０）とのなす角度を示している。また、s3_radiusは、上述した距離radiusの方向、つまり単位球面の法線方向の奥行きを示している。
　なお、これらのs3_azimuth、s3_elevation、およびs3_radiusは０以上の値とされる。また、ここではspread3次元ベクトルが、オブジェクトの位置情報により示される位置ｐに対する相対位置を示す情報とされているが、spread3次元ベクトルは絶対位置を示す情報とされるようにしてもよい。
　spread3次元ベクトル方式では、このようなspread3次元ベクトルが用いられてレンダリングが行われる。
　具体的には、spread3次元ベクトル方式では、spread3次元ベクトルに基づいて、以下の式（１）を計算することで、spreadの値が算出される。
Figure JPOXMLDOC01-appb-M000001
　なお、式（１）においてmax(a,b)は、aとbのうち大きい値を返す関数を示している。したがって、ここではs3_azimuthとs3_elevationのうちの大きい方の値がspreadの値とされることになる。
　そして、このようにして得られたspreadの値と、メタデータに含まれている位置情報とに基づいて、MPEG-H 3D Audio規格における場合と同様に１８個のspreadベクトルp1乃至spreadベクトルp18が算出される。
　したがって、メタデータに含まれている位置情報により示されるオブジェクトの位置ｐが中心位置ｐ０とされ、中心位置ｐ０を中心として単位球面上で上下左右対称になるように、１８個のspreadベクトルp1乃至spreadベクトルp18が求められる。
　また、spread3次元ベクトル方式では、原点Ｏを始点とし、中心位置ｐ０を終点とするベクトルｐ０がspreadベクトルp0とされる。
　また、各spreadベクトルは、水平方向角度azimuth、垂直方向角度elevation、および距離radiusにより表現される。以下では、特にspreadベクトルpi（但し、i＝0乃至18）の水平方向角度azimuthおよび垂直方向角度elevationを、a(i)およびe(i)と表すものとする。
　このようにしてspreadベクトルp0乃至spreadベクトルp18が得られると、その後、s3_azimuthとs3_elevationの比に基づいて、それらのspreadベクトルp1乃至spreadベクトルp18が変更（補正）され、最終的なspreadベクトルとされる。
　すなわち、s3_azimuthがs3_elevationよりも大きい場合、以下の式（２）の計算が行われ、spreadベクトルp1乃至spreadベクトルp18のそれぞれのelevationであるe(i)がe’(i)へと変更される。
Figure JPOXMLDOC01-appb-M000002
　なお、spreadベクトルp0については、elevationの補正は行われない。
　これに対して、s3_azimuthがs3_elevation未満である場合、以下の式（３）の計算が行われ、spreadベクトルp1乃至spreadベクトルp18のそれぞれのazimuthであるa(i)がa’(i)へと変更される。
Figure JPOXMLDOC01-appb-M000003
　なお、spreadベクトルp0については、azimuthの補正は行われない。
　以上のようにしてs3_azimuthとs3_elevationのうちの大きい方をspreadとし、spreadベクトルを求める処理は、単位球面上における音像の広がりを示す領域を、とりあえずs3_azimuthとs3_elevationのうちの大きい方の角度により定まる半径の円として、従来と同様の処理でspreadベクトルを求める処理である。
　また、その後、s3_azimuthとs3_elevationの大小関係に応じて、式（２）や式（３）によりspreadベクトルを補正する処理は、単位球面上における音像の広がりを示す領域が、spread3次元ベクトルにより指定された本来のs3_azimuthとs3_elevationにより定まる領域となるように、音像の広がりを示す領域、つまりspreadベクトルを補正する処理である。
　したがって、結局はこれらの処理は、spread3次元ベクトル、すなわちs3_azimuthとs3_elevationに基づいて、単位球面上における円形または楕円形である音像の広がりを示す領域に対するspreadベクトルを算出する処理となる。
　このようにしてspreadベクトルが得られると、その後、spreadベクトルp0乃至spreadベクトルp18が用いられて上述した処理Ｂ２、処理Ｂ３、処理Ｂ４、および処理Ｂ５’が行われて、各スピーカに供給されるオーディオ信号が生成される。
　なお、処理Ｂ２では、spreadベクトルp0乃至spreadベクトルp18の１９個の各spreadベクトルについてスピーカごとのVBAPゲインが算出される。ここで、spreadベクトルp0はベクトルｐであるから、spreadベクトルp0についてVBAPゲインを算出する処理は、処理Ｂ１を行うことであるともいうことができる。また、処理Ｂ３の後、必要に応じてVBAPゲイン加算値の量子化が行われる。
　このようにspread3次元ベクトルによって、音像の広がりを示す領域を任意の形状の領域とすることで、オブジェクトの形状や、オブジェクトの音の指向性を表現することができるようになり、レンダリングによって、より高品質な音声を得ることができる。
　また、ここではs3_azimuthとs3_elevationのうちの大きい方の値がspreadの値とされる例について説明したが、s3_azimuthとs3_elevationのうちの小さい方の値がspreadの値とされるようにしてもよい。
　この場合、s3_azimuthがs3_elevationよりも大きいときには、各spreadベクトルのazimuthであるa(i)が補正され、s3_azimuthがs3_elevation未満であるときには、各spreadベクトルのelevationであるe(i)が補正される。
　さらに、ここではspreadベクトルp0乃至spreadベクトルp18、すなわち予め定められた１９個のspreadベクトルを求め、それらのspreadベクトルについてVBAPゲインを算出する例について説明したが、算出されるspreadベクトルの個数を可変とするようにしてもよい。
　そのような場合、例えばs3_azimuthとs3_elevationの比に応じて、生成するspreadベクトルの個数が決定されるようにすることができる。このような処理によれば、例えばオブジェクトが横長で、オブジェクトの音の垂直方向への広がりが少ない場合に、垂直方向に並ぶspreadベクトルを省略し、各spreadベクトルが略横方向に並ぶようにすることで、水平方向への音の広がりを適切に表現することができるようになる。
（spread中心ベクトル方式）
　続いて、spread中心ベクトル方式について説明する。
　spread中心ベクトル方式では、ビットストリーム内に３次元ベクトルであるspread中心ベクトルが格納されて伝送される。ここでは、例えばオブジェクトごとの各オーディオ信号のフレームのメタデータに、spread中心ベクトルが格納されるとする。この場合、メタデータには、音像の広がり度合いを示すspreadも格納されている。
　spread中心ベクトルは、オブジェクトの音像の広がりを示す領域の中心位置ｐ０を示すベクトルであり、例えばspread中心ベクトルは、中心位置ｐ０の水平方向角度を示すazimuth、中心位置ｐ０の垂直方向角度を示すelevation、および中心位置ｐ０の半径方向の距離を示すradiusの３つの要素からなる３次元ベクトルとされる。
　すなわち、spread中心ベクトル＝（azimuth,elevation,radius）である。
　レンダリング処理時には、このspread中心ベクトルにより示される位置が中心位置ｐ０とされ、spreadベクトルとしてspreadベクトルp0乃至spreadベクトルp18が算出される。ここで、spreadベクトルp0は、例えば図４に示すように、原点Ｏを始点とし、中心位置ｐ０を終点とするベクトルｐ０である。なお、図４において、図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
　また、図４では、点線で描かれた矢印がspreadベクトルを表しており、図４においても図を見やすくするためspreadベクトルが９個だけ描かれている。
　図３に示した例では、位置ｐ＝中心位置ｐ０とされていたが、図４に示す例では、中心位置ｐ０は、位置ｐとは異なる位置となっている。この例では、中心位置ｐ０を中心とする音像の広がりを示す領域Ｒ２１は、オブジェクトの位置である位置ｐに対して、図３の例よりも図中、左側にずれていることが分かる。
　このように音像の広がりを示す領域の中心位置ｐ０として、spread中心ベクトルにより任意の位置を指定することができるようにすれば、オブジェクトの音の指向性をさらに正確に表現することができるようになる。
　spread中心ベクトル方式では、spreadベクトルp0乃至spreadベクトルp18が得られると、その後、ベクトルｐについて処理Ｂ１が行われ、spreadベクトルp0乃至spreadベクトルp18について処理Ｂ２が行われる。
　なお、処理Ｂ２では、１９個の各spreadベクトルについてVBAPゲインが算出されるようにしてもよいし、spreadベクトルp0を除くspreadベクトルp1乃至spreadベクトルp18についてのみVBAPゲインが算出されるようにしてもよい。以下では、spreadベクトルp0についてもVBAPゲインが算出されるものとして説明を続ける。
　また、各ベクトルのVBAPゲインが算出されると、その後は処理Ｂ３、処理Ｂ４、および処理Ｂ５’が行われて、各スピーカに供給されるオーディオ信号が生成される。なお、処理Ｂ３の後、必要に応じてVBAPゲイン加算値の量子化が行われる。
　以上のようなspread中心ベクトル方式でも、レンダリングによって、十分に高品質な音声を得ることができる。
（spread端ベクトル方式）
　次に、spread端ベクトル方式について説明する。
　spread端ベクトル方式では、ビットストリーム内に５次元ベクトルであるspread端ベクトルが格納されて伝送される。ここでは、例えばオブジェクトごとの各オーディオ信号のフレームのメタデータに、spread端ベクトルが格納されるとする。この場合、メタデータには、音像の広がり度合いを示すspreadは格納されない。
　例えばspread端ベクトルは、オブジェクトの音像の広がりを示す領域を表すベクトルであり、spread端ベクトルは、spread左端azimuth、spread右端azimuth、spread上端elevation、spread下端elevation、およびspread用radiusの５つの要素なからなるベクトルである。
　ここで、spread端ベクトルを構成するspread左端azimuthおよびspread右端azimuthは、それぞれ音像の広がりを示す領域における、水平方向の左端および右端の絶対的な位置を示す水平方向角度azimuthの値を示している。換言すれば、spread左端azimuthおよびspread右端azimuthは、それぞれ音像の広がりを示す領域の中心位置ｐ０からの左方向および右方向への音像の広がり度合いを表す角度を示している。
　また、spread上端elevationおよびspread下端elevationは、それぞれ音像の広がりを示す領域における、垂直方向の上端および下端の絶対的な位置を示す垂直方向角度elevationの値を示している。換言すれば、spread上端elevationおよびspread下端elevationは、それぞれ音像の広がりを示す領域の中心位置ｐ０からの上方向および下方向への音像の広がり度合いを表す角度を示している。さらに、spread用radiusは、音像の半径方向の奥行きを示している。
　なお、ここではspread端ベクトルは、空間における絶対的な位置を示す情報とされているが、spread端ベクトルは、オブジェクトの位置情報により示される位置ｐに対する相対位置を示す情報とされるようにしてもよい。
　spread端ベクトル方式では、このようなspread端ベクトルが用いられてレンダリングが行われる。
　具体的には、spread端ベクトル方式では、spread端ベクトルに基づいて、以下の式（４）を計算することで、中心位置ｐ０が算出される。
Figure JPOXMLDOC01-appb-M000004
　すなわち、中心位置ｐ０を示す水平方向角度azimuthは、spread左端azimuthとspread右端azimuthの中間（平均）の角度とされ、中心位置ｐ０を示す垂直方向角度elevationは、spread上端elevationとspread下端elevationの中間（平均）の角度とされる。また、中心位置ｐ０を示す距離radiusは、spread用radiusとされる。
　したがって、spread端ベクトル方式では、中心位置ｐ０は、位置情報により示されるオブジェクトの位置ｐとは異なる位置となることもある。
　また、spread端ベクトル方式では、次式（５）を計算することで、spreadの値が算出される。
Figure JPOXMLDOC01-appb-M000005
　なお、式（５）においてmax(a,b)は、aとbのうち大きい値を返す関数を示している。したがって、ここではspread端ベクトルにより示されるオブジェクトの音像の広がりを示す領域における、水平方向の半径に対応する角度である(spread左端azimuth－spread右端azimuth)/2と、垂直方向の半径に対応する角度である(spread上端elevation－spread下端elevation)/2とのうちの大きい方の値がspreadの値とされることになる。
　そして、このようにして得られたspreadの値と、中心位置ｐ０（ベクトルｐ０）とに基づいて、MPEG-H 3D Audio規格における場合と同様に１８個のspreadベクトルp1乃至spreadベクトルp18が算出される。
　したがって、中心位置ｐ０を中心として単位球面上で上下左右対称になるように、１８個のspreadベクトルp1乃至spreadベクトルp18が求められる。
　また、spread端ベクトル方式では、原点Ｏを始点とし、中心位置ｐ０を終点とするベクトルｐ０がspreadベクトルp0とされる。
　spread端ベクトル方式においても、spread3次元ベクトル方式における場合と同様に、各spreadベクトルは、水平方向角度azimuth、垂直方向角度elevation、および距離radiusにより表現される。すなわち、spreadベクトルpi（但し、i＝0乃至18）の水平方向角度azimuthおよび垂直方向角度elevationが、それぞれa(i)およびe(i)とされる。
　このようにしてspreadベクトルp0乃至spreadベクトルp18が得られると、その後、(spread左端azimuth－spread右端azimuth)と(spread上端elevation－spread下端elevation)の比に基づいて、それらのspreadベクトルp1乃至spreadベクトルp18が変更（補正）され、最終的なspreadベクトルが求められる。
　すなわち、(spread左端azimuth－spread右端azimuth)が(spread上端elevation－spread下端elevation)よりも大きい場合、以下の式（６）の計算が行われ、spreadベクトルp1乃至spreadベクトルp18のそれぞれのelevationであるe(i)がe’(i)へと変更される。
Figure JPOXMLDOC01-appb-M000006
　なお、spreadベクトルp0については、elevationの補正は行われない。
　これに対して、(spread左端azimuth－spread右端azimuth)が(spread上端elevation－spread下端elevation)未満である場合、以下の式（７）の計算が行われ、spreadベクトルp1乃至spreadベクトルp18のそれぞれのazimuthであるa(i)がa’(i)へと変更される。
Figure JPOXMLDOC01-appb-M000007
　なお、spreadベクトルp0については、azimuthの補正は行われない。
　以上において説明したspreadベクトルの算出方法は、基本的にはspread3次元ベクトル方式における場合と同様である。
　したがって、結局はこれらの処理は、spread端ベクトルに基づいて、そのspread端ベクトルにより定まる単位球面上における円形または楕円形である音像の広がりを示す領域に対するspreadベクトルを算出する処理となる。
　このようにしてspreadベクトルが得られると、その後、ベクトルｐと、spreadベクトルp0乃至spreadベクトルp18とが用いられて上述した処理Ｂ１、処理Ｂ２、処理Ｂ３、処理Ｂ４、および処理Ｂ５’が行われて、各スピーカに供給されるオーディオ信号が生成される。
　なお、処理Ｂ２では、１９個の各spreadベクトルについてスピーカごとのVBAPゲインが算出される。また、処理Ｂ３の後、必要に応じてVBAPゲイン加算値の量子化が行われる。
　このようにspread端ベクトルによって、音像の広がりを示す領域を、任意の位置を中心位置ｐ０とする任意の形状の領域とすることで、オブジェクトの形状や、オブジェクトの音の指向性を表現することができるようになり、レンダリングによって、より高品質な音声を得ることができる。
　また、ここでは(spread左端azimuth－spread右端azimuth)/2と(spread上端elevation－spread下端elevation)/2のうちの大きい方の値がspreadの値とされる例について説明したが、それらのうちの小さい方の値がspreadの値とされるようにしてもよい。
　さらに、ここではspreadベクトルp0についてVBAPゲインを算出する場合を例として説明したが、spreadベクトルp0についてはVBAPゲインを算出しないようにしてもよい。以下では、spreadベクトルp0についてもVBAPゲインが算出されるものとして説明を続ける。
　また、spread3次元ベクトル方式における場合と同様に、例えば(spread左端azimuth－spread右端azimuth)と(spread上端elevation－spread下端elevation)の比に応じて、生成するspreadベクトルの個数が決定されるようにしてもよい。
（spread放射ベクトル方式）
　また、spread放射ベクトル方式について説明する。
　spread放射ベクトル方式では、ビットストリーム内に３次元ベクトルであるspread放射ベクトルが格納されて伝送される。ここでは、例えばオブジェクトごとの各オーディオ信号のフレームのメタデータに、spread放射ベクトルが格納されるとする。この場合、メタデータには、音像の広がり度合いを示すspreadも格納されている。
　spread放射ベクトルは、オブジェクトの位置ｐに対する、オブジェクトの音像の広がりを示す領域の中心位置ｐ０の相対的な位置を示すベクトルである。例えばspread放射ベクトルは、位置ｐから見た、中心位置ｐ０までの水平方向角度を示すazimuth、中心位置ｐ０までの垂直方向角度を示すelevation、および中心位置ｐ０の半径方向の距離を示すradiusの３つの要素からなる３次元ベクトルとされる。
　すなわち、spread放射ベクトル＝（azimuth,elevation,radius）である。
　レンダリング処理時には、このspread放射ベクトルとベクトルｐを加算して得られるベクトルにより示される位置が中心位置ｐ０とされ、spreadベクトルとしてspreadベクトルp0乃至spreadベクトルp18が算出される。ここで、spreadベクトルp0は、例えば図５に示すように、原点Ｏを始点とし、中心位置ｐ０を終点とするベクトルｐ０である。なお、図５において、図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
　また、図５では、点線で描かれた矢印がspreadベクトルを表しており、図５においても図を見やすくするためspreadベクトルが９個だけ描かれている。
　図３に示した例では、位置ｐ＝中心位置ｐ０とされていたが、図５に示す例では、中心位置ｐ０は、位置ｐとは異なる位置となっている。この例では、ベクトルｐと、矢印Ｂ１１により示されるspread放射ベクトルとをベクトル加算して得られるベクトルの終点位置が中心位置ｐ０となっている。
　また、中心位置ｐ０を中心とする音像の広がりを示す領域Ｒ３１は、オブジェクトの位置である位置ｐに対して、図３の例よりも図中、左側にずれていることが分かる。
　このように音像の広がりを示す領域の中心位置ｐ０として、spread放射ベクトルと位置ｐを用いて任意の位置を指定することができるようにすれば、オブジェクトの音の指向性をさらに正確に表現することができるようになる。
　spread放射ベクトル方式では、spreadベクトルp0乃至spreadベクトルp18が得られると、その後、ベクトルｐについて処理Ｂ１が行われ、spreadベクトルp0乃至spreadベクトルp18について処理Ｂ２が行われる。
　なお、処理Ｂ２では、１９個の各spreadベクトルについてVBAPゲインが算出されるようにしてもよいし、spreadベクトルp0を除くspreadベクトルp1乃至spreadベクトルp18についてのみVBAPゲインが算出されるようにしてもよい。以下では、spreadベクトルp0についてもVBAPゲインが算出されるものとして説明を続ける。
　また、各ベクトルのVBAPゲインが算出されると、その後は処理Ｂ３、処理Ｂ４、および処理Ｂ５’が行われて、各スピーカに供給されるオーディオ信号が生成される。なお、処理Ｂ３の後、必要に応じてVBAPゲイン加算値の量子化が行われる。
　以上のようなspread放射ベクトル方式でも、レンダリングによって、十分に高品質な音声を得ることができる。
（任意spreadベクトル方式）
　次に、任意spreadベクトル方式について説明する。
　任意spreadベクトル方式では、ビットストリーム内にVBAPゲインを算出するspreadベクトルの数を示すspreadベクトル数情報と、各spreadベクトルの終点位置を示すspreadベクトル位置情報とが格納されて伝送される。ここでは、例えばオブジェクトごとの各オーディオ信号のフレームのメタデータに、spreadベクトル数情報とspreadベクトル位置情報とが格納されるとする。この場合、メタデータには、音像の広がり度合いを示すspreadは格納されない。
　レンダリング処理時には、各spreadベクトル位置情報に基づいて、原点Ｏを始点とし、spreadベクトル位置情報により示される位置を終点とするベクトルがspreadベクトルとして算出される。
　その後、ベクトルｐについて処理Ｂ１が行われ、各spreadベクトルについて処理Ｂ２が行われる。また、各ベクトルのVBAPゲインが算出されると、その後は処理Ｂ３、処理Ｂ４、および処理Ｂ５’が行われて、各スピーカに供給されるオーディオ信号が生成される。なお、処理Ｂ３の後、必要に応じてVBAPゲイン加算値の量子化が行われる。
　以上のような任意spreadベクトル方式では、任意に音像を広げる範囲とその形状を指定することが可能であるので、レンダリングによって、十分に高品質な音声を得ることができる。
〈処理の切り替えについて〉
　本技術では、レンダラのハード規模等に応じてレンダリング時の処理として適切な処理を選択し、許容される処理量の範囲で最も高い品質の音声を得ることができるようにした。
　すなわち、本技術では、複数の処理の切り替えを可能にするため、処理を切り替えるためのインデックスがビットストリームに格納されて符号化装置から復号装置へと伝送される。すなわち、処理を切り替えるためのインデックスindexがビットストリームシンタックスに追加される。
　例えばインデックスindexの値に応じて、以下のような処理が行われる。
　すなわち、インデックスindex＝0であるときには、復号装置、より詳細には復号装置内のレンダラでは、従来のMPEG-H 3D Audio規格における場合と同様のレンダリングが行われる。
　また、例えばインデックスindex＝1であるときには、従来のMPEG-H 3D Audio規格における１８個の各spreadベクトルを示すインデックスの組み合わせのうち、所定の組み合わせの各インデックスがビットストリームに格納されて送信される。この場合、レンダラでは、ビットストリームに格納されて伝送されてきた各インデックスにより示されるspreadベクトルについてVBAPゲインが算出される。
　さらに、例えばインデックスindex＝2であるときには、処理に用いるspreadベクトルの数を示す情報と、処理に用いるspreadベクトルが、従来のMPEG-H 3D Audio規格における１８個のspreadベクトルのうちのどのspreadベクトルかを示すインデックスとがビットストリームに格納されて送信される。
　また、例えばインデックスindex＝3であるときには、上述した任意spreadベクトル方式でレンダリング処理が行われ、例えばインデックスindex＝4であるときには、レンダリング処理において上述したVBAPゲイン加算値の２値化が行われる。さらに、例えばインデックスindex＝5であるときには、上述したspread中心ベクトル方式でレンダリング処理が行われるなどとされる。
　また、符号化装置において処理を切り替えるためのインデックスindexを指定するのではなく、復号装置内のレンダラにおいて、処理が選択されるようにしてもよい。
　そのような場合、例えばオブジェクトのメタデータに含まれている重要度情報に基づいて、処理を切り替えることが考えられる。具体的には、例えば重要度情報により示される重要度が高い（所定値以上である）オブジェクトに対しては、上述したインデックスindex＝0により示される処理が行われ、重要度情報により示される重要度が低い（所定値未満である）オブジェクトに対しては、上述したインデックスindex＝4により示される処理が行われるなどとすることができる。
　このように、適宜、レンダリング時の処理を切り替えることで、レンダラのハード規模等に応じて、許容される処理量の範囲で最も高い品質の音声を得ることができる。
〈音声処理装置の構成例〉
　続いて、以上において説明した本技術のより具体的な実施の形態について説明する。
　図６は、本技術を適用した音声処理装置の構成例を示す図である。
　図６に示す音声処理装置１１には、Ｍ個の各チャンネルに対応するスピーカ１２－１乃至スピーカ１２－Ｍが接続されている。音声処理装置１１は、外部から供給されたオブジェクトのオーディオ信号とメタデータに基づいて、各チャンネルのオーディオ信号を生成し、それらのオーディオ信号をスピーカ１２－１乃至スピーカ１２－Ｍに供給して音声を再生させる。
　なお、以下、スピーカ１２－１乃至スピーカ１２－Ｍを特に区別する必要のない場合、単にスピーカ１２とも称することとする。これらのスピーカ１２は、供給されたオーディオ信号に基づいて音声を出力する音声出力部である。
　スピーカ１２は、コンテンツ等を視聴するユーザを囲むように配置されている。例えば、各スピーカ１２は、上述した単位球面上に配置されている。
　音声処理装置１１は、取得部２１、ベクトル算出部２２、ゲイン算出部２３、およびゲイン調整部２４を有している。
　取得部２１は、外部からオブジェクトのオーディオ信号と、各オブジェクトのオーディオ信号のフレームごとのメタデータとを取得する。例えばオーディオ信号およびメタデータは、符号化装置から出力されたビットストリームに含まれている符号化オーディオデータおよび符号化メタデータを、復号装置で復号することで得られたものである。
　取得部２１は、取得したオーディオ信号をゲイン調整部２４に供給するとともに、取得したメタデータをベクトル算出部２２に供給する。ここで、メタデータには、例えばオブジェクトの位置を示す位置情報や、オブジェクトの重要度を示す重要度情報、オブジェクトの音像の広がり度合いを示すspreadなどが必要に応じて含まれている。
　ベクトル算出部２２は、取得部２１から供給されたメタデータに基づいてspreadベクトルを算出してゲイン算出部２３に供給する。また、ベクトル算出部２２は、必要に応じて、メタデータに含まれる位置情報により示されるオブジェクトの位置ｐ、すなわち位置ｐを示すベクトルｐもゲイン算出部２３に供給する。
　ゲイン算出部２３は、ベクトル算出部２２から供給されたspreadベクトルやベクトルｐに基づいて、VBAPにより各チャンネルに対応するスピーカ１２のVBAPゲインを算出し、ゲイン調整部２４に供給する。また、ゲイン算出部２３は、各スピーカのVBAPゲインを量子化する量子化部３１を備えている。
　ゲイン調整部２４は、ゲイン算出部２３から供給された各VBAPゲインに基づいて、取得部２１から供給されたオブジェクトのオーディオ信号に対するゲイン調整を行なって、その結果得られたＭ個の各チャンネルのオーディオ信号をスピーカ１２に供給する。
　ゲイン調整部２４は、増幅部３２－１乃至増幅部３２－Ｍを備えている。増幅部３２－１乃至増幅部３２－Ｍは、取得部２１から供給されたオーディオ信号に、ゲイン算出部２３から供給されたVBAPゲインを乗算し、その結果得られたオーディオ信号をスピーカ１２－１乃至スピーカ１２－Ｍに供給して、音声を再生させる。
　なお、以下、増幅部３２－１乃至増幅部３２－Ｍを特に区別する必要がない場合、単に増幅部３２とも称する。
〈再生処理の説明〉
　続いて、図６に示した音声処理装置１１の動作について説明する。
　音声処理装置１１は、外部からオブジェクトのオーディオ信号とメタデータが供給されると、再生処理を行ってオブジェクトの音声を再生させる。
　以下、図７のフローチャートを参照して、音声処理装置１１による再生処理について説明する。なお、この再生処理は、オーディオ信号のフレームごとに行われる。
　ステップＳ１１において、取得部２１は、外部からオブジェクトの１フレーム分のオーディオ信号およびメタデータを取得して、オーディオ信号を増幅部３２に供給するとともに、メタデータをベクトル算出部２２に供給する。
　ステップＳ１２において、ベクトル算出部２２は、取得部２１から供給されたメタデータに基づいてspreadベクトル算出処理を行い、その結果得られたspreadベクトルをゲイン算出部２３に供給する。また、ベクトル算出部２２は、必要に応じてベクトルｐもゲイン算出部２３に供給する。
　なお、spreadベクトル算出処理の詳細は、後述するが、このspreadベクトル算出処理では、上述したspread3次元ベクトル方式、spread中心ベクトル方式、spread端ベクトル方式、spread放射ベクトル方式、または任意spreadベクトル方式によりspreadベクトルが算出される。
　ステップＳ１３において、ゲイン算出部２３は、予め保持している各スピーカ１２の配置位置を示す配置位置情報と、ベクトル算出部２２から供給されたspreadベクトルおよびベクトルｐとに基づいて、各スピーカ１２のVBAPゲインを算出する。
　すなわち、spreadベクトルやベクトルｐの各ベクトルについて、各スピーカ１２のVBAPゲインが算出される。これにより、spreadベクトルやベクトルｐといったベクトルごとに、オブジェクトの位置近傍、より詳細にはベクトルにより示される位置近傍に位置する１以上のスピーカ１２のVBAPゲインが得られる。なお、spreadベクトルのVBAPゲインは必ず算出されるが、ステップＳ１２の処理によって、ベクトル算出部２２からゲイン算出部２３にベクトルｐが供給されなかった場合には、ベクトルｐのVBAPゲインは算出されない。
　ステップＳ１４において、ゲイン算出部２３は、スピーカ１２ごとに、各ベクトルについて算出したVBAPゲインを加算してVBAPゲイン加算値を算出する。すなわち、同じスピーカ１２について算出された各ベクトルのVBAPゲインの加算値（総和）がVBAPゲイン加算値として算出される。
　ステップＳ１５において、量子化部３１は、VBAPゲイン加算値の２値化を行うか否かを判定する。
　例えば２値化を行うか否かは、上述したインデックスindexに基づいて判定されてもよいし、メタデータとしての重要度情報により示されるオブジェクトの重要度に基づいて判定されるようにしてもよい。
　インデックスindexに基づいて判定が行われる場合には、例えばビットストリームから読み出されたインデックスindexがゲイン算出部２３に供給されるようにすればよい。また、重要度情報に基づいて判定が行われる場合には、ベクトル算出部２２からゲイン算出部２３に重要度情報が供給されるようにすればよい。
　ステップＳ１５において２値化を行うと判定された場合、ステップＳ１６において、量子化部３１は、スピーカ１２ごとに求められたVBAPゲインの加算値、つまりVBAPゲイン加算値を２値化して、その後、処理はステップＳ１７へと進む。
　これに対して、ステップＳ１５において２値化を行わないと判定された場合には、ステップＳ１６の処理はスキップされ、処理はステップＳ１７へと進む。
　ステップＳ１７において、ゲイン算出部２３は、全てのスピーカ１２のVBAPゲインの２乗和が１となるように、各スピーカ１２のVBAPゲインを正規化する。
　すなわち、スピーカ１２ごとに求めたVBAPゲインの加算値について、それら全ての加算値の２乗和が１となるように正規化が行われる。ゲイン算出部２３は、正規化により得られた各スピーカ１２のVBAPゲインを、それらのスピーカ１２に対応する増幅部３２に供給する。
　ステップＳ１８において、増幅部３２は、取得部２１から供給されたオーディオ信号に、ゲイン算出部２３から供給されたVBAPゲインを乗算し、スピーカ１２に供給する。
　そして、ステップＳ１９において増幅部３２は、供給したオーディオ信号に基づいてスピーカ１２に音声を再生させて再生処理は終了する。これにより、再生空間における所望の部分空間にオブジェクトの音像が定位する。
　以上のようにして音声処理装置１１は、メタデータに基づいてspreadベクトルを算出し、スピーカ１２ごとに各ベクトルのVBAPゲインを算出するとともに、それらのスピーカ１２ごとにVBAPゲインの加算値を求めて正規化する。このようにspreadベクトルについてVBAPゲインを算出することで、オブジェクトの音像の広がり、特にオブジェクトの形状や音の指向性を表現することができ、より高品質な音声を得ることができる。
　しかも、必要に応じてVBAPゲインの加算値を２値化することで、レンダリング時の処理量を削減することができるだけでなく、音声処理装置１１の処理能力（ハード規模）に応じて適切な処理を行い、可能な限り高品質な音声を得ることができる。
〈spreadベクトル算出処理の説明〉
　ここで、図８のフローチャートを参照して、図７のステップＳ１２の処理に対応するspreadベクトル算出処理について説明する。
　ステップＳ４１において、ベクトル算出部２２は、spread3次元ベクトルに基づいてspreadベクトルを算出するか否かを判定する。
　例えば、どのような方法によりspreadベクトルを算出するかは、図７のステップＳ１５における場合と同様に、インデックスindexに基づいて判定されてもよいし、重要度情報により示されるオブジェクトの重要度に基づいて判定されるようにしてもよい。
　ステップＳ４１において、spread3次元ベクトルに基づいてspreadベクトルを算出すると判定された場合、つまり、spread3次元ベクトル方式によりspreadベクトルを算出すると判定された場合、処理はステップＳ４２に進む。
　ステップＳ４２において、ベクトル算出部２２は、spread3次元ベクトルに基づくspreadベクトル算出処理を行って、得られたベクトルをゲイン算出部２３に供給する。なお、spread3次元ベクトルに基づくspreadベクトル算出処理の詳細は後述する。
　spreadベクトルが算出されると、spreadベクトル算出処理は終了し、その後、処理は図７のステップＳ１３へと進む。
　これに対して、ステップＳ４１においてspread3次元ベクトルに基づいてspreadベクトルを算出しないと判定された場合、処理はステップＳ４３へと進む。
　ステップＳ４３において、ベクトル算出部２２は、spread中心ベクトルに基づいてspreadベクトルを算出するか否かを判定する。
　ステップＳ４３において、spread中心ベクトルに基づいてspreadベクトルを算出すると判定された場合、つまり、spread中心ベクトル方式によりspreadベクトルを算出すると判定された場合、処理はステップＳ４４に進む。
　ステップＳ４４において、ベクトル算出部２２は、spread中心ベクトルに基づくspreadベクトル算出処理を行って、得られたベクトルをゲイン算出部２３に供給する。なお、spread中心ベクトルに基づくspreadベクトル算出処理の詳細は後述する。
　spreadベクトルが算出されると、spreadベクトル算出処理は終了し、その後、処理は図７のステップＳ１３へと進む。
　一方、ステップＳ４３においてspread中心ベクトルに基づいてspreadベクトルを算出しないと判定された場合、処理はステップＳ４５へと進む。
　ステップＳ４５において、ベクトル算出部２２は、spread端ベクトルに基づいてspreadベクトルを算出するか否かを判定する。
　ステップＳ４５において、spread端ベクトルに基づいてspreadベクトルを算出すると判定された場合、つまり、spread端ベクトル方式によりspreadベクトルを算出すると判定された場合、処理はステップＳ４６に進む。
　ステップＳ４６において、ベクトル算出部２２は、spread端ベクトルに基づくspreadベクトル算出処理を行って、得られたベクトルをゲイン算出部２３に供給する。なお、spread端ベクトルに基づくspreadベクトル算出処理の詳細は後述する。
　spreadベクトルが算出されると、spreadベクトル算出処理は終了し、その後、処理は図７のステップＳ１３へと進む。
　また、ステップＳ４５においてspread端ベクトルに基づいてspreadベクトルを算出しないと判定された場合、処理はステップＳ４７へと進む。
　ステップＳ４７において、ベクトル算出部２２は、spread放射ベクトルに基づいてspreadベクトルを算出するか否かを判定する。
　ステップＳ４７において、spread放射ベクトルに基づいてspreadベクトルを算出すると判定された場合、つまり、spread放射ベクトル方式によりspreadベクトルを算出すると判定された場合、処理はステップＳ４８に進む。
　ステップＳ４８において、ベクトル算出部２２は、spread放射ベクトルに基づくspreadベクトル算出処理を行って、得られたベクトルをゲイン算出部２３に供給する。なお、spread放射ベクトルに基づくspreadベクトル算出処理の詳細は後述する。
　spreadベクトルが算出されると、spreadベクトル算出処理は終了し、その後、処理は図７のステップＳ１３へと進む。
　また、ステップＳ４７においてspread放射ベクトルに基づいてspreadベクトルを算出しないと判定された場合、つまり任意spreadベクトル方式によりspreadベクトルを算出すると判定された場合、処理はステップＳ４９へと進む。
　ステップＳ４９において、ベクトル算出部２２は、spreadベクトル位置情報に基づくspreadベクトル算出処理を行って、得られたベクトルをゲイン算出部２３に供給する。なお、spreadベクトル位置情報に基づくspreadベクトル算出処理の詳細は後述する。
　spreadベクトルが算出されると、spreadベクトル算出処理は終了し、その後、処理は図７のステップＳ１３へと進む。
　以上のようにして音声処理装置１１は、複数の方式のうちの適切な方式によりspreadベクトルを算出する。このように適切な方式によりspreadベクトルを算出することで、レンダラのハード規模等に応じて、許容される処理量の範囲で最も高い品質の音声を得ることができる。
〈spread3次元ベクトルに基づくspreadベクトル算出処理の説明〉
　次に、図８を参照して説明したステップＳ４２、ステップＳ４４、ステップＳ４６、ステップＳ４８、およびステップＳ４９の各処理に対応する処理の詳細について説明する。
　まず、図９のフローチャートを参照して、図８のステップＳ４２に対応するspread3次元ベクトルに基づくspreadベクトル算出処理について説明する。
　ステップＳ８１において、ベクトル算出部２２は、取得部２１から供給されたメタデータに含まれる位置情報により示される位置を、オブジェクト位置ｐとする。すなわち、位置ｐを示すベクトルがベクトルｐとされる。
　ステップＳ８２において、ベクトル算出部２２は、取得部２１から供給されたメタデータに含まれるspread3次元ベクトルに基づいてspreadを算出する。具体的には、ベクトル算出部２２は上述した式（１）を計算することで、spreadを算出する。
　ステップＳ８３において、ベクトル算出部２２は、ベクトルｐとspreadに基づいて、spreadベクトルp0乃至spreadベクトルp18を算出する。
　ここでは、ベクトルｐが中心位置ｐ０を示すベクトルｐ０とされるとともに、ベクトルｐがそのままspreadベクトルp0とされる。また、spreadベクトルp1乃至spreadベクトルp18については、MPEG-H 3D Audio規格における場合と同様に、中心位置ｐ０を中心とする、単位球面上のspreadに示される角度により定まる領域内において、上下左右対称になるように各spreadベクトルが算出される。
　ステップＳ８４において、ベクトル算出部２２は、spread3次元ベクトルに基づいて、s3_azimuth≧s3_elevationであるか否か、すなわちs3_azimuthがs3_elevationよりも大きいか否かを判定する。
　ステップＳ８４においてs3_azimuth≧s3_elevationであると判定された場合、ステップＳ８５において、ベクトル算出部２２は、spreadベクトルp1乃至spreadベクトルp18のelevationを変更する。すなわち、ベクトル算出部２２は、上述した式（２）の計算を行って、各spreadベクトルのelevationを補正して、最終的なspreadベクトルとする。
　最終的なspreadベクトルが得られると、ベクトル算出部２２は、それらのspreadベクトルp0乃至spreadベクトルp18をゲイン算出部２３に供給し、spread3次元ベクトルに基づくspreadベクトル算出処理は終了する。すると、図８のステップＳ４２の処理が終了するので、その後、処理は図７のステップＳ１３へと進む。
　これに対して、ステップＳ８４においてs3_azimuth≧s3_elevationでないと判定された場合、ステップＳ８６において、ベクトル算出部２２は、spreadベクトルp1乃至spreadベクトルp18のazimuthを変更する。すなわち、ベクトル算出部２２は、上述した式（３）の計算を行って、各spreadベクトルのazimuthを補正して、最終的なspreadベクトルとする。
　最終的なspreadベクトルが得られると、ベクトル算出部２２は、それらのspreadベクトルp0乃至spreadベクトルp18をゲイン算出部２３に供給し、spread3次元ベクトルに基づくspreadベクトル算出処理は終了する。すると、図８のステップＳ４２の処理が終了するので、その後、処理は図７のステップＳ１３へと進む。
　以上のようにして音声処理装置１１は、spread3次元ベクトル方式により各spreadベクトルを算出する。これにより、オブジェクトの形状や、オブジェクトの音の指向性を表現することができるようになり、より高品質な音声を得ることができる。
〈spread中心ベクトルに基づくspreadベクトル算出処理の説明〉
　次に、図１０のフローチャートを参照して、図８のステップＳ４４に対応するspread中心ベクトルに基づくspreadベクトル算出処理について説明する。
　なお、ステップＳ１１１の処理は、図９のステップＳ８１の処理と同様であるので、その説明は省略する。
　ステップＳ１１２において、ベクトル算出部２２は、取得部２１から供給されたメタデータに含まれるspread中心ベクトルとspreadに基づいて、spreadベクトルp0乃至spreadベクトルp18を算出する。
　具体的には、ベクトル算出部２２は、spread中心ベクトルにより示される位置を中心位置ｐ０とし、その中心位置ｐ０を示すベクトルをspreadベクトルp0とする。また、ベクトル算出部２２は、中心位置ｐ０を中心とする、単位球面上のspreadに示される角度により定まる領域内において、上下左右対称になるようにspreadベクトルp1乃至spreadベクトルp18を求める。これらのspreadベクトルp1乃至spreadベクトルp18は、基本的にはMPEG-H 3D Audio規格における場合と同様にして求められる。
　ベクトル算出部２２は、以上の処理により得られたベクトルｐと、spreadベクトルp0乃至spreadベクトルp18とをゲイン算出部２３に供給し、spread中心ベクトルに基づくspreadベクトル算出処理は終了する。すると、図８のステップＳ４４の処理が終了するので、その後、処理は図７のステップＳ１３へと進む。
　以上のようにして音声処理装置１１は、spread中心ベクトル方式によりベクトルｐと各spreadベクトルを算出する。これにより、オブジェクトの形状や、オブジェクトの音の指向性を表現することができるようになり、より高品質な音声を得ることができる。
　なお、spread中心ベクトルに基づくspreadベクトル算出処理では、spreadベクトルp0はゲイン算出部２３に供給しないようにしてもよい。つまり、spreadベクトルp0についてはVBAPゲインを算出しないようにしてもよい。
〈spread端ベクトルに基づくspreadベクトル算出処理の説明〉
　さらに、図１１のフローチャートを参照して、図８のステップＳ４６に対応するspread端ベクトルに基づくspreadベクトル算出処理について説明する。
　なお、ステップＳ１４１の処理は、図９のステップＳ８１の処理と同様であるので、その説明は省略する。
　ステップＳ１４２において、ベクトル算出部２２は、取得部２１から供給されたメタデータに含まれるspread端ベクトルに基づいて中心位置ｐ０、すなわちベクトルｐ０を算出する。具体的には、ベクトル算出部２２は、上述した式（４）を計算することで中心位置ｐ０を算出する。
　ステップＳ１４３において、ベクトル算出部２２はspread端ベクトルに基づいてspreadを算出する。具体的には、ベクトル算出部２２は上述した式（５）を計算することで、spreadを算出する。
　ステップＳ１４４において、ベクトル算出部２２は、中心位置ｐ０とspreadに基づいて、spreadベクトルp0乃至spreadベクトルp18を算出する。
　ここでは、中心位置ｐ０を示すベクトルｐ０がそのままspreadベクトルp0とされる。また、spreadベクトルp1乃至spreadベクトルp18については、MPEG-H 3D Audio規格における場合と同様に、中心位置ｐ０を中心とする、単位球面上のspreadに示される角度により定まる領域内において、上下左右対称になるように各spreadベクトルが算出される。
　ステップＳ１４５において、ベクトル算出部２２は、(spread左端azimuth－spread右端azimuth)≧(spread上端elevation－spread下端elevation)であるか否か、すなわち(spread左端azimuth－spread右端azimuth)が(spread上端elevation－spread下端elevation)よりも大きいか否かを判定する。
　ステップＳ１４５において(spread左端azimuth－spread右端azimuth)≧(spread上端elevation－spread下端elevation)であると判定された場合、ステップＳ１４６において、ベクトル算出部２２は、spreadベクトルp1乃至spreadベクトルp18のelevationを変更する。すなわち、ベクトル算出部２２は、上述した式（６）の計算を行って、各spreadベクトルのelevationを補正して、最終的なspreadベクトルとする。
　最終的なspreadベクトルが得られると、ベクトル算出部２２は、それらのspreadベクトルp0乃至spreadベクトルp18とベクトルｐとをゲイン算出部２３に供給し、spread端ベクトルに基づくspreadベクトル算出処理は終了する。すると、図８のステップＳ４６の処理が終了するので、その後、処理は図７のステップＳ１３へと進む。
　これに対して、ステップＳ１４５において(spread左端azimuth－spread右端azimuth)≧(spread上端elevation－spread下端elevation)でないと判定された場合、ステップＳ１４７において、ベクトル算出部２２は、spreadベクトルp1乃至spreadベクトルp18のazimuthを変更する。すなわち、ベクトル算出部２２は、上述した式（７）の計算を行って、各spreadベクトルのazimuthを補正して、最終的なspreadベクトルとする。
　最終的なspreadベクトルが得られると、ベクトル算出部２２は、それらのspreadベクトルp0乃至spreadベクトルp18とベクトルｐとをゲイン算出部２３に供給し、spread端ベクトルに基づくspreadベクトル算出処理は終了する。すると、図８のステップＳ４６の処理が終了するので、その後、処理は図７のステップＳ１３へと進む。
　以上のようにして音声処理装置１１は、spread端ベクトル方式により各spreadベクトルを算出する。これにより、オブジェクトの形状や、オブジェクトの音の指向性を表現することができるようになり、より高品質な音声を得ることができる。
　なお、spread端ベクトルに基づくspreadベクトル算出処理では、spreadベクトルp0はゲイン算出部２３に供給しないようにしてもよい。つまり、spreadベクトルp0についてはVBAPゲインを算出しないようにしてもよい。
〈spread放射ベクトルに基づくspreadベクトル算出処理の説明〉
　次に、図１２のフローチャートを参照して、図８のステップＳ４８に対応するspread放射ベクトルに基づくspreadベクトル算出処理について説明する。
　なお、ステップＳ１７１の処理は、図９のステップＳ８１の処理と同様であるので、その説明は省略する。
　ステップＳ１７２において、ベクトル算出部２２は、オブジェクト位置ｐと、取得部２１から供給されたメタデータに含まれるspread放射ベクトルおよびspreadとに基づいて、spreadベクトルp0乃至spreadベクトルp18を算出する。
　具体的には、ベクトル算出部２２は、オブジェクト位置ｐを示すベクトルｐとspread放射ベクトルとを加算して得られるベクトルにより示される位置を中心位置ｐ０とする。この中心位置ｐ０を示すベクトルがベクトルｐ０であり、ベクトル算出部２２は、ベクトルｐ０をそのままspreadベクトルp0とする。
　また、ベクトル算出部２２は、中心位置ｐ０を中心とする、単位球面上のspreadに示される角度により定まる領域内において、上下左右対称になるようにspreadベクトルp1乃至spreadベクトルp18を求める。これらのspreadベクトルp1乃至spreadベクトルp18は、基本的にはMPEG-H 3D Audio規格における場合と同様にして求められる。
　ベクトル算出部２２は、以上の処理により得られたベクトルｐと、spreadベクトルp0乃至spreadベクトルp18とをゲイン算出部２３に供給し、spread放射ベクトルに基づくspreadベクトル算出処理は終了する。すると、図８のステップＳ４８の処理が終了するので、その後、処理は図７のステップＳ１３へと進む。
　以上のようにして音声処理装置１１は、spread放射ベクトル方式によりベクトルｐと各spreadベクトルを算出する。これにより、オブジェクトの形状や、オブジェクトの音の指向性を表現することができるようになり、より高品質な音声を得ることができる。
　なお、spread放射ベクトルに基づくspreadベクトル算出処理では、spreadベクトルp0はゲイン算出部２３に供給しないようにしてもよい。つまり、spreadベクトルp0についてはVBAPゲインを算出しないようにしてもよい。
〈spreadベクトル位置情報に基づくspreadベクトル算出処理の説明〉
　次に、図１３のフローチャートを参照して、図８のステップＳ４９に対応するspreadベクトル位置情報に基づくspreadベクトル算出処理について説明する。
　なお、ステップＳ２０１の処理は、図９のステップＳ８１の処理と同様であるので、その説明は省略する。
　ステップＳ２０２において、ベクトル算出部２２は、取得部２１から供給されたメタデータに含まれるspreadベクトル数情報とspreadベクトル位置情報に基づいて、spreadベクトルを算出する。
　具体的には、ベクトル算出部２２は、原点Ｏを始点とし、spreadベクトル位置情報により示される位置を終点とするベクトルをspreadベクトルとして算出する。ここでは、spreadベクトル数情報により示される数だけspreadベクトルが算出される。
　ベクトル算出部２２は、以上の処理により得られたベクトルｐと、spreadベクトルとをゲイン算出部２３に供給し、spreadベクトル位置情報に基づくspreadベクトル算出処理は終了する。すると、図８のステップＳ４９の処理が終了するので、その後、処理は図７のステップＳ１３へと進む。
　以上のようにして音声処理装置１１は、任意spreadベクトル方式によりベクトルｐと各spreadベクトルを算出する。これにより、オブジェクトの形状や、オブジェクトの音の指向性を表現することができるようになり、より高品質な音声を得ることができる。
〈第２の実施の形態〉
〈レンダリング処理の処理量削減について〉
　ところで、上述したように、複数のスピーカを用いて音像の定位を制御する、すなわちレンダリング処理を行う技術としてVBAPが知られている。
　VBAPでは、３つのスピーカから音を出力することで、それらの３つのスピーカで構成される三角形の内側の任意の一点に音像を定位させることができる。以下では、特に、このような３つのスピーカで構成される三角形をメッシュと呼ぶこととする。
　VBAPによるレンダリング処理は、オブジェクトごとに行われるため、例えばゲームなど、オブジェクトの数が多い場合には、レンダリング処理の処理量が多くなってしまう。そのため、ハード規模の小さいレンダラでは、全てのオブジェクトについてレンダリングすることができず、その結果、限られた数のオブジェクトの音しか再生されないことがある。そうすると、音声再生時に臨場感や音質が損なわれてしまうことがある。
　そこで、本技術では、臨場感や音質の劣化を抑制しつつレンダリング処理の処理量を低減させることができるようにした。
　以下、このような本技術について説明する。
　通常のVBAP処理、つまりレンダリング処理では、オブジェクトごとに上述した処理Ａ１乃至処理Ａ３の処理が行われて、各スピーカのオーディオ信号が生成される。
　実質的にVBAPゲインが算出されるスピーカの数は３つであり、各スピーカのVBAPゲインはオーディオ信号を構成するサンプルごとに算出されるので、処理Ａ３における乗算処理では、（オーディオ信号のサンプル数×３）回の乗算が行われることになる。
　これに対して本技術では、VBAPゲインに対する等ゲイン処理、つまりVBAPゲインの量子化処理、およびVBAPゲイン算出時に用いるメッシュ数を変更するメッシュ数切り替え処理を、適宜組み合わせて行うことでレンダリング処理の処理量を低減するようにした。
（量子化処理）
　まず、量子化処理について説明する。ここでは、量子化処理の例として、２値化処理と３値化処理について説明する。
　量子化処理として２値化処理が行われる場合、処理Ａ１が行われた後、その処理Ａ１により各スピーカについて得られたVBAPゲインが２値化される。２値化では、例えば各スピーカのVBAPゲインが０または１の何れかの値とされる。
　なお、VBAPゲインを２値化する方法は、例えば四捨五入、シーリング（切り上げ）、フロアリング（切り捨て）、閾値処理など、どのような方法であってもよい。
　このようにしてVBAPゲインが２値化されると、その後は処理Ａ２および処理Ａ３が行われて、各スピーカのオーディオ信号が生成される。
　このとき、処理Ａ２では、２値化されたVBAPゲインに基づいて正規化が行われるので、上述したspreadベクトルの量子化時と同じように、各スピーカの最終的なVBAPゲインは、０を除くと１通りとなる。すなわち、VBAPゲインを２値化すると、各スピーカの最終的なVBAPゲインの値は０か、または所定値の何れかとなる。
　したがって、処理Ａ３における乗算処理では、（オーディオ信号のサンプル数×１）回の乗算を行なえばよいので、レンダリング処理の処理量を大幅に削減することができる。
　同様に、処理Ａ１後、各スピーカについて得られたVBAPゲインを３値化するようにしてもよい。そのような場合には、処理Ａ１により各スピーカについて得られたVBAPゲインが３値化されて０、０．５、または１の何れかの値とされる。そして、その後は、処理Ａ２および処理Ａ３が行われて、各スピーカのオーディオ信号が生成される。
　したがって、処理Ａ３における乗算処理での乗算回数は、最大で（オーディオ信号のサンプル数×２）回となるので、レンダリング処理の処理量を大幅に削減することができる。
　なお、ここではVBAPゲインを２値化または３値化する場合を例として説明するが、VBAPゲインを４以上の値に量子化するようにしてもよい。一般化すれば、例えばVBAPゲインを２以上のｘ個のゲインの何れかとなるように量子化すると、つまりVBAPゲインを量子化数ｘで量子化すると、処理Ａ３における乗算処理の回数は最大で（ｘ－１）回となる。
　以上のようにVBAPゲインを量子化することで、レンダリング処理の処理量を低減させることができる。このようにレンダリング処理の処理量が少なくなれば、オブジェクト数が多い場合であっても全てのオブジェクトのレンダリングを行うことが可能となるので、音声再生時における臨場感や音質の劣化を小さく抑えることができる。すなわち、臨場感や音質の劣化を抑制しつつレンダリング処理の処理量を低減させることができる。
（メッシュ数切り替え処理）
　次に、メッシュ数切り替え処理について説明する。
　VBAPでは、例えば図１を参照して説明したように、処理対象のオブジェクトの音像の位置ｐを示すベクトルｐが、３つのスピーカＳＰ１乃至スピーカＳＰ３の方向を向くベクトルｌ1乃至ベクトルｌ3の線形和で表され、それらのベクトルに乗算されている係数ｇ1乃至係数ｇ3が各スピーカのVBAPゲインとされる。図１の例では、スピーカＳＰ１乃至スピーカＳＰ３により囲まれる三角形の領域ＴＲ１１が１つのメッシュとなっている。
　VBAPゲインの算出時には、具体的には次式（８）によって、三角形状のメッシュの逆行列Ｌ123 -1とオブジェクトの音像の位置ｐから３つの係数ｇ1乃至係数ｇ3が計算により求められる。
Figure JPOXMLDOC01-appb-M000008
　なお、式（８）においてｐ1、ｐ2、およびｐ3は、オブジェクトの音像の位置ｐを示す直交座標系、すなわち図２に示した３次元座標系上のｘ座標、ｙ座標、およびｚ座標を示している。
　またｌ11、ｌ12、およびｌ13は、メッシュを構成する１つ目のスピーカＳＰ１へ向くベクトルｌ1をｘ軸、ｙ軸、およびｚ軸の成分に分解した場合におけるｘ成分、ｙ成分、およびｚ成分の値であり、１つ目のスピーカＳＰ１のｘ座標、ｙ座標、およびｚ座標に相当する。
　同様に、ｌ21、ｌ22、およびｌ23は、メッシュを構成する２つ目のスピーカＳＰ２へ向くベクトルｌ2をｘ軸、ｙ軸、およびｚ軸の成分に分解した場合におけるｘ成分、ｙ成分、およびｚ成分の値である。また、ｌ31、ｌ32、およびｌ33は、メッシュを構成する３つ目のスピーカＳＰ３へ向くベクトルｌ3をｘ軸、ｙ軸、およびｚ軸の成分に分解した場合におけるｘ成分、ｙ成分、およびｚ成分の値である。
　さらに、位置ｐの３次元座標系のｐ1、ｐ2、およびｐ3から、球座標系の座標θ、γ、およびｒへの変換はｒ＝１である場合には次式（９）に示すように定義されている。ここでθ、γ、およびｒは、それぞれ上述した水平方向角度azimuth、垂直方向角度elevation、および距離radiusである。
Figure JPOXMLDOC01-appb-M000009
　上述したようにコンテンツ再生側の空間、つまり再生空間では、単位球上に複数のスピーカが配置されており、それらの複数のスピーカのうちの３つのスピーカから１つのメッシュが構成される。そして、基本的には単位球の表面全体が複数のメッシュにより隙間なく覆われている。また、各メッシュは互いに重ならないように定められる。
　VBAPでは、単位球の表面上に配置されたスピーカのうち、オブジェクトの位置ｐを含む１つのメッシュを構成する２つまたは３つのスピーカから音声を出力すれば、音像を位置ｐに定位させることができるので、そのメッシュを構成するスピーカ以外のVBAPゲインは０となる。
　したがって、VBAPゲインの算出時には、オブジェクトの位置ｐを含む１つのメッシュを特定し、そのメッシュを構成するスピーカのVBAPゲインを算出すればよいことになる。例えば、所定のメッシュが位置ｐを含むメッシュであるか否かは、算出したVBAPゲインから判定することができる。
　すなわち、メッシュについて算出された３つの各スピーカのVBAPゲインが全て０以上の値であれば、そのメッシュはオブジェクトの位置ｐを含むメッシュである。逆に、３つの各スピーカのVBAPゲインのうちの１つでも負の値となった場合には、オブジェクトの位置ｐは、それらのスピーカからなるメッシュ外に位置していることになるので、算出されたVBAPゲインは正しいVBAPゲインではない。
　そこで、VBAPゲインの算出時には、各メッシュが１つずつ順番に処理対象のメッシュとして選択されていき、処理対象のメッシュについて上述した式（８）の計算が行われ、メッシュを構成する各スピーカのVBAPゲインが算出される。
　そして、それらのVBAPゲインの算出結果から、処理対象のメッシュがオブジェクトの位置ｐを含むメッシュであるかが判定され、位置ｐを含まないメッシュであると判定された場合には、次のメッシュが新たな処理対象のメッシュとされて同様の処理が行われる。
　一方、処理対象のメッシュがオブジェクトの位置ｐを含むメッシュであると判定された場合には、そのメッシュを構成するスピーカのVBAPゲインが、算出されたVBAPゲインとされ、それ以外の他のスピーカのVBAPゲインは０とされる。これにより、全スピーカのVBAPゲインが得られたことになる。
　このようにレンダリング処理では、VBAPゲインを算出する処理と、位置ｐを含むメッシュを特定する処理とが同時に行われる。
　すなわち、正しいVBAPゲインを得るために、メッシュを構成する各スピーカのVBAPゲインが全て０以上の値となるものが得られるまで、処理対象とするメッシュを選択し、そのメッシュのVBAPゲインを算出する処理が繰り返し行われる。
　したがってレンダリング処理では、単位球の表面にあるメッシュの数が多いほど、位置ｐを含むメッシュを特定するのに、つまり正しいVBAPゲインを得るのに必要となる処理の処理量が多くなる。
　そこで、本技術では、実際の再生環境のスピーカ全てを用いてメッシュを形成（構成）するのではなく、全スピーカのうちの一部のスピーカのみを用いてメッシュを形成するようにすることで、メッシュの総数を減らし、レンダリング処理時の処理量を低減させるようにした。すなわち、本技術では、メッシュの総数を変更するメッシュ数切り替え処理を行うようにした。
　具体的には、例えば２２チャンネルのスピーカシステムでは、図１４に示すように単位球の表面上に各チャンネルのスピーカとして、スピーカＳＰＫ１乃至スピーカＳＰＫ２２の合計２２個のスピーカが配置される。なお、図１４において、原点Ｏは図２に示した原点Ｏに対応するものである。
　このように単位球の表面上に２２個のスピーカが配置された場合、それらの２２個全てのスピーカを用いて単位球表面を覆うようにメッシュを形成すると、単位球上のメッシュの総数は４０個となる。
　これに対して、例えば図１５に示すようにスピーカＳＰＫ１乃至スピーカＳＰＫ２２の合計２２個のスピーカのうち、スピーカＳＰＫ１、スピーカＳＰＫ６、スピーカＳＰＫ７、スピーカＳＰＫ１０、スピーカＳＰＫ１９、およびスピーカＳＰＫ２０の合計６個のスピーカのみを用いてメッシュを形成したとする。なお、図１５において図１４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
　図１５の例では、２２個のスピーカのうちの合計６のスピーカのみが用いられてメッシュが形成されているので、単位球上のメッシュの総数は８個となり、大幅にメッシュの総数を減らすことができる。その結果、図１５に示す例では、図１４に示した２２個のスピーカ全てを用いてメッシュを形成する場合と比べて、VBAPゲインを算出する際の処理量を8/40倍とすることができ、大幅に処理量を低減させることができる。
　なお、この例においても単位球の表面全体が８個のメッシュによって、隙間なく覆われているので、単位球の表面上の任意の位置に音像を定位させることが可能である。但し、単位球表面に設けられたメッシュの総数が多いほど、各メッシュの面積は小さくなるので、メッシュ総数が多いほど、より高精度に音像の定位を制御することが可能である。
　メッシュ数切り替え処理によりメッシュ総数が変更された場合、変更後の数のメッシュを形成するのに用いるスピーカを選択するにあたっては、原点Ｏにいるユーザから見て垂直方向（上下方向）、つまり垂直方向角度elevationの方向の位置が異なるスピーカを選択することが望ましい。換言すれば、互いに異なる高さに位置するスピーカを含む、３以上のスピーカを用いて、変更後の数のメッシュが形成されるようにすることが望ましい。これは、音声の立体感、つまり臨場感の劣化を抑制するためである。
　例えば図１６に示すように、単位球表面に配置された５つのスピーカＳＰ１乃至スピーカＳＰ５の一部または全部を用いてメッシュを形成する場合を考える。なお、図１６において図３における場合と対応する部分には同一の符号を付してあり、その説明は省略する。
　図１６に示す例において、５つのスピーカＳＰ１乃至スピーカＳＰ５全てを用いて、単位球表面が覆われるメッシュを形成する場合、メッシュの数は３つとなる。すなわち、スピーカＳＰ１乃至スピーカＳＰ３により囲まれる三角形の領域、スピーカＳＰ２乃至スピーカＳＰ４により囲まれる三角形の領域、並びにスピーカＳＰ２、スピーカＳＰ４、およびスピーカＳＰ５により囲まれる三角形の領域の３つの各領域がメッシュとされる。
　これに対して、例えばスピーカＳＰ１、スピーカＳＰ２、およびスピーカＳＰ５のみを用いるとメッシュが三角形ではなく２次元の円弧となってしまう。この場合、単位球における、スピーカＳＰ１とスピーカＳＰ２を結ぶ弧上、またはスピーカＳＰ２とスピーカＳＰ５を結ぶ弧上にしかオブジェクトの音像を定位させることができなくなる。
　このようにメッシュを形成するのに用いるスピーカを、全て垂直方向における同じ高さ、つまり同じレイヤのスピーカとすると、全オブジェクトの音像の定位位置の高さが同じ高さとなってしまうため、臨場感が劣化してしまう。
　したがって、垂直方向（鉛直方向）の位置が互いに異なるスピーカを含む３以上のスピーカを用いて１または複数のメッシュを形成し、臨場感の劣化を抑制できるようにすることが望ましい。
　図１６の例では、例えばスピーカＳＰ１乃至スピーカＳＰ５のうち、スピーカＳＰ１およびスピーカＳＰ３乃至スピーカＳＰ５を用いれば、単位球表面全体を覆うように２つのメッシュを形成することができる。この例では、スピーカＳＰ１およびスピーカＳＰ５と、スピーカＳＰ３およびスピーカＳＰ４とが互いに異なる高さに位置している。
　この場合、例えばスピーカＳＰ１、スピーカＳＰ３、およびスピーカＳＰ５により囲まれる三角形の領域と、スピーカＳＰ３乃至スピーカＳＰ５により囲まれる三角形の領域との２つの領域がそれぞれメッシュとされる。
　その他、この例では、スピーカＳＰ１、スピーカＳＰ３、およびスピーカＳＰ４により囲まれる三角形の領域と、スピーカＳＰ１、スピーカＳＰ４、およびスピーカＳＰ５により囲まれる三角形の領域との２つの領域をそれぞれメッシュとすることも可能である。
　これらの２つの例では、何れの場合も単位球表面上の任意の位置に音像を定位させることができるので、臨場感の劣化を抑制することができる。また、単位球表面全体が複数のメッシュで覆われるようにメッシュを形成するには、ユーザの真上に位置する、いわゆるトップスピーカが必ず用いられるようにするとよい。例えばトップスピーカは、図１４に示したスピーカＳＰＫ１９である。
　以上のようにメッシュ数切り替え処理を行ってメッシュの総数を変更することで、レンダリング処理の処理量を低減させることができ、かつ量子化処理の場合と同様に音声再生時における臨場感や音質の劣化を小さく抑えることができる。すなわち、臨場感や音質の劣化を抑制しつつレンダリング処理の処理量を低減させることができる。
　このようなメッシュ数切り替え処理を行うか否かや、メッシュ数切り替え処理でメッシュの総数をいくつとするかを選択することは、VBAPゲインを算出するのに用いるメッシュの総数を選択することであるということができる。
（量子化処理とメッシュ数切り替え処理の組み合わせ）
　また、以上においてはレンダリング処理の処理量を低減させる手法として、量子化処理とメッシュ数切り替え処理について説明した。
　レンダリング処理を行うレンダラ側では、量子化処理やメッシュ数切り替え処理として説明した各処理の何れかが固定的に用いられるようにしてもよいし、それらの処理が切り替えられたり、それらの処理が適宜組み合わせられたりしてもよい。
　例えばどのような処理を組み合わせて行うかは、オブジェクトの総数（以下、オブジェクト数と称する）や、オブジェクトのメタデータに含まれている重要度情報、オブジェクトのオーディオ信号の音圧などに基づいて定められるようにすればよい。また、処理の組み合わせ、つまり処理の切り替えは、オブジェクトごとや、オーディオ信号のフレームごとに行われるようにすることが可能である。
　例えばオブジェクト数に応じて処理の切り替えを行う場合、次のような処理を行うようにすることができる。
　例えばオブジェクト数が１０以上である場合、全てのオブジェクトについて、VBAPゲインに対する２値化処理が行われるようにする。これに対して、オブジェクト数が１０未満である場合、全てのオブジェクトについて、従来通り上述した処理Ａ１乃至処理Ａ３のみが行われるようにする。
　このように、オブジェクト数が少ないときには従来通りの処理を行い、オブジェクト数が多いときには２値化処理を行うようにすることで、ハード規模が小さいレンダラでも十分にレンダリングを行うことができ、かつ可能な限り品質の高い音声を得ることができる。
　また、オブジェクト数に応じて処理の切り替えを行う場合、オブジェクト数に応じてメッシュ数切り替え処理を行い、メッシュの総数を適切に変更するようにしてもよい。
　この場合、例えばオブジェクト数が１０以上であればメッシュの総数を８個とし、オブジェクト数が１０未満であればメッシュの総数を４０個とするなどとすることができる。また、オブジェクト数が多いほどメッシュの総数が少なくなるように、オブジェクト数に応じて多段階にメッシュの総数が変更されるようにしてもよい。
　このようにオブジェクト数に応じてメッシュの総数を変更することで、レンダラのハード規模に応じて処理量を調整し、可能な限り品質の高い音声を得ることができる。
　また、オブジェクトのメタデータに含まれる重要度情報に基づいて、処理の切り替えが行われる場合、次のような処理を行うようにすることができる。
　例えばオブジェクトの重要度情報が最も高い重要度を示す最高値である場合には、従来通り処理Ａ１乃至処理Ａ３のみが行われるようにし、オブジェクトの重要度情報が最高値以外の値である場合には、VBAPゲインに対する２値化処理が行われるようにする。
　その他、例えばオブジェクトの重要度情報の値に応じてメッシュ数切り替え処理を行い、メッシュの総数を適切に変更するようにしてもよい。この場合、オブジェクトの重要度が高いほど、メッシュの総数が多くなるようにすればよく、多段階にメッシュの総数が変更されるようにすることができる。
　これらの例では、各オブジェクトの重要度情報に基づいて、オブジェクトごとに処理を切り替えることができる。ここで説明した処理では、重要度の高いオブジェクトについては音質が高くなるようにし、また重要度の低いオブジェクトについては音質を低くして処理量を低減させるようにすることができる。したがって、様々な重要度のオブジェクトの音声を同時に再生する場合に、最も聴感上の音質劣化を抑えて処理量を少なくすることができ、音質の確保と処理量削減のバランスがとれた手法であるということができる。
　このように、オブジェクトの重要度情報に基づいてオブジェクトごとに処理の切り替えを行う場合、重要度の高いオブジェクトほどメッシュの総数が多くなるようにしたり、オブジェクトの重要度が高いときには量子化処理を行わないようにしたりすることができる。
　さらに、これに加えて重要度の低いオブジェクト、つまり重要度情報の値が所定値未満であるオブジェクトについても、重要度の高い、つまり重要度情報の値が所定値以上であるオブジェクトに近い位置にあるオブジェクトほど、メッシュの総数が多くなるようにしたり、量子化処理を行わないようにしたりするなどしてもよい。
　具体的には、重要度情報が最高値であるオブジェクトについてはメッシュの総数が４０個となるようにされ、重要度情報が最高値ではないオブジェクトについては、メッシュの総数が少なくなるようにされるとする。
　この場合、重要度情報が最高値ではないオブジェクトについては、そのオブジェクトと、重要度情報が最高値であるオブジェクトとの距離が短いほど、メッシュの総数が多くなるようにすればよい。通常、ユーザは重要度の高いオブジェクトの音を特に注意して聞くため、そのオブジェクトの近くにある他のオブジェクトの音の音質が低いと、ユーザはコンテンツ全体の音質がよくないように感じてしまう。そこで、重要度の高いオブジェクトに近い位置にあるオブジェクトについても、なるべくよい音質となるようにメッシュの総数を定めることで、聴感上の音質の劣化を抑制することができる。
　さらに、オブジェクトのオーディオ信号の音圧に応じて処理を切り替えるようにしてもよい。ここで、オーディオ信号の音圧は、オーディオ信号のレンダリング対象となるフレーム内の各サンプルのサンプル値の２乗平均値の平方根を計算することで求めることができる。すなわち、音圧RMSは次式（１０）の計算により求めることができる。
Figure JPOXMLDOC01-appb-M000010
　なお、式（１０）においてＮはオーディオ信号のフレームを構成するサンプルの数を示しており、ｘnはフレーム内のｎ番目（但し、ｎ＝0,…,N-1）のサンプルのサンプル値を示している。
　このようにして得られるオーディオ信号の音圧RMSに応じて処理を切り替える場合、次のような処理を行うようにすることができる。
　例えば音圧RMSのフルスケールである0dBに対して、オブジェクトのオーディオ信号の音圧RMSが-6dB以上である場合には、従来通り処理Ａ１乃至処理Ａ３のみが行われるようにし、オブジェクトの音圧RMSが-6dB未満である場合には、VBAPゲインに対する２値化処理が行われるようにする。
　一般的に、音圧が大きい音声は音質の劣化が目立ちやすく、また、そのような音声は重要度の高いオブジェクトの音声であることが多い。そこで、ここでは音圧RMSの大きい音声のオブジェクトについては音質が劣化しないようにし、音圧RMSの小さい音声のオブジェクトについて２値化処理を行い、全体として処理量を削減するようにした。これにより、ハード規模が小さいレンダラでも十分にレンダリングを行うことができ、かつ可能な限り品質の高い音声を得ることができる。
　また、オブジェクトのオーディオ信号の音圧RMSに応じてメッシュ数切り替え処理を行い、メッシュの総数を適切に変更するようにしてもよい。この場合、例えば音圧RMSが大きいオブジェクトほど、メッシュの総数が多くなるようにすればよく、多段階にメッシュの総数が変更されるようにすることができる。
　さらに、オブジェクト数、重要度情報、および音圧RMSに応じて、量子化処理やメッシュ数切り替え処理の組み合わせを選択するようにしてもよい。
　すなわち、オブジェクト数、重要度情報、および音圧RMSに基づいて、量子化処理を行うか否か、量子化処理においてVBAPゲインをいくつのゲインに量子化するか、つまり量子化処理時における量子化数、およびVBAPゲインの算出に用いるメッシュの総数を選択し、その選択結果に応じた処理によりVBAPゲインを算出してもよい。そのような場合、例えば次のような処理を行うようにすることができる。
　例えばオブジェクト数が１０以上である場合、全てのオブジェクトについて、メッシュの総数が１０個となるようにし、さらに２値化処理が行われるようにする。この場合、オブジェクト数が多いので、メッシュの総数を少なくするとともに２値化処理を行うようにすることで処理量を低減させる。これにより、レンダラのハード規模が小さい場合でも全てのオブジェクトのレンダリングを行うことができるようになる。
　また、オブジェクト数が１０未満であり、かつ重要度情報の値が最高値である場合には、従来通り処理Ａ１乃至処理Ａ３のみが行われるようにする。これにより、重要度の高いオブジェクトについては音質を劣化させることなく音声を再生することができる。
　オブジェクト数が１０未満であり、かつ重要度情報の値が最高値でなく、かつ音圧RMSが-30dB以上である場合には、メッシュの総数が１０個となるようにし、さらに３値化処理が行われるようにする。これにより、重要度は低いが音圧が大きい音声について、音声の音質劣化が目立たない程度にレンダリング処理時の処理量を低減させることができる。
　さらに、オブジェクト数が１０未満であり、かつ重要度情報の値が最高値でなく、かつ音圧RMSが-30dB未満である場合には、メッシュの総数が５個となるようにし、さらに２値化処理が行われるようにする。これにより、重要度が低く音圧も小さい音声について、レンダリング処理時の処理量を十分に低減させることができる。
　このようにオブジェクト数が多いときにはレンダリング処理の処理量を少なくして全オブジェクトのレンダリングを行えるようにし、オブジェクト数がある程度少ない場合には、オブジェクトごとに適切な処理を選択し、レンダリングを行うようにする。これにより、オブジェクトごとに音質の確保と処理量削減のバランスをとりながら、全体として少ない処理量で十分な音質で音声を再生することができる。
〈音声処理装置の構成例〉
　次に、以上において説明した量子化処理やメッシュ数切り替え処理などを、適宜行いながらレンダリング処理を行う音声処理装置について説明する。図１７は、そのような音声処理装置の具体的な構成例を示す図である。なお、図１７において図６における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
　図１７に示す音声処理装置６１は、取得部２１、ゲイン算出部２３、およびゲイン調整部７１を有している。ゲイン算出部２３は、取得部２１からオブジェクトのメタデータとオーディオ信号の供給を受けて、各オブジェクトについてスピーカ１２ごとのVBAPゲインを算出し、ゲイン調整部７１に供給する。
　また、ゲイン算出部２３は、VBAPゲインの量子化を行う量子化部３１備えている。
　ゲイン調整部７１は、各オブジェクトについて、ゲイン算出部２３から供給されたスピーカ１２ごとのVBAPゲインを、取得部２１から供給されたオーディオ信号に乗算することで、スピーカ１２ごとのオーディオ信号を生成し、スピーカ１２に供給する。
〈再生処理の説明〉
　続いて、図１７に示した音声処理装置６１の動作について説明する。すなわち、図１８のフローチャートを参照して、音声処理装置６１による再生処理について説明する。
　なお、この例では、取得部２１には、１または複数のオブジェクトについて、オブジェクトのオーディオ信号とメタデータがフレームごとに供給され、再生処理は、各オブジェクトについてオーディオ信号のフレームごとに行われるものとする。
　ステップＳ２３１において、取得部２１は外部からオブジェクトのオーディオ信号およびメタデータを取得し、オーディオ信号をゲイン算出部２３およびゲイン調整部７１に供給するとともに、メタデータをゲイン算出部２３に供給する。また、取得部２１は、処理対象となっているフレームで同時に音声を再生するオブジェクトの数、つまりオブジェクト数を示す情報も取得してゲイン算出部２３に供給する。
　ステップＳ２３２において、ゲイン算出部２３は、取得部２１から供給されたオブジェクト数を示す情報に基づいて、オブジェクト数が１０以上であるか否かを判定する。
　ステップＳ２３２においてオブジェクト数が１０以上であると判定された場合、ステップＳ２３３において、ゲイン算出部２３は、VBAPゲイン算出時に用いるメッシュの総数を１０とする。すなわち、ゲイン算出部２３は、メッシュの総数として１０を選択する。
　また、ゲイン算出部２３は、選択したメッシュの総数に応じて、その総数だけ単位球表面上にメッシュが形成されるように、全スピーカ１２のなかから、所定個数のスピーカ１２を選択する。そして、ゲイン算出部２３は、選択したスピーカ１２から形成される単位球表面上の１０個のメッシュを、VBAPゲイン算出時に用いるメッシュとする。
　ステップＳ２３４において、ゲイン算出部２３は、ステップＳ２３３において定められた１０個のメッシュを構成する各スピーカ１２の配置位置を示す配置位置情報と、取得部２１から供給されたメタデータに含まれる、オブジェクトの位置を示す位置情報とに基づいて、VBAPにより各スピーカ１２のVBAPゲインを算出する。
　具体的には、ゲイン算出部２３は、ステップＳ２３３において定められたメッシュを順番に処理対象のメッシュとして式（８）の計算を行っていくことで、各スピーカ１２のVBAPゲインを算出する。このとき、上述したように、処理対象のメッシュを構成する３つのスピーカ１２について算出されたVBAPゲインが全て０以上の値となるまで、新たなメッシュが処理対象のメッシュとされ、VBAPゲインが算出されていく。
　ステップＳ２３５において、量子化部３１は、ステップＳ２３４で得られた各スピーカ１２のVBAPゲインを２値化して、その後、処理はステップＳ２４６へと進む。
　また、ステップＳ２３２においてオブジェクト数が１０未満であると判定された場合、処理はステップＳ２３６に進む。
　ステップＳ２３６において、ゲイン算出部２３は、取得部２１から供給されたメタデータに含まれるオブジェクトの重要度情報の値が最高値であるか否かを判定する。例えば重要度情報の値が、最も重要度が高いことを示す数値「７」である場合、重要度情報が最高値であると判定される。
　ステップＳ２３６において重要度情報が最高値であると判定された場合、処理はステップＳ２３７へと進む。
　ステップＳ２３７において、ゲイン算出部２３は、各スピーカ１２の配置位置を示す配置位置情報と、取得部２１から供給されたメタデータに含まれる位置情報とに基づいて、各スピーカ１２のVBAPゲインを算出し、その後、処理はステップＳ２４６へと進む。ここでは、全てのスピーカ１２から形成されるメッシュが順番に処理対象のメッシュとされていき、式（８）の計算によりVBAPゲインが算出される。
　これに対して、ステップＳ２３６において重要度情報が最高値でないと判定された場合、ステップＳ２３８において、ゲイン算出部２３は、取得部２１から供給されたオーディオ信号の音圧RMSを算出する。具体的には、処理対象となっているオーディオ信号のフレームについて、上述した式（１０）の計算が行われ、音圧RMSが算出される。
　ステップＳ２３９において、ゲイン算出部２３は、ステップＳ２３８で算出した音圧RMSが-30dB以上であるか否かを判定する。
　ステップＳ２３９において、音圧RMSが-30dB以上であると判定された場合、その後、ステップＳ２４０およびステップＳ２４１の処理が行われる。なお、これらのステップＳ２４０およびステップＳ２４１の処理は、ステップＳ２３３およびステップＳ２３４の処理と同様であるので、その説明は省略する。
　ステップＳ２４２において、量子化部３１は、ステップＳ２４１で得られた各スピーカ１２のVBAPゲインを３値化して、その後、処理はステップＳ２４６へと進む。
　また、ステップＳ２３９において音圧RMSが-30dB未満であると判定された場合、処理はステップＳ２４３へと進む。
　ステップＳ２４３において、ゲイン算出部２３は、VBAPゲイン算出時に用いるメッシュの総数を５とする。
　また、ゲイン算出部２３は、選択したメッシュの総数「５」に応じて、全スピーカ１２のなかから、所定個数のスピーカ１２を選択し、選択したスピーカ１２から形成される単位球表面上の５個のメッシュを、VBAPゲイン算出時に用いるメッシュとする。
　VBAPゲイン算出時に用いるメッシュが定められると、その後、ステップＳ２４４およびステップＳ２４５の処理が行われて処理はステップＳ２４６へと進む。なお、これらのステップＳ２４４およびステップＳ２４５の処理は、ステップＳ２３４およびステップＳ２３５の処理と同様であるので、その説明は省略する。
　ステップＳ２３５、ステップＳ２３７、ステップＳ２４２、またはステップＳ２４５の処理が行われて、各スピーカ１２のVBAPゲインが得られると、その後、ステップＳ２４６乃至ステップＳ２４８の処理が行われて再生処理は終了する。
　なお、これらのステップＳ２４６乃至ステップＳ２４８の処理は、図７を参照して説明したステップＳ１７乃至ステップＳ１９の処理と同様であるので、その説明は省略する。
　但し、より詳細には、再生処理は各オブジェクトについて略同時に行われ、ステップＳ２４８では、オブジェクトごとに得られた各スピーカ１２のオーディオ信号が、それらのスピーカ１２に供給される。すなわち、スピーカ１２では、各オブジェクトのオーディオ信号を加算して得られた信号に基づいて音声が再生される。その結果、全オブジェクトの音声が同時に出力されることになる。
　以上のようにして音声処理装置６１は、オブジェクトごとに、適宜、量子化処理やメッシュ数切り替え処理を選択的に行う。このようにすることで、臨場感や音質の劣化を抑制しつつレンダリング処理の処理量を低減させることができる。
〈第２の実施の形態の変形例１〉
〈音声処理装置の構成例〉
　また、第２の実施の形態では、音像を広げる処理を行わない場合に量子化処理やメッシュ数切り替え処理を選択的に行う例について説明したが、音像を広げる処理を行う場合にも量子化処理やメッシュ数切り替え処理を選択的に行うようにしてもよい。
　そのような場合、音声処理装置１１は、例えば図１９に示すように構成される。なお、図１９において、図６または図１７における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
　図１９に示す音声処理装置１１は、取得部２１、ベクトル算出部２２、ゲイン算出部２３、およびゲイン調整部７１を有している。
　取得部２１は、１または複数のオブジェクトについて、オブジェクトのオーディオ信号とメタデータを取得し、取得したオーディオ信号をゲイン算出部２３およびゲイン調整部７１に供給するとともに、取得したメタデータをベクトル算出部２２およびゲイン算出部２３に供給する。また、ゲイン算出部２３は、量子化部３１を備えている。
〈再生処理の説明〉
　次に、図２０のフローチャートを参照して、図１９に示した音声処理装置１１により行われる再生処理について説明する。
　なお、この例では、取得部２１には、１または複数のオブジェクトについて、オブジェクトのオーディオ信号とメタデータがフレームごとに供給され、再生処理は、各オブジェクトについてオーディオ信号のフレームごとに行われるものとする。
　また、ステップＳ２７１およびステップＳ２７２の処理は図７のステップＳ１１およびステップＳ１２の処理と同様であるので、その説明は省略する。但し、ステップＳ２７１では、取得部２１により取得されたオーディオ信号はゲイン算出部２３およびゲイン調整部７１に供給され、取得部２１により取得されたメタデータは、ベクトル算出部２２およびゲイン算出部２３に供給される。
　これらのステップＳ２７１およびステップＳ２７２の処理が行われると、spreadベクトル、またはspreadベクトルおよびベクトルｐが得られる。
　ステップＳ２７３において、ゲイン算出部２３は、VBAPゲイン算出処理を行ってスピーカ１２ごとにVBAPゲインを算出する。なお、VBAPゲイン算出処理の詳細については後述するが、VBAPゲイン算出処理では、適宜、量子化処理やメッシュ数切り替え処理が選択的に行われ、各スピーカ１２のVBAPゲインが算出される。
　ステップＳ２７３の処理が行われて各スピーカ１２のVBAPゲインが得られると、その後、ステップＳ２７４乃至ステップＳ２７６の処理が行われて再生処理は終了するが、これらの処理は、図７のステップＳ１７乃至ステップＳ１９の処理と同様であるので、その説明は省略する。但し、より詳細には、再生処理は各オブジェクトについて略同時に行われ、ステップＳ２７６では、オブジェクトごとに得られた各スピーカ１２のオーディオ信号が、それらのスピーカ１２に供給される。そのため、スピーカ１２では、全オブジェクトの音声が同時に出力されることになる。
　以上のようにして音声処理装置１１は、オブジェクトごとに、適宜、量子化処理やメッシュ数切り替え処理を選択的に行う。このようにすることで、音像を広げる処理を行う場合においても、臨場感や音質の劣化を抑制しつつレンダリング処理の処理量を低減させることができる。
〈VBAPゲイン算出処理の説明〉
　続いて、図２１のフローチャートを参照して、図２０のステップＳ２７３の処理に対応するVBAPゲイン算出処理について説明する。
　なお、ステップＳ３０１乃至ステップＳ３０３の処理は、図１８のステップＳ２３２乃至ステップＳ２３４の処理と同様であるので、その説明は省略する。但し、ステップＳ３０３では、spreadベクトル、またはspreadベクトルおよびベクトルｐの各ベクトルについて、スピーカ１２ごとにVBAPゲインが算出される。
　ステップＳ３０４において、ゲイン算出部２３は、スピーカ１２ごとに、各ベクトルについて算出したVBAPゲインを加算して、VBAPゲイン加算値を算出する。ステップＳ３０４では、図７のステップＳ１４と同様の処理が行われる。
　ステップＳ３０５において、量子化部３１は、ステップＳ３０４の処理によりスピーカ１２ごとに得られたVBAPゲイン加算値を２値化してVBAPゲイン算出処理は終了し、その後、処理は図２０のステップＳ２７４へと進む。
　また、ステップＳ３０１においてオブジェクト数が１０未満であると判定された場合、ステップＳ３０６およびステップＳ３０７の処理が行われる。
　なお、これらのステップＳ３０６およびステップＳ３０７の処理は、図１８のステップＳ２３６およびステップＳ２３７の処理と同様であるので、その説明は省略する。但し、ステップＳ３０７では、spreadベクトル、またはspreadベクトルおよびベクトルｐの各ベクトルについて、スピーカ１２ごとにVBAPゲインが算出される。
　また、ステップＳ３０７の処理が行われると、ステップＳ３０８の処理が行われてVBAPゲイン算出処理は終了し、その後、処理は図２０のステップＳ２７４へと進むが、ステップＳ３０８の処理はステップＳ３０４の処理と同様であるので、その説明は省略する。
　さらに、ステップＳ３０６において、重要度情報が最高値でないと判定された場合、その後、ステップＳ３０９乃至ステップＳ３１２の処理が行われるが、これらの処理は図１８のステップＳ２３８乃至ステップＳ２４１の処理と同様であるので、その説明は省略する。但し、ステップＳ３１２では、spreadベクトル、またはspreadベクトルおよびベクトルｐの各ベクトルについて、スピーカ１２ごとにVBAPゲインが算出される。
　このようにして、各ベクトルについてスピーカ１２ごとのVBAPゲインが得られると、ステップＳ３１３の処理が行われてVBAPゲイン加算値が算出されるが、ステップＳ３１３の処理はステップＳ３０４の処理と同様であるので、その説明は省略する。
　ステップＳ３１４において、量子化部３１は、ステップＳ３１３の処理によりスピーカ１２ごとに得られたVBAPゲイン加算値を３値化してVBAPゲイン算出処理は終了し、その後、処理は図２０のステップＳ２７４へと進む。
　さらに、ステップＳ３１０において音圧RMSが-30dB未満であると判定された場合、ステップＳ３１５の処理が行われてVBAPゲイン算出時に用いるメッシュの総数が５とされる。なお、ステップＳ３１５の処理は、図１８のステップＳ２４３の処理と同様であるので、その説明は省略する。
　VBAPゲイン算出時に用いるメッシュが定められると、ステップＳ３１６乃至ステップＳ３１８の処理が行われてVBAPゲイン算出処理は終了し、その後、処理は図２０のステップＳ２７４へと進む。なお、これらのステップＳ３１６乃至ステップＳ３１８の処理は、ステップＳ３０３乃至ステップＳ３０５の処理と同様であるので、その説明は省略する。
　以上のようにして音声処理装置１１は、オブジェクトごとに、適宜、量子化処理やメッシュ数切り替え処理を選択的に行う。このようにすることで、音像を広げる処理を行う場合においても、臨場感や音質の劣化を抑制しつつレンダリング処理の処理量を低減させることができる。
　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
　入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
　以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、本技術は、以下の構成とすることも可能である。
（１）
　オーディオオブジェクトの位置を示す位置情報と、少なくとも２次元以上のベクトルからなる、前記位置からの音像の広がりを表す音像情報とを含むメタデータを取得する取得部と、
　前記音像情報により定まる音像の広がりを表す領域に関する水平方向角度および垂直方向角度に基づいて、前記領域内の位置を示すspreadベクトルを算出するベクトル算出部と、
　前記spreadベクトルに基づいて、前記位置情報により示される前記位置近傍に位置する２以上の音声出力部に供給されるオーディオ信号のそれぞれのゲインを算出するゲイン算出部と
　を備える音声処理装置。
（２）
　前記ベクトル算出部は、前記水平方向角度と前記垂直方向角度の比に基づいて、前記spreadベクトルを算出する
　（１）に記載の音声処理装置。
（３）
　前記ベクトル算出部は、予め定められた個数の前記spreadベクトルを算出する
　（１）または（２）に記載の音声処理装置。
（４）
　前記ベクトル算出部は、可変である任意の個数の前記spreadベクトルを算出する
　（１）または（２）に記載の音声処理装置。
（５）
　前記音像情報は、前記領域の中心位置を示すベクトルである
　（１）に記載の音声処理装置。
（６）
　前記音像情報は、前記領域の中心からの音像の広がり度合いを示す２次元以上のベクトルである
　（１）に記載の音声処理装置。
（７）
　前記音像情報は、前記位置情報により示される位置から見た前記領域の中心位置の相対的な位置を示すベクトルである
　（１）に記載の音声処理装置。
（８）
　前記ゲイン算出部は、
　　各前記音声出力部について、前記spreadベクトルごとに前記ゲインを算出し、
　　前記音声出力部ごとに、各前記spreadベクトルについて算出した前記ゲインの加算値を算出し、
　　前記音声出力部ごとに、前記加算値を２値以上のゲインに量子化し、
　　前記量子化された前記加算値に基づいて、前記音声出力部ごとに最終的な前記ゲインを算出する
　（１）乃至（７）の何れか一項に記載の音声処理装置。
（９）
　前記ゲイン算出部は、３つの前記音声出力部により囲まれる領域であるメッシュであって、前記ゲインの算出に用いるメッシュの数を選択し、前記メッシュの数の選択結果と前記spreadベクトルとに基づいて、前記spreadベクトルごとに前記ゲインを算出する
　（８）に記載の音声処理装置。
（１０）
　前記ゲイン算出部は、前記ゲインの算出に用いる前記メッシュの数、前記量子化を行うか否か、および前記量子化時における前記加算値の量子化数を選択し、その選択結果に応じて前記最終的な前記ゲインを算出する
　（９）に記載の音声処理装置。
（１１）
　前記ゲイン算出部は、前記オーディオオブジェクトの数に基づいて、前記ゲインの算出に用いる前記メッシュの数、前記量子化を行うか否か、および前記量子化数を選択する
　（１０）に記載の音声処理装置。
（１２）
　前記ゲイン算出部は、前記オーディオオブジェクトの重要度に基づいて、前記ゲインの算出に用いる前記メッシュの数、前記量子化を行うか否か、および前記量子化数を選択する
　（１０）または（１１）に記載の音声処理装置。
（１３）
　前記ゲイン算出部は、前記重要度の高い前記オーディオオブジェクトに近い位置にある前記オーディオオブジェクトほど、前記ゲインの算出に用いる前記メッシュの数が多くなるように、前記ゲインの算出に用いる前記メッシュの数を選択する
　（１２）に記載の音声処理装置。
（１４）
　前記ゲイン算出部は、前記オーディオオブジェクトのオーディオ信号の音圧に基づいて、前記ゲインの算出に用いる前記メッシュの数、前記量子化を行うか否か、および前記量子化数を選択する
　（１０）乃至（１３）の何れか一項に記載の音声処理装置。
（１５）
　前記ゲイン算出部は、前記メッシュの数の選択結果に応じて、複数の前記音声出力部のうち、互いに異なる高さに位置する前記音声出力部を含む３以上の前記音声出力部を選択し、選択した前記音声出力部から形成される１または複数の前記メッシュに基づいて前記ゲインを算出する
　（９）乃至（１４）の何れか一項に記載の音声処理装置。
（１６）
　オーディオオブジェクトの位置を示す位置情報と、少なくとも２次元以上のベクトルからなる、前記位置からの音像の広がりを表す音像情報とを含むメタデータを取得し、
　前記音像情報により定まる音像の広がりを表す領域に関する水平方向角度および垂直方向角度に基づいて、前記領域内の位置を示すspreadベクトルを算出し、
　前記spreadベクトルに基づいて、前記位置情報により示される前記位置近傍に位置する２以上の音声出力部に供給されるオーディオ信号のそれぞれのゲインを算出する
　ステップを含む音声処理方法。
（１７）
　オーディオオブジェクトの位置を示す位置情報と、少なくとも２次元以上のベクトルからなる、前記位置からの音像の広がりを表す音像情報とを含むメタデータを取得し、
　前記音像情報により定まる音像の広がりを表す領域に関する水平方向角度および垂直方向角度に基づいて、前記領域内の位置を示すspreadベクトルを算出し、
　前記spreadベクトルに基づいて、前記位置情報により示される前記位置近傍に位置する２以上の音声出力部に供給されるオーディオ信号のそれぞれのゲインを算出する
　ステップを含む処理をコンピュータに実行させるプログラム。
（１８）
　オーディオオブジェクトの位置を示す位置情報を含むメタデータを取得する取得部と、
　３つの音声出力部により囲まれる領域であるメッシュであって、前記音声出力部に供給されるオーディオ信号のゲインの算出に用いるメッシュの数を選択し、前記メッシュの数の選択結果と前記位置情報とに基づいて、前記ゲインを算出するゲイン算出部と
　を備える音声処理装置。
　１１　音声処理装置，　２１　取得部，　２２　ベクトル算出部，　２３　ゲイン算出部，　２４　ゲイン調整部，　３１　量子化部，　６１　音声処理装置，　７１　ゲイン調整部

Claims (17)

  1. 　オーディオオブジェクトの位置を示す位置情報と、少なくとも２次元以上のベクトルからなる、前記位置からの音像の広がりを表す音像情報とを含むメタデータを取得する取得部と、
    　前記音像情報により定まる音像の広がりを表す領域に関する水平方向角度および垂直方向角度に基づいて、前記領域内の位置を示すspreadベクトルを算出するベクトル算出部と、
    　前記spreadベクトルに基づいて、前記位置情報により示される前記位置近傍に位置する２以上の音声出力部に供給されるオーディオ信号のそれぞれのゲインを算出するゲイン算出部と
    　を備える音声処理装置。
  2. 　前記ベクトル算出部は、前記水平方向角度と前記垂直方向角度の比に基づいて、前記spreadベクトルを算出する
    　請求項１に記載の音声処理装置。
  3. 　前記ベクトル算出部は、予め定められた個数の前記spreadベクトルを算出する
    　請求項１に記載の音声処理装置。
  4. 　前記ベクトル算出部は、可変である任意の個数の前記spreadベクトルを算出する
    　請求項１に記載の音声処理装置。
  5. 　前記音像情報は、前記領域の中心位置を示すベクトルである
    　請求項１に記載の音声処理装置。
  6. 　前記音像情報は、前記領域の中心からの音像の広がり度合いを示す２次元以上のベクトルである
    　請求項１に記載の音声処理装置。
  7. 　前記音像情報は、前記位置情報により示される位置から見た前記領域の中心位置の相対的な位置を示すベクトルである
    　請求項１に記載の音声処理装置。
  8. 　前記ゲイン算出部は、
    　　各前記音声出力部について、前記spreadベクトルごとに前記ゲインを算出し、
    　　前記音声出力部ごとに、各前記spreadベクトルについて算出した前記ゲインの加算値を算出し、
    　　前記音声出力部ごとに、前記加算値を２値以上のゲインに量子化し、
    　　前記量子化された前記加算値に基づいて、前記音声出力部ごとに最終的な前記ゲインを算出する
    　請求項１に記載の音声処理装置。
  9. 　前記ゲイン算出部は、３つの前記音声出力部により囲まれる領域であるメッシュであって、前記ゲインの算出に用いるメッシュの数を選択し、前記メッシュの数の選択結果と前記spreadベクトルとに基づいて、前記spreadベクトルごとに前記ゲインを算出する
    　請求項８に記載の音声処理装置。
  10. 　前記ゲイン算出部は、前記ゲインの算出に用いる前記メッシュの数、前記量子化を行うか否か、および前記量子化時における前記加算値の量子化数を選択し、その選択結果に応じて前記最終的な前記ゲインを算出する
    　請求項９に記載の音声処理装置。
  11. 　前記ゲイン算出部は、前記オーディオオブジェクトの数に基づいて、前記ゲインの算出に用いる前記メッシュの数、前記量子化を行うか否か、および前記量子化数を選択する
    　請求項１０に記載の音声処理装置。
  12. 　前記ゲイン算出部は、前記オーディオオブジェクトの重要度に基づいて、前記ゲインの算出に用いる前記メッシュの数、前記量子化を行うか否か、および前記量子化数を選択する
    　請求項１０に記載の音声処理装置。
  13. 　前記ゲイン算出部は、前記重要度の高い前記オーディオオブジェクトに近い位置にある前記オーディオオブジェクトほど、前記ゲインの算出に用いる前記メッシュの数が多くなるように、前記ゲインの算出に用いる前記メッシュの数を選択する
    　請求項１２に記載の音声処理装置。
  14. 　前記ゲイン算出部は、前記オーディオオブジェクトのオーディオ信号の音圧に基づいて、前記ゲインの算出に用いる前記メッシュの数、前記量子化を行うか否か、および前記量子化数を選択する
    　請求項１０に記載の音声処理装置。
  15. 　前記ゲイン算出部は、前記メッシュの数の選択結果に応じて、複数の前記音声出力部のうち、互いに異なる高さに位置する前記音声出力部を含む３以上の前記音声出力部を選択し、選択した前記音声出力部から形成される１または複数の前記メッシュに基づいて前記ゲインを算出する
    　請求項９に記載の音声処理装置。
  16. 　オーディオオブジェクトの位置を示す位置情報と、少なくとも２次元以上のベクトルからなる、前記位置からの音像の広がりを表す音像情報とを含むメタデータを取得し、
    　前記音像情報により定まる音像の広がりを表す領域に関する水平方向角度および垂直方向角度に基づいて、前記領域内の位置を示すspreadベクトルを算出し、
    　前記spreadベクトルに基づいて、前記位置情報により示される前記位置近傍に位置する２以上の音声出力部に供給されるオーディオ信号のそれぞれのゲインを算出する
    　ステップを含む音声処理方法。
  17. 　オーディオオブジェクトの位置を示す位置情報と、少なくとも２次元以上のベクトルからなる、前記位置からの音像の広がりを表す音像情報とを含むメタデータを取得し、
    　前記音像情報により定まる音像の広がりを表す領域に関する水平方向角度および垂直方向角度に基づいて、前記領域内の位置を示すspreadベクトルを算出し、
    　前記spreadベクトルに基づいて、前記位置情報により示される前記位置近傍に位置する２以上の音声出力部に供給されるオーディオ信号のそれぞれのゲインを算出する
    　ステップを含む処理をコンピュータに実行させるプログラム。
PCT/JP2016/067195 2015-06-24 2016-06-09 音声処理装置および方法、並びにプログラム WO2016208406A1 (ja)

Priority Applications (24)

Application Number Priority Date Filing Date Title
KR1020187035934A KR102373459B1 (ko) 2015-06-24 2016-06-09 음성 처리 장치 및 방법, 그리고 기록 매체
KR1020237000959A KR102633077B1 (ko) 2015-06-24 2016-06-09 음성 처리 장치 및 방법, 그리고 기록 매체
KR1020177035890A KR101930671B1 (ko) 2015-06-24 2016-06-09 음성 처리 장치 및 방법, 그리고 기록 매체
CN201680034827.1A CN107710790B (zh) 2015-06-24 2016-06-09 用于处理声音的装置、方法及程序
RU2017143920A RU2708441C2 (ru) 2015-06-24 2016-06-09 Устройство, способ и программа аудиообработки
EP20155520.8A EP3680898B1 (en) 2015-06-24 2016-06-09 Audio processing apparatus and method, and program
BR122022019910-0A BR122022019910B1 (pt) 2015-06-24 2016-06-09 Aparelho e método de processamento de áudio, e, meio de armazenamento não transitório legível por computador
US15/737,026 US10567903B2 (en) 2015-06-24 2016-06-09 Audio processing apparatus and method, and program
AU2016283182A AU2016283182B2 (en) 2015-06-24 2016-06-09 Device, method, and program for processing sound
JP2017525183A JP6962192B2 (ja) 2015-06-24 2016-06-09 音声処理装置および方法、並びにプログラム
BR112017027103-6A BR112017027103B1 (pt) 2015-06-24 2016-06-09 Aparelho e método de processamento de áudio, e, meio legível por computador não- transitório
EP16814177.8A EP3319342B1 (en) 2015-06-24 2016-06-09 Device, method, and program for processing sound
KR1020247003591A KR20240018688A (ko) 2015-06-24 2016-06-09 음성 처리 장치 및 방법, 그리고 기록 매체
BR122022019901-1A BR122022019901B1 (pt) 2015-06-24 2016-06-09 Aparelho e método de processamento de áudio, e, meio de armazenamento não transitório legível por computador
KR1020227001727A KR102488354B1 (ko) 2015-06-24 2016-06-09 음성 처리 장치 및 방법, 그리고 기록 매체
SG11201710080XA SG11201710080XA (en) 2015-06-24 2016-06-09 Audio processing apparatus and method, and program
CN202110611258.5A CN113473353B (zh) 2015-06-24 2016-06-09 音频处理装置和方法以及计算机可读存储介质
EP24158155.2A EP4354905A3 (en) 2015-06-24 2016-06-09 Audio processing apparatus and method, and program
AU2019202924A AU2019202924B2 (en) 2015-06-24 2019-04-26 Device, method, and program for processing sound
US16/734,211 US11140505B2 (en) 2015-06-24 2020-01-03 Audio processing apparatus and method, and program
AU2020277210A AU2020277210B2 (en) 2015-06-24 2020-11-26 Device, method, and program for processing sound
US17/474,669 US11540080B2 (en) 2015-06-24 2021-09-14 Audio processing apparatus and method, and program
AU2022201515A AU2022201515A1 (en) 2015-06-24 2022-03-04 Device, method, and program for processing sound
US17/993,001 US20230078121A1 (en) 2015-06-24 2022-11-23 Audio processing apparatus and method, and program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015-126650 2015-06-24
JP2015126650 2015-06-24
JP2015-148683 2015-07-28
JP2015148683 2015-07-28

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/737,026 A-371-Of-International US10567903B2 (en) 2015-06-24 2016-06-09 Audio processing apparatus and method, and program
US16/734,211 Continuation US11140505B2 (en) 2015-06-24 2020-01-03 Audio processing apparatus and method, and program

Publications (1)

Publication Number Publication Date
WO2016208406A1 true WO2016208406A1 (ja) 2016-12-29

Family

ID=57585608

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/067195 WO2016208406A1 (ja) 2015-06-24 2016-06-09 音声処理装置および方法、並びにプログラム

Country Status (10)

Country Link
US (4) US10567903B2 (ja)
EP (3) EP3680898B1 (ja)
JP (4) JP6962192B2 (ja)
KR (5) KR102488354B1 (ja)
CN (3) CN107710790B (ja)
AU (4) AU2016283182B2 (ja)
BR (3) BR122022019901B1 (ja)
RU (2) RU2708441C2 (ja)
SG (1) SG11201710080XA (ja)
WO (1) WO2016208406A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018198767A1 (ja) * 2017-04-25 2018-11-01 ソニー株式会社 信号処理装置および方法、並びにプログラム
WO2018198789A1 (ja) * 2017-04-26 2018-11-01 ソニー株式会社 信号処理装置および方法、並びにプログラム
JPWO2018173413A1 (ja) * 2017-03-24 2020-02-06 シャープ株式会社 音声信号処理装置及び音声信号処理システム
CN111937070A (zh) * 2018-04-12 2020-11-13 索尼公司 信息处理设备、方法以及程序
JP2021521681A (ja) * 2018-04-11 2021-08-26 ドルビー・インターナショナル・アーベー オーディオ・レンダリングのための事前レンダリングされた信号のための方法、装置およびシステム
WO2022009694A1 (ja) * 2020-07-09 2022-01-13 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
US11375332B2 (en) 2018-04-09 2022-06-28 Dolby International Ab Methods, apparatus and systems for three degrees of freedom (3DoF+) extension of MPEG-H 3D audio
EP4061018A2 (en) 2021-03-19 2022-09-21 Yamaha Corporation Audio signal processing method, audio signal processing apparatus and audio signal processing program
US11877142B2 (en) 2018-04-09 2024-01-16 Dolby International Ab Methods, apparatus and systems for three degrees of freedom (3DOF+) extension of MPEG-H 3D audio

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102488354B1 (ko) * 2015-06-24 2023-01-13 소니그룹주식회사 음성 처리 장치 및 방법, 그리고 기록 매체
US9949052B2 (en) * 2016-03-22 2018-04-17 Dolby Laboratories Licensing Corporation Adaptive panner of audio objects
US10241748B2 (en) * 2016-12-13 2019-03-26 EVA Automation, Inc. Schedule-based coordination of audio sources
JP7363795B2 (ja) * 2018-09-28 2023-10-18 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム
KR102649597B1 (ko) * 2019-01-02 2024-03-20 한국전자통신연구원 무인 비행체를 이용한 신호원의 위치정보 확인 방법 및 장치
US11968518B2 (en) * 2019-03-29 2024-04-23 Sony Group Corporation Apparatus and method for generating spatial audio
KR102127179B1 (ko) * 2019-06-05 2020-06-26 서울과학기술대학교 산학협력단 플렉서블 렌더링을 이용한 가상 현실 기반 음향 시뮬레이션 시스템
CN113889125B (zh) * 2021-12-02 2022-03-04 腾讯科技（深圳）有限公司 音频生成方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006128816A (ja) * 2004-10-26 2006-05-18 Victor Co Of Japan Ltd 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
JP2014090504A (ja) * 2009-11-04 2014-05-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandte Forschung E V 仮想音源に関連するオーディオ信号に基づいて、スピーカ設備のスピーカの駆動係数を計算する装置および方法、並びにスピーカ設備のスピーカの駆動信号を供給する装置および方法
WO2015012122A1 (ja) * 2013-07-24 2015-01-29 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2015080119A (ja) * 2013-10-17 2015-04-23 ヤマハ株式会社 音像定位装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1037877A (en) * 1971-12-31 1978-09-05 Peter Scheiber Decoder apparatus for use in a multidirectional sound system
US5046097A (en) * 1988-09-02 1991-09-03 Qsound Ltd. Sound imaging process
JP3657120B2 (ja) * 1998-07-30 2005-06-08 株式会社アーニス・サウンド・テクノロジーズ 左，右両耳用のオーディオ信号を音像定位させるための処理方法
MXPA05001413A (es) * 2002-08-07 2005-06-06 Dolby Lab Licensing Corp Conversion espacial de canales de audio.
ES2374309T3 (es) * 2005-07-14 2012-02-15 Koninklijke Philips Electronics N.V. Decodificación de audio.
KR100708196B1 (ko) * 2005-11-30 2007-04-17 삼성전자주식회사 모노 스피커를 이용한 확장된 사운드 재생 장치 및 방법
AU2007207861B2 (en) * 2006-01-19 2011-06-09 Blackmagic Design Pty Ltd Three-dimensional acoustic panning device
EP2070392A2 (en) * 2006-09-14 2009-06-17 Koninklijke Philips Electronics N.V. Sweet spot manipulation for a multi-channel signal
CN101484935B (zh) * 2006-09-29 2013-07-17 Lg电子株式会社 用于编码和解码基于对象的音频信号的方法和装置
JP5029869B2 (ja) * 2006-11-09 2012-09-19 ソニー株式会社 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム
US8295494B2 (en) * 2007-08-13 2012-10-23 Lg Electronics Inc. Enhancing audio with remixing capability
EP2124486A1 (de) * 2008-05-13 2009-11-25 Clemens Par Winkelabhängig operierende Vorrichtung oder Methodik zur Gewinnung eines pseudostereophonen Audiosignals
KR101588028B1 (ko) * 2009-06-05 2016-02-12 코닌클리케 필립스 엔.브이. 서라운드 사운드 시스템 및 이를 위한 방법
JP2012119738A (ja) * 2010-11-29 2012-06-21 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP5699566B2 (ja) * 2010-11-29 2015-04-15 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR102394141B1 (ko) * 2011-07-01 2022-05-04 돌비 레버러토리즈 라이쎈싱 코오포레이션 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들
EP2774391A4 (en) * 2011-10-31 2016-01-20 Nokia Technologies Oy RENDERING AUDIO SCENE VIA ALIGNMENT OF DATA SERIES THAT VARY BY TIME
JP2013135310A (ja) * 2011-12-26 2013-07-08 Sony Corp 情報処理装置、情報処理方法、プログラム、記録媒体、及び、情報処理システム
US9479886B2 (en) * 2012-07-20 2016-10-25 Qualcomm Incorporated Scalable downmix design with feedback for object-based surround codec
JP6102179B2 (ja) * 2012-08-23 2017-03-29 ソニー株式会社 音声処理装置および方法、並びにプログラム
EP2979467B1 (en) * 2013-03-28 2019-12-18 Dolby Laboratories Licensing Corporation Rendering audio using speakers organized as a mesh of arbitrary n-gons
KR102319766B1 (ko) * 2013-04-26 2021-11-01 소니그룹주식회사 음성 처리 장치 및 방법, 및 기록 매체
WO2015073454A2 (en) * 2013-11-14 2015-05-21 Dolby Laboratories Licensing Corporation Screen-relative rendering of audio and encoding and decoding of audio for such rendering
FR3024310A1 (fr) * 2014-07-25 2016-01-29 Commissariat Energie Atomique Procede de regulation dynamique de debits de consigne dans un reseau sur puce, programme d'ordinateur et dispositif de traitement de donnees correspondants
KR102488354B1 (ko) 2015-06-24 2023-01-13 소니그룹주식회사 음성 처리 장치 및 방법, 그리고 기록 매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006128816A (ja) * 2004-10-26 2006-05-18 Victor Co Of Japan Ltd 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
JP2014090504A (ja) * 2009-11-04 2014-05-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandte Forschung E V 仮想音源に関連するオーディオ信号に基づいて、スピーカ設備のスピーカの駆動係数を計算する装置および方法、並びにスピーカ設備のスピーカの駆動信号を供給する装置および方法
WO2015012122A1 (ja) * 2013-07-24 2015-01-29 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2015080119A (ja) * 2013-10-17 2015-04-23 ヤマハ株式会社 音像定位装置

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018173413A1 (ja) * 2017-03-24 2020-02-06 シャープ株式会社 音声信号処理装置及び音声信号処理システム
US10999678B2 (en) 2017-03-24 2021-05-04 Sharp Kabushiki Kaisha Audio signal processing device and audio signal processing system
CN110537373B (zh) * 2017-04-25 2021-09-28 索尼公司 信号处理装置和方法以及存储介质
JP2022137213A (ja) * 2017-04-25 2022-09-21 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
CN110537373A (zh) * 2017-04-25 2019-12-03 索尼公司 信号处理装置和方法以及程序
JPWO2018198767A1 (ja) * 2017-04-25 2020-02-27 ソニー株式会社 信号処理装置および方法、並びにプログラム
WO2018198767A1 (ja) * 2017-04-25 2018-11-01 ソニー株式会社 信号処理装置および方法、並びにプログラム
KR102506167B1 (ko) * 2017-04-25 2023-03-07 소니그룹주식회사 신호 처리 장치 및 방법, 및 프로그램
KR20190140913A (ko) * 2017-04-25 2019-12-20 소니 주식회사 신호 처리 장치 및 방법, 및 프로그램
JP7107305B2 (ja) 2017-04-25 2022-07-27 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
JP7388492B2 (ja) 2017-04-25 2023-11-29 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
RU2763785C2 (ru) * 2017-04-25 2022-01-11 Сони Корпорейшн Способ и устройство обработки сигнала
US11900956B2 (en) 2017-04-26 2024-02-13 Sony Group Corporation Signal processing device and method, and program
WO2018198789A1 (ja) * 2017-04-26 2018-11-01 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP7160032B2 (ja) 2017-04-26 2022-10-25 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
JP2022188258A (ja) * 2017-04-26 2022-12-20 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
US11574644B2 (en) 2017-04-26 2023-02-07 Sony Corporation Signal processing device and method, and program
JP7459913B2 (ja) 2017-04-26 2024-04-02 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
JPWO2018198789A1 (ja) * 2017-04-26 2020-03-05 ソニー株式会社 信号処理装置および方法、並びにプログラム
US11882426B2 (en) 2018-04-09 2024-01-23 Dolby International Ab Methods, apparatus and systems for three degrees of freedom (3DoF+) extension of MPEG-H 3D audio
US11375332B2 (en) 2018-04-09 2022-06-28 Dolby International Ab Methods, apparatus and systems for three degrees of freedom (3DoF+) extension of MPEG-H 3D audio
US11877142B2 (en) 2018-04-09 2024-01-16 Dolby International Ab Methods, apparatus and systems for three degrees of freedom (3DOF+) extension of MPEG-H 3D audio
JP7371003B2 (ja) 2018-04-11 2023-10-30 ドルビー・インターナショナル・アーベー オーディオ・レンダリングのための事前レンダリングされた信号のための方法、装置およびシステム
JP2021521681A (ja) * 2018-04-11 2021-08-26 ドルビー・インターナショナル・アーベー オーディオ・レンダリングのための事前レンダリングされた信号のための方法、装置およびシステム
CN111937070A (zh) * 2018-04-12 2020-11-13 索尼公司 信息处理设备、方法以及程序
WO2022009694A1 (ja) * 2020-07-09 2022-01-13 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
EP4284029A2 (en) 2021-03-19 2023-11-29 Yamaha Corporation Audio signal processing method, audio signal processing apparatus and audio signal processing program
EP4284030A2 (en) 2021-03-19 2023-11-29 Yamaha Corporation Audio signal processing method, audio signal processing apparatus and audio signal processing program
EP4061018A2 (en) 2021-03-19 2022-09-21 Yamaha Corporation Audio signal processing method, audio signal processing apparatus and audio signal processing program

Also Published As

Publication number Publication date
JPWO2016208406A1 (ja) 2018-04-12
US20180160250A1 (en) 2018-06-07
RU2708441C2 (ru) 2019-12-06
RU2019138260A (ru) 2019-12-05
CN107710790B (zh) 2021-06-22
JP2022003833A (ja) 2022-01-11
EP3319342A1 (en) 2018-05-09
US20200145777A1 (en) 2020-05-07
AU2020277210B2 (en) 2021-12-16
JP2022174305A (ja) 2022-11-22
EP3680898B1 (en) 2024-03-27
JP7400910B2 (ja) 2023-12-19
KR20180135109A (ko) 2018-12-19
AU2016283182A1 (en) 2017-11-30
US10567903B2 (en) 2020-02-18
SG11201710080XA (en) 2018-01-30
EP3680898A1 (en) 2020-07-15
AU2019202924B2 (en) 2020-09-10
KR20240018688A (ko) 2024-02-13
AU2020277210A1 (en) 2020-12-24
BR112017027103A2 (ja) 2018-08-21
JP2024020634A (ja) 2024-02-14
US20210409892A1 (en) 2021-12-30
CN107710790A (zh) 2018-02-16
EP3319342B1 (en) 2020-04-01
KR20220013003A (ko) 2022-02-04
RU2017143920A3 (ja) 2019-09-30
US20230078121A1 (en) 2023-03-16
KR101930671B1 (ko) 2018-12-18
RU2017143920A (ru) 2019-06-17
AU2022201515A1 (en) 2022-03-24
EP4354905A2 (en) 2024-04-17
AU2019202924A1 (en) 2019-05-16
CN113473353B (zh) 2023-03-07
CN113473353A (zh) 2021-10-01
JP7147948B2 (ja) 2022-10-05
CN112562697A (zh) 2021-03-26
KR20230014837A (ko) 2023-01-30
BR122022019910B1 (pt) 2024-03-12
KR102373459B1 (ko) 2022-03-14
EP4354905A3 (en) 2024-06-19
BR122022019901B1 (pt) 2024-03-12
KR102633077B1 (ko) 2024-02-05
BR112017027103B1 (pt) 2023-12-26
US11140505B2 (en) 2021-10-05
JP6962192B2 (ja) 2021-11-05
EP3319342A4 (en) 2019-02-20
KR102488354B1 (ko) 2023-01-13
US11540080B2 (en) 2022-12-27
AU2016283182B2 (en) 2019-05-16
KR20180008609A (ko) 2018-01-24

Similar Documents

Publication Publication Date Title
JP7147948B2 (ja) 音声処理装置および方法、並びにプログラム
RU2668113C2 (ru) Способ и устройство вывода аудиосигнала, способ и устройство кодирования, способ и устройство декодирования и программа
CN110415712A (zh) 用于解码声音或声场的高阶高保真度立体声响复制（hoa）表示的方法
KR102677399B1 (ko) 신호 처리 장치 및 방법, 그리고 프로그램
GB2572419A (en) Spatial sound rendering
KR20240104089A (ko) 정보 처리 장치 및 방법, 그리고 프로그램
CN118140492A (zh) 信息处理装置、方法和程序

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16814177

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017525183

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2016283182

Country of ref document: AU

Date of ref document: 20160609

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 11201710080X

Country of ref document: SG

ENP Entry into the national phase

Ref document number: 20177035890

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2017143920

Country of ref document: RU

WWE Wipo information: entry into national phase

Ref document number: 122022019901

Country of ref document: BR

Ref document number: 15737026

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016814177

Country of ref document: EP

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112017027103

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112017027103

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20171215