WO2017208821A1 - 音響処理装置および方法、並びにプログラム - Google Patents

音響処理装置および方法、並びにプログラム Download PDF

Info

Publication number
WO2017208821A1
WO2017208821A1 PCT/JP2017/018500 JP2017018500W WO2017208821A1 WO 2017208821 A1 WO2017208821 A1 WO 2017208821A1 JP 2017018500 W JP2017018500 W JP 2017018500W WO 2017208821 A1 WO2017208821 A1 WO 2017208821A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio object
unit
information
audio
sound
Prior art date
Application number
PCT/JP2017/018500
Other languages
English (en)
French (fr)
Inventor
本間　弘幸
辻　実
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201780031805.4A priority Critical patent/CN109314833B/zh
Priority to EP17806379.8A priority patent/EP3468233B1/en
Priority to KR1020187033606A priority patent/KR102332739B1/ko
Priority to BR112018073896-4A priority patent/BR112018073896A2/pt
Priority to JP2018520783A priority patent/JPWO2017208821A1/ja
Priority to RU2018141220A priority patent/RU2735095C2/ru
Priority to US16/303,717 priority patent/US10708707B2/en
Publication of WO2017208821A1 publication Critical patent/WO2017208821A1/ja
Priority to JP2022027568A priority patent/JP7504140B2/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Definitions

  • the present technology relates to an acoustic processing device, method, and program, and more particularly, to an acoustic processing device, method, and program that can more easily adjust acoustic characteristics.
  • an MPEG (Moving Picture Experts Group) -H Part 3: 3D audio standard which is an international standard, is known as a standard for encoding object audio (see, for example, Non-Patent Document 1).
  • a moving sound source or the like is treated as an independent audio object together with the conventional two-channel stereo method or multi-channel stereo method such as 5.1 channel, and the position of the audio object is recorded together with the signal data of the audio object.
  • Information can be encoded as metadata. In this way, it is possible to easily process a specific sound source during reproduction, which is difficult with the conventional encoding method. Specifically, for example, volume adjustment and effect addition can be performed for each audio object as processing of a specific sound source.
  • the present technology has been made in view of such a situation, and makes it possible to adjust the acoustic characteristics more easily.
  • a sound processing apparatus includes a display control unit that displays an audio object information image representing a position of the audio object on a display unit based on object position information of the audio object, and one or a plurality of the audio objects
  • a selection unit that selects the predetermined audio object.
  • the acoustic processing apparatus may further include a parameter setting unit that sets parameters relating to the acoustics of the audio object selected by the selection unit.
  • the acoustic processing device includes a process for adjusting the acoustic characteristics of the audio object audio with respect to at least one of the audio object signal of the audio object and the background sound signal of the background sound based on the parameter. It is possible to further provide a signal adjustment unit for performing the above.
  • the parameter can be a parameter for volume adjustment or sound quality adjustment.
  • the acoustic processing apparatus may further include a rendering processing unit that performs rendering processing of the audio object signal of the audio object.
  • the parameter may be a parameter for designating the position of the audio object, and the rendering processing unit may perform the rendering process based on the parameter.
  • the display control unit can superimpose and display the audio object information image at a position determined by the object position information on a video accompanying the audio of the audio object displayed on the display unit.
  • the display control unit can display the audio object information image at an end portion of the display screen.
  • the selection unit can select the audio object in accordance with a designation operation at the position of the audio object information image by the user.
  • the acoustic processing device may further include an audio object decoding unit that decodes an audio object bitstream to obtain an audio object signal of the audio object and the object position information.
  • An acoustic processing method or program displays an audio object information image representing a position of the audio object on a display unit based on the object position information of the audio object, and displays the audio object information image in one or more of the audio objects. And selecting a predetermined said audio object.
  • an audio object information image representing the position of the audio object is displayed on a display unit based on the object position information of the audio object, and the predetermined object is selected from the one or more audio objects.
  • An audio object is selected.
  • the acoustic characteristics can be adjusted more easily.
  • the present technology Based on the object position information in the audio object bitstream, the present technology displays an image such as a rectangular frame in a superimposed manner that an audio object exists at a corresponding position on the display screen of the display device. The position information of the audio object is visualized. Further, in the present technology, when the audio object is outside the display range of the display screen, the audio object is superimposed and displayed together with information indicating that the audio object is out of the range in the corresponding direction of the display screen outer frame. The location information was made visible. As a result, the device user can select an audio object based on the displayed information, and can easily perform operations such as volume adjustment.
  • FIG. 1 is a diagram illustrating a configuration example of an embodiment of an audiovisual processing apparatus to which the present technology is applied.
  • a demultiplexing unit 21 includes a demultiplexing unit 21, a video decoding unit 22, a video display unit 23, an audio object decoding unit 24, an audio object information display control unit 25, an operation unit 26, a signal adjustment unit 27, A background sound decoding unit 28, a signal adjustment unit 29, and a rendering processing unit 30 are included.
  • the audio / video processing apparatus 11 is supplied with an input bit stream for reproducing content composed of video and audio. More specifically, the content obtained from the input bitstream is composed of a video and audio and background sound of an audio object accompanying the video.
  • the demultiplexer 21 demultiplexes the input bit stream supplied from the outside into a video bit stream, an audio object bit stream, and a background sound bit stream.
  • the video bitstream is a bitstream including a video signal for reproducing the content video (image), and the demultiplexing unit 21 converts the video bitstream obtained by the demultiplexing into a video.
  • the data is supplied to the decoding unit 22.
  • the audio object bitstream includes an audio object signal for reproducing audio of an audio object, and audio object information that is metadata of the audio object, among audio signals for reproducing audio accompanying the video of the content. Is a bitstream including
  • the demultiplexing unit 21 supplies the audio object bitstream obtained by the demultiplexing to the audio object decoding unit 24.
  • the background sound bitstream includes bits other than the audio of the audio object, that is, the background sound signal for reproducing the background sound, among the audio signals for reproducing the sound accompanying the content video. It is a stream.
  • the demultiplexing unit 21 supplies the background sound bit stream obtained by the demultiplexing to the background sound decoding unit 28.
  • the video decoding unit 22 decodes the video bitstream supplied from the demultiplexing unit 21 and supplies the video signal obtained as a result to the video display unit 23.
  • the video display unit 23 includes a display device such as a liquid crystal display panel, for example, and displays content video (image) based on the video signal supplied from the video decoding unit 22.
  • the audio object decoding unit 24 decodes the audio object bitstream supplied from the demultiplexing unit 21 to obtain audio object information and an audio object signal.
  • the audio object decoding unit 24 supplies the audio object information obtained by the decoding to the audio object information display control unit 25 and the rendering processing unit 30, and supplies the audio object signal obtained by the decoding to the signal adjustment unit 27.
  • the audio object information display control unit 25 generates an audio object information image that is image information indicating the position of the audio object based on the audio object information supplied from the audio object decoding unit 24 and supplies the generated audio object information image to the video display unit 23. .
  • the video display unit 23 superimposes and displays the audio object information image supplied from the audio object information display control unit 25 on the video of the content displayed based on the video signal supplied from the video decoding unit 22. The position of the audio object is visually presented to the device user.
  • the operation unit 26 includes, for example, a reception unit that receives a signal from a remote controller and a touch panel, a button, a mouse, a keyboard, and the like that are provided so as to be superimposed on the video display unit 23. A signal corresponding to the operation is output.
  • the device user operates the operation unit 26 while viewing the audio object information image displayed on the video display unit 23, selects an audio object, adjusts the sound volume of the selected audio object, and the like. To adjust the acoustic characteristics.
  • the operation unit 26 receives an adjustment operation of the acoustic characteristics by the user, the operation unit 26 generates signal adjustment information for adjusting the acoustic characteristics according to the operation, and supplies the signal adjustment information to the signal adjustment unit 27 or the signal adjustment unit 29.
  • the operation unit 26 has a touch panel provided integrally with the video display unit 23, that is, provided to overlap the display screen of the video display unit 23.
  • the signal adjustment unit 27 adjusts the amplitude and the like of the audio object signal supplied from the audio object decoding unit 24 based on the signal adjustment information supplied from the operation unit 26, thereby adjusting the acoustic characteristics such as volume adjustment and sound quality adjustment. The adjustment is performed, and the audio object signal obtained as a result is supplied to the rendering processing unit 30.
  • the amplitude of the audio object signal is adjusted.
  • the sound quality as acoustic characteristics for example, by adjusting the gain by filter processing using a filter coefficient for each frequency band (band) of the audio object signal, an effect is added to the sound based on the audio object signal. Added.
  • the background sound decoding unit 28 decodes the background sound bit stream supplied from the demultiplexing unit 21 and supplies the background sound signal obtained as a result to the signal adjustment unit 29.
  • the signal adjustment unit 29 adjusts the amplitude and the like of the background sound signal supplied from the background sound decoding unit 28 based on the signal adjustment information supplied from the operation unit 26 to adjust the acoustic characteristics such as volume adjustment and sound quality adjustment. The adjustment is performed, and the background sound signal obtained as a result is supplied to the rendering processing unit 30.
  • the signal adjustment unit including the signal adjustment unit 27 and the signal adjustment unit 29 adjusts acoustic characteristics such as volume and sound quality with respect to at least one of the audio object signal and the background sound signal. Is performed. Thereby, the acoustic characteristic of the audio
  • the acoustic characteristic adjustment of the sound of the audio object is realized.
  • the rendering processing unit 30 performs a rendering process on the audio object signal supplied from the signal adjustment unit 27 based on the audio object information supplied from the audio object decoding unit 24.
  • the rendering processing unit 30 performs a mixing process for synthesizing the audio object signal obtained by the rendering process and the background sound signal supplied from the signal adjustment unit 29, and outputs the output audio signal obtained as a result.
  • the speaker that has been supplied with the output audio signal reproduces the sound of the content based on the output audio signal. At this time, the sound of the audio object and the background sound are reproduced as the sound of the content.
  • step S11 the demultiplexing unit 21 demultiplexes the input bit stream supplied from the outside to obtain a video bit stream, an audio object bit stream, and a background sound bit stream.
  • the demultiplexing unit 21 supplies the video bit stream, the audio object bit stream, and the background sound bit stream obtained by the demultiplexing to the video decoding unit 22, the audio object decoding unit 24, and the background sound decoding unit 28, respectively. To do.
  • step S12 the video decoding unit 22 decodes the video bitstream supplied from the demultiplexing unit 21, and supplies the video signal obtained as a result to the video display unit 23.
  • the video display unit 23 displays a content image (video) based on the video signal supplied from the video decoding unit 22. That is, the content video is reproduced.
  • step S13 the background sound decoding unit 28 decodes the background sound bit stream supplied from the demultiplexing unit 21, and supplies the background sound signal obtained as a result to the signal adjustment unit 29.
  • step S14 the audio object decoding unit 24 decodes the audio object bitstream supplied from the demultiplexing unit 21 to obtain audio object information and an audio object signal.
  • the audio object signal is a waveform signal of audio of the audio object, and an audio object signal is obtained for each one or a plurality of audio objects by decoding the audio object bit stream.
  • the audio object signal is a PCM (Pulse Code Modulation) signal or the like.
  • the audio object information is metadata including information indicating where in the space an audio object as a sound source exists, and is encoded in the format shown in FIG. 3, for example.
  • “num_objects” indicates the number of audio objects included in the audio object bitstream.
  • tcimsbf is an abbreviation for “Two ’s complement integer, most significant (sign) bit first”, and the sign bit indicates the 2's complement at the head.
  • Uimsbf is an abbreviation of “Unsigned integer, most significant bit first”, and the most significant bit indicates the first unsigned integer.
  • gain_factor [i] indicates the gain of the i-th audio object included in the audio object bitstream.
  • Position_azimuth [i] indicates the position information of the i-th audio object included in the audio object bitstream.
  • position_azimuth [i] indicates the azimuth angle of the position of the audio object in the spherical coordinate system
  • position_elevation [i] indicates the elevation angle of the position of the audio object in the spherical coordinate system.
  • Position_radius [i] indicates a distance to the position of the audio object in the spherical coordinate system, that is, a radius.
  • the information indicating the position of the audio object including “position_azimuth [i]”, “position_elevation [i]”, and “position_radius [i]” included in the audio object information is also referred to as object position information. .
  • gain information information indicating the gain of the audio object “gain_factor [i]” included in the audio object information is also referred to as gain information.
  • the audio object information including the object position information and gain information of each audio object is the audio object metadata.
  • an X axis, a Y axis, and a Z axis that pass through the origin O and are perpendicular to each other are axes of a three-dimensional orthogonal coordinate system.
  • the position of the audio object OB11 in space is X1, which is an X coordinate indicating a position in the X axis direction
  • Y1 which is a Y coordinate indicating a position in the Y axis direction
  • Z1 which is the Z coordinate indicating is expressed as (X1, Y1, Z1).
  • the position of the audio object OB11 in the space is represented using the azimuth position_azimuth, the elevation position_elevation, and the radius position_radius.
  • a straight line connecting the origin O and the position of the audio object OB11 in space is a straight line r
  • a straight line obtained by projecting the straight line r on the XY plane is a straight line L.
  • an angle ⁇ formed by the X axis and the straight line L is set as an azimuth position_azimuth indicating the position of the audio object OB11. Further, an angle ⁇ formed by the straight line r and the XY plane is an elevation angle position_elevation indicating the position of the audio object OB11, and a length of the straight line r is a radius position_radius indicating the position of the audio object OB11.
  • the position of the origin O is the position of the user who views the video (image) of the content, and the positive direction in the X direction (X-axis direction), that is, the front direction in FIG.
  • the positive direction of the Y direction (Y-axis direction), that is, the right direction in FIG. 4 is the left direction as viewed from the user.
  • the position of each audio object is represented by spherical coordinates.
  • the position and gain of the audio object indicated by such audio object information are physical quantities that change every predetermined time interval.
  • the sound image localization position of the audio object can be moved according to the change of the audio object information.
  • the audio object decoding unit 24 obtains audio object information and an audio object signal by decoding the audio object bitstream.
  • the audio object decoding unit 24 supplies the audio object information obtained by the decoding to the audio object information display control unit 25 and the rendering processing unit 30, and supplies the audio object signal obtained by the decoding to the signal adjustment unit 27.
  • step S15 the audio object information display control unit 25 calculates the position of the audio object on the display screen based on the audio object information supplied from the audio object decoding unit 24.
  • Information Information technology-High Information efficiency medium coding delivery and media delivery service part 3: 3D audio (hereinafter also referred to as Reference 1)
  • Information related to the screen of the playback device assumed by the video producer can be described in the bitstream as horizontal field angle information and vertical field angle information, but when these field angle information is not described. Is to use a default value as the angle of view information.
  • the angle of view information indicating the horizontal angle of the video display unit 23 viewed from the origin O in space is set to screen_azimuth
  • the video display unit 23 viewed from the origin O in space is defined as screen_elevation.
  • the default value of the horizontal view angle information screen_azimuth and the default value of the vertical view angle information screen_elevation are as shown in the following equation (1).
  • the vertical position in the figure of the center position O 'of the display screen of the video display unit 23 and the origin O, which is the position of the user in space, is the same position.
  • a two-dimensional orthogonal coordinate system having a center position O ′ as an origin, a right direction in the figure as a positive direction in the x direction, and an upward direction in the figure as a positive direction in the y direction is defined as an xy coordinate system.
  • a position on the xy coordinate system is expressed as (x, y) using the x coordinate and the y coordinate.
  • the width (length) in the x direction of the display screen of the video display unit 23 is set as screen_width
  • the width (length) in the y direction of the display screen of the video display unit 23 is set as screen_height.
  • an angle AG31 formed by a vector VB31 having the origin O as a start point and the center position O 'as an end point and a vector VB32 having the origin O as a start point and the position PS11 as an end point is -screen_azimuth.
  • an angle AG32 formed by the vector VB31 and the vector VB33 starting from the origin O and ending at the position PS12 is screen_azimuth.
  • an angle AG33 formed by the vector VB31 and the vector VB34 starting from the origin O and ending at the position PS13 is a screen_elevation.
  • An angle AG34 formed by the vector VB31 and the vector VB35 starting from the origin O and ending at the position PS14 is -screen_elevation.
  • the audio object information display control unit 25 includes the default field angle information screen_azimuth and field angle information screen_elevation, the length screen_width and screen_height of the video display unit 23 which are known values, and the object position information included in the audio object information. Then, the following equation (2) is calculated, and the position of the audio object on the display screen of the video display unit 23 is calculated.
  • position_azimuth and position_elevation indicate an azimuth angle and an elevation angle that indicate the position of the audio object that constitutes the object position information.
  • the x coordinate and the y coordinate indicating the position of the audio object on the display screen of the video display unit 23, that is, the content image, are obtained.
  • the position of the audio object on the display screen of the video display unit 23 obtained in this way is also referred to as an object screen position.
  • the audio object information display control unit 25 performs, for example, the following for audio objects that do not satisfy the constraints shown in Equation (2), that is,
  • the object screen position of the audio object is the position of the end portion of the display screen of the video display unit 23. That is, the object screen position is a position indicated by the angle of view information of the video display unit 23.
  • An audio object that does not satisfy the constraint condition of Expression (2) is an object that is not observed on the content image and is located outside the image, that is, an object outside the display screen of the video display unit 23.
  • the position of the end portion of the display screen of the video display unit 23 closest to the object screen position is the final position.
  • the object screen position is assumed.
  • the intersection position between the straight line connecting the object screen position and the center position O ′ and the end of the display screen of the video display unit 23 is determined as the final object screen position. And so on.
  • step S ⁇ b> 16 the audio object information display control unit 25 controls the video display unit 23 based on the object screen position, and the audio object exists on the content image (video). An audio object information image indicating is superimposed and displayed.
  • the display position of the audio object information image is the object screen position, that is, the position on the display screen of the video display unit 23 determined by the object position information.
  • the audio object information image is displayed at a position on the content image (video) determined by the object position information.
  • the audio object information display control unit 25 displays a rectangular frame image that is an image of a rectangular frame having a predetermined size centered on the object screen position based on the object screen position obtained in the process of step S15.
  • Image information is generated as image information of the audio object information image.
  • the size of the rectangular frame image may be a predetermined size, or may be a size determined by a radius position_radius as object position information.
  • the rectangular frame image for the audio object that does not satisfy the constraint condition of the above-described expression (2) is a rectangular frame image different from the rectangular frame image of the audio object that satisfies the constraint condition.
  • the different rectangular frame images are different in, for example, the shape and size of the rectangular frame, but may be different in display format such as color.
  • the audio object information display control unit 25 supplies the audio object information image generated in this way to the video display unit 23, and displays the audio object information image superimposed on the content image.
  • the audio object information image of the audio object that does not satisfy the constraint condition of Expression (2) that is, the object screen position obtained from the object position information is outside the display screen of the video display unit 23 is the most in the object screen position. It is displayed at the position of the end portion of the display screen of the video display unit 23 close. That is, the audio object information image is displayed at the end portion on the content image.
  • step S16 When the processing of step S16 is performed, for example, the image shown in FIG.
  • three persons HM11 to HM13 are displayed as audio objects on the content image displayed on the video display unit 23.
  • rectangular frame images FR11 to FR13 as audio object information images are superimposed and displayed on the face areas of the persons HM11 to HM13, respectively. Therefore, the user can easily recognize the audio object by looking at the rectangular frame image FR11 to the rectangular frame image FR13.
  • FIG. 6 a rectangular frame image FR ⁇ b> 14 indicating that there is an audio object that does not satisfy the constraint condition of Expression (2), that is, an audio object outside the display screen, is displayed at the display screen end of the video display unit 23. Yes.
  • the rectangular frame image FR14 is displayed as a dotted line to indicate that the audio object corresponding to the rectangular frame image FR14 is outside the display screen. That is, the rectangular frame image FR14 is displayed in a different display format from the other rectangular frame images FR11 to FR13.
  • the rectangular frame image FR11 and the rectangular frame image FR13 are also displayed with dotted lines, but the dotted line display of the rectangular frame image FR14 has a display format different from the dotted line display of the rectangular frame image FR11 and the rectangular frame image FR13. It is made so that it can be distinguished.
  • the user cannot confirm the audio object on the content image. However, the user can know that an audio object exists outside the display screen by looking at the rectangular frame image FR14. For example, the user can recognize that there is an audio object that cannot be seen on the left side outside the display screen when viewed from the rectangular frame image FR14.
  • the rectangular frame image FR12 displayed for the selected person HM12 is highlighted.
  • the rectangular frame image FR12 is drawn with a solid line, indicating that the rectangular frame image FR12 is highlighted. Thereby, the user can visually grasp which audio object has been selected.
  • the rectangular frame image FR11, the rectangular frame image FR13, and the rectangular frame image FR14 of a person who has not been selected are drawn with dotted lines and are not highlighted, that is, are displayed normally. Represents that. Accordingly, when the rectangular frame image FR12 is selected, the display state of the rectangular frame image FR12 changes from the normal display state drawn with a dotted line to the highlighted state drawn with a solid line.
  • an adjustment instruction for adjusting the acoustic characteristics of the sound of the selected person HM12 is displayed near the rectangular frame image FR12.
  • An image CT11 is displayed.
  • the adjustment instruction image CT11 an image for adjusting the sound volume of the person HM12 is displayed.
  • the volume adjustment not only the volume adjustment but also the sound quality adjustment can be performed by the operation on the adjustment instruction image, but here, the description will be continued by taking the volume adjustment as an example in order to simplify the description.
  • the user who is the device user can adjust the sound volume of the audio object more easily and intuitively by performing an operation on the arrow portion shown in the adjustment instruction image CT11. Specifically, the user can increase the volume by touching the upper part in the figure in the arrow portion of the adjustment instruction image CT11, and conversely touch the lower part in the figure in the arrow part. By doing so, the volume can be lowered.
  • the amount by which the volume is increased or decreased is determined according to the number of touches and the time of touching the arrow portion.
  • the user cancels the selection of the person HM12 by pressing the rectangular frame image FR12 with a finger again while the adjustment instruction image CT11 is displayed, and the adjustment instruction image CT11 is not displayed.
  • the display can be returned.
  • step S ⁇ b> 17 the operation unit 26 selects an audio object whose acoustic characteristics are to be adjusted in accordance with an operation by a user who is a device user.
  • selection of an audio object by the user is performed by the user specifying a rectangular frame image displayed for the audio object, that is, an audio object information image.
  • the user can select only one audio object from one or a plurality of audio objects to adjust the acoustic characteristics, or select a plurality of audio objects in order to adjust the acoustic characteristics. You can also
  • the operation unit 26 selects an audio object in accordance with a user's operation for designating an audio object information image.
  • the operation unit 26 is based on a signal generated in response to an operation on the operation unit 26 by the user.
  • the person HM12 corresponding to the rectangular frame image FR12 is selected as an audio object for adjusting the acoustic characteristics.
  • the operation unit 26 that selects a person corresponding to a rectangular frame image functions as an audio object selection unit that selects an audio object in accordance with a user operation.
  • the operation unit 26 controls the video display unit 23 to highlight and display a rectangular frame image (audio object information image) corresponding to the selected audio object.
  • An adjustment instruction image is displayed in the vicinity of the rectangular frame image. Thereby, in the example of FIG. 6, the rectangular frame image FR12 is highlighted and the adjustment instruction image CT11 is displayed.
  • the user who is the user of the device performs an operation on the adjustment instruction image and instructs the adjustment of the acoustic characteristics of the audio object. Note that not only the sound of the audio object but also the acoustic characteristics of the background sound may be adjusted.
  • step S18 the operation unit 26 generates signal adjustment information for adjusting the acoustic characteristics of the audio of the selected audio object based on a signal generated in response to the user's operation on the adjustment instruction image.
  • the operation unit 26 when the sound volume adjustment of the audio object is instructed, the operation unit 26 generates signal adjustment information instructing to decrease or increase the sound volume by the instructed amount.
  • the signal adjustment information includes an amount of increase or decrease in volume, that is, information indicating the volume adjustment amount as a parameter.
  • the operation unit 26 selects a filter coefficient to be used for filter processing for adding an effect corresponding to the instruction, and sets information indicating the selected filter coefficient as a parameter. Is generated as signal adjustment information.
  • the signal adjustment information generated in this way includes parameters related to sound, such as information indicating the volume adjustment amount and information indicating the filter coefficient, that is, parameters indicating the degree of adjustment when adjusting the acoustic characteristics. Therefore, it can be said that the operation unit 26 also functions as a parameter setting unit that sets parameters for adjusting acoustic characteristics according to a user operation and generates signal adjustment information including the set parameters.
  • the operation unit 26 supplies the signal adjustment information generated as described above to the signal adjustment unit 27, the signal adjustment unit 29, or the signal adjustment unit 27 and the signal adjustment unit 29.
  • step S19 the signal adjustment unit 27 or the signal adjustment unit 29 adjusts the acoustic characteristics based on the signal adjustment information supplied from the operation unit 26.
  • the signal adjustment unit 27 applies the audio object signal supplied from the audio object decoding unit 24 based on the signal adjustment information supplied from the operation unit 26. To adjust the sound characteristics such as volume adjustment and sound quality adjustment. Then, the signal adjustment unit 27 supplies the audio object signal whose acoustic characteristics are adjusted to the rendering processing unit 30.
  • the signal adjustment unit 29 supplies the background sound signal supplied from the background sound decoding unit 28 to the rendering processing unit 30 as it is.
  • the signal adjustment unit 27 adjusts the volume by amplifying or attenuating the amplitude of the audio object signal based on the signal adjustment information. Further, for example, the signal adjustment unit 27 performs sound quality adjustment by performing filter processing on the audio object signal using the filter coefficient indicated by the signal adjustment information, and adds an effect to the sound.
  • the signal adjustment unit 29 is supplied from the background sound decoding unit 28 based on the signal adjustment information supplied from the operation unit 26.
  • the acoustic characteristics such as volume adjustment and sound quality adjustment are adjusted for the background sound signal.
  • the signal adjustment unit 29 supplies the background sound signal whose acoustic characteristics are adjusted to the rendering processing unit 30.
  • the signal adjustment unit 27 supplies the audio object signal supplied from the audio object decoding unit 24 to the rendering processing unit 30 as it is.
  • the signal adjustment unit 27 and the signal adjustment unit 29 have acoustic characteristics for the audio object signal and the background sound signal, respectively. Adjustments are made. Then, the audio object signal and the background sound signal whose acoustic characteristics are adjusted are supplied to the rendering processing unit 30.
  • the acoustic characteristics may be adjusted by any method as long as the acoustic characteristics of the audio of the audio object designated by the user can be adjusted.
  • the volume of the audio of the selected audio object may be relatively increased by reducing the amplitudes of all audio object signals other than the audio object signal of the selected audio object and the background sound signal. .
  • the rendering processing unit 30 does not directly adjust the amplitude or the like of the audio object signal or the background sound signal, but changes the gain information gain_factor [i] included in the audio object information shown in FIG. May be adjusted.
  • the operation unit 26 generates signal adjustment information including information indicating a change amount of the gain information gain_factor [i] as a parameter, and supplies the signal adjustment information to the rendering processing unit 30.
  • Such information indicating the amount of change in the gain information is information for adjusting the volume of the sound, and thus can be said to be a parameter relating to the sound of the audio object.
  • the rendering processing unit 30 changes the gain information included in the audio object information supplied from the audio object decoding unit 24 based on the signal adjustment information from the operation unit 26, and will be described later using the changed gain information.
  • the process of step S20 is performed.
  • step S20 the rendering processing unit 30 performs the rendering process of the audio object signal supplied from the signal adjustment unit 27 based on the audio object information supplied from the audio object decoding unit 24.
  • the rendering processing unit 30 performs a mixing process for synthesizing the audio object signal obtained by the rendering process and the background sound signal supplied from the signal adjustment unit 29, and outputs an output audio signal obtained as a result.
  • the content reproduction process ends.
  • the background sound signal is reproduced by a so-called multi-channel stereo system such as a conventional 2-channel or 5.1-channel.
  • each audio object signal is mapped to a reproduction environment speaker and reproduced by a method called VBAP (Vector (Base Amplitude Panning).
  • VBAP Vector (Base Amplitude Panning).
  • the rendering processing unit 30 performs gain adjustment by multiplying the audio object signal by the gain information included in the audio object information shown in FIG. 3, and based on the audio object signal that has been subjected to gain adjustment, the VBAP performs the gain adjustment. Processing is performed.
  • audio object signals are mapped to the three speakers closest to the position of the audio object in space indicated by the object position information included in the audio object information shown in FIG. 3 with a gain determined for each speaker.
  • VBAP is a technology that localizes sound at a position in the space of the audio object using the outputs of the three speakers closest to the position of the audio object in the space indicated by the object position information. is there.
  • VBAP is described in detail in, for example, “Virtual Sound Source Position Positioning Using Vector Base Amplitude Panning, AES Volume 45 Issue Issue 6 pp. 456-266, June 1997 (hereinafter also referred to as Reference Document 2).
  • Reference Document 1 and Reference Document 2 the number of speakers is three, but it is of course possible to localize the sound with four or more speakers.
  • the video and audio processing device 11 generates an audio object information image based on the audio object information, displays the audio object information image superimposed on the content image, generates signal adjustment information according to a user operation, Adjust the acoustic characteristics.
  • the user can select the audio object more easily and intuitively and adjust the acoustic characteristics such as volume adjustment. It can be carried out.
  • the sound processing apparatus to which the present technology is applied is configured as shown in FIG.
  • FIG. 7 parts corresponding to those in FIG. 1 are denoted by the same reference numerals, and description thereof is omitted as appropriate.
  • a signal adjustment unit 29 and a rendering processing unit 30 are included.
  • the configuration of the audio processing device 81 is different from the configuration of the audio / video processing device 11 in that the video decoding unit 22 is not provided, and has the same configuration as that of the audio / video processing device 11 in other points.
  • the audio object information obtained by the audio object decoding unit 24 is also supplied to the operation unit 26. Further, the operation unit 26 appropriately changes the object position information of the audio object in accordance with the operation of the user who is the device user, and supplies the changed object position information to the rendering processing unit 30.
  • the position of the audio object when playing pure audio-only content without video, the position of the audio object can be changed to an arbitrary position. This is because if the content contains video, moving the position of the audio object causes a shift between the position of the audio object and the position of the video object corresponding to the audio object. This is because such a thing does not occur.
  • the audio object bitstream includes the audio object information
  • the audio object information image can be displayed on the video display unit 23. Therefore, a user who is a device user can process and edit content while visually confirming the position of the audio object by viewing the audio object information image.
  • Such an embodiment is suitable, for example, when a content editing work consisting only of sound is performed in a studio.
  • an audio object information image is displayed as shown in FIG.
  • the display screen of the video display unit 23 is provided with an object position display area R11, an object metadata display area R12, and an object position time transition display area R13.
  • an audio object information image indicating the position of the audio object is displayed.
  • the audio object information image is displayed at a position indicated by the object position information.
  • each axis of the three-dimensional orthogonal coordinate system indicated by the arrow A11 is displayed in the object position display area R11, and the audio object information image FR31 and the audio object information indicating the positions of the two audio objects are displayed.
  • An image FR32 is displayed.
  • the three-dimensional orthogonal coordinate system indicated by the arrow A11 is a three-dimensional orthogonal coordinate system having the X axis, the Y axis, and the Z axis shown in FIG.
  • the audio object information image FR31 is drawn with a dotted line
  • the audio object information image FR32 is drawn with a solid line
  • the audio object information image FR32 is selected and highlighted.
  • the state of being done is shown. That is, each audio object information image is displayed in different display formats when it is in a selected state and when it is not. Further, FIG. 8 shows a state where the audio object information image FR32 is moved.
  • a user who is a device user can visually confirm the position of the audio object in the space by looking at the audio object information image displayed in the object position display area R11.
  • the metadata of the selected audio object extracted from the audio object bitstream that is, the information included in the audio object information is displayed.
  • object position information and gain information are displayed as information included in the audio object information.
  • a selected audio object information image that is, a position of the selected audio object in space at each time is displayed.
  • the object position time transition display region R13 is provided with an X coordinate display region R21, a Y coordinate display region R22, and a Z coordinate display region R23, and these X coordinate display regions R21 to Z coordinate display.
  • the horizontal direction indicates the time direction.
  • Position transition information PL11 indicating the X coordinate is displayed.
  • the position transition information PL11 is information indicating the time transition of the X coordinate of the audio object.
  • position transition information PL12 indicating the Y coordinate which is the position in the Y axis direction on the space at each time of the selected audio object is displayed.
  • position transition information PL13 indicating the Z coordinate that is the position in the Z-axis direction on the space at each time of the selected audio object is displayed.
  • a cursor CR11 is displayed at the position of one time on the time axis in these X coordinate display area R21 to Z coordinate display area R23.
  • each audio object of the audio object information image is selected.
  • Position transition information PL11 to position transition information PL13 indicating the position at the time are displayed.
  • the audio object corresponding to the audio object information image FR32 is in a selected state.
  • the user can designate a predetermined time by moving the cursor CR11 to a desired position in the time axis direction.
  • the audio object information image of the audio object is displayed in the object position display area R11 at the position on the space of each audio object at the time indicated by the cursor CR11.
  • the audio of the selected audio object is located at a position on the space indicated by the X, Y, and Z coordinates of the time at which the cursor CR11 is located in the position transition information PL11 to the position transition information PL13.
  • An object information image FR32 is displayed.
  • the display of the object metadata display area R12 and the object position time transition display area R13 is also newly selected audio. Updated to the object information image FR31.
  • the user may rotate or enlarge / reduce the three-dimensional orthogonal coordinate system itself indicated by the arrow A11 so that the operation of changing the position of the audio object in space can be easily performed. It has been made possible.
  • the sound processing device 81 it is possible to easily perform processing while visually confirming processing and editing of the audio object included in the input bitstream.
  • an audio object is selected to display an adjustment instruction image or the like, and the selected audio object is subjected to volume adjustment, sound quality adjustment, etc.
  • the acoustic characteristics can also be adjusted.
  • step S51 When the content reproduction process is started, the process of step S51 is performed. Since this process is the same as the process of step S11 of FIG. 2, the description thereof is omitted. However, in step S51, the input bit stream is demultiplexed into the audio object bit stream and the background sound bit stream.
  • step S52 and step S53 are performed. Since these processes are the same as the processes of step S13 and step S14 of FIG. 2, the description thereof is omitted. .
  • step S53 the audio object information obtained by decoding the audio object bitstream is supplied to the audio object information display control unit 25, the operation unit 26, and the rendering processing unit 30.
  • step S54 the audio object information display control unit 25 controls the video display unit 23 based on the audio object information supplied from the audio object decoding unit 24 to display the audio object information image.
  • the audio object information display control unit 25 generates an audio object information image based on the audio object information, and supplies the audio object information image to the video display unit 23 for display.
  • the screen shown in FIG. 8 is displayed on the video display unit 23. That is, as a result of the processing in step S54, the audio object information image is displayed on the video display unit 23 at the position indicated by the object position information included in the audio object information, and the audio object metadata and position transition information are also displayed. Is done.
  • the user who is the device user operates the operation unit 26 to change the position of the audio object, or to adjust the volume or the sound quality.
  • step S55 the operation unit 26 changes the object position information of the audio object in accordance with a user operation.
  • the operation unit 26 changes the object position information of the corresponding audio object according to the movement of the audio object information image FR32. .
  • the object position information is information used for rendering processing, and specifies the position of the audio object in the space, that is, the localization position of the sound image of the audio object in the space. Therefore, it can be said that the process of changing the object position information is a process of setting parameters relating to the sound of the audio object.
  • step S56 the operation unit 26 generates signal adjustment information in accordance with a user operation.
  • step S56 the same process as step S18 of FIG. 2 is performed.
  • step S56 parameters for adjusting the acoustic characteristics may be set according to the movement of the position of the audio object information image, and signal adjustment information including the parameters may be generated.
  • the operation unit 26 supplies the signal adjustment information generated as described above to the signal adjustment unit 27, the signal adjustment unit 29, or the signal adjustment unit 27 and the signal adjustment unit 29. In addition, the operation unit 26 supplies the changed object position information obtained by the process of step S55 to the rendering processing unit 30.
  • step S57 and step S58 are performed thereafter, and the content reproduction processing ends.
  • these processing are the same as the processing of step S19 and step S20 in FIG. The description is omitted.
  • step S58 the rendering processing unit 30 performs rendering using the changed object position information supplied from the operation unit 26 and gain information included in the audio object information supplied from the audio object decoding unit 24. Process.
  • the sound processing device 81 generates and displays an audio object information image based on the audio object information, and generates signal adjustment information according to a user operation to adjust the acoustic characteristics of the sound. Or change object position information.
  • the user can select the audio object more easily and intuitively, adjust the acoustic characteristics, and move the position of the audio object. That is, the audio object can be easily processed and edited while visually confirming it.
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 10 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 505 is further connected to the bus 504.
  • An input unit 506, an output unit 507, a recording unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes a keyboard, a mouse, a microphone, an image sensor, and the like.
  • the output unit 507 includes a display, a speaker, and the like.
  • the recording unit 508 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 509 includes a network interface or the like.
  • the drive 510 drives a removable recording medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads the program recorded in the recording unit 508 to the RAM 503 via the input / output interface 505 and the bus 504 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 501) can be provided by being recorded in a removable recording medium 511 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 508 via the input / output interface 505 by attaching the removable recording medium 511 to the drive 510. Further, the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the recording unit 508. In addition, the program can be installed in the ROM 502 or the recording unit 508 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the present technology can be configured as follows.
  • a display control unit that displays an audio object information image representing the position of the audio object on a display unit based on object position information of the audio object;
  • a sound processing apparatus comprising: a selection unit that selects a predetermined audio object from one or a plurality of the audio objects.
  • the sound processing apparatus according to (1) further including a parameter setting unit that sets a parameter related to sound of the audio object selected by the selection unit.
  • a signal adjustment unit that performs a process for adjusting an acoustic characteristic of the audio object sound on at least one of the audio object signal of the audio object and the background sound signal of the background sound based on the parameter;
  • the sound processing apparatus according to (2) further provided.
  • the acoustic processing apparatus according to any one of (2) to (4), further including a rendering processing unit that performs rendering processing of an audio object signal of the audio object.
  • the parameter is a parameter that specifies the position of the audio object;
  • the acoustic processing apparatus according to (5), wherein the rendering processing unit performs the rendering processing based on the parameter.
  • the display control unit superimposes and displays the audio object information image at a position determined by the object position information on a video that is displayed on the display unit and accompanied by the sound of the audio object.
  • the sound processing apparatus wherein the display control unit displays the audio object information image on an end portion of the display screen when a position determined by the object position information is outside the display screen of the display unit.
  • the acoustic processing device according to (7) or (8), wherein the selection unit selects the audio object in accordance with a designation operation at a position of the audio object information image by a user.
  • the audio processing device according to any one of (1) to (9), further including an audio object decoding unit that decodes an audio object bitstream to obtain an audio object signal of the audio object and the object position information. .
  • an audio object information image representing the position of the audio object is displayed on the display unit, A sound processing method including a step of selecting a predetermined audio object from one or a plurality of the audio objects.
  • an audio object information image representing the position of the audio object is displayed on the display unit, A program that causes a computer to execute a process including a step of selecting a predetermined audio object from one or a plurality of the audio objects.
  • 11 audio / video processing device 21 demultiplexing unit, 23 video display unit, 24 audio object decoding unit, 25 audio object information display control unit, 26 operation unit, 27 signal adjustment unit, 28 background sound decoding unit, 29 signal adjustment unit 30 rendering processor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Stereophonic System (AREA)
  • Television Receiver Circuits (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本技術は、より簡単に音響特性を調整することができるようにする音響処理装置および方法、並びにプログラムに関する。 音響処理装置は、オーディオオブジェクトのオブジェクト位置情報に基づいて、オーディオオブジェクトの位置を表すオーディオオブジェクト情報画像を表示部に表示させる表示制御部と、１または複数のオーディオオブジェクトのなかから、所定のオーディオオブジェクトを選択する選択部とを備える。本技術は映像音響処理装置に適用することができる。

Description

音響処理装置および方法、並びにプログラム
　本技術は音響処理装置および方法、並びにプログラムに関し、特に、より簡単に音響特性を調整することができるようにした音響処理装置および方法、並びにプログラムに関する。
　近年、映画やゲーム等でオブジェクトオーディオ技術が用いられ、オブジェクトオーディオを扱える符号化方式も開発されている。例えばオブジェクトオーディオの符号化に関する規格として、国際標準規格であるMPEG(Moving Picture Experts Group)-H Part 3:3D audio規格などが知られている（例えば、非特許文献１参照）。
　このような符号化方式では、従来の２チャネルステレオ方式や、５．１チャネル等のマルチチャネルステレオ方式とともに、移動する音源等を独立したオーディオオブジェクトとして扱い、オーディオオブジェクトの信号データとともにオーディオオブジェクトの位置情報をメタデータとして符号化することができる。このようにすることで、従来の符号化方式では困難であった、再生時における特定の音源の加工を容易に行うことができる。具体的には、例えば特定の音源の加工として、音量調整やエフェクトの追加などをオーディオオブジェクトごとに行うことが可能である。
INTERNATIONAL STANDARD ISO/IEC 23008-3 First edition 2015-10-15 Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 3: 3D audio
　しかしながら、このようなオブジェクトオーディオ符号化技術で符号化されたオーディオオブジェクトビットストリームを含む映像を再生する際には、オーディオオブジェクトの音量調整等をすることは困難であった。
　具体的には、複数のオーディオオブジェクトの中から、所望のオーディオオブジェクトを選択して音量調整等を行う場合、出力された音声を聞くだけでは、目的とするオーディオオブジェクトを正しく選択することは極めて困難である。
　本技術は、このような状況に鑑みてなされたものであり、より簡単に音響特性を調整することができるようにするものである。
　本技術の一側面の音響処理装置は、オーディオオブジェクトのオブジェクト位置情報に基づいて、前記オーディオオブジェクトの位置を表すオーディオオブジェクト情報画像を表示部に表示させる表示制御部と、１または複数の前記オーディオオブジェクトのなかから、所定の前記オーディオオブジェクトを選択する選択部とを備える。
　音響処理装置には、前記選択部により選択された前記オーディオオブジェクトの音響に関するパラメータを設定するパラメータ設定部をさらに設けることができる。
　音響処理装置には、前記パラメータに基づいて、前記オーディオオブジェクトのオーディオオブジェクト信号、および背景音の背景音信号の少なくとも何れか一方に対して、前記オーディオオブジェクトの音声の音響特性を調整するための処理を行う信号調整部をさらに設けることができる。
　前記パラメータを、音量調整または音質調整のためのパラメータとすることができる。
　音響処理装置には、前記オーディオオブジェクトのオーディオオブジェクト信号のレンダリング処理を行うレンダリング処理部をさらに設けることができる。
　前記パラメータを、前記オーディオオブジェクトの位置を指定するパラメータとし、前記レンダリング処理部には、前記パラメータに基づいて前記レンダリング処理を行わせることができる。
　前記表示制御部には、前記表示部に表示されている、前記オーディオオブジェクトの音声が付随する映像上における前記オブジェクト位置情報により定まる位置に前記オーディオオブジェクト情報画像を重畳表示させることができる。
　前記表示制御部には、前記オブジェクト位置情報により定まる位置が前記表示部の表示画面外にある場合、前記表示画面の端部分に前記オーディオオブジェクト情報画像を表示させることができる。
　前記選択部には、ユーザによる前記オーディオオブジェクト情報画像の位置での指定操作に応じて、前記オーディオオブジェクトを選択させることができる。
　音響処理装置には、オーディオオブジェクトビットストリームを復号して、前記オーディオオブジェクトのオーディオオブジェクト信号と、前記オブジェクト位置情報とを得るオーディオオブジェクト復号部をさらに設けることができる。
　本技術の一側面の音響処理方法またはプログラムは、オーディオオブジェクトのオブジェクト位置情報に基づいて、前記オーディオオブジェクトの位置を表すオーディオオブジェクト情報画像を表示部に表示させ、１または複数の前記オーディオオブジェクトのなかから、所定の前記オーディオオブジェクトを選択するステップを含む。
　本技術の一側面においては、オーディオオブジェクトのオブジェクト位置情報に基づいて、前記オーディオオブジェクトの位置を表すオーディオオブジェクト情報画像が表示部に表示され、１または複数の前記オーディオオブジェクトのなかから、所定の前記オーディオオブジェクトが選択される。
　本技術の一側面によれば、より簡単に音響特性を調整することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
映像音響処理装置の構成例を示す図である。 コンテンツ再生処理を説明するフローチャートである。 オーディオオブジェクト情報について説明する図である。 オブジェクト位置情報の座標系について説明する図である。 映像表示部の画角情報と表示画面の関係について説明する図である。 オーディオオブジェクトの音響特性の調整について説明する図である。 音響処理装置の構成例を示す図である。 オーディオオブジェクト情報画像の表示について説明する図である。 コンテンツ再生処理を説明するフローチャートである。 コンピュータの構成例を示す図である。
　以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第１の実施の形態〉
〈映像音響処理装置の構成例〉
　本技術は、オーディオオブジェクトビットストリームの中のオブジェクト位置情報に基づいて、表示装置の表示画面上の対応する位置にオーディオオブジェクトが存在している事を矩形枠等の画像を重畳表示することで、オーディオオブジェクトの位置情報を可視化するようにしたものである。また、本技術では、オーディオオブジェクトが表示画面の表示範囲外にある場合には、表示画面外枠の対応する方向に範囲外であることを示す情報とともに画像を重畳表示することで、オーディオオブジェクトの位置情報を可視化するようにした。これにより、機器使用者は、表示された情報に基づいてオーディオオブジェクトの選択を行い、音量調整等の操作を容易に行うことができるようになる。
　図１は、本技術を適用した映像音響処理装置の一実施の形態の構成例を示す図である。
　図１に示す映像音響処理装置１１は、非多重化部２１、映像復号部２２、映像表示部２３、オーディオオブジェクト復号部２４、オーディオオブジェクト情報表示制御部２５、操作部２６、信号調整部２７、背景音復号部２８、信号調整部２９、およびレンダリング処理部３０を有している。
　この映像音響処理装置１１には、映像と音声からなるコンテンツを再生するための入力ビットストリームが供給される。より詳細には、入力ビットストリームから得られるコンテンツは、映像とその映像に付随するオーディオオブジェクトの音声および背景音とからなるものとされる。
　非多重化部２１は、外部から供給された入力ビットストリームを、映像ビットストリームと、オーディオオブジェクトビットストリームと、背景音ビットストリームとに非多重化する。
　ここで、映像ビットストリームは、コンテンツの映像（画像）を再生するための映像信号が含まれているビットストリームであり、非多重化部２１は、非多重化により得られた映像ビットストリームを映像復号部２２に供給する。
　また、オーディオオブジェクトビットストリームは、コンテンツの映像に付随する音声を再生するためのオーディオ信号のうち、オーディオオブジェクトの音声を再生するためのオーディオオブジェクト信号と、そのオーディオオブジェクトのメタデータであるオーディオオブジェクト情報とが含まれているビットストリームである。
　非多重化部２１は、非多重化により得られたオーディオオブジェクトビットストリームを、オーディオオブジェクト復号部２４に供給する。
　さらに、背景音ビットストリームは、コンテンツの映像に付随する音声を再生するためのオーディオ信号のうち、オーディオオブジェクトの音声以外の音声、すなわち背景音を再生するための背景音信号が含まれているビットストリームである。非多重化部２１は、非多重化により得られた背景音ビットストリームを背景音復号部２８に供給する。
　映像復号部２２は、非多重化部２１から供給された映像ビットストリームを復号し、その結果得られた映像信号を映像表示部２３に供給する。
　映像表示部２３は、例えば液晶表示パネルなどの表示デバイスからなり、映像復号部２２から供給された映像信号に基づいて、コンテンツの映像（画像）を表示する。
　オーディオオブジェクト復号部２４は、非多重化部２１から供給されたオーディオオブジェクトビットストリームを復号し、オーディオオブジェクト情報およびオーディオオブジェクト信号を得る。
　オーディオオブジェクト復号部２４は、復号により得られたオーディオオブジェクト情報をオーディオオブジェクト情報表示制御部２５およびレンダリング処理部３０に供給するとともに、復号により得られたオーディオオブジェクト信号を信号調整部２７に供給する。
　オーディオオブジェクト情報表示制御部２５は、オーディオオブジェクト復号部２４から供給されたオーディオオブジェクト情報に基づいて、オーディオオブジェクトの位置を表す画像情報であるオーディオオブジェクト情報画像を生成し、映像表示部２３に供給する。映像表示部２３は、映像復号部２２から供給された映像信号に基づいて表示しているコンテンツの映像に、オーディオオブジェクト情報表示制御部２５から供給されたオーディオオブジェクト情報画像を重畳表示することで、機器使用者に対してオーディオオブジェクトの位置を視覚的に提示する。
　操作部２６は、例えばリモートコントローラからの信号を受信する受信部や、映像表示部２３に重畳して設けられたタッチパネル、ボタン、マウス、キーボードなどを有し、ユーザの操作を受け付けて、ユーザの操作に応じた信号を出力する。
　具体的には、機器使用者は映像表示部２３に表示されたオーディオオブジェクト情報画像を見ながら操作部２６を操作して、オーディオオブジェクトを選択したり、その選択したオーディオオブジェクトの音声の音量調整等の音響特性の調整操作をしたりする。操作部２６は、ユーザによる音響特性の調整操作を受けると、その操作に応じて音響特性を調整をするための信号調整情報を生成し、信号調整部２７または信号調整部２９に供給する。
　なお、以下では、操作部２６は映像表示部２３と一体的に設けられた、すなわち映像表示部２３の表示画面に重畳して設けられたタッチパネルを有するものとして説明を続ける。
　信号調整部２７は、操作部２６から供給された信号調整情報に基づいて、オーディオオブジェクト復号部２４から供給されたオーディオオブジェクト信号の振幅等を調整することで音量調整や音質調整などの音響特性の調整を行い、その結果得られたオーディオオブジェクト信号をレンダリング処理部３０に供給する。
　例えば音響特性としての音量を調整する場合には、オーディオオブジェクト信号の振幅調整が行われる。また、音響特性としての音質を調整する場合には、例えばオーディオオブジェクト信号の周波数帯域（バンド）ごとにフィルタ係数を用いたフィルタ処理によりゲイン調整を行うことで、オーディオオブジェクト信号に基づく音声にエフェクトが付加される。
　背景音復号部２８は、非多重化部２１から供給された背景音ビットストリームを復号し、その結果得られた背景音信号を信号調整部２９に供給する。
　信号調整部２９は、操作部２６から供給された信号調整情報に基づいて、背景音復号部２８から供給された背景音信号の振幅等を調整することで音量調整や音質調整などの音響特性の調整を行い、その結果得られた背景音信号をレンダリング処理部３０に供給する。
　映像音響処理装置１１では、信号調整部２７および信号調整部２９からなる信号調整部により、オーディオオブジェクト信号および背景音信号の少なくとも何れか一方に対して、音量や音質などの音響特性を調整するための処理が行われる。これにより、オーディオオブジェクトの音声の音響特性が調整される。
　オーディオオブジェクトの音声の音響特性を調整する際には、例えば背景音の音量を下げることで、相対的にオーディオオブジェクトの音声の音量を増加させるなど、適宜、オーディオオブジェクト信号に対する処理と、背景音信号に対する処理とが組み合わされて、オーディオオブジェクトの音声の音響特性調整が実現される。
　レンダリング処理部３０は、オーディオオブジェクト復号部２４から供給されたオーディオオブジェクト情報に基づいて、信号調整部２７から供給されたオーディオオブジェクト信号に対するレンダリング処理を行う。
　また、レンダリング処理部３０は、レンダリング処理により得られたオーディオオブジェクト信号と、信号調整部２９から供給された背景音信号とを合成するミキシング処理を行い、その結果得られた出力オーディオ信号を出力する。この出力オーディオ信号の供給を受けたスピーカは、出力オーディオ信号に基づいて、コンテンツの音声を再生する。このとき、コンテンツの音声としてオーディオオブジェクトの音声と背景音とが再生される。
〈コンテンツ再生処理の説明〉
　次に、映像音響処理装置１１の動作について説明する。すなわち、以下、図２のフローチャートを参照して、映像音響処理装置１１により行われるコンテンツ再生処理について説明する。
　ステップＳ１１において、非多重化部２１は、外部から供給された入力ビットストリームを非多重化し、映像ビットストリーム、オーディオオブジェクトビットストリーム、および背景音ビットストリームを得る。
　非多重化部２１は、非多重化により得られた映像ビットストリーム、オーディオオブジェクトビットストリーム、および背景音ビットストリームを、それぞれ映像復号部２２、オーディオオブジェクト復号部２４、および背景音復号部２８に供給する。
　ステップＳ１２において、映像復号部２２は、非多重化部２１から供給された映像ビットストリームを復号し、その結果得られた映像信号を映像表示部２３に供給する。映像表示部２３は、映像復号部２２から供給された映像信号に基づいて、コンテンツの画像（映像）を表示させる。つまりコンテンツの映像を再生する。
　ステップＳ１３において、背景音復号部２８は、非多重化部２１から供給された背景音ビットストリームを復号し、その結果得られた背景音信号を信号調整部２９に供給する。
　ステップＳ１４において、オーディオオブジェクト復号部２４は、非多重化部２１から供給されたオーディオオブジェクトビットストリームを復号し、オーディオオブジェクト情報およびオーディオオブジェクト信号を得る。
　ここで、オーディオオブジェクト信号は、オーディオオブジェクトの音声の波形信号であり、オーディオオブジェクトビットストリームの復号により、１または複数のオーディオオブジェクトごとにオーディオオブジェクト信号が得られる。例えばオーディオオブジェクト信号は、PCM（Pulse Code Modulation）信号などとされる。
　一方、オーディオオブジェクト情報とは、音源であるオーディオオブジェクトが空間上のどの位置に存在するかを示す情報などを含むメタデータであり、例えば図３に示すフォーマットで符号化されている。
　図３に示すオーディオオブジェクト情報において、「num_objects」は、オーディオオブジェクトビットストリームに含まれているオーディオオブジェクトの数を示している。
　また、「tcimsbf」は「Two’s complement integer, most significant(sign) bit first」の略であり、符号ビットが先頭の２の補数を示している。「uimsbf」は「Unsigned integer, most significant bit first」の略であり、最上位ビットが先頭の符号なし整数を示している。
　さらに、「gain_factor[i]」は、オーディオオブジェクトビットストリームに含まれているｉ番目のオーディオオブジェクトのゲインを示している。
　「position_azimuth[i]」、「position_elevation[i]」、および「position_radius[i]」は、それぞれオーディオオブジェクトビットストリームに含まれているｉ番目のオーディオオブジェクトの位置情報を示している。
　具体的には、「position_azimuth[i]」は球面座標系におけるオーディオオブジェクトの位置の方位角を示しており、「position_elevation[i]」は球面座標系におけるオーディオオブジェクトの位置の仰角を示している。また、「position_radius[i]」は球面座標系におけるオーディオオブジェクトの位置までの距離、すなわち半径を示している。
　以下では、オーディオオブジェクト情報に含まれる「position_azimuth[i]」、「position_elevation[i]」、および「position_radius[i]」からなる、オーディオオブジェクトの位置を示す情報を、オブジェクト位置情報とも称することとする。
　また、以下、オーディオオブジェクト情報に含まれる「gain_factor[i]」であるオーディオオブジェクトのゲインを示す情報をゲイン情報とも称することとする。
　このような各オーディオオブジェクトのオブジェクト位置情報やゲイン情報が含まれるオーディオオブジェクト情報は、オーディオブジェクトのメタデータである。
　ここで球面座標系と３次元直交座標系との関係は、図４に示す関係となっている。
　図４では、原点Ｏを通り、互いに垂直なＸ軸、Ｙ軸、およびＺ軸が３次元直交座標系の軸となっている。例えば３次元直交座標系では、空間上のオーディオオブジェクトＯＢ１１の位置は、Ｘ軸方向の位置を示すＸ座標であるＸ１、Ｙ軸方向の位置を示すＹ座標であるＹ１、およびＺ軸方向の位置を示すＺ座標であるＺ１が用いられて（Ｘ１，Ｙ１，Ｚ１）と表される。
　これに対して球面座標系では、方位角position_azimuth、仰角position_elevation、および半径position_radiusが用いられて空間上のオーディオオブジェクトＯＢ１１の位置が表される。
　いま、原点Ｏと、空間上のオーディオオブジェクトＯＢ１１の位置とを結ぶ直線を直線ｒとし、この直線ｒをＸＹ平面上に投影して得られた直線を直線Ｌとする。
　このとき、Ｘ軸と直線Ｌとのなす角θがオーディオオブジェクトＯＢ１１の位置を示す方位角position_azimuthとされる。また、直線ｒとＸＹ平面とのなす角φがオーディオオブジェクトＯＢ１１の位置を示す仰角position_elevationとされ、直線ｒの長さがオーディオオブジェクトＯＢ１１の位置を示す半径position_radiusとされる。
　例えば原点Ｏの位置は、コンテンツの映像（画像）を見るユーザの位置とされ、Ｘ方向（Ｘ軸方向）の正の方向、つまり図４中、手前方向がユーザから見た正面方向とされ、Ｙ方向（Ｙ軸方向）の正の方向、つまり図４中、右方向がユーザから見た左方向とされる。
　このようにオーディオオブジェクト情報においては、各オーディオオブジェクトの位置が球面座標により表されている。
　このようなオーディオオブジェクト情報により示されるオーディオオブジェクトの位置とゲインは、所定の時間区間毎に変化する物理量である。コンテンツの再生時には、オーディオオブジェクト情報の変化に応じて、オーディオオブジェクトの音像定位位置を移動させることができる。
　図２のフローチャートの説明に戻り、オーディオオブジェクト復号部２４は、オーディオオブジェクトビットストリームを復号することで、オーディオオブジェクト情報およびオーディオオブジェクト信号を得る。
　オーディオオブジェクト復号部２４は、復号により得られたオーディオオブジェクト情報をオーディオオブジェクト情報表示制御部２５およびレンダリング処理部３０に供給するとともに、復号により得られたオーディオオブジェクト信号を信号調整部２７に供給する。
　ステップＳ１５において、オーディオオブジェクト情報表示制御部２５は、オーディオオブジェクト復号部２４から供給されたオーディオオブジェクト情報に基づいて、オーディオオブジェクトの表示画面上における位置を算出する。
　例えば「INTERNATIONAL STANDARD ISO/IEC 23008-3 First edition 2015-10-15 Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 3: 3D audio」（以下、参照文献１とも称する）の規格においては、ビットストリーム中に映像製作者側が想定した再生装置の画面に関する情報を水平方向の画角情報および垂直方向の画角情報として記述することができるが、これらの画角情報が記述されていない場合には、画角情報としてデフォルト値を用いることになっている。
　ここでは、例として画角情報のデフォルト値を用いてオーディオオブジェクトの表示画面上における位置を算出する場合について説明する。
　例えば映像表示部２３について、空間上の原点Ｏから見た映像表示部２３の水平方向、つまりＹ方向の画角を示す画角情報をscreen_azimuthとし、空間上の原点Ｏから見た映像表示部２３の垂直方向、つまりＺ方向の画角を示す画角情報をscreen_elevationとする。
　このとき、水平方向の画角情報screen_azimuthのデフォルト値と、垂直方向の画角情報screen_elevationのデフォルト値は、次式（１）に示す通りとされる。
Figure JPOXMLDOC01-appb-M000001
　また、このような画角情報screen_azimuthおよび画角情報screen_elevationと、映像表示部２３の表示画面との関係は、図５に示すようになる。
　この例では、映像表示部２３の表示画面の中心位置Ｏ’と、空間上のユーザの位置である原点Ｏとの図中、縦方向の位置が同じ位置となっている。
　また、中心位置Ｏ’を原点として、図中、右方向をｘ方向の正の方向とし、図中、上方向をｙ方向の正の方向とする２次元直交座標系をｘｙ座標系として、そのｘｙ座標系上の位置を、ｘ座標とｙ座標を用いて（ｘ，ｙ）と表すとする。
　さらに、映像表示部２３の表示画面のｘ方向の幅（長さ）をscreen_widthとし、映像表示部２３の表示画面のｙ方向の幅（長さ）をscreen_heightとする。なお、これらのscreen_widthやscreen_heightは既知の値である。
　このとき、映像表示部２３の表示画面の図中、右側の端の位置ＰＳ１１と左側の端の位置ＰＳ１２は、それぞれｘｙ座標により位置ＰＳ１１＝（screen_width/2,0）および位置ＰＳ１２＝（-screen_width/2,0）となる。
　同様に、映像表示部２３の表示画面の図中、上側の端の位置ＰＳ１３と下側の端の位置ＰＳ１４は、それぞれｘｙ座標により位置ＰＳ１３＝（0,screen_height/2）および位置ＰＳ１４＝（0,-screen_height/2）となる。
　さらに原点Ｏを始点とし、中心位置Ｏ’を終点とするベクトルＶＢ３１と、原点Ｏを始点とし、位置ＰＳ１１を終点とするベクトルＶＢ３２とのなす角ＡＧ３１が-screen_azimuthとなる。同様にベクトルＶＢ３１と、原点Ｏを始点とし、位置ＰＳ１２を終点とするベクトルＶＢ３３とのなす角ＡＧ３２がscreen_azimuthとなる。
　また、ベクトルＶＢ３１と、原点Ｏを始点とし、位置ＰＳ１３を終点とするベクトルＶＢ３４とのなす角ＡＧ３３がscreen_elevationとなる。ベクトルＶＢ３１と、原点Ｏを始点とし、位置ＰＳ１４を終点とするベクトルＶＢ３５とのなす角ＡＧ３４が-screen_elevationとなる。
　オーディオオブジェクト情報表示制御部２５は、デフォルト値である画角情報screen_azimuthおよび画角情報screen_elevationと、既知の値である映像表示部２３の長さscreen_widthおよびscreen_heightと、オーディオオブジェクト情報に含まれるオブジェクト位置情報とから次式（２）を計算し、映像表示部２３の表示画面上におけるオーディオオブジェクトの位置を算出する。
Figure JPOXMLDOC01-appb-M000002
　なお、式（２）において、position_azimuthおよびposition_elevationは、オブジェクト位置情報を構成する、オーディオオブジェクトの位置を示す方位角および仰角を示している。
　このようにして式（２）の計算を行うと、映像表示部２３の表示画面上、つまりコンテンツの画像上におけるオーディオオブジェクトの位置を示すｘ座標とｙ座標が求まることになる。以下、このようにして求められた映像表示部２３の表示画面上におけるオーディオオブジェクトの位置を、オブジェクト画面位置とも称することとする。
　なお、オーディオオブジェクト情報表示制御部２５は、式（２）に示す制約条件、つまり|position_azimuth|＜|screen_azimuth|、および|position_elevation|＜|screen_elevation|を満たさないオーディオオブジェクトについては、例えば以下のようにしてオブジェクト画面位置を求める。
　すなわち、|position_azimuth|＜|screen_azimuth|が満たされない場合、オブジェクト画面位置により示されるオーディオオブジェクトのｘ座標は、position_azimuthが正の値であるときにはｘ＝-screen_width/2とされ、position_azimuthが負の値であるときにはｘ＝screen_width/2とされる。
　また、|position_elevation|＜|screen_elevation|が満たされない場合、オブジェクト画面位置により示されるオーディオオブジェクトのｙ座標は、position_elevationが正の値であるときにはｙ＝screen_height/2とされ、position_elevationが負の値であるときにはｙ＝-screen_height/2とされる。
　したがって、式（２）に示す制約条件を満たさないオーディオオブジェクトについては、そのオーディオオブジェクトのオブジェクト画面位置は、映像表示部２３の表示画面の端部分の位置となる。すなわち、オブジェクト画面位置は、映像表示部２３の画角情報により示される位置となる。
　このような式（２）の制約条件を満たさないオーディオオブジェクトは、コンテンツの画像上で観察されない、画像外に位置するオブジェクト、つまり映像表示部２３の表示画面外にあるオブジェクトである。
　したがって、オブジェクト位置情報から求まるオブジェクト画面位置が、映像表示部２３の表示画面外となるオーディオオブジェクトについては、そのオブジェクト画面位置に最も近い、映像表示部２３の表示画面の端部分の位置が、最終的なオブジェクト画面位置とされることになる。なお、その他、オブジェクト画面位置が表示画面外となる場合、そのオブジェクト画面位置および中心位置Ｏ’を結ぶ直線と、映像表示部２３の表示画面の端との交点位置を、最終的なオブジェクト画面位置とするなどしてもよい。
　図２のフローチャートに説明に戻り、ステップＳ１６において、オーディオオブジェクト情報表示制御部２５はオブジェクト画面位置に基づいて映像表示部２３を制御し、コンテンツの画像（映像）上に、オーディオオブジェクトが存在することを示すオーディオオブジェクト情報画像を重畳表示させる。
　このオーディオオブジェクト情報画像の表示位置は、オブジェクト画面位置、つまりオブジェクト位置情報により定まる映像表示部２３の表示画面上の位置とされる。換言すれば、オーディオオブジェクト情報画像は、オブジェクト位置情報により定まる、コンテンツの画像（映像）上の位置に表示される。
　例えばオーディオオブジェクト情報表示制御部２５は、ステップＳ１５の処理で得られたオブジェクト画面位置に基づいて、そのオブジェクト画面位置を中心とする所定の大きさの矩形枠の画像である矩形枠画像を表示させるための画像情報を、オーディオオブジェクト情報画像の画像情報として生成する。例えば矩形枠画像の大きさは、予め定められた大きさとされてもよいし、オブジェクト位置情報としての半径position_radiusにより定まる大きさとされてもよい。
　但し、上述した式（２）の制約条件を満たさなかったオーディオオブジェクトについての矩形枠画像は、制約条件を満たすオーディオオブジェクトの矩形枠画像とは異なる矩形枠画像とされる。ここで、異なる矩形枠画像とは、例えば矩形枠の形状や大きさが異なるものとされるが、色等の表示形式が異なるものとされてもよい。
　オーディオオブジェクト情報表示制御部２５は、このようにして生成したオーディオオブジェクト情報画像を映像表示部２３に供給し、コンテンツの画像上にオーディオオブジェクト情報画像を重畳して表示させる。
　このとき、式（２）の制約条件を満たさない、つまりオブジェクト位置情報から求まるオブジェクト画面位置が、映像表示部２３の表示画面外となるオーディオオブジェクトのオーディオオブジェクト情報画像は、そのオブジェクト画面位置に最も近い、映像表示部２３の表示画面の端部分の位置に表示されることになる。すなわち、オーディオオブジェクト情報画像がコンテンツの画像上の端部分に表示されることになる。
　ステップＳ１６の処理が行われると、例えば映像表示部２３には、図６に示す画像が表示される。
　図６に示す例では、映像表示部２３に表示されているコンテンツの画像上には、３名の人物ＨＭ１１乃至人物ＨＭ１３がオーディオオブジェクトとして表示されている。
　また、これらの人物ＨＭ１１乃至人物ＨＭ１３の顔の領域の部分には、それぞれオーディオオブジェクト情報画像としての矩形枠画像ＦＲ１１乃至矩形枠画像ＦＲ１３が重畳表示されている。したがって、ユーザはこれらの矩形枠画像ＦＲ１１乃至矩形枠画像ＦＲ１３を見ることで、簡単にオーディオオブジェクトを認識することができる。
　また、図６では式（２）の制約条件を満たさないオーディオオブジェクト、つまり表示画面外にあるオーディオオブジェクトが存在することを示す矩形枠画像ＦＲ１４が、映像表示部２３の表示画面端に表示されている。
　特に、この例では矩形枠画像ＦＲ１４に対応するオーディオオブジェクトが表示画面外にあることを示すために、矩形枠画像ＦＲ１４が点線表示されている。すなわち、矩形枠画像ＦＲ１４は、他の矩形枠画像ＦＲ１１乃至矩形枠画像ＦＲ１３とは異なる表示形式で表示されている。
　この例では、矩形枠画像ＦＲ１１と矩形枠画像ＦＲ１３も点線表示されているが、矩形枠画像ＦＲ１４の点線表示は、これらの矩形枠画像ＦＲ１１および矩形枠画像ＦＲ１３の点線表示とは異なる表示形式となっており、区別できるようになされている。
　矩形枠画像ＦＲ１４に対応するオーディオオブジェクトは、表示画面外に位置しているので、ユーザはそのオーディオオブジェクトをコンテンツの画像上で確認することはできない。しかしユーザは、矩形枠画像ＦＲ１４を見ることで、表示画面外にオーディオオブジェクトが存在することを知ることができる。例えばユーザは、矩形枠画像ＦＲ１４を見れば、自身から見て表示画面の外の左側に見えないオーディオオブジェクトがあることを認識することができる。
　このような状態で、例えば機器使用者であるユーザが人物ＨＭ１２の顔領域の部分に表示されている矩形枠画像ＦＲ１２を指で押すなどして選択したとする。この選択操作により、矩形枠画像ＦＲ１２が表示されている人物ＨＭ１２が選択されることになる。
　すると、選択された人物ＨＭ１２について表示されている矩形枠画像ＦＲ１２がハイライト表示される。この例では、矩形枠画像ＦＲ１２が実線で描かれており、矩形枠画像ＦＲ１２がハイライト表示されていることを表している。これにより、ユーザはどのオーディオオブジェクトを選択したかを視覚的に把握することができる。
　これに対して、選択されていない人物の矩形枠画像ＦＲ１１、矩形枠画像ＦＲ１３、および矩形枠画像ＦＲ１４は、点線で描かれており、ハイライト表示されていない、つまり通常の表示とされていることを表している。したがって矩形枠画像ＦＲ１２が選択されると、矩形枠画像ＦＲ１２は点線で描かれた通常表示の状態から、実線で描かれたハイライト表示された状態へと表示状態が変化する。
　さらに、この例では、矩形枠画像ＦＲ１２が選択されてハイライト表示されたことに伴って、矩形枠画像ＦＲ１２近傍には、選択された人物ＨＭ１２の音声の音響特性の調整を行うための調整指示画像ＣＴ１１が表示されている。
　ここでは、調整指示画像ＣＴ１１の例として、人物ＨＭ１２の音声の音量調整を行うための画像が表示されている。なお、調整指示画像に対する操作により、音量調整だけでなく、音質の調整なども行うことができるが、ここでは説明を簡単にするため、音量調整を例として説明を続ける。
　機器使用者であるユーザは、この調整指示画像ＣＴ１１に示される矢印部分に対する操作を行うことで、より簡単かつ直感的にオーディオオブジェクトの音声の音量を調整することができる。具体的には、ユーザは、調整指示画像ＣＴ１１の矢印部分における図中、上側の部分に触れることで音量を上げるようにすることができ、逆に矢印部分における図中、下側の部分に触れることで音量を下げるようにすることができる。また、例えば矢印部分に触れた回数や触れた時間に応じて音量を上げたり下げたりする量が決定される。
　さらに、ユーザは、調整指示画像ＣＴ１１が表示されている状態で、再度、矩形枠画像ＦＲ１２を指で押すなどすることで人物ＨＭ１２の選択を解除し、調整指示画像ＣＴ１１が表示されていない状態に表示を戻すことができる。
　図２のフローチャートの説明に戻り、ステップＳ１７において、操作部２６は機器使用者であるユーザによる操作に応じて、音響特性の調整を行うオーディオオブジェクトを選択する。
　例えばユーザによるオーディオオブジェクトの選択は、そのオーディオオブジェクトについて表示されている矩形枠画像、つまりオーディオオブジェクト情報画像をユーザが指定することにより行われる。このとき、ユーザは、１または複数のオーディオオブジェクトのなかから、１つのみオーディオオブジェクトを選択して音響特性を調整することもできるし、複数のオーディオオブジェクトを順番に選択して音響特性を調整することもできる。
　操作部２６は、ユーザによるオーディオオブジェクト情報画像の指定操作に応じて、オーディオオブジェクトを選択する。
　具体的には、例えば図６の例において、ユーザが矩形枠画像ＦＲ１２に指で触れる操作を行った場合、操作部２６は、ユーザの操作部２６に対する操作に応じて発生した信号に基づいて、矩形枠画像ＦＲ１２に対応する人物ＨＭ１２を、音響特性の調整を行うオーディオオブジェクトとして選択する。
　このようにして、矩形枠画像に対応する人物を選択する操作部２６は、ユーザの操作に応じてオーディオオブジェクトを選択するオーディオオブジェクト選択部として機能するということができる。
　また、操作部２６は音響特性の調整を行うオーディオオブジェクトを選択すると、映像表示部２３を制御し、選択したオーディオオブジェクトに対応する矩形枠画像（オーディオオブジェクト情報画像）をハイライト表示させるとともに、その矩形枠画像近傍に調整指示画像を表示させる。これにより、図６の例では、矩形枠画像ＦＲ１２がハイライト表示されるとともに、調整指示画像ＣＴ１１が表示される。
　すると、機器使用者であるユーザは、調整指示画像に対する操作を行って、オーディオオブジェクトの音声の音響特性の調整を指示する。なお、オーディオオブジェクトの音声だけでなく、背景音の音響特性も調整できるようにしてもよい。
　ステップＳ１８において、操作部２６は、ユーザの調整指示画像に対する操作に応じて発生した信号に基づいて、選択されているオーディオオブジェクトの音声の音響特性を調整するための信号調整情報を生成する。
　例えば操作部２６は、オーディオオブジェクトの音声の音量調整が指示された場合、その指示された分だけ音量を下げる、または上げることを指示する信号調整情報を生成する。この場合、例えば信号調整情報には、音量を増加または減少させる量、つまり音量の調整量を示す情報がパラメータとして含まれることになる。
　また、例えば操作部２６はオーディオオブジェクトの音声の音質調整が指示された場合、その指示に応じたエフェクトを付加するためのフィルタ処理に用いるフィルタ係数を選択し、選択したフィルタ係数を示す情報をパラメータとして含む信号調整情報を生成する。
　このようにして生成される信号調整情報は、音量の調整量を示す情報や、フィルタ係数を示す情報といった、音響に関するパラメータ、つまり音響特性を調整する際の調整度合いを示すパラメータを含むものである。したがって、操作部２６は、ユーザの操作に応じて、音響特性を調整する際のパラメータを設定し、設定されたパラメータを含む信号調整情報を生成するパラメータ設定部としても機能するということができる。
　操作部２６は、以上のようにして生成した信号調整情報を、信号調整部２７、信号調整部２９、または信号調整部２７および信号調整部２９に供給する。
　ステップＳ１９において、信号調整部２７または信号調整部２９は、操作部２６から供給された信号調整情報に基づいて音響特性を調整する。
　例えば信号調整部２７のみに信号調整情報が供給された場合、信号調整部２７は、操作部２６から供給された信号調整情報に基づいて、オーディオオブジェクト復号部２４から供給されたオーディオオブジェクト信号に対して音量調整や音質調整といった音響特性の調整を行う。そして、信号調整部２７は、音響特性が調整されたオーディオオブジェクト信号をレンダリング処理部３０に供給する。また、信号調整部２９は、背景音復号部２８から供給された背景音信号をそのままレンダリング処理部３０に供給する。
　具体的には、例えば信号調整部２７は、信号調整情報に基づいて、オーディオオブジェクト信号の振幅を増幅または減衰させることで音量調整を行う。また、例えば信号調整部２７は、信号調整情報により示されるフィルタ係数を用いて、オーディオオブジェクト信号に対してフィルタ処理を施すことで音質調整を行ない、音声にエフェクトを付加する。
　これに対して、例えば信号調整部２９のみに信号調整情報が供給された場合、信号調整部２９は、操作部２６から供給された信号調整情報に基づいて、背景音復号部２８から供給された背景音信号に対して音量調整や音質調整といった音響特性の調整を行う。そして、信号調整部２９は、音響特性が調整された背景音信号をレンダリング処理部３０に供給する。また、信号調整部２７は、オーディオオブジェクト復号部２４から供給されたオーディオオブジェクト信号をそのままレンダリング処理部３０に供給する。
　また、例えば信号調整部２７と信号調整部２９の両方に信号調整情報が供給された場合には、信号調整部２７および信号調整部２９において、それぞれオーディオオブジェクト信号および背景音信号に対して音響特性の調整が行われる。そして、音響特性が調整されたオーディオオブジェクト信号および背景音信号がレンダリング処理部３０に供給される。
　ここで、音響特性の調整方法は様々な方法があり、ユーザにより指定されたオーディオオブジェクトの音声の音響特性の調整が実現されれば、どのような方法により音響特性の調整が行われてもよい。例えば、選択されたオーディオオブジェクトのオーディオオブジェクト信号以外の全てのオーディオオブジェクト信号および背景音信号の振幅を減少させることで、選択されたオーディオオブジェクトの音声の音量を相対的に増加させるようにしてもよい。
　また、オーディオオブジェクト信号や背景音信号の振幅等を直接調整するのではなく、図３に示したオーディオオブジェクト情報に含まれるゲイン情報gain_factor[i]を変更することで、レンダリング処理部３０において音響特性の調整が行われるようにしてもよい。
　そのような場合、操作部２６は、ゲイン情報gain_factor[i]の変化量を示す情報をパラメータとして含む信号調整情報を生成し、レンダリング処理部３０に供給する。このようなゲイン情報の変化量を示す情報は、音声の音量を調整するための情報であるから、オーディオオブジェクトの音響に関するパラメータであるということができる。
　レンダリング処理部３０は、操作部２６からの信号調整情報に基づいて、オーディオオブジェクト復号部２４から供給されたオーディオオブジェクト情報に含まれるゲイン情報を変更し、変更後のゲイン情報を用いて、後述するステップＳ２０の処理を行う。
　ステップＳ２０において、レンダリング処理部３０は、オーディオオブジェクト復号部２４から供給されたオーディオオブジェクト情報に基づいて、信号調整部２７から供給されたオーディオオブジェクト信号のレンダリング処理を行う。
　また、レンダリング処理部３０は、レンダリング処理により得られたオーディオオブジェクト信号と、信号調整部２９から供給された背景音信号とを合成するミキシング処理を行い、その結果得られた出力オーディオ信号を出力して、コンテンツ再生処理は終了する。
　例えば映像音響処理装置１１では、背景音信号については、従来の２チャネルや５．１チャネル等のいわゆるマルチチャネルステレオ方式で再生が行われる。
　これに対してオーディオオブジェクト信号については、参照文献１にオーディオオブジェクトのレンダリング方式が記述されており、このレンダリング方式によりレンダリング処理部３０でレンダリングが行われて再生される。具体的には、VBAP（Vector Base Amplitude Panning）と呼ばれる方式で再生環境のスピーカに各オーディオオブジェクト信号がマッピングされて再生される。
　すなわち、レンダリング処理部３０では、図３に示したオーディオオブジェクト情報に含まれるゲイン情報がオーディオオブジェクト信号に乗算されてゲイン調整が行われ、ゲイン調整が行われたオーディオオブジェクト信号に基づいてVBAPでの処理が行われる。
　VBAPでは、図３に示したオーディオオブジェクト情報に含まれるオブジェクト位置情報により示される、空間上におけるオーディオオブジェクトの位置に最も近い３個のスピーカに、スピーカごとに定めたゲインでオーディオオブジェクト信号がマッピングされる。
　このようにVBAPは、オブジェクト位置情報により示される、空間上におけるオーディオオブジェクトの位置に最も近い位置にある３個のスピーカの出力を用いて、オーディオオブジェクトの空間上の位置に音を定位させる技術である。
　VBAPについては、例えば「Virtual Sound Source Positioning Using Vector Base Amplitude Panning, AES Volume 45 Issue 6 pp.456-266, June 1997」（以下、参照文献２とも称する）に詳細に記載されている。なお、参照文献１や参照文献２では、スピーカの個数は３個であるが４個以上のスピーカ数で音を定位させることも勿論可能である。
　また、以上においては、背景音信号はマルチチャネルステレオ方式で符号化および復号される例について説明したが、参照文献１の規格に記述されているHOA(Higher Order Ambisonic)と呼ばれる視聴者近傍の空間を、球面調和関数を直交基底として表現するような方式を用いるようにしてもよい。
　以上のようにして映像音響処理装置１１は、オーディオオブジェクト情報に基づいてオーディオオブジェクト情報画像を生成し、コンテンツの画像に重畳表示するとともに、ユーザの操作に応じて信号調整情報を生成し、音声の音響特性の調整を行う。
　このようにコンテンツの画像に、オーディオオブジェクト情報を用いて得られるオーディオオブジェクト情報画像を重畳表示させることで、ユーザはより簡単かつ直感的にオーディオオブジェクトを選択し、音量調整等の音響特性の調整を行うことができる。
〈第２の実施の形態〉
〈音響処理装置の構成例〉
　ところで、上述した第１の実施の形態では、コンテンツの画像（映像）にオーディオオブジェクトのオブジェクト位置情報を用いて得られたオーディオオブジェクト情報画像を重畳表示する例について説明した。しかし、本技術は、コンテンツとして映像を伴わない場合であっても適用可能である。
　第２の実施の形態では、入力ビットストリームに映像ビットストリームが含まれない場合、つまり入力ビットストリームにオーディオオブジェクトビットストリームと背景音ビットストリームのみが含まれる場合について説明する。
　そのような場合、本技術を適用した音響処理装置は、例えば図７に示す構成とされる。なお、図７において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
　図７に示す音響処理装置８１は、非多重化部２１、映像表示部２３、オーディオオブジェクト復号部２４、オーディオオブジェクト情報表示制御部２５、操作部２６、信号調整部２７、背景音復号部２８、信号調整部２９、およびレンダリング処理部３０を有している。
　この音響処理装置８１の構成は、映像復号部２２が設けられていない点で映像音響処理装置１１の構成と異なり、その他の点では映像音響処理装置１１と同様の構成となっている。
　但し、音響処理装置８１では、オーディオオブジェクト復号部２４で得られたオーディオオブジェクト情報が操作部２６にも供給される。また、操作部２６は、機器使用者であるユーザの操作に応じて、適宜、オーディオオブジェクトのオブジェクト位置情報を変更し、変更後のオブジェクト位置情報をレンダリング処理部３０に供給する。
　例えば映像を伴わない純粋な音声のみのコンテンツを再生する場合、オーディオオブジェクトの位置を任意の位置に変更することができる。これは、コンテンツに映像が含まれているときには、オーディオオブジェクトの位置を移動させると、オーディオオブジェクトの位置と、そのオーディオオブジェクトに対応する映像オブジェクトの位置とにずれが生じるが、音声のみのコンテンツではそのようなことは生じないからである。
　この場合においても、オーディオオブジェクトビットストリームには、オーディオオブジェクト情報が含まれているため、映像表示部２３にオーディオオブジェクト情報画像を表示させることができる。したがって、機器使用者であるユーザは、このオーディオオブジェクト情報画像を見ることで、オーディオオブジェクトの位置を視覚的に確認しながら、コンテンツの加工や編集を行うことができる。このような実施形態は、例えばスタジオで音声のみからなるコンテンツの編集作業を行うような場合に好適である。
　音響処理装置８１では、例えば図８に示すようにオーディオオブジェクト情報画像の表示が行われる。
　図８に示す例では、映像表示部２３の表示画面には、オブジェクト位置表示領域Ｒ１１、オブジェクトメタデータ表示領域Ｒ１２、およびオブジェクト位置時間遷移表示領域Ｒ１３が設けられている。
　オブジェクト位置表示領域Ｒ１１には、オーディオオブジェクトの位置を示すオーディオオブジェクト情報画像が表示される。この実施の形態では、オーディオオブジェクト情報画像は、オブジェクト位置情報により示される位置に表示される。
　この例では、オブジェクト位置表示領域Ｒ１１には、矢印Ａ１１に示す３次元直交座標系の各軸が表示されているとともに、２つのオーディオオブジェクトのそれぞれの位置を示すオーディオオブジェクト情報画像ＦＲ３１およびオーディオオブジェクト情報画像ＦＲ３２が表示されている。ここで、矢印Ａ１１に示す３次元直交座標系は、図４に示したＸ軸、Ｙ軸、およびＺ軸を各軸とする３次元直交座標系である。
　また、この例では、オーディオオブジェクト情報画像ＦＲ３１が点線で描かれているのに対して、オーディオオブジェクト情報画像ＦＲ３２は実線で描かれており、オーディオオブジェクト情報画像ＦＲ３２が選択状態とされてハイライト表示されている様子が表されている。すなわち、各オーディオオブジェクト情報画像は、選択状態とされているときと、そうでないときとで異なる表示形式で表示される。また、図８では、オーディオオブジェクト情報画像ＦＲ３２が移動される様子が表されている。
　機器使用者であるユーザは、オブジェクト位置表示領域Ｒ１１に表示されるオーディオオブジェクト情報画像を見ることで、空間上におけるオーディオオブジェクトの位置を視覚的に確認することができる。
　オブジェクトメタデータ表示領域Ｒ１２には、オーディオオブジェクトビットストリームから抽出された、選択状態となっているオーディオオブジェクトのメタデータ、すなわちオーディオオブジェクト情報に含まれている情報が表示される。例えばオーディオオブジェクト情報に含まれている情報として、オブジェクト位置情報やゲイン情報が表示される。
　オブジェクト位置時間遷移表示領域Ｒ１３には、選択状態とされたオーディオオブジェクト情報画像、すなわち選択状態とされたオーディオオブジェクトの各時刻における空間上の位置が表示される。
　具体的には、オブジェクト位置時間遷移表示領域Ｒ１３には、Ｘ座標表示領域Ｒ２１、Ｙ座標表示領域Ｒ２２、およびＺ座標表示領域Ｒ２３が設けられており、それらのＸ座標表示領域Ｒ２１乃至Ｚ座標表示領域Ｒ２３の図中、横方向は時間方向を示している。
　Ｘ座標表示領域Ｒ２１には、オブジェクト位置表示領域Ｒ１１に表示されているオーディオオブジェクト情報画像に対応するオーディオオブジェクトのうち、選択状態とされているオーディオオブジェクトの各時刻における空間上のＸ軸方向の位置であるＸ座標を示す位置遷移情報ＰＬ１１が表示される。換言すれば、位置遷移情報ＰＬ１１はオーディオオブジェクトのＸ座標の時間遷移を示す情報である。
　同様に、Ｙ座標表示領域Ｒ２２には、選択状態とされているオーディオオブジェクトの各時刻における空間上のＹ軸方向の位置であるＹ座標を示す位置遷移情報ＰＬ１２が表示される。Ｚ座標表示領域Ｒ２３には、選択状態とされているオーディオオブジェクトの各時刻における空間上のＺ軸方向の位置であるＺ座標を示す位置遷移情報ＰＬ１３が表示される。
　さらに、これらのＸ座標表示領域Ｒ２１乃至Ｚ座標表示領域Ｒ２３における時間軸上の１時刻の位置には、カーソルＣＲ１１が表示される。
　この例では、機器使用者であるユーザが操作部２６を操作することで、オブジェクト位置表示領域Ｒ１１に表示されている所望のオーディオオブジェクト情報画像を選択すると、そのオーディオオブジェクト情報画像のオーディオオブジェクトの各時刻における位置を示す位置遷移情報ＰＬ１１乃至位置遷移情報ＰＬ１３が表示される。図８の例では、オーディオオブジェクト情報画像ＦＲ３２に対応するオーディオオブジェクトが選択状態となっている。
　また、ユーザは、カーソルＣＲ１１を時間軸方向の所望の位置に移動させることで、所定の時刻を指定することができる。カーソルＣＲ１１により時刻が指定されると、オブジェクト位置表示領域Ｒ１１には、カーソルＣＲ１１により示される時刻における各オーディオオブジェクトの空間上の位置に、それらのオーディオオブジェクトのオーディオオブジェクト情報画像が表示される。
　したがって、この例では、位置遷移情報ＰＬ１１乃至位置遷移情報ＰＬ１３におけるカーソルＣＲ１１が位置している時刻のＸ座標、Ｙ座標、およびＺ座標により示される空間上の位置に、選択状態のオーディオオブジェクトのオーディオオブジェクト情報画像ＦＲ３２が表示されている。
　このような状態で、図８に示されているように、ユーザが選択状態となっているオーディオオブジェクト情報画像ＦＲ３２を移動させると、位置遷移情報ＰＬ１１乃至位置遷移情報ＰＬ１３におけるカーソルＣＲ１１が位置している時刻のＸ座標、Ｙ座標、およびＺ座標が変更される。すなわち、ユーザによるオーディオオブジェクト情報画像ＦＲ３２の移動操作が位置遷移情報ＰＬ１１乃至位置遷移情報ＰＬ１３に対して反映される。
　また、ユーザが選択状態とするオーディオオブジェクト情報画像を、オーディオオブジェクト情報画像ＦＲ３１に変更すれば、オブジェクトメタデータ表示領域Ｒ１２およびオブジェクト位置時間遷移表示領域Ｒ１３の表示も、新たに選択状態とされたオーディオオブジェクト情報画像ＦＲ３１のものに更新される。
　さらに、この例では、オーディオオブジェクトの空間上の位置の変更操作を容易に行うことができるように、ユーザが矢印Ａ１１に示す３次元直交座標系自体を回転させたり、拡大縮小させたりすることもできるようになされている。
　以上のように、音響処理装置８１によれば、入力ビットストリームに含まれるオーディオオブジェクトの加工や編集の作業を視覚的に確認しながら容易に行うことができる。
　また、図８に示す例では、図６を参照して説明した場合と同様に、オーディオオブジェクトを選択して調整指示画像等を表示させ、その選択したオーディオオブジェクトについて、音量調整や音質調整などの音響特性の調整を行うこともできる。
〈コンテンツ再生処理の説明〉
　次に、音響処理装置８１の動作について説明する。すなわち、以下、図９のフローチャートを参照して、音響処理装置８１により行われるコンテンツ再生処理について説明する。
　コンテンツ再生処理が開始されると、ステップＳ５１の処理が行われるが、この処理は図２のステップＳ１１の処理と同様であるので、その説明は省略する。但し、ステップＳ５１では、入力ビットストリームがオーディオオブジェクトビットストリームと背景音ビットストリームとに非多重化される。
　また、入力ビットストリームが非多重化されると、ステップＳ５２およびステップＳ５３の処理が行われるが、これらの処理は図２のステップＳ１３およびステップＳ１４の処理と同様であるので、その説明は省略する。但し、ステップＳ５３では、オーディオオブジェクトビットストリームの復号により得られたオーディオオブジェクト情報が、オーディオオブジェクト情報表示制御部２５、操作部２６、およびレンダリング処理部３０に供給される。
　ステップＳ５４において、オーディオオブジェクト情報表示制御部２５は、オーディオオブジェクト復号部２４から供給されたオーディオオブジェクト情報に基づいて、映像表示部２３を制御し、オーディオブジェクト情報画像を表示させる。
　すなわち、オーディオオブジェクト情報表示制御部２５は、オーディオオブジェクト情報に基づいてオーディオブジェクト情報画像を生成し、そのオーディオブジェクト情報画像を映像表示部２３に供給して表示させる。
　これにより、映像表示部２３には、例えば図８に示した画面が表示される。すなわち、ステップＳ５４の処理により、映像表示部２３には、オーディオオブジェクト情報に含まれるオブジェクト位置情報により示される位置にオーディオブジェクト情報画像が表示されるとともに、オーディオオブジェクトのメタデータや位置遷移情報も表示される。
　このようにしてオーディオブジェクト情報画像が表示されると、機器使用者であるユーザは、操作部２６を操作して、オーディオオブジェクトの位置を変更したり、音量調整や音質調整を行なったりする。
　ステップＳ５５において、操作部２６は、ユーザの操作に応じて、オーディオオブジェクトのオブジェクト位置情報を変更する。
　例えば図８に示した例において、ユーザがオーディオオブジェクト情報画像ＦＲ３２を移動させた場合、操作部２６は、そのオーディオオブジェクト情報画像ＦＲ３２の移動に応じて、対応するオーディオオブジェクトのオブジェクト位置情報を変更する。
　オブジェクト位置情報は、レンダリング処理に用いられ、空間上におけるオーディオオブジェクトの位置、すなわち空間上におけるオーディオオブジェクトの音像の定位位置を指定する情報である。したがって、オブジェクト位置情報を変更する処理は、オーディオオブジェクトの音響に関するパラメータを設定する処理であるということができる。
　ステップＳ５６において、操作部２６は、ユーザの操作に応じて、信号調整情報を生成する。ステップＳ５６では、図２のステップＳ１８と同様の処理が行われる。なお、ステップＳ５６では、オーディオオブジェクト情報画像の位置の移動に応じて、音響特性の調整のためのパラメータが設定され、そのパラメータを含む信号調整情報が生成されるようにしてもよい。
　操作部２６は、以上のようにして生成した信号調整情報を、信号調整部２７、信号調整部２９、または信号調整部２７および信号調整部２９に供給する。また、操作部２６は、ステップＳ５５の処理により得られた、変更後のオブジェクト位置情報をレンダリング処理部３０に供給する。
　信号調整情報が生成されると、その後、ステップＳ５７およびステップＳ５８の処理が行われてコンテンツ再生処理は終了するが、これらの処理は図２のステップＳ１９およびステップＳ２０の処理と同様であるので、その説明は省略する。
　但し、ステップＳ５８では、レンダリング処理部３０は、操作部２６から供給された、変更後のオブジェクト位置情報と、オーディオオブジェクト復号部２４から供給されたオーディオオブジェクト情報に含まれるゲイン情報とを用いてレンダリング処理を行う。
　以上のようにして、音響処理装置８１は、オーディオオブジェクト情報に基づいて、オーディオオブジェクト情報画像を生成して表示するとともに、ユーザの操作に応じて信号調整情報を生成して音声の音響特性の調整を行ったり、オブジェクト位置情報を変更したりする。これにより、ユーザは、より簡単かつ直感的にオーディオオブジェクトを選択し、音響特性の調整を行ったり、オーディオオブジェクトの位置を移動させたりすることができる。すなわち、オーディオオブジェクトの加工や編集の作業を視覚的に確認しながら容易に行うことができる。
　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
　入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
　以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、本技術は、以下の構成とすることも可能である。
（１）
　オーディオオブジェクトのオブジェクト位置情報に基づいて、前記オーディオオブジェクトの位置を表すオーディオオブジェクト情報画像を表示部に表示させる表示制御部と、
　１または複数の前記オーディオオブジェクトのなかから、所定の前記オーディオオブジェクトを選択する選択部と
　を備える音響処理装置。
（２）
　前記選択部により選択された前記オーディオオブジェクトの音響に関するパラメータを設定するパラメータ設定部をさらに備える
　（１）に記載の音響処理装置。
（３）
　前記パラメータに基づいて、前記オーディオオブジェクトのオーディオオブジェクト信号、および背景音の背景音信号の少なくとも何れか一方に対して、前記オーディオオブジェクトの音声の音響特性を調整するための処理を行う信号調整部をさらに備える
　（２）に記載の音響処理装置。
（４）
　前記パラメータは、音量調整または音質調整のためのパラメータである
　（３）に記載の音響処理装置。
（５）
　前記オーディオオブジェクトのオーディオオブジェクト信号のレンダリング処理を行うレンダリング処理部をさらに備える
　（２）乃至（４）の何れか一項に記載の音響処理装置。
（６）
　前記パラメータは、前記オーディオオブジェクトの位置を指定するパラメータであり、
　前記レンダリング処理部は、前記パラメータに基づいて前記レンダリング処理を行う
　（５）に記載の音響処理装置。
（７）
　前記表示制御部は、前記表示部に表示されている、前記オーディオオブジェクトの音声が付随する映像上における前記オブジェクト位置情報により定まる位置に前記オーディオオブジェクト情報画像を重畳表示させる
　（１）乃至（６）の何れか一項に記載の音響処理装置。
（８）
　前記表示制御部は、前記オブジェクト位置情報により定まる位置が前記表示部の表示画面外にある場合、前記表示画面の端部分に前記オーディオオブジェクト情報画像を表示させる
　（７）に記載の音響処理装置。
（９）
　前記選択部は、ユーザによる前記オーディオオブジェクト情報画像の位置での指定操作に応じて、前記オーディオオブジェクトを選択する
　（７）または（８）に記載の音響処理装置。
（１０）
　オーディオオブジェクトビットストリームを復号して、前記オーディオオブジェクトのオーディオオブジェクト信号と、前記オブジェクト位置情報とを得るオーディオオブジェクト復号部をさらに備える
　（１）乃至（９）の何れか一項に記載の音響処理装置。
（１１）
　オーディオオブジェクトのオブジェクト位置情報に基づいて、前記オーディオオブジェクトの位置を表すオーディオオブジェクト情報画像を表示部に表示させ、
　１または複数の前記オーディオオブジェクトのなかから、所定の前記オーディオオブジェクトを選択する
　ステップを含む音響処理方法。
（１２）
　オーディオオブジェクトのオブジェクト位置情報に基づいて、前記オーディオオブジェクトの位置を表すオーディオオブジェクト情報画像を表示部に表示させ、
　１または複数の前記オーディオオブジェクトのなかから、所定の前記オーディオオブジェクトを選択する
　ステップを含む処理をコンピュータに実行させるプログラム。
　１１　映像音響処理装置，　２１　非多重化部，　２３　映像表示部，　２４　オーディオオブジェクト復号部，　２５　オーディオオブジェクト情報表示制御部，　２６　操作部，　２７　信号調整部，　２８　背景音復号部，　２９　信号調整部，　３０　レンダリング処理部

Claims (12)

  1. 　オーディオオブジェクトのオブジェクト位置情報に基づいて、前記オーディオオブジェクトの位置を表すオーディオオブジェクト情報画像を表示部に表示させる表示制御部と、
    　１または複数の前記オーディオオブジェクトのなかから、所定の前記オーディオオブジェクトを選択する選択部と
    　を備える音響処理装置。
  2. 　前記選択部により選択された前記オーディオオブジェクトの音響に関するパラメータを設定するパラメータ設定部をさらに備える
    　請求項１に記載の音響処理装置。
  3. 　前記パラメータに基づいて、前記オーディオオブジェクトのオーディオオブジェクト信号、および背景音の背景音信号の少なくとも何れか一方に対して、前記オーディオオブジェクトの音声の音響特性を調整するための処理を行う信号調整部をさらに備える
    　請求項２に記載の音響処理装置。
  4. 　前記パラメータは、音量調整または音質調整のためのパラメータである
    　請求項３に記載の音響処理装置。
  5. 　前記オーディオオブジェクトのオーディオオブジェクト信号のレンダリング処理を行うレンダリング処理部をさらに備える
    　請求項２に記載の音響処理装置。
  6. 　前記パラメータは、前記オーディオオブジェクトの位置を指定するパラメータであり、
    　前記レンダリング処理部は、前記パラメータに基づいて前記レンダリング処理を行う
    　請求項５に記載の音響処理装置。
  7. 　前記表示制御部は、前記表示部に表示されている、前記オーディオオブジェクトの音声が付随する映像上における前記オブジェクト位置情報により定まる位置に前記オーディオオブジェクト情報画像を重畳表示させる
    　請求項１に記載の音響処理装置。
  8. 　前記表示制御部は、前記オブジェクト位置情報により定まる位置が前記表示部の表示画面外にある場合、前記表示画面の端部分に前記オーディオオブジェクト情報画像を表示させる
    　請求項７に記載の音響処理装置。
  9. 　前記選択部は、ユーザによる前記オーディオオブジェクト情報画像の位置での指定操作に応じて、前記オーディオオブジェクトを選択する
    　請求項７に記載の音響処理装置。
  10. 　オーディオオブジェクトビットストリームを復号して、前記オーディオオブジェクトのオーディオオブジェクト信号と、前記オブジェクト位置情報とを得るオーディオオブジェクト復号部をさらに備える
    　請求項１に記載の音響処理装置。
  11. 　オーディオオブジェクトのオブジェクト位置情報に基づいて、前記オーディオオブジェクトの位置を表すオーディオオブジェクト情報画像を表示部に表示させ、
    　１または複数の前記オーディオオブジェクトのなかから、所定の前記オーディオオブジェクトを選択する
    　ステップを含む音響処理方法。
  12. 　オーディオオブジェクトのオブジェクト位置情報に基づいて、前記オーディオオブジェクトの位置を表すオーディオオブジェクト情報画像を表示部に表示させ、
    　１または複数の前記オーディオオブジェクトのなかから、所定の前記オーディオオブジェクトを選択する
    　ステップを含む処理をコンピュータに実行させるプログラム。
PCT/JP2017/018500 2016-05-30 2017-05-17 音響処理装置および方法、並びにプログラム WO2017208821A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN201780031805.4A CN109314833B (zh) 2016-05-30 2017-05-17 音频处理装置和音频处理方法以及程序
EP17806379.8A EP3468233B1 (en) 2016-05-30 2017-05-17 Sound processing device, sound processing method, and program
KR1020187033606A KR102332739B1 (ko) 2016-05-30 2017-05-17 음향 처리 장치 및 방법, 그리고 프로그램
BR112018073896-4A BR112018073896A2 (pt) 2016-05-30 2017-05-17 aparelho de processamento de áudio, método de processamento de áudio, e, programa.
JP2018520783A JPWO2017208821A1 (ja) 2016-05-30 2017-05-17 音響処理装置および方法、並びにプログラム
RU2018141220A RU2735095C2 (ru) 2016-05-30 2017-05-17 Устройство и способ аудиообработки, и программа
US16/303,717 US10708707B2 (en) 2016-05-30 2017-05-17 Audio processing apparatus and method and program
JP2022027568A JP7504140B2 (ja) 2016-05-30 2022-02-25 音響処理装置および方法、並びにプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016107043 2016-05-30
JP2016-107043 2016-05-30

Publications (1)

Publication Number Publication Date
WO2017208821A1 true WO2017208821A1 (ja) 2017-12-07

Family

ID=60477413

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/018500 WO2017208821A1 (ja) 2016-05-30 2017-05-17 音響処理装置および方法、並びにプログラム

Country Status (8)

Country Link
US (1) US10708707B2 (ja)
EP (1) EP3468233B1 (ja)
JP (2) JPWO2017208821A1 (ja)
KR (1) KR102332739B1 (ja)
CN (1) CN109314833B (ja)
BR (1) BR112018073896A2 (ja)
RU (1) RU2735095C2 (ja)
WO (1) WO2017208821A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110881157A (zh) * 2018-09-06 2020-03-13 宏碁股份有限公司 正交基底修正的音效控制方法及音效输出装置
WO2021065496A1 (ja) * 2019-09-30 2021-04-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
WO2023248678A1 (ja) * 2022-06-24 2023-12-28 ソニーグループ株式会社 情報処理装置、情報処理方法、及び情報処理システム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2594265A (en) * 2020-04-20 2021-10-27 Nokia Technologies Oy Apparatus, methods and computer programs for enabling rendering of spatial audio signals
CN112165648B (zh) * 2020-10-19 2022-02-01 腾讯科技（深圳）有限公司 一种音频播放的方法、相关装置、设备及存储介质
CN113676687A (zh) * 2021-08-30 2021-11-19 联想(北京)有限公司 一种信息处理方法及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006128818A (ja) * 2004-10-26 2006-05-18 Victor Co Of Japan Ltd 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
JP2013162285A (ja) * 2012-02-03 2013-08-19 Sony Corp 情報処理装置、情報処理方法、及びプログラム
JP2014090910A (ja) * 2012-11-05 2014-05-19 Nintendo Co Ltd ゲームシステム、ゲーム処理制御方法、ゲーム装置、および、ゲームプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1175151A (ja) * 1997-08-12 1999-03-16 Hewlett Packard Co <Hp> 音声処理機能付き画像表示システム
US8571192B2 (en) 2009-06-30 2013-10-29 Alcatel Lucent Method and apparatus for improved matching of auditory space to visual space in video teleconferencing applications using window-based displays
JP2013110585A (ja) * 2011-11-21 2013-06-06 Yamaha Corp 音響機器
WO2013144417A1 (en) * 2012-03-29 2013-10-03 Nokia Corporation A method, an apparatus and a computer program for modification of a composite audio signal
JP6204681B2 (ja) * 2013-04-05 2017-09-27 日本放送協会 音響信号再生装置
JP6609795B2 (ja) * 2014-09-19 2019-11-27 パナソニックＩｐマネジメント株式会社 映像音声処理装置、映像音声処理方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006128818A (ja) * 2004-10-26 2006-05-18 Victor Co Of Japan Ltd 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
JP2013162285A (ja) * 2012-02-03 2013-08-19 Sony Corp 情報処理装置、情報処理方法、及びプログラム
JP2014090910A (ja) * 2012-11-05 2014-05-19 Nintendo Co Ltd ゲームシステム、ゲーム処理制御方法、ゲーム装置、および、ゲームプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Virtual Sound Source Positioning Using Vector Base Amplitude Panning", AES, vol. 45, no. 6, June 1997 (1997-06-01), pages 456 - 266

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110881157A (zh) * 2018-09-06 2020-03-13 宏碁股份有限公司 正交基底修正的音效控制方法及音效输出装置
WO2021065496A1 (ja) * 2019-09-30 2021-04-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
WO2023248678A1 (ja) * 2022-06-24 2023-12-28 ソニーグループ株式会社 情報処理装置、情報処理方法、及び情報処理システム

Also Published As

Publication number Publication date
KR20190013758A (ko) 2019-02-11
US20190253828A1 (en) 2019-08-15
CN109314833B (zh) 2021-08-10
RU2735095C2 (ru) 2020-10-28
JPWO2017208821A1 (ja) 2019-03-28
RU2018141220A3 (ja) 2020-05-25
BR112018073896A2 (pt) 2019-02-26
RU2018141220A (ru) 2020-05-25
EP3468233B1 (en) 2021-06-30
JP7504140B2 (ja) 2024-06-21
EP3468233A1 (en) 2019-04-10
JP2022065175A (ja) 2022-04-26
US10708707B2 (en) 2020-07-07
KR102332739B1 (ko) 2021-11-30
CN109314833A (zh) 2019-02-05
EP3468233A4 (en) 2019-06-12

Similar Documents

Publication Publication Date Title
JP7504140B2 (ja) 音響処理装置および方法、並びにプログラム
US10477311B2 (en) Merging audio signals with spatial metadata
KR102332632B1 (ko) 임의적 라우드스피커 배치들로의 겉보기 크기를 갖는 오디오 오브젝트들의 렌더링
RU2586842C2 (ru) Устройство и способ преобразования первого параметрического пространственного аудиосигнала во второй параметрический пространственный аудиосигнал
US11363401B2 (en) Associated spatial audio playback
US20170347219A1 (en) Selective audio reproduction
CN112673649B (zh) 空间音频增强
US20200374649A1 (en) Device and method of object-based spatial audio mastering
US20230336935A1 (en) Signal processing apparatus and method, and program
JPWO2019078035A1 (ja) 信号処理装置および方法、並びにプログラム
WO2017110882A1 (ja) スピーカの配置位置提示装置
WO2017022467A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2019229300A1 (en) Spatial audio parameters
US10986457B2 (en) Method and device for outputting audio linked with video screen zoom
US11902768B2 (en) Associated spatial audio playback
KR102058228B1 (ko) 입체 음향 컨텐츠 저작 방법 및 이를 위한 어플리케이션
TW202041035A (zh) 呈現元資料以控制以使用者運動為基礎之音訊呈現

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018520783

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20187033606

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112018073896

Country of ref document: BR

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17806379

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017806379

Country of ref document: EP

Effective date: 20190102

ENP Entry into the national phase

Ref document number: 112018073896

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20181121