WO2015037388A1 - ユーザインタフェース装置、音響制御装置、音響システム、音響制御方法及びプログラム - Google Patents

ユーザインタフェース装置、音響制御装置、音響システム、音響制御方法及びプログラム Download PDF

Info

Publication number
WO2015037388A1
WO2015037388A1 PCT/JP2014/071398 JP2014071398W WO2015037388A1 WO 2015037388 A1 WO2015037388 A1 WO 2015037388A1 JP 2014071398 W JP2014071398 W JP 2014071398W WO 2015037388 A1 WO2015037388 A1 WO 2015037388A1
Authority
WO
WIPO (PCT)
Prior art keywords
user interface
coordinate
value
specified
sound
Prior art date
Application number
PCT/JP2014/071398
Other languages
English (en)
French (fr)
Inventor
雄太 湯山
篤志 臼井
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Priority to EP14843566.2A priority Critical patent/EP3046340B1/en
Priority to US14/917,428 priority patent/US9674634B2/en
Publication of WO2015037388A1 publication Critical patent/WO2015037388A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40Visual indication of stereophonic sound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/162Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/305Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15Aspects of sound capture and related signal processing for recording or reproduction

Definitions

  • the present invention relates to a technique for realizing a sound field desired by a user.
  • This application claims priority based on Japanese Patent Application No. 2013-189260 filed in Japan on September 12, 2013 and Japanese Patent Application No. 2013-271313 filed in Japan on December 27, 2013. The contents are incorporated here.
  • parameters for realizing the sound field include initial delay, room size, and liveness.
  • specialized knowledge is required as to which parameter is set to what value. When such knowledge is scarce, it is difficult to sensibly recognize the relationship between the parameter and the sound field. Therefore, it is difficult for such a user to set parameters.
  • Patent Documents 1 to 3 describe examples of mechanisms for supporting such parameter settings.
  • Patent Document 1 describes that when a parameter value is selected, the size and color of an image corresponding to the type of parameter to be changed are changed and displayed on the setting screen according to the parameter value.
  • Patent Document 2 describes that when a user selects a favorite DSP mode, only a slide bar of a parameter corresponding to the selected DSP mode is displayed.
  • Patent Document 3 a movement trajectory of a sound image in a space around a user is specified in advance, and the sound image is moved so as to follow the trajectory. For example, a motorcycle travels in an ellipse or circle around a listener It is described that it realizes the image that the train is moving or the image that the train passes diagonally from the rear to the front.
  • an example of an object of the present invention is to realize a sound field having an attribute desired by a user without specifying each parameter value one by one.
  • a user interface device displays a user interface screen associated with a first coordinate axis corresponding to a first attribute of a sound field and assigned with a plurality of parameters related to the first attribute.
  • a first specifying unit that specifies a coordinate value of the first coordinate axis corresponding to a position in the user interface screen specified by the user, and a value of each of the plurality of parameters based on the specified coordinate value
  • a second specifying unit that specifies
  • An acoustic control device includes a signal processing for performing signal processing for realizing a sound field based on the above-described user interface device and values of a plurality of parameters specified by the user interface device. A part.
  • An acoustic system includes an acoustic control device and an acoustic device that are independent of each other.
  • the acoustic control device includes: a display unit that displays a user interface screen associated with a first coordinate axis that corresponds to a first attribute of a sound field and that is assigned a plurality of parameters related to the first attribute; A first specifying unit that specifies a coordinate value of the first coordinate axis corresponding to a position in the user interface screen, and a second specification that specifies a value of each of the plurality of parameters based on the specified coordinate value And a transmission unit that transmits the values of the plurality of specified parameters toward the acoustic device.
  • the acoustic device includes a receiving unit that receives values of the plurality of transmitted parameters, and a signal processing unit that performs signal processing for realizing a sound field based on the values of the received plurality of parameters.
  • the acoustic control method displays a user interface screen associated with a first coordinate axis corresponding to a first attribute of a sound field and assigned with a plurality of parameters related to the first attribute, Specifying a coordinate value of the first coordinate axis corresponding to a position in the user interface screen specified by a user, and specifying a value of each of the plurality of parameters based on the specified coordinate value.
  • a program displays a user interface screen associated with a first coordinate axis corresponding to a first attribute of a sound field and assigned with a plurality of parameters related to the first attribute.
  • a coordinate value of the first coordinate axis corresponding to the designated position in the user interface screen is specified, and the computer is caused to specify the value of each of the plurality of parameters based on the specified coordinate value.
  • FIG. 1 It is a block diagram which shows the structure of the acoustic control apparatus which concerns on embodiment of this invention. It is a figure which shows an example of the user interface screen displayed on the display part of the acoustic control apparatus shown in FIG. It is a figure which shows an example of the correspondence of the coordinate axis and parameter in embodiment of this invention. It is a figure which shows an example of the mapping of the parameter value with respect to the coordinate axis in embodiment of this invention for every kind of parameter. It is a flowchart which shows the process sequence of the control part of the acoustic control apparatus shown in FIG. It is a figure which shows an example of the user interface screen displayed on the display part of the acoustic control apparatus which concerns on the 3rd modification of this invention.
  • FIG. 1 is a block diagram showing a configuration of an acoustic control apparatus 10 according to an embodiment of the present invention.
  • the acoustic control device 10 includes a control unit 11, an A / D (analog-to-digital) conversion unit 12, an operation unit 13, a display unit 14, a digital signal processing unit 15, and a D / A (digital-to). -analog)
  • storage part 17, and the sound emission part 18 are provided.
  • the control unit 11 includes an arithmetic device such as a CPU (Central Processing Unit) and a main storage device such as a ROM (Read Only Memory) and a RAM (Random Access Memory).
  • the ROM stores a program group executed by the CPU.
  • the storage unit 17 may be a large-capacity storage unit such as a hard disk.
  • the storage unit 17 stores a data group and a program group used by the control unit 11.
  • the CPU controls the operation of each unit of the acoustic control apparatus 10 by executing a program stored in the ROM or the storage unit 17 using the RAM as a work area.
  • the operation unit 13 may be an operation means including operation elements such as various keys and touch sensors.
  • the operation unit 13 supplies an operation signal corresponding to a user operation to the control unit 11.
  • the control unit 11 performs processing according to the operation signal.
  • the display unit 14 may be a display unit including, for example, a liquid crystal panel or a liquid crystal driving circuit.
  • the display unit 14 displays an image under the control of the control unit 11.
  • the control unit 11 causes the display unit 14 to display a user interface screen for specifying a sound field desired by the user.
  • the control unit 11 further specifies various parameter values for realizing the sound field based on the operation of the user on the user interface screen based on the operation signal from the operation unit 13.
  • storage part 17 are the structures for assisting designation
  • the control unit 11, the operation unit 13, the display unit 14, and the storage unit 17 function as a user interface device that specifies parameter values for realizing a sound field desired by the user according to the user's operation.
  • the A / D conversion unit 12 converts an analog audio signal input to the acoustic control device 10 into a digital audio signal as a recording medium such as a CD (Compact Disc) is reproduced, and converts the digital audio signal into a digital signal.
  • the digital signal processing unit 15 performs signal processing for realizing a sound field based on various parameter values.
  • the digital signal processing unit 15 functions as a signal processing unit that performs signal processing for realizing a sound field based on parameter values specified by the control unit 11 that is a user interface device.
  • the D / A conversion unit 16 converts the digital audio signal supplied from the digital signal processing unit 15 into an analog audio signal, and supplies the analog audio signal to the sound emission unit 18.
  • the sound emitting unit 18 may be a speaker.
  • the sound emitting unit 18 is disposed at a predetermined position with respect to a user who is a listener.
  • the predetermined position may be, for example, a position away from the user in the front-rear direction or the left-right direction.
  • a sound field is realized by the sound emitted from the sound emitting unit 18.
  • FIG. 2 shows an example of a user interface screen displayed on the display unit 14.
  • the user interface screen shown in FIG. 2 has a coordinate space composed of a plurality of coordinate axes. That is, the user interface screen shown in FIG. 2 is associated with a plurality of coordinate axes. The user can specify an arbitrary position in this coordinate space.
  • a two-dimensional plane coordinate space is configured by two coordinate axes, the X axis and the Y axis.
  • sound field attributes may include “sound field width”, “sound field strength”, and “power”.
  • One of these attributes corresponds to one coordinate axis.
  • the X axis corresponds to the width of the sound field
  • the Y axis corresponds to the strength of the sound field.
  • the sound field becomes wider as it proceeds in the positive direction of the X axis.
  • the sound field space increases as it proceeds in the positive direction of the X axis.
  • the sound field becomes narrower as it proceeds in the negative direction of the X axis.
  • the sound field space becomes smaller as it proceeds in the negative X-axis direction.
  • the sound field becomes stronger as it proceeds in the positive direction of the Y-axis.
  • the level of the reflected sound with respect to the direct sound increases as it advances in the positive direction of the Y axis.
  • the sound field becomes weaker as it proceeds in the negative Y-axis direction.
  • the level of the reflected sound with respect to the direct sound becomes smaller as it proceeds in the negative Y-axis direction.
  • the parameters related to these sound field attributes are different.
  • the parameter related to the sound field attribute of “sound field width” may be, for example, an initial delay (Initial Delay), a room size (Room Size), or liveness (Liveness).
  • the initial delay is a parameter that determines the time from the direct sound to the initial reflected sound. By changing the value of the initial delay, the sense of distance from the sound source to the wall surface and the size of the sound field space are adjusted.
  • the room size is a parameter that determines the interval between reflected sounds. By changing the value of the room size, the sense of space is adjusted. Liveness is a parameter that determines how much the reflected sound gradually decreases. By changing the liveness value, the sound reverberation in the space is adjusted.
  • the parameter related to the sound field attribute “sound field strength” may be, for example, DSP Level or liveness.
  • DSP (Digital Signal Processor) Level is a parameter that controls the level of reflected sound relative to direct sound.
  • Parameters related to the sound field attribute of “power” are DSP level and initial delay.
  • FIG. 3 shows the correspondence between each coordinate axis shown in FIG. 2 and the parameters.
  • a plurality of parameters such as initial delay, room size, and liveness are assigned to the X axis corresponding to the width of the sound field.
  • one parameter of DSP Level is assigned to the Y axis corresponding to the strength of the sound field.
  • the procedure for mapping each parameter value to the coordinate axis is as follows. First, the default value (center value), maximum value, and minimum value of each parameter value are determined in advance.
  • each value of the initial delay is set as shown in FIG. That is, the default value of the initial delay is set to “20 ms”.
  • the initial delay minimum value is set to '15 ms'.
  • Set the maximum initial delay to '90 ms'.
  • a function from the minimum value to the origin passing through the minimum value and the origin and a function from the origin to the maximum value passing through the origin and the maximum value are determined in advance.
  • the parameter value of the initial delay existing between the minimum value and the origin and between the origin and the maximum value is mapped to the coordinate axis (X axis).
  • the function passing through the minimum value, the origin, and the maximum value described above is desirably different depending on the type of parameter as shown in FIG.
  • the plurality of tables illustrated in FIG. 4 are coordinates for initial delay, room size, liveness, DSP Level, reverb level (Rev.
  • parameter values such as initial delay, room size, liveness, and DSP level are specified.
  • a sound field based on the parameter value is realized.
  • we do not have expert knowledge about what sound field is realized by setting which parameter to what value among parameters such as initial delay, room size, liveness, and DSP Level. It is difficult for the user to understand.
  • FIG. 5 is a flowchart showing a processing procedure of the control unit 11.
  • the control unit 11 causes the display unit 14 (display unit) to display a user interface screen in which a coordinate space is configured by a plurality of coordinate axes.
  • the user designates an arbitrary position in the coordinate space on the user interface screen.
  • the user designates a position corresponding to the strength, magnitude, or width of the sound field attribute while referring to the sound field attribute corresponding to the coordinate axis.
  • the user designates the position so as to obtain a sound field desired by the user, such as a slightly narrow sound field and a slightly strong sound field.
  • the position may be specified by a pointer that moves in the coordinate space using the key.
  • the position may be specified by touching an arbitrary position in the coordinate space displayed on the display unit 14 by the user.
  • control unit 11 When the control unit 11 (first specifying unit) accepts the position specifying operation (YES in step S1), the control unit 11 specifies the coordinate value specified by the user in the coordinate space (step S2).
  • the coordinate value designated at this time is expressed as (X1, Y1).
  • control unit 11 (second specifying unit), based on the parameter type assigned to each coordinate axis and the specified coordinate value (X1, Y1), a plurality of types corresponding to the coordinate value.
  • a parameter value is specified (step S3). More specifically, the control unit 11 maps an initial delay parameter value (denoted as I1), a room size parameter value (denoted as R1), and a liveness parameter value (denoted as R1) mapped to the X coordinate value X1. L1). Further, the control unit 11 specifies the DSP Level parameter value (denoted as D1) mapped to the Y coordinate value Y1.
  • control unit 11 causes the display unit 14 (display unit) to display an image of a color, size, or shape corresponding to the specified parameter values I1, R1, L1, and D1 (step S4). ).
  • the control unit 11 may make the color of the background image in the coordinate space light if these parameter values are values that contribute to widening the sound field compared to the default values.
  • the control unit 11 may make the size of the object image representing the width of the sound field larger than the reference size.
  • the control unit 11 may reduce the number of corners of the polygonal object image.
  • the control unit 11 changes the image to a pentagon or a triangle according to the parameter value.
  • the control unit 11 may darken the color of the background image in the coordinate space if these parameter values are values that contribute to narrowing the sound field compared to the default values.
  • the control unit 11 may make the size of the object image representing the width of the sound field smaller than the reference size.
  • the control unit 11 may increase the number of corners of the polygonal object image. More specifically, when the object image corresponding to the default value is an octagon, the control unit 11 changes the image to a decagon or a circle according to the parameter value.
  • the control unit 11 may change the color of the background image in the coordinate space so as to approach a red color if these parameter values are values that contribute to strengthening the sound field compared to the default values. More specifically, when the color of the background image corresponding to the default value is yellow, the control unit 11 changes the color to orange or red according to the parameter value. Alternatively, the control unit 11 may make the size of the object image representing the strength of the sound field larger than the reference size. As another method, the control unit 11 may reduce the number of corners of the polygonal object image. Conversely, for example, if these parameter values are values that contribute to weakening the sound field compared to the default values, the control unit 11 changes the color of the background image in the coordinate space so as to be close to a blue color. It's okay.
  • the control unit 11 changes the color to green or blue according to the parameter value.
  • the control unit 11 may reduce the size of the object image that represents the strength of the sound field.
  • the control unit 11 may increase the number of corners of the polygonal object image. By looking at such changes in the image image and the background image, the user can visually recognize the change in the sound field.
  • the control unit 11 supplies these parameter values I1, R1, L1, and D1 to the digital signal processing unit 15 (step S5).
  • the digital signal processing unit 15 uses these parameter values I1, R1, L1, and D1 to perform signal processing for realizing a sound field.
  • the sound emitting unit 18 emits a sound corresponding to the digital audio signal supplied via the D / A conversion unit 16. As a result, the sound field is reproduced for the user.
  • the sound field having such attributes is realized according to the strength, magnitude, or breadth of the sound field attributes (for example, sound field strength, sound field width, force) specified by the user.
  • the present invention is not limited to the above-described embodiment, and at least a plurality of types of parameters may be assigned to one coordinate axis corresponding to the sound field attribute.
  • a plurality of types of parameters may be assigned to each of the plurality of coordinate axes.
  • the number of sound field attributes may be three or more, and the number of coordinate axes corresponding to the sound field attributes may be three or more.
  • the coordinate space is a three-dimensional space.
  • the types of parameters are not limited to the types exemplified in the description of the embodiment. Other parameters can be handled similarly.
  • the same type of parameter may be assigned to at least two or more coordinate axis groups.
  • initial delay, room size, and liveness may be assigned to the X axis corresponding to the strength of the sound field
  • DSP Level and initial delay may be assigned to the Y axis corresponding to force.
  • the initial delay is assigned overlapping the X axis and the Y axis.
  • priorities are respectively determined, and the priorities are stored in the ROM or the storage unit 17.
  • a weighting factor a is assigned to the X axis.
  • a weighting factor b is assigned to the Y axis.
  • the weighting factors a and b mean priorities.
  • the weight coefficient a is larger than the weight coefficient b (a> b).
  • the control unit 11 second specifying unit first determines the initial delay and room size mapped to the X coordinate value based on the type of parameter assigned to each coordinate axis and the specified coordinate value.
  • the liveness parameter values I1, R1, and L1 are specified.
  • the acoustic control device 10 displays a spherical image that represents a part of a sphere in a three-dimensional manner in order to represent the expansion of the entire sound field space on the user interface screen.
  • the size of the spherical image changes according to the user's operation.
  • the acoustic control device 10 specifies the coordinate value on one coordinate axis called the R axis based on the size of the spherical image. Furthermore, the acoustic control device 10 also displays an image representing the sound generated in this sound field on the user interface screen.
  • FIG. 6 shows an example of a user interface screen displayed on the display unit 14 of the acoustic control apparatus 10.
  • a so-called dome-shaped image (hereinafter referred to as a hemispheric image D), which is an example of the spherical image, is displayed.
  • a user image U meaning a user who is a listener is displayed.
  • This hemispherical image D represents an attribute of the sound field called “wideness of the sound field space” that combines the height direction and the horizontal direction of the sound field space.
  • the “wideness of the sound field space” is determined by the coordinate value of the R axis that is an index of the radial size of the hemispherical image D. That is, the R axis is a coordinate axis that extends from the origin O in the direction away from the origin O.
  • Parameters assigned to the R axis include DSP level, initial delay, room size, liveness, reverb delay, reverb time, and reverb level. As shown in FIG. 7, for example, a minimum value, a center value (default value), and a maximum value are set for each parameter assigned to the R axis. These values are stored in the storage unit 17.
  • control unit 11 of the acoustic control device 10 stores in advance in the storage unit 17 a function that passes through the minimum value and the center value and a function that passes through the center value and the maximum value. Furthermore, based on these minimum value, center value, maximum value, and function, each parameter value existing between the minimum value and the center value and between the center value and the maximum value is represented on the coordinate axis (R axis). Map.
  • the operation unit 13 is configured by a touch screen integrated with the display unit 14 .
  • the user performs an operation (so-called pinch-in) in which the fingers are brought close to each other while keeping a plurality of fingers in contact with the display area where the hemispheric image D is displayed.
  • the operation unit 13 accepts this operation as an operation for changing (reducing) the size of the hemispherical image D, and supplies an operation signal corresponding to the operation to the control unit 11 (YES in step S11 in FIG. 8).
  • the control unit 11 Based on the operation signal, the control unit 11 causes the display unit 14 to display a hemispherical image D with a reduced size, as shown in part (A) of FIG. 6, at a rate corresponding to the operation amount at this time.
  • the control unit 11 (first specifying unit) specifies the coordinate value on the R axis (that is, the sphere diameter of the hemispherical image D) (step S12 in FIG. 8).
  • the display of the arrow meaning the R axis in the part (B) of FIG. 6 is not essential.
  • the operation unit 13 accepts this operation as an operation for changing (enlarging) the size of the hemispherical image D, and supplies an operation signal corresponding to the operation to the control unit 11 (YES in step S11 in FIG. 8).
  • the control unit 11 causes the display unit 14 to display a hemispherical image D with an enlarged size, as shown in part (C) of FIG. 6, at a rate corresponding to the operation amount at this time.
  • the control unit 11 (first specifying unit) specifies the coordinate value on the R axis (that is, the sphere diameter of the hemispherical image D) (step S12 in FIG. 8).
  • the operation for changing the size of the hemispherical image D is not limited to the above pinch-in and pinch-out, and may be any operation.
  • the operation unit 13 may detect an operation in which the user touches the display area where the hemispherical image D is displayed and moves the finger in a direction away from the origin O or a direction approaching the origin O.
  • the control unit 11 may cause the display unit 14 to display the enlarged hemispherical image D.
  • the control unit 11 may display the reduced hemispherical image D on the display unit 14.
  • the control unit 11 Based on the specified coordinate value, the control unit 11 (second specifying unit) sets a plurality of types of parameter values corresponding to the coordinate value (the above-described DSP level, initial delay, room size, liveness, reverb delay, reverb time). And the reverb level) are specified (step S13 in FIG. 8). Then, the control unit 11 (display unit) causes the display unit 14 (display unit) to display an image with a color, size, or shape corresponding to the specified parameter value (step S14 in FIG. 8).
  • the coordinate value the above-described DSP level, initial delay, room size, liveness, reverb delay, reverb time.
  • the reverb level are specified (step S13 in FIG. 8).
  • the control unit 11 causes the display unit 14 (display unit) to display an image with a color, size, or shape corresponding to the specified parameter value (step S14 in FIG. 8).
  • the control unit 11 supplies these parameter values to the digital signal processing unit 15 (step S15 in FIG. 8).
  • the digital signal processing unit 15 performs signal processing for realizing a sound field using these parameter values.
  • the sound emitting unit 18 emits a sound corresponding to the digital audio signal supplied via the D / A conversion unit 16. As a result, the sound field is reproduced.
  • the control part 11 displays the image showing the sound which generate
  • This sound includes a direct sound and a pseudo-reflected sound.
  • the direct sound is a sound represented by an audio signal input from the A / D conversion unit 12 to the digital signal processing unit 15.
  • the pseudo-reflected sound is a sound when the direct sound is reflected by a virtual sound field, and is a sound for realizing a sound field according to a parameter value specified based on a user operation.
  • the pseudo reflected sound is generated by the digital signal processing unit 15.
  • FIG. 9 is a diagram for explaining a technique for generating a pseudo-reflected sound image (referred to as a pseudo-reflected sound image).
  • the control unit 11 displays the pseudo reflected sound image on the display unit 14.
  • the control unit 11 sets the display position of the pseudo-reflected sound image to the horizontal azimuth ⁇ (0) from the origin O using the distance r as the magnitude corresponding to the delay time of the direct sound from the sound source to the origin O in the coordinate space described above. It is set to a position determined by the front face 0 ° and the vertical orientation ⁇ (horizontal 0 °).
  • an arrow F indicates a predetermined front direction.
  • the control unit 11 changes the size of the pseudo reflected sound image according to the ratio of the reflected sound level to the direct sound level. For example, the control unit 11 changes the pseudo reflected sound image so that the larger the ratio of the reflected sound level to the direct sound level is, the larger the pseudo reflected sound image is.
  • the control unit 11 sets the display position of the pseudo reflection sound using the audio signal as a direct sound. Calculation is performed, and a pseudo reflected sound image having the above size is generated and displayed at the display position.
  • the control unit 11 generates a direct sound image corresponding to the R channel, a direct sound image corresponding to the L channel, and a direct sound image corresponding to the C channel. Furthermore, the control part 11 produces
  • the control unit 11 displays these images on the user interface screen of the display unit 14. These images are the circular image group L shown in FIG. These images may be still images.
  • the pseudo reflection sound image for the direct sound may be displayed as an animation with its position and size changing from moment to moment. It is not essential to display a direct sound image. In the case of displaying a direct sound image, it is preferable to represent the direct sound image by an image (for example, an image having a different color or shape) different from the pseudo reflected sound image.
  • a plurality of parameter values are assigned to one coordinate axis, and the size of the image expressing the expansion of the sound field space changes according to the user's operation, and each of the parameters described above The value is changed.
  • the user only has to specify the size of the spherical image for one sound field attribute (expansion of the sound field space) that is easy for the user to image, and it is difficult to recognize the relationship with the sound field. Need not be specified one by one. Further, by displaying the pseudo reflection sound image, the user can intuitively understand what sound field is reproduced and what kind of pseudo reflection sound is generated.
  • the image showing the direct sound and the pseudo reflection sound is not limited to the illustrated circular image, and may be an image having another shape (for example, an image like a vector or a cloud).
  • a vector from the sound source position to the listening position may be displayed in the case of a high sound
  • an icon that extends in a circular shape from the sound source position may be displayed in the case of a low sound.
  • FIG. 10 is a block diagram illustrating a configuration of an acoustic system 40 according to a fourth modification of the embodiment of the present invention.
  • the same components as those shown in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the acoustic system 40 includes the acoustic control device 10 and the acoustic device 30.
  • the acoustic control device 10 and the acoustic device 30 are connected via a wired or wireless connection.
  • the control unit 11 outputs the specified parameter value to the transmission unit 19.
  • the D / A converter 16 outputs the analog audio signal to the transmitter 19.
  • the transmission unit 19 transmits the parameter value and the analog audio signal to the acoustic device 30.
  • the receiving unit 20 receives the parameter value and the analog audio signal transmitted from the acoustic control device 10.
  • the receiver 20 supplies the received parameter value and analog audio signal to the D / A converter 16.
  • the present invention can also be specified as a program for realizing the present invention in a computer corresponding to a user interface device or an acoustic control device, or a recording medium such as an optical disk storing such a program.
  • the program according to the present invention can also be provided in a form such that it is downloaded to a user interface device or an acoustic control device via a network such as the Internet, and installed and made available.
  • the display unit, the first specifying unit, and the second specifying unit described above may be realized.
  • the present invention can be applied to a user interface device, an acoustic control device, an acoustic system, an acoustic control method, and a program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

 ユーザインタフェース装置は、音場の第1属性に対応しかつ前記第1属性に関係する複数のパラメータが割り当てられた第1座標軸と関連付けられたユーザインタフェース画面を表示する表示部と、ユーザが指定した前記ユーザインタフェース画面中の位置に対応する前記第1座標軸の座標値を特定する第1特定部と、前記特定された座標値に基づいて、前記複数のパラメータ各々の値を特定する第2特定部とを備える。

Description

ユーザインタフェース装置、音響制御装置、音響システム、音響制御方法及びプログラム
 本発明は、ユーザが所望する音場を実現するための技術に関する。
 本願は、2013年9月12日に日本に出願された特願2013-189260号、および、2013年12月27日に日本に出願された特願2013-271313号に基づき優先権を主張し、その内容をここに援用する。
 音場を実現するためのパラメータの具体例は、イニシャルディレイ、ルームサイズおよびライブネスを含む。これら複数種類のパラメータのうち、どのパラメータをどのような値に設定するかということに関しては専門的な知識を要する。このような知識に乏しい場合、パラメータと音場との関係を感覚的に認識することが困難である。よって、そのようなユーザにとっては、パラメータを設定する作業は難しい。
 特許文献1~3には、このようなパラメータの設定を支援するための仕組みの例が記載されている。特許文献1には、パラメータ値を選択すると、設定画面には、変更するパラメータの種類に対応するイメージの大きさや色などがそのパラメータ値に従って変更されて表示されることが記載されている。特許文献2には、ユーザが好みのDSPモードを選択すると、選択したDSPモードに対応するパラメータのスライドバーのみが表示されることが記載されている。特許文献3には、ユーザの周囲の空間における音像の移動軌跡を予め指定しておき、その軌跡を辿るように音像を移動させることで、例えばリスナの回りをオートバイが楕円や円を描いて走行しているようなイメージや、列車が斜め後ろから斜め前に通り過ぎていくイメージなどを実現することが記載されている。
日本国特開2000-356990号公報 日本国特開2000-356994号公報 日本国特開平10-145900号公報
 特許文献1,2に記載の仕組みにおいては、パラメータと音場との関係性をユーザに理解させることはできるが、結局、ユーザ自身がパラメータ値を逐一指定しなければならない。特許文献3に記載の仕組みでは、音像の位置を変更することだけを目的としており、音場の広さや音場の強さといった音場の属性を変化させることはできない。
 そこで、本発明の目的の一例は、各パラメータの値を逐一指定しなくても、ユーザが所望する属性の音場を実現できるようにすることである。
 本発明の実施態様に係るユーザインタフェース装置は、音場の第1属性に対応しかつ前記第1属性に関係する複数のパラメータが割り当てられた第1座標軸と関連付けられたユーザインタフェース画面を表示する表示部と、ユーザが指定した前記ユーザインタフェース画面中の位置に対応する前記第1座標軸の座標値を特定する第1特定部と、前記特定された座標値に基づいて、前記複数のパラメータ各々の値を特定する第2特定部とを備える。
 本発明の実施態様に係る音響制御装置は、上記のユーザインタフェース装置と、前記ユーザインタフェース装置によって特定された複数のパラメータ各々の値に基づいて、音場を実現するための信号処理を行う信号処理部とを備える。
 本発明の実施態様に係る音響システムは、互いに独立した音響制御装置および音響装置を備える。前記音響制御装置は、音場の第1属性に対応しかつ前記第1属性に関係する複数のパラメータが割り当てられた第1座標軸と関連付けられたユーザインタフェース画面を表示する表示部と、ユーザが指定した前記ユーザインタフェース画面中の位置に対応する前記第1座標軸の座標値を特定する第1特定部と、前記特定された座標値に基づいて、前記複数のパラメータ各々の値を特定する第2特定部と、前記特定された複数のパラメータ各々の値を前記音響装置に向けて送信する送信部とを備える。前記音響装置は、前記送信された複数のパラメータ各々の値を受信する受信部と、前記受信された複数のパラメータ各々の値に基づいて、音場を実現するための信号処理を行う信号処理部とを備える。
 本発明の実施態様に係る音響制御方法は、音場の第1属性に対応しかつ前記第1属性に関係する複数のパラメータが割り当てられた第1座標軸と関連付けられたユーザインタフェース画面を表示し、ユーザが指定した前記ユーザインタフェース画面中の位置に対応する前記第1座標軸の座標値を特定し、前記特定された座標値に基づいて、前記複数のパラメータ各々の値を特定することを含む。
 本発明の実施態様に係るプログラムは、音場の第1属性に対応しかつ前記第1属性に関係する複数のパラメータが割り当てられた第1座標軸と関連付けられたユーザインタフェース画面を表示し、ユーザが指定した前記ユーザインタフェース画面中の位置に対応する前記第1座標軸の座標値を特定し、前記特定された座標値に基づいて、前記複数のパラメータ各々の値を特定することをコンピュータに実行させる。
本発明の実施形態に係る音響制御装置の構成を示すブロック図である。 図1に示す音響制御装置の表示部に表示されるユーザインタフェース画面の一例を示す図である。 本発明の実施形態における座標軸とパラメータとの対応関係の一例を示す図である。 本発明の実施形態における座標軸に対するパラメータ値の写像の一例をパラメータの種類ごとに示す図である。 図1に示す音響制御装置の制御部の処理手順を示すフローチャートである。 本発明の第3変形例に係る音響制御装置の表示部に表示されるユーザインタフェース画面の一例を示す図である。 第3変形例におけるR軸に割り当てられているパラメータ値の一例を示す図である。 第3変形例における制御部の処理手順を示すフローチャートである。 第3変形例において擬似反射音の画像を生成する手法を説明する図である。 本発明の実施形態の第4変形例に係る音響システムの構成を示すブロック図である。
[実施形態の構成]
 図1は、本発明の実施形態に係る音響制御装置10の構成を示すブロック図である。音響制御装置10は、制御部11と、A/D(analog-to-digital)変換部12と、操作部13と、表示部14と、デジタル信号処理部15と、D/A(digital-to-analog)変換部16と、記憶部17と、放音部18を備えている。
 制御部11は、CPU(Central Processing Unit)などの演算装置と、ROM(Read Only Memory)及びRAM(Random Access Memory)などの主記憶装置とを備えている。ROMには、CPUによって実行されるプログラム群が記憶されている。記憶部17は、例えばハードディスク等の大容量の記憶手段であってもよい。記憶部17は、制御部11が用いるデータ群やプログラム群を記憶している。CPUは、RAMをワークエリアとして用いて、ROMや記憶部17に記憶されたプログラムを実行することによって、音響制御装置10の各部の動作を制御する。
 操作部13は、例えば各種のキーやタッチセンサなどの操作子を備えた操作手段であってもよい。操作部13は、利用者の操作に応じた操作信号を制御部11に供給する。制御部11は、この操作信号に応じた処理を行う。表示部14は、例えば液晶パネルや液晶駆動回路を備えた表示手段であってもよい。表示部14は、制御部11による制御の下で画像を表示する。例えば、制御部11は、ユーザが所望する音場を特定するためのユーザインタフェース画面を表示部14に表示させる。制御部11は、さらに操作部13からの操作信号に基づいて、そのユーザインタフェース画面におけるユーザの操作に基づき、音場を実現するための各種パラメータ値を特定する。制御部11、操作部13、表示部14及び記憶部17は、ユーザによる音場の指定を支援するための構成である。制御部11、操作部13、表示部14及び記憶部17は、ユーザの操作に応じてそのユーザが所望する音場を実現するためのパラメータ値を特定するユーザインタフェース装置として機能する。
 A/D変換部12は、例えばCD(Compact Disc)などの記録媒体の再生に伴って、音響制御装置10に入力されるアナログオーディオ信号をデジタルオーディオ信号に変換し、そのデジタルオーディオ信号をデジタル信号処理部15に供給する。デジタル信号処理部15は、各種のパラメータ値に基づいて音場を実現するための信号処理を行う。このデジタル信号処理部15は、ユーザインタフェース装置である制御部11によって特定されたパラメータ値に基づいて、音場を実現するための信号処理を行う信号処理部として機能する。D/A変換部16は、デジタル信号処理部15から供給されるデジタルオーディオ信号をアナログオーディオ信号に変換し、そのアナログオーディオ信号を放音部18に供給する。放音部18は、スピーカであってもよい。放音部18は、試聴者であるユーザに対して所定の位置に配置されている。所定の位置とは、例えば、ユーザに対して前後方向や左右方向に離れた位置であってもよい。この放音部18から放音される音によって音場が実現される。
 図2は、表示部14に表示されるユーザインタフェース画面の一例を示す。図2に示すユーザインタフェース画面は、複数の座標軸によって構成された座標空間を有する。すなわち、図2に示すユーザインタフェース画面は、複数の座標軸と関連付けられている。ユーザがこの座標空間内の任意の位置を指定することができる。図2の例では、X軸、Y軸という2本の座標軸によって、2次元の平面座標空間が構成されている。
 音場の属性の具体例は、「音場の広さ」、「音場の強さ」、「迫力」を含んでもよい。これらの属性のうち1つが1本の座標軸に対応している。図2に示す例では、X軸が音場の広さに対応しており、Y軸が音場の強さに対応している。X軸正方向に進むほど音場が広くなる。つまり、X軸正方向に進むほど音場空間が大きくなる。一方で、X軸負方向に進むほど音場が狭くなる。つまり、X軸負方向に進むほど音場空間が小さくなる。また、Y軸正方向に進むほど音場が強くなる。つまりY軸正方向に進むほど直接音に対する反射音のレベルが大きくなる。一方、Y軸負方向に進むほど音場が弱くなる。つまり、Y軸負方向に進むほど直接音に対する反射音のレベルが小さくなる。
 これらの音場の属性に関係するパラメータは、それぞれ異なっている。「音場の広さ」という音場属性に関係するパラメータは、例えばイニシャルディレイ(Initial Delay)やルームサイズ(Room Size)やライブネス(Liveness)であってもよい。イニシャルディレイは、直接音から初期反射音までの時間を決定するパラメータである。イニシャルディレイの値を変更することにより、音源から壁面までの距離感や音場空間の大きさが調整される。ルームサイズは、反射音の間隔を決定するパラメータである。ルームサイズの値を変更することにより、空間の広がり感が調整される。ライブネスは、反射音が徐々にどのくらい小さくなっていくかを決定するパラメータである。ライブネスの値を変更することにより、空間における音の響き具合が調整される。「音場の強さ」という音場属性に関係するパラメータは、例えば、DSP Levelやライブネスであってもよい。DSP(Digital Signal Processor) Levelは、直接音に対する反射音のレベルを制御するパラメータである。「迫力」という音場属性に関係するパラメータは、DSP Levelやイニシャルディレイである。
 図3は、図2に示した各座標軸とパラメータとの対応関係を示す。図3の上部に示すように、音場の広さに対応するX軸には、イニシャルディレイ、ルームサイズ、ライブネスという複数のパラメータが割り当てられている。図3の下部に示すように、音場の強さに対応するY軸には、DSP Levelという1つのパラメータが割り当てられている。各パラメータ値を座標軸に写像するときの手順は以下のとおりである。まず、各パラメータ値のデフォルト値(中心値)、最大値及び最小値が予め決められている。ここでは、イニシャルディレイの各値を図3に示すように設定する。すなわち、イニシャルディレイのデフォルト値を‘20ms’に設定する。イニシャルディレイの最小値を‘15ms’に設定する。イニシャルディレイの最大値を‘90ms’に設定する。デフォルト値である‘20ms’を座標空間の原点「(X,Y)=(0,0)」に割り当てる。イニシャルディレイの最小値である‘15ms’をX軸上における最小値の座標「(X,Y)=(-10,0)」に対応付ける。イニシャルディレイの最大値である‘90ms’をX軸上における最大値の座標「(X,Y)=(10,0)」に割り当てる。最小値と原点とを通る最小値から原点まで関数と、原点と最大値とを通る原点から最大値までの関数を予め決めておく。最小値から原点までの間、及び、原点から最大値までの間に存在するイニシャルディレイのパラメータ値を座標軸(X軸)に写像する。X軸に割り当てられたルームサイズやライブネスについても上記と同様である。また、Y軸に割り当てられたDSP Levelについても上記と同様である。上述した最小値、原点及び最大値を通る関数は、例えば図4に示すようにパラメータの種類に応じて異なっていることが望ましい。図4に例示している複数の表は、それぞれ、イニシャルディレイ、ルームサイズ、ライブネス、DSP Level、リバーブレベル(Rev. Level)、リバーブタイム(Rev. Time)及びリバーブディレイ(Rev. Delay)に関する座標値とパラメータ値との関係を示す関数を示している。このような各座標軸とパラメータ値との写像関係がROMまたは記憶部17に記憶されている。
 ユーザが、ユーザインタフェース画面において、所望する音場の属性の強弱、大小或いは広狭に応じた位置を指定すると、その位置に対応するイニシャルディレイ、ルームサイズ、ライブネス、DSP Levelなどのパラメータ値が特定され、そのパラメータ値に基づく音場が実現される。一般に、イニシャルディレイ、ルームサイズ、ライブネス、DSP Levelといったパラメータのうち、どのパラメータをどのような値に設定すればどのような音場が実現されるかということについては、専門的な知識を持たないユーザにとっては分かりづらい。これに対して、本実施形態では、音場との関係性を認識しづらいパラメータ値を逐一指定する必要がない。すなわち、本実施形態では、「音場の広さ」、「音場の強さ」、「迫力」というような、ユーザがイメージしやすい音場の属性についてその強弱、大小或いは広狭を指定するだけでよい。
[実施形態の動作]
 次に実施形態の動作について説明する。図5は、制御部11の処理手順を示すフローチャートである。制御部11(表示部)は、まず図2に示すように、複数の座標軸によって座標空間が構成されたユーザインタフェース画面を表示部14(表示部)に表示させる。ユーザはこのユーザインタフェース画面において、座標空間内の任意の位置を指定する。このとき、ユーザは、座標軸に対応する音場の属性を参照しながら、その音場の属性の強弱、大小或いは広狭に応じた位置を指定する。例えば、ユーザは、音場の広さをやや狭くかつ音場の強さをやや強く、というように、自身が所望する音場になるように位置を指定する。操作部13がキーで構成されているときは、そのキーを用いて座標空間内を移動するポインタで位置を指定してもよい。操作部13が表示部14と一体化したタッチスクリーンで構成されているときは、ユーザが表示部14に表示された座標空間内の任意の位置を触ることにより位置を指定してもよい。
 制御部11(第1特定部)は、この位置指定操作を受け付けると(ステップS1においてYES)、座標空間においてユーザが指定した座標値を特定する(ステップS2)。このとき指定された座標値を(X1,Y1)と表記する。
 次に、制御部11(第2特定部)は、各々の座標軸に割り当てられたパラメータの種類と、特定された座標値(X1,Y1)とに基づいて、その座標値に対応する複数種類のパラメータ値を特定する(ステップS3)。より具体的には、制御部11は、X座標値X1に写像された、イニシャルディレイのパラメータ値(I1と表記する)、ルームサイズのパラメータ値(R1と表記する)、およびライブネスのパラメータ値(L1と表記する)を特定する。また、制御部11は、Y座標値Y1に写像されたDSP Levelのパラメータ値(D1と表記する)を特定する。
 次に、制御部11(表示部)は、特定したパラメータ値I1,R1,L1,D1に対応する色、大きさ、又は形のイメージ画像を表示部14(表示部)に表示させる(ステップS4)。
 例えば、制御部11は、これらのパラメータ値がデフォルト値に比べて音場を広くすることに寄与する値であれば、座標空間の背景画像の色を薄くしてもよい。別法として、制御部11は、音場の広さを表徴するオブジェクト画像のサイズを基準のサイズよりも大きくしてもよい。さらに別法として、制御部11は、多角形状のオブジェクト画像の角数をより少なくしてもよい。より具体的には、デフォルト値に対応するオブジェクト画像が八角形の場合、制御部11はパラメータ値に応じてその画像を五角形や三角形に変更する。
 逆に、例えば、制御部11は、これらのパラメータ値がデフォルト値に比べて音場を狭くすることに寄与する値であれば、座標空間の背景画像の色を濃くしてもよい。別法として、制御部11は、音場の広さを表徴するオブジェクト画像のサイズを基準のサイズよりも小さくしてもよい。さらに別法として、制御部11は、多角形状のオブジェクト画像の角数をより多くしてもよい。より具体的には、デフォルト値に対応するオブジェクト画像が八角形の場合、制御部11はパラメータ値に応じてその画像を十角形や円形に変更する。
 制御部11は、これらのパラメータ値がデフォルト値に比べて音場を強くすることに寄与する値であれば、座標空間の背景画像の色を赤い色に近づけるように変更してよい。より具体的には、デフォルト値に対応する背景画像の色が黄色の場合、制御部11はパラメータ値に応じてその色を橙や赤に変更する。別法として、制御部11は、音場の強さを表徴するオブジェクト画像のサイズを基準のサイズよりも大きくしてもよい。さらに別法として、制御部11は、多角形状のオブジェクト画像の角数をより少なくしてもよい。
 逆に、例えば、制御部11は、これらのパラメータ値がデフォルト値に比べて音場を弱くすることに寄与する値であれば、座標空間の背景画像の色を青い色に近づけるように変更してよい。より具体的には、デフォルト値に対応する背景画像の色が黄色の場合、制御部11はパラメータ値に応じてその色を緑や青に変更する。別法として、制御部11は、音場の強さを表徴するオブジェクト画像のサイズを小さくしてもよい。さらに別法として、制御部11は、多角形状のオブジェクト画像の角数をより多くしてもよい。
 このようなイメージ画像や背景画像の変化を見ることで、ユーザは音場の変化を視覚的に認識することが可能となる。
 制御部11は、これらのパラメータ値I1,R1,L1,D1をデジタル信号処理部15に供給する(ステップS5)。デジタル信号処理部15は、これらのパラメータ値I1,R1,L1,D1を用いて、音場を実現するための信号処理を行う。放音部18は、D/A変換部16を経て供給されるデジタルオーディオ信号に応じた音を放音する。その結果、ユーザに対して音場が再現される。
 以上の実施形態によれば、ユーザが指定した音場の属性(たとえば音場の強さや音場の広さ、迫力)の強弱、大小或いは広狭に応じて、そのような属性の音場を実現するための複数のパラメータが連動して変化する。これにより、ユーザが複数のパラメータを逐一、個別に指定する必要が無く、座標空間内の1点を指定するだけで、簡単かつ直感的に所望の音場を実現することが可能となる。
[変形例]
[第1変形例]
 本発明は上記の実施形態に限定されず、少なくとも、音場の属性に対応する1つの座標軸に対して複数種類のパラメータが割り当てられていればよい。複数の座標軸のそれぞれに複数種類のパラメータが割り当てられていてもよい。
 音場の属性を3つ以上とし、音場の属性に対応する座標軸も3本以上としてもよい。座標軸も3本の場合、座標空間は3次元立体空間となる。
 パラメータの種類は、実施形態の説明において例示した種類のみに限られない。他のパラメータについても同様に取り扱うことができる。
[第2変形例]
 少なくとも2以上の座標軸群に同一種類のパラメータが重複して割り当てられていてもよい。具体例として、音場の強さに対応するX軸に、イニシャルディレイ、ルームサイズ及びライブネスが割り当てられており、迫力に対応するY軸に、DSP Level及びイニシャルディレイが割り当てられていてもよい。この場合はイニシャルディレイがX軸とY軸と重複して割り当てられている。これらの同一種類のパラメータが割り当てられている座標軸群(X軸、Y軸)においてはそれぞれ優先順位が決められており、その優先順位がROMまたは記憶部17に記憶されている。
 具体例として、音場の強さに対応するX軸の優先順位が高く、迫力に対応するY軸の優先順位が低い場合について説明する。X軸には重み係数aが割り当てられている。Y軸には重み係数bが割り当てられている。重み係数a,bは優先順位を意味する。重み係数aは重み係数bよりも大きい(a>b)。この場合、制御部11(第2特定部)は、まず、各々の座標軸に割り当てられたパラメータの種類と、特定された座標値とに基づいて、X座標値に写像されたイニシャルディレイ、ルームサイズ、ライブネスのパラメータ値I1,R1,L1を特定する。また、制御部11は、Y座標値Y1に写像されたDSP Levelのパラメータ値I2と、イニシャルディレイのパラメータ値D1を特定する。よって、イニシャルディレイのパラメータ値として、I1、I2の2つの値が特定される。第2変形例においては、制御部11は、イニシャルディレイのパラメータ値として、これらI1、I2をそのまま用いない。すなわち、制御部11は、I1、I2及び重み係数a,bを用いた所定の演算により、イニシャルディレイのパラメータ値Iを特定する。具体例として、制御部11は、「I=a×I1+b×I2」という演算を行って、イニシャルディレイのパラメータ値Iを特定する。このように、制御部11は、同一種類のパラメータが割り当てられている各々の座標軸において所定の演算により、前記パラメータ値を特定してもよい。
[第3変形例]
 実施形態として、X軸、Y軸という2本の座標軸によって2次元の平面座標空間が構成されている場合について説明した(図2参照)。しかしながら、座標軸の数や座標空間は実施形態の例に限定されない。例えばこの第3変形例では、音響制御装置10が、ユーザインタフェース画面において音場空間全体の広がりを表すため、球の一部を立体的に表現した球状画像を表示する。この球状画像の大きさはユーザの操作に応じて変化する。音響制御装置10は、この球状画像の大きさに基づいて、R軸という1本の座標軸における座標値を特定する。さらに、音響制御装置10は、ユーザインタフェース画面に、この音場において発生した音を表す画像を併せて表示する。
 図6は、音響制御装置10の表示部14に表示されるユーザインタフェース画面の一例を示す。このユーザインタフェース画面においては、上記球状画像の一例である、半球状のいわゆるドーム型の画像(以下半球画像Dという)が表示されている。半球の中心に相当する原点Oには、聴取者であるユーザを意味するユーザ画像Uが表示されている。この半球画像Dは、音場空間の高さ方向及び水平方向の広がりを併せた「音場空間全体の広さ」という音場の属性を表している。
 「音場空間全体の広さ」は、半球画像Dの径方向の大きさの指標となるR軸の座標値によって決まる。つまりこのR軸は、原点Oを基点として、その原点Oよりも遠ざかる方向に延びる座標軸である。このR軸に割り当てられているパラメータは、DSP Level、イニシャルディレイ、ルームサイズ、ライブネス、リバーブディレイ、リバーブタイム及びリバーブレベルなどである。R軸に割り当てられた各パラメータには、図7に示すように例えば最小値、中心値(デフォルト値)、最大値が設定されている。これらの値は記憶部17に記憶されている。音響制御装置10の制御部11は、例えば、最小値と中心値とを通る関数と、中心値と最大値とを通る関数を予め記憶部17に記憶しておく。さらに、これらの最小値、中心値、最大値及び関数に基づいて、最小値から中心値までの間、及び、中心値から最大値までの間に存在する各パラメータ値を座標軸(R軸)に写像する。
 操作部13が表示部14と一体化したタッチスクリーンで構成されている場合について説明する。
 まず、ユーザが例えば図6の(B)部に示すユーザインタフェース画面において、半球画像Dが表示されている表示領域に複数の指を接触させたまま、互いの指を近づける操作(いわゆるピンチイン)を行う場合について説明する。この場合、操作部13はこの操作を半球画像Dの大きさを変更(縮小)する操作として受け付け、その操作に応じた操作信号を制御部11に供給する(図8のステップS11においてYES)。制御部11は、操作信号に基づいて、このときの操作量に応じた割合で、図6の(A)部に示すように、表示部14に大きさを縮小した半球画像Dを表示させる。制御部11(第1特定部)は、R軸における座標値(つまり半球画像Dの球径)を特定する(図8のステップS12)。なお、図6の(B)部においてR軸を意味する矢印の表示は必須ではない。
 次に、ユーザが例えば図6の(B)部に示すユーザインタフェース画面において、半球画像Dが表示されている表示領域に複数の指を接触させたまま、互いの指を遠ざける操作(いわゆるピンチアウト)を行う場合について説明する。この場合、操作部13はこの操作を半球画像Dの大きさを変更(拡大)する操作として受け付け、その操作に応じた操作信号を制御部11に供給する(図8のステップS11においてYES)。制御部11は、操作信号に基づいて、このときの操作量に応じた割合で、図6の(C)部に示すように、表示部14に大きさを拡大して半球画像Dを表示させる。制御部11(第1特定部)は、R軸における座標値(つまり半球画像Dの球径)を特定する(図8のステップS12)。
 半球画像Dの大きさを変更する操作は、上記のピンチインやピンチアウトに限らず、どのような操作であってもよい。例えば、操作部13は、半球画像Dが表示されている表示領域にユーザが指を接触させ、その指を原点Oから遠ざかる方向又は原点Oに近づく方向に移動させる操作を検出してもよい。検出された操作が原点Oから遠ざかる方向に指を移動させる操作である場合、制御部11は拡大した半球画像Dを表示部14に表示させてもよい。検出された操作が原点Oに近づく方向に指を移動させる操作である場合、制御部11は縮小した半球画像Dを表示部14に表示させてもよい。
 制御部11(第2特定部)は、特定した上記座標値に基づいて、その座標値に対応する複数種類のパラメータ値(上述したDSP Level、イニシャルディレイ、ルームサイズ、ライブネス、リバーブディレイ、リバーブタイム及びリバーブレベルなど)を特定する(図8のステップS13)。そして、制御部11(表示部)は、特定したパラメータ値に対応する色、大きさ、又は形のイメージ画像を表示部14(表示部)に表示させる(図8のステップS14)。
 制御部11は、これらのパラメータ値をデジタル信号処理部15に供給する(図8のステップS15)。デジタル信号処理部15は、これらのパラメータ値を用いて、音場を実現するための信号処理を行う。放音部18は、D/A変換部16を経て供給されるデジタルオーディオ信号に応じた音を放音する。その結果、音場が再現される。
 制御部11は、図8のステップS14において、音場において発生した音を表す画像を表示する。この音には直接音と擬似反射音が含まれる。直接音は、A/D変換部12からデジタル信号処理部15に入力されるオーディオ信号によって表される音である。擬似反射音は、直接音が仮想的な音場にて反射したときの音であり、ユーザの操作に基づいて特定されたパラメータ値に応じた音場を実現するための音である。擬似反射音は、デジタル信号処理部15によって生成される。
 図9は、擬似反射音の画像(擬似反射音画像という)を生成する手法を説明するための図である。制御部11は、擬似反射音画像を表示部14に表示させる。制御部11は、擬似反射音画像の表示位置を、上述した座標空間において、音源から原点Oまでに至る直接音の遅延時間に相当する大きさを距離rとして、原点Oからの水平方位θ(正面を0°)および垂直方位φ(水平を0°)で定まる位置に設定する。図9において矢印Fは、予め定めた正面方向を示す。
 制御部11は、擬似反射音画像の大きさを、直接音のレベルに対する反射音のレベルの割合によって変化させる。例えば、制御部11は、直接音のレベルに対する反射音のレベルの割合が大きいほど、擬似反射音画像の大きさも大きくなるように変化させる。制御部11は、A/D変換部12からデジタル信号処理部15に入力されたオーディオ信号の信号値が所定レベル以上であった場合に、そのオーディオ信号を直接音として擬似反射音の表示位置を計算し、その表示位置に上記の大きさの擬似反射音画像を生成して表示する。
 具体例として、入力されるオーディオ信号がRチャンネル、LチャンネルおよびCチャンネルという3チャンネル構成である場合について説明する。この場合、制御部11は、Rチャンネルに対応する直接音の画像、Lチャンネルに対応する直接音の画像、およびCチャンネルに対応する直接音の画像を生成する。さらに、制御部11は、これらの直接音がミックスダウンされた結果から計算される表示位置およびレベルに対応する擬似反射音画像を生成する。制御部11は、これらの画像を表示部14のユーザインタフェース画面に表示する。これらの画像が、図6に示した円形の画像群Lである。これらの画像は、静止画であってもよい。直接音に対する擬似反射音画像は、その位置や大きさが時々刻々と変化し、アニメーションとして表示されてもよい。直接音の画像を表示することは必須ではない。直接音の画像を表示する場合には、直接音の画像を擬似反射音の画像とは異なる画像(例えば異なる色や形状の画像)で表すことが好ましい。
 この第3変形例によれば、1つの座標軸に複数のパラメータ値が割り当てられており、ユーザの操作に応じて、音場空間の広がりを表現する画像の大きさが変化すると共に上記の各パラメータ値が変更される。つまり、ユーザは、自身がイメージしやすい1つの音場の属性(音場空間の広がり)に対して球状画像の大きさを指定するだけでよく、音場との関係性を認識しづらいパラメータ値を逐一指定する必要がない。さらに、擬似反射音画像を表示することにより、どのような音場が再現され、どのような擬似反射音が生成されているのかをユーザは直感的に理解することができる。
 直接音および擬似反射音を示す画像は、例示した円形の画像に限られず、他の形状の画像(例えばベクトルや雲の様な画像)であってもよい。周波数特性を示す画像として、高音の場合は音源位置から聴取位置へ向かうベクトルの表示を行い、低音の場合は音源位置から周囲に円形状に拡がるアイコンを表示する態様としてもよい。
[第4変形例]
 上記の実施形態においては、デジタル信号処理部15とD/A変換部17と放音部18とが音響制御装置10に設けられていたが、このような構成に限定されない。デジタル信号処理部15とD/A変換部17と放音部18とは、音響制御装置10とは独立した装置に設けられていてもよい。具体例を図10に示す。
 図10は、本発明の実施形態の第4変形例に係る音響システム40の構成を示すブロック図である。図10に示す音響システム40に関して、図1に示す構成と同じ構成ついては、同じ符号を付し、詳細な説明を省略する。
 音響システム40は、音響制御装置10と音響装置30とを備える。音響制御装置10と音響装置30とは、有線又は無線を介して接続されている。
 制御部11は、特定したパラメータ値を送信部19に出力する。D/A変換部16は、アナログオーディオ信号を送信部19に出力する。送信部19は、パラメータ値およびアナログオーディオ信号を音響装置30に向けて送信する。受信部20は、音響制御装置10から送信されたパラメータ値およびアナログオーディオ信号を受信する。受信部20は、受信したパラメータ値およびアナログオーディオ信号をD/A変換部16に供給する。
[第5変形例]
 本発明は、ユーザインタフェース装置や音響制御装置に相当するコンピュータに本発明を実現させるためのプログラムや、かかるプログラムを記憶させた光ディスク等の記録媒体としても特定され得る。本発明に係るプログラムは、インターネット等のネットワークを介して、ユーザインタフェース装置や音響制御装置にダウンロードさせ、これをインストールして利用可能にするなどの形態でも提供され得る。コンピュータがこのプログラムを実行することにより、上述した表示部、第1特定部及び第2特定部が実現されてもよい。
 本発明は、ユーザインタフェース装置、音響制御装置、音響システム、音響制御方法及びプログラムに適用し得る。
10 音響制御装置
11 制御部
12 A/D変換部
13 操作部
14 表示部
15 デジタル信号処理部
16 D/A変換部
17 記憶部
18 放音部

Claims (11)

  1.  音場の第1属性に対応しかつ前記第1属性に関係する複数のパラメータが割り当てられた第1座標軸と関連付けられたユーザインタフェース画面を表示する表示部と、
     ユーザが指定した前記ユーザインタフェース画面中の位置に対応する前記第1座標軸の座標値を特定する第1特定部と、
     前記特定された座標値に基づいて、前記複数のパラメータ各々の値を特定する第2特定部と
     を備えるユーザインタフェース装置。
  2.  前記ユーザインタフェース画面が立体的なイメージ画像を含み、前記表示部は、前記イメージ画像を前記特定されたパラメータの値の少なくとも一つに応じて変化させる請求項1に記載のユーザインタフェース装置。
  3.  前記ユーザインタフェース画面は、前記第1座標軸と、前記音場の第2属性に対応しかつ前記第2属性に関係するパラメータが割り当てられた第2座標軸とに関連付けられ、
     前記第1特定部は、ユーザが指定した前記ユーザインタフェース画面中の位置に対応する前記第2座標軸の座標値を特定し、
     前記第2特定部は、前記特定された第2座標軸の座標値に基づいて、前記第2属性に関係するパラメータの値を特定する
     請求項1に記載のユーザインタフェース装置。
  4.  前記第2座標軸に割り当てられたパラメータが、前記第1属性に関係する複数のパラメータの一つと同じであり、
     前記第2特定部は、前記特定された第1および第2座標軸の座標値に基づいて、前記第2座標軸に割り当てられたパラメータの値を特定する
     請求項3記載のユーザインタフェース装置。
  5.  前記第2座標軸には、前記第2属性に関係する複数のパラメータが割り当てらており、
     前記第2特定部は、前記特定された第2座標軸の座標値に基づいて、前記第2座標軸に割り当てられた複数のパラメータ各々の値を特定する
     請求項3記載のユーザインタフェース装置。
  6.  前記ユーザインタフェース画面がイメージ画像を含み、前記表示部は、前記イメージ画像を前記パラメータ値前記特定されたパラメータの値の少なくとも一つに応じて変化させる請求項1および3~5のいずれか一項に記載のユーザインタフェース装置。
  7.  前記表示部は、前記イメージ画像の色、大きさまたは形状を前記特定されたパラメータの値の少なくとも一つに応じて変化させる
    請求項6に記載のユーザインタフェース装置。
  8.  請求項1~7のいずれか1項に記載のユーザインタフェース装置と、
     前記ユーザインタフェース装置によって特定された複数のパラメータ各々の値に基づいて、音場を実現するための信号処理を行う信号処理部と
     を備える音響制御装置。
  9.  互いに独立した音響制御装置および音響装置を備える音響システムであって、
     前記音響制御装置は、
     音場の第1属性に対応しかつ前記第1属性に関係する複数のパラメータが割り当てられた第1座標軸と関連付けられたユーザインタフェース画面を表示する表示部と、
     ユーザが指定した前記ユーザインタフェース画面中の位置に対応する前記第1座標軸の座標値を特定する第1特定部と、
     前記特定された座標値に基づいて、前記複数のパラメータ各々の値を特定する第2特定部と、
     前記特定された複数のパラメータ各々の値を前記音響装置に向けて送信する送信部とを備え、
     前記音響装置は、
     前記送信された複数のパラメータ各々の値を受信する受信部と、
     前記受信された複数のパラメータ各々の値に基づいて、音場を実現するための信号処理を行う信号処理部とを備える
     音響システム。
  10.  音場の第1属性に対応しかつ前記第1属性に関係する複数のパラメータが割り当てられた第1座標軸と関連付けられたユーザインタフェース画面を表示し、
     ユーザが指定した前記ユーザインタフェース画面中の位置に対応する前記第1座標軸の座標値を特定し、
     前記特定された座標値に基づいて、前記複数のパラメータ各々の値を特定する
     ことを含む音響制御方法。
  11.  音場の第1属性に対応しかつ前記第1属性に関係する複数のパラメータが割り当てられた第1座標軸と関連付けられたユーザインタフェース画面を表示し、
     ユーザが指定した前記ユーザインタフェース画面中の位置に対応する前記第1座標軸の座標値を特定し、
     前記特定された座標値に基づいて、前記複数のパラメータ各々の値を特定する
     ことをコンピュータに実行させるプログラム。
PCT/JP2014/071398 2013-09-12 2014-08-13 ユーザインタフェース装置、音響制御装置、音響システム、音響制御方法及びプログラム WO2015037388A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP14843566.2A EP3046340B1 (en) 2013-09-12 2014-08-13 User interface device, sound control apparatus, sound system, sound control method, and program
US14/917,428 US9674634B2 (en) 2013-09-12 2014-08-13 User interface device, sound control apparatus, sound system, sound control method, and program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013189260 2013-09-12
JP2013-189260 2013-09-12
JP2013271313A JP6330325B2 (ja) 2013-09-12 2013-12-27 ユーザインタフェース装置及び音響制御装置
JP2013-271313 2013-12-27

Publications (1)

Publication Number Publication Date
WO2015037388A1 true WO2015037388A1 (ja) 2015-03-19

Family

ID=52665507

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/071398 WO2015037388A1 (ja) 2013-09-12 2014-08-13 ユーザインタフェース装置、音響制御装置、音響システム、音響制御方法及びプログラム

Country Status (4)

Country Link
US (1) US9674634B2 (ja)
EP (1) EP3046340B1 (ja)
JP (1) JP6330325B2 (ja)
WO (1) WO2015037388A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6540600B2 (ja) * 2016-05-25 2019-07-10 ヤマハ株式会社 効果音生成装置、効果音生成方法およびプログラム
US9936304B2 (en) * 2016-08-23 2018-04-03 Infineon Technologies Ag Digital silicon microphone with configurable sensitivity, frequency response and noise transfer function
JP6926640B2 (ja) * 2017-04-27 2021-08-25 ティアック株式会社 目標位置設定装置及び音像定位装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1014590A (ja) 1996-06-28 1998-01-20 Kanegafuchi Chem Ind Co Ltd 光学活性2−置換−3−フェニルプロピオン酸及びそのエステルの製造方法
JP2000356990A (ja) 1999-06-15 2000-12-26 Yamaha Corp オーディオシステム、その制御方法および記録媒体
JP2000356994A (ja) 1999-06-15 2000-12-26 Yamaha Corp オーディオシステム、その制御方法および記録媒体
JP2002328768A (ja) * 2001-05-01 2002-11-15 Sony Corp コンテンツ処理方法、コンテンツ処理方法のプログラム、コンテンツ処理方法のプログラムを記録した記録媒体及びコンテンツ処理装置
JP2006197508A (ja) * 2005-01-17 2006-07-27 Sony Corp 音響再生装置及び方法、プログラム
JP2006267226A (ja) * 2005-03-22 2006-10-05 Yamaha Corp 楽音制御装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6490359B1 (en) * 1992-04-27 2002-12-03 David A. Gibson Method and apparatus for using visual images to mix sound
JP3525653B2 (ja) 1996-11-07 2004-05-10 ヤマハ株式会社 音響調整装置
WO2000048395A1 (en) * 1999-02-08 2000-08-17 Koninklijke Philips Electronics N.V. Method and apparatus for displaying an electronic program guide
KR20120019244A (ko) * 2010-08-25 2012-03-06 삼성전자주식회사 휴대 단말기의 복합 속성 제어 방법 및 이를 지원하는 휴대 단말기
US9271081B2 (en) * 2010-08-27 2016-02-23 Sonicemotion Ag Method and device for enhanced sound field reproduction of spatially encoded audio input signals
US9420394B2 (en) * 2011-02-16 2016-08-16 Apple Inc. Panning presets
WO2012160415A1 (en) 2011-05-24 2012-11-29 Nokia Corporation An apparatus with an audio equalizer and associated method
JP5811837B2 (ja) * 2011-12-27 2015-11-11 ヤマハ株式会社 表示制御装置及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1014590A (ja) 1996-06-28 1998-01-20 Kanegafuchi Chem Ind Co Ltd 光学活性2−置換−3−フェニルプロピオン酸及びそのエステルの製造方法
JP2000356990A (ja) 1999-06-15 2000-12-26 Yamaha Corp オーディオシステム、その制御方法および記録媒体
JP2000356994A (ja) 1999-06-15 2000-12-26 Yamaha Corp オーディオシステム、その制御方法および記録媒体
JP2002328768A (ja) * 2001-05-01 2002-11-15 Sony Corp コンテンツ処理方法、コンテンツ処理方法のプログラム、コンテンツ処理方法のプログラムを記録した記録媒体及びコンテンツ処理装置
JP2006197508A (ja) * 2005-01-17 2006-07-27 Sony Corp 音響再生装置及び方法、プログラム
JP2006267226A (ja) * 2005-03-22 2006-10-05 Yamaha Corp 楽音制御装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3046340A4

Also Published As

Publication number Publication date
EP3046340A4 (en) 2017-05-17
EP3046340A1 (en) 2016-07-20
JP6330325B2 (ja) 2018-05-30
EP3046340B1 (en) 2019-10-23
US20160227342A1 (en) 2016-08-04
JP2015080188A (ja) 2015-04-23
US9674634B2 (en) 2017-06-06

Similar Documents

Publication Publication Date Title
US20150169280A1 (en) Sound effect adjusting apparatus, method, and program
JP6670361B2 (ja) レンダリングする音響オブジェクトをユーザが選択するためのユーザインタフェース、および/またはレンダリングする音響オブジェクトをユーザが選択するためのユーザインタフェースをレンダリングする方法
KR20160122753A (ko) 어플리케이션 요소의 대체 그래픽 표시의 사전 발생을 통한 입력에 대한 저레이턴시 시각적 응답 및 그래픽 처리 장치 상의 입력 처리
KR20150087210A (ko) 저지연 유저 입력 프로세싱과 피드백용 하이브리드 시스템 및 방법
CN107930119A (zh) 信息处理方法、装置、电子设备及存储介质
CN103513895A (zh) 远程控制装置及其控制方法
US9830014B2 (en) Reducing control response latency with defined cross-control behavior
US9262861B2 (en) Efficient computation of shadows
WO2015037388A1 (ja) ユーザインタフェース装置、音響制御装置、音響システム、音響制御方法及びプログラム
KR20170106046A (ko) 디스플레이 장치 및 디스플레이 장치의 동작 방법
JP5854573B1 (ja) デジタル画像の色属性表示装置、方法及びプログラム並びに画像処理装置
WO2017208637A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP4513578B2 (ja) 音響再生装置、音響再生方法、プログラム、及びテレビジョン装置
KR20140117979A (ko) 터치스크린을 이용한 항목 선택 방법 및 시스템
JP4931240B2 (ja) 画像の認識を支援するシステム
WO2018147143A1 (ja) 情報処理装置および情報処理方法
US11494160B1 (en) Methods and systems for manipulating audio properties of objects
US12126987B2 (en) Virtual scene
JP5448611B2 (ja) 表示制御装置及び制御方法
JP6433217B2 (ja) 音量制御装置、音量制御システム、及びプログラム
JP2006113715A (ja) タッチパネルgui装置
KR102119241B1 (ko) 멀티 채널 비주얼라이제이션 방법 및 이를 위한 프로그램
JP2018097659A (ja) 出力処理装置および出力処理方法
WO2024211617A2 (en) Rendering ambisonics sound sources using fractional orders
CN117631817A (zh) 测量方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14843566

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2014843566

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14917428

Country of ref document: US

Ref document number: 2014843566

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE