WO2020090456A1 - 信号処理装置、信号処理方法、および、プログラム - Google Patents

信号処理装置、信号処理方法、および、プログラム Download PDF

Info

Publication number
WO2020090456A1
WO2020090456A1 PCT/JP2019/040572 JP2019040572W WO2020090456A1 WO 2020090456 A1 WO2020090456 A1 WO 2020090456A1 JP 2019040572 W JP2019040572 W JP 2019040572W WO 2020090456 A1 WO2020090456 A1 WO 2020090456A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound source
virtual
signal processing
speaker
channel
Prior art date
Application number
PCT/JP2019/040572
Other languages
English (en)
French (fr)
Inventor
隆太郎 渡邉
亨 中川
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to DE112019005379.5T priority Critical patent/DE112019005379T5/de
Publication of WO2020090456A1 publication Critical patent/WO2020090456A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Definitions

  • the present technology relates to a signal processing device, a signal processing method, and a program, and in particular, a signal processing device, a signal processing method, and a program capable of perceiving a virtual sound source in consideration of the influence of visual information.
  • a sound image localization process which processes an audio signal so that the sound emitted from a speaker is localized at a predetermined position (see, for example, Patent Document 1).
  • the sound image localization processing for example, while outputting sound from the speaker behind the user, the sound is output to the user such that the sound is output from a virtual sound source position different from the position of the speaker, for example, a position in front of the user. Can be perceived.
  • the perception of virtual sound sources is greatly affected by visual information. For example, it has been confirmed that when an object exists near the virtual sound source, the object is perceived as if the virtual sound source exists.
  • the present technology has been made in view of such a situation, and makes it possible to perceive a virtual sound source in consideration of the influence of visual information.
  • a signal processing device includes an object information acquisition unit that acquires information about an object that affects perception of a virtual sound source that includes at least two channels of a first channel and a second channel, and an influence of the object.
  • the position of the virtual sound source of the first channel is arranged at a first position
  • the position of the virtual sound source of the second channel is arranged at a second position corresponding to the first position.
  • a control unit that performs control.
  • a signal processing device acquires information of an object that affects perception of a virtual sound source including at least two channels of a first channel and a second channel, and the influence of the object.
  • the position of the virtual sound source of the first channel is arranged at a first position
  • the position of the virtual sound source of the second channel is arranged at a second position corresponding to the first position. ..
  • a program causes a computer to acquire an object information acquisition unit that acquires information on an object that affects perception of a virtual sound source including at least two channels of a first channel and a second channel; Positioning the affected virtual sound source of the first channel at a first position, and arranging the position of the virtual sound source of the second channel at a second position corresponding to the first position. It is for functioning as a control unit.
  • information of an object that affects the perception of a virtual sound source that includes at least two channels of a first channel and a second channel is acquired, and information of the first channel that is affected by the object is acquired.
  • the position of the virtual sound source is arranged at a first position, and the position of the virtual sound source of the second channel is arranged at a second position corresponding to the first position.
  • the program can be provided by transmitting it via a transmission medium or by recording it on a recording medium.
  • the signal processing device can be realized by causing a computer to execute a program.
  • a program executed by a computer can be provided by being transmitted via a transmission medium or by being recorded in a recording medium.
  • the signal processing device may be an independent device, or may be an internal block that constitutes one device.
  • FIG. 19 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • FIG. 1 is a block diagram showing a configuration example of an acoustic processing system that performs sound image localization processing.
  • the sound processing system in FIG. 1 has a sound source reproducing device 11, a sound processing device 12, amplifiers 13L and 13R, and a left speaker SL and a right speaker SR.
  • the sound source reproducing device 11 reproduces music data as a sound source recorded on a recording medium such as a compact disc (CD) or a hard disk, and supplies reproduced audio signals of left and right two channels to the acoustic processing device 12.
  • a recording medium such as a compact disc (CD) or a hard disk
  • the playback audio signal for the left speaker and the playback audio signal for the right speaker output from the sound source playback device 11 are referred to as playback audio signal L and playback audio signal R, respectively.
  • the type of music data to be played back is not particularly limited, and may be any sound such as a music piece, a voice message generated by a human or a voice synthesis, an electronic sound such as a chime or a buzzer sound.
  • the reproduced sound is not limited to voice only in the case of being described as voice.
  • the acoustic processing device 12 includes a sound image localization processing unit 20 and a transaural system processing unit 30.
  • the sound processing device 12 inputs the sound output from the left speaker SL and the right speaker SR so that it can be heard as if it is emitted from the positions of the left virtual speaker VSL and the right virtual speaker VSR shown by the broken lines in FIG.
  • the left and right two-channel playback audio signals are processed.
  • the sound processing device 12 localizes the sound images of the sounds output from the left speaker SL and the right speaker SR so that the sound images are felt like sounds emitted from the left virtual speaker VSL and the right virtual speaker VSR.
  • the left speaker SL and the right speaker SR are provided, for example, as shown in FIG. 2, in the headrest portion of the seat ST on which the user sits, and the sound reproduced from the position behind the user's ear is output. To be done.
  • the left virtual speaker VSL and the right virtual speaker VSR are assumed to be in front of the user, as indicated by the broken line in FIG.
  • the left and right of the left virtual speaker VSL and the right virtual speaker VSR are not particularly distinguished, they are simply referred to as a virtual speaker VS.
  • the acoustic processing device 12 outputs the reproduced audio signal L after the sound image localization processing to the amplifier 13L, and outputs the reproduced audio signal R after the sound image localization processing to the amplifier 13R.
  • the amplifier 13L amplifies the reproduced audio signal L after the sound image localization processing and outputs it to the left speaker SL.
  • the amplifier 13R amplifies the reproduced audio signal R after the sound image localization processing and outputs it to the right speaker SR.
  • the left speaker SL outputs the audio signal supplied from the amplifier 13L as sound.
  • the right speaker SR outputs the audio signal supplied from the amplifier 13R as sound.
  • Each of the left speaker SL and the right speaker SR may be composed of one speaker, or may be a so-called HiFi speaker capable of high-quality sound emission provided with a super tweeter and a woofer.
  • the position of the dummy head DH is set as the position of the listener, and the left and right virtual speaker positions (with the speaker being used) for trying to localize the sound image to the listener at the position of the dummy head DH.
  • the left real speaker SPL and the right real speaker SPR are actually installed at the assumed position).
  • the sounds output from the left real speaker SPL and the right real speaker SPR are picked up by both ears of the dummy head DH, and the sounds output from the left real speaker SPL and the right real speaker SPR are output from both dummy heads DH.
  • a transfer function (HRTF: Head-related transfer function) that indicates how it changes when it reaches the ear is measured in advance.
  • HRTF Head-related transfer function
  • a person may be actually seated and a microphone may be placed near the ear to measure the transfer function of sound.
  • the transfer function of the sound from the left real speaker SPL to the left ear of the dummy head DH is M11
  • the transfer function of the sound from the left real speaker SPL to the right ear of the dummy head DH is Is M12.
  • the transfer function of sound from the right real speaker SPR to the left ear of the dummy head DH is M21
  • the transfer function of sound from the right real speaker SPR to the right ear of the dummy head DH is M22.
  • the sounds output from the left speaker SL and the right speaker SR provided in the headrest portion of the seat ST in FIG. 2 are picked up by both ears of the listener seated on the seat ST, and the left speaker SL and the right speaker SR are collected.
  • a transfer function (HRTF) indicating how the sound output from the speaker SR changes when it reaches the binaural part of the listener is measured in advance.
  • the transfer function of sound from the left speaker SL to the left ear of the listener is G11
  • the transfer function of sound from the left speaker SL to the right ear of the listener is G12.
  • the transfer function of sound from the right speaker SR to the left ear of the listener is G21
  • the transfer function of sound from the right speaker SR to the right ear of the listener is G22.
  • the sound image localization processing unit 20 in FIG. 1 performs a process (sound image localization process) based on a transfer function of a sound measured in advance in order to localize a sound image at a predetermined position.
  • the sound image localization processor 20 includes four filters 21 to 24 and two adders 25 and 26.
  • the trans-aural system processing unit 30 performs processing for removing the influence of the transfer function in the reproduced sound field on the sounds output from the left speaker SL and the right speaker SR.
  • the transaural system processing unit 30 includes four filters 31 to 34 and addition units 35 and 36.
  • the filter 21 of the sound image localization processing unit 20 processes the reproduced audio signal L input from the sound source reproduction device 11 with the transfer function M11, and supplies the processed reproduced audio signal L to the addition unit 25 for the left channel. Further, the filter 22 processes the reproduced audio signal L input from the sound source reproducing device 11 by the transfer function M12, and supplies the processed reproduced audio signal L to the addition unit 26 for the right channel.
  • the filter 23 processes the reproduced audio signal R input from the sound source reproducing device 11 with the transfer function M21, and supplies the processed reproduced audio signal R to the addition unit 25 for the left channel. Further, the filter 24 processes the reproduced audio signal R input from the sound source reproducing device 11 by the transfer function M22, and supplies the processed reproduced audio signal R to the addition unit 26 for the right channel.
  • the adder 25 for the left channel adds the reproduced audio signal L after the filter processing by the filter 21 and the reproduced audio signal R after the filter processing by the filter 23, and outputs the added audio signal as a transaural system processor 30. To the filters 31 and 32 of.
  • the adder 26 for the right channel adds the reproduced audio signal L after the filter processing by the filter 22 and the reproduced audio signal R after the filter processing by the filter 24, and outputs the added audio signal as a transaural system processor 30. To the filters 33 and 34 of.
  • the filter 31 of the transaural system processing unit 30 processes the reproduced audio signal from the addition unit 25 for the left channel of the sound image localization processing unit 20 by the inverse function of the transfer function G11, and outputs the processed reproduced audio signal to the left channel. And is supplied to the addition unit 35 for Further, the filter 32 processes the reproduced audio signal from the adder 25 for the left channel of the sound image localization processor 20 by the inverse function of the transfer function G12, and the processed reproduced audio signal is added by the adder 36 for the right channel. Supply to.
  • the filter 33 processes the reproduced audio signal from the adder 26 for the right channel of the sound image localization processor 20 with the inverse function of the transfer function G21 and supplies the processed reproduced audio signal to the adder 35 for the left channel. To do. Further, the filter 34 processes the reproduced audio signal from the adder 26 for the right channel of the sound image localization processor 20 by the inverse function of the transfer function G22, and the processed reproduced audio signal is added by the adder 36 for the right channel. Supply to.
  • the adder unit 35 for the left channel adds the reproduced audio signal after the filter processing by the filter 31 and the reproduced audio signal after the filter processing by the filter 33, and sets the added audio signal as the reproduced audio signal L in the left channel. It outputs to the amplifier 13L for.
  • the addition unit 36 for the right channel adds the reproduction audio signal after the filtering process by the filter 32 and the reproduction audio signal after the filtering process by the filter 34, and makes the added audio signal the reproduction audio signal R as the right channel. It outputs to the amplifier 13R for.
  • the acoustic processing device 12 convolves the reproduction audio signal L and the reproduction audio signal R from the sound source reproduction device 11 with the transfer functions of the left and right virtual speaker positions that try to localize the sound image, and reproduces them. Eliminate the effects of transfer functions in the sound field. As a result, the sound image of the sound output from the left speaker SL and the right speaker SR can be localized so that the user, who is the listener, feels as if the sound image was emitted from the left virtual speaker VSL and the right virtual speaker VSR.
  • FIG. 4 shows an example in which the sound processing system of FIG. 1 is applied to an in-vehicle system.
  • the seat ST including the left speaker SL and the right speaker SR in FIG. 2 corresponds to a vehicle seat such as an automobile.
  • transfer functions M11, M12, M21, and M22 of sound from the left real speaker SPL and the right real speaker SPR to the user U's ear are To be measured.
  • the positions of the left real speaker SPL and the right real speaker SPR with respect to the position of the user U in this reference environment are the positions of the virtual speaker (virtual sound source) during reproduction.
  • the transfer functions M11, M12, M21, and M22 are also described as M11 to M22 for simplicity.
  • transfer functions G11, G12 of the sound from the left speaker SL and the right speaker SR provided in the headrest portion of the seat ST of a vehicle such as an automobile to the ears of the user U, G21 and G22 are measured. Note that the transfer functions G11, G12, G21, and G22 are also described below as G11 to G22 for simplicity.
  • the sound processing device 12 incorporated in the vehicle performs the above-described sound image localization processing on the reproduced audio signal L and the reproduced audio signal R from the sound source reproducing device 11, as shown in C of FIG.
  • Sound is output from the left speaker SL and the right speaker SR provided in the headrest portion of the seat ST, but the user U does not have the speaker (left) at the same position as the left real speaker SPL and the right real speaker SPR in the reference environment.
  • Virtual speaker VSL and right virtual speaker VSR exist, and it is perceived as being output from them.
  • the transfer functions M11 'to M22' of the changed position of the virtual speaker are generated by using the transfer functions M11 to M22 acquired in the reference environment, and the filters 21 to 24 are generated.
  • the position of the virtual speaker can be set to a position different from the position of the speaker in the reference environment.
  • the transfer functions M11 'to M22' of the changed position of the virtual speaker can be generated by performing gain processing or delay processing on the audio signals input to or output from the filters 21 to 24.
  • the transfer function M11 corresponding to the changed position of the virtual speaker is acquired by previously acquiring and holding the transfer function at each spherical point centered on the user U.
  • the position of the virtual speaker can be changed to an arbitrary position by selecting “to M22”.
  • each hatched circle represents each position where the transfer function is acquired.
  • the sound processing device 12 has a left virtual speaker VSL and a right virtual speaker VSL at predetermined positions in a horizontal direction of 30 degrees with the front direction FY of the user U as a reference direction. It is assumed that the transfer functions M11 to M22 are measured so that the virtual speaker VSR is perceived. Then, the pillar PL of the vehicle exists in the same direction as the direction of the right virtual speaker VSR of the user U.
  • FIG. 7 is an internal view showing the position of the pillar PL of the vehicle.
  • an object affected by visual information is also referred to as a perceptually-affected object.
  • the user U When the pillar PL exists as a perceptually affecting object in the same direction as the direction of the right virtual speaker VSR as in A of FIG. 6, the user U is affected by the pillar PL as in B of FIG. , I perceive that the right virtual speaker VSR is at the position of the pillar PL. In other words, the user U perceives the position of the right virtual speaker VSR as the position of the virtual speaker VSR '.
  • the virtual speaker VS which originally has a symmetrically localized sound image, is left / right asymmetric because of a distance or angle shift between the left and right channels, resulting in an unnatural sound field.
  • FIG. 8 is a block diagram showing a configuration example of a sound processing system to which the present technology is applied.
  • FIG. 8 portions corresponding to the configuration of the sound processing system shown in FIG. 1 are denoted by the same reference numerals, and description of those portions will be omitted as appropriate.
  • the sound processing system 50 shown in FIG. 8 is configured to include a sound source reproducing device 11, a sound signal processing device 70, amplifiers 13L and 13R, and a left speaker SL and a right speaker SR.
  • the acoustic signal processing device 70 includes a sound image localization signal processing unit 71, a virtual sound source arrangement unit 72, and a filter coefficient storage unit 73.
  • the sound processing system 50 of FIG. 8 is configured as a part of an in-vehicle system mounted on a vehicle such as an automobile, as in the example of FIGS. 6 and 7.
  • the sound source reproduction device 11, the sound image localization signal processing unit 71, the amplifiers 13L and 13R, and the left speaker SL and the right speaker SR, which are surrounded by a broken line in FIG. 8, are respectively the sound source reproduction device 11 of the sound processing system shown in FIG. , Sound processing device 12, amplifiers 13L and 13R, and left speaker SL and right speaker SR.
  • the sound image localization signal processing unit 71 has the same configuration as the acoustic processing device 12 shown in FIG. 1, outputs the reproduced audio signal L after the sound image localization processing to the amplifier 13L, and reproduces the audio signal after the sound image localization processing.
  • the signal R is output to the amplifier 13R.
  • the filter coefficients K11 to K22 used as the transfer functions M11 to M22 of the filters 21 to 24 of the sound image localization processing unit 20 and the transfer functions G11 to G22 of the filters 31 to 34 of the transaural system processing unit 30 are used.
  • the filter coefficients L11 to L22 are supplied from the virtual sound source arrangement unit 72.
  • the left speaker SL and the right speaker SR are provided in the headrest portion of the seat on which the user sits, as in the above example. Also, the virtual speaker generated by the sound image localization signal processing unit 71 will be described using the left virtual speaker VSL and the right virtual speaker VSR, as in the above-described example.
  • the virtual sound source arrangement unit 72 acquires the filter coefficients K 0 11 to K 0 22 and the filter coefficients L 0 11 to L 0 22 stored as the initial values from the filter coefficient storage unit 73.
  • the virtual sound source placement unit 72 acquires position information (seat position information) of the seat on which the user sits.
  • the seat position information is acquired from the vehicle via a bus for CAN (Controller Area Network) communication, GPS (Global Positioning System) information, WiFi, Bluetooth (registered trademark), NFC (Near Field Communication), for example. Can be acquired via short-range wireless communication such as.
  • the position of the user can be specified by the position of the seat, so the seat position information corresponds to the position information of the user.
  • Virtual sound source placement part 72 from the filter coefficient K 0 11 to K 0 22 the obtained initial value to determine the filter coefficients K11 to K22 was changed according to the sheet position information of the user, supplied to the sound image localization signal processing unit 71 To do. Further, regarding the filter coefficients L 0 11 to L 0 22, the virtual sound source placement unit 72 uses the acquired initial value filter coefficients L 0 11 to L 0 22 as they are as the filter coefficients L 11 to L 22 to perform the sound image localization signal processing. It is supplied to the unit 71.
  • Filter coefficients L11 to L22 are supplied to the sound image localization signal processing unit 71.
  • the positional relationship between the position of the user sitting on the seat of the vehicle and the position of the pillar PL which is a perceptually affecting object, changes depending on the position of the seat. Therefore, the position of the pillar PL viewed from the user is calculated based on the position of the seat, and the filter coefficients K 0 11 to K are adjusted so that the position of the pillar PL does not overlap the positions of the left virtual speaker VSL and the right virtual speaker VSR. From 0 22, the filter coefficients K11 to K22 corresponding to the user's seat position information are calculated and supplied to the sound image localization signal processing unit 71.
  • the filter coefficient storage unit 73 stores the filter coefficients K 0 11 to K 0 22 in the reference environment and the filter coefficients L 0 11 to L 0 22 in the reproduced sound field measured as described with reference to FIG. It is stored as an initial value.
  • the filter coefficients K 0 11 to K 0 22 correspond to the transfer functions M11 to M22 of A in FIG. 4, and the filter coefficients L 0 11 to L 0 22 correspond to the transfer functions G11 to G22 in B of FIG.
  • the left real speaker SPL and the right real speaker SPR in the reference environment are arranged, for example, 30 degrees to the left and right from the front direction.
  • Filter coefficient K 0 11 to K 0 22 to be stored as the initial value is measured by the loudspeaker arrangement producer of the sound source to be reproduced as intended.
  • FIG. 9 is a block diagram showing a first configuration example of the virtual sound source arrangement unit 72.
  • the virtual sound source placement unit 72 includes an acquisition unit 81, a head position estimation unit 82, a pillar angle calculation unit 83, and a filter coefficient determination unit 84.
  • the acquisition unit 81, the head position estimation unit 82, and the pillar angle calculation unit 83 configure an object information acquisition unit 85 that acquires information about a perceptually-affected object that affects the perception of a virtual sound source, and a filter coefficient determination unit 84.
  • the acquisition unit 81 acquires the sheet position information of the user, the filter coefficients K 0 11 to K 0 22 and the filter coefficients L 0 11 to L 0 22 as initial values.
  • the information acquired by the acquisition unit 81 is shared so that each unit of the virtual sound source arrangement unit 72 can use it.
  • the seat position information of the user is, for example, information indicating a position in the front-rear direction within the movable range.
  • the positions of the left virtual speaker VSL and the right virtual speaker VSR corresponding to the filter coefficients K 0 11 to K 0 22 as initial values are, as shown in A of FIG. 6, the front direction FY of the user U as a reference direction.
  • the front direction FY of the user U As a position on the horizontal plane that is separated by a predetermined distance from the user on a straight line in the direction of 30 degrees to the left and right.
  • the head position estimation unit 82 estimates the user's head position based on the acquired seat position information.
  • the position of the seat is movable only forward and backward directions, the head position in the vertical direction of the user from the seating surface, the filter coefficients in the reproduced sound field L 0 11 to L 0 It is assumed that it has been measured at the time of measuring 22 and is known.
  • the pillar angle calculation unit 83 calculates the angle (direction) of the pillar PL viewed from the user based on the estimated head position of the user.
  • the angle of the pillar PL viewed from the user is only the angle on the horizontal plane in the left-right direction with the front direction FY of the user U as the reference direction, as shown in A of FIG.
  • the filter coefficient determination unit 84 controls the placement of the virtual speaker VS as seen from the user by determining the filter coefficients K11 to K22. Specifically, the filter coefficient determination unit 84 determines whether the direction (position) of the virtual speaker VS viewed from the user and the direction of the pillar PL calculated by the pillar angle calculation unit 83 are the same direction. .. If the user is sitting in the driver's seat on the right side, the virtual speaker VS that can be in the same direction as the pillar PL is the right virtual speaker VSR, so whether or not it is in the same direction as the pillar PL is Only the right virtual speaker VSR needs to be determined.
  • the filter coefficient determination unit 84 determines that the direction of the right virtual speaker VSR does not overlap the direction of the pillar PL. Determine the position of the virtual speaker VSR. Further, the filter coefficient determination unit 84 determines filter coefficients K11 to K22 corresponding to the determined position of the right virtual speaker VSR and the corresponding position of the left virtual speaker VSL.
  • the filter coefficients K11 to K22 can be calculated and determined by using the filter coefficients K 0 11 to K 0 22 of the initial value, as described above.
  • the filter coefficient storage unit 73 re-creates them so as not to overlap the direction of the pillar PL.
  • the filter coefficient determination unit 84 may control the gain processing and the delay processing for the sound image localization processing unit 20 to determine the filter coefficient corresponding to the position of the rearranged virtual speaker VS.
  • the filter coefficient determination unit 84 supplies the determined filter coefficients K11 to K22 to the sound image localization signal processing unit 71 together with the filter coefficients L11 to L22 (filter coefficients L 0 11 to L 0 22).
  • step S11 the acquisition unit 81 acquires the sheet position information of the user, the filter coefficients K 0 11 to K 0 22 and the filter coefficients L 0 11 to L 0 22 as initial values.
  • the acquired information is shared so that each part of the virtual sound source placement unit 72 can use it.
  • step S12 the head position estimation unit 82 estimates the user's head position based on the acquired seat position information.
  • step S13 the pillar angle calculation unit 83 calculates the angle of the pillar PL viewed from the user based on the estimated head position of the user.
  • step S14 the filter coefficient determination unit 84 determines whether the direction of the virtual speaker VS viewed from the user and the calculated direction of the pillar PL are the same direction. If the user is sitting in the driver's seat, the virtual speaker VS that can be in the same direction as the pillar PL is the right virtual speaker VSR. Therefore, whether the direction is the same as the pillar PL or not is determined by the right virtual speaker. Only the speaker VSR needs to be determined.
  • step S14 When it is determined in step S14 that the direction of the right virtual speaker VSR is not the same as the direction of the pillar PL, the process proceeds to step S15, and the filter coefficient determination unit 84 causes the filter coefficient K 0 acquired as the initial value. 11 to K 0 22 and the filter coefficients L 0 11 to L 0 22 are supplied as they are to the sound image localization signal processing unit 71 as the filter coefficients K11 to K22 and the filter coefficients L11 to L22, and the virtual sound source arrangement processing ends.
  • step S14 determines whether the direction of the right virtual speaker VSR and the direction of the pillar PL are the same.
  • the filter coefficient determination unit 84 causes the direction of the virtual speaker VS to be the pillar.
  • the positions of the left and right virtual speakers VS are determined (rearranged) so that they do not overlap with the direction of PL. More specifically, the filter coefficient determination unit 84 determines the position of the right virtual speaker VSR so that the direction of the right virtual speaker VSR does not overlap the direction of the pillar PL. Further, the filter coefficient determination unit 84 determines the position of the left virtual speaker VSL at a position (symmetrical position) corresponding to the determined position of the right virtual speaker VSR.
  • step S17 the filter coefficient determination unit 84 determines the filter coefficients K11 to K22 corresponding to the positions of the rearranged left virtual speaker VSL and right virtual speaker VSR. Then, the filter coefficient determination unit 84 supplies the determined filter coefficients K11 to K22 together with the filter coefficients L11 to L22 (filter coefficients L 0 11 to L 0 22) to the sound image localization signal processing unit 71, and the virtual sound source placement processing is performed. To finish.
  • the sound image localization processing unit 20 of the sound image localization signal processing unit 71 executes sound image localization processing according to the filter coefficients K11 to K22 controlled by the filter coefficient determination unit 84.
  • the transaural system processing unit 30 of the sound image localization signal processing unit 71 executes the transaural system processing according to the filter coefficients L11 to L22 controlled by the filter coefficient determination unit 84.
  • FIG. 11 is a plan view showing an arrangement example of the virtual speaker VS when it is determined in the first virtual sound source arrangement process that the direction of the right virtual speaker VSR and the direction of the pillar PL are not the same direction.
  • the seat position is slid forward, and the direction of the right virtual speaker VSR does not overlap the direction of the pillar PL.
  • the positions of the left virtual speaker VSL and the right virtual speaker VSR are not changed (rearranged), and the left virtual speaker VSL and the right virtual speaker VSR are arranged at the same angle of 30 degrees to the left and right as the reference environment.
  • FIG. 12 is a plan view showing an arrangement example of the virtual speakers VS when it is determined in the first virtual sound source arrangement process that the direction of the right virtual speaker VSR and the direction of the pillar PL are the same direction.
  • the seat position is slid backward, and the direction of the right virtual speaker VSR overlaps the direction of the pillar PL.
  • the positions of the left virtual speaker VSL and the right virtual speaker VSR are changed (rearranged) to the positions of the left virtual speaker VSL1 and the right virtual speaker VSR1 that do not overlap the direction of the pillar PL.
  • the angle between the front direction FY and the direction toward the virtual speaker VS becomes smaller, and the direction of the virtual speaker VS becomes smaller.
  • the direction from the front direction FY, which is the reference direction, to the left virtual speaker VSL1 or the right virtual speaker VSR1 as shown in FIG. are rearranged at a position of 10 degrees, which is an angle as wide as possible inside the direction of the pillar PL and is as wide as possible.
  • the positions of the left virtual speaker VSL1 and the right virtual speaker VSR1 may be outside the direction of the pillar PL.
  • the virtual speaker VS can be perceived by arranging the virtual speaker VS (virtual sound source) in consideration of the influence of visual information.
  • FIG. 13 is a block diagram showing a second configuration example of the virtual sound source arrangement unit 72.
  • the virtual sound source arrangement unit 72 includes an acquisition unit 101, an object detection unit 102, a perceptually-affected object extraction unit 103, and a filter coefficient determination unit 104.
  • the acquisition unit 101, the object detection unit 102, and the perceptually-affected object extraction unit 103 configure an object information acquisition unit 105 that acquires information about a perceptually-influenced object that affects the perception of a virtual sound source, and the filter coefficient determination unit 104 ,
  • a control unit 106 that controls the placement of the virtual speaker VS viewed from the user based on the information of the perceptually-affected object.
  • the acquisition unit 101 acquires the filter coefficients K 0 11 to K 0 22 and the filter coefficients L 0 11 to L 0 22 as initial values.
  • the acquisition unit 101 also acquires sensor data from the sensor device 111.
  • Communication between the sensor device 111 and the acquisition unit 101 is in-vehicle communication compliant with any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network) or FlexRay (registered trademark).
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • a wide area communication network for wireless mobile such as 4G line, short-distance wireless communication such as WiFi, Bluetooth (registered trademark) and NFC (Near Field Communication) can be used.
  • the information acquired by the acquisition unit 101 is shared so that each unit of the virtual sound source arrangement unit 72 can use it.
  • the sensor device 111 is composed of one or more sensors such as an image sensor for capturing an image and a distance measuring sensor for measuring the distance to an object.
  • the sensor device 111 may be of any type as long as it is a sensor that outputs sensor data that can obtain data necessary for recognizing (detecting) the position of the user or the position of the object.
  • the sensor device 111 is a device for acquiring the position information of the user or the position information of the object, and may be a device that outputs the position information of the user or the position information of the object itself, or may calculate the position of the user or the position of the object. It may be a device that outputs information for doing so.
  • the sensor device 111 may be a device installed in a predetermined place in the vehicle and incorporated as a part of the vehicle, or a device different from the vehicle. For example, it may be a device worn by the user (a user wearing device) such as a spectacles type device or a contact lens type device.
  • the sensor device 111 does not have to be a single device, and may be a device provided as a partial function (device) of a predetermined device, such as a camera of a smartphone.
  • the object detection unit 102 executes an object recognition process using the sensor data acquired by the acquisition unit 101, and detects (recognizes) an object existing in the field of view of the user.
  • the sensor device 111 is a user-worn device
  • the object detection unit 102 detects the position (direction) of the object with the head position of the user as the base point.
  • the position information of the user is acquired from, for example, seat position information, GPS information of another device, or position information obtained from another device via short-range wireless communication such as WiFi, Bluetooth (registered trademark), or NFC.
  • the object detection unit 102 detects the position of the user's head and the position of the object from the sensor data, and the position of the user's head is used as the base point based on the positional relationship between the two. The position (direction) of the object to be detected is detected.
  • the perceptually-influenced object extraction unit 103 extracts a perceptually-influenced object from one or more objects detected as being present in the field of view of the user. Specifically, for example, perceptual effects object extraction unit 103, among the detected one or more objects have been left virtual speaker VSL and the right virtual speaker corresponding to the filter coefficients K 0 11 to K 0 22 acquired as the initial value An object whose direction from the user coincides with the VSR position within a predetermined range is extracted as a perceptually-affected object.
  • the perceptually-affected object extracting unit 103 excludes an object whose distance from the user is greater than or equal to a predetermined value and whose distance to the object is determined to be long, because the effect on the sound source perception can be ignored. May be.
  • the filter coefficient determination unit 104 controls the arrangement of the virtual speaker VS viewed from the user by determining the filter coefficients K11 to K22. Specifically, the filter coefficient determination unit 104 determines the positions of the left virtual speaker VSL and the right virtual speaker VSR so that the positions thereof do not overlap with the extracted perceptually affecting objects. For example, the filter coefficient determination unit 104 changes the positions of the left virtual speaker VSL and the right virtual speaker VSR to the inside or the outside with respect to the direction of the perceptually-affected object, and changes the positions of the right virtual speaker VSR and the left virtual speaker VSL.
  • the filter coefficients K11 to K22 corresponding to are determined.
  • the filter coefficient determination unit 104 supplies the determined filter coefficients K11 to K22 to the sound image localization signal processing unit 71 together with the filter coefficients L11 to L22 (filter coefficients L 0 11 to L 0 22).
  • the perceptual influence object OBJ1 exists at at least one of the positions of the left virtual speaker VSL and the right virtual speaker VSR corresponding to the filter coefficient of the initial value, the user is affected by the visual information, and the right virtual speaker VSR is affected. Shows the state where the position of is perceived by the position of the perceptually-affected object OBJ1.
  • the filter The coefficient determination unit 104 can change (relocate) the positions of the left virtual speaker VSL and the right virtual speaker VSR to the positions of the objects OBJ2 and OBJ3 that are symmetrically arranged.
  • FIG. 14B shows a state in which the changed positions of the left virtual speaker VSL2 and the changed right virtual speaker VSR2 are the positions of the objects OBJ2 and OBJ3.
  • the positions of the left virtual speaker VSL and the right virtual speaker VSR may be rearranged on the objects symmetrically arranged by utilizing the characteristic affected by the visual information.
  • the rearranged left virtual speaker VSL and right virtual speaker VSR are arranged symmetrically, so that the reproduced sound can be heard without a sense of discomfort.
  • step S31 the acquisition unit 101 acquires the sensor data and the filter coefficients K 0 11 to K 0 22 and the filter coefficients L 0 11 to L 0 22 as initial values.
  • the acquired information is shared so that each part of the virtual sound source placement unit 72 can use it.
  • step S32 the object detection unit 102 executes an object recognition process using the sensor data, and detects (recognizes) an object existing in the field of view of the user. If the sensor device 111 is not the user-mounted device, in step S32, the object detection unit 102 also detects the user's head position by using the object recognition process, and the object position is within a predetermined range based on the user's head position. An existing object is detected as an object existing in the field of view of the user.
  • the perceptually-influenced object extraction unit 103 extracts a perceptually-influenced object from one or more objects detected as being present in the user's field of view. Specifically, the perceptually-affected object extracting unit 103, among the detected one or more objects, the positions of the left virtual speaker VSL and the right virtual speaker VSR, which are initial values, match the direction from the user within a predetermined range. The object to be extracted is extracted as a perceptual influence object. An object whose distance from the user to the object is equal to or larger than a predetermined value and whose distance to the object is determined to be long can be excluded because the influence on the sound source perception can be ignored.
  • step S34 the filter coefficient determination unit 104 determines whether a perceptually-affected object has been extracted.
  • step S34 If it is determined in step S34 that the perceptually-influenced object is not extracted, the process proceeds to step S35, and the filter coefficient determination unit 104 causes the filter coefficients K 0 11 to K 0 22 and the filter coefficient L 0 acquired as the initial values. 11 to L 0 22 are supplied as they are to the sound image localization signal processing unit 71 as the filter coefficients K11 to K22 and the filter coefficients L11 to L22, and the virtual sound source arrangement processing ends.
  • step S34 determines whether there are objects symmetrically arranged.
  • step S36 When it is determined in step S36 that there is an object symmetrically arranged, the process proceeds to step S37, and the filter coefficient determination unit 104 sets the left virtual speaker VSL and the left virtual speaker VSL at the position of the object symmetrically arranged. Determine (relocate) the position of the right virtual speaker VSR.
  • step S36 when it is determined in step S36 that there is no object symmetrically arranged, the process proceeds to step S38, and the filter coefficient determination unit 104 prevents the direction of the virtual speaker VS from overlapping the perceptually-affected object. , Determine (relocate) the positions of the left virtual speaker VSL and the right virtual speaker VSR. Also in this case, the positions of the left virtual speaker VSL and the right virtual speaker VSR are determined to be bilaterally symmetrical positions.
  • step S39 the filter coefficient determination unit 104 determines (calculates) the filter coefficients K11 to K22 corresponding to the rearranged left virtual speaker VSL and right virtual speaker VSR. Then, the filter coefficient determination unit 104 supplies the determined filter coefficients K11 to K22 together with the filter coefficients L11 to L22 (filter coefficients L 0 11 to L 0 22) to the sound image localization signal processing unit 71, and the virtual sound source placement processing is performed. To finish.
  • the sound image localization processing unit 20 of the sound image localization signal processing unit 71 executes sound image localization processing according to the filter coefficients K11 to K22 controlled by the filter coefficient determination unit 104.
  • the transaural system processing unit 30 of the sound image localization signal processing unit 71 executes transaural system processing according to the filter coefficients L11 to L22 controlled by the filter coefficient determination unit 104.
  • the virtual speaker VS can be perceived by the arrangement of the virtual speaker VS (virtual sound source) considering the influence of visual information.
  • the virtual sound source arrangement unit 72 detects an object that has a perceptual influence object in the user's field of view and that is different from the perceptual influence object and is arranged symmetrically. In this case, the position of the virtual speaker VS is rearranged on the symmetrically arranged object.
  • the filter coefficient determination unit 104 causes the head-up display (HUD) to display a symmetrical object.
  • the filter coefficients K11 to K22 may be determined such that the video is displayed and the virtual speaker VS is rearranged so as to overlap with the symmetrical object. That is, the object in which the virtual speaker VS is arranged (rearranged) may be a virtual object that is actually displayed in the user's field of view or a virtual object displayed by a video.
  • the head-up display displays images of objects OBJR and OBJL that imitate speakers as symmetrical objects.
  • the filter coefficient determination unit 104 calculates filter coefficients K11 to K22 that change the positions of the left virtual speaker VSL and the right virtual speaker VSR to the positions of the images of the objects OBJR and OBJL.
  • the object detected by the object detection unit 102 not only the object detected by the object detection unit 102 but also a virtual object that is bilaterally symmetrical so as to be included in the field of view of the user is displayed (generated) in the image, and the left virtual speaker VSL and the right virtual speaker VSR are displayed.
  • the positions of may be rearranged. Even if the object detected by the object detection unit 102 does not include a bilaterally symmetric object, the virtual speaker VS can be rearranged at a position where there is no discomfort.
  • the object to be rearranged need only be symmetrical, and may be one object (same object) instead of being divided into two objects.
  • the positions of the left virtual speaker VSL and the right virtual speaker VSR may be rearranged at two symmetrical positions on the steering wheel.
  • the display related to the voice message for example, the image of the right arrow is displayed only at the position of the right virtual speaker VSR.
  • the filter coefficients K11 to K22 may be controlled so that the voice message is heard only from the position of the right virtual speaker VSR displayed.
  • the virtual speaker when it is determined that the direction of the virtual speaker VS and the direction of the perceptually-affected object are the same direction, the virtual speaker is placed at a position (direction) where the perceptually-affected object is avoided. VS relocated.
  • the positions of the left virtual speaker VSL and the right virtual speaker VSR are rearranged according to the position of the perceptually-affected object. You may.
  • the virtual sound source placement unit 72 changes (relocates) the position of the right virtual speaker VSR to the position of the right virtual speaker VSR3, that is, the position of the pillar PL. Then, the virtual sound source arrangement unit 72 changes (rearranges) the position of the left virtual speaker VSL3 so as to be symmetrical with the right virtual speaker VSR3. As described above, the position of the virtual speaker VS may not be changed to a position different from the position of the perceptually affecting object, but may be changed (relocated) to the position of the perceptually affecting object.
  • the virtual sound source placement unit 72 of the sound processing system 50 in FIG. 8 includes the virtual speaker VS (virtual sound source) including at least two channels of the first channel (for example, the right channel) and the second channel (for example, the left channel). )
  • Object information acquisition unit object information acquisition unit 85, 105) that acquires information on an object that affects the perception of the object, and the position of the virtual sound source of the first channel affected by the object is arranged at the first position.
  • a control unit control units 86 and 106 that controls the placement of the position of the virtual sound source of the second channel at a second position corresponding to the first position.
  • the positional relationship between the pillar PL as the perceptually-influenced object and the virtual speaker VS is on the horizontal plane in the left-right direction with the front direction FY as the reference direction.
  • the angle is used as the determination target, it may be determined whether or not the directions of the pillar PL and the virtual speaker VS are the same direction, including the vertical position of the seat and the angle of the elevation angle direction. That is, whether or not the virtual speaker VS is in a position overlapping the perceptually-affected object may be determined in a three-dimensional space instead of the two-dimensional plane.
  • the direction of the virtual speaker VS on the two-dimensional plane may be changed to a direction different from the perceptually-affected object, or the vertical direction (elevation direction) may be changed to be different from the perceptually-affected object. Good.
  • the reproduced sound source localizes the sound images of the left and right two-channel audio signals to the predetermined virtual speaker positions.
  • the reproduced sound source is not limited to the two-channel sound, and 5.1. It is needless to say that the present invention can be applied even in the case of multi-channel such as channels and 7.1 channels.
  • the sound processing system 50 of FIG. 8 it is possible to perceive the virtual speaker VS by arranging the virtual speaker VS (virtual sound source) in consideration of the influence of visual information.
  • FIG. 18 is a diagram showing a configuration example of a vehicle in which the acoustic processing system 50 described above is mounted.
  • the vehicle 120 includes a front sensing camera 121, a front camera ECU (Electronic Control Unit) 122, a position information acquisition unit 123, a display unit 124, a communication unit 125, a steering mechanism 126, a radar 127, a rider 128, a side view camera 129, a side view.
  • Camera ECU 130 integrated ECU 131, front view camera 132, front view camera ECU 133, braking device 134, engine 135, generator 136, drive motor 137, battery 138, rear view camera 139, rear view camera ECU 140, vehicle speed detection unit 141, headlights 142, an audio unit 143, and a speaker 144.
  • the units provided in the vehicle 120 are connected to each other by a CAN (Controller Area Network) communication bus or other connection lines, but these buses and connection lines are shown here for the sake of clarity. It is drawn without any particular distinction.
  • CAN Controller Area Network
  • the front sensing camera 121 is composed of, for example, a camera dedicated to sensing arranged near a rearview mirror in the vehicle interior, captures the front of the vehicle 120 as a subject, and outputs the resulting sensing image to the front camera ECU 122.
  • the front camera ECU 122 appropriately performs processing for improving the image quality on the sensing image supplied from the front sensing camera 121, and then performs image recognition on the sensing image to detect a white line or a pedestrian from the sensing image. To detect any object in.
  • the front camera ECU 122 outputs the result of image recognition to the bus for CAN communication.
  • the position information acquisition unit 123 is composed of a position information measuring system such as GPS, detects the position of the vehicle 120, and outputs the position information indicating the detection result to the CAN communication bus.
  • the display unit 124 is composed of, for example, a liquid crystal display panel, and is arranged at a predetermined position in the vehicle interior such as the central portion of the instrument panel and the interior of the interior mirror.
  • the display unit 124 may be a head-up display that projects visual information on a predetermined projection surface (for example, the windshield of the vehicle 120) or a display of a car navigation system.
  • the display unit 124 displays various images under the control of the integrated ECU 131.
  • the communication unit 125 communicates with surrounding vehicles, a portable terminal device carried by a pedestrian, a roadside device, and an external server device by various wireless communication such as vehicle-to-vehicle communication, vehicle-to-vehicle communication, road-to-vehicle communication, and the like. Send and receive information.
  • the communication unit 125 performs road-vehicle communication and transmits vehicle identification information or the like for identifying the vehicle 120 to another device such as an RSU.
  • the steering mechanism 126 controls the traveling direction of the vehicle 120, that is, the steering angle control according to the steering wheel operation by the driver or the control signal supplied from the integrated ECU 131.
  • the radar 127 is a distance-measuring sensor that measures the distance to an object such as a vehicle or a pedestrian in each direction such as front or rear using electromagnetic waves such as millimeter waves, and integrates the measurement results of the distance to the object. Output to the ECU 131 or the like.
  • the lidar 128 is a distance-measuring sensor that measures the distance to an object such as a vehicle or a pedestrian in each direction such as front or rear using light waves, and outputs the measurement result of the distance to the object to the integrated ECU 131 or the like. To do.
  • the side-view camera 129 is, for example, a camera arranged inside the housing of the side mirror or in the vicinity of the side mirror, and is a side image of the vehicle 120 including a region that becomes a blind spot of the driver (hereinafter, also referred to as a side image). Is captured and supplied to the side-view camera ECU 130.
  • the side-view camera ECU 130 performs image processing such as white balance adjustment on the side-view image supplied from the side-view camera 129 to improve the image quality, and the obtained side-view image is used as a bus for CAN communication. Supply to the integrated ECU 131 via different cables.
  • the integrated ECU 131 is composed of a plurality of ECUs such as an operation control ECU 151 and a battery ECU 152 arranged in the center of the vehicle 120 and controls the operation of the entire vehicle 120.
  • the driving control ECU 151 is an ECU that realizes an ADAS (Advanced Driving Assistant System) function and an autonomous driving (Self driving) function, and the image recognition result from the front camera ECU 122, the position information from the position information acquisition unit 123, and the communication unit.
  • the driving (running) of the vehicle 120 is controlled based on various information such as peripheral vehicle information supplied from 125, measurement results from the radar 127 and lidar 128, and vehicle speed detection results from the vehicle speed detection unit 141. That is, the driving control ECU 151 controls the steering mechanism 126, the braking device 134, the engine 135, the driving motor 137, and the like to control the driving of the vehicle 120.
  • the driving control ECU 151 controls the headlight 142 based on the presence or absence of the headlight of the oncoming vehicle, which is supplied from the front camera ECU 122 as the image recognition result, to irradiate the headlight 142 with beam irradiation such as switching between high beam and low beam. Control.
  • a dedicated ECU may be provided for each function such as ADAS function, autonomous operation function, and beam control.
  • the battery ECU 152 also controls the supply of electric power by the battery 138.
  • the front view camera 132 is composed of, for example, a camera arranged in the vicinity of the front grill, and captures an image of the front of the vehicle 120 (hereinafter, also referred to as a front image) including a region that becomes a blind spot of the driver, and the front view camera ECU 133. Supply to.
  • the front view camera ECU 133 performs image processing such as white balance adjustment on the front image supplied from the front view camera 132 to improve the image quality, and the obtained front image is different from the CAN communication bus. To the integrated ECU 131 via.
  • the braking device 134 operates according to a brake operation by a driver or a control signal supplied from the integrated ECU 131 to stop or decelerate the vehicle 120.
  • the engine 135 is a power source of the vehicle 120 and is driven according to a control signal supplied from the integrated ECU 131.
  • the generator 136 is controlled by the integrated ECU 131 and generates power according to the drive of the engine 135.
  • the drive motor 137 is a power source of the vehicle 120, receives power supply from the generator 136 and the battery 138, and drives according to a control signal supplied from the integrated ECU 131. Whether the engine 135 is driven or the drive motor 137 is driven when the vehicle 120 is traveling is appropriately switched by the integrated ECU 131.
  • the battery 138 has, for example, a 12V battery or a 200V battery, and supplies power to each unit of the vehicle 120 under the control of the battery ECU 152.
  • the rear-view camera 139 is composed of, for example, a camera arranged near the license plate of the tailgate, captures an image of the rear of the vehicle 120 (hereinafter, also referred to as rear image) including a region that is a blind spot of the driver, and the rear-view camera 139. Supply to the ECU 140.
  • the rear view camera 139 is activated when a shift lever (not shown) is moved to the reverse (R) position.
  • the rear view camera ECU 140 performs image processing such as white balance adjustment on the rear image supplied from the rear view camera 139 to improve image quality, and the obtained rear image is passed through a cable different from the bus for CAN communication. And supplies it to the integrated ECU 131.
  • the vehicle speed detection unit 141 is a sensor that detects the vehicle speed of the vehicle 120, and supplies the detection result of the vehicle speed to the integrated ECU 131. It should be noted that the vehicle speed detection unit 141 may calculate the acceleration or the acceleration differential from the detection result of the vehicle speed. For example, the calculated acceleration is used for estimating the time until the vehicle 120 collides with an object.
  • the headlight 142 operates in response to a control signal supplied from the integrated ECU 131 and outputs a beam to illuminate the front of the vehicle 120.
  • the audio unit 143 reads out and reproduces a sound source or a video source recorded on a recording medium such as a CD (Compact Disc), a DVD (Digital Versatile Disc), and a hard disk, and outputs an audio signal or a video signal. Output.
  • the speaker 144 outputs a sound based on the audio signal supplied via the integrated ECU 131.
  • the sound source reproducing device 11 of the acoustic processing system 50 described above corresponds to, for example, the audio unit 143
  • the acoustic signal processing device 70 corresponds to, for example, part of the integrated ECU 131.
  • the audio signal processing device 70 may be incorporated in the audio unit 143.
  • the sound processing system to which the present technology is applied has been described as being applied to the in-vehicle system, but the present technology is not limited to the application to the in-vehicle system only.
  • the location information of perceptually-affected objects and users is stored in wide area communication networks for wireless mobiles such as 4G lines, short-range wireless communication such as WiFi, Bluetooth (registered trademark) and NFC. In addition, it can be obtained from GPS information.
  • the output device that outputs the audio signal subjected to the sound image localization processing as a sound is the seat speaker (the left speaker SL and the right speaker SR) provided in the headrest portion of the vehicle seat.
  • the output device is not limited to the seat speaker, but may be another output device such as an earphone, a headphone, and a shoulder speaker.
  • the seat is equipped with a speaker as an output device, it is not limited to a seat for an automobile, but is installed in, for example, a seat installed in an amusement park, a theme park, a movie theater, an airplane, a super sento, or the like.
  • a relaxing chair or massage chair may be used.
  • Example of computer configuration> The series of processes including the above-described first and second virtual sound source arrangement processes can be executed by hardware or software.
  • a program forming the software is installed in the computer.
  • the computer includes a microcomputer incorporated in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 19 is a block diagram showing a hardware configuration example of a computer that executes the series of processes described above by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 305 is further connected to the bus 304.
  • An input unit 306, an output unit 307, a storage unit 308, a communication unit 309, and a drive 310 are connected to the input / output interface 305.
  • the input unit 306 includes a keyboard, a mouse, a microphone, a touch panel, an input terminal and the like.
  • the output unit 307 includes a display, a speaker, an output terminal, and the like.
  • the storage unit 308 includes a hard disk, a RAM disk, a non-volatile memory, or the like.
  • the communication unit 309 includes a network interface or the like.
  • the drive 310 drives a removable recording medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 301 loads, for example, the program stored in the storage unit 308 into the RAM 303 via the input / output interface 305 and the bus 304 and executes the program to perform the above-described series of operations. Is processed.
  • the RAM 303 also appropriately stores data necessary for the CPU 301 to execute various processes.
  • the program executed by the computer (CPU 301) can be provided, for example, by recording it on a removable recording medium 311 such as a package medium. Further, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 308 via the input / output interface 305 by mounting the removable recording medium 311 in the drive 310. Further, the program can be received by the communication unit 309 via a wired or wireless transmission medium and installed in the storage unit 308. In addition, the program can be installed in advance in the ROM 302 or the storage unit 308.
  • the steps described in the flowcharts are performed not only when they are performed in time series in the order described, but also when they are performed in parallel or when they are not necessarily processed in time sequence. May be executed at a necessary timing such as.
  • the system means a set of a plurality of constituent elements (devices, modules (parts), etc.), and it does not matter whether or not all the constituent elements are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. ..
  • the present technology can be configured as cloud computing in which one function is shared by a plurality of devices via a network and jointly processes.
  • each step described in the above-mentioned flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • An object information acquisition unit for acquiring information on an object that affects perception of a virtual sound source including at least two channels of a first channel and a second channel;
  • the position of the virtual sound source of the first channel affected by the object is arranged at a first position, and the virtual sound source of the second channel is arranged at a second position corresponding to the first position.
  • a signal processing device comprising: a control unit that performs control for arranging positions.
  • the object information acquisition unit acquires the direction of the object viewed from the user, The signal processing device according to (2), wherein the control unit arranges the position of the virtual sound source of the first channel at the first position in a direction different from the direction of the object.
  • the signal processing device according to (2) wherein the object information acquisition unit acquires the position of the object viewed from the user.
  • the object information acquisition unit acquires information on an object existing in the field of view of the user, The control unit is arranged at a position where each of the first position and the second position overlaps a part or all of an object existing in the field of view of the user, (1) to (4) The signal processing device according to.
  • the object that affects the perception of the virtual sound source is a virtual object existing in the field of view of the user,
  • the object information acquisition unit acquires the position of the object from sensor data output from a sensor device that images both the user and the object, or one of the objects.
  • (1) to (9) Signal processing device.
  • (11) The signal processing device according to any one of (1) to (10), wherein the control unit determines a filter coefficient for arranging the position of the virtual sound source at the first position and the second position.
  • (12) The signal processing device according to (11), further including a signal processing unit that performs a filter process using the filter coefficient on the audio signal reproduced by the reproduction device.
  • the signal processor Acquiring information of an object that influences perception of a virtual sound source including at least two channels of a first channel and a second channel, The position of the virtual sound source of the first channel affected by the object is arranged at a first position, and the virtual sound source of the second channel is arranged at a second position corresponding to the first position.
  • Computer An object information acquisition unit for acquiring information on an object that affects perception of a virtual sound source including at least two channels of a first channel and a second channel; The position of the virtual sound source of the first channel affected by the object is arranged at a first position, and the virtual sound source of the second channel is arranged at a second position corresponding to the first position.
  • a program that functions as a control unit that arranges positions.
  • 11 sound source reproduction device 12 sound processing device, 20 sound image localization processing unit, 30 transaural system processing unit, 50 sound processing system, 70 sound signal processing device, 71 sound image localization signal processing unit, 72 virtual sound source arrangement unit, 73 filter coefficient Storage unit, 81 acquisition unit, 82 head position estimation unit, 83 pillar angle calculation unit, 84 filter coefficient determination unit, 85 object information acquisition unit, 86 control unit, 101 acquisition unit, 102 object detection unit, 103 perceptual influence object extraction Part, 104 filter coefficient determination part, 105 object information acquisition part, 106 control part, 111 sensor device, 120 vehicle, 124 display part, 301 CPU, 302 ROM, 303 RAM, 306 input part, 307 output part, 308, 308 ⁇ , 309 communication unit, 310 drive

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Seats For Vehicles (AREA)

Abstract

本技術は、視覚情報の影響を考慮して、仮想音源を知覚することができるようにする信号処理装置、信号処理方法、および、プログラムに関する。 音響信号処理装置が、少なくとも第１のチャンネルと第２のチャンネルの２チャンネルを含む仮想音源の知覚に影響を及ぼす物体の情報を取得し、物体の影響を受ける第１のチャンネルの仮想音源の位置を第１の位置に配置し、第１の位置に対応する第２の位置に、第２のチャンネルの仮想音源の位置を配置する。本技術は、例えば、車載システムに搭載される音響信号処理装置等に適用できる。

Description

信号処理装置、信号処理方法、および、プログラム
　本技術は、信号処理装置、信号処理方法、および、プログラムに関し、特に、視覚情報の影響を考慮して、仮想音源を知覚することができるようにした信号処理装置、信号処理方法、および、プログラムに関する。
　スピーカから放音される音声が所定の位置に定位するように音声信号に処理を行う音像定位処理が知られている（例えば、特許文献１参照）。音像定位処理によれば、例えば、音声はユーザの後ろ側のスピーカから出力しつつ、スピーカの位置とは異なる仮想音源位置、例えば、ユーザの前方の位置から音声が出力されているようにユーザに知覚させることができる。
特開２００３－１１１２００号公報
　しかしながら、仮想音源の知覚は、視覚情報の影響を大きく受ける。例えば、仮想音源が配置された付近に物体が存在する場合、その物体が仮想音源の存在する位置であるかのように知覚してしまう現象が確認されている。
　本技術は、このような状況に鑑みてなされたものであり、視覚情報の影響を考慮して、仮想音源を知覚することができるようにするものである。
　本技術の一側面の信号処理装置は、少なくとも第１のチャンネルと第２のチャンネルの２チャンネルを含む仮想音源の知覚に影響を及ぼす物体の情報を取得する物体情報取得部と、前記物体の影響を受ける前記第１のチャンネルの前記仮想音源の位置を第１の位置に配置し、前記第１の位置に対応する第２の位置に、前記第２のチャンネルの前記仮想音源の位置を配置する制御を行う制御部とを備える。
　本技術の一側面の信号処理方法は、信号処理装置が、少なくとも第１のチャンネルと第２のチャンネルの２チャンネルを含む仮想音源の知覚に影響を及ぼす物体の情報を取得し、前記物体の影響を受ける前記第１のチャンネルの前記仮想音源の位置を第１の位置に配置し、前記第１の位置に対応する第２の位置に、前記第２のチャンネルの前記仮想音源の位置を配置する。
　本技術の一側面のプログラムは、コンピュータを、少なくとも第１のチャンネルと第２のチャンネルの２チャンネルを含む仮想音源の知覚に影響を及ぼす物体の情報を取得する物体情報取得部と、前記物体の影響を受ける前記第１のチャンネルの前記仮想音源の位置を第１の位置に配置し、前記第１の位置に対応する第２の位置に、前記第２のチャンネルの前記仮想音源の位置を配置する制御部として機能させるためのものである。
　本技術の一側面においては、少なくとも第１のチャンネルと第２のチャンネルの２チャンネルを含む仮想音源の知覚に影響を及ぼす物体の情報が取得され、前記物体の影響を受ける前記第１のチャンネルの前記仮想音源の位置が第１の位置に配置され、前記第１の位置に対応する第２の位置に、前記第２のチャンネルの前記仮想音源の位置が配置される。
　なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　なお、本技術の一側面の信号処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
　また、本技術の一側面の信号処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　信号処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
音像定位処理を行う音響処理システムの構成例を示すブロック図である。 音像定位処理を説明する図である。 音像定位処理の原理を説明する図である。 図１の音響処理システムを車載システムに適用した例を示す図である。 全天球型の伝達関数の取得を説明する図である。 音響処理システムで起こり得る問題を説明する図である。 音響処理システムで起こり得る問題を説明する図である。 本技術を適用した音響処理システムの構成例を示すブロック図である。 仮想音源配置部の第１構成例を示すブロック図である。 第１の仮想音源配置処理を説明するフローチャートである。 第１の仮想音源配置処理の処理例を説明する図である。 第１の仮想音源配置処理の処理例を説明する図である。 仮想音源配置部の第２構成例を示すブロック図である。 第２の仮想音源配置処理の処理例を説明する図である。 第２の仮想音源配置処理を説明するフローチャートである。 第２の仮想音源配置処理の処理例を説明する図である。 仮想音源配置処理の変形例を説明する図である。 図８の音響処理システムが搭載される車両の構成例を示す図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．音像定位処理の説明
２．音像定位時に起こり得る問題
３．音響処理システムの構成例
４．仮想音源配置部の第１構成例
５．仮想音源配置部の第２構成例
６．変形例
７．車両の構成例
８．コンピュータ構成例
＜１．音像定位処理の説明＞
　初めに、図１乃至図３を参照して、本技術を適用した音響処理システムの前提となる音像定位処理について説明する。
　図１は、音像定位処理を行う音響処理システムの構成例を示すブロック図である。
　図１の音響処理システムは、音源再生装置１１、音響処理装置１２、アンプ１３Lおよび１３R、並びに、左スピーカSLおよび右スピーカSRを有する。
　音源再生装置１１は、例えば、コンパクトディスク（CD）やハードディスク等の記録媒体に記録された音源としての音楽データを再生し、左右２チャンネルの再生オーディオ信号を音響処理装置１２に供給する。ここで、音源再生装置１１が出力する左スピーカ用の再生オーディオ信号を再生オーディオ信号L、右スピーカ用の再生オーディオ信号を再生オーディオ信号Rとする。再生される音楽データの種類は特に限定されず、楽曲や、人間または音声合成により生成された音声メッセージ、チャイムやブザー音等の電子音など、どのような音でもよい。以下では、簡単のため、音声と称して説明する場合も同様に、再生音は音声だけに限られない。
　音響処理装置１２は、音像定位処理部２０およびトランスオーラルシステム処理部３０を有する。
　音響処理装置１２は、左スピーカSLおよび右スピーカSRから出力される音を、図１において破線で示す左仮想スピーカVSLおよび右仮想スピーカVSRの位置から放音されたように聞こえるように、入力される左右２チャンネルの再生オーディオ信号を処理する。換言すれば、音響処理装置１２は、左スピーカSLおよび右スピーカSRから出力される音の音像を、左仮想スピーカVSLおよび右仮想スピーカVSRから放音されたもののように感じるように定位させる。
　ここで、左スピーカSLおよび右スピーカSRは、例えば図２に示されるように、ユーザが着座するシートSTのヘッドレスト部に設けられており、ユーザの耳の後ろの位置から再生された音が出力される。これに対して、左仮想スピーカVSLおよび右仮想スピーカVSRは、図２において破線で示されるように、ユーザの前方の位置であるとする。なお、左仮想スピーカVSLおよび右仮想スピーカVSRの左右を特に区別しない場合には、単に、仮想スピーカVSと称する。
　図１に戻り、音響処理装置１２は、音像定位処理後の再生オーディオ信号Lをアンプ１３Lに出力し、音像定位処理後の再生オーディオ信号Rをアンプ１３Rに出力する。
　アンプ１３Lは、音像定位処理後の再生オーディオ信号Lを増幅して、左スピーカSLに出力する。アンプ１３Rは、音像定位処理後の再生オーディオ信号Rを増幅して、右スピーカSRに出力する。左スピーカSLは、アンプ１３Lから供給されるオーディオ信号を音として出力する。右スピーカSRは、アンプ１３Rから供給されるオーディオ信号を音として出力する。左スピーカSLおよび右スピーカSRは、それぞれ１つずつのスピーカで構成されても良いし、スーパーツイータやウーハを備えた高品位の放音が可能ないわゆるHiFiスピーカでもよい。
　音像定位処理部２０を説明するに当たり、図３を参照して、音像定位処理の原理について説明する。
　所定のリファレンス環境において、ダミーヘッドDHの位置を聴取者の位置とし、このダミーヘッドDHの位置の聴取者に対して、音像を定位させようとする左右の仮想スピーカ位置（スピーカがあるとものと想定する位置）に実際に左実スピーカSPLおよび右実スピーカSPRが設置される。
　そして、左実スピーカSPLおよび右実スピーカSPRから出力される音がダミーヘッドDHの両耳部分において収音され、左実スピーカSPLおよび右実スピーカSPRから出力される音が、ダミーヘッドDHの両耳部分に到達したときに、どのように変化するか示す伝達関数（HRTF：Head-related transfer function）が予め測定される。なお、ダミーヘッドDHを用いずに、実際に人間を座らせ、その耳近傍にマイクを置いて音の伝達関数を測定するようにしてもよい。
　ここで、図３に示されるように、左実スピーカSPLからダミーヘッドDHの左耳までの音の伝達関数がM１１であり、左実スピーカSPLからダミーヘッドDHの右耳までの音の伝達関数がM１２であるとする。また、右実スピーカSPRからダミーヘッドDHの左耳までの音の伝達関数がM２１であり、右実スピーカSPRからダミーヘッドDHの右耳までの音の伝達関数がM２２であるとする。
　同様に、図２のシートSTのヘッドレスト部に設けられた左スピーカSLおよび右スピーカSRから出力される音が、シートSTに着座した聴取者の両耳部分において収音され、左スピーカSLおよび右スピーカSRから出力される音が、聴取者の両耳部分に到達したときに、どのように変化するか示す伝達関数（HRTF）が予め測定される。
　図１に示されるように、左スピーカSLから聴取者の左耳までの音の伝達関数がG１１であり、左スピーカSLから聴取者の右耳までの音の伝達関数がG１２であるとする。また、右スピーカSRから聴取者の左耳までの音の伝達関数がG２１であり、右スピーカSRから聴取者の右耳までの音の伝達関数がG２２であるとする。
　図１の音像定位処理部２０は、所定の位置に音像を定位させるために予め測定した音の伝達関数による処理（音像定位処理）を行う。音像定位処理部２０は、４つのフィルタ２１乃至２４と、２つの加算部２５および２６とを備える。
　一方、トランスオーラルシステム処理部３０は、左スピーカSL、右スピーカSRから出力される音について、再生音場における伝達関数の影響を除去する処理を行う。トランスオーラルシステム処理部３０は、４つのフィルタ３１乃至３４と、加算部３５および３６とを備える。
　音像定位処理部２０のフィルタ２１は、音源再生装置１１から入力される再生オーディオ信号Lを伝達関数M１１で処理し、処理後の再生オーディオ信号Lを左チャンネル用の加算部２５に供給する。また、フィルタ２２は、音源再生装置１１から入力される再生オーディオ信号Lを伝達関数M１２で処理し、処理後の再生オーディオ信号Lを右チャンネル用の加算部２６に供給する。
　フィルタ２３は、音源再生装置１１から入力される再生オーディオ信号Rを伝達関数M２１で処理し、処理後の再生オーディオ信号Rを左チャンネル用の加算部２５に供給する。また、フィルタ２４は、音源再生装置１１から入力される再生オーディオ信号Rを伝達関数M２２で処理し、処理後の再生オーディオ信号Rを右チャンネル用の加算部２６に供給する。
　左チャンネル用の加算部２５は、フィルタ２１によるフィルタ処理後の再生オーディオ信号Lと、フィルタ２３によるフィルタ処理後の再生オーディオ信号Rを加算し、加算後のオーディオ信号を、トランスオーラルシステム処理部３０のフィルタ３１および３２に供給する。
　右チャンネル用の加算部２６は、フィルタ２２によるフィルタ処理後の再生オーディオ信号Lと、フィルタ２４によるフィルタ処理後の再生オーディオ信号Rを加算し、加算後のオーディオ信号を、トランスオーラルシステム処理部３０のフィルタ３３および３４に供給する。
　トランスオーラルシステム処理部３０のフィルタ３１は、音像定位処理部２０の左チャンネル用の加算部２５からの再生オーディオ信号を、伝達関数G１１の逆関数で処理し、処理後の再生オーディオ信号を左チャンネル用の加算部３５に供給する。また、フィルタ３２は、音像定位処理部２０の左チャンネル用の加算部２５からの再生オーディオ信号を、伝達関数G１２の逆関数で処理し、処理後の再生オーディオ信号を右チャンネル用の加算部３６に供給する。
　フィルタ３３は、音像定位処理部２０の右チャンネル用の加算部２６からの再生オーディオ信号を、伝達関数G２１の逆関数で処理し、処理後の再生オーディオ信号を左チャンネル用の加算部３５に供給する。また、フィルタ３４は、音像定位処理部２０の右チャンネル用の加算部２６からの再生オーディオ信号を、伝達関数G２２の逆関数で処理し、処理後の再生オーディオ信号を右チャンネル用の加算部３６に供給する。
　左チャンネル用の加算部３５は、フィルタ３１によるフィルタ処理後の再生オーディオ信号と、フィルタ３３によるフィルタ処理後の再生オーディオ信号を加算し、加算後のオーディオ信号を、再生オーディオ信号Lとして、左チャンネル用のアンプ１３Lに出力する。
　右チャンネル用の加算部３６は、フィルタ３２によるフィルタ処理後の再生オーディオ信号と、フィルタ３４によるフィルタ処理後の再生オーディオ信号を加算し、加算後のオーディオ信号を、再生オーディオ信号Rとして、右チャンネル用のアンプ１３Rに出力する。
　以上のように、音響処理装置１２は、音源再生装置１１からの再生オーディオ信号Lおよび再生オーディオ信号Rに対して、音像を定位させようとする左右の仮想スピーカ位置の伝達関数を畳み込むとともに、再生音場における伝達関数の影響を除去する。これにより、左スピーカSLおよび右スピーカSRから出力される音の音像を左仮想スピーカVSLおよび右仮想スピーカVSRから放音されたように、聴取者であるユーザが感じるように定位させることができる。
　図４は、図１の音響処理システムを車載システムに適用した例を示している。
　図１の音響処理システムを車載システムに適用した場合、図２の左スピーカSLおよび右スピーカSRを備えるシートSTが自動車等の車両のシートに相当する。
　まず、図４のAに示されるように、視聴室などのリファレンス環境において、左実スピーカSPLおよび右実スピーカSPRからユーザUの耳までの音の伝達関数M１１、M１２、M２１、および、M２２が測定される。このリファレンス環境におけるユーザUの位置に対する左実スピーカSPLおよび右実スピーカSPRの位置が、再生時の仮想スピーカ（仮想音源）の位置となる。なお、以下では、伝達関数M１１、M１２、M２１、および、M２２を、簡単のため、M１１乃至M２２のようにも記述する。
　同様に、図４のBに示されるように、自動車等の車両のシートSTのヘッドレスト部に設けられた左スピーカSLおよび右スピーカSRから、ユーザUの耳までの音の伝達関数G１１、G１２、G２１、および、G２２が測定される。なお、伝達関数G１１、G１２、G２１、および、G２２についても、以下では、簡単のため、G１１乃至G２２のようにも記述する。
　そして、車両に組み込まれた音響処理装置１２が、音源再生装置１１からの再生オーディオ信号Lおよび再生オーディオ信号Rに対して、上述した音像定位処理を行うことにより、図４のCに示されるように、シートSTのヘッドレスト部に設けられた左スピーカSLおよび右スピーカSRから音が出力されるが、ユーザUは、リファレンス環境での左実スピーカSPLおよび右実スピーカSPRと同じ位置にスピーカ（左仮想スピーカVSLと右仮想スピーカVSR）が存在し、そこから出力されているように知覚する。
　仮想スピーカの位置を変更したい場合には、リファレンス環境で取得した伝達関数M１１乃至M２２を用いることによって、変更後の仮想スピーカの位置の伝達関数M１１’ 乃至M２２’を生成し、フィルタ２１乃至２４に適用することで、リファレンス環境のスピーカ位置と異なる位置に仮想スピーカの位置を設定することができる。または、フィルタ２１乃至２４に入出力されるオーディオ信号に対してゲイン処理やディレイ処理を行うことにより、変更後の仮想スピーカの位置の伝達関数M１１’乃至M２２’を生成することもできる。
　あるいはまた、リファレンス環境において、図５に示されるように、ユーザUを中心とする球面状の各点における伝達関数を予め取得して保持し、変更後の仮想スピーカの位置に対応する伝達関数M１１’乃至M２２’を選択することで、仮想スピーカの位置を任意の位置に変更することもできる。図５では、ハッチングを付した丸の各点が、伝達関数を取得した各位置を表す。
＜２．音像定位時に起こり得る問題＞
　以上のような、所定の音源が仮想スピーカの位置からの出力であるようにユーザに知覚させる音像定位処理において起こり得る問題について、車載システムの例で説明する。
　いま、音響処理装置１２には、図６のAに示されるように、ユーザUの正面方向FYを基準方向として、水平面上の左右３０度の方向の所定の位置に、左仮想スピーカVSLおよび右仮想スピーカVSRが知覚されるように伝達関数M１１乃至M２２が測定されているとする。
そして、ユーザUの右仮想スピーカVSRの方向と同一方向に、車両のピラーPLが存在している。
　図７は、車両のピラーPLの位置を示す車内の図である。
　仮想音源の知覚は、視覚情報の影響を大きく受けることが知られている。例えば、仮想音源が配置された方向付近に物体が存在する場合、ユーザが、その物体が仮想音源の存在する位置であるかのように知覚してしまうことがある。以下では、視覚情報の影響を受ける物体を知覚影響物体とも称する。
　図６のAのように、右仮想スピーカVSRの方向と同一方向に、知覚影響物体としてピラーPLが存在している場合、ユーザUは、図６のBのように、ピラーPLの影響を受け、右仮想スピーカVSRがピラーPLの位置にあるように知覚してしまう。換言すれば、ユーザUは、右仮想スピーカVSRの位置を、仮想スピーカVSR’の位置として知覚してしまう。その結果、本来、左右対称に音像を定位させた仮想スピーカVSが、左右のチャンネルで距離や角度のずれが生じ、左右非対称となるため、不自然で違和感のある音場となってしまう。
　そこで、以下では、図６で説明したような、視覚情報の影響による仮想音源の知覚のずれをなくすようにした音響処理システムの構成について説明する。
＜３．音響処理システムの構成例＞
　図８は、本技術を適用した音響処理システムの構成例を示すブロック図である。
　なお、図８において、図１に示した音響処理システムの構成と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
　図８に示される音響処理システム５０は、音源再生装置１１、音響信号処理装置７０、アンプ１３Lおよび１３R、並びに、左スピーカSLおよび右スピーカSRを含んで構成される。音響信号処理装置７０は、音像定位信号処理部７１、仮想音源配置部７２、および、フィルタ係数記憶部７３を有する。
　図８の音響処理システム５０は、図６および図７の例と同様に、自動車等の車両に搭載された車載システムの一部として構成されている。
　図８において破線で囲まれる音源再生装置１１、音像定位信号処理部７１、アンプ１３Lおよび１３R、並びに、左スピーカSLおよび右スピーカSRは、それぞれ、図１に示した音響処理システムの音源再生装置１１、音響処理装置１２、アンプ１３Lおよび１３R、並びに、左スピーカSLおよび右スピーカSRと同様である。
　したがって、音像定位信号処理部７１は、図１に示した音響処理装置１２と同様の構成を有し、音像定位処理後の再生オーディオ信号Lをアンプ１３Lに出力し、音像定位処理後の再生オーディオ信号Rをアンプ１３Rに出力する。ただし、音像定位処理部２０のフィルタ２１乃至２４の伝達関数M１１乃至M２２として使用されるフィルタ係数K１１乃至K２２と、トランスオーラルシステム処理部３０のフィルタ３１乃至３４の伝達関数G１１乃至G２２として使用されるフィルタ係数L１１乃至L２２は、仮想音源配置部７２から供給される。
　左スピーカSLおよび右スピーカSRは、上述した例と同様に、ユーザが着座するシートのヘッドレスト部に設けられていることとする。また、音像定位信号処理部７１が生成する仮想スピーカについても、上述した例と同様に、左仮想スピーカVSLと右仮想スピーカVSRを用いて説明する。
　仮想音源配置部７２は、初期値として記憶されているフィルタ係数K0１１乃至K0２２とフィルタ係数L0１１乃至L0２２とをフィルタ係数記憶部７３から取得する。また、仮想音源配置部７２は、ユーザが着座するシートの位置情報（シート位置情報）を取得する。シート位置情報は、例えば、CAN（Controller Area Network）通信用のバス等を介して車両から取得したり、GPS（Global Positioning System）情報や、WiFi、Bluetooth（登録商標）、NFC（Near Field Communication）等の近距離無線通信を介して取得することができる。シートの位置によってユーザの位置が特定できるので、シート位置情報は、ユーザの位置情報に相当する。
　仮想音源配置部７２は、取得した初期値のフィルタ係数K0１１乃至K0２２から、ユーザのシート位置情報に応じて変更したフィルタ係数K１１乃至K２２を決定し、音像定位信号処理部７１に供給する。また、フィルタ係数L0１１乃至L0２２については、仮想音源配置部７２は、取得した初期値のフィルタ係数L0１１乃至L0２２を、そのまま、フィルタ係数L１１乃至L２２として、音像定位信号処理部７１に供給する。
　すなわち、ユーザが車両のシートに着座したとき、ユーザの位置と、シートに組み込まれた左スピーカSLおよび右スピーカSRとの位置関係は変わらないため、フィルタ係数L0１１乃至L0２２は、そのまま、フィルタ係数L１１乃至L２２として、音像定位信号処理部７１に供給される。
　一方、車両のシートに着座したユーザの位置と、知覚影響物体であるピラーPLの位置の位置関係は、シートの位置によって変わってくる。そのため、シートの位置に基づいてユーザから見たピラーPLの位置が算出され、ピラーPLの位置と、左仮想スピーカVSLと右仮想スピーカVSRの位置が重畳しないように、フィルタ係数K0１１乃至K0２２から、ユーザのシート位置情報に応じたフィルタ係数K１１乃至K２２が算出され、音像定位信号処理部７１に供給される。
　フィルタ係数記憶部７３は、図４を参照して説明したように測定された、リファレンス環境におけるフィルタ係数K0１１乃至K0２２と、再生音場におけるフィルタ係数L0１１乃至L0２２とを初期値として記憶する。フィルタ係数K0１１乃至K0２２は、図４のAの伝達関数M１１乃至M２２に対応し、フィルタ係数L0１１乃至L0２２は、図４のBにおける伝達関数G１１乃至G２２に対応する。リファレンス環境における左実スピーカSPLおよび右実スピーカSPRは、例えば、正面方向から左右３０度に配置される。初期値として記憶されるフィルタ係数K0１１乃至K0２２は、再生される音源の製作者が意図したスピーカ配置で測定されている。
＜４．仮想音源配置部の第１構成例＞
　図９は、仮想音源配置部７２の第１構成例を示すブロック図である。
　第１構成例に係る仮想音源配置部７２は、取得部８１、頭部位置推定部８２、ピラー角度算出部８３、および、フィルタ係数決定部８４を備える。取得部８１、頭部位置推定部８２、および、ピラー角度算出部８３は、仮想音源の知覚に影響を及ぼす知覚影響物体の情報を取得する物体情報取得部８５を構成し、フィルタ係数決定部８４は、知覚影響物体の情報に基づいて、ユーザから見た仮想スピーカVSの配置を制御する制御部８６を構成する。
　取得部８１は、ユーザのシート位置情報と、初期値としてのフィルタ係数K0１１乃至K0２２およびフィルタ係数L0１１乃至L0２２を取得する。取得部８１が取得した情報は、仮想音源配置部７２の各部で利用可能に共有される。
　ここで、ユーザのシート位置情報は、例えば、可動範囲内における前後方向の位置を示す情報である。また、初期値としてのフィルタ係数K0１１乃至K0２２に対応する左仮想スピーカVSLおよび右仮想スピーカVSRの位置は、図６のAに示したように、ユーザUの正面方向FYを基準方向として、水平面上の左右３０度の方向の直線上のユーザから所定の距離離れた位置とする。
　頭部位置推定部８２は、取得されたシート位置情報に基づいて、ユーザの頭部位置を推定する。
　なお、本実施の形態では、簡単のため、シートの位置は前後方向のみ移動可能であり、シート座面から上下方向のユーザの頭部位置は、再生音場におけるフィルタ係数L0１１乃至L0２２の測定時に測定されて、既知であるとする。
　ピラー角度算出部８３は、推定されたユーザの頭部位置に基づいて、ユーザから見たピラーPLの角度（方向）を算出する。ユーザから見たピラーPLの角度は、図６のAに示したように、ユーザUの正面方向FYを基準方向とする左右方向の水平面上の角度のみとする。
　フィルタ係数決定部８４は、フィルタ係数K１１乃至K２２を決定することにより、ユーザから見た仮想スピーカVSの配置を制御する。具体的には、フィルタ係数決定部８４は、ユーザから見た仮想スピーカVSの方向（位置）と、ピラー角度算出部８３で算出されたピラーPLの方向とが、同一方向であるかを判定する。なお、ユーザが右側の運転席に座っているとすると、ピラーPLの方向と同一方向となり得る仮想スピーカVSは右仮想スピーカVSRであるので、ピラーPLの方向と同一方向であるか否かは、右仮想スピーカVSRについてのみ判定すればよい。
　そして、フィルタ係数決定部８４は、右仮想スピーカVSRの方向とピラーPLの方向とが同一方向であると判定された場合に、右仮想スピーカVSRの方向がピラーPLの方向と重ならないような右仮想スピーカVSRの位置を決定する。さらに、フィルタ係数決定部８４は、決定された右仮想スピーカVSRの位置と、それに対応する左仮想スピーカVSLの位置に対応するフィルタ係数K１１乃至K２２を決定する。
　例えば、フィルタ係数K１１乃至K２２は、上述したように、初期値のフィルタ係数K0１１乃至K0２２を用いることで算出し、決定することができる。あるいはまた、図５の球面状の各点のように、複数の位置に対応するフィルタ係数が予め取得されている場合には、フィルタ係数記憶部７３から、ピラーPLの方向と重ならないように再配置した仮想スピーカVSの位置に対応するフィルタ係数を取得することで、再配置した仮想スピーカVSの位置に対応するフィルタ係数を決定することができる。また、フィルタ係数決定部８４が音像定位処理部２０に対してゲイン処理やディレイ処理を制御することで、再配置した仮想スピーカVSの位置に対応するフィルタ係数を決定してもよい。
　フィルタ係数決定部８４は、決定したフィルタ係数K１１乃至K２２を、フィルタ係数L１１乃至L２２（フィルタ係数L0１１乃至L0２２）とともに、音像定位信号処理部７１に供給する。
＜第１の仮想音源配置処理＞
　図１０のフローチャートを参照して、仮想音源配置部７２の第１構成例による仮想音源配置処理（第１の仮想音源配置処理）を説明する。
　初めに、ステップＳ１１において、取得部８１は、ユーザのシート位置情報と、初期値としてのフィルタ係数K0１１乃至K0２２およびフィルタ係数L0１１乃至L0２２を取得する。取得された情報は、仮想音源配置部７２の各部で利用可能に共有される。
　ステップＳ１２において、頭部位置推定部８２は、取得されたシート位置情報に基づいて、ユーザの頭部位置を推定する。
　ステップＳ１３において、ピラー角度算出部８３は、推定されたユーザの頭部位置に基づいて、ユーザから見たピラーPLの角度を算出する。
　ステップＳ１４において、フィルタ係数決定部８４は、ユーザから見た仮想スピーカVSの方向と、算出されたピラーPLの方向とが、同一方向であるかを判定する。なお、ユーザが運転席に座っているとすると、ピラーPLの方向と同一方向となり得る仮想スピーカVSは右仮想スピーカVSRであるので、ピラーPLの方向と同一方向であるか否かは、右仮想スピーカVSRについてのみ判定すればよい。
　ステップＳ１４で、右仮想スピーカVSRの方向とピラーPLの方向とが同一方向ではないと判定された場合、処理はステップＳ１５に進み、フィルタ係数決定部８４は、初期値として取得したフィルタ係数K0１１乃至K0２２およびフィルタ係数L0１１乃至L0２２を、そのまま、フィルタ係数K１１乃至K２２およびフィルタ係数L１１乃至L２２として、音像定位信号処理部７１に供給し、仮想音源配置処理を終了する。
　一方、ステップＳ１４で、右仮想スピーカVSRの方向とピラーPLの方向とが同一方向であると判定された場合、処理はステップＳ１６に進み、フィルタ係数決定部８４は、仮想スピーカVSの方向がピラーPLの方向と重ならないように、左右の仮想スピーカVSの位置を決定（再配置）する。より具体的には、フィルタ係数決定部８４は、右仮想スピーカVSRの方向がピラーPLの方向と重ならないように、右仮想スピーカVSRの位置を決定する。さらに、フィルタ係数決定部８４は、決定された右仮想スピーカVSRの位置に対応する位置（左右対称な位置）に、左仮想スピーカVSLの位置を決定する。
　ステップＳ１７において、フィルタ係数決定部８４は、再配置した左仮想スピーカVSLおよび右仮想スピーカVSRの位置に対応するフィルタ係数K１１乃至K２２を決定する。そして、フィルタ係数決定部８４は、決定したフィルタ係数K１１乃至K２２を、フィルタ係数L１１乃至L２２（フィルタ係数L0１１乃至L0２２）とともに、音像定位信号処理部７１に供給し、仮想音源配置処理を終了する。
　音像定位信号処理部７１の音像定位処理部２０は、フィルタ係数決定部８４によって制御されたフィルタ係数K１１乃至K２２にしたがった音像定位処理を実行する。音像定位信号処理部７１のトランスオーラルシステム処理部３０は、フィルタ係数決定部８４によって制御されたフィルタ係数L１１乃至L２２にしたがったトランスオーラルシステム処理を実行する。
　図１１は、第１の仮想音源配置処理において、右仮想スピーカVSRの方向とピラーPLの方向とが同一方向ではないと判定された場合の仮想スピーカVSの配置例を示す平面図である。
　図１１では、シート位置が前方にスライドされ、右仮想スピーカVSRの方向がピラーPLの方向と重ならない方向となっている。この場合、左仮想スピーカVSLおよび右仮想スピーカVSRの位置は変更（再配置）されず、リファレンス環境と同じ左右３０度の角度に、左仮想スピーカVSLおよび右仮想スピーカVSRが配置される。
　図１２は、第１の仮想音源配置処理において、右仮想スピーカVSRの方向とピラーPLの方向とが同一方向であると判定された場合の仮想スピーカVSの配置例を示す平面図である。
　図１２では、シート位置が後方にスライドされ、右仮想スピーカVSRの方向がピラーPLの方向と重なってしまう。この場合、左仮想スピーカVSLおよび右仮想スピーカVSRの位置が、ピラーPLの方向と重ならない位置である、左仮想スピーカVSL１および右仮想スピーカVSR１の位置に変更（再配置）される。例えば、ユーザUの頭部位置を中心、正面方向FYや仮想スピーカVSに向かう方向を径方向として、正面方向FYと仮想スピーカVSに向かう方向との間の角度が小さくなり、仮想スピーカVSの方向が基準方向である正面方向FYに近づく周方向を内側、その反対方向を外側とすると、図１２に示されるように、基準方向である正面方向FYから左仮想スピーカVSL１または右仮想スピーカVSR１の方向までの角度が、ピラーPLの方向よりも内側で、かつ、可能な限り広い角度である、１０度の位置に再配置される。なお、場合によっては、左仮想スピーカVSL１および右仮想スピーカVSR１の位置は、ピラーPLの方向よりも外側でもよい。
　図１１および図１２のいずれにおいても、視覚情報の影響を考慮した仮想スピーカVS（仮想音源）の配置で、仮想スピーカVSを知覚することができる。
＜５．仮想音源配置部の第２構成例＞
　図１３は、仮想音源配置部７２の第２構成例を示すブロック図である。
　第２構成例に係る仮想音源配置部７２は、取得部１０１、物体検出部１０２、知覚影響物体抽出部１０３、および、フィルタ係数決定部１０４を備える。取得部１０１、物体検出部１０２、および、知覚影響物体抽出部１０３は、仮想音源の知覚に影響を及ぼす知覚影響物体の情報を取得する物体情報取得部１０５を構成し、フィルタ係数決定部１０４は、知覚影響物体の情報に基づいて、ユーザから見た仮想スピーカVSの配置を制御する制御部１０６を構成する。
　取得部１０１は、初期値としてのフィルタ係数K0１１乃至K0２２およびフィルタ係数L0１１乃至L0２２を取得する。
　また、取得部１０１は、センサデバイス１１１からセンサデータを取得する。センサデバイス１１１と取得部１０１との間の通信は、CAN（Controller Area Network）、LIN（Local Interconnect Network）、LAN（Local Area Network）又はFlexRay（登録商標）等の任意の規格に準拠した車載通信、4G回線等の無線移動体用の広域通信網、WiFi、Bluetooth（登録商標）やNFC（Near Field Communication）等の近距離無線通信などを用いることができる。取得部１０１が取得した情報は、仮想音源配置部７２の各部で利用可能に共有される。
　センサデバイス１１１は、例えば、画像を撮像するイメージセンサや、物体までの距離を測定する測距センサなど、１以上のセンサで構成される。センサデバイス１１１は、ユーザの位置や物体の位置の認識（検出）に必要なデータが得られるセンサデータを出力するセンサであれば、種類は問わない。センサデバイス１１１は、ユーザの位置情報や物体の位置情報を取得するためのデバイスであり、ユーザの位置情報や物体の位置情報そのものを出力するデバイスでもよいし、ユーザの位置や物体の位置を算出するための情報を出力するデバイスでもよい。センサデバイス１１１は、車内の所定の場所に備え付けられ、車両の一部として組み込まれているデバイスであってもよいし、車両とは別のデバイスでもよい。例えば、眼鏡型デバイスやコンタクトレンズ型デバイスなど、ユーザが装着しているデバイス（ユーザ装着デバイス）でもよい。また、センサデバイス１１１は、それ単独の装置である必要はなく、例えばスマートフォンのカメラのように、所定の装置の一部の機能（デバイス）として備えられた物でもよい。
　物体検出部１０２は、取得部１０１が取得したセンサデータを用いて物体認識処理を実行し、ユーザの視界に存在する物体を検出（認識）する。センサデバイス１１１がユーザ装着デバイスである場合、物体検出部１０２は、ユーザの頭部位置を基点とする物体の位置（方向）を検出する。ユーザの位置情報は、例えば、シート位置情報から取得したり、他の装置のGPS情報や、WiFi、Bluetooth（登録商標）、NFC等の近距離無線通信を介して他の装置から得られる位置情報から、取得することができる。一方、センサデバイス１１１がユーザ装着デバイスではない場合、物体検出部１０２は、センサデータから、ユーザの頭部位置と物体の位置とを検出し、両者の位置関係から、ユーザの頭部位置を基点とする物体の位置（方向）を検出する。
　知覚影響物体抽出部１０３は、ユーザの視界に存在するとして検出された１以上の物体のなかから、知覚影響物体を抽出する。具体的には、例えば、知覚影響物体抽出部１０３は、検出された１以上の物体のうち、初期値として取得したフィルタ係数K0１１乃至K0２２に対応する左仮想スピーカVSLと右仮想スピーカVSRの位置と、所定の範囲内でユーザからの方向が一致する物体を、知覚影響物体として抽出する。この際、知覚影響物体抽出部１０３は、ユーザから物体までの距離が所定値以上であって、物体までの距離が遠いと判断される物体については、音源知覚への影響は無視できるとして除外してもよい。
　フィルタ係数決定部１０４は、フィルタ係数K１１乃至K２２を決定することにより、ユーザから見た仮想スピーカVSの配置を制御する。具体的には、フィルタ係数決定部１０４は、抽出された知覚影響物体と位置が重ならないような左仮想スピーカVSLおよび右仮想スピーカVSRの位置を決定する。例えば、フィルタ係数決定部１０４は、左仮想スピーカVSLおよび右仮想スピーカVSRの位置を、知覚影響物体の方向に対して内側または外側に変更し、変更した右仮想スピーカVSRおよび左仮想スピーカVSLの位置に対応するフィルタ係数K１１乃至K２２を決定する。フィルタ係数決定部１０４は、決定したフィルタ係数K１１乃至K２２を、フィルタ係数L１１乃至L２２（フィルタ係数L0１１乃至L0２２）とともに、音像定位信号処理部７１に供給する。
　図１４のAは、初期値のフィルタ係数に対応する左仮想スピーカVSLおよび右仮想スピーカVSRの位置の少なくとも一方に知覚影響物体OBJ１が存在し、ユーザが視覚情報の影響を受け、右仮想スピーカVSRの位置を知覚影響物体OBJ１の位置に知覚してしまう状態を示している。
　このような状態において、例えば、図１４のBに示されるように、知覚影響物体OBJ１と異なる方向で、左右対称に配置された物体OBJ２およびOBJ３が物体検出部１０２によって検出されている場合、フィルタ係数決定部１０４は、左仮想スピーカVSLおよび右仮想スピーカVSRの位置を、左右対称に配置された物体OBJ２およびOBJ３の位置に変更（再配置）することができる。図１４のBでは、変更された左仮想スピーカVSL２および右仮想スピーカVSR２の位置が、物体OBJ２およびOBJ３の位置とされた状態を示している。このように、視覚情報の影響を受ける特性を利用して、左右対称に配置された物体に、左仮想スピーカVSLおよび右仮想スピーカVSRの位置を再配置してもよい。この場合、再配置された左仮想スピーカVSLおよび右仮想スピーカVSRの配置は、左右対称であるので、違和感なく、再生される音を聴くことができる。
＜第２の仮想音源配置処理＞
　図１５のフローチャートを参照して、仮想音源配置部７２の第２構成例による仮想音源配置処理（第２の仮想音源配置処理）を説明する。
　初めに、ステップＳ３１において、取得部１０１は、センサデータと、初期値としてのフィルタ係数K0１１乃至K0２２およびフィルタ係数L0１１乃至L0２２を取得する。取得された情報は、仮想音源配置部７２の各部で利用可能に共有される。
　ステップＳ３２において、物体検出部１０２は、センサデータを用いて物体認識処理を実行し、ユーザの視界に存在する物体を検出（認識）する。センサデバイス１１１がユーザ装着デバイスでない場合には、ステップＳ３２において、物体検出部１０２は、物体認識処理を用いてユーザの頭部位置も検出し、ユーザの頭部位置を基点として所定の範囲内に存在する物体を、ユーザの視界に存在する物体として検出する。
　ステップＳ３３において、知覚影響物体抽出部１０３は、ユーザの視界に存在するとして検出された１以上の物体のなかから、知覚影響物体を抽出する。具体的には、知覚影響物体抽出部１０３は、検出された１以上の物体のうち、初期値の左仮想スピーカVSLと右仮想スピーカVSRの位置と、所定の範囲内でユーザからの方向が一致する物体を、知覚影響物体として抽出する。なお、ユーザから物体までの距離が所定値以上であり、物体のまでの距離が遠いと判断される物体については、音源知覚への影響は無視できるとして除外することができる。
　ステップＳ３４において、フィルタ係数決定部１０４は、知覚影響物体が抽出されたかを判定する。
　ステップＳ３４で、知覚影響物体が抽出されなかったと判定された場合、処理はステップＳ３５に進み、フィルタ係数決定部１０４は、初期値として取得したフィルタ係数K0１１乃至K0２２およびフィルタ係数L0１１乃至L0２２を、そのまま、フィルタ係数K１１乃至K２２およびフィルタ係数L１１乃至L２２として、音像定位信号処理部７１に供給し、仮想音源配置処理を終了する。
　一方、ステップＳ３４で、知覚影響物体が抽出されたと判定された場合、処理はステップＳ３６に進み、フィルタ係数決定部１０４は、検出された１以上の物体のなかに、知覚影響物体と異なる方向で、左右対称に配置された物体が存在するかを判定する。
　ステップＳ３６で、左右対称に配置された物体が存在すると判定された場合、処理はステップＳ３７に進み、フィルタ係数決定部１０４は、その左右対称に配置された物体の位置に、左仮想スピーカVSLおよび右仮想スピーカVSRの位置を決定（再配置）する。
　一方、ステップＳ３６で、左右対称に配置された物体が存在しないと判定された場合、処理はステップＳ３８に進み、フィルタ係数決定部１０４は、仮想スピーカVSの方向が知覚影響物体と重ならないように、左仮想スピーカVSLおよび右仮想スピーカVSRの位置を決定（再配置）する。この場合も、左仮想スピーカVSLの位置と右仮想スピーカVSRの位置は、左右対称な位置に決定される。
　ステップＳ３９において、フィルタ係数決定部１０４は、再配置した左仮想スピーカVSLおよび右仮想スピーカVSRに対応するフィルタ係数K１１乃至K２２を決定（算出）する。そして、フィルタ係数決定部１０４は、決定したフィルタ係数K１１乃至K２２を、フィルタ係数L１１乃至L２２（フィルタ係数L0１１乃至L0２２）とともに、音像定位信号処理部７１に供給し、仮想音源配置処理を終了する。
　音像定位信号処理部７１の音像定位処理部２０は、フィルタ係数決定部１０４によって制御されたフィルタ係数K１１乃至K２２にしたがった音像定位処理を実行する。音像定位信号処理部７１のトランスオーラルシステム処理部３０は、フィルタ係数決定部１０４によって制御されたフィルタ係数L１１乃至L２２にしたがったトランスオーラルシステム処理を実行する。
　上述した第２の仮想音源配置処理においても、視覚情報の影響を考慮した仮想スピーカVS（仮想音源）の配置で、仮想スピーカVSを知覚することができる。
　上述した第２の仮想音源配置処理では、仮想音源配置部７２は、ユーザの視界に知覚影響物体が存在し、かつ、知覚影響物体とは異なる、左右対称に配置された物体が検出されている場合、その左右対称に配置された物体に、仮想スピーカVSの位置を再配置するようにした。
　ここで、例えば、車両が、フロントガラスや前方の視界に映像（虚像）を表示させるヘッドアップディスプレイを備えている場合、フィルタ係数決定部１０４は、ヘッドアップディスプレイ（HUD）に左右対称なオブジェクトの映像を表示させ、その左右対称なオブジェクトと重なるように、仮想スピーカVSを再配置させるようなフィルタ係数K１１乃至K２２を決定してもよい。すなわち、仮想スピーカVSを配置（再配置）させる物体は、ユーザの視界に実際に存在する物体の他、映像によって表示した仮想物体でもよい。
　例えば、図１６に示されるように、ヘッドアップディスプレイが、左右対称なオブジェクトとして、スピーカを模したオブジェクトOBJRおよびOBJLの映像を表示する。フィルタ係数決定部１０４は、左仮想スピーカVSLおよび右仮想スピーカVSRの位置を、オブジェクトOBJRおよびOBJLの映像の位置に変更するフィルタ係数K１１乃至K２２を算出する。
　このように、物体検出部１０２によって検出された物体に限らず、ユーザの視界に含まれるように左右対称な仮想物体を映像で表示（生成）させ、それに、左仮想スピーカVSLおよび右仮想スピーカVSRの位置を再配置してもよい。物体検出部１０２が検出した物体のなかに、左右対称な物体が存在しない場合でも、仮想スピーカVSを違和感のない位置に再配置することができる。
　再配置する物体は、左右対称なものであればよく、２つに分かれている物体でなく、１つの物体（同一物体）でもよい。例えば、ハンドルの左右対称な２つの場所に、左仮想スピーカVSLおよび右仮想スピーカVSRの位置を再配置してもよい。
　また、再生される音源が、例えば、「右に曲がってください」のような音声メッセージである場合に、その音声メッセージに関連する表示、例えば、右矢印の画像を右仮想スピーカVSRの位置にのみ表示させて、右仮想スピーカVSRの位置のみから音声メッセージが聴こえるように、フィルタ係数K１１乃至K２２を制御しても良い。
＜６．変形例＞
　仮想音源配置処理の変形例について説明する。
　上述した第１および第２の仮想音源配置処理では、仮想スピーカVSの方向と知覚影響物体の方向とが同一方向であると判定された場合、知覚影響物体を避ける位置（方向）に、仮想スピーカVSが再配置された。
　しかし、左仮想スピーカVSLまたは右仮想スピーカVSRのどちらか一方が知覚影響物体に影響を受ける場合に、その知覚影響物体の位置に合わせて、左仮想スピーカVSLおよび右仮想スピーカVSRの位置を再配置してもよい。
　知覚影響物体がピラーPLである例で、具体的に説明する。
　図１７に示されるように、右仮想スピーカVSRの位置が、ピラーPLの影響を受けて、ピラーPLの位置として知覚されるとする。この場合、仮想音源配置部７２は、右仮想スピーカVSRの位置を、右仮想スピーカVSR３の位置、すなわちピラーPLの位置に変更（再配置）する。そして、仮想音源配置部７２は、左仮想スピーカVSL３の位置も、右仮想スピーカVSR３と左右対称となるように変更（再配置）する。このように仮想スピーカVSの位置を、知覚影響物体の位置と異なる位置に変更するのではなく、知覚影響物体の位置に変更（再配置）してもよい。
　以上、図８の音響処理システム５０の仮想音源配置部７２は、少なくとも第１のチャンネル（例えば、右チャンネル）と第２のチャンネル（例えば、左チャンネル）の２チャンネルを含む仮想スピーカVS（仮想音源）の知覚に影響を及ぼす物体の情報を取得する物体情報取得部（物体情報取得部８５，１０５）と、物体の影響を受ける第１のチャンネルの仮想音源の位置を第１の位置に配置し、その第１の位置に対応する第２の位置に、第２のチャンネルの仮想音源の位置を配置する制御を行う制御部（制御部８６，１０６）とを備える。
　なお、上述した第１および第２の仮想音源配置処理の例では、知覚影響物体としてのピラーPLと、仮想スピーカVSとの位置関係について、正面方向FYを基準方向とする左右方向の水平面上の角度のみを判断対象としたが、シートの上下方向の位置や、仰角方向の角度も含めて、ピラーPLと仮想スピーカVSとの方向が同一方向であるかを判定してもよい。すなわち、仮想スピーカVSが知覚影響物体と重なる位置にあるか否かは、２次元平面でなく、３次元空間で判定してもよい。３次元空間で判定する場合には、仮想スピーカVSの２次元平面上の方向を知覚影響物体と異なる方向に変えてもよいし、上下方向（仰角方向）を知覚影響物体と異なるように変えてもよい。
　上述した実施の形態では、再生される音源が、左右２チャンネルのオーディオ信号を所定の仮想スピーカ位置に音像定位させる例を説明したが、再生される音源が、２チャンネルに限らず、５．１チャンネルや７．１チャンネルなどのマルチチャンネルの場合でも適用可能であることは勿論である。
　図８の音響処理システム５０によれば、視覚情報の影響を考慮した、仮想スピーカVS（仮想音源）の配置で、仮想スピーカVSを知覚することができる。
＜７．車両の構成例＞
　図１８は、上述した音響処理システム５０が搭載される車両の構成例を示す図である。
　車両１２０は、フロントセンシングカメラ１２１、フロントカメラECU（Electronic Control Unit）１２２、位置情報取得部１２３、表示部１２４、通信部１２５、ステアリング機構１２６、レーダ１２７、ライダ１２８、サイドビューカメラ１２９、サイドビューカメラECU１３０、統合ECU１３１、フロントビューカメラ１３２、フロントビューカメラECU１３３、制動装置１３４、エンジン１３５、発電機１３６、駆動用モータ１３７、バッテリ１３８、リアビューカメラ１３９、リアビューカメラECU１４０、車速検出部１４１、ヘッドライト１４２、オーディオ部１４３、および、スピーカ１４４を有している。
　車両１２０に設けられた各ユニットは、CAN（Controller Area Network）通信用のバスや他の接続線などにより相互に接続されているが、ここでは図を見やすくするため、それらのバスや接続線が特に区別されずに描かれている。
　フロントセンシングカメラ１２１は、例えば車室内のルームミラー近傍に配置されたセンシング専用のカメラからなり、車両１２０の前方を被写体として撮像し、その結果得られたセンシング画像をフロントカメラECU１２２に出力する。
　フロントカメラECU１２２は、フロントセンシングカメラ１２１から供給されたセンシング画像に対して適宜、画質を向上させる処理等を施した後、センシング画像に対して画像認識を行って、センシング画像から白線や歩行者などの任意の物体を検出する。フロントカメラECU１２２は、画像認識の結果をCAN通信用のバスに出力する。
　位置情報取得部１２３は、例えばGPSなどの位置情報計測システムからなり、車両１２０の位置を検出して、その検出結果を示す位置情報をCAN通信用のバスに出力する。
　表示部１２４は、例えば液晶表示パネルなどからなり、インストルメントパネルの中央部分、ルームミラー内部などの車室内の所定位置に配置されている。また、表示部１２４は、所定の投射面（例えば、車両１２０のウィンドシールド）に視覚情報を投射するヘッドアップディスプレイであってもよいし、カーナビゲーションシステムのディスプレイであってもよい。表示部１２４は、統合ECU１３１の制御に従って各種の画像を表示する。
　通信部１２５は、車車間通信や車歩間通信、路車間通信等の各種の無線通信により、周辺車両や、歩行者が所持する携帯型端末装置、路側機、外部のサーバ装置との間で情報の送受信を行う。例えば通信部１２５は、路車間通信を行って、車両１２０を識別する車両識別情報等をRSU等の他の装置に送信する。
　ステアリング機構１２６は、運転者によるハンドル操作、または統合ECU１３１から供給された制御信号に応じて車両１２０の走行方向の制御、すなわち舵角制御を行う。レーダ１２７は、ミリ波等の電磁波を用いて前方や後方などの各方向にある車両や歩行者といった対象物までの距離を測定する測距センサであり、対象物までの距離の測定結果を統合ECU１３１等に出力する。ライダ１２８は、光波を用いて前方や後方などの各方向にある車両や歩行者といった対象物までの距離を測定する測距センサであり、対象物までの距離の測定結果を統合ECU１３１等に出力する。
　サイドビューカメラ１２９は、例えばサイドミラーの筐体内やサイドミラー近傍に配置されたカメラであり、運転者の死角となる領域を含む車両１２０の側方の画像（以下、側方画像とも称する。）を撮像し、サイドビューカメラECU１３０に供給する。
　サイドビューカメラECU１３０は、サイドビューカメラ１２９から供給された側方画像に対して、ホワイトバランス調整などの画質を向上させる画像処理を施すとともに、得られた側方画像をCAN通信用のバスとは異なるケーブルを介して統合ECU１３１に供給する。
　統合ECU１３１は、運転制御ECU１５１やバッテリECU１５２などの車両１２０の中央に配置された複数のECUからなり、車両１２０全体の動作を制御する。
　例えば運転制御ECU１５１は、ADAS（Advanced Driving Assistant System）機能や自律運転（Self driving）機能を実現するECUであり、フロントカメラECU１２２からの画像認識結果、位置情報取得部１２３からの位置情報、通信部１２５から供給された周辺車両情報等の各種の情報、レーダ１２７やライダ１２８からの測定結果、車速検出部１４１からの車速の検出結果などに基づいて、車両１２０の運転（走行）を制御する。すなわち、運転制御ECU１５１は、ステアリング機構１２６や、制動装置１３４、エンジン１３５、駆動用モータ１３７等を制御して車両１２０の運転を制御する。また、運転制御ECU１５１は、フロントカメラECU１２２から画像認識結果として供給された、対向車のヘッドライトの有無等に基づいてヘッドライト１４２を制御してハイビームとロービームの切り替えなどヘッドライト１４２によるビーム照射を制御する。
　なお、統合ECU１３１では、ADAS機能や自律運転機能、ビーム制御などの機能ごとに専用のECUを設けるようにしてもよい。
　また、バッテリECU１５２は、バッテリ１３８による電力の供給等を制御する。
　フロントビューカメラ１３２は、例えばフロントグリル近傍に配置されたカメラからなり、運転者の死角となる領域を含む車両１２０の前方の画像（以下、前方画像とも称する。）を撮像し、フロントビューカメラECU１３３に供給する。
　フロントビューカメラECU１３３は、フロントビューカメラ１３２から供給された前方画像に対して、ホワイトバランス調整などの画質を向上させる画像処理を施すとともに、得られた前方画像をCAN通信用のバスとは異なるケーブルを介して統合ECU１３１に供給する。
　制動装置１３４は、運転者によるブレーキ操作、または統合ECU１３１から供給された制御信号に応じて動作し、車両１２０を停車させたり減速させたりする。エンジン１３５は、車両１２０の動力源であり、統合ECU１３１から供給された制御信号に応じて駆動する。
　発電機１３６は、統合ECU１３１により制御され、エンジン１３５の駆動に応じて発電する。駆動用モータ１３７は、車両１２０の動力源であり、発電機１３６やバッテリ１３８から電力の供給を受け、統合ECU１３１から供給された制御信号に応じて駆動する。なお、車両１２０の走行時にエンジン１３５を駆動させるか、または駆動用モータ１３７を駆動させるかは、適宜、統合ECU１３１により切り替えられる。
　バッテリ１３８は、例えば12Vのバッテリや200Vのバッテリなどを有しており、バッテリECU１５２の制御に従って車両１２０の各部に電力を供給する。
　リアビューカメラ１３９は、例えばテールゲートのナンバープレート近傍に配置されるカメラからなり、運転者の死角となる領域を含む車両１２０の後方の画像（以下、後方画像とも称する。）を撮像し、リアビューカメラECU１４０に供給する。例えばリアビューカメラ１３９は、図示せぬシフトレバーがリバース（Ｒ）の位置に移動されると起動される。
　リアビューカメラECU１４０は、リアビューカメラ１３９から供給された後方画像に対して、ホワイトバランス調整などの画質を向上させる画像処理を施すとともに、得られた後方画像をCAN通信用のバスとは異なるケーブルを介して統合ECU１３１に供給する。
　車速検出部１４１は、車両１２０の車速を検出するセンサであり、車速の検出結果を統合ECU１３１に供給する。なお、車速検出部１４１において、車速の検出結果から加速度や加速度の微分が算出されるようにしてもよい。例えば算出された加速度は、車両１２０の物体との衝突までの時間の推定などに用いられる。
　ヘッドライト１４２は、統合ECU１３１から供給された制御信号に応じて動作し、ビームを出力することで車両１２０の前方を照明する。
　オーディオ部１４３は、統合ECU１３１の制御の下、CD(Compact Disc),DVD(Digital Versatile Disc),ハードディスク等の記録媒体に記録された音源や映像源を読み出して再生し、オーディオ信号またはビデオ信号を出力する。スピーカ１４４は、統合ECU１３１を介して供給されるオーディオ信号に基づく音を出力する。
　以上のように構成される車両１２０において、上述した音響処理システム５０の音源再生装置１１は、例えばオーディオ部１４３に対応し、音響信号処理装置７０は、例えば統合ECU１３１の一部に対応する。音響信号処理装置７０はオーディオ部１４３に組み込まれていてもよい。
　なお、上述した実施の形態では、本技術を適用した音響処理システムを車載システムに適用して説明したが、本技術は、車載システムのみの適用に限られるものではない。
　車載システム以外に適用した音響処理システムにおいて、知覚影響物体およびユーザの位置情報は、4G回線等の無線移動体用の広域通信網、WiFi、Bluetooth（登録商標）やNFC等の近距離無線通信の他、GPS情報から取得することができる。
　上述した音響処理システムでは、音像定位処理が施されたオーディオ信号を音として出力する出力デバイスを、自動車用のシートのヘッドレスト部に設けられたシートスピーカ（左スピーカSLおよび右スピーカSR）としたが、出力デバイスは、シートスピーカに限らず、イヤホン、ヘッドホン、肩掛けスピーカなど、その他の出力デバイスでもよい。また、出力デバイスとしてのスピーカを備えたシートである場合にも、自動車用のシートに限らず、例えば、遊園地やテーマパーク、映画館、航空機等に設置されたシート、スーパー銭湯等に設置されたリラックスチェアやマッサージチェアなどでもよい。
＜８．コンピュータ構成例＞
　上述した第１および第２の仮想音源配置処理を含む一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているマイクロコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
　バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、及びドライブ３１０が接続されている。
　入力部３０６は、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部３０７は、ディスプレイ、スピーカ、出力端子などよりなる。記憶部３０８は、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部３０９は、ネットワークインタフェースなどよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体３１１を駆動する。
　以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータ（CPU３０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体３１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。
　本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、上述した複数の構成例の全てまたは一部を組み合わせた形態を採用することができる。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　少なくとも第１のチャンネルと第２のチャンネルの２チャンネルを含む仮想音源の知覚に影響を及ぼす物体の情報を取得する物体情報取得部と、
　前記物体の影響を受ける前記第１のチャンネルの前記仮想音源の位置を第１の位置に配置し、前記第１の位置に対応する第２の位置に、前記第２のチャンネルの前記仮想音源の位置を配置する制御を行う制御部と
　を備える信号処理装置。
（２）
　前記制御部は、前記第１の位置を、前記物体の位置と異なる位置に配置する
　前記（１）に記載の信号処理装置。
（３）
　前記物体情報取得部は、ユーザからみた前記物体の方向を取得し、
　前記制御部は、前記第１のチャンネルの前記仮想音源の位置を、前記物体の方向と異なる方向の前記第１の位置に配置する
　前記（２）に記載の信号処理装置。
（４）
　前記物体情報取得部は、ユーザからみた前記物体の位置を取得する
　前記（２）に記載の信号処理装置。
（５）
　前記物体情報取得部は、ユーザの視界に存在する物体の情報を取得し、
　前記制御部は、前記ユーザの視界に存在する物体の一部または全部に前記第１の位置と前記第２の位置のそれぞれが重畳する位置に配置する
　前記（１）乃至（４）のいずれかに記載の信号処理装置。
（６）
　前記仮想音源の知覚に影響を及ぼす物体は、ユーザの視界に存在する仮想物体であり、
　前記制御部は、前記第１の位置と前記第２の位置を、前記仮想物体の位置に配置する
　前記（１）乃至（５）のいずれかに記載の信号処理装置。
（７）
　前記制御部は、前記第１の位置を、前記物体の位置に配置する
　前記（１）乃至（６）のいずれかに記載の信号処理装置。
（８）
　前記物体情報取得部は、シートの位置情報に基づいて、前記物体の位置を取得する
　前記（１）乃至（７）のいずれかに記載の信号処理装置。
（９）
　前記物体情報取得部は、ユーザが装着しているデバイスから出力されるセンサデータから、前記物体の位置を取得する
　前記（１）乃至（８）のいずれかに記載の信号処理装置。
（１０）
　前記物体情報取得部は、ユーザと前記物体の両方、または一方を撮像するセンサデバイスから出力されるセンサデータから、前記物体の位置を取得する
　前記（１）乃至（９）のいずれかに記載の信号処理装置。
（１１）
　前記制御部は、前記仮想音源の位置を前記第１の位置と前記第２の位置に配置するためのフィルタ係数を決定する
　前記（１）乃至（１０）のいずれかに記載の信号処理装置。
（１２）
　再生装置で再生されたオーディオ信号に対して、前記フィルタ係数を用いたフィルタ処理を行う信号処理部をさらに備える
　前記（１１）に記載の信号処理装置。
（１２）
　信号処理装置が、
　少なくとも第１のチャンネルと第２のチャンネルの２チャンネルを含む仮想音源の知覚に影響を及ぼす物体の情報を取得し、
　前記物体の影響を受ける前記第１のチャンネルの前記仮想音源の位置を第１の位置に配置し、前記第１の位置に対応する第２の位置に、前記第２のチャンネルの前記仮想音源の位置を配置する
　信号処理方法。
（１４）
　コンピュータを、
　少なくとも第１のチャンネルと第２のチャンネルの２チャンネルを含む仮想音源の知覚に影響を及ぼす物体の情報を取得する物体情報取得部と、
　前記物体の影響を受ける前記第１のチャンネルの前記仮想音源の位置を第１の位置に配置し、前記第１の位置に対応する第２の位置に、前記第２のチャンネルの前記仮想音源の位置を配置する制御部
　として機能させるためのプログラム。
　１１　音源再生装置，　１２　音響処理装置，　２０　音像定位処理部，　３０　トランスオーラルシステム処理部，　５０　音響処理システム，　７０　音響信号処理装置，　７１　音像定位信号処理部，　７２　仮想音源配置部，　７３　フィルタ係数記憶部，　８１　取得部，　８２　頭部位置推定部，　８３　ピラー角度算出部，　８４　フィルタ係数決定部，　８５　物体情報取得部，　８６　制御部，　１０１　取得部，　１０２　物体検出部，　１０３　知覚影響物体抽出部，　１０４　フィルタ係数決定部，　１０５　物体情報取得部，　１０６　制御部，　１１１　センサデバイス，　１２０　車両，　１２４　表示部，　３０１　CPU，　３０２　ROM，　３０３　RAM，　３０６　入力部，　３０７　出力部，　３０８　記憶部，　３０９　通信部，　３１０　ドライブ

Claims (14)

  1. 　少なくとも第１のチャンネルと第２のチャンネルの２チャンネルを含む仮想音源の知覚に影響を及ぼす物体の情報を取得する物体情報取得部と、
    　前記物体の影響を受ける前記第１のチャンネルの前記仮想音源の位置を第１の位置に配置し、前記第１の位置に対応する第２の位置に、前記第２のチャンネルの前記仮想音源の位置を配置する制御を行う制御部と
    　を備える信号処理装置。
  2. 　前記制御部は、前記第１の位置を、前記物体の位置と異なる位置に配置する
    　請求項１に記載の信号処理装置。
  3. 　前記物体情報取得部は、ユーザからみた前記物体の方向を取得し、
    　前記制御部は、前記第１のチャンネルの前記仮想音源の位置を、前記物体の方向と異なる方向の前記第１の位置に配置する
    　請求項２に記載の信号処理装置。
  4. 　前記物体情報取得部は、ユーザからみた前記物体の位置を取得する
    　請求項２に記載の信号処理装置。
  5. 　前記物体情報取得部は、ユーザの視界に存在する物体の情報を取得し、
    　前記制御部は、前記ユーザの視界に存在する物体の一部または全部に前記第１の位置と前記第２の位置のそれぞれが重畳する位置に配置する
    　請求項１に記載の信号処理装置。
  6. 　前記仮想音源の知覚に影響を及ぼす物体は、ユーザの視界に存在する仮想物体であり、
    　前記制御部は、前記第１の位置と前記第２の位置を、前記仮想物体の位置に配置する
    　請求項１に記載の信号処理装置。
  7. 　前記制御部は、前記第１の位置を、前記物体の位置に配置する
    　請求項１に記載の信号処理装置。
  8. 　前記物体情報取得部は、シートの位置情報に基づいて、前記物体の位置を取得する
    　請求項１に記載の信号処理装置。
  9. 　前記物体情報取得部は、ユーザが装着しているデバイスから出力されるセンサデータから、前記物体の位置を取得する
    　請求項１に記載の信号処理装置。
  10. 　前記物体情報取得部は、ユーザと前記物体の両方、または一方を撮像するセンサデバイスから出力されるセンサデータから、前記物体の位置を取得する
    　請求項１に記載の信号処理装置。
  11. 　前記制御部は、前記仮想音源の位置を前記第１の位置と前記第２の位置に配置するためのフィルタ係数を決定することにより、前記仮想音源の位置を配置する制御を行う
    　請求項１に記載の信号処理装置。
  12. 　再生装置で再生されたオーディオ信号に対して、前記フィルタ係数を用いたフィルタ処理を行う信号処理部をさらに備える
    　請求項１１に記載の信号処理装置。
  13. 　信号処理装置が、
    　少なくとも第１のチャンネルと第２のチャンネルの２チャンネルを含む仮想音源の知覚に影響を及ぼす物体の情報を取得し、
    　前記物体の影響を受ける前記第１のチャンネルの前記仮想音源の位置を第１の位置に配置し、前記第１の位置に対応する第２の位置に、前記第２のチャンネルの前記仮想音源の位置を配置する
    　信号処理方法。
  14. 　コンピュータを、
    　少なくとも第１のチャンネルと第２のチャンネルの２チャンネルを含む仮想音源の知覚に影響を及ぼす物体の情報を取得する物体情報取得部と、
    　前記物体の影響を受ける前記第１のチャンネルの前記仮想音源の位置を第１の位置に配置し、前記第１の位置に対応する第２の位置に、前記第２のチャンネルの前記仮想音源の位置を配置する制御部
    　として機能させるためのプログラム。
PCT/JP2019/040572 2018-10-29 2019-10-16 信号処理装置、信号処理方法、および、プログラム WO2020090456A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112019005379.5T DE112019005379T5 (de) 2018-10-29 2019-10-16 Signalverarbeitungseinrichtung, signalverarbeitungsverfahren und programm

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018202898A JP2022008733A (ja) 2018-10-29 2018-10-29 信号処理装置、信号処理方法、および、プログラム
JP2018-202898 2018-10-29

Publications (1)

Publication Number Publication Date
WO2020090456A1 true WO2020090456A1 (ja) 2020-05-07

Family

ID=70462336

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/040572 WO2020090456A1 (ja) 2018-10-29 2019-10-16 信号処理装置、信号処理方法、および、プログラム

Country Status (3)

Country Link
JP (1) JP2022008733A (ja)
DE (1) DE112019005379T5 (ja)
WO (1) WO2020090456A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003111200A (ja) * 2001-09-28 2003-04-11 Sony Corp 音響処理装置
WO2013105413A1 (ja) * 2012-01-11 2013-07-18 ソニー株式会社 音場制御装置、音場制御方法、プログラム、音場制御システム及びサーバ
JP2013162285A (ja) * 2012-02-03 2013-08-19 Sony Corp 情報処理装置、情報処理方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003111200A (ja) * 2001-09-28 2003-04-11 Sony Corp 音響処理装置
WO2013105413A1 (ja) * 2012-01-11 2013-07-18 ソニー株式会社 音場制御装置、音場制御方法、プログラム、音場制御システム及びサーバ
JP2013162285A (ja) * 2012-02-03 2013-08-19 Sony Corp 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
JP2022008733A (ja) 2022-01-14
DE112019005379T5 (de) 2021-07-15

Similar Documents

Publication Publication Date Title
US20220116723A1 (en) Filter selection for delivering spatial audio
JP4557054B2 (ja) 車載用立体音響装置
KR100943215B1 (ko) 음장 합성을 이용한 입체 음장 재생 장치 및 그 방법
US8948414B2 (en) Providing audible signals to a driver
KR20190017411A (ko) 주변 상황에 기초하여 음악을 재생하는 방법 및 장치
US20140294210A1 (en) Systems, methods, and apparatus for directing sound in a vehicle
WO2016118656A1 (en) Techniques for amplifying sound based on directions of interest
JP2013198065A (ja) 音声提示装置
JP6799391B2 (ja) 車両用方向提示装置
JP2017153083A (ja) 自動車でオーディオ信号を再生する装置及び方法
US20210380055A1 (en) Vehicular independent sound field forming device and vehicular independent sound field forming method
JP2003032776A (ja) 再生システム
US10889238B2 (en) Method for providing a spatially perceptible acoustic signal for a rider of a two-wheeled vehicle
JP2005316704A (ja) 周囲状況通知装置、周囲状況通知方法
JP6434165B2 (ja) 前面ラウドスピーカによって個別の三次元音響を達成する、車内再生のためのステレオ信号を処理する装置および方法
CN109104674B (zh) 面向听音者的声场重建方法、音频设备、存储介质及装置
TW201617247A (zh) 車載多媒體系統與控制方法
US20230164510A1 (en) Electronic device, method and computer program
WO2020090456A1 (ja) 信号処理装置、信号処理方法、および、プログラム
CN112514406A (zh) 信息处理装置、信息处理方法和视频声音输出系统
JP7456490B2 (ja) 音データ処理装置および音データ処理方法
JP2023548324A (ja) 増強されたオーディオを提供するためのシステム及び方法
JP2023548849A (ja) 増強されたオーディオを提供するためのシステム及び方法
US20220014865A1 (en) Apparatus And Method To Provide Situational Awareness Using Positional Sensors And Virtual Acoustic Modeling
US20180041854A1 (en) Device for creation of object dependent audio data and method for creating object dependent audio data in a vehicle interior

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19878229

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19878229

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP