WO2018163545A1 - 情報処理装置、情報処理方法及び記録媒体 - Google Patents

情報処理装置、情報処理方法及び記録媒体 Download PDF

Info

Publication number
WO2018163545A1
WO2018163545A1 PCT/JP2017/044081 JP2017044081W WO2018163545A1 WO 2018163545 A1 WO2018163545 A1 WO 2018163545A1 JP 2017044081 W JP2017044081 W JP 2017044081W WO 2018163545 A1 WO2018163545 A1 WO 2018163545A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound source
moving body
information processing
processing apparatus
sound
Prior art date
Application number
PCT/JP2017/044081
Other languages
English (en)
French (fr)
Inventor
慶一 大迫
宏平 浅田
徹徳 板橋
一馬 吉井
堅一 牧野
康信 村田
繁利 林
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201780087599.9A priority Critical patent/CN110366852B/zh
Priority to EP17899809.2A priority patent/EP3595331A1/en
Priority to US16/482,626 priority patent/US11543521B2/en
Priority to KR1020197023857A priority patent/KR20190125304A/ko
Priority to JP2019504328A priority patent/JP7040513B2/ja
Publication of WO2018163545A1 publication Critical patent/WO2018163545A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50—Systems of measurement, based on relative movement of the target
    • G01S15/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S15/523—Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0217—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for loud-speakers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50—Systems of measurement, based on relative movement of the target
    • G01S15/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S15/582—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of interrupted pulse-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50—Systems of measurement, based on relative movement of the target
    • G01S15/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S15/588—Velocity or trajectory determination systems; Sense-of-movement determination systems measuring the velocity vector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023—Details of receivers
    • G01S7/52025—Details of receivers for pulse systems
    • G01S7/52026—Extracting wanted echo signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle for navigation systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a recording medium.
  • Patent Document 1 discloses a technique for reducing the feeling of obstruction felt by the user by capturing external sound through headphones.
  • the present disclosure provides a mechanism for selectively capturing external sound from an appropriate sound source into an internal space.
  • an acquisition unit that acquires an audio signal from a sound source that exists outside a moving body, and a target sound source whose distance to the moving body is a distance corresponding to the speed of the moving body.
  • a generation unit that generates the audio signal based on the audio signal acquired by the acquisition unit, and an output control unit that outputs the audio signal generated by the generation unit toward the internal space of the moving body.
  • an audio signal from a sound source that exists outside a moving body is obtained, and a target sound source in which a distance from the moving body among the sound sources is a distance corresponding to the speed of the moving body Is generated based on the acquired audio signal, and the generated audio signal is output to the internal space of the moving body by an output device.
  • the computer is configured to acquire a sound signal from a sound source that exists outside the moving body, and the distance between the sound source and the moving body is a distance according to the speed of the moving body.
  • a generation unit that generates an audio signal from the target sound source based on the audio signal acquired by the acquisition unit, and an output that outputs the audio signal generated by the generation unit toward an internal space of the moving body
  • a control medium and a recording medium on which a program for functioning as a controller is recorded are provided.
  • a signal generated based on an audio signal acquired from a sound source existing outside the moving body is output toward the internal space of the moving body. Therefore, it becomes possible to take in external sound into the internal space of the moving body. Furthermore, it is possible to selectively capture external sound from an appropriate sound source according to the speed of the moving body.
  • a mechanism for selectively capturing external sound from an appropriate sound source into the internal space is provided.
  • the above effects are not necessarily limited, and any of the effects shown in the present specification, or other effects that can be grasped from the present specification, together with or in place of the above effects. May be played.
  • FIG. 1 is a diagram for describing an example of an information processing apparatus according to an embodiment of the present disclosure. As shown in FIG. 1, the moving body 10 runs around the sound sources 20A and 20B.
  • the moving body 10 has an internal space that is a space for a person to stay in the moving body 10.
  • the moving body 10 shown in FIG. 1 is provided with a seat in the internal space, so that a driver, a passenger, etc. can stay there.
  • the moving body 10 is an automobile.
  • the moving body 10 may be an arbitrary moving body having an internal space where a person stays, and may be a construction vehicle, a ship, an airplane, a train, a vehicle in an amusement park, a playground equipment, or the like.
  • the sound source 20A is a clock tower that sounds a time signal on time.
  • the sound source 20B is a pedestrian and suddenly sounds a voice, footsteps, and the like.
  • these sounds outside the vehicle (hereinafter also referred to as external sounds) are difficult to hear for those who are in the vehicle because the internal space of the vehicle 10 is isolated from the external space.
  • the internal space of the moving body 10 is also referred to as an interior space
  • the external space is also referred to as an exterior space.
  • the information processing apparatus reproduces the external sound toward the vehicle interior space, that is, performs processing for capturing the external sound into the vehicle interior space.
  • the information processing apparatus detects external sounds using microphones 110A to 110D, applies predetermined signal processing to the audio signals representing the detected external sounds, and applies the predetermined signal processing to the interior space of the speakers 120A to 120D. Output.
  • the external sound can be taken in for driving assistance, for example.
  • the external sound is taken into the internal space, so that the driver can know the surrounding situation. For example, the driver can prevent an accident by listening to the sound of the pedestrian 20B and reducing the speed in preparation for the pedestrian 20B jumping to the road.
  • External sound can be taken in for entertainment purposes, for example.
  • a vehicle fitted with a glass for ensuring weather and safety such as a dedicated vehicle in a safari park
  • a sound environment as if there is no glass is realized, and a person in the vehicle space can enjoy a realistic experience.
  • the information processing apparatus according to the present embodiment is implemented as a server apparatus that is mounted on a mobile body or can communicate with the mobile body, and controls an external sound capturing process.
  • the information processing apparatus according to the present embodiment will be described as being mounted on the moving body 10.
  • FIG. 2 is a block diagram illustrating an example of a logical configuration of the information processing apparatus according to the present embodiment.
  • the information processing apparatus 100 includes a sensor unit 110, an output unit 120, a communication unit 130, a storage unit 140, and a processing unit 150.
  • the sensor unit 110 has a function of detecting various information.
  • the sensor unit 110 outputs the detected sensor information to the processing unit 150.
  • the sensor unit 110 may include a sensor that detects information on the external space of the moving body.
  • the sensor unit 110 detects external sound as information on the external space of the moving body.
  • the sensor that detects external sound may include a plurality of microphones such as the microphones 110A to 110D shown in FIG. Of course, there may be only one microphone.
  • a microphone that detects external sound is typically installed on a moving body in a state in which at least a part of the configuration of a diaphragm or the like is exposed to the external space (that is, a state in which the outside air is touched).
  • a microphone that detects external sound is installed on the outer wall of the vehicle body.
  • the sensor unit 110 may detect a captured image, depth information, an infrared image, or the like as information on the external space of the moving body.
  • the sensor unit 110 may include a sensor that detects information related to the state of the moving object. For example, the sensor unit 110 detects the speed, acceleration, position information, or the like of the moving body as information regarding the state of the moving body.
  • the sensor unit 110 may include a sensor that detects information on the internal space of the moving body.
  • the sensor unit 110 detects input information, sound, captured images, biological information, or the like by a person in the internal space as information on the internal space of the moving body.
  • the sensor unit 110 may include a clock that detects time information.
  • Output unit 120 The output unit 120 has a function of outputting various information.
  • the output unit 120 outputs information based on control by the processing unit 150.
  • the output unit 120 can output information to the internal space of the moving body.
  • the output unit 120 may include a plurality of speakers such as the speakers 120A to 120D illustrated in FIG. Of course, there may be only one speaker.
  • the speaker is typically installed in an interior space such as the inside of a door.
  • the output unit 120 may output an image (still image or moving image), vibration, or the like.
  • the communication unit 130 has a function of transmitting and receiving signals to and from other devices.
  • the communication unit 130 can communicate using any communication standard such as cellular communication such as 4G or 5G, wireless LAN (Local Area Network), Wi-Fi (registered trademark), or Bluetooth (registered trademark).
  • cellular communication such as 4G or 5G
  • wireless LAN Local Area Network
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • the communication unit 130 can communicate using V2X (Vehicle to Everything) communication.
  • Storage unit 140 has a function of temporarily or permanently storing information for the operation of the information processing apparatus 100.
  • the storage unit 140 stores known sound source information described later.
  • Processing unit 150 provides various functions of the information processing apparatus 100.
  • the processing unit 150 includes an acquisition unit 151, a setting unit 153, a generation unit 155, and an output control unit 157.
  • the processing unit 150 may further include other components other than these components. That is, the processing unit 150 can perform operations other than the operations of these components.
  • the function of each component of the acquisition unit 151, the setting unit 153, the generation unit 155, and the output control unit 157 will be described in detail later.
  • the information processing apparatus 100 acquires an audio signal (that is, a signal representing an external sound) from a sound source that exists outside the moving body.
  • the information processing apparatus 100 acquires a sound signal of a sound that is actually sounding in a sound source that is detected by the microphones 110A to 110D shown in FIG.
  • the information processing apparatus 100 After acquiring the audio signal, the information processing apparatus 100 (for example, the setting unit 153) sets the operation mode.
  • the information processing apparatus 100 selects and sets an operation mode from an operation mode group including a plurality of operation modes.
  • an operation mode group including a plurality of operation modes.
  • the operation mode group may include a first operation mode in which output to the internal space of the moving body is not performed. By operating in the first operation mode, the information processing apparatus 100 can stop the external sound from being taken into the vehicle interior space.
  • the operation mode group may include a second operation mode in which output to the internal space of the moving object is performed.
  • the information processing apparatus 100 can take in external sound into the vehicle interior space by operating in the second operation mode.
  • the second operation mode can be subdivided into third to fifth operation modes described below.
  • the second operation mode may include a third operation mode in which a known sound source is a target sound source.
  • a known sound source is a sound source that emits sound according to a predetermined condition.
  • the known sound source for example, a sound source that emits sound as scheduled according to conditions such as place and time, such as the clock tower 20A, fireworks display, and railroad crossing shown in FIG.
  • a sound such as a sound from a clock tower of a tourist attraction or a crossing sound can be taken into the vehicle interior space. Therefore, it can be said that the third operation mode is effective for both driving support and entertainment.
  • the second operation mode may include a fourth operation mode in which an unknown sound source is a target sound source.
  • an unknown sound source is a sound source that suddenly emits sound.
  • the unknown sound source for example, the pedestrian 20B shown in FIG.
  • the fourth operation mode suddenly generated sounds such as sounds from pedestrians and oncoming vehicles can be taken into the vehicle interior space. Therefore, the fourth operation mode is particularly effective for driving support applications.
  • the second operation mode may include a fifth operation mode in which a known sound source and an unknown sound source are target sound sources.
  • the information processing apparatus 100 can take in external sound from both the known sound source and the unknown sound source into the vehicle interior space.
  • the information processing apparatus 100 (for example, the setting unit 153) can set (in other words, switch) the operation mode based on various criteria.
  • the information processing apparatus 100 may set the operation mode based on a sound signal from a sound source that exists outside the moving body. Specifically, the information processing apparatus 100 can switch between the first operation mode and the second operation mode according to the presence / absence, magnitude, or type of external sound.
  • the information processing apparatus 100 may set an operation mode based on the known sound source information.
  • the known sound source information may include, for example, map information, and the information processing apparatus 100 may set the operation mode based on the map information indicating the position of the known sound source and the position information of the moving body.
  • the map information includes information indicating a range in which sound from a known sound source should be taken.
  • the range in which the sound from the known sound source is to be captured may be defined as, for example, the position of the known sound source and a circle centered on the position.
  • the information indicating the range in which the sound from the known sound source is to be captured is Position information and distance information on the radius of the circle.
  • the map information 30 includes position information indicating a position 31 of a known sound source and information indicating a range 32 within a predetermined distance from the known sound source.
  • the information processing apparatus 100 refers to the map information 30, sets the third operation mode when the moving body is located within the range 32, and sets the fourth operation mode when the moving body is located outside the range 32. Set the operation mode.
  • the map information may further include information indicating a time zone in which the known sound source emits sound.
  • the information processing apparatus 100 further sets the operation mode based on the current time. For example, the information processing apparatus 100 sets the third operation mode when the moving body is located within a range in which sound from a known sound source is to be captured and the current time is included in a time zone in which the known sound source emits sound. Set. As a result, the information processing apparatus 100 can take the sound from the known sound source into the vehicle interior in a pinpoint manner in accordance with the time zone when the known sound source emits sound.
  • the map information may include information indicating types of roads such as general roads, highways, elevated roads, and underground roads, and the information processing apparatus 100 may set an operation mode based on such information. .
  • the known sound source information may include additional sound.
  • the additional sound is a sound signal associated with a known sound source, and is stored in advance in the storage unit 140 or an external server device.
  • the information processing apparatus 100 acquires and outputs additional sound stored in advance related to the known sound source.
  • the additional sound is, for example, a description related to a known sound source such as the history of the clock tower 20A in the example shown in FIG. 1, or a sound effect in an amusement park. For example, in the example shown in FIG.
  • the information processing apparatus 100 uses the sound that is actually ringing on the clock tower 20 ⁇ / b> A when the car 10 is located within a predetermined distance from the clock tower 20 ⁇ / b> A during the time zone when the clock tower 20 ⁇ / b> A rings. Is output to the interior space of the vehicle, and a sound explaining the history of the clock tower 20A is output. In this way, it is possible to enhance the amusement in the entertainment use by the additional sound.
  • the storage location of the known sound source information is arbitrary.
  • the known sound source information may be stored in the information processing apparatus 100 or may be stored in a server apparatus on the Internet.
  • the map information of the known sound source information may be stored in the information processing apparatus 100, and the additional sound may be stored in the server apparatus, or may be downloaded as necessary.
  • the information processing apparatus 100 may set the operation mode based on information from the external device.
  • the external device may be a device capable of V2X (Vehicle to Everything) communication such as a car, a device carried by a pedestrian, or an RSU (Road Side Unit).
  • V2X Vehicle to Everything
  • the information processing apparatus 100 recognizes the presence of a vehicle traveling in the driver's blind spot based on information from the RSU, sets the fourth operation mode, and captures the sound from the vehicle into the interior space. It is possible to prevent accidents.
  • the information processing apparatus 100 may set an operation mode based on a user operation. For example, the information processing apparatus 100 may set an operation mode according to an operation mode selection operation by the user.
  • the information processing apparatus 100 After setting the operation mode, the information processing apparatus 100 (for example, the generation unit 155) captures the sound source (unknown sound source and / or known sound source) existing around the moving body into the vehicle interior according to the set operation mode. Select the target sound source as the target sound source. Of course, all sound sources may be selected as target sound sources. In the third mode or the fifth mode, the known sound source may not be selected as the target sound source, or the known sound source may always be selected as the target sound source.
  • the information processing apparatus 100 may use one or a plurality of determination criteria described below in combination.
  • the information processing apparatus 100 may select, as a target sound source, a sound source whose distance from the moving body is a distance according to the speed of the moving body.
  • the information processing apparatus 100 selects a sound source farther from the moving body as the target sound source as the speed of the moving body is higher, and selects a sound source closer to the moving body as the target sound source as the speed of the moving body is lower.
  • the moving object is immediately separated from a nearby sound source, so it is considered that sound from a distant sound source is more useful.
  • the vehicle speed is low, it takes time to approach a distant sound source, so sounds from a nearby sound source are considered to be more useful.
  • the information processing apparatus 100 can capture a more useful sound into the vehicle interior space by using a sound source at a distance corresponding to the speed of the moving object as a target sound source.
  • the information processing apparatus 100 may use one or more of the determination criteria described below.
  • 4 and 5 are diagrams for explaining an example of a process for determining the distance between the moving body and the sound source according to the present embodiment.
  • 4 and 5 the position 41 of the moving body 10 at a certain time point (hereinafter also referred to as a reference time point), the position 42 after t seconds, and the sound source 20A and the sound source 20B far from the moving body 10 at the reference time point are shown. It is shown. 4 is an example when the speed of the moving body 10 is high, and FIG. 5 is an example when the speed of the moving body 10 is low.
  • the information processing apparatus 100 may determine the distance between the moving body and the sound source based on a time-series change in the direction of the sound source with respect to the moving body.
  • a time-series change in the direction of the sound source with respect to the moving body.
  • the time series change from the angle 43 to the angle 44
  • the time-series change from angle 45 to angle 46
  • t seconds of the direction of the sound source 20B relative to the moving body 10 is small.
  • the information processing apparatus 100 determines that the distance to the sound source having a large time-series change in the azimuth with respect to the moving body is close, and determines that the distance to the small sound source is long be able to.
  • the determination of the identity of the sound source after the reference time and t seconds may be performed based on, for example, the spectrum shape of the sound.
  • the information processing apparatus 100 may determine the distance between the moving body and the sound source based on a time-series change in sound pressure from the sound source.
  • a time-series change in sound pressure from the sound source Referring to FIG. 4, when the speed of the moving body 10 is fast, the time-series change of the sound pressure from the sound source 20A for t seconds is large because the distance between the moving body 10 and the sound source 20A is greatly changed.
  • the time-series change of the sound pressure from the sound source 20B for t seconds is small because the distance between the moving body 10 and the sound source 20B does not change much. Therefore, when the speed of the moving body 10 is high, the information processing apparatus 100 can determine that the distance from the sound source having a large time-series change in sound pressure is close, and can determine that the distance from the small sound source is long.
  • the time-series change of the direction of the sound source and the time-series change of the sound pressure are different depending on whether the distance between the moving body and the sound source is long or near. It is thought that there are few. Specifically, when the speed of the moving body 10 is slow, the time-series change (from angle 43 to angle 44) of the direction of the sound source 20A relative to the moving body 10 is small, and the direction t of the sound source 20B is t. The time-series change in seconds (from angle 45 to angle 46) is also small.
  • the time-series change of the sound pressure from the sound source 20A for t seconds is small because the distance between the moving body 10 and the sound source 20A does not change so much, and the sound pressure from the sound source 20B is small.
  • the time-series change for t seconds is also small because the distance between the moving body 10 and the sound source 20B does not change much.
  • the information processing apparatus 100 may determine the distance between the moving body and the sound source based on the absolute value of the sound pressure from the sound source.
  • the absolute value of the sound pressure is considered to be larger as the distance between the moving body and the sound source is closer and smaller as it is farther away. Therefore, when the speed of the moving body is slow, the information processing apparatus 100 can determine the distance between the moving body and the sound source by referring to the absolute value of the sound pressure.
  • the information processing apparatus 100 can increase the determination accuracy by referring to the absolute value of the sound pressure even when the speed of the moving body is high.
  • the information processing apparatus 100 has been described as selecting a sound source whose distance from the moving body is a distance corresponding to the speed of the moving body, as a target sound source.
  • the speed may be a relative speed with the sound source.
  • the information processing apparatus 100 can determine the distance from the moving body based on the above-described determination criterion when the moving body and the sound source are running side by side and the relative speed is low. Further, the information processing apparatus 100 determines the distance from the moving body based on the above-described determination criterion when the moving body and the sound source face each other and the relative speed is high, for example, when the moving body has a high speed. obtain.
  • the information processing apparatus 100 may select whether or not a sound source is the target sound source according to the type of the sound source. For example, the information processing apparatus 100 selectively takes a human voice into the vehicle interior space, or does not take music that sounds outside the vehicle into the vehicle interior space. By such switching, the information processing apparatus 100 can selectively capture only the sound to be captured in the vehicle interior space.
  • the information processing apparatus 100 may select whether or not to use a sound source as a target sound source depending on whether or not the sound from the sound source is a moving object. For example, the information processing apparatus 100 selectively takes in a horn sounded toward a moving body into the vehicle interior space, or does not capture a horn sounded toward another vehicle in the vehicle interior space. Such switching can be performed based on, for example, the direction of the car that honed the horn. By such switching, the information processing apparatus 100 can selectively capture only the sound to be captured in the vehicle interior space.
  • the information processing apparatus 100 After selecting the target sound source, the information processing apparatus 100 (for example, the generation unit 155) generates a sound signal from the target sound source based on the acquired sound signal.
  • the generation of an audio signal from the target sound source can be performed by applying a so-called beam forming process to the acquired audio signal.
  • the information processing apparatus 100 may apply signal processing that cancels sound other than sound from the target sound source to the acquired audio signal. Further, the information processing apparatus 100 may apply signal processing that emphasizes the sound from the target sound source to the acquired audio signal.
  • the information processing apparatus 100 may use additional sound as a sound signal from the target sound source instead of or together with the generation by the signal processing described above. Good.
  • the information processing apparatus 100 After generating the audio signal from the target sound source, the information processing apparatus 100 (for example, the output control unit 157) causes the generated audio signal to be output toward the internal space of the moving body. For example, the information processing apparatus 100 outputs the generated audio signal through the speakers 120A to 120D illustrated in FIG.
  • FIG. 6 is a diagram for explaining an example of signal processing by the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 inputs a plurality of audio signals detected by a plurality of microphones (for example, a microphone array) included in the sensor unit 110 to the howling suppression unit 161.
  • a plurality of microphones for example, a microphone array
  • Howling suppression unit 161 performs processing for suppressing howling. Howling is a phenomenon that oscillates by forming a feedback loop in which a signal emitted from a speaker is input to a microphone again. The howling suppression process will be described with reference to FIG.
  • FIG. 7 is a diagram for explaining an example of howling suppression processing according to the present embodiment.
  • howling suppression processing by the howling suppression unit 161 is applied to the audio signal input from the microphone 110
  • signal processing by the signal processing unit 201 is applied, and amplified by the amplifier 175A or 175B. Output from the speaker 120.
  • the other signal processing shown in FIG. 6 is simplified or omitted, and the signal processing unit 201 includes the wind noise removing unit 162 and the like shown in FIG.
  • the howling suppression unit 161 measures the spatial transfer function H in advance.
  • the howling suppression unit 161 monitors the signal X reproduced from the speaker 120 and estimates the signal Y that passes through the spatial transfer function H and enters the microphone 110 again.
  • the howling suppression unit 161 analyzes the frequency characteristics of the signal Y, and suppresses howling by suppressing a signal in a band exceeding the specified value when the gain of the signal Y to be fed back exceeds the specified value. For example, the howling suppression unit 161 suppresses a signal in a band that exceeds a specified value by applying a notch filter. Note that howling suppression unit 161 suppresses howling by stopping reproduction or lowering gain when it is difficult to suppress howling with a notch filter.
  • Wind noise removal unit 162 As illustrated in FIG. 6, the information processing apparatus 100 inputs a signal after applying the howling suppression process to the wind noise removing unit 162.
  • the wind noise removing unit 162 performs a process of removing wind noise.
  • the wind pressure noise removal may be performed by a fixed filter. Wind noise has a feature that energy is concentrated in a low frequency band. Therefore, the wind noise removing unit 162 can remove the wind noise by applying a high-pass filter that reduces 200 to 300 Hz or less.
  • Wind noise removal may be performed by signal processing. Since wind noise is caused by air turbulence generated in the vicinity of the microphone rather than sound waves, different noise is input for each microphone. That is, the correlation between microphones is characterized by low wind noise and high normal sound waves. Therefore, the wind noise removing unit 162 calculates the correlation between the microphones for each frequency band, determines that wind noise exists when the correlation value falls below a certain threshold, and lowers the gain of the time and band in which the wind noise exists. By performing such processing, wind noise can be removed dynamically.
  • Processing group 170 As illustrated in FIG. 6, the information processing apparatus 100 performs each process included in the processing group 170 after applying the wind noise removal process. The processing in the processing group 170 differs for each set operation mode. The processing group 170 illustrated in FIG. 6 includes processing executed in the fifth operation mode.
  • the known sound source control unit 171 controls signal processing related to the known sound source. Specifically, the known sound source control unit 171 controls the external sound signal separation / selection unit 173A, the external sound signal correction filter 174A, and the amplifier 175A based on the map information among the position information, time, and known sound source information 172. Note that the signal input to the processing group 170 passes through the external sound signal separation / selection unit 173A, the external sound signal correction filter 174A, and the amplifier 175A in this order.
  • the known sound source control unit 171 sets the amplification amount by the amplifier 175A to 0 (that is, sets the amplitude to 0), and stops the reproduction of the signal related to the known sound source, so that the first operation mode or the fourth operation is performed.
  • the operation in the mode may be realized.
  • the unknown sound source control part 176 controls the signal processing regarding an unknown sound source. Specifically, the unknown sound source control unit 176 controls the external sound signal separation / selection unit 173B, the external sound signal correction filter 174B, and the amplifier 175B based on the vehicle speed (that is, the speed of the moving body) and the microphone sound pressure.
  • the signal input to the processing group 170 passes through the external sound signal separation / selection unit 173B, the external sound signal correction filter 174B, and the amplifier 175B in this order.
  • the unknown sound source control unit 176 sets the amplification amount by the amplifier 175B to 0 (that is, sets the amplitude to 0), and stops the reproduction of the signal related to the unknown sound source, so that the first operation mode or the third operation is performed.
  • the operation in the mode may be realized.
  • the external sound signal separation / selection unit 173 (173A or 173B) separates and / or selects an external sound signal (external sound signal).
  • the external sound signal separation / selection unit 173 can employ a conventionally known beam forming technique or sound source separation technique.
  • a conventionally known beam forming technique or sound source separation technique For example, an example will be described with reference to FIG.
  • FIG. 8 is a diagram for explaining an example of an external sound signal separation / selection process according to the present embodiment. As shown in FIG. 8, sound sources 20 ⁇ / b> A, 20 ⁇ / b> B, and 20 ⁇ / b> C exist around the moving body 10.
  • first to third methods as a sound source separation technique using a plurality of microphones of two or more.
  • the first method is a method of extracting a specific sound based on directionality. According to the first method, for example, only the sound source 20A can be extracted.
  • the first method is, for example, delayed beam forming (DS: Delay and Sum Beamforming).
  • the second method is a method of removing a specific sound based on directionality. According to the second method, for example, only the sound source 20A can be removed and the sound sources 20B and 20C can be extracted.
  • the second method is, for example, blind spot control type beam forming (NBF: Null Beamforming).
  • the third method is a method in which the sound source feature is unknown but is separated from the obtained signal so as to be statistically independent. According to the third method, the sound sources 20A, 20B, and 20C can be extracted individually.
  • the third method is, for example, independent component analysis (ICA).
  • the fourth method is a method of extracting each sound source based on the spectral characteristics of the sound source. According to the fourth method, the sound sources 20A, 20B, and 20C can be extracted individually.
  • the fourth method is, for example, non-negative matrix factorization (NMF).
  • the external sound signal separation / selection unit 173A calculates the direction of the known sound source to be acquired using the position information and map information of the moving body 10.
  • the external sound signal separation / selection unit 173B estimates the direction of the unknown sound source based on the phase difference of the input signal for the unknown sound source.
  • the external sound signal separation / selection unit 173 calculates the coefficient of the delayed beam forming in order to acquire the sound in the direction obtained by the calculation.
  • the external sound signal separation / selection unit 173 multiplies the microphone input by a delay beamforming coefficient, and outputs a sound signal of a known sound source or an unknown sound source to be acquired to the external sound signal correction filter 174.
  • the external sound signal correction filter 174 (174A or 174B) performs processing for correcting the external sound signal.
  • the external sound signal correction processing by the external sound signal correction filter will be described with reference to FIG.
  • FIG. 9 is a diagram for explaining an example of the external sound signal correction processing according to the present embodiment.
  • the input signal S detected by the microphone 110 passes through the external sound signal correction filter 174, the amplifier 175, and the speaker 120 and is reproduced as a reproduction signal Z.
  • the other signal processing shown in FIG. 6 is simplified or omitted.
  • the reproduction signal Z is a signal having the characteristics of the path.
  • the microphone characteristic is M
  • the filter characteristic is G
  • the amplifier characteristic is A
  • the speaker characteristic is D
  • the reproduction signal Z is expressed by the following mathematical formula.
  • the amplifier 175 (175A or 175B) amplifies the input signal and outputs it.
  • the amplification amount is controlled by the known sound source control unit 171 or the unknown sound source control unit 176.
  • the information processing apparatus 100 uses an adder 163 to add the signal output from the processing group 170 to which the process related to the known sound source is applied and the signal to which the process related to the unknown sound source is applied.
  • Audio mixer 164 adds a predetermined signal to a signal for capturing external sound via the adder 165.
  • the predetermined signal include additional sound included in the known sound source information 172, a navigation sound signal output from the car navigation device, and an audio signal output from the music playback device.
  • the information processing apparatus 100 outputs from the speaker 120 an audio signal that has undergone the series of processes described above.
  • FIG. 10 is a diagram for explaining an example of signal processing by the information processing apparatus 100 according to the present embodiment.
  • FIG. 10 shows signal processing in the third operation mode with an NC (noise canceling) function.
  • the block related to the unknown sound source ie, the unknown sound source control unit 176, the external sound source control unit 176)
  • an NC control unit 177 and an NC filter 178 which are blocks for performing signal processing for noise canceling, are added.
  • the NC control unit 177 controls signal processing for noise canceling. Specifically, the NC control unit 177 sets the filter coefficient of the NC filter 178 based on a preset NC setting. The NC filter 178 applies a filter to the signal input to the processing group 170.
  • the NC control unit 177 can reduce noise by an arbitrary method such as an FB (Feedforward) method, an FF (Feedforward) method, or an AFF (Adaptive Feedforward) method.
  • the adder 163 adds the signal output from the processing group 170 to which the processing related to the known sound source is applied and the noise cancellation signal output from the NC filter 178.
  • FIG. 11 is a diagram for explaining an example of signal processing by the information processing apparatus 100 according to the present embodiment.
  • FIG. 11 shows signal processing in the fourth operation mode with the NC function.
  • the block relating to the known sound source ie, the known sound source control unit 171 and the known sound source control unit 171 is obtained from the signal processing in the fifth operation mode described above with reference to FIG.
  • an NC control unit 177 and an NC filter 178 which are blocks for performing signal processing for noise canceling, are added.
  • the adder 163 adds the noise cancellation signal output from the processing group 170 and output from the NC filter 178 and the signal to which processing related to the unknown sound source is applied.
  • FIG. 12 is a diagram for explaining an example of signal processing by the information processing apparatus 100 according to the present embodiment.
  • FIG. 12 shows signal processing in the fifth operation mode with the NC function.
  • signal processing for noise canceling is performed in the signal processing in the fifth operation mode without the NC function described above with reference to FIG.
  • An NC control unit 177 and an NC filter 178, a switch 166, and an adder 167, which are blocks, are added.
  • the NC filter 178 shown in FIG. 12 applies a filter to the audio signal detected by the microphone 110 in accordance with control by the NC control unit 177 based on preset NC settings.
  • the adder 167 adds a noise cancellation signal to the signal output from the adder 163 and added with the signal to which the processing related to the known sound source is applied and the signal to which the processing related to the unknown sound source is applied, and To 165.
  • the switch 166 can switch whether to reproduce the noise cancellation signal output from the NC filter 178.
  • the information processing apparatus 100 may emit the sound of the vehicle interior space (that is, the internal sound) to the vehicle exterior space.
  • the operation mode for releasing the internal sound to the outside space is also referred to as a sixth operation mode.
  • the information processing apparatus 100 outputs an audio signal from a sound source (for example, a person such as a driver) existing in the internal space of the moving body 10 toward the outside of the moving body 10. Thereby, for example, a person inside the vehicle can talk to a person outside the vehicle.
  • a sound source for example, a person such as a driver
  • the sixth operation mode may be set based on various criteria. For example, the sixth operation mode can be set according to the presence / absence or volume of an internal sound, a user operation, or the like.
  • the sixth operation mode can be used in combination with the second operation mode described above.
  • a person inside the vehicle and a person outside the vehicle can talk. Therefore, for example, it is possible to receive a refueling service without opening a window at a gas station. Payment can also be made without opening a window via electronic money.
  • people in the car can talk with people outside the car with the windows closed, which is advantageous for crime prevention.
  • FIG. 13 is a view for explaining an example of the process of releasing the internal sound to the outside space according to the present embodiment.
  • the information processing apparatus 100 causes the audio signal detected by the microphone 110 provided in the internal space of the moving body 10 to be output by the speaker 120 provided on the door outer surface of the moving body 10.
  • the information processing apparatus 100 may switch to the sixth operation mode and emit the internal sound in response to a touch operation on the window 11 provided in the moving body 10.
  • the mode may be switched to the sixth operation mode, and when the driver releases the hand from the window 11, the mode may be switched to another mode.
  • the driver can easily talk to or quit the person outside the vehicle.
  • the window 11 may be a video see-through display.
  • the window 11 displays a black-colored screen on the outside of the vehicle while displaying an image outside the vehicle on the inside of the vehicle.
  • the person inside the vehicle can see the outside of the vehicle in the same manner as when the window 11 is made of glass, and can prevent peeping from outside the vehicle.
  • the window 11 may be a video see-through display whose transparency can be controlled.
  • the window 11 normally has low transparency, displays an image outside the vehicle on the inside of the vehicle, and displays a black screen on the outside of the vehicle.
  • the window 11B of FIG. 13 the window 11 increases the transparency when operating in the sixth operation mode, and enables people inside the vehicle and people outside the vehicle to see each other. obtain. Thereby, it is possible to facilitate conversation between a person inside the vehicle and a person outside the vehicle.
  • the information processing apparatus 100 may be realized as an apparatus mounted on any type of vehicle such as an automobile, an electric vehicle, a hybrid electric vehicle, and a motorcycle. Further, at least a part of the components of the information processing apparatus 100 may be realized in a module for an apparatus mounted on a vehicle (for example, an integrated circuit module configured by one die).
  • FIG. 14 is a block diagram illustrating an example of a schematic configuration of a vehicle control system 900 to which the technology according to the present disclosure can be applied.
  • the vehicle control system 900 includes an electronic control unit 902, a storage device 904, an input device 906, a vehicle outside sensor 908, a vehicle state sensor 910, a passenger sensor 912, a communication IF 914, an output device 916, a power generation device 918, a braking device 920, a steering system. 922 and a lamp actuating device 924.
  • the electronic control unit 902 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the vehicle control system 900 according to various programs.
  • the electronic control unit 902 can be formed as an ECU (Electronic Control Unit) together with a storage device 904 described later.
  • a plurality of ECUs may be included in the vehicle control system 900.
  • each of the various sensors or the various drive systems may be provided with an ECU for controlling them, and further provided with an ECU for controlling the plurality of ECUs in a coordinated manner.
  • the plurality of ECUs are connected via an in-vehicle communication network that conforms to an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or Flexray.
  • the electronic control unit 902 can form, for example, the processing unit 150 shown in FIG.
  • the storage device 904 is a data storage device formed as an example of a storage unit of the vehicle control system 900.
  • the storage apparatus 904 is realized by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 904 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 904 stores programs executed by the electronic control unit 902, various data, various data acquired from the outside, and the like.
  • the storage device 904 can form, for example, the storage unit 140 shown in FIG.
  • the input device 906 is realized by a device in which information is input by a passenger (driver or passenger) such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever.
  • the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA corresponding to the operation of the vehicle control system 900.
  • the input device 906 may be a camera, for example, and in that case, the passenger can input information by gesture.
  • the input device 906 may include, for example, an input control circuit that generates an input signal based on information input by the user using the above-described input means and outputs the input signal to the electronic control unit 902.
  • the passenger can operate the input device 906 to input various data to the vehicle control system 900 and to instruct processing operations.
  • the input device 906 can form, for example, the sensor unit 110 shown in FIG.
  • the vehicle outside sensor 908 is realized by a sensor that detects information outside the vehicle.
  • the outside sensor 908 includes a sonar device, a radar device, a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device, a camera, a stereo camera, a ToF (Time Of Flight) camera, an infrared sensor, an environmental sensor, a microphone, and the like. May be included.
  • the vehicle exterior sensor 908 can form, for example, the sensor unit 110 shown in FIG.
  • Vehicle state sensor 910 is realized by a sensor that detects information related to the vehicle state.
  • the vehicle state sensor 910 may include a sensor that detects an operation by the driver such as an accelerator opening, a brake depression pressure, or a steering angle.
  • the vehicle state sensor 910 may include a sensor that detects the state of the power source, such as the rotational speed or torque of the internal combustion engine or motor.
  • the vehicle state sensor 910 may include a sensor for detecting information related to the movement of the vehicle such as a gyro sensor or an acceleration sensor.
  • the vehicle state sensor 910 receives a GNSS signal (for example, a GPS signal from a GPS (Global Positioning System) satellite) from a GNSS (Global Navigation Satellite System) satellite, and includes position information including the latitude, longitude, and altitude of the device.
  • a GNSS module may be included.
  • the vehicle state sensor 910 may detect the position by transmission / reception with Wi-Fi (registered trademark), a mobile phone / PHS / smartphone or the like, or near field communication.
  • Wi-Fi registered trademark
  • the vehicle state sensor 910 can form, for example, the sensor unit 110 shown in FIG.
  • the passenger sensor 912 is realized by a sensor that detects information related to the passenger.
  • the passenger sensor 912 may include a camera, a microphone, and an environment sensor provided in the vehicle.
  • the passenger sensor 912 may include a biological sensor that detects biological information of the passenger.
  • the biometric sensor is provided on, for example, a seat surface or a steering wheel, and can detect biometric information of a passenger sitting on the seat or a driver who holds the steering wheel.
  • the passenger sensor 912 can form, for example, the sensor unit 110 shown in FIG.
  • various sensors such as the outside sensor 908, the vehicle state sensor 910, and the passenger sensor 912 each output information indicating the detection result to the electronic control unit 902. These various sensors may set a sensing range or accuracy based on control by the electronic control unit 902. These various sensors include a recognition module that performs recognition processing based on raw data such as processing for recognizing the traveling position of the host vehicle on the road based on the position of the white line included in the captured image. Also good.
  • the communication IF 914 is a communication interface that mediates communication with other devices by the vehicle control system 900.
  • the communication IF 914 may include, for example, a V2X communication module.
  • V2X communication is a concept including vehicle-to-vehicle (Vehicle to Vehicle) communication and road-to-vehicle (Vehicle to Infrastructure) communication.
  • the communication IF 914 can be a wireless local area network (LAN), Wi-Fi (registered trademark), 3G, LTE (Long Term Evolution), Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB). ) Communication module.
  • LAN local area network
  • Wi-Fi registered trademark
  • 3G Third Generation
  • LTE Long Term Evolution
  • Bluetooth registered trademark
  • NFC Near Field Communication
  • WUSB Wireless USB
  • the communication IF 914 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet or a communication device outside the vehicle.
  • the communication IF 914 can form, for example, the communication unit 130 illustrated in FIG.
  • the output device 916 is realized by a device that can notify the passenger or the outside of the acquired information visually or audibly.
  • Such devices include display devices such as instrument panels, head-up displays, projectors or lamps, and audio output devices such as speakers or headphones.
  • the display device visually displays the results obtained by various processes performed by the vehicle control system 900 in various formats such as text, images, tables, and graphs. At that time, a virtual object such as an AR (Augmented Reality) object may be displayed.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs it aurally.
  • the output device 916 can form, for example, the output unit 120 shown in FIG.
  • the power generation device 918 is a device for generating a driving force of the vehicle.
  • the power generation device 918 may be realized by an internal combustion engine, for example. In that case, the power generation device 918 performs start control, stop control, throttle valve opening control, fuel injection control, EGR (Exhaust Gas Recirculation) control, and the like based on a control command from the electronic control unit 902. .
  • the power generation device 918 may be realized by, for example, a motor, an inverter, and a battery. In that case, the power generation device 918 supplies electric power from the battery to the motor via the inverter based on a control command from the electronic control unit 902 and outputs a positive torque, so-called power running, and torque to the motor. And a regenerative operation of charging the battery via an inverter.
  • the braking device 920 is a device for applying a braking force to the vehicle, or decelerating or stopping the vehicle.
  • the braking device 920 may include, for example, a brake installed on each wheel, a brake pipe or an electric circuit for transmitting the depression pressure of the brake pedal to the brake, and the like.
  • the braking device 920 may include a control device for operating a sliding or skid prevention mechanism by brake control such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • Steering 922 is a device for controlling the traveling direction (steering angle) of the vehicle.
  • the steering 922 can include, for example, a steering wheel, a steering shaft, a steering gear, and a tie rod.
  • the steering 922 may include power steering for assisting steering by the driver.
  • the steering 922 may include a power source such as a motor for realizing automatic steering.
  • the lamp operating device 924 is a device that operates various lamps such as a headlight, a blinker, a vehicle width light, a fog light, or a stop lamp.
  • the lamp operating device 924 controls, for example, the blinking of the lamp, the amount of light, or the irradiation direction.
  • the power generation device 918, the braking device 920, the steering 922, and the lamp operation device 924 may operate based on a manual operation by a driver or may operate based on an automatic operation by the electronic control unit 902. .
  • each of the above components may be realized using a general-purpose member, or may be realized by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the technical level at the time of carrying out this embodiment.
  • a computer program for realizing each function of the information processing apparatus 100 according to the present embodiment as described above can be produced and installed in an ECU or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • the information processing apparatus 100 acquires an audio signal from a sound source that exists outside the moving body, and the distance between the sound source and the moving body depends on the speed of the moving body.
  • An audio signal from the target sound source is generated based on the acquired audio signal and output toward the internal space of the moving body.
  • the car it is possible to realize a realistic sound environment in the interior space as if there is no car wall.
  • the person in the vehicle interior can hear the external sound from a properly selected sound source, it is also effective for driving support applications such as accident prevention, and sound effects on amusement park vehicles. It is also effective for entertainment purposes such as listening to music.
  • the present technology can be applied to a sightseeing bus traveling in the city.
  • a sightseeing bus sound from a known sound source such as the sound of a bell of a tourist attraction or a sound effect of an attraction, the sound of a seaside wave seen from a car window or the sound of a train running next to the car interior space
  • a known sound source such as the sound of a bell of a tourist attraction or a sound effect of an attraction, the sound of a seaside wave seen from a car window or the sound of a train running next to the car interior space
  • the present technology can be applied to non-open cars.
  • the present technology can be applied to amusement park vehicles.
  • the vehicle of a vehicle with a transparent outer wall for example, it can provide a simulated warp experience or provide a safe and realistic driving experience in an area where dangerous wildlife lives Is possible.
  • An acquisition unit for acquiring an audio signal from a sound source existing outside the moving body;
  • a generating unit that generates an audio signal from a target sound source whose distance to the moving body among the sound sources is a distance corresponding to a speed of the moving body based on the audio signal acquired by the acquiring unit;
  • An output control unit for outputting the audio signal generated by the generation unit toward the internal space of the moving body;
  • An information processing apparatus comprising: (2)
  • the information processing apparatus further includes a setting unit that sets an operation mode from an operation mode group, including a first operation mode in which no output is performed toward the internal space and a second operation mode in which the output is performed.
  • the information processing apparatus includes a third operation mode in which a known sound source is the target sound source and a fourth operation mode in which an unknown sound source is the target sound source.
  • the second operation mode includes a fifth operation mode in which a known sound source and an unknown sound source are used as the target sound source.
  • the setting unit sets the operation mode based on map information indicating a position of a known sound source and position information of the moving body.
  • the map information includes information indicating a time zone in which a known sound source emits sound, The information processing apparatus according to (5), wherein the setting unit sets the operation mode further based on a current time.
  • the information processing apparatus according to any one of (3) to (6), wherein the acquisition unit acquires a previously stored audio signal related to a known sound source.
  • the setting unit sets an operation mode based on information from an external device.
  • the generation unit selects the sound source farther from the moving body as the target sound source as the speed of the moving body is higher, and selects the sound source closer to the moving body as the target sound source as the speed of the moving body is lower.
  • the information processing apparatus according to any one of (1) to (8).
  • the information processing apparatus according to any one of (1) to (12), wherein the generation unit selects whether to use the sound source as the target sound source according to a type of the sound source. (14) The generation unit selects whether or not to use the sound source as the target sound source according to whether or not the target of the sound from the sound source is the moving body, any of (1) to (13) The information processing apparatus according to claim 1. (15) The output control unit outputs an audio signal from a sound source existing in the internal space toward the outside of the moving body in response to a touch operation on a window provided in the moving body. The information processing apparatus according to any one of (14). (16) The information processing apparatus according to (15), wherein the window is a video see-through display capable of controlling transparency.

Abstract

【課題】適切な音源からの外音を選択的に移動体に内部空間に取り込む仕組みを提供する。 【解決手段】移動体の外部に存在する音源からの音声信号を取得する取得部と、前記音源のうち前記移動体との距離が前記移動体の速度に応じた距離である対象音源からの音声信号を、前記取得部により取得された音声信号に基づいて生成する生成部と、前記生成部により生成された音声信号を前記移動体の内部空間に向けて出力させる出力制御部と、を備える情報処理装置。

Description

情報処理装置、情報処理方法及び記録媒体
　本開示は、情報処理装置、情報処理方法及び記録媒体に関する。
　近年、ノイズキャンセリング技術等の静音性を確保する技術が向上する一方で、静音性の向上の弊害が指摘されている。例えば、ユーザがヘッドホンを装着して音楽を聴きながら街を歩く場合、周囲に存在する音源からの外音が聞こえ辛くなる。そのため、例えばユーザが接近する自動車に気付かず危険であることや、周囲と隔絶され閉塞感を覚えてしまうこと等が指摘されている。
　このような指摘への対策として、例えば、下記特許文献１では、ヘッドホンにおいて外音を取り込むことで、ユーザが感じる閉塞感を低減する技術が開示されている。
特開２０１５－１７３３６９号公報
　同様の事情が自動車等の移動体に関してもあると考えられる。例えば、自動車のエンジン音や走行音による内部空間への影響を減らすために、車体の遮音性能が飛躍的に向上している一方で、外音が聞こえないことに起因する危険や閉塞感の発生といった弊害も生じていると考えられる。
　そこで、本開示では、適切な音源からの外音を選択的に移動体に内部空間に取り込む仕組みを提供する。
　本開示によれば、移動体の外部に存在する音源からの音声信号を取得する取得部と、前記音源のうち前記移動体との距離が前記移動体の速度に応じた距離である対象音源からの音声信号を、前記取得部により取得された音声信号に基づいて生成する生成部と、前記生成部により生成された音声信号を前記移動体の内部空間に向けて出力させる出力制御部と、を備える情報処理装置が提供される。
　また、本開示によれば、移動体の外部に存在する音源からの音声信号を取得することと、前記音源のうち前記移動体との距離が前記移動体の速度に応じた距離である対象音源からの音声信号を、取得された音声信号に基づいて生成することと、生成された音声信号を前記移動体の内部空間に向けて出力装置により出力させることと、を含む情報処理方法が提供される。
　また、本開示によれば、コンピュータを、移動体の外部に存在する音源からの音声信号を取得する取得部と、前記音源のうち前記移動体との距離が前記移動体の速度に応じた距離である対象音源からの音声信号を、前記取得部により取得された音声信号に基づいて生成する生成部と、前記生成部により生成された音声信号を前記移動体の内部空間に向けて出力させる出力制御部と、として機能させるためのプログラムが記録された記録媒体が提供される。
　本開示によれば、移動体の内部空間に向けて、移動体の外部に存在する音源から取得された音声信号に基づいて生成された信号が出力される。これにより、移動体の内部空間に外音を取り込むことが可能となる。さらには、移動体の速度に応じた適切な音源からの外音を選択的に取り込むことが可能となる。
　以上説明したように本開示によれば、適切な音源からの外音を選択的に移動体に内部空間に取り込む仕組みが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理装置の一例を説明するための図である。 本実施形態に係る情報処理装置の論理的な構成の一例を示すブロック図である。 本実施形態に係る動作モードの設定の一例を説明するための図である。 本実施形態に係る移動体と音源との距離の判断処理の一例を説明するための図である。 本実施形態に係る移動体と音源との距離の判断処理の一例を説明するための図である。 本実施形態に係る情報処理装置による信号処理の一例を説明するための図である。 本実施形態に係るハウリング抑制処理の一例を説明するための図である。 本実施形態に係る外音信号の分離・選択処理の一例を説明するための図である。 本実施形態に係る外音信号補正処理の一例を説明するための図である。 本実施形態に係る情報処理装置による信号処理の一例を説明するための図である。 本実施形態に係る情報処理装置による信号処理の一例を説明するための図である。 本実施形態に係る情報処理装置による信号処理の一例を説明するための図である。 本実施形態に係る内音の車外空間への放出処理の一例を説明するための図である。 車両システムの概略的な構成の一例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　　１．概要
　　２．機能構成
　　３．技術的特徴
　　　３．１．音声信号の取得
　　　３．２．動作モードの設定
　　　３．３．対象音源の選択
　　　３．４．音声信号の生成
　　　３．５．音声信号の出力
　　４．具体的な信号処理例
　　５．補足
　　６．応用例
　　７．まとめ
　＜＜１．概要＞＞
　図１は、本開示の一実施形態に係る情報処理装置の一例を説明するための図である。図１に示すように、音源２０Ａ及び２０Ｂの周囲を移動体１０が走行している。
　移動体１０は、移動体１０に人が滞在するための空間である内部空間を有している。図１に示した移動体１０には、内部空間に座席が設けられており、運転者や同乗者等が滞在することが可能である。
　図１に示した例では、移動体１０は、自動車である。移動体１０は、人が滞在する内部空間を有する任意の移動体であってもよく、例えば工事用車両、船、飛行機、電車、遊園地における乗り物、又は遊具等であってもよい。
　音源２０Ａは時計台であり、定刻に時報を鳴らす。音源２０Ｂは歩行者であり、話声や足音等を突発的に鳴らす。しかしながら、これらの車外空間の音（以下、外音とも称する）は、車１０の内部空間が外部空間と隔絶されていること起因して、車内にいる人にとって聞こえ辛いものとなる。なお、以下では、移動体１０の内部空間を車内空間とも称し、外部空間を車外空間とも称する。
　そこで、本実施形態に係る情報処理装置は、外音を車内空間に向けて再生する、即ち外音を車内空間に取り込む処理を行う。例えば、本実施形態に係る情報処理装置は、マイク１１０Ａ～１１０Ｄにより外音を検出して、検出された外音を表す音声信号に所定の信号処理を適用し、スピーカ１２０Ａ～１２０Ｄにより車内空間に出力する。これにより、車に関しては、車の壁が無いかのような臨場感のある音環境を車内空間に実現することが可能となる。
　外音の取り込みは、例えば運転支援用途のために行われ得る。外音が内部空間へ取り込まれることで、運転者は周囲の状況を知得することが可能となる。例えば、運転者は、歩行者２０Ｂの音を聞いて、歩行者２０Ｂの道路への飛び出しに備えてスピードを落とす等して事故を防止することが可能である。
　外音の取り込みは、例えば娯楽用途のためにも行われ得る。例えば、サファリパークにおける専用車等、天候や安全性確保のためにガラス張りされた乗り物においては、ガラスの影響で外音の音圧や特性が変化し、臨場感を著しく失うことになる。そのような場合に、外音の取り込みが行われることで、あたかもガラスが無いような音環境が実現されて、車内空間の人は臨場感のある体験を享受することが可能となる。
　なお、本実施形態に係る情報処理装置は、移動体に搭載され、又は移動体と通信可能なサーバ装置として実現され、外音の取り込み処理を制御する。以下では、本実施形態に係る情報処理装置が移動体１０に搭載されるものとして説明する。
　＜＜２．機能構成＞＞
　図２は、本実施形態に係る情報処理装置の論理的な構成の一例を示すブロック図である。図２に示すように、本実施形態に係る情報処理装置１００は、センサ部１１０、出力部１２０、通信部１３０、記憶部１４０及び処理部１５０を含む。
　（１）センサ部１１０
　センサ部１１０は、多様な情報を検出する機能を有する。センサ部１１０は、検出したセンサ情報を処理部１５０に出力する。
　センサ部１１０は、移動体の外部空間の情報を検出するセンサを含み得る。例えば、センサ部１１０は、移動体の外部空間の情報として、外音を検出する。外音を検出するセンサは、図１に示したマイク１１０Ａ～１１０Ｄのように、複数のマイクを含み得る。もちろん、マイクはひとつであってもよい。外音を検出するマイクは、典型的には振動板等の構成の少なくとも一部が外部空間に露出した状態（即ち、外気に触れる状態）で移動体に設置される。例えば、外音を検出するマイクは、車体の外壁に設置される。その他、センサ部１１０は、移動体の外部空間の情報として、撮像画像や深度情報、赤外線画像等を検出してもよい。
　センサ部１１０は、移動体の状態に関する情報を検出するセンサを含み得る。例えば、センサ部１１０は、移動体の状態に関する情報として、移動体の速度、加速度、又は位置情報等を検出する。
　センサ部１１０は、移動体の内部空間の情報を検出するセンサを含み得る。例えば、センサ部１１０は、移動体の内部空間の情報として、内部空間にいる人による入力情報、音声、撮像画像、又は生体情報等を検出する。
　センサ部１１０は、時刻情報を検出する時計を含み得る。
　（２）出力部１２０
　出力部１２０は、多様な情報を出力する機能を有する。出力部１２０は、処理部１５０による制御に基づいて情報を出力する。
　出力部１２０は、移動体の内部空間に情報を出力し得る。例えば、出力部１２０は、図１に示したスピーカ１２０Ａ～１２０Ｄのように、複数のスピーカを含み得る。もちろん、スピーカはひとつであってもよい。スピーカは、典型的にはドアの内側等の車内空間に設置される。その他、出力部１２０は、画像（静止画像又は動画像）又は振動等を出力してもよい。
　（３）通信部１３０
　通信部１３０は、他の装置との間で信号を送受信する機能を有する。例えば、通信部１３０は、４Ｇ若しくは５Ｇ等のセルラー通信、無線ＬＡＮ（Local　Area　Network）、Ｗｉ－Ｆｉ（登録商標）又はＢｌｕｅｔｏｏｔｈ（登録商標）等の任意の通信規格を用いて通信し得る。とりわけ、移動体が車である場合、通信部１３０は、Ｖ２Ｘ（Vehicle　to　Everything）通信を用いて通信し得る。
　（４）記憶部１４０
　記憶部１４０は、情報処理装置１００の動作のための情報を一時的に又は恒久的に記憶する機能を有する。例えば、記憶部１４０は、後述する既知音源情報を記憶する。
　（５）処理部１５０
　処理部１５０は、情報処理装置１００の様々な機能を提供する。処理部１５０は、取得部１５１、設定部１５３、生成部１５５及び出力制御部１５７を含む。なお、処理部１５０は、これらの構成要素以外の他の構成要素をさらに含み得る。即ち、処理部１５０は、これらの構成要素の動作以外の動作も行い得る。取得部１５１、設定部１５３、生成部１５５及び出力制御部１５７の各々の構成要素の機能は、後に詳しく説明する。
　＜＜３．技術的特徴＞＞
　＜３．１．音声信号の取得＞
　まず、情報処理装置１００（例えば、取得部１５１）は、移動体の外部に存在する音源からの音声信号（即ち、外音を表す信号）を取得する。例えば、情報処理装置１００は、図１に示したマイク１１０Ａ～１１０Ｄにより検出された、移動体の外部に存在する音源において実際に鳴っている音の音声信号を取得する。
　＜３．２．動作モードの設定＞
　音声信号の取得後、情報処理装置１００（例えば、設定部１５３）は、動作モードを設定する。
　情報処理装置１００（設定部１５３）は、複数の動作モードを含む動作モード群から動作モードを選択して、設定する。以下、動作モード群に含まれる動作モードの一例を説明する。
　（１）動作モード群
　動作モード群は、移動体の内部空間への出力が行われない第１の動作モードを含んでいてもよい。情報処理装置１００は、第１の動作モードで動作することで、外音の車内空間への取り込みを停止することができる。
　動作モード群は、移動体の内部空間への出力が行われる第２の動作モードを含んでいてもよい。情報処理装置１００は、第２の動作モードで動作することで、外音の車内空間への取り込みを実施することができる。第２の動作モードは、以下に説明する第３～第５の動作モードに細分化され得る。
　第２の動作モードは、既知音源を対象音源とする第３の動作モードを含んでいてもよい。情報処理装置１００は、第３の動作モードで動作することで、既知音源からの外音の車内空間への取り込みを実施することができる。既知音源とは、予め定められた条件に応じて音を発する音源である。既知音源としては、例えば図１に示した時計台２０Ａ、花火大会、及び踏切等の、場所や時間といった条件に応じて予定通りに音を発する音源が挙げられる。第３の動作モードでは、観光名所の時計台からの音や踏切音といった音を車内空間へ取り込むことが可能となる。そのため、第３の動作モードは、運転支援用途にも娯楽用途にも効果的であると言える。
　第２の動作モードは、未知音源を対象音源とする第４の動作モードを含んでいてもよい。情報処理装置１００は、第４の動作モードで動作することで、未知音源からの外音の車内空間への取り込みを実施することができる。未知音源とは、突発的に音を発する音源である。未知音源としては、例えば図１に示した歩行者２０Ｂ、及び対向車等が考えられる。第４の動作モードでは、歩行者や対向車からの音といった突発的に発生する音を車内空間へ取り込むことが可能となる。そのため、第４の動作モードは、とりわけ運転支援用途に効果的である。
　第２の動作モードは、既知音源及び未知音源を対象音源とする第５の動作モードを含んでいてもよい。情報処理装置１００は、第５の動作モードで動作することで、既知音源及び未知音源の双方からの外音の車内空間への取り込みを実施することができる。
　（２）動作モードの設定
　情報処理装置１００（例えば、設定部１５３）は、多様な基準に基づいて動作モードを設定（換言すると、切り替え）し得る。
　・外音
　情報処理装置１００は、移動体の外部に存在する音源からの音声信号に基づいて動作モードを設定してもよい。具体的には、情報処理装置１００は、外音の有無、大きさ又は種別等に応じて、第１の動作モードと第２の動作モードとを切り替え得る。
　・既知音源情報
　情報処理装置１００は、既知音源情報に基づいて動作モードを設定してもよい。
　既知音源情報は、例えばマップ情報を含み得、情報処理装置１００は、既知音源の位置を示すマップ情報と移動体の位置情報に基づいて動作モードを設定してもよい。
　マップ情報は、既知音源からの音を取り込むべき範囲を示す情報を含む。既知音源からの音を取り込むべき範囲は、例えば既知音源の位置及び当該位置を中心とする円として規定されてもよく、その場合、既知音源からの音を取り込むべき範囲を示す情報は、既知音源の位置情報及び当該円の半径の距離情報を含む。マップ情報に基づく動作モード設定の一例を、図３を参照して説明する。図３は、本実施形態に係る動作モードの設定の一例を説明するための図である。図３では、マップ情報３０の一例が示されており、マップ情報３０は、既知音源の位置３１を示す位置情報及び既知音源から所定距離内である範囲３２を示す情報を含む。例えば、情報処理装置１００は、マップ情報３０を参照して、範囲３２内に移動体が位置する場合に第３の動作モードを設定し、範囲３２外に移動体が位置する場合に第４の動作モードを設定する。
　マップ情報は、既知音源が音を発する時間帯を示す情報をさらに含んでいてもよく、その場合、情報処理装置１００は、現在時刻にさらに基づいて動作モードを設定する。例えば、情報処理装置１００は、既知音源からの音を取り込むべき範囲内に移動体が位置し、且つ、既知音源が音を発する時間帯に現在時刻が含まれる場合に、第３の動作モードを設定する。これにより、情報処理装置１００は、既知音源が音を発する時間帯に合わせてピンポイントに既知音源からの音を車内空間に取り込むことが可能となる。
　また、マップ情報は、一般道、高速道路、高架、及び地下道等の道路の種別を示す情報を含んでいてもよく、情報処理装置１００は、かかる情報に基づいて動作モードを設定してもよい。
　既知音源情報は、付加音声を含んでいてもよい。付加音声とは、既知音源に関連付けられた音声信号であり、記憶部１４０又は外部のサーバ装置等に予め記憶される。情報処理装置１００は、第３のモード又は第５のモードにおいて、既知音源に関する予め記憶された付加音声を取得して、出力する。付加音声は、例えば図１に示した例における時計台２０Ａの歴史等の既知音源に関する説明、又は遊園地における効果音等である。例えば、情報処理装置１００は、図１に示した例において、時計台２０Ａが鳴る時間帯に時計台２０Ａから所定距離内に車１０が位置する場合に、時計台２０Ａで実際に鳴っている音を車内空間に取り込みつつ、時計台２０Ａの歴史を説明する音声を出力する。このように、付加音声により、娯楽用途における娯楽性を高めることが可能である。
　なお、既知音源情報の記憶場所は任意である。例えば、既知音源情報は情報処理装置１００に記憶されてもよいし、インターネット上のサーバ装置に記憶されていてもよい。また、既知音源情報のうちマップ情報が情報処理装置１００に記憶され、付加音声はサーバ装置に記憶されていてもよく、必要に応じてダウンロードされてもよい。
　　・外部機器からの情報
　情報処理装置１００は、外部機器からの情報に基づいて動作モードを設定してもよい。
例えば、外部機器は、車、歩行者（pedestrian）が携帯するデバイス、又はＲＳＵ（Road　Side　Unit）等の、Ｖ２Ｘ（Vehicle　to　Everything）通信可能な装置であってもよい。例えば、情報処理装置１００は、運転者の死角を走行する車の存在をＲＳＵからの情報に基づき認識し、第４の動作モードを設定してかかる車からの音を車内空間に取り込むことで、事故を未然に防止することが可能である。
　　・ユーザ操作
　情報処理装置１００は、ユーザ操作に基づいて動作モードを設定してもよい。例えば、情報処理装置１００は、ユーザによる動作モードの選択操作に応じた動作モードを設定してもよい。
　＜３．３．対象音源の選択＞
　動作モードの設定後、情報処理装置１００（例えば、生成部１５５）は、設定された動作モードに従い、移動体の周囲に存在する音源（未知音源及び／又は既知音源）から、車内空間への取り込み対象となる音源を対象音源として選択する。もちろん、音源がすべて対象音源として選択されてもよい。なお、第３のモード又は第５のモードにおいて、既知音源が対象音源として選択されない場合があってもよいし、既知音源は常に対象音源として選択されてもよい。
　対象音源の選択基準は多様に考えられる。以下、その一例を説明する。情報処理装置１００は、以下に説明する判断基準のひとつ又は複数を組み合わせて用いてもよい。
　　・距離
　情報処理装置１００は、音源のうち移動体との距離が移動体の速度に応じた距離である音源を、対象音源として選択してもよい。
　詳しくは、情報処理装置１００は、移動体の速度が速いほど移動体から遠い音源を対象音源として選択し、移動体の速度が遅いほど移動体から近い音源を対象音源として選択する。典型的には、車速が速い場合、移動体は近くの音源からすぐに離れてしまうので、遠くの音源からの音の方が有用であると考えられる。一方で、車速が遅い場合、遠くの音源に近づくまで時間がかかるので、近くの音源からの音の方が有用であると考えられる。情報処理装置１００は、移動体の速度に応じた距離の音源を対象音源とすることで、より有用な音を車内空間に取り込むことが可能となる。
　移動体と音源との距離の判断基準は多様に考えられる。以下、図４及び図５を参照してその一例を説明する。なお、情報処理装置１００は、以下に説明する判断基準のひとつ又は複数を組み合わせて用いてもよい。
　図４及び図５は、本実施形態に係る移動体と音源との距離の判断処理の一例を説明するための図である。図４及び図５では、移動体１０のある時点（以下、基準時点とも称する）における位置４１、及びそのｔ秒後の位置４２、並びに基準時点において移動体１０から近い音源２０Ａと遠い音源２０Ｂが示されている。そして、図４は移動体１０の速度が速い場合の例であり、図５は移動体１０の速度が遅い場合の例である。
　例えば、情報処理装置１００は、移動体と音源との距離を、移動体を基準とする音源の方位の時系列変化に基づいて判断してもよい。図４を参照すると、移動体１０の速度が速い場合、移動体１０を基準とする音源２０Ａの方位のｔ秒間の時系列変化（角度４３から角度４４まで）は大きい。また、図４を参照すると、移動体１０の速度が速い場合、移動体１０を基準とする音源２０Ｂの方位のｔ秒間の時系列変化（角度４５から角度４６まで）は小さい。そこで、情報処理装置１００は、移動体１０の速度が速い場合、移動体を基準とする方位の時系列変化が大きい音源との距離は近いと判断し、小さい音源との距離は遠いと判断することができる。なお、基準時点とｔ秒後における音源の同一性の判断は、例えば音のスペクトル形状に基づいて行われてもよい。
　例えば、情報処理装置１００は、移動体と音源との距離を、音源からの音圧の時系列変化に基づいて判断してもよい。図４を参照すると、移動体１０の速度が速い場合、音源２０Ａからの音圧のｔ秒間の時系列変化は、移動体１０と音源２０Ａとの距離が大きく変わるので大きい。また、図４を参照すると、移動体１０の速度が速い場合、音源２０Ｂからの音圧のｔ秒間の時系列変化は、移動体１０と音源２０Ｂとの距離があまり変わらないので小さい。そこで、情報処理装置１００は、移動体１０の速度が速い場合、音圧の時系列変化が大きい音源との距離は近いと判断し、小さい音源との距離は遠いと判断することができる。
　ここで、図５を参照すると、移動体１０の速度が遅い場合、音源の方位の時系列変化も音圧の時系列変化も、移動体と音源との距離が遠い場合と近い場合とで差が少ないと考えられる。具体的には、移動体１０の速度が遅い場合、移動体１０を基準とする音源２０Ａの方位のｔ秒間の時系列変化（角度４３から角度４４まで）は小さいし、音源２０Ｂの方位のｔ秒間の時系列変化（角度４５から角度４６まで）も小さい。また、移動体１０の速度が遅い場合、音源２０Ａからの音圧のｔ秒間の時系列変化は、移動体１０と音源２０Ａとの距離があまり変わらないので小さいし、音源２０Ｂからの音圧のｔ秒間の時系列変化も、移動体１０と音源２０Ｂとの距離があまり変わらないので小さい。
　そこで、情報処理装置１００は、移動体と音源との距離を、音源からの音圧の絶対値に基づいて判断してもよい。例えば、音圧の絶対値は、移動体と音源との距離が近いほど大きく、遠いほど小さいと考えられる。そのため、情報処理装置１００は、移動体の速度が遅い場合は、音圧の絶対値を参照することで、移動体と音源との距離を判断することが可能となる。もちろん、情報処理装置１００は、移動体の速度が速い場合にも音圧の絶対値を参照することで、判断精度を高めることが可能である。
　なお、上記では、情報処理装置１００が、音源のうち移動体との距離が移動体の速度に応じた距離である音源を、対象音源として選択するものと説明したが、ここでの移動体の速度は、音源との相対速度であってもよい。例えば、情報処理装置１００は、移動体と音源とが並走する等して相対速度が小さい場合、上述した移動体の速度が遅い場合の判断基準で、移動体との距離を判断し得る。また、情報処理装置１００は、移動体と音源とが対向して走行する等して相対速度が大きい場合、上述した移動体の速度が速い場合の判断基準で、移動体との距離を判断し得る。
　　・種類
　情報処理装置１００は、音源の種類に応じて、音源を前記対象音源とするか否かを選択してもよい。例えば、情報処理装置１００は、人の声を選択的に車内空間に取り込んだり、車外で鳴る音楽を車内空間に取り込まなかったりする。このような切り替えにより、情報処理装置１００は、車内空間に取り込むべき音のみを、選択的に取り込むことが可能となる。
　　・対象
　情報処理装置１００は、音源からの音の対象が移動体であるか否かに応じて、音源を対象音源とするか否かを選択してもよい。例えば、情報処理装置１００は、移動体に向けて鳴らされたクラクションを選択的に車内空間に取り込んだり、他の車に向けて鳴らされたクラクションを車内空間に取り込まなかったりする。かかる切り替えは、例えばクラクションを鳴らした車の向き等に基づいて行われ得る。このような切り替えにより、情報処理装置１００は、車内空間に取り込むべき音のみを、選択的に取り込むことが可能となる。
　＜３．４．音声信号の生成＞
　対象音源の選択後、情報処理装置１００（例えば、生成部１５５）は、対象音源からの音声信号を、取得された音声信号に基づいて生成する。
　対象音源からの音声信号の生成は、取得された音声信号にいわゆるビームフォーミング処理を適用することによって行われ得る。例えば、情報処理装置１００は、取得された音声信号に対して、対象音源からの音以外をキャンセルする信号処理を適用してもよい。また、情報処理装置１００は、取得された音声信号に対して、対象音源からの音を強調する信号処理を適用してもよい。
　なお、上述したように、第３又は第５の動作モードにおいては、情報処理装置１００は、対象音源からの音声信号として、上記の信号処理による生成に代えて又は共に、付加音声を用いてもよい。
　＜３．５．音声信号の出力＞
　対象音源からの音声信号を生成後、情報処理装置１００（例えば、出力制御部１５７）は、生成された音声信号を移動体の内部空間に向けて出力させる。例えば、情報処理装置１００は、図１に示したスピーカ１２０Ａ～１２０Ｄにより、生成された音声信号を出力する。
　＜＜４．具体的な信号処理例＞＞
　以下、図６～図１２を参照しながら、具体的な信号処理の一例を説明する。
　（１）第１の例
　図６は、本実施形態に係る情報処理装置１００による信号処理の一例を説明するための図である。図６に示すように、情報処理装置１００は、センサ部１１０に含まれる複数のマイク（例えば、マイクアレイ）により検出された複数の音声信号を、ハウリング抑制部１６１に入力する。
　・ハウリング抑制部１６１
　ハウリング抑制部１６１は、ハウリングを抑制する処理を行う。ハウリングとは、スピーカから放出された信号が再度マイクに入力されるフィードバックループが形成されることによって発振する現象である。ハウリング抑制処理について、図７を参照して説明する。
　図７は、本実施形態に係るハウリング抑制処理の一例を説明するための図である。図７に示すように、マイク１１０から入力された音声信号に対して、ハウリング抑制部１６１によるハウリング抑制処理が適用され、信号処理部２０１による信号処理が適用され、アンプ１７５Ａ又は１７５Ｂにより増幅され、スピーカ１２０から出力される。なお、図７では、図６に示した他の信号処理に関しては簡略化又は省略されており、信号処理部２０１は図６に示した風雑音除去部１６２等を含む。ハウリング抑制部１６１は、事前に空間伝達関数Ｈを測定しておく。そして、ハウリング抑制部１６１は、スピーカ１２０から再生される信号Ｘを監視し、信号Ｘが空間伝達関数Ｈを通って再度マイク１１０に入る信号Ｙを推定する。ハウリング抑制部１６１は、信号Ｙの周波数特性を分析し、フィードバックされる信号Ｙのゲインが規定値を超えた場合に、規定値を超えた帯域の信号を抑制することで、ハウリングを抑制する。例えば、ハウリング抑制部１６１は、ノッチフィルタを適用することで、規定値を超えた帯域の信号を抑制する。なお、ハウリング抑制部１６１は、ノッチフィルタではハウリングの抑制が困難な場合は、再生を停止したりゲインを下げたりすることによって、ハウリングを抑制する。
　・風雑音除去部１６２
　図６に示すように、情報処理装置１００は、ハウリング抑制処理を適用後の信号を、風雑音除去部１６２に入力する。風雑音除去部１６２は、風雑音を除去する処理を行う。
　風圧音除去は、固定フィルタにより行われてもよい。風雑音は、エネルギーが低い周波数帯域に集中しているという特徴を持っている。従って、風雑音除去部１６２は、２００～３００Ｈｚ以下を低減するハイパスフィルタを適用することによって、風雑音を除去することができる。
　風雑音除去は、信号処理により行われてもよい。風雑音は、音波というよりはマイク近辺で発生する空気の乱流に起因するものであるため、マイクごとに異なる雑音が入力される。すなわち、マイク間の相関が風雑音は低く、通常の音波は高いという特徴を有する。そこで、風雑音除去部１６２は、周波数帯域ごとにマイク間の相関を計算し、相関値がある閾値を下回った時に風雑音が存在すると判定し、風雑音が存在する時間及び帯域のゲインを下げるような処理を行うことで、動的に風雑音の除去を行うことができる。
　・処理群１７０
　図６に示すように、情報処理装置１００は、風雑音除去処理を適用後、処理群１７０に含まれる各処理を行う。処理群１７０における処理は、設定された動作モードごとに異なる。図６に示した処理群１７０は、第５の動作モードにおいて実行される処理を含んでいる。
　・既知音源制御部
　既知音源制御部１７１は、既知音源に関する信号処理を制御する。詳しくは、既知音源制御部１７１は、位置情報、時刻、及び既知音源情報１７２のうちマップ情報に基づいて、外音信号分離・選択部１７３Ａ、外音信号補正フィルタ１７４Ａ及びアンプ１７５Ａを制御する。なお、処理群１７０に入力された信号は、外音信号分離・選択部１７３Ａ、外音信号補正フィルタ１７４Ａ及びアンプ１７５Ａの順に通過する。なお、既知音源制御部１７１は、アンプ１７５Ａによる増幅量を０にして（即ち、振幅を０にする）、既知音源に関する信号の再生を停止することで、第１の動作モード又は第４の動作モードでの動作を実現してもよい。
　・未知音源制御部
　未知音源制御部１７６は、未知音源に関する信号処理を制御する。詳しくは、未知音源制御部１７６は、車速（即ち、移動体の速度）及びマイク音圧に基づいて、外音信号分離・選択部１７３Ｂ、外音信号補正フィルタ１７４Ｂ及びアンプ１７５Ｂを制御する。なお、処理群１７０に入力された信号は、外音信号分離・選択部１７３Ｂ、外音信号補正フィルタ１７４Ｂ及びアンプ１７５Ｂの順に通過する。なお、未知音源制御部１７６は、アンプ１７５Ｂによる増幅量を０にして（即ち、振幅を０にする）、未知音源に関する信号の再生を停止することで、第１の動作モード又は第３の動作モードでの動作を実現してもよい。
　・外音信号分離・選択部
　外音信号分離・選択部１７３（１７３Ａ又は１７３Ｂ）は、外音信号（外音の音声信号）の分離及び／又は選択を行う。外音信号分離・選択部１７３は、従来から知られているビームフォーミング技術又は音源分離技術を採用することができる。以下、図８を参照しながら、その一例を説明する。
　図８は、本実施形態に係る外音信号の分離・選択処理の一例を説明するための図である。図８に示すように、移動体１０の周囲に音源２０Ａ、２０Ｂ及び２０Ｃが存在する。
　２以上の複数のマイクを用いる音源分離技術としては、例えば下記の第１～第３の方法がある。
　第１の方法は、方向性に基づいて特定の音を抽出する方法である。第１の方法によれば、例えば音源２０Ａだけを抽出することができる。第１の方法は、例えば、遅延型ビームフォーミング（DS：Delay　and　Sum　Beamforming）である。
　第２の方法は、方向性に基づいて特定の音を除去する方法である。第２の方法によれば、例えば音源２０Ａだけを除去し、音源２０Ｂ及び２０Ｃを抽出することができる。第２の方法は、例えば、死角制御型ビームフォーミング（NBF：Null　Beamforming）である。
　第３の方法は、音源特徴は未知だが、得られた信号の中から統計的に独立となるよう分離する方法である。第３の方法によれば、音源２０Ａ、２０Ｂ及び２０Ｃを個別に抽出することができる。第３の方法は、例えば、独立成分分析（ICA：Independent　Component　Analysis）である。
　１つ又は２以上の複数のマイクを用いる音源分離技術としては、例えば下記の第４の方法がある。
　第４の方法は、音源のスペクトル特徴に基づいて、音源ごとに抽出する方法である。第４の方法によれば、音源２０Ａ、２０Ｂ及び２０Ｃを個別に抽出することができる。第４の方法は、例えば、非負値行列因子分解（NMF：Non-negative　Matrix　Factorization）である。
　以上、ビームフォーミング技術又は音源分離技術の一例を説明した。
　例えば、外音信号分離・選択部１７３Ａは、既知音源に関しては、移動体１０の位置情報とマップ情報を用いて、取得したい既知音源がある方向を計算する。また、外音信号分離・選択部１７３Ｂは、未知音源に関しては、未知音源がある方向を、入力信号の位相差に基づいて推定する。次いで、外音信号分離・選択部１７３は、計算によって得られた方向の音を取得するために、遅延型ビームフォーミングの係数を計算する。そして、外音信号分離・選択部１７３は、マイク入力に遅延型ビームフォーミングの係数をかけ、取得したい既知音源又は未知音源の音声信号を外音信号補正フィルタ１７４に出力する。
　・外音信号補正フィルタ
　外音信号補正フィルタ１７４（１７４Ａ又は１７４Ｂ）は、外音信号を補正する処理を行う。外音信号補正フィルタによる外音信号補正処理について、図９を参照して説明する。
　図９は、本実施形態に係る外音信号補正処理の一例を説明するための図である。図９に示すように、マイク１１０により検出された入力信号Ｓは、外音信号補正フィルタ１７４、アンプ１７５及びスピーカ１２０を通過し、再生信号Ｚとして再生される。なお、図９では、図６に示した他の信号処理に関しては簡略化又は省略されている。
　入力信号Ｓは上述した経路を通過して再生信号Ｚとなるので、再生信号Ｚは、当該経路の特性を持つ信号となる。マイク特性をＭとし、フィルタ特性をＧとし、アンプ特性をＡとし、スピーカ特性をＤとすると、再生信号Ｚは下記の数式で表される。
　　Ｚ＝ＳＭＧＡＤ　　…（１）
　外音信号補正フィルタとは、再生信号Ｚが入力信号Ｓと同じになるように補正するフィルタである。よって、上記数式（１）においてＺ＝Ｘとすると、フィルタ係数Ｇは次式で表される。
　　Ｇ＝１／ＭＡＤ　　…（２）
　このように、特性ＭＡＤをキャンセルするものが外音信号補正フィルタとなる。これらの特性は事前計測によって得られ、フィルタ係数もあらかじめ設定される。
　・アンプ
　アンプ１７５（１７５Ａ又は１７５Ｂ）は、入力された信号を増幅して出力する。増幅量は、既知音源制御部１７１又は未知音源制御部１７６により制御される。
　・加算器１６３
　図６に示すように、情報処理装置１００は、処理群１７０から出力された、既知音源に関する処理が適用された信号と未知音源に関する処理が適用された信号とを、加算器１６３により加算する。
　・オーディオミキサ１６４
　オーディオミキサ１６４は、所定の信号を、加算器１６５を介して外音取り込みのための信号に加算する。ここでの所定の信号としては、既知音源情報１７２に含まれる付加音声、カーナビゲーション装置から出力されたナビ音声信号、及び音楽再生装置から出力されたオーディオ信号等が挙げられる。
　情報処理装置１００は、上記説明した一連の処理を行った音声信号を、スピーカ１２０から出力する。
　（２）ＮＣ機能付き第３の動作モード
　図１０は、本実施形態に係る情報処理装置１００による信号処理の一例を説明するための図である。図１０では、ＮＣ（noise　cancelling）機能付き第３の動作モードにおける信号処理が示されている。図１０に示すように、ＮＣ機能付き第３の動作モードでは、図６を参照して上記説明した第５の動作モードにおける信号処理から、未知音源に関するブロック（即ち、未知音源制御部１７６、外音信号分離・選択部１７３Ｂ、外音信号補正フィルタ１７４Ｂ及びアンプ１７５Ｂ）が削除されている。一方で、図１０に示すように、ＮＣ機能付き第３の動作モードでは、ノイズキャンセリングのための信号処理を行うブロックである、ＮＣ制御部１７７及びＮＣフィルタ１７８が追加されている。
　ＮＣ制御部１７７は、ノイズキャンセリングのための信号処理を制御する。詳しくは、ＮＣ制御部１７７は、予め設定されたＮＣ設定に基づいて、ＮＣフィルタ１７８のフィルタ係数を設定する。ＮＣフィルタ１７８は、処理群１７０に入力された信号に対してフィルタを適用する。ＮＣ制御部１７７は、ＦＢ（Feedforward）方式、ＦＦ（Feedforward）方式又はＡＦＦ（Adaptive　Feedforward）方式等の任意の方式でノイズを低減し得る。
　加算器１６３は、処理群１７０から出力された、既知音源に関する処理が適用された信号とＮＣフィルタ１７８から出力されたノイズキャンセル信号とを加算する。
　（３）ＮＣ機能付き第４の動作モード
　図１１は、本実施形態に係る情報処理装置１００による信号処理の一例を説明するための図である。図１１では、ＮＣ機能付き第４の動作モードにおける信号処理が示されている。図１１に示すように、ＮＣ機能付き第４の動作モードでは、図６を参照して上記説明した第５の動作モードにおける信号処理から、既知音源に関するブロック（即ち、既知音源制御部１７１、既知音源情報１７２、外音信号分離・選択部１７３Ａ、外音信号補正フィルタ１７４Ａ及びアンプ１７５Ａ）が削除されている。一方で、図１１に示すように、ＮＣ機能付き第４の動作モードでは、ノイズキャンセリングのための信号処理を行うブロックである、ＮＣ制御部１７７及びＮＣフィルタ１７８が追加されている。
　加算器１６３は、処理群１７０から出力された、ＮＣフィルタ１７８から出力されたノイズキャンセル信号と未知音源に関する処理が適用された信号とを加算する。
　（４）ＮＣ機能付き第５の動作モード
　図１２は、本実施形態に係る情報処理装置１００による信号処理の一例を説明するための図である。図１２では、ＮＣ機能付き第５の動作モードにおける信号処理が示されている。図１２に示すように、ＮＣ機能付き第５の動作モードでは、図６を参照して上記説明したＮＣ機能無しの第５の動作モードにおける信号処理に、ノイズキャンセリングのための信号処理を行うブロックである、ＮＣ制御部１７７及びＮＣフィルタ１７８、並びにスイッチ１６６及び加算器１６７が追加されている。
　図１２に示したＮＣフィルタ１７８は、予め設定されたＮＣ設定に基づくＮＣ制御部１７７による制御に応じて、マイク１１０により検出された音声信号にフィルタを適用する。
　加算器１６７は、加算器１６３から出力された、既知音源に関する処理が適用された信号と未知音源に関する処理が適用された信号とが加算された信号に、ノイズキャンセル信号を加算して、加算器１６５に出力する。スイッチ１６６は、ＮＣフィルタ１７８から出力されたノイズキャンセル信号を再生するか否かを切り替えることができる。
　＜＜５．補足＞＞
　上記では、情報処理装置１００が、外音を車内空間に取り込む技術について説明した。これと反対に、情報処理装置１００は、車内空間の音（即ち、内音）を車外空間に放出してもよい。内音を車外空間に放出する動作モードを、以下では第６の動作モードとも称する。
　第６の動作モードにおいては、情報処理装置１００は、移動体１０の内部空間に存在する音源（例えば、運転者等の人）からの音声信号を移動体１０の外部に向けて出力する。
これにより、例えば車内の人が車外の人に対して話をすることが可能となる。第６の動作モードは、多様な基準に基づいて動作モードを設定され得る。例えば、第６の動作モードは、内音の有無若しくは大きさ、又はユーザ操作等に応じて設定され得る。
　第６の動作モードは、上述した第２の動作モードと併用され得る。これにより、車内の人と車外の人とが会話することが可能となる。よって、例えばガソリンスタンドで窓を開けずに給油サービスを受けることが可能となる。支払いも電子マネーを介して窓を開けずに行うことが可能である。また、車内の人は窓を閉めたまま車外の人と会話できるので、防犯上のメリットがある。
　以下、図１３を参照して、内音の車外空間への放出処理について説明する。
　図１３は、本実施形態に係る内音の車外空間への放出処理の一例を説明するための図である。図１３に示すように、移動体１０の内部空間の人（運転者）がいて、声を発している。情報処理装置１００は、移動体１０の内部空間に設けられたマイク１１０により検出された音声信号を、移動体１０のドア外面に設けられたスピーカ１２０により出力させる。ここで、情報処理装置１００は、移動体１０に設けられた窓１１へのタッチ操作に応じて、第６の動作モードに切り替えて内音を放出してもよい。例えば、図１３に示すように運転者が窓１１をタッチすると第６の動作モードに切り替えられ、運転者が窓１１から手を放すと他の動作モードに切り替えられてもよい。これにより、運転者は、車外の人に対して話をしたり辞めたりすることが容易に可能となる。
　窓１１（１１Ａ及び１１Ｂ）は、ビデオシースルーディスプレイであってもよい。例えば、窓１１は、車外の映像を車内側に表示しつつ、車外側には黒一色の画面を表示する。これにより、車内の人は窓１１がガラス製である場合と同様に車外の様子を見ることが可能であるし、車外の人からの覗き見を防止することが可能である。さらに、窓１１は、透過性を制御可能なビデオシースルーディスプレイであってもよい。例えば、窓１１は、通常時は透過性を低くし、車内側には車外の映像を表示して車外側には黒一色の画面を表示する。一方で、図１３の窓１１Ｂに示すように、窓１１は、第６の動作モードで動作する場合に透過性を高くし、車内の人と車外の人とが互いに視認しあうことを可能にし得る。これにより、車内の人と車外の人との会話を円滑にすることが可能となる。
　＜＜６．応用例＞＞
　本開示に係る技術は、様々な製品へ応用可能である。例えば、情報処理装置１００は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車などのいずれかの種類の車両に搭載される装置として実現されてもよい。また、情報処理装置１００の少なくとも一部の構成要素は、車両に搭載される装置のためのモジュール（例えば、１つのダイで構成される集積回路モジュール）において実現されてもよい。
　図１４は、本開示に係る技術が適用され得る車両制御システム９００の概略的な構成の一例を示すブロック図である。車両制御システム９００は、電子制御ユニット９０２、ストレージ装置９０４、入力装置９０６、車外センサ９０８、車両状態センサ９１０、搭乗者センサ９１２、通信ＩＦ９１４、出力装置９１６、動力生成装置９１８、制動装置９２０、ステアリング９２２及びランプ作動装置９２４を備える。
　電子制御ユニット９０２は、演算処理装置及び制御装置として機能し、各種プログラムに従って車両制御システム９００内の動作全般を制御する。電子制御ユニット９０２は、後述するストレージ装置９０４と合わせて、ＥＣＵ（Electronic　Control　Unit）として形成され得る。ＥＣＵ（即ち、電子制御ユニット９０２及びストレージ装置９０４）は、車両制御システム９００内に複数含まれてもよい。例えば、各種センサ類又は各種駆動系の各々に、それらを制御するためのＥＣＵが設けられ、それら複数のＥＣＵを協調的に制御するＥＣＵがさらに設けられてもよい。これら複数のＥＣＵ間は、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘｒａｙ等の任意の規格に準拠した車載通信ネットワークを介して接続される。電子制御ユニット９０２は、例えば、図２に示す処理部１５０を形成し得る。
　ストレージ装置９０４は、車両制御システム９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０４は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０４は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０４は、電子制御ユニット９０２が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０４は、例えば、図２に示す記憶部１４０を形成し得る。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、搭乗者（ドライバー又は同乗者）によって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。また、入力装置９０６は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、電子制御ユニット９０２に出力する入力制御回路などを含んでいてもよい。搭乗者は、この入力装置９０６を操作することにより、車両制御システム９００に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置９０６は、例えば、図２に示すセンサ部１１０を形成し得る。
　車外センサ９０８は、車外の情報を検出するセンサによって実現される。例えば、車外センサ９０８は、ソナー装置、レーダ装置、ＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置、カメラ、ステレオカメラ、ＴｏＦ（Time　Of　Flight）カメラ、赤外線センサ、環境センサ、マイク等を含んでいてもよい。車外センサ９０８は、例えば、図２に示すセンサ部１１０を形成し得る。
　車両状態センサ９１０は、車両状態に関する情報を検出するセンサによって実現される。例えば、車両状態センサ９１０は、アクセル開度、ブレーキ踏圧力、又はステアリング操舵角等の運転者による操作を検出するセンサを含んでいてもよい。また、車両状態センサ９１０は、内燃機関又はモータの回転数又はトルク等の、動力源の状態を検出するセンサを含んでいてもよい。また、車両状態センサ９１０は、ジャイロセンサ又は加速度センサ等の車両の動きに関する情報を検出するためのセンサを含んでいてもよい。また、車両状態センサ９１０は、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して装置の緯度、経度及び高度を含む位置情報を測定するＧＮＳＳモジュールを含んでもよい。なお、位置情報に関しては、車両状態センサ９１０は、Ｗｉ－Ｆｉ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、又は近距離通信等により位置を検知するものであってもよい。車両状態センサ９１０は、例えば、図２に示すセンサ部１１０を形成し得る。
　搭乗者センサ９１２は、搭乗者に関する情報を検出するセンサによって実現される。例えば、搭乗者センサ９１２は、車内に設けられたカメラ、マイク、環境センサを含んでいてもよい。また、搭乗者センサ９１２は、搭乗者の生体情報を検出する生体センサを含んでいてもよい。生体センサは、例えば座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングを握るドライバーの生体情報を検出可能である。搭乗者センサ９１２は、例えば、図２に示すセンサ部１１０を形成し得る。
　なお、車外センサ９０８、車両状態センサ９１０、及び搭乗者センサ９１２といった各種センサは、それぞれ検出結果を示す情報を電子制御ユニット９０２へ出力する。これら各種センサは、電子制御ユニット９０２による制御に基づいて、センシング範囲又は精度等の設定を行ってもよい。また、これら各種センサは、例えば撮像された撮像画像に含まれる白線位置に基づいて、道路における自車両の走行位置を認識する処理等の、生データに基づく認識処理を行う認識モジュールを含んでいてもよい。
　通信ＩＦ９１４は、車両制御システム９００による他の装置との通信を仲介する通信インタフェースである。通信ＩＦ９１４は、例えばＶ２Ｘ通信モジュールを含み得る。なお、Ｖ２Ｘ通信とは、車車間（Vehicle　to　Vehicle）通信及び路車間（Vehicle　to　Infrastructure）通信を含む概念である。他にも、通信ＩＦ９１４は、無線ＬＡＮ（Local　Area　Network）、Ｗｉ－Ｆｉ（登録商標）、３Ｇ、ＬＴＥ（Long　Term　Evolution）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）のための通信モジュールを含んでいてもよい。この通信ＩＦ９１４は、例えばインターネット又は車外の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信ＩＦ９１４は、例えば、図２に示す通信部１３０を形成し得る。
　出力装置９１６は、取得した情報を搭乗者又は外部に対して視覚的又は聴覚的に通知することが可能な装置で実現される。このような装置として、インストルメントパネル、ヘッドアップディスプレイ、プロジェクタ又はランプ等の表示装置や、スピーカ又はヘッドホン等の音声出力装置がある。具体的には、表示装置は、車両制御システム９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。その際、ＡＲ（Augmented　Reality）オブジェクト等の仮想的なオブジェクトが表示されてもよい。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９１６は、例えば、図２に示す出力部１２０を形成し得る。
　動力生成装置９１８は、車両の駆動力を生成するための装置である。動力生成装置９１８は、例えば内燃機関により実現されてもよい。その場合、動力生成装置９１８は、電子制御ユニット９０２からの制御指令に基づいて、始動制御、停止制御、スロットルバルブの開度の制御、燃料噴射制御、又はＥＧＲ（Exhaust　Gas　Recirculation）制御等を行う。また、動力生成装置９１８は、例えばモータ、インバータ及びバッテリーにより実現されてもよい。その場合、動力生成装置９１８は、電子制御ユニット９０２からの制御指令に基づき、インバータを介してバッテリーからモータへ電力を供給し、正のトルクを出力させるモータ動作（いわゆる力行）と、モータにトルクを吸収させて発電し、インバータを介してバッテリーの充電を行う回生動作と、を行い得る。
　制動装置９２０は、車両に制動力を付与し、あるいは、車両を減速又は停止させるための装置である。制動装置９２０は、例えば各ホイールに設置されるブレーキ、及びブレーキペダルの踏圧力をブレーキに伝達するためのブレーキパイプ又は電気回路等を含み得る。また、制動装置９２０は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等のブレーキ制御による滑走又は横滑り防止機構を作動させるための制御装置を含んでいてもよい。
　ステアリング９２２は、車両の進行方向（操舵角）を制御するための装置である。ステアリング９２２は、例えばステアリングホイール、ステアリングシャフト、ステアリングギア、及びタイロッド等を含み得る。また、ステアリング９２２は、ドライバーによる操舵を支援するためのパワーステアリングを含み得る。さらに、ステアリング９２２は、自動的な操舵を実現するためのモータ等の動力源を含み得る。
　ランプ作動装置９２４は、ヘッドライト、ウィンカー、車幅灯、フォグライト、又はストップランプ等の各種ランプの作動させる装置である。ランプ作動装置９２４は、例えばランプの明滅、光量、又は照射方向等を制御する。
　なお、動力生成装置９１８、制動装置９２０、ステアリング９２２、及びランプ作動装置９２４は、ドライバーによる手動操作に基づいて動作してもよいし、電子制御ユニット９０２による自動操作に基づいて動作してもよい。
　以上、本実施形態に係る情報処理装置１００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　なお、上述のような本実施形態に係る情報処理装置１００の各機能を実現するためのコンピュータプログラムを作製し、ＥＣＵ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　＜＜７．まとめ＞＞
　以上、図１～図１４を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る情報処理装置１００は、移動体の外部に存在する音源からの音声信号を取得し、音源のうち移動体との距離が移動体の速度に応じた距離である対象音源からの音声信号を、取得された音声信号に基づいて生成して、移動体の内部空間に向けて出力する。これにより、移動体の内部空間に外音を取り込むことが可能となる。さらには、移動体の速度に応じた適切な音源からの外音を選択的に移動体に内部空間に取り込むことが可能となる。具体的に車に関して言えば、車の壁が無いかのような臨場感のある音環境を車内空間に実現することが可能となる。また、車内空間のいる人は適切に選択された音源からの外音を聞くことが可能であるので、例えば事故防止等の運転支援用途にも効果的であるし、遊園地の乗り物において効果音を聞く等の娯楽用途にも効果的である。
　本技術は多様に応用され得る。その一例を以下に説明する。
　例えば、本技術は、街中を走行する観光バスに適用され得る。観光バスにおいて、観光名所の時計台の鐘の音又はアトラクションの効果音等の既知音源や、車窓から見える海辺の波の音又は横を走る電車の音等の未知音源からの音を車内空間に取り込むことで、臨場感を高めることが可能である。また、自動運転技術が進みバスガイドや運転手が同乗しないようになった場合にも、外音を自動的に取り込むことが可能である。
　例えば、本技術は、非オープンカーに適用され得る。その場合、空調温度が安定しておりホコリや虫が入ってこないという非オープンカーの長所を生かしつつ、あたかもオープンカーを運転しているかのような外音やエンジン音を搭乗者に提供することが可能である。
　例えば、本技術は、遊園地の乗り物に適用され得る。外壁が透明な乗り物の車内に外音を取り込むことで、例えば疑似的なワープ体験を提供したり、危険な野生生物が生活する区域で安全且つ臨場感のある走行体験を提供したりすることが可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　移動体の外部に存在する音源からの音声信号を取得する取得部と、
　前記音源のうち前記移動体との距離が前記移動体の速度に応じた距離である対象音源からの音声信号を、前記取得部により取得された音声信号に基づいて生成する生成部と、
　前記生成部により生成された音声信号を前記移動体の内部空間に向けて出力させる出力制御部と、
を備える情報処理装置。
（２）
　前記情報処理装置は、前記内部空間に向けての出力が行われない第１の動作モードと行われる第２の動作モードとを含む、動作モード群から動作モードを設定する設定部をさらに備える、前記（１）に記載の情報処理装置。
（３）
　前記第２の動作モードは、既知音源を前記対象音源とする第３の動作モード及び未知音源を前記対象音源とする第４の動作モードを含む、前記（２）に記載の情報処理装置。
（４）
　前記第２の動作モードは、既知音源及び未知音源を前記対象音源とする第５の動作モードを含む、前記（２）又は（３）に記載の情報処理装置。
（５）
　前記設定部は、既知音源の位置を示すマップ情報と前記移動体の位置情報に基づいて前記動作モードを設定する、前記（３）又は（４）に記載の情報処理装置。
（６）
　前記マップ情報は、既知音源が音を発する時間帯を示す情報を含み、
　前記設定部は、現在時刻にさらに基づいて前記動作モードを設定する、前記（５）に記載の情報処理装置。
（７）
　前記取得部は、既知音源に関する予め記憶された音声信号を取得する、前記（３）～（６）のいずれか一項に記載の情報処理装置。
（８）
　前記設定部は、外部機器からの情報に基づいて動作モードを設定する、前記（２）～（７）のいずれか一項に記載の情報処理装置。
（９）
　前記生成部は、前記移動体の速度が速いほど前記移動体から遠い前記音源を前記対象音源として選択し、前記移動体の速度が遅いほど前記移動体から近い前記音源を前記対象音源として選択する、前記（１）～（８）のいずれか一項に記載の情報処理装置。
（１０）
　前記生成部は、前記移動体と前記音源との距離を、前記移動体を基準とする前記音源の方位の時系列変化に基づいて判断する、前記（９）に記載の情報処理装置。
（１１）
　前記生成部は、前記移動体と前記音源との距離を、前記音源からの音圧の時系列変化に基づいて判断する、前記（９）又は（１０）に記載の情報処理装置。
（１２）
　前記生成部は、前記移動体と前記音源との距離を、前記音源からの音圧の絶対値に基づいて判断する、前記（９）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記生成部は、前記音源の種類に応じて、前記音源を前記対象音源とするか否かを選択する、前記（１）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
　前記生成部は、前記音源からの音の対象が前記移動体であるか否かに応じて、前記音源を前記対象音源とするか否かを選択する、前記（１）～（１３）のいずれか一項に記載の情報処理装置。
（１５）
　前記出力制御部は、前記移動体に設けられた窓へのタッチ操作に応じて、前記内部空間に存在する音源からの音声信号を前記移動体の外部に向けて出力させる、前記（１）～（１４）のいずれか一項に記載の情報処理装置。
（１６）
　前記窓は、透過性を制御可能なビデオシースルーディスプレイである、前記（１５）に記載の情報処理装置。
（１７）
　前記内部空間は、前記移動体に人が滞在するための空間である、前記（１）～（１６）のいずれか一項に記載の情報処理装置。
（１８）
　前記移動体は自動車である、前記（１）～（１７）のいずれか一項に記載の情報処理装置。
（１９）
　移動体の外部に存在する音源からの音声信号を取得することと、
　前記音源のうち前記移動体との距離が前記移動体の速度に応じた距離である対象音源からの音声信号を、取得された音声信号に基づいて生成することと、
　生成された音声信号を前記移動体の内部空間に向けて出力装置により出力させることと、
を含む情報処理方法。
（２０）
　コンピュータを、
　移動体の外部に存在する音源からの音声信号を取得する取得部と、
　前記音源のうち前記移動体との距離が前記移動体の速度に応じた距離である対象音源からの音声信号を、前記取得部により取得された音声信号に基づいて生成する生成部と、
　前記生成部により生成された音声信号を前記移動体の内部空間に向けて出力させる出力制御部と、
として機能させるためのプログラムが記録された記録媒体。
　１０　　　移動体
　２０　　　音源
　１００　　情報処理装置
　１１０　　センサ部、マイク
　１２０　　出力部、スピーカ
　１３０　　通信部
　１４０　　記憶部
　１５０　　処理部
　１５１　　取得部
　１５３　　設定部
　１５５　　生成部
　１５７　　出力制御部

Claims (20)

  1. 　移動体の外部に存在する音源からの音声信号を取得する取得部と、
    　前記音源のうち前記移動体との距離が前記移動体の速度に応じた距離である対象音源からの音声信号を、前記取得部により取得された音声信号に基づいて生成する生成部と、
    　前記生成部により生成された音声信号を前記移動体の内部空間に向けて出力させる出力制御部と、
    を備える情報処理装置。
  2. 　前記情報処理装置は、前記内部空間に向けての出力が行われない第１の動作モードと行われる第２の動作モードとを含む、動作モード群から動作モードを設定する設定部をさらに備える、請求項１に記載の情報処理装置。
  3. 　前記第２の動作モードは、既知音源を前記対象音源とする第３の動作モード及び未知音源を前記対象音源とする第４の動作モードを含む、請求項２に記載の情報処理装置。
  4. 　前記第２の動作モードは、既知音源及び未知音源を前記対象音源とする第５の動作モードを含む、請求項２に記載の情報処理装置。
  5. 　前記設定部は、既知音源の位置を示すマップ情報と前記移動体の位置情報に基づいて前記動作モードを設定する、請求項３に記載の情報処理装置。
  6. 　前記マップ情報は、既知音源が音を発する時間帯を示す情報を含み、
    　前記設定部は、現在時刻にさらに基づいて前記動作モードを設定する、請求項５に記載の情報処理装置。
  7. 　前記取得部は、既知音源に関する予め記憶された音声信号を取得する、請求項３に記載の情報処理装置。
  8. 　前記設定部は、外部機器からの情報に基づいて動作モードを設定する、請求項２に記載の情報処理装置。
  9. 　前記生成部は、前記移動体の速度が速いほど前記移動体から遠い前記音源を前記対象音源として選択し、前記移動体の速度が遅いほど前記移動体から近い前記音源を前記対象音源として選択する、請求項１に記載の情報処理装置。
  10. 　前記生成部は、前記移動体と前記音源との距離を、前記移動体を基準とする前記音源の方位の時系列変化に基づいて判断する、請求項９に記載の情報処理装置。
  11. 　前記生成部は、前記移動体と前記音源との距離を、前記音源からの音圧の時系列変化に基づいて判断する、請求項９に記載の情報処理装置。
  12. 　前記生成部は、前記移動体と前記音源との距離を、前記音源からの音圧の絶対値に基づいて判断する、請求項９に記載の情報処理装置。
  13. 　前記生成部は、前記音源の種類に応じて、前記音源を前記対象音源とするか否かを選択する、請求項１に記載の情報処理装置。
  14. 　前記生成部は、前記音源からの音の対象が前記移動体であるか否かに応じて、前記音源を前記対象音源とするか否かを選択する、請求項１に記載の情報処理装置。
  15. 　前記出力制御部は、前記移動体に設けられた窓へのタッチ操作に応じて、前記内部空間に存在する音源からの音声信号を前記移動体の外部に向けて出力させる、請求項１に記載の情報処理装置。
  16. 　前記窓は、透過性を制御可能なビデオシースルーディスプレイである、請求項１５に記載の情報処理装置。
  17. 　前記内部空間は、前記移動体に人が滞在するための空間である、請求項１に記載の情報処理装置。
  18. 　前記移動体は自動車である、請求項１に記載の情報処理装置。
  19. 　移動体の外部に存在する音源からの音声信号を取得することと、
    　前記音源のうち前記移動体との距離が前記移動体の速度に応じた距離である対象音源からの音声信号を、取得された音声信号に基づいて生成することと、
    　生成された音声信号を前記移動体の内部空間に向けて出力装置により出力させることと、
    を含む情報処理方法。
  20. 　コンピュータを、
    　移動体の外部に存在する音源からの音声信号を取得する取得部と、
    　前記音源のうち前記移動体との距離が前記移動体の速度に応じた距離である対象音源からの音声信号を、前記取得部により取得された音声信号に基づいて生成する生成部と、
    　前記生成部により生成された音声信号を前記移動体の内部空間に向けて出力させる出力制御部と、
    として機能させるためのプログラムが記録された記録媒体。
PCT/JP2017/044081 2017-03-09 2017-12-07 情報処理装置、情報処理方法及び記録媒体 WO2018163545A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201780087599.9A CN110366852B (zh) 2017-03-09 2017-12-07 信息处理设备、信息处理方法和记录介质
EP17899809.2A EP3595331A1 (en) 2017-03-09 2017-12-07 Information processing device, information processing method and recording medium
US16/482,626 US11543521B2 (en) 2017-03-09 2017-12-07 Information processing apparatus, information processing method, and recording medium
KR1020197023857A KR20190125304A (ko) 2017-03-09 2017-12-07 정보 처리 장치, 정보 처리 방법 및 기록 매체
JP2019504328A JP7040513B2 (ja) 2017-03-09 2017-12-07 情報処理装置、情報処理方法及び記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-044901 2017-03-09
JP2017044901 2017-03-09

Publications (1)

Publication Number Publication Date
WO2018163545A1 true WO2018163545A1 (ja) 2018-09-13

Family

ID=63447478

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/044081 WO2018163545A1 (ja) 2017-03-09 2017-12-07 情報処理装置、情報処理方法及び記録媒体

Country Status (6)

Country Link
US (1) US11543521B2 (ja)
EP (1) EP3595331A1 (ja)
JP (1) JP7040513B2 (ja)
KR (1) KR20190125304A (ja)
CN (1) CN110366852B (ja)
WO (1) WO2018163545A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020188941A1 (ja) * 2019-03-15 2020-09-24 本田技研工業株式会社 車両用コミュニケーション装置及びプログラム
US20220308157A1 (en) * 2019-08-28 2022-09-29 Sony Interactive Entertainment Inc. Image processing apparatus, system, image processing method, and image processing program

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496694A (zh) * 2020-03-19 2021-10-12 上汽通用汽车有限公司 一种车辆声学系统、车辆用座椅以及车辆
KR20210136569A (ko) * 2020-05-08 2021-11-17 삼성전자주식회사 경보 장치, 상기 장치를 포함하는 경보 시스템, 및 경보 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04358936A (ja) * 1991-05-31 1992-12-11 Sony Corp 車両用音声伝達装置
JP2008149917A (ja) * 2006-12-18 2008-07-03 Denso Corp 車両用周囲音報知装置
JP2009051333A (ja) * 2007-08-27 2009-03-12 Nissan Motor Co Ltd 車両用聴覚モニタ装置
JP2009251799A (ja) * 2008-04-03 2009-10-29 Nissan Motor Co Ltd 車外情報提供装置及び車外情報提供方法
JP2013256249A (ja) * 2012-06-14 2013-12-26 Mitsubishi Electric Corp 音声伝達装置
JP2015173369A (ja) 2014-03-12 2015-10-01 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3163868B2 (ja) * 1993-09-20 2001-05-08 富士通株式会社 音選択再生装置
US20020150262A1 (en) * 2001-03-29 2002-10-17 Carter Jerome D. Method and apparatus for communicating to vehicle occupants
WO2006006553A1 (ja) * 2004-07-14 2006-01-19 Matsushita Electric Industrial Co., Ltd. 報知装置
JP3949701B1 (ja) * 2006-03-27 2007-07-25 株式会社コナミデジタルエンタテインメント 音声処理装置、音声処理方法、ならびに、プログラム
CN101464168B (zh) * 2009-01-20 2010-06-16 清华大学 一种车辆加速噪声的噪声源识别方法
JP2011252853A (ja) * 2010-06-03 2011-12-15 Toyota Motor Corp 音源方向検出装置
JP5533897B2 (ja) * 2012-01-20 2014-06-25 日産自動車株式会社 車両用聴覚モニタ装置
JP2014061786A (ja) * 2012-09-21 2014-04-10 Sony Corp 移動体およびプログラム
US9469247B2 (en) 2013-11-21 2016-10-18 Harman International Industries, Incorporated Using external sounds to alert vehicle occupants of external events and mask in-car conversations
CN108603778B (zh) 2016-02-04 2021-08-13 高准公司 用于振动流量计量器的压力补偿及相关方法
CN106023617A (zh) * 2016-06-01 2016-10-12 乐视控股（北京）有限公司 车辆行驶安全的检测方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04358936A (ja) * 1991-05-31 1992-12-11 Sony Corp 車両用音声伝達装置
JP2008149917A (ja) * 2006-12-18 2008-07-03 Denso Corp 車両用周囲音報知装置
JP2009051333A (ja) * 2007-08-27 2009-03-12 Nissan Motor Co Ltd 車両用聴覚モニタ装置
JP2009251799A (ja) * 2008-04-03 2009-10-29 Nissan Motor Co Ltd 車外情報提供装置及び車外情報提供方法
JP2013256249A (ja) * 2012-06-14 2013-12-26 Mitsubishi Electric Corp 音声伝達装置
JP2015173369A (ja) 2014-03-12 2015-10-01 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3595331A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020188941A1 (ja) * 2019-03-15 2020-09-24 本田技研工業株式会社 車両用コミュニケーション装置及びプログラム
JPWO2020188941A1 (ja) * 2019-03-15 2020-09-24
JP7379462B2 (ja) 2019-03-15 2023-11-14 本田技研工業株式会社 車両用コミュニケーション装置及びプログラム
US20220308157A1 (en) * 2019-08-28 2022-09-29 Sony Interactive Entertainment Inc. Image processing apparatus, system, image processing method, and image processing program

Also Published As

Publication number Publication date
JP7040513B2 (ja) 2022-03-23
US20210286073A1 (en) 2021-09-16
EP3595331A4 (en) 2020-01-15
US11543521B2 (en) 2023-01-03
CN110366852B (zh) 2021-12-21
KR20190125304A (ko) 2019-11-06
JPWO2018163545A1 (ja) 2020-01-09
CN110366852A (zh) 2019-10-22
EP3595331A1 (en) 2020-01-15

Similar Documents

Publication Publication Date Title
EP3121064B1 (en) Vehicle control device and vehicle control method thereof
CN104658548B (zh) 用外部声音向车辆驾乘人员警告外部事件并掩蔽车内谈话
CN110691299B (zh) 音频处理系统、方法、装置、设备及存储介质
JP7040513B2 (ja) 情報処理装置、情報処理方法及び記録媒体
KR101526407B1 (ko) 차량용 가상 엔진음 시스템 및 그 제어 방법
JP2013198065A (ja) 音声提示装置
US11024280B2 (en) Signal processing apparatus, method, and program
US11190155B2 (en) Learning auxiliary feature preferences and controlling the auxiliary devices based thereon
US20170303037A1 (en) Enhanced audio landscape
WO2020120754A1 (en) Audio processing device, audio processing method and computer program thereof
US11854541B2 (en) Dynamic microphone system for autonomous vehicles
KR101487474B1 (ko) 자동차의 가상 음향 발생 장치 및 이를 이용한 자동차의 가상 음향 발생 방법
JP6981095B2 (ja) サーバ装置、記録方法、プログラム、および記録システム
WO2019175273A1 (en) Electronic device, method and computer program
WO2021175735A1 (en) Electronic device, method and computer program
US20220116724A1 (en) Three-dimensional (3d) audio notification for vehicle
CN110139205B (zh) 用于辅助信息呈现的方法及装置
WO2023204076A1 (ja) 音響制御方法及び音響制御装置
US20230026188A1 (en) Remote support device, remote support system, and remote support method
KR20190031053A (ko) 차량 제어 방법
WO2018062476A1 (ja) 車載装置、出力方法及びプログラム
CN115179930A (zh) 车辆控制方法、装置、车辆及可读存储介质
CN116368398A (zh) 语音声源定位方法、装置及系统
CN117789741A (zh) 语音信号处理方法、装置、车辆及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17899809

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20197023857

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2019504328

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017899809

Country of ref document: EP

Effective date: 20191009