WO2018230688A1 - エクスペリエンス提供システム、エクスペリエンス提供方法およびエクスペリエンス提供プログラム - Google Patents

エクスペリエンス提供システム、エクスペリエンス提供方法およびエクスペリエンス提供プログラム Download PDF

Info

Publication number
WO2018230688A1
WO2018230688A1 PCT/JP2018/022849 JP2018022849W WO2018230688A1 WO 2018230688 A1 WO2018230688 A1 WO 2018230688A1 JP 2018022849 W JP2018022849 W JP 2018022849W WO 2018230688 A1 WO2018230688 A1 WO 2018230688A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
vehicle
occupant
information
virtual image
Prior art date
Application number
PCT/JP2018/022849
Other languages
English (en)
French (fr)
Inventor
安井　裕司
詩園 徳永
将行 渡邉
一樹 西岡
雄大 広畑
久和 山根
貴行 下山田
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to US16/621,457 priority Critical patent/US11494950B2/en
Priority to DE112018003014.8T priority patent/DE112018003014T5/de
Priority to CN201880040107.5A priority patent/CN110770818A/zh
Publication of WO2018230688A1 publication Critical patent/WO2018230688A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B60K35/265—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/04—Sound-producing devices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/148—Instrument input by voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/175—Autonomous driving
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Definitions

  • aspects of the present invention relate to an experience providing system, an experience providing method, and an experience providing program.
  • This application claims priority based on Japanese Patent Application No. 2017-118702 for which it applied to Japan on June 16, 2017, and uses the content here.
  • the present invention has been made in view of such circumstances, and provides an experience providing system, an experience providing method, and an experience providing program capable of providing an unprecedented way of enjoying to a vehicle occupant.
  • One of the purposes is to do.
  • One aspect of the present invention is an occupant information detection unit that detects information related to a vehicle occupant, an external information detection unit that detects information outside the vehicle, an output unit that outputs sound, and a display. Based on the detection results of the virtual image generation unit to be output and the occupant information detection unit and the outside world information detection unit, the sound output from the output unit and the display output from the virtual image generation unit are synchronized. And a providing unit that dynamically provides interaction with the vehicle occupant.
  • the virtual image generation unit causes a virtual image to appear so as to be superimposed on a captured image corresponding to a seat of the vehicle.
  • the virtual image generation unit causes a virtual image to appear so as to correspond to a seat mirror image position of the vehicle as seen from the occupant.
  • the providing unit adjusts a timing at which the output unit performs speech based on a situation outside the vehicle detected by the outside world information detecting unit. .
  • the external information detection unit can detect information outside the vehicle in the same degree as the information detection capability outside the vehicle by the vehicle occupant.
  • the interaction provided by the providing unit includes sound corresponding to the music being listened to in the vehicle detected by the occupant information detecting unit.
  • the providing unit synchronizes the music output from the output unit and the display output from the virtual image generation unit.
  • the occupant information detection unit includes a storage unit that detects and stores the state of the vehicle occupant with respect to the interaction provided by the providing unit, and is based on the state of the storage unit. In addition, the interaction available to the vehicle occupant is changed.
  • the vehicle is an autonomous driving vehicle
  • the providing unit is configured to determine whether or not the occupant information detection unit is automatically driving the vehicle, During the manual operation, at least a part of the operation mode of the interaction is limited.
  • the providing unit executes the interaction using a determination unit provided outside the vehicle.
  • the interaction is provided by an output of an external processing unit that processes signals detected by the occupant information detection unit and the outside world information detection unit outside the vehicle.
  • the occupant information detection unit is configured to be able to detect the interaction provided by the providing unit, and the providing unit includes the occupant information detection unit including the provided interaction. And based on the detection result of the said external field information detection part, the interaction with the passenger
  • the providing unit when there are a plurality of the interactions to be provided by the providing unit, the providing unit performs a plurality of operations based on the detection results of the occupant information detecting unit and the outside world information detecting unit. It determines the execution timing of the interaction or whether it can be executed.
  • an event determination unit that detects occurrence of an event based on detection results of the occupant information detection unit and the outside world information detection unit is provided, and the event determination unit A local determination unit for determining and a remote determination unit for determining an event by an external server connected to the vehicle are included.
  • an event determination unit that detects occurrence of an event based on detection results of the occupant information detection unit and the external world information detection unit, an occupant information detection unit, and the external world information detection unit
  • An interaction control unit that controls an interaction provided by the providing unit based on a detection result, and the event determination unit continues to detect the occurrence of the event in parallel with the execution of the interaction control unit,
  • the providing unit dynamically provides the interaction based on the occurrence of the event detected during the provision of the interaction.
  • the in-vehicle computer detects occupant information, detects external world information, outputs sound, outputs a display, and is output based on the occupant information and the external world information.
  • the experience providing method of dynamically providing interaction to the vehicle occupant by synchronizing the output voice and the output virtual image.
  • an onboard computer detects occupant information, External environment information is detected, audio is output, display is output, and based on the occupant information and the external environment information, the output audio and the output virtual image are synchronized to move the interaction with the vehicle occupant. It is an experience providing program that can be provided.
  • the illusion that the virtual image is on the vehicle can be given to the vehicle occupant.
  • the vehicle occupant when the virtual image is seated on the vehicle seat, the vehicle occupant can have an illusion.
  • the cost of the vehicle can be reduced by executing the interaction using the determination unit provided outside the vehicle, compared to the case where the determination unit is provided in the vehicle.
  • the cost of the vehicle can be reduced by providing the interaction by the output of the external processing unit that processes the signals detected by the occupant information detection unit and the outside world information detection unit outside the vehicle.
  • the providing unit can appropriately provide the interaction to the occupant even during the provision of the interaction.
  • the experience providing system is a system that provides an interaction (for example, entertainment content) for a vehicle occupant to entertain the vehicle occupant.
  • the interaction includes sound corresponding to the music being listened to in the vehicle.
  • FIG. 1 is a configuration diagram of the experience providing system 1.
  • the experience providing system 1 includes, for example, a content providing server 100 that provides content, and a vehicle 200 that receives the content from the content providing server 100 and provides the content to a passenger. These components can communicate with each other via the network NW.
  • the network NW includes the Internet, a WAN (Wide Area Network), a LAN (Local Area Network), a public line, a provider device, a dedicated line, a wireless base station, and the like.
  • the vehicle 200 includes, for example, a communication unit 210, an occupant information detection unit 220, an outside world information detection unit 230, a provision unit 240, a voice input unit 250, a virtual image selection unit 260, a content selection unit 270, and a storage. Part 280.
  • the communication unit 210 is, for example, a wireless communication module for connecting to the network NW.
  • the communication unit 210 performs wireless communication based on Wi-Fi, DSRC (Dedicated Short Range Communication), Bluetooth (registered trademark), and other communication standards.
  • a plurality of communication units 210 may be prepared according to applications.
  • the communication unit 210 communicates with the content providing server 100 via the network NW.
  • the occupant information detection unit 220 detects information related to the occupant of the vehicle 200.
  • the information about the occupant includes, for example, the occupant's facial expression, the presence / absence of the utterance of the occupant, and whether or not the occupant is seated on the seat in the vehicle.
  • the occupant information detection unit 220 includes, for example, some or all of an in-vehicle camera, an in-vehicle microphone, a seating sensor, and the like.
  • the occupant information detection unit 220 detects information related to the occupant of the vehicle 200 at a predetermined period, and transmits the detected information to the content providing server 100 via the communication unit 210 and the network NW.
  • External field information detection unit 230 detects information outside vehicle 200.
  • the external information is, for example, scenery outside the vehicle, sound outside the vehicle, and the like.
  • the outside world information detection unit 230 includes, for example, a part or all of a camera outside the vehicle, a microphone outside the vehicle, and the like.
  • the outside world information detection unit 230 detects information outside the vehicle 200 at a predetermined period, and transmits the detected information to the content providing server 100 via the communication unit 210 and the network NW.
  • the providing unit 240 includes, for example, a virtual image generating unit 242, an audio output unit 244, and a content reproduction unit 246.
  • the virtual image generation unit 242 generates a virtual image of a person to entertain a passenger of the vehicle 200. Based on the original data received from the content providing server 100, the virtual image generation unit 242 causes a virtual image (display) of a person that can be visually recognized by a passenger of the vehicle 200 to appear.
  • the virtual image generation unit 242 includes, for example, some or all of a projection device, a window, a mirror, a display, a hologram projection device, and the like.
  • the voice output unit 244 outputs, for example, a voice for entertaining the passenger of the vehicle 200.
  • the audio output unit 244 outputs audio based on the original data received from the content providing server 100.
  • the audio output unit 244 includes, for example, a speaker.
  • the content reproduction unit 246 provides content for the passenger of the vehicle 200 in which the sound output from the sound output unit 244 and the operation of the virtual image that the virtual image generation unit 242 appears are synchronized (or coordinated). That is, the content reproduction unit 246 synchronizes the sound (eg, music) output from the audio output unit 244 and the display (eg, virtual image operation) output from the virtual image generation unit 242. For example, the content reproduction unit 246 uses the MMD (MikuMikuDance) described in Japanese Patent Application Laid-Open No. 2016-411142 to coordinate (that is, link) the sound and the operation of the virtual image.
  • MMD MikuMikuDance
  • the voice input unit 250 receives an input such as a singing voice of an occupant of the vehicle 200, for example.
  • the voice input unit 250 includes, for example, a singing microphone.
  • the voice input unit 250 transmits a signal (data) indicating the singing voice of the passenger of the vehicle 200 to the singing ability scoring unit 134 of the content providing server 100 via the communication unit 210 and the network NW.
  • the virtual image selection unit 260 accepts selection by the vehicle occupant of the person's virtual image that the virtual image generation unit 242 appears.
  • the virtual image selection unit 260 transmits data indicating the received selection content to the content providing server 100.
  • the content selection unit 270 accepts selection of content provided by the content providing server 100 by the occupant of the vehicle 200.
  • the content selection unit 270 transmits data indicating the received selection content to the content providing server 100.
  • the storage unit 280 is realized by an HDD (Hard Disk Drive), a flash memory, a RAM (Random Access Memory), a ROM (Read Only Memory), or the like.
  • the storage unit 280 includes information received from the content providing server 100, information about the occupant detected by the occupant information detection unit 220, information outside the vehicle 200 detected by the outside world information detection unit 230, and the vehicle 200 received by the voice input unit 250. Memorize data such as the singing voice of the crew.
  • FIG. 2 is a diagram illustrating an example of an in-vehicle device including the occupant information detection unit 220.
  • the occupant information detection unit 220 includes an in-vehicle camera 220A, an in-vehicle microphone 220B, and a seating sensor 220C.
  • the in-vehicle camera 220A captures, for example, the face of the occupant and outputs an image.
  • the in-vehicle camera 220 ⁇ / b> A transmits captured image data to the content providing server 100.
  • the in-vehicle microphone 220B acquires in-vehicle sound.
  • the in-vehicle microphone 220 ⁇ / b> B transmits the acquired in-vehicle audio data to the content providing server 100.
  • the seating sensor 220C detects whether an occupant is seated on the seat provided with the seating sensor 220C based on the pressure applied to the seating sensor 220C.
  • the seating sensor 220C transmits a signal (data) indicating whether or not an occupant is seated to the content providing server 100.
  • the external world information detection unit 230 includes external cameras 230A to 230C and an external microphone 230D.
  • the external information detection unit 230 may include an illuminance sensor, a raindrop sensor, a humidity sensor, a navigation device including a GNSS receiver and map information, a gyro sensor, a vehicle speed sensor, and the like.
  • the outside camera 230 ⁇ / b> A captures an image of the scenery in front of the vehicle 200.
  • the vehicle exterior camera 230 ⁇ / b> A transmits the captured landscape image data to the content providing server 100.
  • the outside camera 230B captures an image of the scenery on the left side of the vehicle 200.
  • the vehicle exterior camera 230 ⁇ / b> B transmits the captured landscape image data to the content providing server 100.
  • the outside camera 230C captures an image of the scenery on the right side of the vehicle 200.
  • the on-vehicle camera 230 ⁇ / b> C transmits the captured landscape image data to the content providing server 100.
  • the outside microphone 230D acquires the outside sound.
  • the outside microphone 230 ⁇ / b> D transmits the acquired outside sound data to the content providing server 100.
  • the virtual image generation unit 242 includes a projection device 242A, a front window 242B, a left side window 242C, a mirror 242E, a hologram projection device 242G, a touch panel display device 242H, and a transmission plate display. 242I.
  • the projection device 242A projects a virtual image on the front window 242B, the left side window 242C, or the mirror 242E, and causes a virtual image that can be visually recognized by a passenger of the vehicle 200 to appear.
  • the hologram projection device 242G projects a virtual image (hologram) onto an empty seat, and causes a virtual image that can be visually recognized by a passenger of the vehicle 200 to appear.
  • Projector 242A or hologram projector 242G causes the virtual image to appear at a scale of at least 70%.
  • Projection device 242A or hologram projection device 242G causes a virtual image that appears as an illusion by an occupant of vehicle 200 to appear as if sitting on a seat of vehicle 200.
  • FIG. 3 is a diagram illustrating an example in which the projection device 242A projects the virtual image VM and the virtual sheet VS on the front window 242B.
  • the projection device 242A causes the virtual image VM sitting on the virtual sheet VS to appear in the front window 242B. That is, the virtual image generation unit 242 causes the virtual image to appear so as to be superimposed on the captured image corresponding to the sheet.
  • FIG. 4 is a diagram illustrating an example in which the projection device 242A projects the virtual image VM and the virtual sheet VS on the left side window 242C.
  • the projection device 242A that can turn in the horizontal direction and change the projection direction as shown by the double-headed arrow in FIG. 2 displays the virtual image VM sitting on the virtual seat VS in the left side window 242C. Make it appear.
  • FIG. 5 is a diagram illustrating an example in which the projection device 242A projects the virtual image VM and the virtual sheet VS onto the mirror 242E.
  • the projector 242A causes the virtual image VM sitting on the virtual sheet VS to appear on the mirror 242E.
  • FIG. 6 is a diagram illustrating an example in which the hologram projection device 242G projects the virtual image VM onto the empty seat S of the vehicle 200.
  • the hologram projector 242 ⁇ / b> G causes the virtual image VM that can be visually recognized by the occupant of the vehicle 200 to appear on the empty seat S of the vehicle 200.
  • the touch panel display device 242H displays a virtual image on the screen, and makes the virtual image visible to the passenger of the vehicle 200 appear.
  • the touch panel display device 242H for example, causes a virtual image to appear at a scale of at least 70%.
  • FIG. 7 is a diagram illustrating an example in which the touch-panel display device 242H displays the face of the virtual image VM.
  • the touch panel display device 242H causes the face of the virtual image VM to appear on the screen of the touch panel display device 242H.
  • the transmissive plate type display 242I is disposed, for example, between the driver seat and the passenger seat.
  • the transmission plate type display 242I displays a virtual image on the screen, and makes the virtual image visible to the passenger of the vehicle 200 appear.
  • the transmissive plate type display 242I causes a virtual image to appear at a scale of at least 70%.
  • the transmissive plate type display 242I includes, for example, a transparent LED display in which LEDs are arranged on a transparent substrate, and an organic EL (Electroluminescence) element in which a laminated film of a functional organic material is sandwiched between two electrodes on a transparent substrate. OLED (Organic Light Emitting Diode) having the above structure.
  • the transmission plate type display 242I may be a head-up display type display having a projection device and a polarizing plate embedded in a headrest of a driver's seat, for example.
  • FIG. 8 is a diagram showing an example in which the transmission plate type display 242I displays the face of the virtual image VM.
  • the transmissive plate type display 242I causes the face of the virtual image VM to appear on the screen of the transmissive plate type display 242I. That is, the virtual image generation unit 242 causes the virtual image to appear so as to correspond to the seat mirror image position of the vehicle as viewed from the passenger.
  • the audio output unit 244 includes a left front speaker 244A, a right front speaker 244B, a left rear speaker 244C, and a right rear speaker 244D.
  • the voice input unit 250 includes, for example, a singing microphone 250A.
  • the virtual image selection unit 260 includes, for example, a touch panel display device 242H.
  • the occupant of the vehicle 200 selects a virtual image that the virtual image generation unit 242 appears from among the virtual images of a plurality of persons, for example, by performing touch input on the touch panel display device 242H.
  • the content selection unit 270 includes, for example, a touch panel display device 242H.
  • the occupant of the vehicle 200 selects a desired content from among a plurality of contents that can be provided by the content providing server 100, for example, by performing a touch input to the touch panel display device 242H.
  • the content providing server 100 includes, for example, a communication unit 110, a storage unit 120, and a control unit 130. A part or all of the functional configuration included in the content providing server 100 may be mounted on the vehicle 200. Part or all of the functional configuration included in the vehicle 200 may be mounted on the content providing server 100.
  • the communication unit 110 is a communication module for connecting to a network NW, for example.
  • the communication unit 110 includes, for example, a NIC (Network Interface Card).
  • Communication unit 110 communicates with vehicle 200 via network NW.
  • the storage unit 120 is realized by an HDD, a flash memory, a RAM, a ROM, or the like.
  • the storage unit 120 stores information received from the vehicle 200, information transmitted to the vehicle 200, original data generated in the content providing server 100, and the like.
  • karaoke content data 122 (for example, data such as accompaniment music and lyrics) is stored in the storage unit 120.
  • the control unit 130 is realized by a processor such as a CPU (Central Processing Unit) executing a program stored in the storage unit 120, for example.
  • the control unit 130 includes, for example, an original data generation unit 132 and a singing ability scoring unit 134. Some or all of these functional units are implemented by hardware such as LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit), FPGA (Field-Programmable Gate Array), and GPU (Graphics Processing Unit). Alternatively, it may be realized by cooperation of software and hardware.
  • the program may be stored in advance in a storage device such as an HDD (Hard Disk Drive) or flash memory, or may be stored in a removable storage medium such as a DVD or CD-ROM, and the storage medium is stored in the drive device. It may be installed in the storage device by being attached.
  • the original data generation unit 132 coordinated the sound output from the sound output unit 244 of the vehicle 200 (for example, singing or speaking of a virtual image) and the operation of the virtual image generated by the virtual image generation unit 242 of the vehicle 200.
  • the original data of the content for the occupant of the vehicle 200 is generated. Therefore, the original data generation unit 132 includes, for example, an utterance generation unit 132A, a singing voice generation unit 132B, and an action generation unit 132C.
  • the utterance generation unit 132A generates original data of the utterance of the virtual image (that is, the voice spoken by the virtual image) that the virtual image generation unit 242 of the vehicle 200 appears.
  • the utterance generation unit 132A is equipped with AI (artificial intelligence) and has an automatic voice response (Interactive Voice Response) function.
  • AI is an artificially realized function of human intelligence such as learning, inference and judgment using a computer.
  • AI also includes machine learning and deep learning.
  • Machine learning means a method that uses an algorithm to analyze data from a specific event in the world, learn from the results, and make judgments and predictions.
  • Deep learning means a method for implementing machine learning. Deep learning allows you to categorize tasks in a way that allows (or expects) all kinds of assistance from machines.
  • Machine learning and deep learning are techniques for learning AI.
  • Machine learning has the feature that AI does not program all operations in advance, but AI itself analyzes data to find out the rules and rules. In other words, the machine learning can execute a specific task by training in the AI. Deep learning is a further development of machine learning.
  • the framework used to analyze information and data is different from machine learning.
  • the ability to analyze and learn data by a computer is improved by using a multi-layered neural network imitating human nerves.
  • the automatic voice response function is a function that responds to the utterance of the occupant of the vehicle 200 using a pre-recorded voice or a dynamically generated voice.
  • the utterance generation unit 132A generates original data of the utterance of the virtual image based on the utterance of the occupant of the vehicle 200 detected by the occupant information detection unit 220 of the vehicle 200, and performs an interaction between the occupant of the vehicle 200 and the virtual image. Establish.
  • the utterance generation unit 132A may generate original data of the utterance of the virtual image based on information outside the vehicle 200 detected by the external information detection unit 230 of the vehicle 200. For example, the utterance generation unit 132A generates the original data of the utterance of the virtual image for the detection result of the outside world information detection unit 230 (for example, it has started to rain, the road has started to be congested, etc.). In this case, the detection capability of the external information detection unit 230 is set to be approximately the same as the detection capability of information outside the vehicle 200 by the occupant. As a result, the utterance generation unit 132A can generate original data of the utterance of the virtual image from which passenger sympathy can be obtained.
  • the utterance generation unit 132A generates original data of the utterance of the virtual image based on the information only in the direction in which the virtual image is facing. For example, when the range that can be seen by the occupant becomes narrower as the vehicle 200 moves, or when the outlook becomes worse as the weather worsens, the detection capability of the external information detection unit 230 is determined by the occupant outside the vehicle 200. It is lowered in accordance with the decline in the information detection capability.
  • the outside world information detection unit 230 detects that it has started raining, for example, by using a technique described in International Publication No. 2014/007175. In this example, when the vehicle 200 is traveling, in an image captured by the outside camera 230A, there is a place where the background is brighter than the surroundings at a substantially same position for a certain time or more, although the background flows far away. In addition, the outside world information detection unit 230 determines that this portion is a water droplet attached to the lens of the outside camera 230A, and detects that it has started to rain. The outside world information detection unit 230 transmits data indicating that it has started raining to the utterance generation unit 132A of the content providing server 100 via the network NW.
  • the outside world information detection unit 230 detects that the road has started to be crowded by using, for example, the technique described in FIG. 7 of Japanese Patent Application Laid-Open No. 11-064031.
  • the external world information detection unit 230 detects the current position of the vehicle 200 using a GNSS receiver, a gyro sensor, and a vehicle speed sensor.
  • the vehicle speed sensor detects the vehicle speed of the vehicle 200.
  • the gyro sensor detects the traveling direction of the vehicle 200.
  • the outside world information detection unit 230 determines that the road has started to be crowded when the vehicle speed of the vehicle 200 has been below a predetermined value for a predetermined time or longer.
  • the outside world information detection unit 230 transmits data indicating that the road has started to be crowded to the utterance generation unit 132A of the content providing server 100 via the network NW.
  • the utterance generation unit 132A may generate original data of an utterance of a virtual image of, for example, a sightseeing spot outside the vehicle detected by the outside world information detection unit 230.
  • the external world information detection unit 230 includes a navigation device including map information including a sightseeing spot and a GNSS receiver.
  • the outside world information detection unit 230 detects that the vehicle 200 is located at a tourist spot by using, for example, a technique described in Japanese Patent No. 5921162.
  • the outside world information detection unit 230 transmits data indicating that the vehicle 200 is located at a tourist spot to the utterance generation unit 132A of the content providing server 100 via the network.
  • the storage unit 120 of the content providing server 100 stores each piece of sightseeing information of a plurality of sightseeing spots and a scenario of an utterance of a virtual image for each sightseeing spot. Based on the scenario stored in the storage unit 120, the utterance generation unit 132A generates original data of a virtual image utterance for the tourist spot.
  • FIG. 9 is a flowchart showing an example of a flow of processing such as processing in which the utterance generation unit 132A generates original data of the utterance of the virtual image for the tourist spot.
  • the control unit 130 of the content providing server 100 acquires the route of the vehicle 200 determined by the navigation device of the external information detection unit 230 of the vehicle 200 and the map information included in the navigation device via the network NW (step S1). S100).
  • the control unit 130 determines whether there is a tourist spot on the acquired route of the vehicle 200 (step S101). When the tourist spot is not on the route of the vehicle 200, the routine processing of this flowchart is terminated.
  • the control unit 130 acquires the current position of the vehicle 200 detected by the GNSS receiver of the navigation device via the network NW (step S102).
  • the control unit 130 calculates the distance between the current position of the vehicle 200 and the tourist spot (step S103).
  • the control unit 130 acquires the vehicle speed of the vehicle 200 detected by the vehicle speed sensor of the external information detection unit 230 via the network NW (step S104). Based on the distance and the vehicle speed, the control unit 130 calculates a time required for the vehicle 200 to reach the tourist spot (step S105).
  • the utterance generation unit 132A of the content providing server 100 generates the original data of the utterance of the virtual image about the tourist spot, and transmits it to the audio output unit 244 of the vehicle 200 via the network NW (step S106).
  • the control unit 130 determines whether or not the vehicle 200 has reached a tourist spot (step S107). When the vehicle 200 has not reached the tourist spot, the control unit 130 executes step S107 again after a predetermined time has elapsed. On the other hand, when the vehicle 200 reaches the tourist spot, the control unit 130 sends a control signal for causing the voice output unit 244 of the vehicle 200 to output the utterance of the virtual image of the tourist spot to the voice output unit 244 via the network NW. Transmit (step S108). As described above, the control unit 130 adjusts the timing at which the voice output unit 244 outputs an utterance based on the situation outside the vehicle.
  • the utterance generation unit 132A may generate original data of a virtual image utterance for an advertisement outside the vehicle, for example, detected by the outside world information detection unit 230.
  • the storage unit 280 of the vehicle 200 stores dictionary data.
  • the outside world information detection unit 230 recognizes a character string included in images captured by the outside cameras 230A to 230C by using, for example, a technique described in Japanese Patent Application Laid-Open No. 2015-153032. Specifically, the external information detection unit 230 recognizes a character string included in the image by OCR (Optical Character Recognition). In the technique described in Japanese Patent Application Laid-Open No.
  • the recognized character string is translated, but the outside world information detection unit 230 is recognized based on the dictionary data stored in the storage unit 280. It is determined whether or not the character string means an advertisement.
  • the outside world information detection unit 230 transmits data indicating the meaning of the advertisement to the utterance generation unit 132A of the content providing server 100 via the network NW.
  • the storage unit 120 of the content providing server 100 stores a virtual image utterance scenario for each of a plurality of advertisements. Based on the scenario stored in the storage unit 120, the utterance generation unit 132A generates original data of a virtual image utterance for the advertisement.
  • the content providing server 100 provides the karaoke content to the occupant of the vehicle 200
  • the occupant of the vehicle 200 may not sing along with the accompaniment music of the karaoke content.
  • the utterance generation unit 132A prompts the occupant of the vehicle 200 to sing based on the detection result of the audio input unit 250 of the vehicle 200 that the occupant of the vehicle 200 does not sing along with the accompaniment music of the karaoke content.
  • Original data of a virtual image utterance may be generated.
  • the singing voice of the passenger of the vehicle 200 detected by the singing microphone of the voice input unit 250 is transmitted to the control unit 130 of the content providing server 100 via the network NW.
  • the control unit 130 Based on the received singing voice of the occupant of the vehicle 200 (specifically, since no singing is performed) and the accompaniment music of the karaoke content data 122, the control unit 130 adjusts the occupant of the vehicle 200 to the accompaniment music. Determine if you are singing.
  • the storage unit 120 of the content providing server 100 stores a scenario of an utterance of a virtual image that prompts an occupant of the vehicle 200 to sing.
  • the utterance generation unit 132A is based on the scenario stored in the storage unit 120, and the original data of the utterance of the virtual image that urges the occupant of the vehicle 200 to sing Is generated.
  • the utterance generation unit 132A may generate the original data of the matching hands (the shout and the clapping sound) in accordance with the accompaniment music.
  • the motion generation unit 132C may generate the original data of the hand clapping operation of the virtual image that matches the hand clapping sound.
  • FIG. 10 is a flowchart illustrating an example of a flow of processing such as processing in which the utterance generation unit 132A generates original data of a virtual image utterance that prompts the passenger of the vehicle 200 to sing.
  • the control unit 130 of the content providing server 100 determines whether or not the content providing server 100 is providing karaoke content to an occupant of the vehicle 200 (step S200). When the content providing server 100 is not providing karaoke content, the routine processing of this flowchart ends. On the other hand, when the content providing server 100 is providing karaoke content, the control unit 130 acquires the singing voice of the occupant of the vehicle 200 detected by the singing microphone of the voice input unit 250 of the vehicle 200 (step S201).
  • Control unit 130 determines whether an occupant of vehicle 200 is singing (step S202). When the occupant of the vehicle 200 is singing, the routine processing of this flowchart ends. On the other hand, when the occupant of the vehicle 200 is not singing, the utterance generation unit 132A of the content providing server 100 generates original data of the utterance of the virtual image that urges the occupant of the vehicle 200 to sing, and the vehicle 200 via the network NW. To the audio output unit 244 (step S203). Control unit 130 acquires the singing voice of the occupant of vehicle 200 (step S204). Control unit 130 determines whether or not an occupant of vehicle 200 has started singing (step S205). When the occupant of the vehicle 200 starts singing, the routine processing of this flowchart ends.
  • Step S206 the utterance generation unit 132A generates the original data of the virtual image urging that prompts the occupant of the vehicle 200 to sing, and the audio output unit 244 of the vehicle 200 via the network NW.
  • the control unit 130 acquires the singing voice of the passenger of the vehicle 200 (step S207).
  • Control unit 130 determines whether or not an occupant of vehicle 200 has started singing (step S208). When the occupant of the vehicle 200 starts singing, the routine processing of this flowchart ends.
  • the motion generation unit 132C when the occupant of the vehicle 200 has not started singing, the motion generation unit 132C generates the original data of the clapping motion of the virtual image that prompts the occupant of the vehicle 200 to sing, and the utterance generation unit 132A performs the clapping of the virtual image.
  • Original sound data is generated and transmitted to the virtual image generation unit 242 and the audio output unit 244 of the vehicle 200 via the network NW (step S209).
  • the singing voice generating unit 132B generates original data of the virtual image singing voice output by the audio output unit 244 of the vehicle 200.
  • the singing voice generating unit 132B is the original data of the singing voice of the virtual image that is sung in accordance with the accompaniment music of the karaoke content output by the audio output unit 244 of the vehicle 200. May be generated.
  • the original data of the virtual image singing voice is generated, for example, using the technique described in Japanese Patent Application Laid-Open No. 2008-58379.
  • the singing voice generation unit 132B for example, records the pronunciation of a real person, breaks it into sound elements, creates a database, and then synthesizes the sound elements of the database to generate a desired sound. Or a corpus-based TTS (text-to-speech) system.
  • the singing voice generation unit 132B may be a parametric TTS system.
  • the singing voice generation unit 132B of the content providing server 100 When the singing voice generation unit 132B of the content providing server 100 generates the original data of the virtual image singing voice and the occupant of the vehicle 200 does not start singing even if the audio output unit 244 of the vehicle 200 outputs the singing voice of the virtual image.
  • the control unit 130 of the content providing server 100 may stop transmitting the original data of the virtual image singing voice to the audio output unit 244 of the vehicle 200.
  • the utterance generation unit 132A instead of the generation of the original data of the virtual image singing voice by the singing voice generation unit 132B, the utterance generation unit 132A generates the original data of the utterance of the virtual image for the occupant of the vehicle 200, and the audio output unit 244 of the vehicle 200.
  • the motion generation unit 132C generates original data of the virtual image motion that the virtual image generation unit 242 of the vehicle 200 appears. As described above, the operation of the virtual image that the virtual image generation unit 242 appears is coordinated with the utterance and / or singing voice of the virtual image, for example, by using MMD.
  • the motion of the virtual image that the virtual image generating unit 242 appears based on the original data generated by the motion generating unit 132C cooperates with the accompaniment music of the karaoke content. Be made.
  • the audio output unit 244 outputs in response to those changes.
  • the utterance generation unit 132A generates the original data so that the utterance of the virtual image to be dynamically changed, and the operation generation unit so that the operation of the virtual image generated by the virtual image generation unit 242 changes dynamically.
  • 132C may generate original data. That is, in this example, the utterance generation unit 132A and the motion generation unit 132C store the original data based on the latest information without accumulating the information detected by the occupant information detection unit 220 and the outside world information detection unit 230 in the storage unit 120. Generate.
  • the occupant information processing unit 410 may include a storage unit (storage device or information storage area).
  • a storage unit storage device or information storage area
  • the providing unit 240 may change the interaction that can be used by a vehicle occupant based on the state of the storage unit.
  • the providing unit 240 may change the interaction based on the information stored in the storage unit 280, in which the state of the vehicle occupant and the interaction are associated with each other.
  • the interaction change may be performed by the original data generation unit 132.
  • the original data generation unit 132 changes the interaction based on the information stored in the storage unit 120 and the state in which the vehicle occupant is associated with the interaction.
  • the audio output unit 244 of the vehicle 200 outputs the utterance and singing voice of the virtual image.
  • the virtual image generation unit 242 of the vehicle 200 causes an operating virtual image to appear. By causing a virtual image whose utterances and actions can be dynamically changed to appear, if the virtual image is on the vehicle 200, an illusion can be given to an occupant of the vehicle 200.
  • the singing ability scoring unit 134 scores the singing ability of the occupant of the vehicle 200 who sings along with the accompaniment music of the karaoke content.
  • FIG. 11 is a sequence diagram for explaining an example of processing in the content providing server 100 and the vehicle 200.
  • Step S1 The content selection unit 270 of the vehicle 200 accepts selection of content by the passenger of the vehicle 200.
  • Step S2 The vehicle 200 transmits data indicating the selected content (in this example, karaoke content) to the content providing server 100.
  • the selected content in this example, karaoke content
  • Step S3 The virtual image selection unit 260 of the vehicle 200 accepts selection of a virtual image by a passenger of the vehicle 200.
  • Step S4 The vehicle 200 transmits data indicating the selected virtual image to the content providing server 100.
  • Step S5 The content providing server 100 transmits data such as accompaniment music and lyrics of the karaoke content to the vehicle 200.
  • Step S6 The occupant information detection unit 220 of the vehicle 200 detects information related to the occupant of the vehicle 200.
  • Step S ⁇ b> 7 The vehicle 200 transmits information regarding the detected passenger of the vehicle 200 to the content providing server 100.
  • Step S8 The external information detection unit 230 of the vehicle 200 detects information outside the vehicle 200.
  • Step S9 The vehicle 200 transmits information detected outside the vehicle 200 to the content providing server 100.
  • Step S10 Based on the information about the occupant of the vehicle 200 and the information outside the vehicle 200, the utterance generation unit 132A of the content providing server 100 is used to output the utterance of the virtual image in the audio output unit 244 of the vehicle 200.
  • Generate data The singing voice generating unit 132 ⁇ / b> B generates original data used for outputting the virtual image singing voice in the audio output unit 244 of the vehicle 200.
  • the motion generation unit 132 ⁇ / b> C generates original data used for generating a virtual image motion in the virtual image generation unit 242 of the vehicle 200.
  • Step S11 The content providing server 100 transmits the generated original data to the vehicle 200.
  • Step S12 The providing unit 240 of the vehicle 200 provides the occupant of the vehicle 200 with content obtained by coordinating the operation of the virtual image and the sound (speech of the virtual image, singing voice, etc.).
  • Step S13 The occupant information detection unit 220 of the vehicle 200 detects information related to the occupant of the vehicle 200 during the provision of content. This information indicates the response of the occupant of the vehicle 200 to the provided content.
  • Step S14 The vehicle 200 transmits information related to the occupant of the vehicle 200 detected during the provision of the content to the content providing server 100.
  • Step S15 The external information detection unit 230 of the vehicle 200 detects information outside the vehicle 200 during the provision of content.
  • Step S16 The vehicle 200 transmits information external to the vehicle 200 detected during the provision of the content to the content providing server 100.
  • Step S ⁇ b> 17 Based on the information related to the occupant of the vehicle 200 during the provision of the content and information outside the vehicle 200, the utterance generation unit 132 ⁇ / b> A generates original data used for outputting the utterance of the virtual image, and the singing voice generation unit 132B generates original data used for outputting the singing voice of the virtual image, and the action generating unit 132C generates original data used for generating the action of the virtual image.
  • Step S18 The content providing server 100 transmits the generated original data to the vehicle 200.
  • Step S19 The providing unit 240 of the vehicle 200 provides the occupant of the vehicle 200 with content in which the utterance, singing voice, and movement of the virtual image dynamically change based on the original data generated during the provision of the content.
  • the vehicle 200 on which the occupant who receives the content rides is, for example, an autonomous driving vehicle that basically does not require a driving operation. In the following description, it is assumed that the vehicle 200 on which the occupant who receives the content rides is an autonomous driving vehicle.
  • the vehicle 200 on which the occupant who receives the content rides may be a manually operated vehicle.
  • FIG. 12 is a configuration diagram of a vehicle 200 having an automatic driving function.
  • communication unit 210 communication unit 210, occupant information detection unit 220, external world information detection unit 230, provision unit 240, voice input unit 250, virtual image selection unit 260, and storage unit 280
  • an external environment monitoring unit 310 for example, an external environment monitoring unit 310, a navigation device 330, a recommended lane determining device 340, an automatic driving control unit 350, a driving force output device 360, a brake device 362, and a steering device 364 are provided.
  • the external environment monitoring unit 310 includes, for example, a camera, a radar, a LIDAR (Light Detection and Ranging), and an object recognition device that performs sensor fusion processing based on these outputs.
  • the outside world monitoring unit 310 estimates the types of objects (particularly, vehicles, pedestrians, and bicycles) existing around the vehicle 200 and outputs them to the automatic driving control unit 350 together with the position and speed information. Some components may be shared between the external monitoring unit 310 and the external information detection unit 230.
  • the navigation device 330 includes, for example, an HMI (Human Machine Interface) 332, a GNSS receiver 334, and a navigation control device 336.
  • the HMI 332 includes, for example, a touch panel display device, a speaker, a microphone, and the like.
  • the GNSS receiver 334 measures the position of the own apparatus (the position of the vehicle 200) based on radio waves coming from a GNSS satellite (for example, a GPS satellite).
  • the navigation control device 336 includes, for example, a CPU (Central Processing Unit) and various storage devices, and controls the entire navigation device 330. Map information (navigation map) is stored in the storage device.
  • the navigation map is a map that expresses roads by nodes and links.
  • the navigation control device 336 determines a route from the position of the vehicle 200 measured by the GNSS receiver 334 to the destination specified using the HMI 332 with reference to the navigation map.
  • the navigation control device 336 may acquire the route returned from the navigation server by transmitting the position and destination of the vehicle 200 to the navigation server (not shown) using the communication unit 210.
  • Some components may be shared between the navigation device 330 and the outside world information detection unit 230. That is, the navigation device provided in the external world information detection unit 230 and the navigation device 330 may be a shared navigation device.
  • the recommended lane determining device 340 includes, for example, an MPU (Map Positioning Unit) and various storage devices.
  • the storage device stores high-precision map information that is more detailed than the navigation map.
  • the high-accuracy map information includes, for example, information such as road width and gradient for each lane, curvature, and signal position.
  • the recommended lane determining device 340 determines a recommended lane preferable for traveling along the route input from the navigation device 330 and outputs the recommended lane to the automatic driving control unit 350.
  • the automatic operation control unit 350 includes one or more processors such as a CPU or MPU (Micro Processing Unit) and various storage devices.
  • the automatic driving control unit 350 travels in the recommended lane determined by the recommended lane determining device 340, so as to avoid contact with an object whose position and speed are input from the external monitoring unit 310. Let it run automatically. For example, the automatic operation control unit 350 sequentially executes various events. Events include constant speed driving events that travel in the same lane at a constant speed, follow-up driving events that follow the preceding vehicle, lane change events, merge events, branch events, emergency stop events, and charges for passing through the toll gate Event, handover event to end automatic driving and switch to manual driving. During execution of these events, actions for avoidance may be planned based on the surrounding conditions of the vehicle 200 (the presence of surrounding vehicles and pedestrians, lane narrowing due to road construction, etc.).
  • the automatic operation control unit 350 generates a target track on which the vehicle 200 will travel in the future.
  • the target trajectory includes, for example, a velocity element.
  • the target track is expressed as a sequence of points (track points) that the vehicle should reach.
  • the trajectory point is a point where the vehicle should reach for each predetermined travel distance.
  • the target speed and target acceleration for each predetermined sampling time are one of the target trajectories. Is generated as a part.
  • the track point may be a position to be reached by the vehicle at the sampling time for each predetermined sampling time. In this case, information on the target speed and target acceleration is expressed by the interval between the trajectory points.
  • FIG. 13 is a diagram for explaining a process of automatic driving.
  • a route is determined by the navigation device 330. This route is, for example, a rough route with no lane distinction.
  • the recommended lane determining device 340 determines a recommended lane that is easy to travel along the route.
  • the automatic operation control unit 350 generates a trajectory point for traveling along the recommended lane as much as possible while avoiding an obstacle, and the trajectory point (and an accompanying speed profile) is generated.
  • a part or all of the driving force output device 360, the brake device 362, and the steering device 364 are controlled so as to travel along the vehicle.
  • Such division of roles is merely an example, and for example, the automatic operation control unit 350 may perform processing in a unified manner.
  • the driving force output device 360 outputs a driving force (torque) for driving the vehicle to the driving wheels.
  • the driving force output device 360 includes, for example, a combination of an internal combustion engine, an electric motor, a transmission, and the like, and a power ECU that controls them.
  • the power ECU controls the above-described configuration in accordance with information input from the automatic operation control unit 350 or information input from a driving operator (not shown).
  • the brake device 362 includes, for example, a brake caliper, a cylinder that transmits hydraulic pressure to the brake caliper, an electric motor that generates hydraulic pressure in the cylinder, and a brake ECU.
  • the brake ECU controls the electric motor in accordance with the information input from the automatic driving control unit 350 or the information input from the driving operator so that the brake torque corresponding to the braking operation is output to each wheel.
  • the brake device 362 may include, as a backup, a mechanism that transmits the hydraulic pressure generated by operating the brake pedal included in the driving operation element to the cylinder via the master cylinder.
  • the brake device 362 is not limited to the configuration described above, and may be an electronically controlled hydraulic brake device that controls the actuator according to information input from the automatic operation control unit 350 and transmits the hydraulic pressure of the master cylinder to the cylinder. .
  • the steering device 364 includes, for example, a steering ECU and an electric motor.
  • the electric motor changes the direction of the steered wheels by applying a force to a rack and pinion mechanism.
  • the steering ECU drives the electric motor according to the information input from the automatic driving control unit 350 or the information input from the driving operator, and changes the direction of the steered wheels.
  • the providing unit 240 of the vehicle 200 synchronizes (or collaborates) the content of the audio output from the audio output unit 244 and the operation of the virtual image that appears by the virtual image generating unit 242 during the automatic driving of the vehicle 200.
  • the providing unit 240 does not provide content to the passenger of the vehicle 200.
  • the providing unit 240 of the vehicle 200 acquires information indicating whether or not automatic driving is being performed from the automatic driving control unit 350 or the control unit of the vehicle, and during manual driving of the vehicle 200, at least interaction is performed.
  • Some operation modes are limited.
  • the restricted operation mode is an operation mode that may hinder the driver's attention.
  • the providing unit 240, the virtual image generation unit 242, the audio output unit 244, and the content reproduction unit 246 are provided in the vehicle 200, the original data generation unit 132, the utterance generation unit 132A, The singing voice generation unit 132B and the motion generation unit 132C are provided in the content providing server 100 (that is, outside the vehicle), but they are provided only in the vehicle 200 or only outside the vehicle. Also good.
  • FIG. 14 is a diagram illustrating an example of a functional configuration included in the experience providing system 1A.
  • the experience providing system 1 includes a functional configuration illustrated in FIG. 14 in addition to the functional configurations illustrated in FIGS. 2 and 12.
  • the occupant information detection unit 220, the external world information detection unit 230, and the provision unit 240 in FIG. 13 have the same functional configuration as the occupant information detection unit 220, the external world information detection unit 230, and the provision unit 240 described in FIG.
  • the vehicle 200 further includes, for example, a signal generation unit 400, a local determination unit 510, a local UI processing unit 610, and a local storage unit 700.
  • the signal generation unit 400 includes the following functional configuration in addition to the functional configuration of the voice input unit 250.
  • the signal generation unit 400 includes, for example, an occupant information processing unit 410, an external information processing unit 420, and an environment information processing unit 430.
  • the occupant information processing unit 410 cuts out information used by the local determination unit 510 or the remote determination unit 550 from the detection result of the occupant information detection unit 220, and transmits the cut out information to the local determination unit 510 or the remote determination unit 550. .
  • the occupant information processing unit 410 transmits an image captured by the camera to the local determination unit 510 or the remote determination unit 550.
  • the outside world information processing unit 420 cuts out information used by the local determination unit 510 or the remote determination unit 550 from the detection result of the outside world information detection unit 230, and transmits the cut out information to the local determination unit 510 or the remote determination unit 550.
  • the external information processing unit 420 transmits the detection result of the sensor observing the state of the external environment to the local determination unit 510 or the remote determination unit 550.
  • the environment information processing unit 430 acquires detection results of various sensors that acquire environment-related information and information provided by the providing unit 240, and information used by the local determination unit 510 or the remote determination unit 550 among the acquired information. And the cut out information is transmitted to the local determination unit 510 or the remote determination unit 550. For example, when the index indicated by the sound pressure signal acquired by each microphone deviates from the reference value by a predetermined degree, the signal generation unit 400 extracts the sound pressure signal, and at the same time, the fluctuation of the sound pressure signal at a certain level is detected. During this time, the extraction result is transmitted to the local determination unit 510 or the remote determination unit 550.
  • the local determination unit 510 performs determination regarding environmental information based on the detection result of the signal generation unit 400.
  • the determination regarding the environment information is, for example, evaluation of an event and an environment attribute that are not related to the input / output context. That is, the local determination unit 510 determines whether or not the information acquired from the signal generation unit 400 satisfies an event occurrence condition.
  • the local determination unit 510 includes, for example, a local event determination unit 520, a local attribute determination unit 530, and a transmission signal generation unit 540.
  • the local event determination unit 520 determines whether the detection result (environment information) of the signal generation unit 400 satisfies a predetermined condition. When the local event determination unit 520 determines that the predetermined condition is satisfied, the local event determination unit 520 transmits information indicating the determination result to the local UI processing unit 610.
  • the predetermined condition is that a detection result related to the input / output context is detected.
  • the local attribute determination unit 530 determines whether or not a predetermined environmental attribute is included in the detection result of the signal generation unit 400.
  • the environmental attribute is, for example, information indicating an attribute indicating whether the vehicle is traveling, information indicating an attribute indicating whether a building exists in the surroundings, information indicating an attribute indicating whether there are tourist spots in the surroundings, predetermined This is information indicating an attribute indicating the voice data (for example, music).
  • the transmission signal generation unit 540 transmits the processing result of the local event determination unit 520 or the local attribute determination unit 530 to the local UI processing unit 610.
  • the local UI processing unit 610 executes context processing.
  • the local UI processing unit 610 performs input / output context evaluation and response generation.
  • the local UI processing unit 610 includes, for example, a local intention estimation unit 620, a local response generation unit 630, and a transmission signal generation unit 640.
  • the local intention estimation unit 620 determines whether or not the voice data is an input with a will based on the voice data.
  • the local response generation unit 630 causes the virtual image generation unit 242 to generate a virtual image according to the state of the occupant.
  • the transmission signal generation unit 640 transmits the processing result of the local intention estimation unit 620 or the local response generation unit 630 to the provision unit 240. Information stored in the local storage unit 700 will be described later.
  • the experience providing system 1 further includes, for example, a remote determination unit 550, a remote UI processing unit 650, a remote storage unit 710, and external reference information 800.
  • the remote determination unit 550, the remote processing unit 650, the remote storage unit 710, and the external reference information 800 are provided in a place different from the vehicle.
  • the remote determination unit 550 includes, for example, a remote event determination unit 560, a remote attribute determination unit 570, and a transmission signal generation unit 580.
  • the remote event determination unit 560 determines whether the detection result (environment information) of the signal generation unit 400 satisfies a predetermined condition.
  • the remote attribute determination unit 570 determines whether a predetermined environmental attribute is included in the detection result of the signal generation unit 400.
  • the transmission signal generation unit 580 transmits the processing result of the remote event determination unit 560 or the remote attribute determination unit 570 to the remote UI processing unit 650.
  • the providing unit 240 executes the interaction in the vehicle 200.
  • the remote UI processing unit 650 executes context processing.
  • the remote UI processing unit 650 performs input / output context evaluation and response generation.
  • the remote UI processing unit 650 includes, for example, a remote intention estimation unit 660, a remote response generation unit 670, and a transmission signal generation unit 680.
  • the remote intention estimation unit 660 determines whether or not the voice data is an input with a will based on the voice data.
  • the remote response generation unit 670 causes the virtual image generation unit 242 to generate a virtual image according to the state of the occupant.
  • the transmission signal generation unit 680 transmits the processing result of the remote intention estimation unit 660 or the remote response generation unit 670 to the provision unit 240.
  • the external reference information 800 includes information such as sound data such as music and a pattern of sound data.
  • the signal generation unit 400 acquires environmental sound in the vehicle interior, and based on the acquired environmental sound, the extracted sound data is subjected to local determination unit 510, remote determination unit 550, every predetermined second (for example, 5 seconds). And to the UI processing unit (local UI processing unit 610, remote UI processing unit 650) (step S300).
  • the local event determination unit 520 determines that the pattern of the audio data transmitted by the signal generation unit 400 is similar to the pattern of the audio data indicating the music, the local event determination unit 520 determines to perform music reproduction (step S302).
  • the local attribute determination unit 530 determines the attribute of the audio data. If there is a feature in the attribute, the local attribute determination unit 530 transmits the determination result to the local UI processing unit 610 (step S304).
  • the remote event determination unit 560 determines whether or not an event of music reproduction has occurred based on the audio data acquired from the signal generation unit 400 and the external reference information 800 (step S306).
  • the attributes “A” and “Song B” are determined, and the determination result is transmitted to the remote UI processing unit 650 (step S308).
  • the local intention estimation unit 620 of the local UI processing unit 610 determines whether or not the voice data is a willing input based on the voice data (step S310). For example, the local UI processing unit 610 determines whether or not the voice data is an input with a will by using an AI or an algorithm stored in advance. In step S310, it is determined that the input is not an intention. Thereafter, music is played by the providing unit 249 (step S312). That is, when there are a plurality of interactions to be provided, the providing unit 240 determines the execution timing or whether or not to execute the plurality of interactions based on the detection results of the occupant information processing unit 410 and the external information processing unit 420. Based on this, provide the passengers with interaction.
  • the signal generation unit 400 acquires the sound in the passenger compartment, and separates the acquired sound into sound data and sound data of the music (step S314).
  • the local event determination unit 520 acquires sound data and sound data, and determines from the data that the nose singing or the occupant is performing a rhythm action, the local event determination unit 520 indicates that “there is an interest in music. Is determined to have occurred (step S316).
  • the local event determination unit 520 determines that “the event for which the reproduction position detection target has occurred” has been generated, from the music information (music data or information such as lyrics, pitch) already specified based on the external reference information 800.
  • the content information corresponding to the playback position and artist A is specified, and the specified result is fed back to the signal generation unit 400 or the local UI processing unit 610 (step S318).
  • the local UI processing unit 610 determines whether or not to execute a predetermined action in a situation where the reproduction position is specified and additional information such as lyrics is acquired (step S320). For example, the local storage unit 700 stores information in which a predetermined event and an action executed at the event are associated with each other. For example, based on the information acquired from the signal generation unit 400, the local UI processing unit 610 determines that “intervention timing has occurred” when the following specific state occurs (step S320).
  • the specific state is a state in which the occupant has stopped singing a nose, a state in which the occupant's movement has been eliminated, or a musical piece in an interlude state.
  • the local UI processing unit 610 executes an action based on the available content information stored in the local storage unit 700 (step S322).
  • Available content information is information in which an event and an action are associated with each other.
  • the action includes an output for confirming an interest such as “Do you like this song?”, Generation of a song in accordance with the subsequent song, and the like. Note that the processing of steps S320 and S322 may be executed by the remote UI processing unit 650.
  • the providing unit 240 dynamically provides the interaction with the vehicle occupant based on the detection result of the occupant information processing unit 410 including the provided interaction.
  • the providing unit 240 may dynamically provide the interaction with the vehicle occupant in consideration of the detection result of the external information processing unit 420.
  • the local determination unit 510 (or remote determination unit 550) continues to detect the occurrence of an event in parallel with the execution of the local UI processing unit 610 (remote UI processing unit 650), and the providing unit 240 Dynamically provide interaction based on the occurrence of an event detected during provision.
  • the local response generation unit 630 causes the virtual image generation unit 242 to perform a virtual image so as to mirror the movement of the occupant in accordance with the music. Is generated. For example, when the occupant moves the body and takes a rhythm as described above, the local response generation unit 630 performs the virtual image generation unit 242 so as to shake hands and applaud in accordance with the intervention timing. To generate a virtual image.
  • the local response generation unit 630 causes the providing unit 240 to output a comment to the outside world such as “That is a famous place C”.
  • another event such as “occurrence of intervention timing” and a response to the event may overlap.
  • the local UI processing unit 610 determines the priority for each of the overlapping events and the responses thereto, and adjusts the information to be provided or output the response according to the priority.
  • the experience providing system 1 includes the sound output unit 244 that outputs sound, the virtual image generation unit 242 that causes a virtual image of a person visible to the passenger of the vehicle 200 to appear, and the sound output unit.
  • the sound output unit 244 that outputs sound
  • the virtual image generation unit 242 that causes a virtual image of a person visible to the passenger of the vehicle 200 to appear
  • the sound output unit By providing a provision unit 240 that provides content for the occupant of the vehicle 200 in which the sound output by the 244 and the operation of the virtual image that is caused to appear by the virtual image generation unit 242 are coordinated, the occupant of the vehicle 200 is provided. , Can provide an unprecedented way of enjoying.
  • DESCRIPTION OF SYMBOLS 1 ...
  • Experience provision system 100 ... Content provision server, 110 ... Communication part, 120 ... Memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Instrument Panels (AREA)

Abstract

エクスペリエンス提供システムは、車両の乗員に関する情報を検出する乗員情報検出部と、前記車両の外部の情報を検出する外界情報検出部と、音声を出力する出力部と、表示を出力する仮想像生成部と、前記乗員情報検出部および前記外界情報検出部の検出結果に基づいて、前記出力部により出力される音声と前記仮想像生成部により出力される前記表示とを同期させて前記車両の乗員に対するインタラクションを動的に提供する提供部とを備える。

Description

エクスペリエンス提供システム、エクスペリエンス提供方法およびエクスペリエンス提供プログラム
　本発明の態様は、エクスペリエンス提供システム、エクスペリエンス提供方法およびエクスペリエンス提供プログラムに関する。
　本願は、２０１７年６月１６日に、日本に出願された特願２０１７－１１８７０２号に基づき優先権を主張し、その内容をここに援用する。
　従来、速度制御と操舵制御とのうち少なくとも一方を自動的に行う自動運転について研究が進められている。これに関連して、観察者が奥行き感を知覚できるように奥行きのある画像を表示させる技術が開示されている（例えば、特許文献１参照）。
特開２０１７－３０７３７号公報
　従来の技術では、車両の乗員を楽しませることについて考慮がされていなかった。
　本発明は、このような事情を考慮してなされたものであり、車両の乗員に対して、これまでにない楽しみ方を提供することができるエクスペリエンス提供システム、エクスペリエンス提供方法およびエクスペリエンス提供プログラムを提供することを目的の一つとする。
　本発明に係る、エクスペリエンス提供システム、エクスペリエンス提供方法およびエクスペリエンス提供プログラムは、以下の構成を採用した。
　（１）：本発明の一態様は、車両の乗員に関する情報を検出する乗員情報検出部と、前記車両の外部の情報を検出する外界情報検出部と、音声を出力する出力部と、表示を出力する仮想像生成部と、前記乗員情報検出部および前記外界情報検出部の検出結果に基づいて、前記出力部により出力される音声と前記仮想像生成部により出力される前記表示とを同期させて前記車両の乗員に対するインタラクションを動的に提供する提供部と、を備えるエクスペリエンス提供システムである。
　（２）：（１）の態様において、前記仮想像生成部は、前記車両のシートに対応する撮像画像に重畳するように仮想像を出現させるものである。
　（３）：（１）の態様において、前記仮想像生成部は、前記乗員からみて前記車両のシート鏡像位置に対応するよう仮想像を出現させるものである。
　（４）：（１）の態様において、前記提供部は、前記外界情報検出部によって検出された前記車両の外部の状況に基づいて、前記出力部より発話を行わせるタイミングを調整するものである。
　（５）：（４）の態様において、前記外界情報検出部による前記車両の外部の情報の検出能力は、前記車両の乗員による前記車両の外部の情報の検出能力と同程度である。
　（６）：（１）の態様において、前記提供部が提供する前記インタラクションは、前記乗員情報検出部が検出した車両内で聴取されている楽曲に対応した音声を含むものである。
　（７）：（１）の態様において、前記提供部は、前記出力部が出力する楽曲と、前記仮想像生成部の出力する表示とを同期させるものである。
　（８）：（７）の態様において、前記乗員情報検出部は、前記提供部が提供するインタラクションに対する前記車両の乗員の状態を検知して記憶する記憶部を備え、前記記憶部の状態を基に、前記車両の乗員が利用可能な前記インタラクションを変更するものである。
　（９）：（１）の態様において、前記車両は、自動運転車両であり、前記提供部は、前記乗員情報検出部が前記車両の自動運転中であるか否かを判定するよう構成され、手動運転中に、前記インタラクションの少なくとも一部動作態様を制限するものである。
　（１０）：（１）の態様において、前記提供部は、前記車両外に備えられる判定部を用いて前記インタラクションを実行するものである。
　（１１）：（１）の態様において、前記乗員情報検出部および前記外界情報検出部の検知した信号を前記車両外で処理する外部処理部の出力により前記インタラクションを提供するものである。
　（１２）：（１）の態様において、前記乗員情報検出部は、前記提供部による提供済みのインタラクションを検出可能に構成され、前記提供部は、前記提供済みのインタラクションを含む前記乗員情報検出部および前記外界情報検出部の検出結果に基づき、前記車両の乗員に対するインタラクションを動的に提供するものである。
　（１３）：（１）の態様において、前記提供部が提供すべき前記インタラクションが複数存在するとき、前記提供部は、前記乗員情報検出部および前記外界情報検出部の検出結果に基づき、複数の前記インタラクションの実行タイミングまたは実行可否を決定するものである。
　（１４）：（１）の態様において、前記乗員情報検出部および前記外界情報検出部の検出結果に基づきイベントの発生を検知するイベント判定部を備え、前記イベント判定部は、車両上でイベントを判定するローカル判定部と、前記車両と通信接続された外部サーバでイベントを判定するリモート判定部とからなるものである。
　（１５）：（１）の態様において、前記乗員情報検出部および前記外界情報検出部の検出結果に基づきイベントの発生を検知するイベント判定部と、前記乗員情報検出部および前記外界情報検出部の検出結果に基づき前記提供部により提供されるインタラクションを制御するインタラクション制御部と、を備え、前記イベント判定部は、前記インタラクション制御部の実行中に並行して前記イベントの発生検知を継続するとともに、前記提供部は、前記インタラクションの提供中に検知した前記イベントの発生に基づき、前記インタラクションを動的に提供するものである。
　（１６）：本発明の一態様は、車載コンピュータが、乗員情報を検出し、外界情報を検出し、音声を出力し、表示を出力し、前記乗員情報および前記外界情報に基づいて、出力される音声と出力される仮想像とを同期させて前記車両の乗員に対しインタラクションを動的に提供するエクスペリエンス提供方法である。
　（１７）：本発明の一態様は、車載コンピュータに、乗員情報を検出させ、
　外界情報を検出させ、音声を出力させ、表示を出力させ、前記乗員情報および前記外界情報に基づいて、出力される音声と出力される仮想像を同期させて前記車両の乗員に対しインタラクションを動的に提供させるエクスペリエンス提供プログラムである。
　（１）、（５）、（１４）、（１６）または（１７）によれば、これまでにない楽しみ方を車両の乗員に提供することができる。
　（２）によれば、仮想像が車両に同乗している錯覚を車両の乗員に与えることができる。
　（３）によれば、仮想像が車両のシートに着座していると車両の乗員に錯視させることができる。
　（４）によれば、仮想像の発話および動作が車両の乗員の状況および車両の外部の状況に応じて動的に変化する楽しみを乗員に提供することができる。
　（６）によれば、車両の乗員の共感が得られる発話を仮想像に行わせることができる。
　（７）または（８）によれば、これまでにないインタクラクションの楽しみ方を車両の乗員に提供することができる。
　（９）によれば、車両の手動運転中の安全性を向上させることができる。
　（１０）によれば、車両外に備えられる判定部を用いてインタラクションを実行することにより、車両内に判定部が設けられる場合よりも、車両のコストダウンを図ることができる。
　（１１）によれば、乗員情報検出部および外界情報検出部の検知した信号を前記車両外で処理する外部処理部の出力によりインタラクションを提供することにより、車両のコストダウンを図ることができる。
　（１２）または（１３）によれば、より乗員の状態または乗員の周辺の環境に適したインタラクションを乗員に提供することができる。
　（１５）によれば、提供部は、インタラクションの提供中であっても、適切にインタラクションを乗員に提供することができる。
エクスペリエンス提供システムの構成図である。 乗員情報検出部を含む車載機器の一例を示す図である。 投影装置がフロントウインドウに仮想像および仮想シートを投影する一例を示す図である。 投影装置が左サイドウインドウに仮想像および仮想シートを投影する一例を示す図である。 投影装置がミラーに仮想像および仮想シートを投影する一例を示す図である。 ホログラム投影装置が車両の空席のシート上に仮想像を投影する一例を示す図である。 タッチパネル式ディスプレイが仮想像の顔を表示する一例を示す図である。 透過板型ディスプレイが仮想像の顔を表示する一例を示す図である。 発話生成部が観光スポットについての仮想像の発話の元データを生成する処理などの流れの一例を示すフローチャートである。 発話生成部が車両の乗員に歌唱を促す仮想像の発話の元データを生成する処理などの流れの一例を示すフローチャートである。 エクスペリエンス提供サーバおよび車両における処理の一例を説明するシーケンス図である。 自動運転機能を有する車両の構成図である。 自動運転の処理過程について説明するための図である。 エクスペリエンス提供システム１Ａに含まれる機能構成の一例を示す図である。 車両内でインタラクションが実行される場合の処理の流れを示すシーケンス図である。
　以下、図面を参照し、本発明のエクスペリエンス提供システム、エクスペリエンス提供方法およびエクスペリエンス提供プログラムの実施形態について説明する。エクスペリエンス提供システムは、車両の乗員を楽しませるためのインタラクション（例えばエンタテイメントコンテンツ）を車両の乗員に対して提供するシステムである。インタラクションとは、車両内で聴取されている楽曲に対応した音声を含む。
　［全体構成］
　図１は、エクスペリエンス提供システム１の構成図である。エクスペリエンス提供システム１は、例えば、コンテンツを提供するコンテンツ提供サーバ１００と、コンテンツ提供サーバ１００からコンテンツの提供を受け、乗員に提供する車両２００とを備える。これらの構成要素は、ネットワークＮＷを介して互いに通信可能である。ネットワークＮＷは、インターネット、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、公衆回線、プロバイダ装置、専用回線、無線基地局などを含む。
　［車両］
　まず、車両２００について説明する。車両２００は、例えば、通信部２１０と、乗員情報検出部２２０と、外界情報検出部２３０と、提供部２４０と、音声入力部２５０と、仮想像選択部２６０と、コンテンツ選択部２７０と、記憶部２８０とを備える。
　通信部２１０は、例えば、ネットワークＮＷに接続するための無線通信モジュールである。通信部２１０は、Ｗｉ－Ｆｉ、ＤＳＲＣ（Dedicated Short Range Communications）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の通信規格に基づいて無線通信を行う。通信部２１０として、用途に応じた複数のものが用意されてもよい。通信部２１０は、ネットワークＮＷを介してコンテンツ提供サーバ１００との間で通信を行う。
　乗員情報検出部２２０は、車両２００の乗員に関する情報を検出する。乗員に関する情報とは、例えば、乗員の表情、乗員の発話の有無、車内のシートに乗員が着座しているか否かなどである。乗員情報検出部２２０は、例えば、車内カメラ、車内マイク、着座センサなどのうち一部または全部を含む。乗員情報検出部２２０は、例えば、車両２００の乗員に関する情報を所定周期で検出し、通信部２１０およびネットワークＮＷを介してコンテンツ提供サーバ１００に検出した情報を送信する。
　外界情報検出部２３０は、車両２００の外部の情報を検出する。外部の情報とは、例えば、車外の景色、車外の音などである。外界情報検出部２３０は、例えば、車外カメラ、車外マイクなどのうち一部または全部を含む。外界情報検出部２３０は、例えば、車両２００の外部の情報を所定周期で検出し、通信部２１０およびネットワークＮＷを介してコンテンツ提供サーバ１００に検出した情報を送信する。
　提供部２４０は、例えば、仮想像生成部２４２と、音声出力部２４４と、コンテンツ再生部２４６とを備える。仮想像生成部２４２は、例えば、車両２００の乗員を楽しませるための人物の仮想像を生成する。仮想像生成部２４２は、コンテンツ提供サーバ１００から受信した元データに基づいて、車両２００の乗員が視認可能な人物の仮想像（表示）を出現させる。仮想像生成部２４２は、例えば、投影装置、ウインドウ、ミラー、ディスプレイ、ホログラム投影装置などのうち一部または全部を含む。
　音声出力部２４４は、例えば、車両２００の乗員を楽しませるための音声を出力する。音声出力部２４４は、コンテンツ提供サーバ１００から受信した元データに基づいて、音声を出力する。音声出力部２４４は、例えばスピーカを含む。
　コンテンツ再生部２４６は、音声出力部２４４が出力する音声と仮想像生成部２４２が出現させる仮想像の動作とを同期（または協調）させた車両２００の乗員に対するコンテンツを提供する。つまり、コンテンツ再生部２４６は、音声出力部２４４が出力する音声（例えば楽曲）と、仮想像生成部２４２の出力する表示（例えば仮想像の動作）とを同期させる。コンテンツ再生部２４６は、例えば、特開２０１６－４１１４２号公報に記載されたＭＭＤ（MikuMikuDance）を用いることによって、音声と仮想像の動作とを協調（つまり、連動）させる。
　音声入力部２５０は、例えば、車両２００の乗員の歌声などの入力を受け付ける。音声入力部２５０は、例えば歌唱用マイクを含む。音声入力部２５０は、通信部２１０およびネットワークＮＷを介してコンテンツ提供サーバ１００の例えば歌唱力採点部１３４に車両２００の乗員の歌声などを示す信号（データ）を送信する。
　仮想像選択部２６０は、仮想像生成部２４２が出現させる人物の仮想像の車両２００の乗員による選択を受け付ける。仮想像選択部２６０は、受け付けた選択内容を示すデータをコンテンツ提供サーバ１００に送信する。
　コンテンツ選択部２７０は、コンテンツ提供サーバ１００によって提供されるコンテンツの車両２００の乗員による選択を受け付ける。コンテンツ選択部２７０は、受け付けた選択内容を示すデータをコンテンツ提供サーバ１００に送信する。
　記憶部２８０は、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などで実現される。記憶部２８０は、コンテンツ提供サーバ１００から受信した情報、乗員情報検出部２２０が検出した乗員に関する情報、外界情報検出部２３０が検出した車両２００の外部の情報、音声入力部２５０が受け付けた車両２００の乗員の歌声などのデータなどを記憶する。
　図２は、乗員情報検出部２２０を含む車載機器の一例を示す図である。図２の例では、乗員情報検出部２２０は、車内カメラ２２０Ａと、車内マイク２２０Ｂと、着座センサ２２０Ｃとを含む。車内カメラ２２０Ａは、乗員の例えば顔を撮像して画像を出力する。車内カメラ２２０Ａは、撮像された画像のデータをコンテンツ提供サーバ１００に送信する。
　車内マイク２２０Ｂは、車内の音声を取得する。車内マイク２２０Ｂは、取得された車内の音声のデータをコンテンツ提供サーバ１００に送信する。
　着座センサ２２０Ｃは、着座センサ２２０Ｃにかかる圧力に基づいて、着座センサ２２０Ｃが備えられたシートに乗員が着座しているか否かを検出する。着座センサ２２０Ｃは、乗員が着座しているか否かを示す信号（データ）をコンテンツ提供サーバ１００に送信する。
　図２の例では、外界情報検出部２３０は、車外カメラ２３０Ａ～２３０Ｃと、車外マイク２３０Ｄとを含む。外界情報検出部２３０は、照度センサ、雨粒センサ、湿度センサ、ＧＮＳＳ受信機と地図情報とを備えるナビゲーション装置、ジャイロセンサ、車速センサなどを含んでもよい。
　車外カメラ２３０Ａは、車両２００の前方の景色の画像を撮像する。車外カメラ２３０Ａは、撮像された景色の画像のデータをコンテンツ提供サーバ１００に送信する。
　車外カメラ２３０Ｂは、車両２００の左側方の景色の画像を撮像する。車外カメラ２３０Ｂは、撮像された景色の画像のデータをコンテンツ提供サーバ１００に送信する。
　車外カメラ２３０Ｃは、車両２００の右側方の景色の画像を撮像する。車外カメラ２３０Ｃは、撮像された景色の画像のデータをコンテンツ提供サーバ１００に送信する。
　車外マイク２３０Ｄは、車外の音声を取得する。車外マイク２３０Ｄは、取得された車外の音声のデータをコンテンツ提供サーバ１００に送信する。
　図２の例では、仮想像生成部２４２は、投影装置２４２Ａと、フロントウインドウ２４２Ｂと、左サイドウインドウ２４２Ｃと、ミラー２４２Ｅと、ホログラム投影装置２４２Ｇと、タッチパネル式ディスプレイ装置２４２Ｈと、透過板型ディスプレイ２４２Ｉとを含む。
　投影装置２４２Ａは、フロントウインドウ２４２Ｂ、左サイドウインドウ２４２Ｃまたはミラー２４２Ｅに仮想像を投影し、車両２００の乗員が視認可能な仮想像を出現させる。ホログラム投影装置２４２Ｇは、空席のシート上に仮想像（ホログラム）を投影し、車両２００の乗員が視認可能な仮想像を出現させる。投影装置２４２Ａまたはホログラム投影装置２４２Ｇは、仮想像を少なくとも７０％以上の縮尺で出現させる。投影装置２４２Ａまたはホログラム投影装置２４２Ｇは、車両２００のシートに着座しているように車両２００の乗員によって錯視される仮想像を出現させる。
　図３は、投影装置２４２Ａがフロントウインドウ２４２Ｂに仮想像ＶＭおよび仮想シートＶＳを投影する一例を示す図である。図３の例では、投影装置２４２Ａが、仮想シートＶＳに着座している仮想像ＶＭをフロントウインドウ２４２Ｂに出現させる。すなわち、仮想像生成部２４２は、シートに対応する撮像画像に重畳するように仮想像を出現させる。
　図４は、投影装置２４２Ａが左サイドウインドウ２４２Ｃに仮想像ＶＭおよび仮想シートＶＳを投影する一例を示す図である。図４の例では、図２に双方向矢印で示すように水平方向に旋回して投影方向を変更可能な投影装置２４２Ａが、仮想シートＶＳに着座している仮想像ＶＭを左サイドウインドウ２４２Ｃに出現させる。
　図５は、投影装置２４２Ａがミラー２４２Ｅに仮想像ＶＭおよび仮想シートＶＳを投影する一例を示す図である。図５の例では、投影装置２４２Ａが、仮想シートＶＳに着座している仮想像ＶＭをミラー２４２Ｅに出現させる。
　図６は、ホログラム投影装置２４２Ｇが車両２００の空席のシートＳ上に仮想像ＶＭを投影する一例を示す図である。図６の例では、ホログラム投影装置２４２Ｇは、車両２００の乗員が視認可能な仮想像ＶＭを車両２００の空席のシートＳ上に出現させる。
　図２に戻り、タッチパネル式ディスプレイ装置２４２Ｈは、仮想像を画面上に表示し、車両２００の乗員が視認可能な仮想像を出現させる。タッチパネル式ディスプレイ装置２４２Ｈは、例えば、仮想像を少なくとも７０％以上の縮尺で出現させる。
　図７は、タッチパネル式ディスプレイ装置２４２Ｈが仮想像ＶＭの顔を表示する一例を示す図である。図７の例では、タッチパネル式ディスプレイ装置２４２Ｈが、仮想像ＶＭの顔をタッチパネル式ディスプレイ装置２４２Ｈの画面上に出現させる。
　図２に戻り、透過板型ディスプレイ２４２Ｉは、例えば運転席と助手席との間に配置される。透過板型ディスプレイ２４２Ｉは、仮想像を画面上に表示し、車両２００の乗員が視認可能な仮想像を出現させる。透過板型ディスプレイ２４２Ｉは、例えば、仮想像を少なくとも７０％以上の縮尺で出現させる。透過板型ディスプレイ２４２Ｉは、例えば、透明基板上にＬＥＤが配列された透明ＬＥＤディスプレイ、透明基板の上に機能性有機材料の積層膜を２枚の電極で挟んだ有機ＥＬ（Electroluminescence）素子を並べた構造を有するＯＬＥＤ（Organic Light Emitting Diode）などである。透過板型ディスプレイ２４２Ｉが、例えば運転席のヘッドレストに埋設された投影装置と偏光板とを有するヘッドアップディスプレイ型のディスプレイであってもよい。
　図８は、透過板型ディスプレイ２４２Ｉが仮想像ＶＭの顔を表示する一例を示す図である。図８の例では、透過板型ディスプレイ２４２Ｉが、仮想像ＶＭの顔を透過板型ディスプレイ２４２Ｉの画面上に出現させる。すなわち、仮想像生成部２４２は、乗員からみて車両のシート鏡像位置に対応するように仮想像を出現させる。
　図２の例では、音声出力部２４４が、左前スピーカ２４４Ａと、右前スピーカ２４４Ｂと、左後スピーカ２４４Ｃと、右後スピーカ２４４Ｄとを含む。
　音声入力部２５０は、例えば、歌唱用マイク２５０Ａを含む。
　仮想像選択部２６０は、例えば、タッチパネル式ディスプレイ装置２４２Ｈを含む。車両２００の乗員は、例えば、タッチパネル式ディスプレイ装置２４２Ｈに対してタッチ入力を行うことによって、複数の人物の仮想像のうちから、仮想像生成部２４２が出現させる仮想像を選択する。
　コンテンツ選択部２７０は、例えば、タッチパネル式ディスプレイ装置２４２Ｈを含む。車両２００の乗員は、例えば、タッチパネル式ディスプレイ装置２４２Ｈに対してタッチ入力を行うことによって、コンテンツ提供サーバ１００が提供可能な複数のコンテンツのうちから、所望のコンテンツを選択する。
　［コンテンツ提供サーバ］
　コンテンツ提供サーバ１００は、例えば、通信部１１０と、記憶部１２０と、制御部１３０とを備える。コンテンツ提供サーバ１００に含まれる機能構成のうち一部または全部は車両２００に搭載されてもよい。車両２００に含まれる機能構成のうち一部または全部はコンテンツ提供サーバ１００に搭載されてもよい。
　通信部１１０は、例えば、ネットワークＮＷに接続するための通信モジュールである。通信部１１０は、例えば、ＮＩＣ（Network Interface Card）を含む。通信部１１０は、ネットワークＮＷを介して車両２００との間で通信を行う。
　記憶部１２０は、ＨＤＤ、フラッシュメモリ、ＲＡＭ、ＲＯＭなどで実現される。記憶部１２０は、車両２００から受信した情報、車両２００に送信される情報、コンテンツ提供サーバ１００において生成された元データなどを記憶する。コンテンツ提供サーバ１００がカラオケコンテンツを車両２００の乗員に提供する場合には、カラオケコンテンツデータ１２２（例えば、伴奏音楽、歌詞などのデータ）が、記憶部１２０に記憶される。
　制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサが記憶部１２０に記憶されたプログラムを実行することにより実現される。制御部１３０は、例えば、元データ生成部１３２と、歌唱力採点部１３４とを備える。これらの機能部のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶装置に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで記憶装置にインストールされてもよい。
　元データ生成部１３２は、車両２００の音声出力部２４４が出力する音声（例えば、仮想像の歌唱や発話など）と車両２００の仮想像生成部２４２が生成する仮想像の動作とを協調させた車両２００の乗員に対するコンテンツの元データを生成する。従って、元データ生成部１３２は、例えば、発話生成部１３２Ａと、歌声生成部１３２Ｂと、動作生成部１３２Ｃとを備える。
　発話生成部１３２Ａは、車両２００の仮想像生成部２４２が出現させる仮想像の発話（つまり、仮想像が話す音声）の元データを生成する。発話生成部１３２Ａは、ＡＩ（人工知能）を搭載し、自動音声応答（Interactive Voice Response）機能を備える。
　ＡＩとは、コンピュータを使って、学習、推論、判断など人間の知能のはたらきを人工的に実現したものである。ＡＩには、機械学習およびディープラーニング（深層学習）も含まれる。機械学習とは、世の中の特定の事象についてデータを解析し、その結果から学習して、判断や予測を行うためのアルゴリズムを使用する手法を意味する。ディープラーニングとは、機械学習を実装するための手法を意味する。ディープラーニングでは、マシンによるあらゆる種類の支援が可能になる（あるいは、期待できる）方法でタスクを分類できる。機械学習と、ディープラーニングとは、ＡＩの学習のための技術である。機械学習は、開発者があらかじめすべての動作をプログラムするのではなく、ＡＩ自身がデータを解析し、法則性やルールを見つけ出す特徴を持っている。つまり、機械学習は、ＡＩのうちの、トレーニングにより特定のタスクを実行できるようになるものである。ディープラーニングは、機械学習をさらに発展させたものである。ディープラーニングでは、情報やデータを分析する際に使う枠組みが、機械学習とは異なっている。ディープラーニングでは、人間の神経を真似て作った多層構造のニューラルネットワークを用いることによって、コンピュータによるデータの分析および学習の能力が向上させられる。
　自動音声応答機能とは、事前に録音された音声または動的に生成された音声を使用して、車両２００の乗員の発話に応答する機能である。
　発話生成部１３２Ａは、車両２００の乗員情報検出部２２０によって検出された車両２００の乗員の発話に基づいて、仮想像の発話の元データを生成し、車両２００の乗員と仮想像との対話を成立させる。
　発話生成部１３２Ａは、車両２００の外界情報検出部２３０によって検出された車両２００の外部の情報に基づいて、仮想像の発話の元データを生成してもよい。例えば、発話生成部１３２Ａは、外界情報検出部２３０の検出結果（例えば、雨が降り始めたこと、道路が混雑し始めたことなど）について仮想像の発話の元データを生成する。この場合、外界情報検出部２３０の検出能力は、乗員による車両２００の外部の情報の検出能力と同程度に設定される。その結果、発話生成部１３２Ａは、乗員の共感が得られる仮想像の発話の元データを生成することができる。例えば、発話生成部１３２Ａは、仮想像が向いている方向のみの情報に基づいて、仮想像の発話の元データを生成する。例えば、車両２００の移動に伴って乗員から見える範囲が狭くなったり、天候の悪化に伴って見通しが悪くなったりした場合には、外界情報検出部２３０の検出能力が、乗員による車両２００の外部の情報の検出能力の低下に合わせて低下させられる。
　外界情報検出部２３０は、例えば、国際公開第２０１４／００７１７５号に記載された技術を用いることによって、雨が降り始めたことを検出する。この例では、車両２００の走行中、車外カメラ２３０Ａによって撮像された画像において、背景は遠方に流れていくにも関わらず、ほぼ同一位置に、一定時間以上、周囲より高輝度の個所がある場合に、外界情報検出部２３０は、この個所が車外カメラ２３０Ａのレンズに付着した水滴であると判定し、雨が降り始めたことを検出する。外界情報検出部２３０は、ネットワークＮＷを介してコンテンツ提供サーバ１００の発話生成部１３２Ａに雨が降り始めたことを示すデータを送信する。
　外界情報検出部２３０は、例えば、特開平１１－０６４０３１号公報の図７に記載された技術を用いることによって、道路が混雑し始めたことを検出する。この例では、外界情報検出部２３０が、ＧＮＳＳ受信機と、ジャイロセンサと、車速センサとによって車両２００の現在位置を検出する。車速センサは、車両２００の車速を検出する。ジャイロセンサは、車両２００の進行方向を検出する。外界情報検出部２３０は、車両２００の車速が所定値以下の状態が所定時間以上継続した場合に、道路が混雑し始めたと判定する。外界情報検出部２３０は、ネットワークＮＷを介してコンテンツ提供サーバ１００の発話生成部１３２Ａに道路が混雑し始めたことを示すデータを送信する。
　発話生成部１３２Ａは、外界情報検出部２３０が検出する例えば車外の観光スポットについての仮想像の発話の元データを生成してもよい。この例では、外界情報検出部２３０が、観光スポットを含む地図情報とＧＮＳＳ受信機とを備えるナビゲーション装置を有する。外界情報検出部２３０は、例えば、特許第５９２１１６２号公報に記載された技術を用いることによって、車両２００が観光スポットに位置することを検出する。外界情報検出部２３０は、ネットワークを介してコンテンツ提供サーバ１００の発話生成部１３２Ａに、車両２００が観光スポットに位置することを示すデータを送信する。コンテンツ提供サーバ１００の記憶部１２０は、複数の観光スポットのそれぞれの観光情報と、各観光スポットについての仮想像の発話のシナリオとを記憶している。発話生成部１３２Ａは、記憶部１２０に記憶されているシナリオに基づいて、その観光スポットについての仮想像の発話の元データを生成する。
　図９は、発話生成部１３２Ａが観光スポットについての仮想像の発話の元データを生成する処理などの流れの一例を示すフローチャートである。まず、コンテンツ提供サーバ１００の制御部１３０は、車両２００の外界情報検出部２３０のナビゲーション装置が決定した車両２００の経路と、ナビゲーション装置が備える地図情報とを、ネットワークＮＷを介して取得する（ステップＳ１００）。制御部１３０は、取得された車両２００の経路上に観光スポットがあるか否かを判定する（ステップＳ１０１）。観光スポットが車両２００の経路上にない場合、本フローチャートのルーチンの処理が終了する。一方、観光スポットが車両２００の経路上にある場合、制御部１３０は、ナビゲーション装置のＧＮＳＳ受信機が検出した車両２００の現在位置を、ネットワークＮＷを介して取得する（ステップＳ１０２）。制御部１３０は、車両２００の現在位置と観光スポットとの距離を算出する（ステップＳ１０３）。制御部１３０は、外界情報検出部２３０の車速センサが検出した車両２００の車速を、ネットワークＮＷを介して取得する（ステップＳ１０４）。制御部１３０は、距離と車速とに基づいて、車両２００が観光スポットに到達するまでの所要時間を算出する（ステップＳ１０５）。コンテンツ提供サーバ１００の発話生成部１３２Ａは、観光スポットについての仮想像の発話の元データを生成し、ネットワークＮＷを介して車両２００の音声出力部２４４に送信する（ステップＳ１０６）。制御部１３０は、車両２００が観光スポットに到達したか否かを判定する（ステップＳ１０７）。車両２００が観光スポットに到達していない場合、制御部１３０は、所定時間経過後にステップＳ１０７を再度実行する。一方、車両２００が観光スポットに到達した場合、制御部１３０は、観光スポットについての仮想像の発話を車両２００の音声出力部２４４に出力させる制御信号を、ネットワークＮＷを介して音声出力部２４４に送信する（ステップＳ１０８）。このように制御部１３０は、車両の外部の状況に基づいて、音声出力部２４４に発話を出力させるタイミングを調整する。
　発話生成部１３２Ａは、外界情報検出部２３０が検出する例えば車外の広告についての仮想像の発話の元データを生成してもよい。この例では、車両２００の記憶部２８０が、辞書データを記憶している。外界情報検出部２３０は、例えば、特開２０１５－１５３０３２号公報に記載された技術を用いることによって、車外カメラ２３０Ａ～２３０Ｃが撮像した画像に含まれる文字列を認識する。具体的には、外界情報検出部２３０は、ＯＣＲ（Optical Character Recognition）によって、画像に含まれる文字列を認識する。特開２０１５－１５３０３２号公報に記載された技術では、認識された文字列に対する翻訳が行われるが、外界情報検出部２３０は、記憶部２８０に記憶されている辞書データに基づいて、認識された文字列が広告を意味するか否かの判定を行う。認識された文字列が広告を意味する場合、外界情報検出部２３０は、その広告の意味を示すデータをコンテンツ提供サーバ１００の発話生成部１３２Ａに、ネットワークＮＷを介して送信する。コンテンツ提供サーバ１００の記憶部１２０は、複数の広告のそれぞれについての仮想像の発話のシナリオを記憶している。発話生成部１３２Ａは、記憶部１２０に記憶されているシナリオに基づいて、その広告についての仮想像の発話の元データを生成する。
　コンテンツ提供サーバ１００がカラオケコンテンツを車両２００の乗員に提供しているにもかかわらず、車両２００の乗員がカラオケコンテンツの伴奏音楽に合わせて歌唱しない場合が考えられる。この場合、車両２００の乗員がカラオケコンテンツの伴奏音楽に合わせて歌唱していない旨の車両２００の音声入力部２５０の検出結果に基づいて、発話生成部１３２Ａは、車両２００の乗員に歌唱を促す仮想像の発話の元データを生成してもよい。この例では、音声入力部２５０の歌唱用マイクが検出した車両２００の乗員の歌声が、ネットワークＮＷを介してコンテンツ提供サーバ１００の制御部１３０に送信される。
　制御部１３０は、受信した車両２００の乗員の歌声（詳細には、歌唱していないので、無音）と、カラオケコンテンツデータ１２２の伴奏音楽とに基づいて、車両２００の乗員が伴奏音楽に合わせて歌唱しているか否かを判定する。コンテンツ提供サーバ１００の記憶部１２０は、車両２００の乗員に歌唱を促す仮想像の発話のシナリオを記憶している。車両２００の乗員が伴奏音楽に合わせて歌唱していない場合、発話生成部１３２Ａは、記憶部１２０に記憶されているシナリオに基づいて、車両２００の乗員に歌唱を促す仮想像の発話の元データを生成する。車両２００の乗員が伴奏音楽に合わせて歌唱していない場合に、発話生成部１３２Ａが、伴奏音楽に合わせた仮想像の合いの手（掛け声および手拍子音）の元データを生成してもよい。発話生成部１３２Ａが仮想像の手拍子音の元データを生成する場合、動作生成部１３２Ｃは、手拍子音に合わせた仮想像の手拍子動作の元データを生成してもよい。
　図１０は、発話生成部１３２Ａが車両２００の乗員に歌唱を促す仮想像の発話の元データを生成する処理などの流れの一例を示すフローチャートである。まず、コンテンツ提供サーバ１００の制御部１３０は、コンテンツ提供サーバ１００が車両２００の乗員にカラオケコンテンツを提供中であるか否かを判定する（ステップＳ２００）。コンテンツ提供サーバ１００がカラオケコンテンツを提供中ではない場合、本フローチャートのルーチンの処理が終了する。一方、コンテンツ提供サーバ１００がカラオケコンテンツを提供中である場合、制御部１３０は、車両２００の音声入力部２５０の歌唱用マイクが検出した車両２００の乗員の歌声を取得する（ステップＳ２０１）。制御部１３０は、車両２００の乗員が歌唱しているか否かを判定する（ステップＳ２０２）。車両２００の乗員が歌唱している場合、本フローチャートのルーチンの処理が終了する。一方、車両２００の乗員が歌唱していない場合、コンテンツ提供サーバ１００の発話生成部１３２Ａは、車両２００の乗員に歌唱を促す仮想像の発話の元データを生成し、ネットワークＮＷを介して車両２００の音声出力部２４４に送信する（ステップＳ２０３）。制御部１３０は、車両２００の乗員の歌声を取得する（ステップＳ２０４）。制御部１３０は、車両２００の乗員が歌唱し始めたか否かを判定する（ステップＳ２０５）。車両２００の乗員が歌唱し始めた場合、本フローチャートのルーチンの処理が終了する。一方、車両２００の乗員が歌唱し始めていない場合、発話生成部１３２Ａは、車両２００の乗員に歌唱を促す仮想像の掛け声の元データを生成し、ネットワークＮＷを介して車両２００の音声出力部２４４に送信する（ステップＳ２０６）。制御部１３０は、車両２００の乗員の歌声を取得する（ステップＳ２０７）。制御部１３０は、車両２００の乗員が歌唱し始めたか否かを判定する（ステップＳ２０８）。車両２００の乗員が歌唱し始めた場合、本フローチャートのルーチンの処理が終了する。一方、車両２００の乗員が歌唱し始めていない場合、動作生成部１３２Ｃが、車両２００の乗員に歌唱を促す仮想像の手拍子動作の元データを生成すると共に、発話生成部１３２Ａが、仮想像の手拍子音の元データを生成し、ネットワークＮＷを介して車両２００の仮想像生成部２４２および音声出力部２４４に送信する（ステップＳ２０９）。
　歌声生成部１３２Ｂは、車両２００の音声出力部２４４が出力する仮想像の歌声の元データを生成する。コンテンツ提供サーバ１００がカラオケコンテンツを車両２００の乗員に提供する場合、歌声生成部１３２Ｂは、車両２００の音声出力部２４４が出力するカラオケコンテンツの伴奏音楽に合わせて歌唱する仮想像の歌声の元データを生成してもよい。この例では、仮想像の歌声の元データは、例えば、特開２００８－５８３７９号公報に記載された技術を用いて生成される。歌声生成部１３２Ｂは、例えば、実在の人物の発音を録音し、これを音の要素に分解してデータベース化した後に、そのデータベースの音の要素を合成して所望の音声を生成するコンキャティネイティブ型もしくはコーパスベース型ＴＴＳ（text-to-speech）システムである。歌声生成部１３２Ｂは、パラメトリック型ＴＴＳシステムであってもよい。
　コンテンツ提供サーバ１００の歌声生成部１３２Ｂが仮想像の歌声の元データを生成し、車両２００の音声出力部２４４が仮想像の歌声を出力しても、車両２００の乗員が歌唱し始めない場合に、コンテンツ提供サーバ１００の制御部１３０は、車両２００の音声出力部２４４への仮想像の歌声の元データの送信を止めてもよい。その場合、歌声生成部１３２Ｂによる仮想像の歌声の元データの生成の代わりに、発話生成部１３２Ａが、車両２００の乗員に対する仮想像の発話の元データを生成し、車両２００の音声出力部２４４が、車両２００の乗員に対する仮想像の発話を出力してもよい。
　動作生成部１３２Ｃは、車両２００の仮想像生成部２４２が出現させる仮想像の動作の元データを生成する。上述したように、仮想像生成部２４２が出現させる仮想像の動作は、例えばＭＭＤを用いることによって、仮想像の発話および／または歌声と協調させられる。
　コンテンツ提供サーバ１００がカラオケコンテンツを車両２００の乗員に提供する場合、動作生成部１３２Ｃが生成する元データに基づいて仮想像生成部２４２が出現させる仮想像の動作は、カラオケコンテンツの伴奏音楽と協調させられる。
　例えば、車両２００の乗員情報検出部２２０が検出する乗員の表情などおよび／または外界情報検出部２３０が検出する車外の景色などが変化する場合、それらの変化に応じて、音声出力部２４４が出力する仮想像の発話が動的に変化するように、発話生成部１３２Ａが元データを生成すると共に、仮想像生成部２４２が生成する仮想像の動作が動的に変化するように、動作生成部１３２Ｃが元データを生成してもよい。つまり、この例では、発話生成部１３２Ａおよび動作生成部１３２Ｃは、乗員情報検出部２２０および外界情報検出部２３０が検出した情報を記憶部１２０に蓄積させることなく、最新情報に基づいて元データを生成する。例えば、乗員情報処理部４１０は、記憶部（記憶装置、または情報記憶領域）を備えてもよい。この記憶部には、乗員情報処理部４１０が検出した、提供部２４０が提供するインタラクションに対する車両の乗員の状態が記憶される。提供部２４０は、上記の記憶部の状態を基に、車両の乗員が利用可能な前記インタラクションを変更してもよい。例えば、提供部２４０は、記憶部２８０に記憶された情報であって、車両の乗員の状態と、インタラクションとが互いに対応付けられた情報に基づいて、インタラクションを変更してもよい。インタラクションの変更は、元データ生成部１３２によって行われてもよい。この場合、元データ生成部１３２は、記憶部１２０に記憶された情報であって、車両の乗員の状態と、インタラクションとが互いに対応付けられた情報に基づいて、インタラクションを変更する。
　発話生成部１３２Ａおよび歌声生成部１３２Ｂが生成した元データに基づいて、車両２００の音声出力部２４４は、仮想像の発話および歌声を出力する。動作生成部１３２Ｃが生成した元データに基づいて、車両２００の仮想像生成部２４２は、動作する仮想像を出現させる。発話および動作が動的に変化可能な仮想像を出現させることによって、仮想像が車両２００に同乗していると、車両２００の乗員に錯覚させることができる。
　歌唱力採点部１３４は、コンテンツ提供サーバ１００がカラオケコンテンツを車両２００の乗員に提供する場合に、カラオケコンテンツの伴奏音楽に合わせて歌唱する車両２００の乗員の歌唱力を採点する。歌唱力採点部１３４による採点結果が高いほど、車両２００の仮想像生成部２４２は、車両２００の乗員が仮想像選択部２６０を介して選択可能な仮想像をランクアップさせる。
　図１１は、コンテンツ提供サーバ１００および車両２００における処理の一例を説明するシーケンス図である。
　（ステップＳ１）車両２００のコンテンツ選択部２７０は、車両２００の乗員によるコンテンツの選択を受け付ける。
　（ステップＳ２）車両２００は、選択されたコンテンツ（この例では、カラオケコンテンツ）を示すデータをコンテンツ提供サーバ１００に送信する。
　（ステップＳ３）車両２００の仮想像選択部２６０は、車両２００の乗員による仮想像の選択を受け付ける。
　（ステップＳ４）車両２００は、選択された仮想像を示すデータをコンテンツ提供サーバ１００に送信する。
　（ステップＳ５）コンテンツ提供サーバ１００は、カラオケコンテンツの伴奏音楽、歌詞などのデータを車両２００に送信する。
　（ステップＳ６）車両２００の乗員情報検出部２２０は、車両２００の乗員に関する情報を検出する。
　（ステップＳ７）車両２００は、検出された車両２００の乗員に関する情報をコンテンツ提供サーバ１００に送信する。
　（ステップＳ８）車両２００の外界情報検出部２３０は、車両２００の外部の情報を検出する。
　（ステップＳ９）車両２００は、検出された車両２００の外部の情報をコンテンツ提供サーバ１００に送信する。
　（ステップＳ１０）車両２００の乗員に関する情報および車両２００の外部の情報に基づいて、コンテンツ提供サーバ１００の発話生成部１３２Ａは、車両２００の音声出力部２４４において仮想像の発話の出力に用いられる元データを生成する。歌声生成部１３２Ｂは、車両２００の音声出力部２４４において仮想像の歌声の出力に用いられる元データを生成する。動作生成部１３２Ｃは、車両２００の仮想像生成部２４２において仮想像の動作の生成に用いられる元データを生成する。
　（ステップＳ１１）コンテンツ提供サーバ１００は、生成された元データを車両２００に送信する。
　（ステップＳ１２）車両２００の提供部２４０は、仮想像の動作と音声（仮想像の発話、歌声など）とを協調させたコンテンツを車両２００の乗員に提供する。
　（ステップＳ１３）車両２００の乗員情報検出部２２０は、コンテンツの提供中における車両２００の乗員に関する情報を検出する。この情報は、提供されたコンテンツに対する車両２００の乗員の反応を示す。
　（ステップＳ１４）車両２００は、コンテンツの提供中に検出された車両２００の乗員に関する情報をコンテンツ提供サーバ１００に送信する。
　（ステップＳ１５）車両２００の外界情報検出部２３０は、コンテンツの提供中における車両２００の外部の情報を検出する。
　（ステップＳ１６）車両２００は、コンテンツの提供中に検出された車両２００の外部の情報をコンテンツ提供サーバ１００に送信する。
　（ステップＳ１７）コンテンツの提供中における車両２００の乗員に関する情報および車両２００の外部の情報に基づいて、発話生成部１３２Ａは、仮想像の発話の出力に用いられる元データを生成し、歌声生成部１３２Ｂは、仮想像の歌声の出力に用いられる元データを生成し、動作生成部１３２Ｃは、仮想像の動作の生成に用いられる元データを生成する。
　（ステップＳ１８）コンテンツ提供サーバ１００は、生成された元データを車両２００に送信する。
　（ステップＳ１９）車両２００の提供部２４０は、コンテンツの提供中に生成された元データに基づいて、仮想像の発話、歌声および動作が動的に変化するコンテンツを車両２００の乗員に提供する。
　コンテンツの提供を受ける乗員が乗車する車両２００は、例えば、基本的には運転操作を必要としない自動運転車両である。以下、コンテンツの提供を受ける乗員が乗車する車両２００が自動運転車両であるものとして説明する。コンテンツの提供を受ける乗員が乗車する車両２００が手動運転車両であっても構わない。
　［自動運転車両］
　図１２は、自動運転機能を有する車両２００の構成図である。車両２００は、図１に示す構成要素（通信部２１０、乗員情報検出部２２０、外界情報検出部２３０、提供部２４０、音声入力部２５０、仮想像選択部２６０および記憶部２８０）の他に、例えば、外界監視ユニット３１０と、ナビゲーション装置３３０と、推奨車線決定装置３４０と、自動運転制御ユニット３５０と、駆動力出力装置３６０と、ブレーキ装置３６２と、ステアリング装置３６４とを備える。
　外界監視ユニット３１０は、例えば、カメラやレーダ、ＬＩＤＡＲ（Light Detection and Ranging）、これらの出力に基づいてセンサフュージョン処理を行う物体認識装置などを含む。外界監視ユニット３１０は、車両２００の周辺に存在する物体の種類（特に、車両、歩行者、および自転車）を推定し、その位置や速度の情報と共に自動運転制御ユニット３５０に出力する。外界監視ユニット３１０と外界情報検出部２３０の間では、一部の構成要素が共用されてもよい。
　ナビゲーション装置３３０は、例えば、ＨＭＩ（Human machine Interface）３３２と、ＧＮＳＳ受信機３３４と、ナビ制御装置３３６とを備える。ＨＭＩ３３２は、例えば、タッチパネル式ディスプレイ装置やスピーカ、マイクなどを含む。ＧＮＳＳ受信機３３４は、ＧＮＳＳ衛星（例えばＧＰＳ衛星）から到来する電波に基づいて自機の位置（車両２００の位置）を測位する。ナビ制御装置３３６は、例えば、ＣＰＵ（Central Processing Unit）や各種記憶装置を備え、ナビゲーション装置３３０全体を制御する。記憶装置には、地図情報（ナビ地図）が格納されている。ナビ地図は、ノードとリンクで道路を表現した地図である。ナビ制御装置３３６は、ＧＮＳＳ受信機３３４によって測位された車両２００の位置から、ＨＭＩ３３２を用いて指定された目的地までの経路を、ナビ地図を参照して決定する。ナビ制御装置３３６は、車両２００の位置と目的地とを、通信部２１０を用いてナビゲーションサーバ（不図示）に送信し、ナビゲーションサーバから返信された経路を取得してもよい。ナビゲーション装置３３０と外界情報検出部２３０の間では、一部の構成要素が共用されてもよい。つまり、外界情報検出部２３０が備えるナビゲーション装置と、ナビゲーション装置３３０とが、共用のナビゲーション装置であってもよい。
　推奨車線決定装置３４０は、例えば、ＭＰＵ（Map Positioning Unit）と各種記憶装置を備える。記憶装置には、ナビ地図よりも詳細な高精度地図情報が格納されている。高精度地図情報には、例えば、車線ごとの道路幅や勾配、曲率、信号の位置などの情報が含まれている。推奨車線決定装置３４０は、ナビゲーション装置３３０から入力された経路に沿って走行するために好ましい推奨車線を決定し、自動運転制御ユニット３５０に出力する。
　自動運転制御ユニット３５０は、ＣＰＵやＭＰＵ（Micro Processing Unit）などの一以上のプロセッサと各種記憶装置を備える。自動運転制御ユニット３５０は、推奨車線決定装置３４０により決定された推奨車線を走行することを原則として、外界監視ユニット３１０から位置や速度が入力された物体との接触を避けるように、車両２００を自動的に走行させる。自動運転制御ユニット３５０は、例えば、各種イベントを順次実行する。イベントには、一定速度で同じ走行車線を走行する定速走行イベント、前走車両に追従する追従走行イベント、車線変更イベント、合流イベント、分岐イベント、緊急停止イベント、料金所を通過するための料金所イベント、自動運転を終了して手動運転に切り替えるためのハンドオーバイベントなどがある。これらのイベントの実行中に、車両２００の周辺状況（周辺車両や歩行者の存在、道路工事による車線狭窄など）に基づいて、回避のための行動が計画される場合もある。
　自動運転制御ユニット３５０は、車両２００が将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、車両の到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、所定の走行距離ごとの車両の到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における車両の到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。
　図１３は、自動運転の処理過程について説明するための図である。まず、上図に示すように、ナビゲーション装置３３０によって経路が決定される。この経路は、例えば車線の区別が付けられていない大まかな経路である。次に、中図に示すように、推奨車線決定装置３４０が、経路に沿って走行しやすい推奨車線を決定する。そして、下図に示すように、自動運転制御ユニット３５０が、障害物の回避などを行いながら、なるべく推奨車線に沿って走行するための軌道点を生成し、軌道点（および付随する速度プロファイル）に沿って走行するように、駆動力出力装置３６０、ブレーキ装置３６２、ステアリング装置３６４のうち一部または全部を制御する。このような役割分担はあくまで一例であり、例えば自動運転制御ユニット３５０が一元的に処理を行ってもよい。
　駆動力出力装置３６０は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。駆動力出力装置３６０は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するパワーＥＣＵとを備える。パワーＥＣＵは、自動運転制御ユニット３５０から入力される情報、或いは不図示の運転操作子から入力される情報に従って、上記の構成を制御する。
　ブレーキ装置３６２は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、自動運転制御ユニット３５０から入力される情報、或いは運転操作子から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置３６２は、運転操作子に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。ブレーキ装置３６２は、上記説明した構成に限らず、自動運転制御ユニット３５０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。
　ステアリング装置３６４は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、自動運転制御ユニット３５０から入力される情報、或いは運転操作子から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
　車両２００の提供部２４０は、車両２００の自動運転中に、音声出力部２４４により出力される音声と仮想像生成部２４２により出現させられる仮想像の動作とを同期（または協調）させたコンテンツを車両２００の乗員に対して提供する。車両２００の手動運転中には、提供部２４０は、コンテンツを車両２００の乗員に対して提供しない。例えば、車両２００の提供部２４０は、自動運転が行われているか否かを示す情報を、自動運転制御ユニット３５０または車両の制御部から取得し、車両２００の手動運転中には、インタラクションの少なくとも一部動作態様を制限する。制限される動作態様は、ドライバーの注意を妨げる可能性がある動作態様である。
　以上説明した実施形態では、提供部２４０と、仮想像生成部２４２と、音声出力部２４４と、コンテンツ再生部２４６とが車両２００に備えられ、元データ生成部１３２と、発話生成部１３２Ａと、歌声生成部１３２Ｂと、動作生成部１３２Ｃとが、コンテテンツ提供サーバ１００（つまり、車両外）に備えられているが、それらが、車両２００のみに備えられたり、車両外のみに備えられたりしてもよい。
　＜変形例＞
　変形例では、上記実施形態の機能構成および処理の詳細について説明する。図１４は、エクスペリエンス提供システム１Ａに含まれる機能構成の一例を示す図である。エクスペリエンス提供システム１は、図２、および図１２の機能構成に加え、図１４に示す機能構成を含む。図１３の乗員情報検出部２２０、外界情報検出部２３０、および提供部２４０は、図２で説明した乗員情報検出部２２０、外界情報検出部２３０、および提供部２４０と同様の機能構成である。
　車両２００は、例えば、更に信号生成部４００と、ローカル判定部５１０と、ローカルＵＩ処理部６１０と、ローカル記憶部７００とを備える。信号生成部４００は、音声入力部２５０の機能構成に加え、以下の機能構成を備える。信号生成部４００は、例えば、乗員情報処理部４１０と、外界情報処理部４２０と、環境情報処理部４３０とを備える。
　乗員情報処理部４１０は、乗員情報検出部２２０の検出結果のうちローカル判定部５１０またはリモート判定部５５０が使用する情報を切り出して、切り出した情報をローカル判定部５１０またはリモート判定部５５０に送信する。例えば、乗員情報処理部４１０は、カメラによって撮像された画像をローカル判定部５１０またはリモート判定部５５０に送信する。外界情報処理部４２０は、外界情報検出部２３０の検出結果のうちローカル判定部５１０またはリモート判定部５５０が使用する情報を切り出して、切り出した情報をローカル判定部５１０またはリモート判定部５５０に送信する。外界情報処理部４２０は、例えば、外界の状態を観測しているセンサの検出結果をローカル判定部５１０またはリモート判定部５５０に送信する。
　環境情報処理部４３０は、環境に関する情報を取得する各種センサ等の検出結果や、提供部２４０が提供した情報を取得し、取得した情報のうちローカル判定部５１０またはリモート判定部５５０が使用する情報を切り出して、切り出した情報をローカル判定部５１０またはリモート判定部５５０に送信する。信号生成部４００は、例えば、各マイクが取得した音圧信号が示す指標が基準値から所定度合乖離した場合に、その音圧信号を抽出すると同時に、一定レベルの音圧信号の変動が検出されている間、抽出結果をローカル判定部５１０またはリモート判定部５５０に送信する。
　ローカル判定部５１０は、信号生成部４００の検出結果に基づいて、環境情報に関する判定を行う。環境情報に関する判定とは、例えば、入出力コンテキストと関連しないイベントおよび環境属性の評価である。すなわち、ローカル判定部５１０は、信号生成部４００から取得した情報が、イベントの発生条件を満たすか否かを判定する。ローカル判定部５１０は、例えば、ローカルイベント判定部５２０と、ローカル属性判定部５３０と、送信信号生成部５４０とを備える。
　ローカルイベント判定部５２０は、信号生成部４００の検出結果（環境情報）が、所定の条件を満たすか否かを判定する。ローカルイベント判定部５２０は、所定の条件を満たすと判定した場合、ローカルＵＩ処理部６１０に判定結果を示す情報を送信する。所定の条件とは、入出力コンテキストと関連する検出結果が検出されたことである。
　ローカル属性判定部５３０は、信号生成部４００の検出結果に所定の環境属性が含まれるか否かを判定する。環境属性とは、例えば、走行中であるかを示す属性を示す情報や、周囲に建物が存在するかを示す属性を示す情報、周囲に観光スポットが存在するかを示す属性を示す情報、所定の音声データ（例えば楽曲）を示す属性を示す情報である。送信信号生成部５４０は、ローカルイベント判定部５２０またはローカル属性判定部５３０の処理結果をローカルＵＩ処理部６１０に送信する。
　ローカルＵＩ処理部６１０は、コンテキスト処理を実行する。ローカルＵＩ処理部６１０は、入出力コンテキストの評価と、応答の生成とを行う。ローカルＵＩ処理部６１０は、例えば、ローカル意図推定部６２０と、ローカル応答生成部６３０と、送信信号生成部６４０とを備える。
　ローカル意図推定部６２０は、音声データに基づいて、音声データが意志を持った入力であるか否かを判定する。ローカル応答生成部６３０は、乗員の状態に応じて、仮想像生成部２４２に仮想像を生成させる。送信信号生成部６４０は、ローカル意図推定部６２０またはローカル応答生成部６３０の処理結果を提供部２４０に送信する。ローカル記憶部７００に記憶される情報については後述する。
　エクスペリエンス提供システム１は、例えば、更にリモート判定部５５０と、リモートＵＩ処理部６５０と、リモート記憶部７１０と、外部参照情報８００とを備える。リモート判定部５５０と、リモート処理部６５０と、リモート記憶部７１０と、外部参照情報８００とは、車両とは異なる場所に設けられる。
　リモート判定部５５０は、例えば、リモートイベント判定部５６０と、リモート属性判定部５７０と、送信信号生成部５８０とを備える。リモートイベント判定部５６０は、信号生成部４００の検出結果（環境情報）が、所定の条件を満たすか否かを判定する。リモート属性判定部５７０は、信号生成部４００の検出結果に所定の環境属性が含まれるか否かを判定する。送信信号生成部５８０は、リモートイベント判定部５６０またはリモート属性判定部５７０の処理結果をリモートＵＩ処理部６５０に送信する。リモートイベント判定部５６０またはリモート属性判定部５７０の処理結果がリモートＵＩ処理部６５０に送信されることで、車両２００において提供部２４０がインタラクションを実行する。
　リモートＵＩ処理部６５０は、コンテキスト処理を実行する。リモートＵＩ処理部６５０は、入出力コンテキストの評価と、応答の生成とを行う。リモートＵＩ処理部６５０は、例えば、リモート意図推定部６６０と、リモートル応答生成部６７０と、送信信号生成部６８０とを備える。リモート意図推定部６６０は、音声データに基づいて、音声データが意志を持った入力であるか否かを判定する。リモートル応答生成部６７０は、乗員の状態に応じて、仮想像生成部２４２に仮想像を生成させる。送信信号生成部６８０は、リモート意図推定部６６０またはリモート応答生成部６７０の処理結果を提供部２４０に送信する。
　リモート記憶部７１０は、例えば、ローカル記憶部７００に記憶された情報と同様の情報が記憶される。外部参照情報８００は、楽曲などの音声データや、音声データのパターンなどの情報を含む。
　［具体例］
　以下、図１５を参照して、車両内でインタラクションが実行される場合の処理について説明する。信号生成部４００が、例えば、車室内の環境音を取得し、取得した環境音に基づいて、抽出した音声データを所定秒（例えば５秒）ごとに、ローカル判定部５１０、リモート判定部５５０、およびＵＩ処理部（ローカルＵＩ処理部６１０、リモートＵＩ処理部６５０）に送信する（ステップＳ３００）。
　ローカルイベント判定部５２０は、信号生成部４００により送信された音声データのパターンが楽曲を示す音声データのパターンと類似すると判定した場合、音楽の再生を行うと判定する（ステップＳ３０２）。ローカル属性判定部５３０は、音声データついて属性について判定する。属性に特徴が存在する場合、ローカル属性判定部５３０は、判定結果をローカルＵＩ処理部６１０に送信する（ステップＳ３０４）。
　リモートイベント判定部５６０は、信号生成部４００から取得した音声データと、外部参照情報８００とに基づいて、音楽の再生というイベントが発生しているか否かを判定し（ステップＳ３０６）、更に「アーティストＡ」、「楽曲Ｂ」という属性を判定し、判定結果をリモートＵＩ処理部６５０に送信する（ステップＳ３０８）。
　次に、ローカルＵＩ処理部６１０のローカル意図推定部６２０は、音声データに基づいて、音声データが意志を持った入力であるか否かを判定する（ステップＳ３１０）。ローカルＵＩ処理部６１０は、例えば、ＡＩや、予め記憶されたアルゴリズム等を用いて、音声データが意志を持った入力であるか否かを判定する。ステップＳ３１０では、意志を持った入力でないと判定されたものとする。この後、提供部２４９によって、音楽が再生される（ステップＳ３１２）。すなわち、提供部２４０は、提供すべきインタラクションが複数存在するとき、乗員情報処理部４１０および外界情報処理部４２０の検出結果に基づき、複数のインタラクションの実行タイミングまたは実行可否を決定し、決定結果に基づいてインタラクションを乗員に提供する。
　次の周期において、信号生成部４００は、車室内の音を取得し、取得した音を楽曲の音データと音声データとに分離する（ステップＳ３１４）。次に、ローカルイベント判定部５２０は、音データと音声データとを取得し、そのデータから鼻歌や、乗員がリズムを取る動作を行っていると判定した場合、「音楽に対して興味を示した」というイベントが発生したと判定する（ステップＳ３１６）。
　更に、ローカルイベント判定部５２０は、「再生位置検出対象のイベントが発生した」として、外部参照情報８００をもとにすでに特定されている楽曲情報（楽曲データあるいは歌詞、音程などの情報）から、再生位置および、アーティストＡに対応したコンテンツ情報を特定し、特定結果を信号生成部４００またはローカルＵＩ処理部６１０にフィードバックする（ステップＳ３１８）。
　ローカルＵＩ処理部６１０は、再生位置が特定され、歌詞等の付加情報を取得している状況下において、所定のアクションを実行するか否かを判定する（ステップＳ３２０）。例えば、ローカル記憶部７００には、所定のイベントと、そのイベント時において実行されるアクションとが互いに対応付けられた情報が記憶されている。例えば、ローカルＵＩ処理部６１０は、信号生成部４００から取得した情報に基づいて、次のような特定状態が発生したとき、「介入タイミングの発生」と判定する（ステップＳ３２０）。特定状態とは、乗員が鼻歌をやめた状態、乗員の動作が解消された状態、または楽曲が間奏状態である。
　ローカルＵＩ処理部６１０は、介入タイミングが発生したことをローカル判定部５１０から取得した場合、ローカル記憶部７００に記憶されている可用コンテンツ情報に基づいて、アクションを実行する（ステップＳ３２２）。可用コンテンツ情報は、イベントとアクションとが対応付けられた情報である。アクションとは、「この曲がお好きですか？」などと興味を確認する出力や、後続する楽曲に合わせた歌唱の生成等である。なお、ステップＳ３２０およびＳ３２２の処理は、リモートＵＩ処理部６５０により実行されてもよい。
　上述したように、提供部２４０は、提供済みのインタラクションを含む乗員情報処理部４１０の検出結果に基づき、車両の乗員に対するインタラクションを動的に提供する。この場合において、提供部２４０は、更に外界情報処理部４２０の検出結果を加味して、車両の乗員に対するインタラクションを動的に提供してもよい。
　［上記処理に加え、多数イベントが並行する場合の処理］
　例えば、ローカル判定部５１０（またはリモート判定部５５０）は、ローカルＵＩ処理部６１０（リモートＵＩ処理部６５０）の実行中に並行してイベントの発生検知を継続するとともに、提供部２４０は、インタラクションの提供中に検知したイベントの発生に基づき、インタラクションを動的に提供する。
　例えば、ローカル応答生成部６３０は、乗員が楽曲（または間奏）に合わせて体を動かしてリズムをとっているときには、楽曲にあわせて乗員の動作をミラーリングするように仮想像生成部２４２に仮想像を生成させる。例えば、ローカル応答生成部６３０は、上記のように乗員が体を動かしてリズムをとっているときは、上記の介入タイミングに合わせて手をふったり拍手をしたりするように仮想像生成部２４２に仮想像を生成させる。
　ローカルイベント判定部５２０が、外界情報処理部４２０により抽出したセンサデータ（例えば、カメラにより撮像された画像像から特徴量が抽出されたデータ）に基づき、外部に観光名所等のスポットが存在することを検知して「名所発見」イベントの発生を生じさせると判定した場合、ローカル応答生成部６３０は「あれは名所Ｃですね」というような外界に対するコメントを提供部２４０に出力させる。ここで上述の並行イベントが存在するため、「介入タイミングの発生」のような他イベントおよびそれに対する応答は、重複する場合がある。この場合、ローカルＵＩ処理部６１０は、重複するイベントおよびそれらに対する応答各々に優先度を決定し、優先度に応じて応答の提供または出力する情報を調整する。
　以上説明した実施形態によれば、エクスペリエンス提供システム１が、音声を出力する音声出力部２４４と、車両２００の乗員が視認可能な人物の仮想像を出現させる仮想像生成部２４２と、音声出力部２４４により出力される音声と仮想像生成部２４２により出現させられる仮想像の動作とを協調させた車両２００の乗員に対するコンテンツを提供する提供部２４０とを備えることにより、車両２００の乗員に対して、これまでにない楽しみ方を提供することができる。
　以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
１…エクスペリエンス提供システム、１００…コンテテンツ提供サーバ、１１０…通信部、１２０…記憶部、１２２…カラオケコンテンツデータ、１３０…制御部、１３２…元データ生成部、１３２Ａ…発話生成部、１３２Ｂ…歌声生成部、１３２Ｃ…動作生成部、１３４…歌唱力採点部、２００…車両、２１０…通信部、２２０…乗員情報検出部、２２０Ａ…車内カメラ、２２０Ｂ…車内マイク、２２０Ｃ…着座センサ、２３０…外界情報検出部、２３０Ａ…車外カメラ、２３０Ｂ…車外カメラ、２３０Ｃ…車外カメラ、２３０Ｄ…車外マイク、２４０…提供部、２４２…仮想像生成部、２４２Ａ…投影装置、２４２Ｂ…フロントウインドウ、２４２Ｃ…左サイドウインドウ、２４２Ｅ…ミラー、２４２Ｇ…ホログラム投影装置、２４２Ｈ…タッチパネル式ディスプレイ装置、２４２Ｉ…透過板型ディスプレイ、２４４…音声出力部、２４４Ａ…スピーカ、２４４Ｂ…スピーカ、２４４Ｃ…スピーカ、２４４Ｄ…スピーカ、２４６…コンテンツ再生部、２５０…音声入力部、２５０Ａ…歌唱用マイク、２６０…仮想像選択部、２７０…コンテンツ選択部、２８０…記憶部

Claims (17)

  1. 　車両の乗員に関する情報を検出する乗員情報検出部と、
    　前記車両の外部の情報を検出する外界情報検出部と、
    　音声を出力する出力部と、
    　表示を出力する仮想像生成部と、
    　前記乗員情報検出部および前記外界情報検出部の検出結果に基づいて、前記出力部により出力される音声と前記仮想像生成部により出力される前記表示とを同期させて前記車両の乗員に対するインタラクションを動的に提供する提供部と、
    　を備えるエクスペリエンス提供システム。
  2. 　前記仮想像生成部は、前記車両のシートに対応する撮像画像に重畳するように仮想像を出現させる、
    　請求項１に記載のエクスペリエンス提供システム。
  3. 　前記仮想像生成部は、前記乗員からみて前記車両のシート鏡像位置に対応するよう仮想像を出現させる、
    　請求項１に記載のエクスペリエンス提供システム。
  4. 　前記提供部は、前記外界情報検出部によって検出された前記車両の外部の状況に基づいて、前記出力部より発話を行わせるタイミングを調整する、
    　請求項１に記載のエクスペリエンス提供システム。
  5. 　前記外界情報検出部による前記車両の外部の情報の検出能力は、前記車両の乗員による前記車両の外部の情報の検出能力と同程度である、
    　請求項１に記載のエクスペリエンス提供システム。
  6. 　前記提供部が提供する前記インタラクションは、前記乗員情報検出部が検出した車両内で聴取されている楽曲に対応した音声を含む、
    　請求項１に記載のエクスペリエンス提供システム。
  7. 　前記提供部は、前記出力部が出力する楽曲と、前記仮想像生成部の出力する表示とを同期させる、
    　請求項１に記載のエクスペリエンス提供システム。
  8. 　前記乗員情報検出部は、前記提供部が提供するインタラクションに対する前記車両の乗員の状態を検知して記憶する記憶部を備え、前記記憶部の状態を基に、前記車両の乗員が利用可能な前記インタラクションを変更する、
    　請求項7に記載のエクスペリエンス提供システム。
  9. 　前記車両は、自動運転車両であり、
    　前記提供部は、前記乗員情報検出部が前記車両の自動運転中であるか否かを判定するよう構成され、手動運転中に、前記インタラクションの少なくとも一部動作態様を制限する、
    　請求項1に記載のエクスペリエンス提供システム。
  10. 　前記提供部は、前記車両外に備えられる判定部を用いて前記インタラクションを実行する、
    　請求項１に記載のエクスペリエンス提供システム。
  11. 　前記乗員情報検出部および前記外界情報検出部の検知した信号を前記車両外で処理する外部処理部の出力により前記インタラクションを提供する、
    　請求項1に記載のエクスペリエンス提供システム。
  12. 　前記乗員情報検出部は、前記提供部による提供済みのインタラクションを検出可能に構成され、
    　前記提供部は、前記提供済みのインタラクションを含む前記乗員情報検出部および前記外界情報検出部の検出結果に基づき、前記車両の乗員に対するインタラクションを動的に提供する、
    　請求項1に記載のエクスペリエンス提供システム。
  13. 　前記提供部が提供すべき前記インタラクションが複数存在するとき、
    　前記提供部は、前記乗員情報検出部および前記外界情報検出部の検出結果に基づき、複数の前記インタラクションの実行タイミングまたは実行可否を決定する、
    　請求項1に記載のエクスペリエンス提供システム。
  14. 　前記乗員情報検出部および前記外界情報検出部の検出結果に基づきイベントの発生を検知するイベント判定部を備え、
    　前記イベント判定部は、車両上でイベントを判定するローカル判定部と、
    　前記車両と通信接続された外部サーバでイベントを判定するリモート判定部とからなる、
    　請求項1に記載のエクスペリエンス提供システム。
  15. 　前記乗員情報検出部および前記外界情報検出部の検出結果に基づきイベントの発生を検知するイベント判定部と、
    　前記乗員情報検出部および前記外界情報検出部の検出結果に基づき前記提供部により提供されるインタラクションを制御するインタラクション制御部と、を備え、
    　前記イベント判定部は、前記インタラクション制御部の実行中に並行して前記イベントの発生検知を継続するとともに、
    　前記提供部は、前記インタラクションの提供中に検知した前記イベントの発生に基づき、前記インタラクションを動的に提供する、
    　請求項1に記載のエクスペリエンス提供システム。
  16. 　車載コンピュータが、
    　乗員情報を検出し、
    　外界情報を検出し、
    　音声を出力し、
    　表示を出力し、
    　前記乗員情報および前記外界情報に基づいて、出力される音声と出力される仮想像とを同期させて車両の乗員に対しインタラクションを動的に提供する、
    　エクスペリエンス提供方法。
  17. 　車載コンピュータに、
    　乗員情報を検出させ、
    　外界情報を検出させ、
    　音声を出力させ、
    　表示を出力させ、
    　前記乗員情報および前記外界情報に基づいて、出力される音声と出力される仮想像を同期させて車両の乗員に対しインタラクションを動的に提供させる、
    　エクスペリエンス提供プログラム。
PCT/JP2018/022849 2017-06-16 2018-06-15 エクスペリエンス提供システム、エクスペリエンス提供方法およびエクスペリエンス提供プログラム WO2018230688A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/621,457 US11494950B2 (en) 2017-06-16 2018-06-15 Experience providing system, experience providing method, and experience providing program
DE112018003014.8T DE112018003014T5 (de) 2017-06-16 2018-06-15 Erfahrung-bereitstellungssystem, erfahrung-bereitstellungsverfahren und erfahrung-bereitstellungsprogramm
CN201880040107.5A CN110770818A (zh) 2017-06-16 2018-06-15 体验提供系统、体验提供方法及体验提供程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-118702 2017-06-16
JP2017118702 2017-06-16

Publications (1)

Publication Number Publication Date
WO2018230688A1 true WO2018230688A1 (ja) 2018-12-20

Family

ID=64660801

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/022849 WO2018230688A1 (ja) 2017-06-16 2018-06-15 エクスペリエンス提供システム、エクスペリエンス提供方法およびエクスペリエンス提供プログラム

Country Status (5)

Country Link
US (1) US11494950B2 (ja)
JP (1) JP7275058B2 (ja)
CN (1) CN110770818A (ja)
DE (1) DE112018003014T5 (ja)
WO (1) WO2018230688A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6587776B1 (ja) * 2018-11-26 2019-10-09 三菱電機株式会社 情報提示制御装置、情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体
CN111243587A (zh) * 2020-01-08 2020-06-05 北京松果电子有限公司 语音交互方法、装置、设备及存储介质
JPWO2021148903A1 (ja) * 2020-01-22 2021-07-29
KR102431493B1 (ko) * 2020-07-31 2022-08-11 주식회사 인벤티스 증강현실 콘텐츠 기반 차량기능 안내 및 가상 시험주행 경험 제공 시스템 및 방법
US11626028B2 (en) 2020-07-31 2023-04-11 Inventis Co., Ltd System and method for providing vehicle function guidance and virtual test-driving experience based on augmented reality content
JP2022093933A (ja) 2020-12-14 2022-06-24 本田技研工業株式会社 移動体、インタラクション提供システム、インタラクション提供方法、及びインタラクション提供プログラム
KR102637748B1 (ko) * 2021-06-14 2024-02-20 (주)다산지앤지 가상 운전자 서비스를 제공하는 장치, 방법 및 사용자 단말
DE102022107293A1 (de) 2022-03-28 2023-09-28 Bayerische Motoren Werke Aktiengesellschaft Assistenzsystem und Assistenzverfahren für ein Fahrzeug
US11972613B1 (en) * 2022-10-28 2024-04-30 Zoox, Inc. Apparatus and methods for atmospheric condition detection

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003339681A (ja) * 2002-05-27 2003-12-02 Denso Corp 車両用表示装置
JP2010217956A (ja) * 2009-03-13 2010-09-30 Omron Corp 情報処理装置及び方法、プログラム、並びに情報処理システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3873386B2 (ja) * 1997-07-22 2007-01-24 株式会社エクォス・リサーチ エージェント装置
JPH1147766A (ja) * 1997-07-31 1999-02-23 Unitika Ltd ヒ素固定剤及びヒ素含有排水の処理方法
DE10253502A1 (de) 2002-11-16 2004-05-27 Robert Bosch Gmbh Vorrichtung zur Projektion eines Objekts in einem Raum eines Fahrzeugs
JP4525925B2 (ja) * 2005-11-29 2010-08-18 株式会社デンソー 自動車用ユーザーもてなしシステム
JP2010184610A (ja) 2009-02-12 2010-08-26 Toyota Motor Corp 車内環境制御装置
US9615213B2 (en) * 2009-07-21 2017-04-04 Katasi Llc Method and system for controlling and modifying driving behaviors
CN102111658A (zh) * 2009-12-29 2011-06-29 财团法人工业技术研究院 交互式影音播放系统及方法
US10339711B2 (en) * 2013-03-15 2019-07-02 Honda Motor Co., Ltd. System and method for providing augmented reality based directions based on verbal and gestural cues
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
US9340155B2 (en) 2013-09-17 2016-05-17 Toyota Motor Sales, U.S.A., Inc. Interactive vehicle window display system with user identification
JP6497158B2 (ja) * 2014-05-16 2019-04-10 株式会社リコー 表示装置、移動体
CN104102146B (zh) * 2014-07-08 2016-09-07 苏州乐聚一堂电子科技有限公司 虚拟伴舞通用控制系统
CN106405836A (zh) 2015-07-28 2017-02-15 本田技研工业株式会社 车辆显示装置以及车辆显示方法
US10724874B2 (en) * 2015-10-13 2020-07-28 Here Global B.V. Virtual reality environment responsive to predictive route navigation
US9988008B2 (en) * 2015-10-26 2018-06-05 Active Knowledge Ltd. Moveable internal shock-absorbing energy dissipation padding in an autonomous vehicle
DE112017007121T5 (de) * 2017-02-24 2019-11-14 Sony Corporation Bildschirmsteuergerät, Verfahren und Programm

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003339681A (ja) * 2002-05-27 2003-12-02 Denso Corp 車両用表示装置
JP2010217956A (ja) * 2009-03-13 2010-09-30 Omron Corp 情報処理装置及び方法、プログラム、並びに情報処理システム

Also Published As

Publication number Publication date
US11494950B2 (en) 2022-11-08
JP7275058B2 (ja) 2023-05-17
DE112018003014T5 (de) 2020-03-05
CN110770818A (zh) 2020-02-07
US20210150772A1 (en) 2021-05-20
JP2020075720A (ja) 2020-05-21

Similar Documents

Publication Publication Date Title
JP7275058B2 (ja) エクスペリエンス提供システム、エクスペリエンス提供方法およびエクスペリエンス提供プログラム
US11409290B2 (en) Driving control apparatus, driving control method, and program
JP6773040B2 (ja) 情報処理システム、および情報処理システムの情報処理方法、情報処理装置、並びにプログラム
US11972616B2 (en) Enhanced navigation instructions with landmarks under difficult driving conditions
US10994612B2 (en) Agent system, agent control method, and storage medium
JP6173477B2 (ja) ナビゲーション用サーバ、ナビゲーションシステムおよびナビゲーション方法
JP7250547B2 (ja) エージェントシステム、情報処理装置、情報処理方法、およびプログラム
WO2014057540A1 (ja) ナビゲーション装置およびナビゲーション用サーバ
JP6612707B2 (ja) 情報提供装置
JP6992893B2 (ja) 走行情報処理装置及び処理方法
JP4797858B2 (ja) 車載用ナビゲーション装置
CN111007968A (zh) 智能体装置、智能体提示方法及存储介质
WO2021258671A1 (zh) 基于车载数字人的辅助驾驶交互方法及装置、存储介质
JP2020154996A (ja) 情報処理システム、エージェントシステム、情報処理方法、およびプログラム
JP2021107801A (ja) 自動運転車両、画像表示方法およびプログラム
JP2010085203A (ja) ナビゲーション装置及び案内誘導方法
CN113401071A (zh) 显示控制装置、显示控制方法以及计算机可读取存储介质
CN112241677B (zh) 信息提供装置、信息提供方法及存储介质
JP2019082382A (ja) 重畳画像表示装置
CN111308999B (zh) 信息提供装置以及车载装置
JP2020160640A (ja) ライドシェアサーバ装置、情報処理システム、エージェントシステム、ライドシェアサーバ装置の制御方法、およびプログラム
JP2022187788A (ja) 仮想環境提供システム、及び仮想環境提供方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18818702

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019525553

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18818702

Country of ref document: EP

Kind code of ref document: A1