WO2017125998A1 - 音声案内制御装置及び音声案内制御方法 - Google Patents

音声案内制御装置及び音声案内制御方法 Download PDF

Info

Publication number
WO2017125998A1
WO2017125998A1 PCT/JP2016/051236 JP2016051236W WO2017125998A1 WO 2017125998 A1 WO2017125998 A1 WO 2017125998A1 JP 2016051236 W JP2016051236 W JP 2016051236W WO 2017125998 A1 WO2017125998 A1 WO 2017125998A1
Authority
WO
WIPO (PCT)
Prior art keywords
time interval
time
audio data
margin value
reproduction
Prior art date
Application number
PCT/JP2016/051236
Other languages
English (en)
French (fr)
Inventor
辰彦 斉藤
伍井 啓恭
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2016/051236 priority Critical patent/WO2017125998A1/ja
Priority to JP2017546924A priority patent/JP6272585B2/ja
Priority to TW105117711A priority patent/TW201727592A/zh
Publication of WO2017125998A1 publication Critical patent/WO2017125998A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/10Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Definitions

  • the present invention relates to a voice guidance control device and a voice guidance control method for controlling voice guidance for a user.
  • voice guidance that provides information to a user by voice output from a speaker or the like has become widespread.
  • Information provision by voice guidance does not require the user to view the screen, unlike information provision by screen display such as a liquid crystal display. For this reason, for example, it is useful for providing information in a situation where the user's operation and line-of-sight movement are restricted by some work, such as driving a vehicle, operating a home appliance, or checking an elevator.
  • the information presentation control device of Patent Document 1 controls the presentation of information at an optimal timing and order from the driving state of the driver and the evaluation value of the information based on the estimated value of the driving position of the future vehicle. I have to.
  • the information presentation control device of Patent Document 1 rearranges the data and calculates an evaluation value for each arrangement. At this time, the evaluation value is calculated on the assumption that a plurality of included data are continuously reproduced (see paragraphs [0025] to [0027], etc. of Patent Document 1).
  • the information presentation control device of Patent Document 1 controls the presentation order of a plurality of data and the timing of presenting all of these data, and does not control the timing of presenting individual data. For this reason, even if the optimal timing is controlled as the overall presentation timing, some of the data is presented at a timing when the user's load is high. There was a problem.
  • An object of the present invention is to provide a voice guidance control device and a voice guidance control method that can be used.
  • the voice guidance control device includes a margin value calculation unit that calculates a margin value of a user in a future time section, and a plurality of voice data to be reproduced in the future time section.
  • a time constraint information acquisition unit that acquires time constraint information indicating a time interval in which the audio data can be reproduced, and a reproduction candidate that is a time interval candidate for reproducing audio data in the future time interval using the time constraint information
  • a reproduction candidate time interval setting unit that sets a time interval for each of one or a plurality of audio data and a reproduction time that is a time interval for actually reproducing audio data among the reproduction candidate time intervals using a margin value.
  • a playback time section setting unit that sets a section for each piece of audio data is provided.
  • the margin value calculation unit calculates a user margin value in the future time section
  • the time constraint information acquisition unit performs a plurality of voices to be reproduced in the future time section.
  • the reproduction time interval setting unit uses the margin value to indicate a reproduction candidate time interval
  • a step of setting a reproduction time interval which is a time interval for actually reproducing audio data, for each piece of audio data.
  • the voice guidance control device and voice guidance control method of the present invention can control the playback timing of individual voice data according to the user's margin when there are a plurality of voice data to be guided.
  • FIG. 1 is a block diagram showing the main parts of the voice guidance control device and the in-vehicle information system according to Embodiment 1 of the present invention.
  • FIG. 2 is a hardware configuration diagram illustrating a main part of the voice guidance control device according to the first embodiment of the present invention.
  • FIG. 3 is another hardware configuration diagram showing the main part of the voice guidance control device according to Embodiment 1 of the present invention.
  • voice guidance control apparatus 100 according to Embodiment 1 will be described focusing on an example in which in-vehicle information system 200 is a control target.
  • the in-vehicle information device 21 uses a GPS signal received from a GPS satellite (not shown) by a GPS (Global Positioning System) receiver 22 to determine the current position of a vehicle (hereinafter referred to as “own vehicle”) on which the in-vehicle information system 200 is mounted. Is to be calculated.
  • the in-vehicle information device 21 uses the map information stored in the map information storage unit 23 to search for a travel route from the current position of the host vehicle to the destination set by the operation of the operation input device 24. .
  • the in-vehicle information device 21 selects a travel route to be guided from the search results, outputs various image data for guiding the travel route to the display device 25, and outputs various audio data for guiding the travel route as audio. This is output to the device 26.
  • the in-vehicle information device 21 acquires the road traffic information stored in the road traffic information storage unit 27 and outputs voice data for guiding the road traffic information to the voice output device 26.
  • the in-vehicle information device 21 acquires the weather forecast information stored in the weather forecast information storage unit 28 and outputs voice data for guiding the weather forecast information to the voice output device 26.
  • the in-vehicle information device 21 acquires news information stored in the news information storage unit 29 and outputs audio data for guiding the news information to the audio output device 26.
  • the operation input device 24 includes, for example, a touch panel or a physical button, and receives input of operations by the driver of the own vehicle (hereinafter referred to as “user”) and the passenger in the passenger seat.
  • the display device 25 includes, for example, a liquid crystal display, an organic EL (Electro Luminescence) display, a plasma display, or a cathode ray tube display, and displays image data input from the in-vehicle information device 21 as an image.
  • the audio output device 26 is configured by, for example, a speaker, headphones, or earphones, and outputs audio data input from the in-vehicle information device 21 as audio.
  • the map information storage unit 23, the road traffic information storage unit 27, the weather forecast information storage unit 28, and the news information storage unit 29 constitute a storage device 30.
  • the storage device 30 may be, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory Hard Drive), or an EEPROM (Electrically Erasable Memory Drive).
  • RAM Random Access Memory
  • ROM Read Only Memory
  • flash memory an EPROM (Erasable Programmable Read Only Memory Hard Drive)
  • EEPROM Electrical Erasable Memory Drive
  • the in-vehicle information device 21 voices information indicating the travel route of the host vehicle (hereinafter referred to as “route information”) and information indicating the current position of the host vehicle (hereinafter referred to as “own vehicle position information”). It has a function of outputting to the guidance control device 100.
  • the in-vehicle information device 21 calculates the traveling speed of the host vehicle using the output signal of the wheel speed sensor 31 and outputs information indicating the traveling speed (hereinafter referred to as “vehicle speed information”) to the voice guidance control device 100. have.
  • the in-vehicle information device 21 uses the map information stored in the map information storage unit 23 and the like (hereinafter referred to as “intersection position information”) indicating the position of an intersection on the travel route of the host vehicle. It has a function of generating information indicating the position of a traffic signal on the travel route of the host vehicle (hereinafter referred to as “traffic signal position information”) and outputting it to the voice guidance control device 100.
  • the in-vehicle information device 21 uses the road traffic information stored in the road traffic information storage unit 27 and the like (hereinafter referred to as “flashing interval information”) indicating the blinking interval of traffic lights on the traveling route of the host vehicle. ) And information indicating traffic congestion occurring on the travel route of the host vehicle (hereinafter referred to as “congestion information”), and outputting the information to the voice guidance control device 100.
  • a unique identifier (hereinafter referred to as “ID”) is assigned to the audio data output from the in-vehicle information device 21 to the audio output device 26, that is, the audio data to be reproduced by the in-vehicle information system 200.
  • the in-vehicle information device 21 includes, for each audio data to be reproduced in a future time section (hereinafter referred to as “future time section”) with respect to the current time, an ID of the audio data, a reproduction time of the audio data, Information (hereinafter referred to as “time constraint information”) indicating a time interval during which the audio data can be reproduced in the future time interval (hereinafter referred to as “reproducible time interval”) is generated and output to the voice guidance control device 100. It has a function to do.
  • the “reproduction time” of the audio data is not only the time required to reproduce the audio corresponding to the audio data but also the time corresponding to the sound effect or silence before and after the time. Also good.
  • the in-vehicle information system 200 is configured by the in-vehicle information device 21, the GPS receiver 22, the operation input device 24, the display device 25, the audio output device 26, the storage device 30, and the wheel speed sensor 31.
  • the host vehicle is provided with a microphone 1 that receives an input of a voice uttered by a passenger of the host vehicle including the user, and a camera 2 that captures the upper body or whole body of the user.
  • a brain wave sensor 3 for detecting the user's brain wave and a heart rate sensor 4 for detecting the user's heart rate are attached to the user's body.
  • 1st margin value calculation part 10 extracts the feature-value of the voice which the passenger of the own vehicle including a user emitted using the output signal of microphone 1.
  • FIG. The first margin value calculation unit 10 uses the output signal of the camera 2 to extract a feature amount of an image obtained by photographing the user.
  • the first margin value calculation unit 10 uses the output signal of the electroencephalogram sensor 3 to extract the feature quantity of the user's electroencephalogram.
  • the first margin value calculation unit 10 uses the output signal of the heart rate sensor 4 to extract the feature amount of the user's heart rate.
  • the first margin value calculation unit 10 calculates a value (hereinafter referred to as “first margin value”) indicating the margin of the user in the future time interval using the extracted feature amount.
  • the first margin value is, for example, a real value from 0 to 1, and is set so as to increase as the user can afford to listen to the voice reproduced by the in-vehicle information system 200.
  • the second margin value calculation unit 11 acquires route information, own vehicle position information, vehicle speed information, intersection position information, traffic signal position information, blinking interval information, and traffic jam information from the in-vehicle information device 21.
  • the second margin value calculation unit 11 uses the information acquired from the in-vehicle information device 21 to calculate a value indicating the margin of the user in the future time section (hereinafter referred to as “second margin value”). is there.
  • the second margin value is a real value from 0 to 1 that is the same as the first margin value, and is set so as to increase as the user can afford to listen to the voice reproduced by the in-vehicle information system 200. .
  • the margin value multiplying unit 12 multiplies the first margin value calculated by the first margin value calculating unit 10 and the second margin value calculated by the second margin value calculating unit 11. That is, the product value obtained by this multiplication (hereinafter referred to as “margin value”) is estimated based on various feature amounts indicating the user's state and various information obtained from the in-vehicle information system 200. It shows the margin.
  • the margin value can be expressed as a characteristic line in the characteristic diagram showing the margin value with respect to time.
  • the margin value calculation unit 13 is composed of the first margin value calculation unit 10, the second margin value calculation unit 11, and the margin value multiplication unit 12. Details of processing by the margin value calculation unit 13 will be described later with reference to FIGS. 5 and 6.
  • the time constraint information acquisition unit 14 acquires time constraint information of audio data to be reproduced in the future time section from the in-vehicle information device 21. Details of the processing by the time constraint information acquisition unit 14 will be described later with reference to FIGS. 7 and 8.
  • the reproduction candidate time interval setting unit 15 uses the time constraint information acquired by the time constraint information acquisition unit 14 to select a time segment for reproducing audio data in the future time interval (hereinafter referred to as “reproduction candidate time interval”). ) Is set.
  • the reproduction candidate time interval setting unit 15 sets a reproduction candidate time interval for each of one or a plurality of audio data. Details of the processing by the reproduction candidate time interval setting unit 15 will be described later with reference to FIGS.
  • the reproduction time interval setting unit 16 uses the margin value calculated by the margin value calculation unit 13 to actually reproduce audio data among the reproduction candidate time intervals set by the reproduction candidate time interval setting unit 15. (Hereinafter referred to as “reproduction time section”).
  • reproduction time section When there are a plurality of audio data to be reproduced in the future time interval, the reproduction time interval setting unit 16 sets the reproduction time interval for each individual audio data. Details of the processing by the reproduction time section setting unit 16 will be described later with reference to FIGS.
  • the playback time interval setting unit 16 has a function of outputting information indicating the playback time interval to the in-vehicle information device 21.
  • the in-vehicle information device 21 outputs audio data corresponding to the reproduction time interval to the audio output device 26 during the reproduction time interval indicated by the information input from the reproduction time interval setting unit 16.
  • the voice guidance control device 100 is configured by the margin value calculation unit 13, the time constraint information acquisition unit 14, the reproduction candidate time interval setting unit 15, and the reproduction time interval setting unit 16.
  • FIG. 2 shows an example of the hardware configuration of the voice guidance control device 100.
  • the voice guidance control device 100 is configured by a computer and includes a processor 40 and a memory 41.
  • the memory 41 stores a program for causing the computer to function as the margin value calculation unit 13, the time constraint information acquisition unit 14, the reproduction candidate time interval setting unit 15, and the reproduction time interval setting unit 16 illustrated in FIG. ing.
  • the processor 40 reads and executes a program stored in the memory 41.
  • the voice guidance control device 100 is configured by a dedicated processing circuit 42.
  • the processing circuit 42 is, for example, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), a system LSI (Large-Scale Integration), or a combination thereof.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • LSI Large-Scale Integration
  • the functions of the respective units may be realized together by a processing circuit.
  • some of the functions of the margin value calculation unit 13, the time constraint information acquisition unit 14, the reproduction candidate time interval setting unit 15, and the reproduction time interval setting unit 16 illustrated in FIG. 1 may include the processor 40 and the memory illustrated in FIG. It may be realized by 41 and the remaining functions may be realized by the processing circuit 42 shown in FIG.
  • step ST1 the margin value calculation unit 13 calculates a margin value of the user in the future time section.
  • step ST2 the time constraint information acquisition unit 14 acquires time constraint information of audio data to be reproduced in the future time section.
  • step ST3 the reproduction candidate time interval setting unit 15 sets a reproduction candidate time interval in the future time interval using the time constraint information acquired by the time constraint information acquisition unit 14 in step ST2.
  • step ST4 the reproduction time interval setting unit 16 uses the margin value calculated by the margin value calculation unit 13 in step ST1, and the reproduction candidate time set by the reproduction candidate time interval setting unit 15 in step ST3. Set the playback time section of the section.
  • the playback time interval setting unit 16 outputs information indicating the playback time interval set in step ST4 to the in-vehicle information device 21.
  • the in-vehicle information device 21 outputs audio data corresponding to the reproduction time interval to the audio output device 26 in the reproduction time interval indicated by the information input from the reproduction time interval setting unit 16.
  • FIG. 5 is a flowchart showing the detailed operation of the margin value calculation unit 13.
  • the first margin value calculation unit 10 uses the output signal of the microphone 1 to extract a feature amount of a voice uttered by a passenger of the host vehicle including the user.
  • the first margin value calculation unit 10 uses the output signal of the camera 2 to extract a feature amount of an image obtained by photographing the user.
  • the first margin value calculation unit 10 uses the output signal of the electroencephalogram sensor 3 to extract the feature quantity of the user's electroencephalogram.
  • the first margin value calculation unit 10 uses the output signal of the heart rate sensor 4 to extract the feature amount of the user's heart rate.
  • step ST15 the first margin value calculation unit 10 calculates the first margin value at each time in the future time section using the feature amount extracted in steps ST11 to ST14. Specifically, for example, the following processing is executed.
  • the first margin value calculation unit 10 is preset with an initial value (for example, a constant value of 0.5) of the first margin value at each time.
  • the first margin value calculation unit 10 performs speech recognition processing on the speech using the speech feature amount extracted in step ST11.
  • the first margin value calculation unit 10 detects the utterance frequency of the user by voice recognition processing such as so-called “pattern recognition”.
  • the first margin value calculation unit 10 increases the first margin value as the utterance frequency of the user is lower, and decreases the first margin value as the utterance frequency is higher.
  • the first margin value calculation unit 10 detects the flow of conversation between the user and other passengers by the same voice recognition process.
  • the first margin value calculation unit 10 increases the first margin value if the conversation is about to end soon, and decreases the first margin value if the conversation continues in the future.
  • the first margin value calculation unit 10 performs image recognition processing on the image using the feature amount of the image extracted in step ST12.
  • the first margin value calculation unit 10 detects a user's facial expression or gesture by image recognition processing such as pattern recognition.
  • the first margin value calculation unit 10 stores a facial expression or gesture when the user is concentrating on driving, and if the detected facial expression or gesture corresponds to the stored facial expression or gesture, the first margin is calculated. Decrease the value, and if not applicable, increase the first margin value.
  • the first margin value calculation unit 10 extracts the user's heart rate as a feature amount in step ST13.
  • the first margin value calculation unit 10 is set with a threshold value to be compared with the heart rate value. When the heart rate value is smaller than the threshold value, the first margin value calculation unit 10 increases the first margin value. When the value is larger than the threshold value, the first margin value is decreased.
  • the first margin value calculation unit 10 extracts an alpha wave included in the user's brain wave as a feature amount in step ST14.
  • the first margin value calculation unit 10 is set with a threshold value to be compared with the alpha wave value. When the alpha wave value is larger than the threshold value, the first margin value calculation unit 10 increases the first margin value and sets the alpha wave value. When the value is smaller than the threshold value, the first margin value is decreased.
  • the first margin value calculation unit 10 calculates the first margin value at each time in the future time interval by combining these processing results. These processes may be based on a so-called “rule base” or may be based on a so-called “machine learning”. That is, the pattern to be recognized in the speech recognition process or the image recognition process may be set in advance according to a predetermined rule, and is learned by the first margin value calculation unit 10 according to the past processing contents. There may be. Further, the threshold value to be compared with the feature quantity of the heartbeat or the electroencephalogram may be set in advance according to a predetermined rule, and is set dynamically by the first margin value calculation unit 10 based on the learning result. May be.
  • the speech recognition processing is not limited to pattern recognition, and any known speech recognition processing may be used (for example, Sadaaki Furui “Speech Information Processing” Morikita Publishing, 1998, pp. 79-132). reference).
  • the image recognition processing is not limited to pattern recognition, and any known image recognition processing may be used (for example, Keiji Taniguchi, “Image Processing Engineering—Basic”, Kyoritsu Shuppan, 1996, pp. 133-159).
  • step ST ⁇ b> 16 the second margin value calculation unit 11 acquires route information from the in-vehicle information device 21. Similarly, the second margin value calculation unit 11 acquires the vehicle position information in step ST17, acquires the vehicle speed information in step ST18, acquires the intersection position information in step ST19, and proceeds to step ST20. Traffic light position information is acquired, blinking interval information is acquired in step ST21, and traffic jam information is acquired in step ST22.
  • step ST23 the second margin value calculation unit 11 calculates the second margin value at each time in the future time section using the information acquired in steps ST16 to ST22. Specifically, for example, the following processing is executed.
  • an initial value (for example, a constant value of 0.5) of the second margin value at each time is set in advance.
  • the second margin value calculation unit 11 predicts the position of the host vehicle at each time in the future time section using the route information, the host vehicle position information, and the vehicle speed information.
  • the second margin value calculation unit 11 uses the intersection position information to decrease the second margin value in the time interval in which the host vehicle passes through the intersection.
  • the second margin value calculation unit 11 uses the traffic signal position information and the blinking interval information to reduce the second margin value in a time interval in which the host vehicle approaches a traffic signal with a short blinking interval.
  • the second margin value calculation unit 11 calculates the second margin value at each time in the future time interval by combining these processing results. These processes may be based on a rule base or may be based on machine learning. That is, the prediction of the position of the host vehicle at each time may be predicted according to a preset rule, or may be predicted in consideration of the contents learned from the past travel history by the second margin value calculation unit 11. good.
  • the second margin value may be corrected based on a predetermined rule in each time interval, and the second margin value calculation unit 11 determines whether to perform the correction according to the learning result, A change range of the second margin value by correction may be changed.
  • the second margin value calculation unit 11 may calculate the second margin value by these known techniques instead of or in addition to the above processing.
  • step ST24 the margin value multiplying unit 12 calculates the first margin value calculated by the first margin value calculating unit 10 in step ST15 and the second margin value calculating unit 11 calculated in step ST23.
  • the margin value is calculated by multiplying the second margin value.
  • FIG. 6 shows an example of the margin value calculated by the margin value calculation unit 13.
  • a characteristic line I indicates a margin value, which is a real value from 0 to 1.
  • FIG. 7 is a flowchart showing the detailed operation of the time constraint information acquisition unit 14.
  • the time constraint information acquisition unit 14 acquires time constraint information of audio data that guides the travel route from the in-vehicle information device 21 among audio data to be reproduced in the future time section T. .
  • the time constraint information acquisition unit 14 acquires time constraint information of voice data for guiding weather forecast information in step ST32, and acquires time constraint information of voice data for guiding road traffic information in step ST33.
  • step ST34 time constraint information of voice data for guiding news information is acquired.
  • FIG. 8 shows an example of the time constraint information acquired by the time constraint information acquisition unit 14.
  • the time constraint information indicates “ID”, “reproduction time”, and “reproducible time section” of each audio data. Note that “sound content” in the figure is shown for ease of explanation, and may not be included in the actual time constraint information.
  • the audio data for guiding the news information is not subject to reproduction in the future time section T.
  • FIG. 9 is a flowchart showing a detailed operation of the reproduction candidate time interval setting unit 15.
  • the reproduction candidate time interval setting unit 15 acquires the time constraint information acquired by the time constraint information acquisition unit 14 in steps ST31 to ST34 of FIG.
  • the reproduction candidate time interval setting unit 15 sets a time interval in which the same audio data can be reproduced as one reproduction candidate time interval according to the reproducible time interval of each audio data indicated by the time constraint information.
  • the process summarized as follows is executed. By this processing, a reproduction candidate time interval for each of one or a plurality of audio data is set.
  • the reproducible time section of the audio data corresponding to each ID is shown in FIG.
  • the time intervals in which the same audio data can be reproduced are summarized as one reproduction candidate time interval as shown in FIG.
  • three reproduction candidate time intervals Lc1 to Lc3 are continuous. However, depending on the content of the time constraint information, the reproduction candidate time intervals are not continuous, and the reproduction candidate time intervals are within the future time interval T. There may be time intervals that do not.
  • the reproduction candidate time intervals Lc1 to Lc3 all correspond to a plurality of audio data. However, depending on the content of the time constraint information, a part or all of the reproduction candidate time intervals have one audio. Sometimes only data is supported.
  • FIG. 12 is a flowchart showing the detailed operation of the playback time interval setting unit 16.
  • the reproduction time interval setting unit 16 calculates a path of each audio data in each reproduction candidate time interval set by the reproduction candidate time interval setting unit 15 in step ST42 of FIG.
  • the “pass” of each audio data is a characteristic indicating whether or not the audio data is reproduced in each unit time interval ⁇ obtained by dividing the reproduction candidate time interval every predetermined length (for example, 500 ms). Given by the line.
  • FIG. 13 shows an example of a path in the reproduction candidate time interval Lc1.
  • the audio data that can be reproduced in the reproduction candidate time interval Lc1 is the three audio data corresponding to ID01, 04, and 05. Therefore, FIG. 13 shows a voice data path P01 corresponding to ID01, a voice data path P04 corresponding to ID04, and a voice data path P05 corresponding to ID05.
  • the reproduction time (3500 ms) of the audio data of ID01 is indicated in the time constraint information acquired by the time constraint information acquisition unit 14 in step ST31 of FIG.
  • the playback time interval setting unit 16 calculates the paths of the audio data of ID02, 04, and 05 in the playback candidate time interval Lc2, respectively, and the paths of the audio data of ID03, 04, and 05 in the playback candidate time interval Lc3. Are calculated respectively.
  • step ST52 the reproduction time section setting unit 16 selects any one path.
  • step ST53 the reproduction time interval setting unit 16 calculates an evaluation value at each time corresponding to the path selected in step ST52.
  • the playback time interval setting unit 16 calculates an evaluation value e i (t) by the following equation (1).
  • i is a serial number assigned to each path
  • id is the ID number of the audio data corresponding to the path
  • t is the time.
  • g id (t) at time t is, for example, a margin at the time t calculated by the margin value calculation unit 13 in step ST24 of FIG. 5 with respect to a preset reference value (for example, 1). The value multiplied by the value.
  • a larger value of g id (t) is calculated as the user's margin at time t is larger, and a smaller value is calculated as the user's margin is smaller.
  • step ST54 the reproduction time interval setting unit 16 adds the evaluation value e i (t) at each time t calculated in step ST43.
  • the accumulated evaluation value E i after the addition is represented by the following equation (2).
  • step ST55 the reproduction time interval setting unit 16 determines whether or not the cumulative evaluation value E i has been calculated for all the paths calculated in step ST51. When there is a path for which the cumulative evaluation value E i has not been calculated (step ST55 “NO”), the reproduction time interval setting unit 16 returns to the process of step ST52 and selects a path for which the cumulative evaluation value E i has not been calculated. .
  • step ST56 the playback time interval setting unit 16 sets the audio data for each piece of audio data.
  • the path with the largest cumulative evaluation value E i is selected from the corresponding paths.
  • the playback time interval setting unit 16 sets the playback time interval of the audio data based on the selected path. As a result, a playback time interval for each piece of audio data is set.
  • the playback time interval setting unit 16 may reselect a path having the next largest cumulative evaluation value E i for any audio data.
  • FIG. 14 shows an example of the playback time interval set by the playback time interval setting unit 16.
  • the audio data reproduction time interval L01 corresponding to ID01 the audio data reproduction time interval L04 corresponding to ID04, and the audio data reproduction time interval L05 corresponding to ID05. And are set.
  • a reproduction time interval L02 of audio data corresponding to ID02 is set.
  • a reproduction time interval L03 of audio data corresponding to ID03 is set. Further, these reproduction time intervals L01 to L05 are set to time intervals having a larger margin value than the remaining time intervals in the future time interval T.
  • the unit time interval ⁇ for calculating the path may be a value equal to or shorter than the reproduction time of the audio data with the shortest reproduction time among the audio data to be reproduced, and is not limited to 500 ms.
  • the playback time interval setting unit 16 uses the time constraint information acquired by the time constraint information acquisition unit 14 in steps ST31 to ST34 in FIG. 7 before calculating the path in step ST51 in FIG. It is also possible to set a unit time interval ⁇ corresponding to the reproduction time of the audio data.
  • the playback time section setting unit 16 replaces the evaluation values of all the paths among the paths corresponding to the individual audio data with steps ST52 to ST55 in FIG.
  • the evaluation value may be calculated. For example, by removing unnecessary paths from the evaluation value calculation target by so-called “DP (Dynamic Programming) matching”, it is possible to speed up the evaluation value calculation process by the reproduction time interval setting unit 16.
  • DP Dynamic Programming
  • the evaluation value at each time calculated by the reproduction time section setting unit 16 in step ST53 of FIG. 12 is a value such that the accumulated evaluation value increases as the path for reproducing the audio data in the time section where the user's margin is large. If it is good. That is, the reference value is not limited to 1, and may be a value that is different for each ID of audio data corresponding to the path, or may be a value that is different for each time. Further, the calculation of the margin value is not limited to multiplication of the reference value and the margin value, and for example, addition may be performed.
  • the first margin value, the second margin value, and the margin value are set so that the user can afford to listen to the voice reproduced by the in-vehicle information system 200, or the user enters the in-vehicle Any value may be set as long as there is room for listening to the sound reproduced by the information system 200, and the value is not limited to a real value from 0 to 1.
  • the margin value may be calculated by addition or the like instead of multiplying both values according to the setting of the first margin value and the second margin value.
  • the voice guidance control device 100 may repeatedly execute the processing of steps ST1 to ST4 shown in FIG. 4 at a predetermined time interval (for example, every 100 seconds).
  • the voice guidance control device 100 performs a process of extracting feature amounts indicating the user's state (steps ST11 to ST14 in FIG. 5) and a process of acquiring information from the in-vehicle information device 21 (steps ST16 to ST22 in FIG. 5). It is executed at predetermined time intervals, and only after the calculation of the margin value is performed (steps ST15, ST23, ST24 in FIG. 5 and steps ST2 to 4 in FIG. 4) when the feature value or information changes. There may be.
  • the voice guidance control device 100 executes the processing of steps ST1 to ST4 in FIG.
  • the vehicle-mounted information device 21 may be controlled so that the travel route with the largest cumulative evaluation value E i is displayed on the display device 25 as the recommended route.
  • the voice guidance control device 100 executes the processing of steps ST1 to ST4 for each travel route even when the in-vehicle information device 21 re-searches the travel route while the host vehicle is traveling, and sums the accumulated evaluation values E i .
  • the in-vehicle information device 21 may be controlled so as to reroute to the travel route having the largest value.
  • the voice guidance by the in-vehicle information system 200 is not limited to the guidance of the travel route, the guidance of the weather forecast information, the guidance of the road traffic information, and the guidance of the news information.
  • the in-vehicle information system 200 may guide the switching timing from automatic driving to manual driving by voice.
  • the voice guidance control device 100 reproduces a voice prompting the switching from the automatic operation to the manual operation, and can smoothly shift from the automatic operation to the manual operation.
  • the voice guidance control device 100 may be configured by an ECU (Electronic Control Unit) provided in the host vehicle separately from the in-vehicle information device 21, or configured by a server provided outside the host vehicle. But it ’s okay.
  • the in-vehicle information system 200 includes a wireless communication device (not shown), information indicating output signals of the microphone 1, the camera 2, the brain wave sensor 3, and the heart rate sensor 4, and in-vehicle information.
  • the route information, the vehicle position information, the vehicle speed information, the intersection position information, the traffic signal position information, the blinking interval information, the traffic jam information, and the time constraint information generated by the device 21 are transmitted to the server.
  • the in-vehicle information device 21 outputs audio data to the audio output device 26 based on the reproduction time interval indicated by the information received by the wireless communication device from the server.
  • the voice guidance control device 100 may be provided in the in-vehicle information system 200.
  • the voice guidance control device 100 may be configured integrally with the in-vehicle information device 21 or may be configured by a portable information terminal such as a smartphone or a tablet computer brought into the host vehicle. .
  • the control target of the voice guidance control device 100 is not limited to the in-vehicle information system 200.
  • the voice guidance control device 100 can be used to control any system as long as it is a system that provides voice guidance.
  • the second margin value calculation unit 11 includes information indicating the operation history of the home appliance by the user, and the currently set operation mode of the home appliance. Is obtained from the system, and the second margin value is calculated using the information.
  • the second margin value calculation unit 11 shows information indicating the operation mode of the elevator and a value obtained by checking the elevator. Information or the like is acquired from the system, and the second margin value is calculated using the information.
  • the voice guidance control apparatus 100 includes the margin value calculation unit 13 that calculates the margin value value of the user in the future time section T, and a plurality of playback targets to be reproduced in the future time section T.
  • a time constraint information acquisition unit 14 that acquires time constraint information indicating a time interval in which the audio data of the future time interval T can be reproduced, and the time constraint information, Using the reproduction candidate time interval setting unit 15 that sets the reproduction candidate time intervals Lc1 to Lc3, which are candidates for the time interval for reproducing the audio data, for each one or a plurality of audio data, and the margin value,
  • a reproduction time interval setting unit 16 that sets reproduction time intervals L01 to L05, which are time intervals for actually reproducing audio data, of the time intervals Lc1 to Lc3, for each audio data; Provided.
  • the margin value calculation unit 13 uses the feature amount indicating the user's state to calculate the first margin value calculation unit 10 that calculates the first margin value in the future time section T, and the voice guidance control device 100.
  • a second margin value calculation unit 11 that calculates a second margin value in the future time section T using information obtained from the system to be controlled (vehicle-mounted information system 200), the first margin value and the first margin value
  • a margin value multiplication unit 12 for calculating a margin value by multiplication with two margin values.
  • FIG. FIG. 15 is a block diagram showing the main parts of the voice guidance control device and the in-vehicle information system according to Embodiment 2 of the present invention.
  • voice guidance control apparatus 100 according to the second embodiment will be described focusing on an example in which in-vehicle information system 200 is a control target.
  • symbol is attached
  • the hardware configuration of the voice guidance control apparatus 100 according to the second embodiment is the same as that described with reference to FIGS. 2 and 3 in the first embodiment, and thus illustration and description thereof are omitted.
  • the voice guidance control device 100 has a margin duration section calculator 17.
  • a reference value to be compared with the margin value calculated by the margin value calculator 13 is set in advance.
  • the margin duration section calculator 17 calculates a time section (hereinafter referred to as “margin duration section”) in which the margin value in the future time section continuously exceeds the reference value.
  • the reproduction candidate time interval setting unit 15 sets a reproduction candidate time interval from the margin duration time intervals calculated by the margin duration time interval calculation unit 17.
  • the playback time section setting unit 16 has a function of excluding a part of the audio data to be played back in the future time section from the playback target and setting the playback time section only for the remaining sound data. is doing. In this way, the voice guidance control device 100 is configured.
  • step ST61 the margin value calculation unit 13 calculates the margin value of the user in the future time section. Since the detailed processing content of step ST61 is the same as that described with reference to FIGS. 5 and 6 in the first embodiment, the description thereof is omitted.
  • the margin duration section calculating unit 17 compares the margin value calculated by the margin value calculation unit 13 in step ST61 with a reference value, and determines a margin duration section in the future time section. calculate.
  • FIG. 17 shows an example of a margin duration time section. As shown in FIG. 17, the reference value is set to 0.5, and the margin duration section 17 calculates two margin duration sections ⁇ L1 and ⁇ L2.
  • step ST63 the time constraint information acquisition unit 14 acquires time constraint information of audio data to be reproduced in the future time section. Since the detailed processing content of step ST63 is the same as that described with reference to FIGS. 7 and 8 in the first embodiment, the description thereof is omitted.
  • step ST64 the reproduction candidate time interval setting unit 15 sets a reproduction candidate time interval in the future time interval using the time constraint information acquired by the time constraint information acquisition unit 14 in step ST63.
  • the reproduction candidate time interval setting unit 15 sets a reproduction candidate time interval from the margin duration time intervals calculated by the margin duration time interval calculation unit 17 in step ST62.
  • FIG. 18 shows the detailed processing contents of step ST64.
  • the reproduction candidate time interval setting unit 15 acquires the time constraint information acquired by the time constraint information acquisition unit 14 in step ST63 of FIG. 16 from the time constraint information acquisition unit 14.
  • the reproduction candidate time interval setting unit 15 reproducible time intervals of each audio data indicated by the time constraint information in each margin duration time interval calculated by the margin duration time interval calculation unit 17 in step ST62.
  • a process of collecting time intervals in which the same audio data can be reproduced as one reproduction candidate time interval is executed.
  • a reproduction candidate time interval for each of one or a plurality of audio data is set.
  • the audio data reproducible time interval corresponding to IDs 01 to 05 and the margin duration time intervals ⁇ L1 and ⁇ L2 similar to those in the first embodiment are illustrated in FIG.
  • the time intervals in which the same audio data can be reproduced in each margin duration time interval ⁇ L1, ⁇ L2 are summarized as one reproduction candidate time interval as shown in FIG.
  • the reproduction candidate time interval setting unit 15 is within the margin continuation time interval ⁇ L1 and corresponds to the reproduction candidate time interval Lc4 corresponding to the three audio data ID01, 04, 05, and within the margin continuation time interval ⁇ L2.
  • step ST65 of FIG. 16 uses the margin value calculated by the margin value calculation unit 13 in step ST61, and the reproduction candidate time segment setting unit 15 sets in step ST64.
  • a playback time section is set among the playback candidate time sections.
  • Detailed processing contents by the playback time interval setting unit 16 are the same as those described with reference to FIGS. 12 to 14 in the first embodiment, and thus description thereof is omitted.
  • the total time of the margin duration section calculated in step ST62 may be shorter than the total playback time of all audio data to be played back in the future time section.
  • the reproduction time interval setting unit 16 sets the reproduction time interval of each audio data (step ST56 in FIG. 12)
  • the reproduction time intervals of the respective audio data are set even if the reproduction time interval of each audio data is set based on any path. Will overlap. Therefore, when setting the playback time interval in step ST56, the playback time interval setting unit 16 excludes some of the audio data from the playback target and sets the reproducible time interval only for the remaining audio data.
  • the total time of the margin duration period is short, it is possible to avoid a situation in which a plurality of types of sounds are reproduced simultaneously and the user cannot hear the contents of each sound.
  • the playback time section setting unit 16 has a priority set for each ID of the audio data, and even when a part of the audio data is excluded from the reproduction target, the lower priority is excluded. good.
  • voice data that guides a travel route or road traffic information has a higher priority than voice data that guides weather forecast information or news information.
  • the voice data for guiding the travel route the voice data for guiding the same intersection or facility a plurality of times is set such that the first and last voice data have higher priority than the middle voice data.
  • the priority of the audio data of ID02, 05 is lower than the audio data of ID01, 03, 04.
  • FIG. 21 shows an example of the playback time interval set by the playback time interval setting unit 16.
  • a reproduction time interval L01 of audio data corresponding to ID01 and a reproduction time interval L04 of audio data corresponding to ID04 are set in the reproduction candidate time interval Lc4.
  • a reproduction time interval L03 of audio data corresponding to ID03 is set.
  • the audio data with IDs 02 and 05 are excluded from the reproduction target, and no reproduction time section is set.
  • the reproduction candidate time interval As described above, by setting the reproduction candidate time interval from the margin duration time interval, it is possible to reliably prevent the audio from being reproduced when the user's margin is small.
  • the host vehicle is a vehicle that supports both automatic driving and manual driving
  • the switching from automatic driving to manual driving is guided by voice during the margin duration time section, so that the margin is large (that is, concentration on driving). It is also possible to urge the user to switch to manual driving while awakening the user to a state suitable for manual driving.
  • the playback time interval setting unit 16 sets the reference value of the evaluation value to be different for each audio data ID, and uses the audio data with a small cumulative evaluation value. You may exclude from reproduction
  • voice guidance control device 100 of the second embodiment can employ various modifications similar to those described in the first embodiment.
  • the voice guidance control apparatus 100 has a margin for calculating the margin duration sections ⁇ L1 and ⁇ L2 that are time sections in which the margin value continuously exceeds the reference value in the future time section T.
  • a duration time section calculating unit 17 is provided, and the playback candidate time section setting unit 15 sets playback candidate time sections Lc4 to Lc6 from the margin duration time sections ⁇ L1 and ⁇ L2.
  • the reproduction time interval setting unit 16 excludes some audio data from the reproduction target and sets the reproduction time intervals L01, L03, and L04 in the remaining audio data. Thereby, even when the total time of the margin duration time sections ⁇ L1 and ⁇ L2 is short, it is possible to avoid a situation in which a plurality of types of sounds are reproduced simultaneously and the user cannot hear the contents of each sound.
  • the voice guidance control device of the present invention can be used for voice guidance by various systems such as an in-vehicle information system, a home appliance system, or an elevator maintenance management system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

音声案内制御装置(100)は、未来時間区間におけるユーザの余裕度値を算出する余裕度値算出部(13)と、未来時間区間にて再生対象となる複数の音声データのそれぞれについて、未来時間区間のうちの音声データを再生可能な時間区間を示す時間制約情報を取得する時間制約情報取得部(14)と、時間制約情報を用いて、未来時間区間のうちの音声データを再生する時間区間の候補である再生候補時間区間を、1つ又は複数の音声データごとに設定する再生候補時間区間設定部(15)と、余裕度値を用いて、再生候補時間区間のうちの実際に音声データを再生する時間区間である再生時間区間を、個々の音声データごとに設定する再生時間区間設定部(16)とを備える。

Description

音声案内制御装置及び音声案内制御方法
 本発明は、ユーザに対する音声案内を制御する音声案内制御装置及び音声案内制御方法に関する。
 従来、スピーカなどが出力した音声によりユーザに情報を提供する、いわゆる「音声案内」が普及している。音声案内による情報提供は、液晶ディスプレイなどの画面表示による情報提供と異なり、ユーザが画面を見る必要がない。このため、例えば車両の運転中、家電の操作中又は昇降機の点検中など、何らかの作業によりユーザの動作及び視線運動が制限された状況における情報提供に有用である。
 従来の音声案内は、ユーザが当該音声案内の音声を聞く余裕があるか否かを判定せずに音声を再生していた。このため、音声を再生するタイミングによっては、ユーザが音声を聞き逃して案内の内容を理解できなかったり、案内の内容を理解するために作業への集中度が低下して作業の妨げになったりする問題があった。
 このような問題に対し、ユーザの負荷を判断して音声案内のスケジューリングを行う技術が開発されている。例えば、特許文献1の情報提示制御装置は、将来の車両の走行位置の推定値に基づいて、運転者の運転状態と情報の評価値から、最適なタイミング及び順序で情報の提示を制御するようにしている。
特開2000-55691号公報
 特許文献1の情報提示制御装置は、提示対象となるデータが複数ある場合、データの並び替えを行い、各々の並びに対する評価値を算出する。このとき、並びに含まれる複数のデータを連続して再生するものとして評価値を算出している(特許文献1の段落[0025]~[0027]等参照)。
 すなわち、特許文献1の情報提示制御装置は、複数のデータの提示順と、これらのデータ全体を提示するタイミングとを制御するものであり、個々のデータを提示するタイミングについては制御していない。このため、仮に並び全体の提示タイミングとして最適なタイミングを制御したとしても、このうち一部のデータはユーザの負荷が高いタイミングで提示されるなど、個々のデータについては提示タイミングが不適切なものとなる問題があった。
 本発明は、上記のような課題を解決するためになされたものであり、案内対象となる複数の音声データがある場合に、ユーザの余裕度に応じて個々の音声データの再生タイミングを制御することができる音声案内制御装置及び音声案内制御方法を提供することを目的とする。
 本発明の音声案内制御装置は、未来時間区間におけるユーザの余裕度値を算出する余裕度値算出部と、未来時間区間にて再生対象となる複数の音声データのそれぞれについて、未来時間区間のうちの音声データを再生可能な時間区間を示す時間制約情報を取得する時間制約情報取得部と、時間制約情報を用いて、未来時間区間のうちの音声データを再生する時間区間の候補である再生候補時間区間を、1つ又は複数の音声データごとに設定する再生候補時間区間設定部と、余裕度値を用いて、再生候補時間区間のうちの実際に音声データを再生する時間区間である再生時間区間を、個々の音声データごとに設定する再生時間区間設定部とを備えるものである。
 本発明の音声案内制御方法は、余裕度値算出部が、未来時間区間におけるユーザの余裕度値を算出するステップと、時間制約情報取得部が、未来時間区間にて再生対象となる複数の音声データのそれぞれについて、未来時間区間のうちの音声データを再生可能な時間区間を示す時間制約情報を取得するステップと、再生候補時間区間設定部が、時間制約情報を用いて、未来時間区間のうちの音声データを再生する時間区間の候補である再生候補時間区間を、1つ又は複数の音声データごとに設定するステップと、再生時間区間設定部が、余裕度値を用いて、再生候補時間区間のうちの実際に音声データを再生する時間区間である再生時間区間を、個々の音声データごとに設定するステップとを備えるものである。
 本発明の音声案内制御装置及び音声案内制御方法は、案内対象となる複数の音声データがある場合に、ユーザの余裕度に応じて個々の音声データの再生タイミングを制御することができる。
本発明の実施の形態1に係る音声案内制御装置及び車載情報システムの要部を示すブロック図である。 本発明の実施の形態1に係る音声案内制御装置の要部を示すハードウェア構成図である。 本発明の実施の形態1に係る音声案内制御装置の要部を示す他のハードウェア構成図である。 本発明の実施の形態1に係る音声案内制御装置の動作を示すフローチャートである。 本発明の実施の形態1に係る余裕度値算出部の詳細な動作を示すフローチャートである。 本発明の実施の形態1に係る余裕度値算出部が算出した余裕度値を示す特性図である。 本発明の実施の形態1に係る時間制約情報取得部の詳細な動作を示すフローチャートである。 本発明の実施の形態1に係る時間制約情報取得部が取得した時間制約情報を示す説明図である。 本発明の実施の形態1に係る再生候補時間区間設定部の詳細な動作を示すフローチャートである。 本発明の実施の形態1に係る各音声データの再生可能時間区間を示す説明図である。 本発明の実施の形態1に係る再生候補時間区間設定部が設定した再生候補時間区間を示す説明図である。 本発明の実施の形態1に係る再生時間区間設定部の詳細な動作を示すフローチャートである。 本発明の実施の形態1に係る再生時間区間設定部が算出したパスを示す説明図である。 本発明の実施の形態1に係る再生時間区間設定部が設定した再生時間区間を示す説明図である。 本発明の実施の形態2に係る音声案内制御装置及び車載情報システムの要部を示すブロック図である。 本発明の実施の形態2に係る音声案内制御装置の動作を示すフローチャートである。 本発明の実施の形態2に係る余裕継続時間区間算出部が算出した余裕継続時間区間を示す説明図である。 本発明の実施の形態2に係る再生候補時間区間設定部の詳細な動作を示すフローチャートである。 本発明の実施の形態2に係る各音声データの再生可能時間区間を示す説明図である。 本発明の実施の形態2に係る再生候補時間区間設定部が設定した再生候補時間区間を示す説明図である。 本発明の実施の形態2に係る再生時間区間設定部が設定した再生時間区間を示す説明図である。
 以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
 図1は、本発明の実施の形態1に係る音声案内制御装置及び車載情報システムの要部を示すブロック図である。図2は、本発明の実施の形態1に係る音声案内制御装置の要部を示すハードウェア構成図である。図3は、本発明の実施の形態1に係る音声案内制御装置の要部を示す他のハードウェア構成図である。図1~図3を参照して、実施の形態1の音声案内制御装置100について、車載情報システム200を制御対象とした例を中心に説明する。
 まず、車載情報システム200について説明する。
 車載情報機器21は、GPS(Global Positioning System)受信機22が図示しないGPS衛星から受信したGPS信号を用いて、車載情報システム200を搭載した車両(以下「自車両」という。)の現在位置を算出するものである。車載情報機器21は、地図情報記憶部23に記憶された地図情報を用いて、自車両の現在位置から、操作入力装置24の操作により設定された目的地までの走行経路を検索するものである。車載情報機器21は、検索結果の中から案内対象の走行経路を選択し、当該走行経路を案内する各種画像データを表示装置25に出力するとともに、当該走行経路を案内する各種音声データを音声出力装置26に出力するものである。
 また、車載情報機器21は、道路交通情報記憶部27に記憶された道路交通情報を取得して、当該道路交通情報を案内する音声データを音声出力装置26に出力するものである。車載情報機器21は、天気予報情報記憶部28に記憶された天気予報情報を取得して、当該天気予報情報を案内する音声データを音声出力装置26に出力するものである。車載情報機器21は、ニュース情報記憶部29に記憶されたニュース情報を取得して、当該ニュース情報を案内する音声データを音声出力装置26に出力するものである。
 操作入力装置24は、例えば、タッチパネル又は物理ボタンにより構成されており、自車両の運転者(以下「ユーザ」という。)及び助手席の搭乗者による操作の入力を受け付けるものである。表示装置25は、例えば、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ、プラズマディスプレイ又はブラウン管ディスプレイにより構成されており、車載情報機器21から入力された画像データを画像として表示するものである。音声出力装置26は、例えば、スピーカ、ヘッドホン又はイヤホンにより構成されており、車載情報機器21から入力された音声データを音声として出力するものである。
 地図情報記憶部23、道路交通情報記憶部27、天気予報情報記憶部28及びニュース情報記憶部29により、記憶装置30が構成されている。記憶装置30は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)若しくはEEPROM(Electrically Erasable Programmable Read-Only Memory)その他の半導体メモリ、ハードディスクドライブ、フレキシブルディスク、光ディスク又は光磁気ディスクなどにより構成されている。
 ここで、車載情報機器21は、自車両の走行経路を示す情報(以下「経路情報」という。)と、自車両の現在位置を示す情報(以下「自車位置情報」という。)とを音声案内制御装置100に出力する機能を有している。車載情報機器21は、車輪速センサ31の出力信号を用いて自車両の走行速度を算出し、この走行速度を示す情報(以下「車速情報」という。)を音声案内制御装置100に出力する機能を有している。
 また、車載情報機器21は、地図情報記憶部23に記憶された地図情報などを用いて、自車両の走行経路上にある交差点の位置を示す情報(以下「交差点位置情報」という。)と、自車両の走行経路上にある信号機の位置を示す情報(以下「信号機位置情報」という。)とを生成し、音声案内制御装置100に出力する機能を有している。また、車載情報機器21は、道路交通情報記憶部27に記憶された道路交通情報などを用いて、自車両の走行経路上にある信号機の点滅間隔を示す情報(以下「点滅間隔情報」という。)と、自車両の走行経路上で発生している交通渋滞を示す情報(以下「渋滞情報」という。)とを生成し、音声案内制御装置100に出力する機能を有している。
 さらに、車載情報機器21が音声出力装置26に出力する音声データ、すなわち車載情報システム200による再生対象となる音声データには、それぞれ固有の識別子(以下「ID」という。)が割り当てられている。車載情報機器21は、現在時刻に対する未来の時間区間(以下「未来時間区間」という。)にて再生対象となる音声データのそれぞれについて、当該音声データのIDと、当該音声データの再生時間と、未来時間区間における当該音声データを再生可能な時間区間(以下「再生可能時間区間」という。)とを示す情報(以下「時間制約情報」という。)を生成して、音声案内制御装置100に出力する機能を有している。ここで、音声データの「再生時間」とは、当該音声データに対応する音声の再生に要する時間のみならず、当該時間の前後に効果音又は無音などに対応する時間を付加したものであっても良い。
 車載情報機器21、GPS受信機22、操作入力装置24、表示装置25、音声出力装置26、記憶装置30及び車輪速センサ31により、車載情報システム200が構成されている。
 次に、音声案内制御装置100について説明する。
 自車両には、ユーザを含む自車両の搭乗者が発した音声の入力を受け付けるマイク1と、ユーザの上半身又は全身を撮影するカメラ2とが設けられている。ユーザの身体には、ユーザの脳波を検出する脳波センサ3と、ユーザの心拍を検出する心拍センサ4とが取り付けられている。
 第1余裕度値算出部10は、マイク1の出力信号を用いて、ユーザを含む自車両の搭乗者が発した音声の特徴量を抽出するものである。第1余裕度値算出部10は、カメラ2の出力信号を用いて、ユーザを撮影した画像の特徴量を抽出するものである。第1余裕度値算出部10は、脳波センサ3の出力信号を用いて、ユーザの脳波の特徴量を抽出するものである。第1余裕度値算出部10は、心拍センサ4の出力信号を用いて、ユーザの心拍の特徴量を抽出するものである。
 第1余裕度値算出部10は、抽出した特徴量を用いて、未来時間区間におけるユーザの余裕度を示す値(以下「第1余裕度値」という。)を算出するものである。第1余裕度値は、例えば0から1までの実数値であり、ユーザが車載情報システム200により再生された音声を聞く余裕があるほど大きくなるように設定されている。
 第2余裕度値算出部11は、車載情報機器21から経路情報、自車位置情報、車速情報、交差点位置情報、信号機位置情報、点滅間隔情報及び渋滞情報を取得するものである。第2余裕度値算出部11は、車載情報機器21から取得した情報を用いて、未来時間区間におけるユーザの余裕度を示す値(以下「第2余裕度値」という。)を算出するものである。第2余裕度値は、第1余裕度値と同様の0から1までの実数値であり、ユーザが車載情報システム200により再生された音声を聞く余裕があるほど大きくなるように設定されている。
 余裕度値乗算部12は、第1余裕度値算出部10が算出した第1余裕度値と、第2余裕度値算出部11が算出した第2余裕度値とを乗算するものである。すなわち、この乗算による積の値(以下「余裕度値」という。)は、ユーザの状態を示す各種特徴量と、車載情報システム200から得られた各種情報とに基づき推定された、将来におけるユーザの余裕度を示している。余裕度値は、時間に対する余裕度値を示す特性図における特性線として表すことができる。
 第1余裕度値算出部10、第2余裕度値算出部11及び余裕度値乗算部12により、余裕度値算出部13が構成されている。余裕度値算出部13による処理の詳細については、図5及び図6を参照して後述する。
 時間制約情報取得部14は、車載情報機器21から、未来時間区間にて再生対象となる音声データの時間制約情報を取得するものである。時間制約情報取得部14による処理の詳細については、図7及び図8を参照して後述する。
 再生候補時間区間設定部15は、時間制約情報取得部14が取得した時間制約情報を用いて、未来時間区間のうちの音声データを再生する時間区間の候補(以下「再生候補時間区間」という。)を設定するものである。ここで、未来時間区間にて再生対象となる音声データが複数ある場合、再生候補時間区間設定部15は、1つ又は複数の音声データごとに再生候補時間区間を設定するようになっている。再生候補時間区間設定部15による処理の詳細については、図9~図11を参照して後述する。
 再生時間区間設定部16は、余裕度値算出部13が算出した余裕度値を用いて、再生候補時間区間設定部15が設定した再生候補時間区間のうちの実際に音声データを再生する時間区間(以下「再生時間区間」という。)を設定するものである。ここで、未来時間区間にて再生対象となる音声データが複数ある場合、再生時間区間設定部16は、個々の音声データごとに再生時間区間を設定するようになっている。再生時間区間設定部16による処理の詳細については、図12~図14を参照して後述する。
 再生時間区間設定部16は、再生時間区間を示す情報を車載情報機器21に出力する機能を有している。車載情報機器21は、再生時間区間設定部16から入力された情報が示す再生時間区間に、当該再生時間区間に対応する音声データを音声出力装置26に出力するようになっている。
 余裕度値算出部13、時間制約情報取得部14、再生候補時間区間設定部15及び再生時間区間設定部16により、音声案内制御装置100が構成されている。
 図2に、音声案内制御装置100のハードウェア構成の一例を示す。図2に示す如く、音声案内制御装置100はコンピュータにより構成されており、プロセッサ40及びメモリ41を有している。メモリ41には、当該コンピュータを、図1に示す余裕度値算出部13、時間制約情報取得部14、再生候補時間区間設定部15及び再生時間区間設定部16として機能させるためのプログラムが記憶されている。プロセッサ40は、メモリ41に記憶されたプログラムを読み出して実行するものである。
 または、図3に示す如く、音声案内制御装置100は専用の処理回路42により構成されている。処理回路42は、例えば、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)若しくはシステムLSI(Large-Scale Integration)又はこれらを組み合わせたものである。なお、図1に示す余裕度値算出部13、時間制約情報取得部14、再生候補時間区間設定部15及び再生時間区間設定部16の各部の機能それぞれを処理回路で実現しても良いし、各部の機能をまとめて処理回路で実現しても良い。
 または、図1に示す余裕度値算出部13、時間制約情報取得部14、再生候補時間区間設定部15及び再生時間区間設定部16のうちの一部の機能を図2に示すプロセッサ40及びメモリ41により実現し、残余の機能を図3に示す処理回路42により実現したものであっても良い。
 次に、図4のフローチャートを参照して、音声案内制御装置100の動作について説明する。
 まず、ステップST1にて、余裕度値算出部13は、未来時間区間におけるユーザの余裕度値を算出する。次いで、ステップST2にて、時間制約情報取得部14は、未来時間区間にて再生対象となる音声データの時間制約情報を取得する。次いで、ステップST3にて、再生候補時間区間設定部15は、ステップST2で時間制約情報取得部14が取得した時間制約情報を用いて、未来時間区間のうちの再生候補時間区間を設定する。次いで、ステップST4にて、再生時間区間設定部16は、ステップST1で余裕度値算出部13が算出した余裕度値を用いて、ステップST3で再生候補時間区間設定部15が設定した再生候補時間区間のうちの再生時間区間を設定する。
 ステップST4の後、再生時間区間設定部16は、ステップST4で設定した再生時間区間を示す情報を車載情報機器21に出力する。車載情報機器21は、再生時間区間設定部16から入力された情報が示す再生時間区間に、当該再生時間区間に対応する音声データを音声出力装置26に出力する。
 次に、図5及び図6を参照して、余裕度値算出部13による処理(図4のステップST1)の詳細について説明する。
 図5は、余裕度値算出部13の詳細な動作を示すフローチャートである。まず、ステップST11にて、第1余裕度値算出部10は、マイク1の出力信号を用いて、ユーザを含む自車両の搭乗者が発した音声の特徴量を抽出する。ステップST12にて、第1余裕度値算出部10は、カメラ2の出力信号を用いて、ユーザを撮影した画像の特徴量を抽出する。ステップST13にて、第1余裕度値算出部10は、脳波センサ3の出力信号を用いて、ユーザの脳波の特徴量を抽出する。ステップST14にて、第1余裕度値算出部10は、心拍センサ4の出力信号を用いて、ユーザの心拍の特徴量を抽出する。
 次いで、ステップST15にて、第1余裕度値算出部10は、ステップST11~ST14で抽出した特徴量を用いて、未来時間区間の各時刻における第1余裕度値を算出する。具体的には、例えば、以下のような処理を実行する。
 すなわち、第1余裕度値算出部10には、各時刻における第1余裕度値の初期値(例えば0.5の一定値)が予め設定されている。第1余裕度値算出部10は、ステップST11で抽出した音声の特徴量を用いて、当該音声に対する音声認識処理を実行する。第1余裕度値算出部10は、いわゆる「パターン認識」などの音声認識処理により、ユーザの発話頻度を検出する。第1余裕度値算出部10は、ユーザの発話頻度が低いほど第1余裕度値を大きくし、発話頻度が高いほど第1余裕度値を小さくする。
 また、第1余裕度値算出部10は、同様の音声認識処理により、ユーザと他の搭乗者との会話の流れを検出する。第1余裕度値算出部10は、会話が間もなく終了する流れであれば第1余裕度値を大きくし、会話が今後も継続する流れであれば第1余裕度値を小さくする。
 また、第1余裕度値算出部10は、ステップST12で抽出した画像の特徴量を用いて、当該画像に対する画像認識処理を実行する。第1余裕度値算出部10は、パターン認識などの画像認識処理により、ユーザの表情又は仕草を検出する。第1余裕度値算出部10は、ユーザが運転に集中しているときの表情又は仕草を記憶しており、検出した表情又は仕草が記憶された表情又は仕草に該当する場合は第1余裕度値を小さくし、該当しない場合は第1余裕度値を大きくする。
 また、第1余裕度値算出部10は、ステップST13にてユーザの心拍数を特徴量として抽出する。第1余裕度値算出部10は、心拍数の値との比較対象となる閾値が設定されており、心拍数の値が閾値よりも小さい場合は第1余裕度値を大きくし、心拍数の値が閾値よりも大きい場合は第1余裕度値を小さくする。
 また、第1余裕度値算出部10は、ステップST14にてユーザの脳波に含まれるアルファ波を特徴量として抽出する。第1余裕度値算出部10は、アルファ波の値との比較対象となる閾値が設定されており、アルファ波の値が閾値よりも大きい場合は第1余裕度値を大きくし、アルファ波の値が閾値よりも小さい場合は第1余裕度値を小さくする。
 第1余裕度値算出部10は、これらの処理結果を総合して、未来時間区間の各時刻における第1余裕度値を算出する。なお、これらの処理はいわゆる「ルールベース」によるものでも良く、いわゆる「機械学習」によるものでも良い。すなわち、音声認識処理又は画像認識処理にて認識対象となるパターンは、所定のルールに従い予め設定されたものでも良く、過去の処理内容に応じて第1余裕度値算出部10が学習したものであっても良い。また、心拍又は脳波の特徴量との比較対象となる閾値は、所定のルールに従い予め設定されたものでも良く、第1余裕度値算出部10が学習結果に基づき動的に設定するものであっても良い。
 また、音声認識処理はパターン認識に限定されるものではなく、公知の如何なる音声認識処理を用いたものでも良い(例えば、古井貞煕『音声情報処理』森北出版、1998年、pp.79-132参照)。同様に、画像認識処理はパターン認識に限定されるものではなく、公知の如何なる画像認識処理を用いたものでも良い(例えば、谷口慶治編『画像処理工学――基礎編』共立出版、1996年、pp.133-159参照)。
 次いで、ステップST16にて、第2余裕度値算出部11は、車載情報機器21から経路情報を取得する。以下同様に、第2余裕度値算出部11は、ステップST17にて自車位置情報を取得し、ステップST18にて車速情報を取得し、ステップST19にて交差点位置情報を取得し、ステップST20にて信号機位置情報を取得し、ステップST21にて点滅間隔情報を取得し、ステップST22にて渋滞情報を取得する。
 次いで、ステップST23にて、第2余裕度値算出部11は、ステップST16~ST22で取得した情報を用いて、未来時間区間の各時刻における第2余裕度値を算出する。具体的には、例えば、以下のような処理を実行する。
 すなわち、第2余裕度値算出部11には、各時刻における第2余裕度値の初期値(例えば0.5の一定値)が予め設定されている。第2余裕度値算出部11は、経路情報、自車位置情報及び車速情報を用いて、未来時間区間の各時刻における自車両の位置を予測する。第2余裕度値算出部11は、交差点位置情報を用いて、自車両が交差点を通過する時間区間は第2余裕度値を小さくする。また、第2余裕度値算出部11は、信号機位置情報及び点滅間隔情報を用いて、自車両が点滅間隔の短い信号機に接近する時間区間は第2余裕度値を小さくする。
 第2余裕度値算出部11は、これらの処理結果を総合して、未来時間区間の各時刻における第2余裕度値を算出する。なお、これらの処理はルールベースによるものでも良く、機械学習によるものでも良い。すなわち、各時刻における自車両の位置の予測は、予め設定されたルールに従い予測するものでもよく、第2余裕度値算出部11が過去の走行履歴から学習した内容を加味して予測するものでも良い。また、各時間区間において所定のルールに基づき第2余裕度値を補正するものでも良く、第2余裕度値算出部11が学習結果に応じて当該補正を行うか否かを判定したり、当該補正による第2余裕度値の変更幅を変えたりするものでも良い。
 また、車載情報機器21から取得した情報を用いてユーザの余裕度を推定する処理については、種々の公知技術が存在する(例えば、特開2003-125454号公報参照)。第2余裕度値算出部11は、上記の処理に代えて又は加えて、これらの公知技術により第2余裕度値を算出するものであっても良い。
 次いで、ステップST24にて、余裕度値乗算部12は、ステップST15で第1余裕度値算出部10が算出した第1余裕度値と、ステップST23で第2余裕度値算出部11が算出した第2余裕度値とを乗算して、余裕度値を算出する。
 図6に、余裕度値算出部13が算出した余裕度値の一例を示す。図6に示す如く、未来時間区間Tは現在時刻(図中t=0)から100000ミリ秒(ms)に設定されている。図中、特性線Iが余裕度値を示しており、0から1までの実数値である。
 次に、図7及び図8を参照して、時間制約情報取得部14による処理(図4のステップST2)の詳細について説明する。
 図7は、時間制約情報取得部14の詳細な動作を示すフローチャートである。まず、ステップST31にて、時間制約情報取得部14は、車載情報機器21から、未来時間区間Tにて再生対象となる音声データのうち、走行経路を案内する音声データの時間制約情報を取得する。以下同様に、時間制約情報取得部14は、ステップST32にて天気予報情報を案内する音声データの時間制約情報を取得し、ステップST33にて道路交通情報を案内する音声データの時間制約情報を取得し、ステップST34にてニュース情報を案内する音声データの時間制約情報を取得する。
 図8に、時間制約情報取得部14が取得した時間制約情報の一例を示す。図8に示す如く、時間制約情報は、各音声データの「ID」、「再生時間」及び「再生可能時間区間」を示している。なお、図中「音声の内容」は、説明を分かりやすくするために図示したものであり、実際の時間制約情報には含まれていなくとも良い。
 ID01~03は、走行経路を案内する音声データに対応している。具体的には、交差点での左折を案内する音声データであり、自車両が交差点に近づくにつれて順次再生対象となる。この交差点は、自車両が未来時間区間Tの経過直後(現在時刻から略100秒後)に通過する予定の地点にあるため、ID01の再生可能時間区間は現在時刻(t=0)を基準として0~60000ms、ID02の再生可能時間区間は60001~80000ms、ID03の再生可能時間区間は80001~100000msに設定されている。
 ID04は、道路交通情報を案内する音声データに対応している。具体的には、自車両の走行経路上で発生している渋滞を案内する音声データである。この渋滞は、自車両が未来時間区間Tよりも後に通過する予定の地点で発生しており、案内のタイミングに特段の制約はないため、ID04の再生可能時間区間は未来時間区間Tの全体、すなわち現在時刻(t=0)を基準として0~100000msに設定されている。
 ID05は、天気予報情報を案内する音声データに対応している。具体的には、雨の予報を案内する音声データである。この予報は、未来時間区間Tよりも後(30分後)の予報であり、案内のタイミングに特段の制約はないため、ID05の再生可能時間区間は未来時間区間Tの全体、すなわち現在時刻(t=0)を基準として0~100000msに設定されている。
 なお、図8の例では、ニュース情報を案内する音声データは未来時間区間Tにおいて再生対象となっていない。
 次に、図9~図11を参照して、再生候補時間区間設定部15による処理(図4のステップST3)の詳細について説明する。
 図9は、再生候補時間区間設定部15の詳細な動作を示すフローチャートである。まず、ステップST41にて、再生候補時間区間設定部15は、時間制約情報取得部14が図7のステップST31~ST34で取得した時間制約情報を時間制約情報取得部14から取得する。次いで、ステップST42にて、再生候補時間区間設定部15は、時間制約情報が示す各音声データの再生可能時間区間に応じて、同一の音声データを再生可能な時間区間を1つの再生候補時間区間としてまとめる処理を実行する。当該処理により、1つ又は複数の音声データごとの再生候補時間区間が設定される。
 例えば、図8に示す時間制約情報において、各IDに対応する音声データの再生可能時間区間を図示すると図10のようになる。図10において、同一の音声データを再生可能な時間区間を1つの再生候補時間区間としてまとめると、図11のようになる。図11に示す如く、再生候補時間区間設定部15は、ID01,04,05の3つの音声データに対応する再生候補時間区間Lc1(t=0~60000)と、ID02,04,05の3つの音声データに対応する再生候補時間区間Lc2(t=60001~80000)と、ID03,04,05の3つの音声データに対応する再生候補時間区間Lc3(t=80001~100000)とを設定する。
 なお、図11の例では3つの再生候補時間区間Lc1~Lc3が連続しているが、時間制約情報の内容によっては、再生候補時間区間が連続せず、未来時間区間T内に再生候補時間区間とならない時間区間が生ずることもある。また、図11の例では、再生候補時間区間Lc1~Lc3がいずれも複数の音声データに対応しているが、時間制約情報の内容によっては、一部又は全部の再生候補時間区間が1つの音声データのみに対応することもある。
 次に、図12~図14を参照して、再生時間区間設定部16による処理(図4のステップST4)の詳細について説明する。
 図12は、再生時間区間設定部16の詳細な動作を示すフローチャートである。まず、ステップST51にて、再生時間区間設定部16は、図9のステップST42で再生候補時間区間設定部15が設定した各再生候補時間区間における、各音声データのパスを算出する。ここで、各音声データの「パス」とは、再生候補時間区間を所定長(例えば500ms)ごとに分割してなる単位時間区間αのそれぞれにおいて、当該音声データを再生するか否かを示す特性線により与えられる。
 図13に、再生候補時間区間Lc1におけるパスの一例を示す。図11を参照して説明したように、再生候補時間区間Lc1にて再生可能な音声データはID01,04,05に対応する3つの音声データである。このため、図13には、ID01に対応する音声データのパスP01と、ID04に対応する音声データのパスP04と、ID05に対応する音声データのパスP05とが示されている。
 図13に示すパスP01は、t=500にてID01の音声データの再生を開始し、3500ms後のt=4000にて再生を終了する状態に対応している。ID01の音声データの再生時間(3500ms)は、時間制約情報取得部14が図7のステップST31で取得した時間制約情報に示されている。再生時間区間設定部16は、ID01の音声データについて、時間制約情報を用いて、図13に示すパスP01を算出する。また、再生時間区間設定部16は、t=1000にてID01の音声データの再生を開始し、3500ms後のt=4500にて再生を終了するパスP01(不図示)を算出する。以下同様に、再生時間区間設定部16は、t=1500,2000,2500,……,56500にてID01の音声データの再生を開始し、3500ms後に再生を終了するパスP01(不図示)をそれぞれ算出する。
 同様に、再生時間区間設定部16は、図13に示す如く、t=500にてID04の音声データの再生を開始し、3000ms後のt=3500にて再生を終了するパスP04を算出する。また、再生時間区間設定部16は、t=1000,1500,2000,……,57000にてID04の音声データの再生を開始し、3000ms後に再生を終了するパスP04(不図示)をそれぞれ算出する。
 同様に、再生時間区間設定部16は、図13に示す如く、t=500にてID05の音声データの再生を開始し、3000ms後のt=3500にて再生を終了するパスP05を算出する。また、再生時間区間設定部16は、t=1000,1500,2000,……,57000にてID05の音声データの再生を開始し、3000ms後に再生を終了するパスP05(不図示)をそれぞれ算出する。
 さらに、同様に、再生時間区間設定部16は、再生候補時間区間Lc2におけるID02,04,05の音声データのパスをそれぞれ算出し、再生候補時間区間Lc3におけるID03,04,05の音声データのパスをそれぞれ算出する。
 全ての再生候補時間区間における全ての音声データのパスを算出すると、次いで、ステップST52にて、再生時間区間設定部16はいずれか1つのパスを選択する。次いで、ステップST53にて、再生時間区間設定部16は、ステップST52で選択したパスに対応する、各時刻における評価値を算出する。
 このとき、再生時間区間設定部16は、以下の式(1)により評価値e(t)を算出する。式(1)において、iは各パスに割り当てられた通し番号、idは当該パスに対応する音声データのIDの番号、tは時刻を示している。
Figure JPOXMLDOC01-appb-I000001
 ここで、時刻tにおけるgid(t)は、例えば、予め設定された基準値(例えば1)に対し、図5のステップST24で余裕度値算出部13が算出した、当該時刻tにおける余裕度値を乗じた値である。これにより、gid(t)は、時刻tにおけるユーザの余裕度が大きいほど大きい値が算出され、ユーザの余裕度が小さいほど小さい値が算出される。
 次いで、ステップST54にて、再生時間区間設定部16は、ステップST43で算出した各時刻tにおける評価値e(t)を加算する。加算後の累積評価値Eは、以下の式(2)により表される。
Figure JPOXMLDOC01-appb-I000002
 次いで、ステップST55にて、再生時間区間設定部16は、ステップST51で算出した全てのパスについて、累積評価値Eを算出したか否かを判定する。累積評価値Eを算出していないパスが存在する場合(ステップST55“NO”)、再生時間区間設定部16はステップST52の処理に戻り、累積評価値Eを未算出のパスを選択する。
 他方、全パスの累積評価値Eが算出されている場合(ステップST55“YES”)、次いで、ステップST56にて、再生時間区間設定部16は、個々の音声データごとに、当該音声データに対応するパスのうちの累積評価値Eが最も大きいパスを選択する。再生時間区間設定部16は、選択したパスに基づき、当該音声データの再生時間区間を設定する。これにより、個々の音声データごとの再生時間区間が設定される。
 なお、各音声データについて累積評価値Eが最も大きいパスをそれぞれ選択した結果、複数の音声データの再生時間区間が重なる場合がある。この場合、再生時間区間設定部16は、いずれかの音声データについて累積評価値Eが次に大きいパスを選択し直すものとしても良い。最終的に、各音声データの再生時間区間が重ならないようにパスを選択することで、複数種類の音声が同時に再生されてユーザが各音声の内容を聞き取れない状況を回避することができる。
 図14に、再生時間区間設定部16が設定した再生時間区間の一例を示す。図14に示す如く、再生候補時間区間Lc1において、ID01に対応する音声データの再生時間区間L01と、ID04に対応する音声データの再生時間区間L04と、ID05に対応する音声データの再生時間区間L05とが設定されている。再生候補時間区間Lc2において、ID02に対応する音声データの再生時間区間L02が設定されている。再生候補時間区間Lc3において、ID03に対応する音声データの再生時間区間L03が設定されている。また、これらの再生時間区間L01~L05は、未来時間区間Tにおける残余の時間区間よりも余裕度値が大きい時間区間に設定されている。
 なお、パスを算出する際の単位時間区間αは、再生対象となる音声データのうちの再生時間が最も短い音声データの再生時間以下の値であれば良く、500msに限定されるものではない。再生時間区間設定部16は、図12のステップST51にてパスを算出するより先に、時間制約情報取得部14が図7のステップST31~ST34で取得した時間制約情報を用いて、再生対象となる音声データの再生時間に応じた単位時間区間αを設定するものとしても良い。
 また、再生時間区間設定部16は、図12のステップST52~ST55にて、個々の音声データに対応するパスのうちの全てのパスの評価値を算出するのに代えて、一部のパスのみの評価値を算出するものであっても良い。例えば、いわゆる「DP(Dynamic Programming)マッチング」により不要なパスを評価値の算出対象から除外することで、再生時間区間設定部16による評価値の算出処理を高速化することができる。
 また、再生時間区間設定部16が図12のステップST53で算出する各時刻の評価値は、ユーザの余裕度が大きい時間区間にて音声データを再生するパスほど累積評価値が大きくなるような値であれば良い。すなわち、基準値は1に限定されるものではなく、パスに対応する音声データのIDごとに異なる値でも良く、時刻ごとに異なる値でも良い。また、余裕度値の算出は基準値と余裕度値との乗算に限定されるものではなく、例えば加算でも良い。
 また、第1余裕度値、第2余裕度値及び余裕度値は、ユーザが車載情報システム200により再生された音声を聞く余裕があるほど大きくなるように設定された値、又は、ユーザが車載情報システム200により再生された音声を聞く余裕があるほど小さくなるように設定された値であれば良く、0から1までの実数値に限定されるものではない。また、余裕度値は、第1余裕度値及び第2余裕度値の設定に応じて、両値の乗算に代えて加算等により算出されるものであっても良い。
 また、音声案内制御装置100は、図4に示すステップST1~ST4の処理を所定の時間間隔(例えば100秒間隔)で繰り返し実行するものであっても良い。または、音声案内制御装置100は、ユーザの状態を示す特徴量を抽出する処理(図5のステップST11~14)及び車載情報機器21から情報を取得する処理(図5のステップST16~ST22)を所定の時間間隔で実行し、特徴量又は情報が変化した場合にのみ余裕度値の算出以降の処理(図5のステップST15,ST23,ST24及び図4のステップST2~4)を実行するものであっても良い。
 また、音声案内制御装置100は、車載情報機器21による検索結果に複数の走行経路が含まれる場合、走行経路ごとに図4のステップST1~ST4の処理を実行し、案内対象となる音声データの累積評価値Eの合計値が最も大きい走行経路を推奨ルートとして表示装置25に表示させるように車載情報機器21を制御するものであっても良い。同様に、音声案内制御装置100は、自車両の走行中に車載情報機器21が走行経路を再検索した場合も走行経路ごとにステップST1~ST4の処理を実行し、累積評価値Eの合計値が最も大きい走行経路にリルートするように車載情報機器21を制御するものであっても良い。
 また、車載情報システム200による音声案内は、走行経路の案内、天気予報情報の案内、道路交通情報の案内及びニュース情報の案内に限定されるものではない。例えば、自車両が自動運転及び手動運転の両方に対応した車両である場合、車載情報システム200は、自動運転から手動運転への切り替えタイミングを音声により案内するものであっても良い。この場合、音声案内制御装置100により、ユーザの余裕度が大きいときに自動運転から手動運転への切り替えを促す音声が再生され、自動運転から手動運転にスムーズに移行することができる。
 また、音声案内制御装置100は、車載情報機器21と別体に自車両に設けたECU(Electronic Control Unit)などにより構成されたものでも良く、自車両の外部に設けたサーバにより構成されたものでも良い。音声案内制御装置100をサーバに設けた場合、車載情報システム200は図示しない無線通信装置を有し、マイク1、カメラ2、脳波センサ3及び心拍センサ4の出力信号を示す情報、並びに、車載情報機器21が生成した経路情報、自車位置情報、車速情報、交差点位置情報、信号機位置情報、点滅間隔情報、渋滞情報及び時間制約情報をサーバに送信する。また、車載情報機器21は、この無線通信装置がサーバから受信した情報が示す再生時間区間に基づき音声データを音声出力装置26に出力する。
 また、図1では音声案内制御装置100を車載情報システム200の外部に設けた例を示したが、音声案内制御装置100は車載情報システム200の内部に設けたものでも良い。この場合において、音声案内制御装置100は車載情報機器21と一体に構成されたものでも良く、又は自車両に持ち込まれたスマートフォン又はタブレットコンピュータなどの携帯情報端末により構成されたものであっても良い。
 また、音声案内制御装置100の制御対象は、車載情報システム200に限定されるものではない。音声案内制御装置100は、音声案内を行うシステムであれば如何なるシステムの制御にも用いることができる。例えば、音声案内制御装置100を炊飯器などの家電システムに用いた場合、第2余裕度値算出部11は、ユーザによる家電の操作履歴を示す情報、及び、現在設定されている家電の動作モードを示す情報などをシステムから取得し、これらの情報を用いて第2余裕度値を算出する。また、音声案内制御装置100をエレベータなどの昇降機保守管理システムに用いた場合、第2余裕度値算出部11は、昇降機の動作モードを示す情報、及び、昇降機の点検により得られた値を示す情報などをシステムから取得し、これらの情報を用いて第2余裕度値を算出する。
 以上のように、実施の形態1の音声案内制御装置100は、未来時間区間Tにおけるユーザの余裕度値を算出する余裕度値算出部13と、未来時間区間Tにて再生対象となる複数の音声データのそれぞれについて、未来時間区間Tのうちの音声データを再生可能な時間区間を示す時間制約情報を取得する時間制約情報取得部14と、時間制約情報を用いて、未来時間区間Tのうちの音声データを再生する時間区間の候補である再生候補時間区間Lc1~Lc3を、1つ又は複数の音声データごとに設定する再生候補時間区間設定部15と、余裕度値を用いて、再生候補時間区間Lc1~Lc3のうちの実際に音声データを再生する時間区間である再生時間区間L01~L05を、個々の音声データごとに設定する再生時間区間設定部16とを備える。これにより、案内対象となる複数の音声データがある場合に、ユーザの余裕度に応じて個々の音声データの再生タイミングを制御することができる。この結果、ユーザが音声案内を聞く余裕がないときに音声が再生されるのを防ぎ、ユーザが案内の内容を理解できなかったり、案内が作業の妨げになるのを防ぐことができる。
 また、余裕度値算出部13は、ユーザの状態を示す特徴量を用いて、未来時間区間Tにおける第1余裕度値を算出する第1余裕度値算出部10と、音声案内制御装置100の制御対象であるシステム(車載情報システム200)から得られた情報を用いて、未来時間区間Tにおける第2余裕度値を算出する第2余裕度値算出部11と、第1余裕度値と第2余裕度値との乗算により余裕度値を算出する余裕度値乗算部12とを備える。ユーザの状態を示す特徴量と、システム(車載情報システム200)から得られた情報との両方を用いて余裕度値を算出することで、未来時間区間Tにおけるユーザの余裕度の推定精度を向上することができる。
実施の形態2.
 図15は、本発明の実施の形態2に係る音声案内制御装置及び車載情報システムの要部を示すブロック図である。図15を参照して、実施の形態2の音声案内制御装置100について、車載情報システム200を制御対象とした例を中心に説明する。なお、図1に示す実施の形態1の音声案内制御装置100及び車載情報システム200と同様のブロックには同一符号を付して説明を省略する。また、実施の形態2に係る音声案内制御装置100のハードウェア構成は、実施の形態1にて図2及び図3を参照して説明したものと同様であるため、図示及び説明を省略する。
 音声案内制御装置100は、余裕継続時間区間算出部17を有している。余裕継続時間区間算出部17には、余裕度値算出部13が算出した余裕度値との比較対象となる基準値が予め設定されている。余裕継続時間区間算出部17は、未来時間区間のうちの余裕度値が連続して基準値を超える時間区間(以下「余裕継続時間区間」という。)を算出するものである。
 再生候補時間区間設定部15は、余裕継続時間区間算出部17が算出した余裕継続時間区間の中から再生候補時間区間を設定するようになっている。再生時間区間設定部16は、未来時間区間にて再生対象となる音声データのうちの一部の音声データを再生対象から除外して、残余の音声データのみに再生時間区間を設定する機能を有している。このようにして、音声案内制御装置100が構成されている。
 次に、図16のフローチャートを参照して、音声案内制御装置100の動作について説明する。
 まず、ステップST61にて、余裕度値算出部13は、未来時間区間におけるユーザの余裕度値を算出する。ステップST61の詳細な処理内容は、実施の形態1で図5及び図6を参照して説明したものと同様であるため、説明を省略する。
 次いで、ステップST62にて、余裕継続時間区間算出部17は、ステップST61で余裕度値算出部13が算出した余裕度値を基準値と比較して、未来時間区間のうちの余裕継続時間区間を算出する。図17に、余裕継続時間区間の一例を示す。図17に示す如く、基準値が0.5に設定されており、余裕継続時間区間算出部17は2つの余裕継続時間区間ΔL1,ΔL2を算出する。
 次いで、ステップST63にて、時間制約情報取得部14は、未来時間区間にて再生対象となる音声データの時間制約情報を取得する。ステップST63の詳細な処理内容は、実施の形態1で図7及び図8を参照して説明したものと同様であるため、説明を省略する。
 次いで、ステップST64にて、再生候補時間区間設定部15は、ステップST63で時間制約情報取得部14が取得した時間制約情報を用いて、未来時間区間における再生候補時間区間を設定する。このとき、再生候補時間区間設定部15は、ステップST62で余裕継続時間区間算出部17が算出した余裕継続時間区間の中から再生候補時間区間を設定する。
 図18に、ステップST64の詳細な処理内容を示す。まず、ステップST71にて、再生候補時間区間設定部15は、時間制約情報取得部14が図16のステップST63で取得した時間制約情報を時間制約情報取得部14から取得する。次いで、ステップST72にて、再生候補時間区間設定部15は、ステップST62で余裕継続時間区間算出部17が算出した各々の余裕継続時間区間において、時間制約情報が示す各音声データの再生可能時間区間に応じて、同一の音声データを再生可能な時間区間を1つの再生候補時間区間としてまとめる処理を実行する。当該処理により、1つ又は複数の音声データごとの再生候補時間区間が設定される。
 例えば、実施の形態1と同様のID01~05に対応する音声データの再生可能時間区間と、余裕継続時間区間ΔL1,ΔL2とを図示すると図19のようになる。図19において、各々の余裕継続時間区間ΔL1,ΔL2における同一の音声データを再生可能な時間区間を1つの再生候補時間区間としてまとめると、図20のようになる。図20に示す如く、再生候補時間区間設定部15は、余裕継続時間区間ΔL1内であってID01,04,05の3つの音声データに対応する再生候補時間区間Lc4と、余裕継続時間区間ΔL2内であってID02,04,05の3つの音声データに対応する再生候補時間区間Lc5と、余裕継続時間区間ΔL2内であってID03,04,05の3つの音声データに対応する再生候補時間区間Lc6とを設定する。
 次いで、図16のステップST65にて、再生時間区間設定部16は、ステップST61で余裕度値算出部13が算出した余裕度値を用いて、ステップST64で再生候補時間区間設定部15が設定した再生候補時間区間のうちの再生時間区間を設定する。再生時間区間設定部16による詳細な処理内容は、実施の形態1にて図12~図14を参照して説明したものと同様であるため、説明を省略する。
 ここで、例えば、ステップST62で算出された余裕継続時間区間の合計時間が、未来時間区間にて再生対象となる全ての音声データの再生時間の合計時間よりも短くなる場合があり得る。この場合、再生時間区間設定部16が各音声データの再生時間区間を設定する際(図12のステップST56)、如何なるパスに基づき各音声データの再生時間区間を設定しても当該再生時間区間同士が重なることになる。そこで、再生時間区間設定部16は、ステップST56にて再生時間区間を設定する際、一部の音声データを再生対象から除外して残余の音声データのみに再生可能時間区間を設定する。これにより、余裕継続時間区間の合計時間が短い場合であっても、複数種類の音声が同時に再生されてユーザが各音声の内容を聞き取れない状況を回避することができる。
 また、再生時間区間設定部16は、音声データのIDごとに優先度が設定されおり、一部の音声データを再生対象から除外する際は優先度がより低いものを除外するものであっても良い。具体的には、例えば、走行経路又は道路交通情報を案内する音声データは、天気予報情報又はニュース情報を案内する音声データよりも優先度が高く設定されている。また、走行経路を案内する音声データにおいて、同一の交差点又は施設を複数回案内する音声データは、最初及び最後の音声データが中間の音声データよりも優先度が高く設定されている。この場合、ID01~05の例では、ID01,03,04の音声データに対し、ID02,05の音声データの優先度が低くなる。
 図21に、再生時間区間設定部16が設定した再生時間区間の一例を示す。図21に示す如く、再生候補時間区間Lc4において、ID01に対応する音声データの再生時間区間L01と、ID04に対応する音声データの再生時間区間L04とが設定されている。再生候補時間区間Lc6において、ID03に対応する音声データの再生時間区間L03が設定されている。また、ID02,05の音声データは再生対象から除外されており、再生時間区間が設定されていない。
 このように、再生候補時間区間を余裕継続時間区間の中から設定することで、ユーザの余裕度が小さいときに音声が再生されるのを確実に防ぐことができる。また、自車両が自動運転及び手動運転の両方に対応した車両である場合、余裕継続時間区間に自動運転から手動運転に切り替えを音声により案内することで、余裕度の大きい(すなわち運転への集中度が低下している可能性がある)ユーザを覚醒させて手動運転に適した状態にしつつ、手動運転への切り替えを促すこともできる。
 なお、再生時間区間設定部16は、音声データのIDごとに優先度を設定するのに代えて、音声データのIDごとに評価値の基準値を異なる値とし、累積評価値が小さい音声データを再生対象から除外するものであっても良い。
 その他、実施の形態2の音声案内制御装置100は、実施の形態1にて説明したものと同様の種々の変形例を採用することができる。
 以上のように、実施の形態2の音声案内制御装置100は、未来時間区間Tのうちの余裕度値が連続して基準値を超える時間区間である余裕継続時間区間ΔL1,ΔL2を算出する余裕継続時間区間算出部17を備え、再生候補時間区間設定部15は、余裕継続時間区間ΔL1,ΔL2の中から再生候補時間区間Lc4~Lc6を設定する。再生候補時間区間を余裕継続時間区間の中から設定することで、ユーザの余裕度が小さいときに音声が再生されるのを確実に防ぐことができる。
 また、再生時間区間設定部16は、一部の音声データを再生対象から除外して、残余の音声データに再生時間区間L01,L03,L04を設定する。これにより、余裕継続時間区間ΔL1,ΔL2の合計時間が短い場合であっても、複数種類の音声が同時に再生されてユーザが各音声の内容を聞き取れない状況を回避することができる。
 なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
 本発明の音声案内制御装置は、車載情報システム、家電システム又は昇降機保守管理システムなどの各種システムによる音声案内に用いることができる。
 1 マイク、2 カメラ、3 脳波センサ、4 心拍センサ、10 第1余裕度値算出部、11 第2余裕度値算出部、12 余裕度値乗算部、13 余裕度値算出部、14 時間制約情報取得部、15 再生候補時間区間設定部、16 再生時間区間設定部、17 余裕継続時間区間算出部、21 車載情報機器、22 GPS受信機、23 地図情報記憶部、24 操作入力装置、25 表示装置、26 音声出力装置、27 道路交通情報記憶部、28 天気予報情報記憶部、29 ニュース情報記憶部、30 記憶装置、31 車輪速センサ、40 プロセッサ、41 メモリ、42 処理回路、100 音声案内制御装置、200 車載情報システム。

Claims (5)

  1.  未来時間区間におけるユーザの余裕度値を算出する余裕度値算出部と、
     前記未来時間区間にて再生対象となる複数の音声データのそれぞれについて、前記未来時間区間のうちの当該音声データを再生可能な時間区間を示す時間制約情報を取得する時間制約情報取得部と、
     前記時間制約情報を用いて、前記未来時間区間のうちの前記音声データを再生する時間区間の候補である再生候補時間区間を、1つ又は複数の前記音声データごとに設定する再生候補時間区間設定部と、
     前記余裕度値を用いて、前記再生候補時間区間のうちの実際に前記音声データを再生する時間区間である再生時間区間を、個々の前記音声データごとに設定する再生時間区間設定部と、
     を備える音声案内制御装置。
  2.  前記余裕度値算出部は、
     前記ユーザの状態を示す特徴量を用いて、前記未来時間区間における第1余裕度値を算出する第1余裕度値算出部と、
     当該音声案内制御装置の制御対象であるシステムから得られた情報を用いて、前記未来時間区間における第2余裕度値を算出する第2余裕度値算出部と、
     前記第1余裕度値と前記第2余裕度値との乗算により前記余裕度値を算出する余裕度値乗算部と、
     を備えることを特徴とする請求項1記載の音声案内制御装置。
  3.  前記未来時間区間のうちの前記余裕度値が連続して基準値を超える時間区間である余裕継続時間区間を算出する余裕継続時間区間算出部を備え、
     前記再生候補時間区間設定部は、前記余裕継続時間区間の中から前記再生候補時間区間を設定する
     ことを特徴とする請求項1記載の音声案内制御装置。
  4.  前記再生時間区間設定部は、一部の前記音声データを再生対象から除外して、残余の前記音声データに前記再生時間区間を設定することを特徴とする請求項3記載の音声案内制御装置。
  5.  余裕度値算出部が、未来時間区間におけるユーザの余裕度値を算出するステップと、
     時間制約情報取得部が、前記未来時間区間にて再生対象となる複数の音声データのそれぞれについて、前記未来時間区間のうちの当該音声データを再生可能な時間区間を示す時間制約情報を取得するステップと、
     再生候補時間区間設定部が、前記時間制約情報を用いて、前記未来時間区間のうちの前記音声データを再生する時間区間の候補である再生候補時間区間を、1つ又は複数の前記音声データごとに設定するステップと、
     再生時間区間設定部が、前記余裕度値を用いて、前記再生候補時間区間のうちの実際に前記音声データを再生する時間区間である再生時間区間を、個々の前記音声データごとに設定するステップと、
     を備える音声案内制御方法。
PCT/JP2016/051236 2016-01-18 2016-01-18 音声案内制御装置及び音声案内制御方法 WO2017125998A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2016/051236 WO2017125998A1 (ja) 2016-01-18 2016-01-18 音声案内制御装置及び音声案内制御方法
JP2017546924A JP6272585B2 (ja) 2016-01-18 2016-01-18 音声案内制御装置及び音声案内制御方法
TW105117711A TW201727592A (zh) 2016-01-18 2016-06-04 聲音導引控制裝置以及聲音導引控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/051236 WO2017125998A1 (ja) 2016-01-18 2016-01-18 音声案内制御装置及び音声案内制御方法

Publications (1)

Publication Number Publication Date
WO2017125998A1 true WO2017125998A1 (ja) 2017-07-27

Family

ID=59361949

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/051236 WO2017125998A1 (ja) 2016-01-18 2016-01-18 音声案内制御装置及び音声案内制御方法

Country Status (3)

Country Link
JP (1) JP6272585B2 (ja)
TW (1) TW201727592A (ja)
WO (1) WO2017125998A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1082653A (ja) * 1996-09-06 1998-03-31 Matsushita Electric Ind Co Ltd ナビゲーション装置
WO2006070566A1 (ja) * 2004-12-28 2006-07-06 Matsushita Electric Industrial Co., Ltd. 音声合成方法および情報提供装置
JP2015017856A (ja) * 2013-07-10 2015-01-29 本田技研工業株式会社 情報提供装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1082653A (ja) * 1996-09-06 1998-03-31 Matsushita Electric Ind Co Ltd ナビゲーション装置
WO2006070566A1 (ja) * 2004-12-28 2006-07-06 Matsushita Electric Industrial Co., Ltd. 音声合成方法および情報提供装置
JP2015017856A (ja) * 2013-07-10 2015-01-29 本田技研工業株式会社 情報提供装置

Also Published As

Publication number Publication date
TW201727592A (zh) 2017-08-01
JPWO2017125998A1 (ja) 2018-01-25
JP6272585B2 (ja) 2018-01-31

Similar Documents

Publication Publication Date Title
JP5972372B2 (ja) 車載情報装置
JP5921722B2 (ja) 音声認識装置および表示方法
JP6400109B2 (ja) 音声認識システム
JP4304952B2 (ja) 車載制御装置、並びにその操作説明方法をコンピュータに実行させるプログラム
JP5893217B2 (ja) 音声認識装置および表示方法
JP3322140B2 (ja) 車両用音声案内装置
JP2008058409A (ja) 音声認識方法及び音声認識装置
JP6604151B2 (ja) 音声認識制御システム
JP2009251388A (ja) 母国語発話装置
JP5005491B2 (ja) 車載機、その出力態様設定方法
JP2018090086A (ja) 車両用制御装置
US10640127B2 (en) Information processing apparatus and information processing method
JP2006012081A (ja) コンテンツ出力装置、ナビゲーション装置、コンテンツ出力プログラム、及びコンテンツ出力方法
JP5181533B2 (ja) 音声対話装置
JP6272585B2 (ja) 音声案内制御装置及び音声案内制御方法
JP6691737B2 (ja) 歌詞音声出力装置、歌詞音声出力方法、及び、プログラム
JP2004233676A (ja) 対話制御装置
JP6741387B2 (ja) 音声出力装置
JP2008003371A (ja) 車載用音声認識装置及び音声コマンド登録方法
JP2009086132A (ja) 音声認識装置、音声認識装置を備えたナビゲーション装置、音声認識装置を備えた電子機器、音声認識方法、音声認識プログラム、および記録媒体
WO2023062816A1 (ja) コンテンツ出力装置、コンテンツ出力方法、プログラム及び記憶媒体
WO2016135921A1 (ja) 車載用音楽再生装置、音楽再生方法、及び、プログラム
JP2016157082A (ja) 再生装置、再生方法、及び、プログラム
JP2016157084A (ja) 再生装置、再生方法、及び、プログラム
JP2023024738A (ja) 再生装置、再生方法、及び、プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017546924

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16886241

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16886241

Country of ref document: EP

Kind code of ref document: A1