WO2021044676A1 - 提示装置 - Google Patents

提示装置 Download PDF

Info

Publication number
WO2021044676A1
WO2021044676A1 PCT/JP2020/020726 JP2020020726W WO2021044676A1 WO 2021044676 A1 WO2021044676 A1 WO 2021044676A1 JP 2020020726 W JP2020020726 W JP 2020020726W WO 2021044676 A1 WO2021044676 A1 WO 2021044676A1
Authority
WO
WIPO (PCT)
Prior art keywords
voice recognition
user
actuators
actuator
current state
Prior art date
Application number
PCT/JP2020/020726
Other languages
English (en)
French (fr)
Inventor
尚貴 砂川
恒行 山本
沙織 岩田
Original Assignee
株式会社東海理化電機製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東海理化電機製作所 filed Critical 株式会社東海理化電機製作所
Publication of WO2021044676A1 publication Critical patent/WO2021044676A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Definitions

  • the present invention relates to a presentation device that presents the current state of voice recognition to the user.
  • the voice recognition system has a plurality of operation steps, and the state changes every moment according to the operation steps. Therefore, it is difficult for the user to understand the current state of the voice recognition system, and there is a problem that the operability is not good. This is because when a voice recognition system is mounted on a vehicle, there is a high need to make the operation of the voice recognition system easy to understand from the viewpoint of ensuring driving safety.
  • An object of the present invention is to provide a presentation device that enables smooth operation of a voice recognition function.
  • the presentation device has an acquisition unit that acquires operation information based on the current state of the voice recognition function that operates the operation target through voice input, and at least one of the five senses based on the operation information acquired by the acquisition unit. It is provided with a control unit that allows the user to grasp the current state of the voice recognition function by operating an actuator capable of outputting one sense.
  • (A) to (c) are illustrations of actuator operation patterns.
  • (A) and (b) are illustrations showing the operation pattern of the actuator of the third embodiment.
  • (A) and (b) are illustrations showing the operation pattern of the actuator.
  • the vehicle 1 includes a voice recognition system 3 as a voice recognition function that recognizes a voice uttered by a user and operates an operation target 2.
  • the voice recognition system 3 includes a voice input device 4 for inputting a voice spoken by a user, and a control device 5 for operating the voice recognition system 3 based on the voice collected by the voice input device 4.
  • the voice input device 4 is, for example, a sound collecting unit for an on-board microphone or the like.
  • the voice input device 4 and the control device 5 may be connected by either wire or wireless.
  • Operation target 2 includes an air conditioner device that air-conditions the inside of the vehicle, an audio device that plays and outputs music, and the like.
  • the operation target 2 includes, for example, a car navigation device that displays the current position of the own vehicle, guides the destination, and the like.
  • the operation target 2 other than these may be, for example, a seat device that controls a seat on which the user sits.
  • the control device 5 includes a voice recognition unit 6 that controls the operation of the voice recognition system 3.
  • the voice recognition unit 6 voice-recognizes the voice signal Sa input from the voice input device 4.
  • a speech recognition method various known methods can be used.
  • the voice recognition unit 6 controls the operation target 2 so that the operation target 2 operates in a manner corresponding to the voice recognition result. In this way, the air conditioner device, the audio device, and the like are operated through the voice uttered by the user.
  • the voice recognition system 3 has a function (presentation device) of presenting the current state of the voice recognition system 3 to a user (in this example, a driver) through an actuator 7 capable of outputting (sense presentation) that appeals to at least one of the five senses. 8) is provided.
  • the current state of the voice recognition system 3 includes, for example, "starting” of the system, "accepting dialogue” which is a state of waiting for voice input, "recognizing dialogue” which is a state of recognizing the accepted voice, and voice recognition.
  • speech recognition completed which is a state in which the processing of the above is completed
  • speech recognition failure which is a state in which the voice recognition processing cannot be completed and fails.
  • the voice recognition system 3 notifies the user of these current states through the operation of the actuator 7.
  • the actuator 7 is a vibrating device 9 capable of producing an output that appeals to the sense of touch, which is one of the five senses.
  • the vibrating device 9 can be attached to a position (part) where the driver, who is a user, can feel the operation of the actuator 7 in the driving posture while looking forward.
  • the vibration device 9 is provided in the operation unit 10 which is operated when driving the vehicle 1 on which the operation target 2 is mounted.
  • the vibration device 9 is provided at a position where the user's body touches when driving the vehicle 1.
  • the operation unit 10 may be, for example, a steering wheel 11 that is operated when the vehicle is steered. Further, one vibration device 9 of this example is provided on one side of the steering wheel 11. The vibrating device 9 vibrates in a manner corresponding to the current state of the voice recognition system 3.
  • the presentation device 8 includes an acquisition unit 13 that acquires operation information Sb based on the current state of the voice recognition system 3.
  • the acquisition unit 13 is provided in, for example, the control device 5.
  • the operation information Sb can be information representing the current operation state of the voice recognition unit 6.
  • the acquisition unit 13 acquires information related to the current state of the voice recognition system 3 from the voice recognition unit 6 as the operation information Sb.
  • the presentation device 8 includes a control unit 14 that operates the actuator 7 based on the operation information Sb acquired by the acquisition unit 13 to allow the user to grasp the current state of the voice recognition function.
  • the control unit 14 is provided in, for example, the control device 5.
  • the current state of the voice recognition system 3 includes a state in which information based on the voice recognition result is not provided (for example, "during line recognition").
  • the control unit 14 causes the user to grasp whether or not the voice input is possible through the operation pattern of the actuator 7 (for example, the vibration pattern of the vibration device 9).
  • the voice recognition system 3 takes a standby state in which the power is turned off and waits for the activation operation to be performed (step S101).
  • the voice recognition system 3 switches from the standby state to the activation state (step S102).
  • the activation operation includes, for example, operating a switch or a sensor (not shown) for turning on the power of the voice recognition system 3, or causing a camera or the like (not shown) to recognize a gesture requesting activation.
  • the voice recognition system 3 enters a state of "accepting dialogue" waiting for an utterance from the user (step S103).
  • step S104 When the voice recognition system 3 inputs a user's utterance with the voice input device 4 in the operating state of "accepting dialogue", the voice recognition system 3 enters the operating state of "recognizing dialogue” that recognizes this utterance by voice (step S104). That is, when the voice recognition unit 6 inputs the voice signal Sa from the voice input device 4 and enters the voice recognition state, the voice recognition system 3 shifts to the “line recognition in progress” state.
  • the actuator 7 is operated in a manner capable of notifying "recognizing dialogue".
  • the control unit 14 vibrates the vibration device 9 in a manner capable of notifying "line recognition in progress".
  • the vibrating device 9 vibrates a plurality of times (n times) with a weak periodic vibration.
  • the driver holding the steering wheel 11 can recognize from the vibration pattern of the vibration device 9 that the current state of the voice recognition system 3 is "during line recognition”.
  • each state is notified to the user by the operation pattern of the actuator 7 (for example, the vibration pattern of the vibration device 9) even when the voice recognition system 3 is activated or the dialogue is being accepted. You may try to do it.
  • step S105 when the voice recognition process can be completed, the voice recognition system 3 shifts to the state of "speech recognition completed" (step S105). On the other hand, if the voice recognition system 3 cannot complete the voice recognition process within the time, the voice recognition system 3 shifts to the state of "speech recognition failure" (step S106).
  • the control unit 14 when the operation information Sb indicating that the voice recognition system 3 is in the "speech recognition completed” state is output from the voice recognition unit 6 and acquired by the acquisition unit 13, the control unit 14 The actuator 7 is operated in a manner capable of notifying "completion of dialogue recognition". For example, when the current state of the voice recognition system 3 is "speech recognition completed", the control unit 14 generates a strong vibration once by the vibration device 9 as an operation pattern for notifying the user of the state. As a result, it is possible for the driver holding the steering wheel 11 to recognize that the current state of the voice recognition system 3 is "speech recognition completed” through the vibration pattern of the vibration device 9.
  • the control unit 14 when the operation information Sb indicating that the voice recognition system 3 is in the state of "speech recognition failure" is output from the voice recognition unit 6 and acquired by the acquisition unit 13, the control unit 14 "fails to recognize the dialogue".
  • the actuator 7 is operated in a manner capable of notifying. For example, when the current state of the voice recognition system 3 becomes "speech recognition failure", the control unit 14 generates strong vibration twice by the vibrating device 9 as an operation pattern for notifying the user of the state. This makes it possible for the driver holding the steering wheel 11 to recognize that the current state of the voice recognition system 3 is "speech recognition failure" through the vibration pattern of the vibration device 9.
  • the voice recognition system 3 executes an operation based on the recognition result as a voice recognition result notification (step S107).
  • the operation based on the recognition result is, for example, that the operation target 2 starts an operation in response to a request by the user's voice.
  • the voice recognition result may be output by voice from the speaker in the car, or may be output in characters or patterns on the monitor in the car. In any case, if the voice recognition is completed without delay, the operation target 2 operates in the manner instructed by the voice input.
  • the presentation device 8 is provided with an acquisition unit 13 that acquires operation information Sb based on the current state of the voice recognition function that operates the operation target 2 through voice input. Based on the operation information Sb acquired by the acquisition unit 13, the presenting device 8 operates an actuator 7 capable of outputting an output that appeals to at least one sense of the five senses (in this example, a tactile sense of vibration), thereby performing voice.
  • a control unit 14 is provided so that the user can grasp the current state of the recognition function. According to this example, the current state of the voice recognition function can be notified to the user in an easy-to-understand manner through the operation pattern of the actuator 7. Therefore, the smooth operation of the voice recognition function can be realized.
  • the current state of the voice recognition function includes a state in which information based on the voice recognition result is not provided. Therefore, even when there is no output of the voice recognition function (for example, voice guide, screen display guide, etc.), it is possible to clearly grasp the state in which information is not provided based on the voice recognition result. .. Therefore, it is unlikely that the current state of the voice recognition function is unknown.
  • the voice recognition function for example, voice guide, screen display guide, etc.
  • the control unit 14 causes the user to grasp whether or not voice input is possible through the operation pattern of the actuator 7. Therefore, since it is possible to know at what timing the voice recognition utterance may be made, it further contributes to the realization of smooth operation of the voice recognition function.
  • the control unit 14 causes the user to grasp the current state of the voice recognition function by the vibration of the actuator 7. Therefore, the current state of the voice recognition function can be intuitively and easily notified to the user through vibration by the actuator 7.
  • the actuator 7 is provided at a position where the user's body touches when driving the vehicle 1. Therefore, the current state of the voice recognition function can be notified to the user in an easy-to-understand manner through the sense of touch.
  • the actuator 7 is provided on the operation unit 10 (in this example, the steering wheel 11) that is operated when driving the vehicle 1 on which the operation target 2 is mounted. Therefore, when the operation unit 10 is operated, the actuator 7 is touched at the same time, so that the operation pattern of the actuator 7 can be recognized while operating the operation unit 10. Further, since it is possible to grasp the operation pattern of the actuator 7 while looking forward in the driving posture, it is highly effective from the viewpoint of ensuring safe driving.
  • the second embodiment is an embodiment in which the number of actuators 7 and the operation pattern of the first embodiment are changed. Therefore, the same parts as those in the first embodiment are designated by the same reference numerals, detailed description thereof will be omitted, and only different parts will be described in detail.
  • a plurality of actuators 7 (for example, the vibrating device 9 in FIG. 2) are provided, and in the case of this example, they are arranged not adjacent to each other at a plurality of locations of the operation unit 10.
  • a total of two actuators 7 are provided on the left and right sides of the steering wheel 11 of the vehicle 1.
  • the right side of the paper surface is "7a”
  • the left side of the paper surface is "7b”.
  • the control unit 14 operates these two actuators 7a and 7b in an operation pattern according to the current state of the voice recognition system 3. In this way, in the case of this example, the pair of left and right actuators 7a and 7b are operated so that the user can grasp the current state of the voice recognition system 3.
  • the voice recognition system 3 includes an output unit 17 that executes the output operation of the voice recognition system 3 in the operation of the voice recognition function.
  • the output unit 17 notifies the user of the recognition result at that time, for example, when the dialogue recognition is completed in the voice recognition.
  • the notification of the voice recognition result by the output unit 17 may be, for example, an auditory notification or a visual notification.
  • the output unit 17 can be, for example, an anthropomorphic robot agent 18.
  • the robot agent 18 includes a seat portion 19 and a movable portion 20 that imitates the head of the robot.
  • the movable portion 20 may be movably attached to the seat portion 19, and may be configured to be movable up, down, left and right, for example.
  • the front surface of the movable portion 20 is a display 21, and while expressing a facial expression on the display 21, an internal speaker 22 executes a voice utterance.
  • the control unit 14 cannot accept voice input, for example, when the voice recognition system 3 is recognizing a dialogue or during a voice guide that outputs a voice recognition result notification. In the case of, it is determined that the initiative of the operation of the voice recognition system 3 is on the system side (machine side).
  • the control unit 14 is in charge of the operation of the voice recognition system 3 on the system side (machine side), for example, among the plurality of actuators 7a and 7b, the actuator 7a on the side closer to the output unit 17 (FIG. 7A).
  • the actuator 7a) on the right side of the paper is vibrated. Therefore, the voice recognition system 3 is led by the system side, and the user can recognize that the operation cannot be performed now.
  • the voice recognition system 3 when the voice recognition system 3 is in a state where it can receive voice input, such as when the voice recognition system 3 is on standby after activation or when a dialogue is being accepted, the voice recognition system 3 It is determined that the initiative of the operation is on the user side (driver side).
  • the control unit 14 When the user side (driver side) is in charge of the operation of the voice recognition system 3, the control unit 14 has the actuator 7b (FIG. 7 (b)) on the side closer to the user among the pair of actuators 7a and 7b provided on the left and right. ), The actuator 7b) on the left side of the paper is vibrated. Therefore, the voice recognition system 3 is led by the user, and the user can recognize that voice input is possible.
  • the control unit 14 for example, when the voice recognition system 3 is in the voice guidance but can speak, the operation of the voice recognition system 3 is led by both the system and the user. Judge that there is. At this time, the control unit 14 vibrates both the left and right actuators 7a and 7b. Therefore, the user can recognize from the vibrations of the actuators 7a and 7b that the voice recognition system 3 is led by both the system and the user.
  • the following effects can be obtained in addition to (1) to (6) of the first embodiment.
  • the control unit 14 causes the user to grasp the current state of the voice recognition function by operating the actuators 7a and 7b in an operation pattern corresponding to the current state of the voice recognition function. Therefore, since various expressions are possible by operating the plurality of actuators 7a and 7b, it is possible to notify various current states of the voice recognition function in various variations. Therefore, it further contributes to the realization of smooth operation of the voice recognition function.
  • Actuators 7a and 7b are arranged non-adjacent to a plurality of locations of the operation unit 10.
  • the control unit 14 causes the user to grasp the current state of the voice recognition function by operating the actuators 7a and 7b. Therefore, the actuators 7a and 7b arranged not adjacent to each other at a plurality of locations of the operation unit 10 can be used to notify various current states of the voice recognition function in various variations.
  • a plurality of (for example, four) actuators 7c to 7f are provided on the operation unit 10 (for example, the steering wheel 11).
  • the actuators 7c to 7f are grouped into a plurality of sets.
  • the actuators 7c to 7f are grouped into the first set of actuators 7c and 7d and the second set of actuators 7e and 7f.
  • the first set of actuators 7c and 7d are provided adjacent to each other at the first position (on the right side of the paper surface in FIG. 8A) of the steering wheel 11.
  • the second set of actuators 7e and 7f are provided adjacent to each other at the second position (left side of the paper surface in FIG. 8A) of the steering wheel 11.
  • the first set of actuators 7c and 7d are arranged side by side in the radial direction of the steering wheel 11 at the first position (right side) of the steering wheel 11.
  • the second set of actuators 7e and 7f are arranged side by side in the radial direction of the steering wheel 11 at the second position (left side) of the steering wheel 11.
  • the control unit 14 operates a plurality of actuators 7c to 7f in an operation pattern according to the current state of the voice recognition system 3.
  • the control unit 14 is located inside the steering wheel 11 in the radial direction (actuators 7c, 7e) and is located outside the steering wheel 11 in the radial direction. (Actuators 7d, 7f) are made to cooperate with each other to vibrate in an operation pattern according to the current state of the voice recognition system 3.
  • the control unit 14 is located inside the steering wheel 11 in each set of the actuators 7 when the operation of the voice recognition system 3 is led by the system side (machine side).
  • the actuators 7c and 7e are vibrated. By vibrating the group of actuators 7c and 7e on the inner side in the radial direction in this way, the user is made to recognize that the initiative of the voice recognition system 3 is on the system side.
  • the control unit 14 when the operation of the voice recognition system 3 is led by the user side (driver side), the control unit 14 is located outside the steering wheel 11 in each set of the actuators 7 in the radial direction.
  • the actuators 7d and 7f are vibrated. By vibrating the group of actuators 7d and 7f on the outer side in the radial direction in this way, the user is made to recognize that the initiative of the voice recognition system 3 is on the user side.
  • the left and right actuators 7 may be arranged side by side in a direction orthogonal to the radial direction of the steering wheel 11.
  • the control unit 14 when the operation of the voice recognition system 3 is led by the system side (machine side), the control unit 14 is located on the side far from the user in each set of actuators 7.
  • the actuator 7g is vibrated. In this way, by directing the vibration of the actuator 7g toward the front side of the vehicle 1, it is possible to notify the user that the voice recognition system 3 is taking the initiative on the system side.
  • the following effects can be obtained in addition to (1) to (8) of the first and second embodiments.
  • Actuators 7c to 7f are grouped into a first set of actuators 7c and 7d and a second set of actuators 7e and 7f provided at different locations of the operation unit 10.
  • the first set of actuators 7c and 7d are provided adjacent to each other.
  • the second set of actuators 7e and 7f are provided adjacent to each other.
  • the control unit 14 cooperates with a plurality of sets of actuators 7c to 7f in an operation pattern according to the current state of the voice recognition function, and causes the user to grasp the current state of the voice recognition function. Therefore, a plurality of sets of actuators 7c to 7f provided in the operation unit 10 can be cooperated with each other to notify various current states of the voice recognition function in various variations.
  • the fourth embodiment will be described with reference to FIGS. 10 to 12.
  • the fourth embodiment will be described as an example based on the actuator configuration of the third embodiment, but it may be based on the actuator configuration of the first or second embodiment.
  • the fourth embodiment will also be described in detail only in the parts different from the first to third embodiments.
  • the voice recognition system 3 includes a display unit 25 capable of displaying various screens and patterns that can be visually recognized by the user in the vehicle.
  • the display unit 25 is preferably, for example, a display of a car navigation system provided in the vehicle.
  • the control unit 14 operates the actuator 7 in an operation pattern according to the image mode displayed on the display unit 25 to display the voice recognition function. Let the user know the status.
  • the control unit 14 determines that the initiative of the operation of the voice recognition system 3 is on the system side (machine side)
  • the control unit 14 displays an image mode on the display unit 25 that can be visually recognized to that effect.
  • a stepped graphic unit 27 whose height is sequentially increased is displayed on the inner circumference of the annular ring display 26 displayed on the display unit 25, and the graphic unit 27 is displayed in a ring.
  • an image 28 indicating that utterance is impossible may also be displayed inside the ring display 26.
  • the actuator 7c which is located inside the steering wheel 11 in the radial direction in each set of the actuators 7. Vibrate 7e.
  • the graphic unit 27 on the inner circumference of the ring display 26 displayed on the display unit 25 is associated with vibrating the actuators 7c and 7e located inside the steering wheel 11 in the radial direction.
  • the image aspect can be easily imaged from the vibration of the actuators 7c and 7e. Therefore, it helps to recognize that the initiative of the voice recognition system 3 is on the system side.
  • the control unit 14 determines that the user side (driver side) is in charge of the operation of the voice recognition system 3, the control unit 14 displays an image mode that can be visually recognized to that effect. Display on 25.
  • a stepped graphic unit 32 whose height is sequentially increased is displayed on the outer circumference of the annular ring display 31 displayed on the display unit 25, and the graphic unit 32 is displayed as a ring display 31.
  • an image 33 indicating that utterance is possible may also be displayed inside the ring display 31.
  • the actuator 7d which is located on the radial outer side of the steering wheel 11 in each set of the actuators 7. Vibrate 7f.
  • the graphic unit 32 on the outer periphery of the ring display 31 displayed on the display unit 25 is associated with vibrating the actuators 7d and 7f located on the radial outer side of the steering wheel 11, so that the image of the display unit 25 is displayed.
  • the aspect can be easily imagined from the vibration of the actuators 7d and 7f. Therefore, it helps to recognize that the initiative of the voice recognition system 3 is on the user side.
  • the control unit 14 When the current state of the voice recognition function is displayed on the display unit 25, the control unit 14 operates the actuators 7c to 7f in an operation pattern according to the image mode displayed on the display unit 25 to produce voice. Let the user know the current state of the recognition function. In the case of this example, since the image mode according to the current state of the voice recognition function displayed on the display unit 25 is expressed by the operation of the actuators 7c to 7f, it helps the user to recognize the image mode. Therefore, it further contributes to the realization of smooth operation of the voice recognition function.
  • the actuator 7 may be provided on, for example, a touch pad mounted on the steering wheel 11.
  • the touch pad vibrates according to the current state of the voice recognition function to inform the user of the current state of the voice recognition function.
  • the touch pad is used for operating a car navigation device and various in-vehicle devices of a traveling system.
  • the actuator 7 is not limited to being provided on the steering wheel 11, and may be provided on, for example, a seat on which the user sits.
  • actuators 7 are not adjacent to each other, three or more actuators 7 may be provided. Further, the actuator 7 may have three or more adjacent actuators.
  • the actuator 7 is not limited to the vibration device 9, and may be a monitor or a display, for example, when visually notifying the current state of the voice recognition function.
  • the actuator 7 is not limited to the vibrating device 9, and may be a member capable of outputting to appeal to the five senses of the user.
  • actuators 7 when a plurality of actuators 7 are provided, they may be arranged on different members.
  • the operation unit 10 is not limited to the steering wheel 11. Further, the member provided with the actuator 7 is not limited to the operation unit 10, and may be changed to another member such as an armrest of a seat.
  • the operation unit 10 may be a member that the user (driver)'s body constantly touches or frequently touches during driving.
  • the operation unit 10 is not limited to the steering wheel 11, and may be a member operated by the user.
  • the current state of the voice recognition function is not limited to each state described in the embodiment, and various states can be applied as long as they can be taken in the process of voice recognition.
  • various devices and devices can be applied to the operation target 2 of the voice recognition function.
  • the output unit 17 is not limited to the robot agent 18, as long as it can perform various outputs by voice or vision in the process of voice recognition.
  • the display unit 25 is not limited to the monitor of the car navigation device, and may be, for example, a head-up display.
  • the notification of the current state of the voice recognition function is not limited to vibration.
  • a notification that appeals to the eyes, a notification that appeals to the auditory sense, or a combination thereof may be used.
  • the five senses may be tactile, visual, auditory, olfactory, or taste, or may be a combination thereof.
  • the acquisition unit 13 and the control unit 14 are not limited to being provided in the control device 5, and may be provided anywhere as long as they are elements of the voice recognition system 3. Further, the acquisition unit 13 and the control unit 14 may be configured independently of the elements of the voice recognition system 3.
  • the operation information Sb is not limited to the information output from the voice recognition unit 6, and may be any information that can determine the current state of the voice recognition function.
  • the state in which the information based on the voice recognition result is not provided means a state in which it is not possible to recognize whether or not the voice recognition system 3 alone is operating.
  • the presentation device 8 is not limited to being applied to the vehicle 1, and may be used for other devices or devices.
  • any one or more of a plurality of processing devices for example, a voice input device 4, a voice recognition unit 6, an acquisition unit 13, and / or a control unit 14 that realizes the voice recognition system 3 and the presentation device 8 in the present disclosure.
  • a plurality of processing devices for example, a voice input device 4, a voice recognition unit 6, an acquisition unit 13, and / or a control unit 14
  • processors and various processes eg, actuator outputs associated with speech recognition processes
  • It can be constructed as a computer system including a non-temporary memory that stores instructions for realizing (control of sensory presentation).
  • any one or more of the plurality of processing devices may be configured with dedicated hardware such as an application specific integrated circuit (ASIC). Therefore, the present disclosure includes the following embodiments.
  • (Embodiment 1) It ’s a computer system, With one or more processors An instruction that can be executed by the processor and includes a non-temporary memory for storing an instruction for realizing a plurality of processes.
  • the plurality of processes Acquiring operation information (Sb) indicating the current state of the voice recognition system (3) that recognizes the voice spoken by the user, By driving the actuator (7) based on the operation information (Sb), it is possible to provide the user with a sensory presentation by an actuator output pattern according to the current state of the voice recognition system (3).
  • Embodiment 2 In the computer system of Embodiment 1, Providing the user with the sensory presentation A computer including forming the actuator output pattern according to different current states of the voice recognition system (3) by driving the actuator (7) with different operation patterns based on the operation information (Sb). system.
  • the actuator is one of a plurality of actuators (7a, 7b; 7a to 7d). Providing the user with the sensory presentation By driving at least one of the plurality of actuators (7a, 7b; 7a to 7d) based on the operation information (Sb), the actuator corresponding to a different current state of the voice recognition system (3).
  • a computer system that involves forming an output pattern.
  • the plurality of actuators (7a to 7d) are grouped into a plurality of sets of actuators (7c + 7d, 7e + 7f).
  • a computer including forming the actuator output pattern according to a different current state of the voice recognition system (3) by simultaneously driving at least one of the actuators of each set based on the operation information (Sb). system.
  • the voice recognition system (3) includes at least one of a voice output unit (17) and a display unit (25) that output the current state of the voice recognition system (3).
  • a computer system comprising forming the actuator output pattern interlocked with at least one of the audio output unit (17) and the display unit (25).
  • the actuator (7) is a vibrating device (9), and the sensory presentation is a computer system including at least a tactile presentation by the vibrating device.
  • the computer system is a computer system incorporated in the voice recognition system (3) or implemented as a presentation device (8) provided separately from the voice recognition system (3).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)

Abstract

提示装置（８）は、音声入力を通じて操作対象（２）を動作させる音声認識機能（３）の現状態に基づく作動情報（Ｓｂ）を取得する取得部（１３）と、取得部（１３）で取得した作動情報（Ｓｂ）を基に、五感の少なくとも１つの感覚に訴える出力が可能なアクチュエータ（７）を作動させることにより、音声認識機能（３）の現状態をユーザに把握させる制御部（１４）とを備える。

Description

提示装置
　本発明は、音声認識の現状態をユーザに提示する提示装置に関する。
　従来、ユーザから発話された音声を認識して操作対象を作動させる音声認識システムが周知である（特許文献１等参照）。車両の分野では、この種の音声認識システムを車両に搭載して、音声によりエアーコンディショナー装置やオーディオ装置等を作動させて、ユーザの利便性向上を図ることが検討されている。
特開２０００－３９８９８号公報
　音声認識システムには、複数の操作ステップがあり、その操作ステップに応じて状態が刻々と変化する実情がある。このため、ユーザにとっては、音声認識システムの現状態が分かり難く、操作性がよくない問題があった。これは、車両に音声認識システムを搭載した場合、運転の安全性を確保する点からしても、音声認識システムの操作を分かり易いものにすることには高いニーズがある。
　本発明の目的は、音声認識機能のスムーズな操作の実現を可能にした提示装置を提供することにある。
　一実施形態による提示装置は、音声入力を通じて操作対象を動作させる音声認識機能の現状態に基づく作動情報を取得する取得部と、前記取得部で取得した前記作動情報を基に、五感の少なくとも１つの感覚に訴える出力が可能なアクチュエータを作動させることにより、前記音声認識機能の現状態をユーザに把握させる制御部とを備えた。
　本発明によれば、音声認識機能のスムーズな操作を実現できる。
第１実施形態の音声認識システム及び提示装置の構成図。 アクチュエータの概要図。 音声認識機能の実行手順を示すフローチャート。 アクチュエータの動作パターンを示す例示図。 第２実施形態の音声認識システム及び提示装置の構成図。 出力部の概要を示す運転席の斜視図。 （ａ）～（ｃ）はアクチュエータの動作パターンの例示図。 （ａ）、（ｂ）は第３実施形態のアクチュエータの動作パターンを示す例示図。 （ａ）、（ｂ）はアクチュエータの動作パターンを示す例示図。 第４実施形態の音声認識システム及び提示装置の構成図。 提示装置の動作例を示す説明図。 提示装置の動作例を示す説明図。
　（第１実施形態）
　以下、提示装置の第１実施形態を図１～図４に従って説明する。
　図１に示すように、車両１は、ユーザから発話された音声を音声認識して操作対象２を作動させる音声認識機能として音声認識システム３を備える。音声認識システム３は、ユーザが発話する音声を入力する音声入力装置４と、音声入力装置４で収集した音声を基に音声認識システム３を作動させる制御装置５とを備える。音声入力装置４は、例えば車載されたマイク等の集音部である。音声入力装置４及び制御装置５は、有線及び無線のどちらで接続されてもよい。
　操作対象２は、車内を空調するエアーコンディショナー装置、音楽を再生出力するオーディオ装置などがある。また、これら以外の操作対象２は、例えば自車の現在位置表示や目的地案内等を実行するカーナビゲーション装置がある。これら以外の操作対象２は、例えばユーザが着座するシートを制御するシート装置でもよい。
　制御装置５は、音声認識システム３の作動を制御する音声認識部６を備える。音声認識部６は、音声入力装置４から入力する音声信号Ｓａを音声認識する。音声認識の手法は、既知の種々の手法を用いることができる。音声認識部６は、音声認識結果に応じた態様で操作対象２が作動するように操作対象２を制御する。このように、ユーザから発話される音声を通じて、エアーコンディショナー装置やオーディオ装置等が操作される。
　音声認識システム３は、音声認識システム３の現状態を、五感の少なくとも１つの感覚に訴える出力（感覚提示）が可能なアクチュエータ７を通じて、ユーザ（本例は運転者）に提示する機能（提示装置８）を備える。音声認識システム３の現状態には、例えばシステムの「起動」、音声の入力を待つ状態である「セリフ受付中」、受け付けた音声を認識している状態である「セリフ認識中」、音声認識の処理が完了した状態である「セリフ認識完了」、音声認識の処理が完遂できずに失敗した状態である「セリフ認識失敗」等がある。音声認識システム３は、これら現状態を、アクチュエータ７の作動を通じて、ユーザに通知する。
　図２に示すように、例えば、アクチュエータ７は、五感の一つである触覚に訴える出力が可能な振動装置９である。振動装置９は、ユーザである運転者が運転姿勢で前方視のままアクチュエータ７の作動を感じることができる位置（部位）に取り付けられ得る。本例の場合、振動装置９は、操作対象２が搭載された車両１を運転する際に操作する操作部１０に設けられている。このように、振動装置９は、車両１の運転時にユーザの身体が触れる箇所に設けられている。操作部１０は、例えば車両操舵の際に操作するステアリングホイール１１であってもよい。また、本例の振動装置９は、ステアリングホイール１１の片側に１つ設けられている。振動装置９は、音声認識システム３の現状態に応じた態様で振動する。
　図１に示す通り、提示装置８は、音声認識システム３の現状態に基づく作動情報Ｓｂを取得する取得部１３を備える。取得部１３は、例えば制御装置５に設けられている。作動情報Ｓｂは、音声認識部６の現在の作動状態を表す情報とすることができる。このように、取得部１３は、作動情報Ｓｂとして、音声認識部６から音声認識システム３の現状態に係る情報を取得する。
　提示装置８は、取得部１３で取得した作動情報Ｓｂを基にアクチュエータ７を作動させて音声認識機能の現状態をユーザに把握させる制御部１４を備える。制御部１４は、例えば制御装置５に設けられている。本例の場合、音声認識システム３の現状態には、音声認識結果に基づく情報の提供を行っていない状態（例えば、「セリフ認識中」等）を含む。制御部１４は、音声入力が可能な状態か否かを、アクチュエータ７の動作パターン（例えば振動装置９の振動パターン）を通じてユーザに把握させる。
　次に、図３及び図４を用いて、本実施形態の音声認識システム３及び提示装置８の作用について説明する。
　図３に示すように、音声認識システム３は、電源がオフされた待機状態をとって、起動操作が行われるのを待つ（ステップＳ１０１）。音声認識システム３は、起動操作を受け付けると、待機状態から起動状態に切り替わる（ステップＳ１０２）。起動操作は、例えば音声認識システム３の電源を投入するスイッチやセンサ（いずれも図示略）を操作することや、起動を要求するジェスチャをカメラ等（図示略）に画像認識させることなどがある。音声認識システム３は、システム３の起動後、ユーザからの発話を待つ「セリフ受付中」の状態に入る（ステップＳ１０３）。
　音声認識システム３は、「セリフ受付中」の動作状態においてユーザの発話を音声入力装置４で入力すると、この発話を音声認識する「セリフ認識中」の動作状態に入る（ステップＳ１０４）。すなわち、音声認識部６が音声入力装置４から音声信号Ｓａを入力して音声認識の状態に入ると、音声認識システム３が「セリフ認識中」の状態に移行する。
　図４に示すように、制御部１４は、音声認識システム３が「セリフ認識中」の状態にある旨の作動情報Ｓｂが音声認識部６から出力されて、これを取得部１３で取得した場合、「セリフ認識中」を通知可能な態様でアクチュエータ７を作動させる。例えば、制御部１４は、音声認識システム３の現状態が「セリフ認識中」に切り替わった場合、「セリフ認識中」を通知可能な態様で振動装置９を振動させる。本例の場合、振動装置９は、周期的な弱い振動で複数回（ｎ回）振動する。これにより、ステアリングホイール１１を把持する運転者は、音声認識システム３の現状態が「セリフ認識中」であることを、振動装置９の振動パターンから認識することができる。なお、本例では述べなかったが、音声認識システム３が起動したときや、セリフ受付中のときも、アクチュエータ７の動作パターン（例えば、振動装置９の振動パターン）によって各々の状態をユーザに通知するようにしてもよい。
　図３に示す通り、音声認識システム３は、音声認識の処理を完遂できた場合、「セリフ認識完了」の状態に移行する（ステップＳ１０５）。一方、音声認識システム３は、音声認識の処理を時間内に完了できなかった場合、「セリフ認識失敗」の状態に移行する（ステップＳ１０６）。
　図４に示す通り、制御部１４は、音声認識システム３が「セリフ認識完了」の状態にある旨の作動情報Ｓｂが音声認識部６から出力されて、これを取得部１３で取得した場合、「セリフ認識完了」を通知可能な態様でアクチュエータ７を作動させる。例えば、制御部１４は、音声認識システム３の現状態が「セリフ認識完了」となった場合、その状態をユーザに通知する動作パターンとして、振動装置９によって強い振動を１回発生させる。これにより、ステアリングホイール１１を把持する運転者に対し、音声認識システム３の現状態が「セリフ認識完了」となっていることを、振動装置９の振動パターンを通じて認識させることが可能となる。
　また、制御部１４は、音声認識システム３が「セリフ認識失敗」の状態にある旨の作動情報Ｓｂが音声認識部６から出力されて、これを取得部１３で取得した場合、「セリフ認識失敗」を通知可能な態様でアクチュエータ７を作動させる。例えば、制御部１４は、音声認識システム３の現状態が「セリフ認識失敗」となった場合、その状態をユーザに通知する動作パターンとして、振動装置９によって強い振動を２回発生させる。これにより、ステアリングホイール１１を把持する運転者に対し、音声認識システム３の現状態が「セリフ認識失敗」となっていることを、振動装置９の振動パターンを通じて認識させることが可能となる。
　図３に示す通り、音声認識システム３は、セリフ認識を完了した場合、音声認識結果通知として、認識結果に基づく動作を実行する（ステップＳ１０７）。認識結果に基づく動作は、例えば操作対象２がユーザの音声による要求に応じた動作を開始することである。認識結果に基づく他の動作としては、例えば音声認識結果を車内のスピーカから音声で出力する形式でもよいし、車内のモニタに文字や絵柄等で出力する形式でもよい。いずれにせよ、音声認識が滞りなく完遂されれば、音声入力により指示した態様で操作対象２が動作する。
　上記実施形態の音声認識システム３及び提示装置８によれば、以下のような効果を得ることができる。
　（１）提示装置８には、音声入力を通じて操作対象２を動作させる音声認識機能の現状態に基づく作動情報Ｓｂを取得する取得部１３を設ける。提示装置８には、取得部１３で取得した作動情報Ｓｂを基に、五感の少なくとも１つの感覚（本例は、振動を感じる触覚）に訴える出力が可能なアクチュエータ７を作動させることにより、音声認識機能の現状態をユーザに把握させる制御部１４を設けた。本例によれば、音声認識機能の現状態を、アクチュエータ７の動作パターンを通じ、分かり易くユーザに通知することが可能となる。よって、音声認識機能のスムーズな操作を実現することができる。
　（２）音声認識機能の現状態には、音声認識結果に基づく情報の提供を行っていない状態も含む。このため、音声認識機能の出力（例えば、音声ガイドや画面表示ガイド等）がない場合であっても、音声認識結果に基づく情報の提供を行っていない状態を明確に把握することが可能となる。よって、音声認識機能の現状態が今どの状態にあるのか分からない状況になり難い。
　（３）制御部１４は、音声入力が可能な状態か否かを、アクチュエータ７の動作パターンを通じてユーザに把握させる。よって、どのタイミングで音声認識の発話をしてよいのかが分かるので、音声認識機能のスムーズな操作の実現に一層寄与する。
　（４）制御部１４は、アクチュエータ７の振動により、音声認識機能の現状態をユーザに把握させる。よって、アクチュエータ７による振動を通じて、音声認識機能の現状態を直感的に分かり易くユーザに通知することができる。
　（５）アクチュエータ７は、車両１の運転時にユーザの身体が触れる箇所に設けられている。よって、ユーザに対して音声認識機能の現状態を、触覚を通じて分かり易く通知することができる。
　（６）アクチュエータ７は、操作対象２が搭載された車両１を運転する際に操作する操作部１０（本例は、ステアリングホイール１１）に設けられている。よって、操作部１０の操作時には、同時にアクチュエータ７に触れる状態をとるので、操作部１０を操作しながらアクチュエータ７の動作パターンを認識することができる。また、運転姿勢で前方視のままアクチュエータ７の動作パターンを把握することも可能であるので、安全運転の確保という点からも効果が高い。
　（第２実施形態）
　次に、第２実施形態を図５～図７（ｃ）に従って説明する。なお、第２実施形態は、第１実施形態のアクチュエータ７の個数と動作パターンを変更した実施例である。よって、第１実施形態と同様の部分には同じ符号を付して詳しい説明を省略し、異なる部分についてのみ詳述する。
　図５に示すように、アクチュエータ７（例えば図２の振動装置９）は、複数設けられ、本例の場合、操作部１０の複数箇所に非隣接で配置されている。本例の場合、アクチュエータ７は、車両１のステアリングホイール１１の左右両側に計２つ設けられている。アクチュエータ７は、紙面右側を「７ａ」とし、紙面左側を「７ｂ」とする。制御部１４は、音声認識システム３の現状態に応じた動作パターンで、これら２つのアクチュエータ７ａ，７ｂを動作させる。このように、本例の場合、左右一対のアクチュエータ７ａ，７ｂを動作させて、音声認識システム３の現状態をユーザに把握させる。
　音声認識システム３は、音声認識機能の動作において音声認識システム３の出力動作を実行する出力部１７を備える。出力部１７は、例えば音声認識においてセリフ認識が完了した場合に、そのときの認識結果をユーザに通知する。出力部１７による音声認識結果の通知は、例えば聴覚的な通知や、視覚的な通知のいずれでもよい。
　図６に示すように、出力部１７は、例えば擬人化されたロボットエージェント１８とすることができる。ロボットエージェント１８は、座部１９と、ロボットの頭部を模した可動部２０とを備える。可動部２０は、座部１９に対して可動可能に取り付けられ、例えば上下左右に動くことが可能に構成されてもよい。可動部２０は、前面がディスプレイ２１となっており、ディスプレイ２１で表情を表現しつつ、内部のスピーカ２２から音声による発話を実行する。
　次に、図７（ａ）～（ｃ）を用いて、本実施形態の音声認識システム３及び提示装置８の作用について説明する。
　図７（ａ）に示すように、制御部１４は、例えば音声認識システム３がセリフ認識中のときや、音声認識結果通知を出力する音声ガイド中のときなど、音声入力を受け付けることができない状態の場合、音声認識システム３の操作の主導がシステム側（機械側）にあると判断する。制御部１４は、音声認識システム３の操作の主導がシステム側（機械側）にある場合、例えば、複数のアクチュエータ７ａ，７ｂのうち、出力部１７により近い側のアクチュエータ７ａ（図７（ａ）において紙面右側のアクチュエータ７ａ）を振動させる。よって、音声認識システム３の主導がシステム側にあり、ユーザは今操作できないことを認識することができる。
　図７（ｂ）に示すように、制御部１４は、例えば音声認識システム３が起動後に待機するときや、セリフ受付中のときなど、音声入力を受け付けることができる状態の場合、音声認識システム３の操作の主導がユーザ側（運転者側）にあると判断する。制御部１４は、音声認識システム３の操作の主導がユーザ側（運転者側）にある場合、左右に一対設けられたアクチュエータ７ａ，７ｂのうち、ユーザにより近い側のアクチュエータ７ｂ（図７（ｂ）において紙面左側のアクチュエータ７ｂ）を振動させる。よって、音声認識システム３の主導がユーザ側にあり、ユーザは音声入力が可能なことを認識することができる。
　図７（ｃ）に示すように、制御部１４は、例えば音声認識システム３が音声ガイド中ではあるが発話が可能な状態の場合、音声認識システム３の操作の主導がシステム及びユーザの両方にあると判断する。このとき、制御部１４は、左右両方のアクチュエータ７ａ，７ｂを振動させる。よって、ユーザは、音声認識システム３の主導がシステム及びユーザの両方にあることを、アクチュエータ７ａ，７ｂの振動から認識することができる。
　第２実施形態の音声認識システム３及び提示装置８によれば、第１実施形態の（１）～（６）に加え、以下のような効果を得ることができる。
　（７）複数のアクチュエータ７として、例えば、２つのアクチュエータ７ａ，７ｂが設けられる。制御部１４は、音声認識機能の現状態に応じた動作パターンでアクチュエータ７ａ，７ｂを作動させることにより、音声認識機能の現状態をユーザに把握させる。このため、複数のアクチュエータ７ａ，７ｂを作動させることにより種々の表現が可能となるので、音声認識機能の種々の現状態を、様々なバリエーションで通知することが可能となる。よって、音声認識機能のスムーズな操作の実現に一層寄与する。
　（８）アクチュエータ７ａ，７ｂは、操作部１０の複数箇所に非隣接で配置されている。制御部１４は、アクチュエータ７ａ，７ｂを作動させることにより、音声認識機能の現状態をユーザに把握させる。よって、操作部１０の複数箇所に非隣接で配置されたアクチュエータ７ａ，７ｂを用い、音声認識機能の種々の現状態を、様々なバリエーションで通知することができる。
　（第３実施形態）
　次に、第３実施形態を図８（ａ）～図９（ｂ）に従って説明する。なお、第３実施形態も、第１及び第２実施形態と異なる部分についてのみ詳述する。
　図８（ａ）、（ｂ）に示すように、複数（例えば、４つ）のアクチュエータ７ｃ～７ｆが操作部１０（例えば、ステアリングホイール１１）に設けられている。アクチュエータ７ｃ～７ｆは複数の組に組分けされており、この例では、第１組のアクチュエータ７ｃ，７ｄと、第２組のアクチュエータ７ｅ，７ｆに組分けされている。第１組のアクチュエータ７ｃ，７ｄは、ステアリングホイール１１の第１箇所（図８（ａ）において紙面右側）に互いに隣接して設けられている。第２組のアクチュエータ７ｅ，７ｆは、ステアリングホイール１１の第２箇所（図８（ａ）において紙面左側）に互いに隣接して設けられている。第１組のアクチュエータ７ｃ，７ｄは、ステアリングホイール１１の第１箇所（右側）においてステアリングホイール１１の径方向に並び配置されている。第２組のアクチュエータ７ｅ，７ｆは、ステアリングホイール１１の第２箇所（左側）においてステアリングホイール１１の径方向に並び配置されている。
　制御部１４は、音声認識システム３の現状態に応じた動作パターンで、複数のアクチュエータ７ｃ～７ｆを動作させる。本例の場合、制御部１４は、これら４つのアクチュエータ７ｃ～７ｆのうち、ステアリングホイール１１の径方向内側に位置するもの（アクチュエータ７ｃ，７ｅ）と、ステアリングホイール１１の径方向外側に位置するもの（アクチュエータ７ｄ，７ｆ）とを互いに協同させて、音声認識システム３の現状態に応じた動作パターンで振動させる。
　次に、図８（ａ）、（ｂ）を用いて、本実施形態の音声認識システム３及び提示装置８の作用について説明する。
　図８（ａ）に示すように、制御部１４は、音声認識システム３の操作の主導がシステム側（機械側）の場合、アクチュエータ７の各組において、ステアリングホイール１１の径方向内側に位置するアクチュエータ７ｃ，７ｅを振動させる。このように、径方向内側のアクチュエータ７ｃ，７ｅの群を振動させることで、音声認識システム３の主導がシステム側にあることをユーザに認識させる。
　図８（ｂ）に示すように、制御部１４は、音声認識システム３の操作の主導がユーザ側（運転者側）の場合、アクチュエータ７の各組において、ステアリングホイール１１の径方向外側に位置するアクチュエータ７ｄ，７ｆを振動させる。このように、径方向外側のアクチュエータ７ｄ，７ｆの群を振動させることで、音声認識システム３の主導がユーザ側にあることをユーザに認識させる。
　第３実施形態の変形例として、図９（ａ）、（ｂ）に示すように、左右の各組のアクチュエータ７は、ステアリングホイール１１の径方向と直交する方向に並び配置されてもよい。この場合、図９（ａ）に示すように、制御部１４は、音声認識システム３の操作の主導がシステム側（機械側）の場合、アクチュエータ７の各組において、ユーザから見て遠い側のアクチュエータ７ｇを振動させる。このように、アクチュエータ７ｇの振動が車両１の前方側に向くことをもって、音声認識システム３の主導がシステム側にあることを、ユーザに通知することができる。
　また、図９（ｂ）に示すように、制御部１４は、音声認識システム３の操作の主導がユーザ側（運転者側）の場合、アクチュエータ７の各組において、ユーザから見て手前側のアクチュエータ７ｈを振動させる。このように、アクチュエータ７ｈの振動がユーザ側を向くことをもって、音声認識システム３の主導がユーザ側にあることを、ユーザに通知することができる。
　第３実施形態及びその変形例の音声認識システム３及び提示装置８によれば、第１及び第２実施形態の（１）～（８）に加え、以下のような効果を得ることができる。
　（９）アクチュエータ７ｃ～７ｆは、操作部１０の異なる箇所に設けられた第１組のアクチュエータ７ｃ，７ｄと第２組のアクチュエータ７ｅ，７ｆに組分けされている。第１組のアクチュエータ７ｃ，７ｄは互いに隣接して設けられている。同様に、第２組のアクチュエータ７ｅ，７ｆは互いに隣接して設けられている。制御部１４は、音声認識機能の現状態に応じた動作パターンで複数組のアクチュエータ７ｃ～７ｆを協同させて、音声認識機能の現状態をユーザに把握させる。このため、操作部１０に設けられた複数組のアクチュエータ７ｃ～７ｆを協同させて、音声認識機能の種々の現状態を、様々なバリエーションで通知することができる。
　（第４実施形態）
　次に、第４実施形態を図１０～図１２に従って説明する。以下では、第４実施形態を、第３実施形態のアクチュエータ構成に基づく例として説明するが、第１又は第２実施形態のアクチュエータ構成に基づくものでもよい。なお、第４実施形態も、第１～第３実施形態と異なる部分についてのみ詳述する。
　図１０に示すように、音声認識システム３は、車内のユーザに対して視認可能な各種画面や絵柄を表示可能な表示部２５を備える。表示部２５は、例えば車内に設けられたカーナビゲーションシステムのディスプレイであることが好ましい。制御部１４は、音声認識システム３の現状態が表示部２５に表示される場合、表示部２５に表示される画像態様に沿った動作パターンでアクチュエータ７を作動させることにより、音声認識機能の現状態をユーザに把握させる。
　次に、図１１及び図１２を用いて、第４実施形態の音声認識システム３及び提示装置８の作用について説明する。
　図１１に示すように、制御部１４は、音声認識システム３の操作の主導がシステム側（機械側）にあると判断した場合、その旨を視認によって認識可能な画像態様を表示部２５に表示する。この画像態様の一例としては、例えば表示部２５に表示された環状のリング表示２６の内周に、高さが順に上がっていく階段状のグラフィック部２７を表示し、このグラフィック部２７をリング表示２６の内周に沿って繰り返し周回させる表示がある。また、リング表示２６の内部には、発話が不可であることを示す画像２８も表示されてもよい。
　制御部１４は、音声認識システム３の主導がシステム側にある旨を示す画像態様を表示部２５に表示する際、アクチュエータ７の各組において、ステアリングホイール１１の径方向内側に位置するアクチュエータ７ｃ，７ｅを振動させる。このように、表示部２５に表示されたリング表示２６の内周のグラフィック部２７と、ステアリングホイール１１の径方向内側に位置するアクチュエータ７ｃ，７ｅを振動させることとを対応付けるので、表示部２５の画像態様を、アクチュエータ７ｃ，７ｅの振動から容易にイメージできる。よって、音声認識システム３の主導がシステム側にあることの認識の助けとなる。
　一方、図１２に示すように、制御部１４は、音声認識システム３の操作の主導がユーザ側（運転者側）にあると判断した場合、その旨を視認によって認識可能な画像態様を表示部２５に表示する。この画像態様の一例としては、例えば表示部２５に表示された環状のリング表示３１の外周に、高さが順に上がっていく階段状のグラフィック部３２を表示し、このグラフィック部３２をリング表示３１の外周に沿って繰り返し周回させる表示がある。また、リング表示３１の内部には、発話が可能であることを示す画像３３も表示されてもよい。
　制御部１４は、音声認識システム３の主導がユーザ側にある旨を示す画像態様を表示部２５に表示する際、アクチュエータ７の各組において、ステアリングホイール１１の径方向外側に位置するアクチュエータ７ｄ，７ｆを振動させる。このように、表示部２５に表示されたリング表示３１の外周のグラフィック部３２と、ステアリングホイール１１の径方向外側に位置するアクチュエータ７ｄ，７ｆを振動させることとを対応付けるので、表示部２５の画像態様を、アクチュエータ７ｄ，７ｆの振動から容易にイメージできる。よって、音声認識システム３の主導がユーザ側にあることの認識の助けとなる。
　第４実施形態の音声認識システム３及び提示装置８によれば、第１～第３実施形態の（１）～（９）に加え、以下のような効果を得ることができる。
　（１０）制御部１４は、音声認識機能の現状態が表示部２５に表示される場合、表示部２５に表示される画像態様に沿った動作パターンでアクチュエータ７ｃ～７ｆを作動させることにより、音声認識機能の現状態をユーザに把握させる。本例の場合、表示部２５に表示された音声認識機能の現状態に準じた画像態様を、アクチュエータ７ｃ～７ｆの作動で表現するので、ユーザによる画像態様の認識の助けとなる。よって、音声認識機能のスムーズな操作の実現に一層寄与する。
　なお、上記各実施形態は、以下のように変更して実施することができる。上記実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
　［アクチュエータ７について］
　・各実施形態において、アクチュエータ７は、例えばステアリングホイール１１に搭載されたタッチパッドに設けられてもよい。この場合、音声認識機能の現状態に応じてタッチパッドが振動することにより、音声認識機能の現状態をユーザに伝える。なお、タッチパッドは、カーナビゲーション装置の操作や、走行系の種々の車載機器の操作に使用される。
　・各実施形態において、アクチュエータ７は、ステアリングホイール１１に設けられることに限定されず、例えばユーザが着座するシートに設けられてもよい。
　・各実施形態において、アクチュエータ７は、非隣接の場合、３つ以上設けられてもよい。また、アクチュエータ７は、隣接されるものを３つ以上としてもよい。
　・各実施形態において、アクチュエータ７は、振動装置９に限らず、例えば音声認識機能の現状態を視覚的に通知する場合には、モニタやディスプレイとしてもよい。
　・各実施形態において、アクチュエータ７は、振動装置９に限定されず、ユーザの五感に訴える出力が可能な部材であればよい。
　・各実施形態において、アクチュエータ７が複数設けられる場合、異なる部材にそれぞれ配置されてもよい。
　［操作部１０について］
　・各実施形態において、操作部１０は、ステアリングホイール１１に限定されない。また、アクチュエータ７が設けられる部材は、操作部１０に限定されず、例えばシートの肘掛けなど、他の部材に変更してもよい。
　・各実施形態において、操作部１０は、運転時にユーザ（運転者）の身体が常時触れる、或いは身体の触れる頻度が多い部材であればよい。
　・各実施形態において、操作部１０は、ステアリングホイール１１に限定されず、ユーザによって操作される部材であればよい。
　［音声認識機能について］
　・各実施形態において、音声認識機能の現状態は、実施例に述べた各状態に限定されず、音声認識の処理の過程で取り得るものであれば、種々の状態が適用できる。
　・各実施形態において、音声認識機能の操作対象２は、種々の装置や機器が適用できる。
　［出力部１７及び表示部２５について］
　・第２実施形態において、出力部１７は、ロボットエージェント１８に限定されず、音声認識の処理の過程で、音声や視覚による各種出力を行うことができるものであればよい。
　・第４実施形態において、表示部２５は、カーナビゲーション装置のモニタであることに限定されず、例えばヘッドアップディスプレイでもよい。
　［音声認識機能の現状態の通知について］
　・各実施形態において、音声認識機能の現状態の通知は、振動に限定されない。例えば視覚に訴える通知や、聴覚に訴える通知や、これらの組み合わせとしてもよい。
　・各実施形態において、五感は、触覚、視覚、聴覚、嗅覚、味覚のいずれを用いてもよいし、これらの組み合わせとしてもよい。
　［取得部１３、制御部１４及び作動情報Ｓｂについて］
　・各実施形態において、取得部１３及び制御部１４は、制御装置５に設けられることに限定されず、音声認識システム３の要素であれば、どこに設けられてもよい。また、取得部１３及び制御部１４は、音声認識システム３の要素から独立した構成としてもよい。
　・各実施形態において、作動情報Ｓｂは、音声認識部６から出力されるものに限定されず、音声認識機能の現状態が判別できる情報であればよい。
　［その他］
　・各実施形態において、音声認識結果に基づく情報の提供を行っていない状態とは、音声認識システム３単体では作動しているか否かを認識できない状態をいう。
　・各実施形態において、提示装置８は、車両１に適用されることに限定されず、他の機器や装置に使用されてもよい。
　・本開示における音声認識システム３及び提示装置８を実現する複数の処理デバイスのうちの任意の１つ以上（例えば、音声入力装置４、音声認識部６、取得部１３、及び／又は制御部１４）は、１つ又は複数のプロセッサと、プロセッサが実行可能な命令であって上記各実施形態及び上記各変形例のいずれかに従った各種処理（例えば、音声認識処理に関連付けられたアクチュエータ出力（感覚提示）の制御）を実現するための命令を記憶した非一時的メモリとを含むコンピュータシステムとして構築することができる。或いは、複数の処理デバイスのうちの任意の１つ以上は、特定用途向け集積回路（ＡＳＩＣ）などの専用ハードウェアで構成されてもよい。従って、本開示は以下の実施態様を包含する。
　（実施態様１）
　コンピュータシステムであって、
　１つ又は複数のプロセッサと、
　前記プロセッサが実行可能な命令であって、複数の処理を実現するための命令を記憶した非一時的メモリと、を備え、
　前記複数の処理が、
　　ユーザが発話した音声を認識する音声認識システム（３）の現状態を示す作動情報（Ｓｂ）を取得すること、
　　前記作動情報（Ｓｂ）に基づいてアクチュエータ（７）を駆動することにより、前記音声認識システム（３）の現状態に応じたアクチュエータ出力パターンによる感覚提示をユーザに提供すること、
を含む、コンピュータシステム。
　（実施態様２）
　実施態様１のコンピュータシステムにおいて、
　前記感覚提示をユーザに提供することは、
　　前記作動情報（Ｓｂ）に基づいて前記アクチュエータ（７）を異なる動作パターンで駆動することにより、前記音声認識システム（３）の異なる現状態に応じた前記アクチュエータ出力パターンを形成することを含む、コンピュータシステム。
　（実施態様３）
　実施態様１又は２のコンピュータシステムにおいて、
　前記アクチュエータは、複数のアクチュエータ（７ａ，７ｂ；７ａ～７ｄ）のうちの１つであり、
　前記感覚提示をユーザに提供することは、
　　前記作動情報（Ｓｂ）に基づいて前記複数のアクチュエータ（７ａ，７ｂ；７ａ～７ｄ）のうちの少なくとも１つを駆動することにより、前記音声認識システム（３）の異なる現状態に応じた前記アクチュエータ出力パターンを形成することを含む、コンピュータシステム。
　（実施態様４）
　実施態様３のコンピュータシステムにおいて、
　前記複数のアクチュエータ（７ａ～７ｄ）は、複数組のアクチュエータ（７ｃ＋７ｄ，７ｅ＋７ｆ）に組分けされ、
　前記感覚提示をユーザに提供することは、
　　前記作動情報（Ｓｂ）に基づいて各組のアクチュエータの少なくとも１つを同時に駆動することにより、前記音声認識システム（３）の異なる現状態に応じた前記アクチュエータ出力パターンを形成することを含む、コンピュータシステム。
　（実施態様５）
　実施態様１～４のいずれか一つのコンピュータシステムにおいて、
　前記音声認識システム（３）は、前記音声認識システム（３）の現状態を出力する音声出力部（１７）及び表示部（２５）の少なくとも一方を含み、
　前記感覚提示をユーザに提供することは、
　　前記音声出力部（１７）及び表示部（２５）の少なくとも一方に連動した前記アクチュエータ出力パターンを形成することを含む、コンピュータシステム。
　（実施態様６）
　実施態様１～５のいずれか一つのコンピュータシステムにおいて、
　前記アクチュエータ（７）は振動装置（９）であり、前記感覚提示は、前記振動装置による少なくとも触覚提示を含む、コンピュータシステム。
　（実施態様７）
　実施態様１～６のいずれか一つのコンピュータシステムにおいて、
　前記コンピュータシステムは、前記音声認識システム（３）内に組み込まれるか又は前記音声認識システム（３）とは別に設けられる提示装置（８）として実装される、コンピュータシステム。

Claims (10)

  1. 　音声入力を通じて操作対象を動作させる音声認識機能の現状態に基づく作動情報を取得する取得部と、
    　前記取得部で取得した前記作動情報を基に、五感の少なくとも１つの感覚に訴える出力が可能なアクチュエータを作動させることにより、前記音声認識機能の現状態をユーザに把握させる制御部と
    を備えた提示装置。
  2. 　前記現状態には、音声認識結果に基づく情報の提供を行っていない状態を含む
    請求項１に記載の提示装置。
  3. 　前記制御部は、音声入力が可能な状態か否かを、前記アクチュエータの動作パターンを通じてユーザに把握させる
    請求項１又は２に記載の提示装置。
  4. 　前記制御部は、前記アクチュエータの振動により、前記音声認識機能の現状態をユーザに把握させる
    請求項１～３のうちいずれか一項に記載の提示装置。
  5. 　前記アクチュエータは、車両の運転時にユーザの身体が触れる箇所に設けられている
    請求項１～４のうちいずれか一項に記載の提示装置。
  6. 　前記アクチュエータは、複数のアクチュエータのうちの１つであり、
    　前記制御部は、前記音声認識機能の現状態に応じた動作パターンで前記複数のアクチュエータを作動させることにより、前記音声認識機能の現状態をユーザに把握させる
    請求項１～５のうちいずれか一項に記載の提示装置。
  7. 　前記アクチュエータは、前記操作対象が搭載された車両を運転する際に操作する操作部に設けられている
    請求項１～６のうちいずれか一項に記載の提示装置。
  8. 　前記アクチュエータは、前記操作部の複数箇所に非隣接で配置された複数のアクチュエータのうちの１つであり、
    　前記制御部は、前記複数のアクチュエータを作動させることにより、前記音声認識機能の現状態をユーザに把握させる
    請求項７に記載の提示装置。
  9. 　前記アクチュエータは、複数のアクチュエータのうちの１つであり、
    　前記複数のアクチュエータは、前記操作部の異なる箇所に配置された複数組のアクチュエータに組分けされ、各組のアクチュエータが、対応する前記箇所において互いに隣接して設けられており、
    　前記制御部は、前記複数組のアクチュエータを協同させて、前記音声認識機能の現状態をユーザに把握させる
    請求項７に記載の提示装置。
  10. 　前記制御部は、前記音声認識機能の現状態が表示部に表示される場合、前記表示部に表示される画像態様に沿った動作パターンで前記アクチュエータを作動させることにより、前記音声認識機能の現状態をユーザに把握させる
    請求項１～９のうちいずれか一項に記載の提示装置。
PCT/JP2020/020726 2019-09-04 2020-05-26 提示装置 WO2021044676A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-161089 2019-09-04
JP2019161089A JP2021039260A (ja) 2019-09-04 2019-09-04 提示装置

Publications (1)

Publication Number Publication Date
WO2021044676A1 true WO2021044676A1 (ja) 2021-03-11

Family

ID=74847060

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/020726 WO2021044676A1 (ja) 2019-09-04 2020-05-26 提示装置

Country Status (2)

Country Link
JP (1) JP2021039260A (ja)
WO (1) WO2021044676A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03112000A (ja) * 1989-09-26 1991-05-13 Nissan Motor Co Ltd 情報伝達装置
JPH11249692A (ja) * 1998-02-27 1999-09-17 Nec Saitama Ltd 音声認識装置
JP2002287795A (ja) * 2001-03-27 2002-10-04 Clarion Co Ltd 車載用音声認識装置
JP2004505324A (ja) * 2000-07-29 2004-02-19 ローベルト　ボツシユ　ゲゼルシヤフト　ミツト　ベシユレンクテル　ハフツング 自動車における音響による機能制御方法およびシステム
JP2006219000A (ja) * 2005-02-10 2006-08-24 Honda Motor Co Ltd 車両用操作装置
JP2009072050A (ja) * 2007-09-18 2009-04-02 Ricoh Elemex Corp 充電システム、充電装置、および携帯機器
JP2018180217A (ja) * 2017-04-11 2018-11-15 株式会社東海理化電機製作所 制御装置、および音声入力システム
JP2019079555A (ja) * 2009-03-12 2019-05-23 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03112000A (ja) * 1989-09-26 1991-05-13 Nissan Motor Co Ltd 情報伝達装置
JPH11249692A (ja) * 1998-02-27 1999-09-17 Nec Saitama Ltd 音声認識装置
JP2004505324A (ja) * 2000-07-29 2004-02-19 ローベルト　ボツシユ　ゲゼルシヤフト　ミツト　ベシユレンクテル　ハフツング 自動車における音響による機能制御方法およびシステム
JP2002287795A (ja) * 2001-03-27 2002-10-04 Clarion Co Ltd 車載用音声認識装置
JP2006219000A (ja) * 2005-02-10 2006-08-24 Honda Motor Co Ltd 車両用操作装置
JP2009072050A (ja) * 2007-09-18 2009-04-02 Ricoh Elemex Corp 充電システム、充電装置、および携帯機器
JP2019079555A (ja) * 2009-03-12 2019-05-23 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法
JP2018180217A (ja) * 2017-04-11 2018-11-15 株式会社東海理化電機製作所 制御装置、および音声入力システム

Also Published As

Publication number Publication date
JP2021039260A (ja) 2021-03-11

Similar Documents

Publication Publication Date Title
CN104750247B (zh) 使用单个控制器和支持触觉的用户接口控制多个显示器的系统和方法
JP6686930B2 (ja) 運転支援装置
WO2011027646A1 (ja) 運転支援装置
JP5079582B2 (ja) タッチ式センサ
WO2019058781A1 (ja) 駐車支援装置
JP2001255890A (ja) 音声制御するための装置および方法
WO2018025517A1 (ja) 表示操作装置
WO2021044676A1 (ja) 提示装置
JP2019074498A (ja) 運転支援装置
JP2007242390A (ja) 車両用シート
JPH11278173A (ja) 自動車操作装置
JP2018180217A (ja) 制御装置、および音声入力システム
JP3524199B2 (ja) 情報提示装置
JP6760323B2 (ja) 運転支援装置
JP4311378B2 (ja) 入力装置
JP7336228B2 (ja) 車両の非接触操作装置、および車両
JP7377615B2 (ja) 車両の非接触操作装置、および車両
JP2011186622A (ja) 覚醒支援装置
JP4694017B2 (ja) 車載用音声認識装置
JP6788977B2 (ja) 車両及び車両における制御方法
JP2021043762A (ja) 提示装置
JP2004009834A (ja) 車両用操作表示装置
JP2023019245A (ja) エージェント装置
WO2022050113A1 (ja) 呈示装置及び呈示方法
JP2023019246A (ja) エージェント装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20860795

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20860795

Country of ref document: EP

Kind code of ref document: A1