WO2022254670A1 - 表示制御装置及び表示制御方法 - Google Patents

表示制御装置及び表示制御方法 Download PDF

Info

Publication number
WO2022254670A1
WO2022254670A1 PCT/JP2021/021239 JP2021021239W WO2022254670A1 WO 2022254670 A1 WO2022254670 A1 WO 2022254670A1 JP 2021021239 W JP2021021239 W JP 2021021239W WO 2022254670 A1 WO2022254670 A1 WO 2022254670A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
screen
voice
category
dialogue system
Prior art date
Application number
PCT/JP2021/021239
Other languages
English (en)
French (fr)
Inventor
克 田▲崎▼
詠二 曽根崎
Original Assignee
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社 filed Critical 日産自動車株式会社
Priority to EP21943348.9A priority Critical patent/EP4350689A4/en
Priority to JP2023525293A priority patent/JPWO2022254670A1/ja
Priority to PCT/JP2021/021239 priority patent/WO2022254670A1/ja
Priority to US18/565,573 priority patent/US20240265918A1/en
Priority to CN202180098914.4A priority patent/CN117396956A/zh
Publication of WO2022254670A1 publication Critical patent/WO2022254670A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/01—Assessment or evaluation of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Definitions

  • the present invention relates to a display control device and a display control method.
  • An agent device that provides services including responses in response to utterances by vehicle occupants (for example, Patent Document 1).
  • This agent device recognizes a command included in the utterance of a passenger, outputs the recognized command to a plurality of agent function units, and based on the results made by each of the plurality of agent function units, a plurality of agent function units.
  • an agent function unit that responds to the passenger's speech is selected, and the selected agent function unit executes the response to the passenger's speech.
  • the agent function part is selected based on the command included in the utterance content, and the operability is poor for users who do not understand what kind of command should be included in the utterance content. There's a problem.
  • the problem to be solved by the present invention is to provide a display control device and a display control method with improved operability.
  • the present invention causes the display to display a main screen including an operating state image showing the operating state of the dialogue system before voice is detected, and includes a category image in which commands are grouped when voice processing is not completed normally.
  • the display screen of the display changes according to the result of the voice recognition process, and even when the voice recognition process does not proceed normally, the display screen of the display changes, so that operability can be improved.
  • FIG. 1 is a block diagram showing a dialogue service system according to one embodiment of the present invention.
  • 2 is a front view of a dashboard with the display of FIG. 1;
  • FIG. 3A is a table for explaining the relationship between the operation of the steering wheel switch, the wakeup word, and the activation switching of the dialogue system.
  • FIG. 3B is a table for explaining the relationship between the operation of the steering wheel switch, the wakeup word, and the activation switching of the dialogue system in the modified example.
  • 4 is a diagram showing a display screen of the display in FIG. 1.
  • FIG. 5 is a diagram showing a display screen of the display in FIG. 1.
  • FIG. 6 is a diagram showing a display screen of the display in FIG. 1.
  • FIG. 7 is a diagram showing a display screen of the display in FIG.
  • FIG. 8 is a diagram showing a display screen of the display in FIG. 1.
  • FIG. 9 is an animation image and a graph for explaining the temporal transition of the animation "voice detection state”.
  • FIG. 10 is an animation image and a graph for explaining the time transition of the animation.
  • 11A and 11B are conceptual diagrams for explaining the image structure of the animation and indexes selected at the time of screen transition.
  • 12 is a diagram showing a display screen of the display in FIG. 1.
  • FIG. 13 is a diagram showing a display screen of the display in FIG. 1.
  • FIG. 14 is a diagram showing a display screen of the display in FIG. 1.
  • FIG. 15 is a diagram showing a display screen of the display in FIG. 1.
  • FIG. 16 is a diagram showing a display screen of the display in FIG. 1.
  • FIG. 17 is a diagram showing a display screen of the display in FIG. 1.
  • FIG. 18 is a diagram showing a display screen of the display in FIG. 1.
  • FIG. 19 is a table showing a model flow of dialogue in the dialogue system of FIG.
  • FIG. 20 is a table showing a model flow of dialogue in the dialogue system of FIG. 21 is a diagram showing a display screen of the display in FIG. 1.
  • FIG. 22 is a table showing a model flow of dialogue in the dialogue system of FIG.
  • FIG. 23 is a table showing a model flow of dialogue in the dialogue system of FIG.
  • FIG. 24 is a table showing a model flow of dialogue in the dialogue system of FIG.
  • FIG. 25 is a table showing a model flow of dialogue in the dialogue system of FIG.
  • FIG. 1 is a block diagram showing a dialogue service system according to one embodiment of the present invention.
  • the interactive service system is a system mounted on a vehicle, and includes a display 10, a communication device 20, a handle switch 30, an ECU 40, and a controller 100.
  • the dialogue service system according to the present embodiment includes a system for providing services to the crew by interacting with the crew using a voice processing function, and a system for controlling the display screen of the display.
  • the display 10 is a touch panel display and is mounted on the vehicle.
  • the touch panel type display 10 includes a pressure-sensitive sensor, and detects the touch operation by the passenger by measuring the pressing force applied to the display 10 at the time of the touch operation from the resistance value, voltage, or the like.
  • the mechanism of the pressure sensor is not particularly limited, and any method known at the time of filing can be used as appropriate.
  • the touch panel is not limited to the pressure-sensitive type, and may be of another type such as an electrostatic type.
  • FIG. 2 is a front view of the vicinity of a dashboard equipped with a touch panel. As shown in FIG. 2, the display 10 is a display (center display) in the front part of the dashboard, and is arranged between the driver's seat and the passenger's seat.
  • the display 10 is provided at a position that can be touched by an occupant sitting on the driver's seat and by an occupant sitting on the front passenger seat. Moreover, the display 10 does not necessarily have to be placed at a position where both the driver and the front passenger can touch it, and for example, it may be placed at a position where only the driver can touch it. Further, the display 10 is not limited to the dashboard, and may be arranged, for example, at a position touched by an occupant in the rear seat.
  • a touch operation is a pointing operation performed by a gesture using a finger, such as touching an icon or button displayed on the display 10 with the finger or bringing the finger close to the icon or button.
  • Touch operations include tap (touching the screen once), double tap (touching the screen twice), long tap (pressing and holding the screen for a long time), and swipe (swiping the finger touching the screen as it is on the screen ( tracing a finger)), flick (moving a finger that touches the screen quickly on the screen), pinch-in/pinch-out (touching the screen with two fingers and bringing them closer/farther apart), etc. is.
  • the touch operation is not limited to the first gesture of touching one or more points on the screen with the finger, but may include the second gesture of moving the touch point of the finger while touching the screen.
  • the touch operation does not have to directly touch the display screen, and may be so-called hovering, in which a finger or the like is brought closer to the display screen. Note that the operation method of the touch operation is not limited to these, and other methods may be used.
  • the communication device 20 is a communication device capable of communicating with the server 2 outside the vehicle.
  • the communication device 20 transmits and receives signals between the controller 100 and the server 2 .
  • a steering wheel switch (steering switch) 30 is a switch for starting up (activating) the dialogue system, and is provided on the steering wheel as shown in FIG.
  • a passenger (driver) operates the handle switch 30 to activate the dialogue system when he/she wants to receive the service provided by the dialogue system.
  • the dialogue system mainly uses a speech recognition engine provided in the vehicle 1 to perform speech processing and provides services, and a speech recognition engine included in the server 2. It includes a second dialogue system 32 which is used to perform voice processing and to provide services from the server 2 to the occupants.
  • the handle switch 30 is assigned to activate one of the dialogue systems, and the operation of the handle switch 30 activates either the first dialogue system or the second dialogue system.
  • the ECU 40 is a control unit that controls objects to be controlled such as the air conditioner 41 and the sunroof 42, and controls the objects to be controlled and the controller 100 via a CAN communication network.
  • the number of ECUs 40 is not limited to one, but is a large number of control units, and the ECU 40 is connected to each control object.
  • the controller 100 is configured by a computer including hardware and software, and has a memory storing programs and a CPU etc. for executing the programs stored in this memory. Further, the controller 100 has a dialogue system control unit 110, an activation unit 120, and a display control unit 130 as functional blocks. A program for implementation is stored in the memory. A computer included in the controller 100 executes a program to realize each function of the functional blocks. Also, the controller 100 is connected to the display 10, the communication device 20, the handle switch 30, and the ECU 40 via a CAN communication network or the like. The controller 100 is not limited to the dialog system control unit 110, the activation unit 120, and the display control unit 130, but also has control blocks for controlling various systems in the vehicle interior, such as functions for controlling the audio system. Control other in-vehicle equipment. A device having the controller 100 corresponds to the "display control device" of the present invention.
  • the dialogue system control unit 110 has a function of recognizing the voice of the passenger and controls the dialogue system.
  • the dialogue system control section 110 has a speech recognition section 111 and a first dialogue system 112 .
  • the voice recognition unit 111 detects the voice input of the passenger, and uses the voice recognition engine included in the first dialogue system 112 to recognize the voice by performing voice processing on the detected voice.
  • the speech recognition unit 11 detects the input speech. Voice detection is performed from the start of voice input until a predetermined time elapses after the end of voice input.
  • the voice recognition unit 11 detects the voice from the beginning to the end of the message and recognizes the message. After a silent period of a predetermined time from the end, voice detection is terminated.
  • the speech recognition unit 11 recognizes the detected speech by performing speech processing using a speech recognition engine.
  • the speech recognition unit 111 when it recognizes a wakeup word for activating the dialogue system, it outputs a control signal indicating recognition of the wakeup word to the second interface 122, which will be described later.
  • the wakeup word is a pre-determined calling message such as "Hello XX (name of car manufacturer, compatibility with dialogue system, etc.)". Note that the wakeup word may be changed according to the setting of the crew member.
  • the first dialogue system 112 is an in-vehicle voice processing system and is mainly intended for cooperation with in-vehicle equipment. provide services to the crew.
  • the first dialogue system 112 is connected to the ECU 40 in order to cooperate with in-vehicle equipment such as the air conditioner 41, the sunroof 42, the navigation system, the audio system, and the hands-free system.
  • the first dialogue system 112 has a communication function for communicating with various ECUs. For example, when an occupant speaks to the dialogue system to change the temperature setting of the air conditioner 41, the voice recognition unit 111 performs voice processing, and based on the voice data recognized by the voice recognition unit 111, the object to be controlled is determined.
  • the air conditioner 41 After specifying the air conditioner 41 to be, a control command is generated, and the control command is output to the ECU 40 through the in-vehicle communication path (CAN communication network).
  • the in-vehicle communication path through which the control signal passes includes the communication path connecting between the controller 100 and the communication device 20.
  • the ECU 40 controls the air conditioner 41 according to the control command and changes the set temperature of the air conditioner 41 .
  • the first dialogue system 112 provides services to the passengers through dialogue.
  • the service provided by the first dialogue system 112 is not limited to the setting of the air conditioner 41, and may be adjustment of the wind direction, air volume, etc. of the air conditioner 41.
  • FIG. Examples of other services include navigation system route guidance, audio system settings, hands-free system phone operation and phone number search, short message service (SMS), opening and closing of sunroof 42, windows, back doors, sliding doors, etc. It is the operation of in-vehicle equipment such as operation.
  • SMS short message service
  • the second dialogue system 32 included in the server 2 is a system that performs speech processing using an external speech recognition engine. provide to The services provided by the second interactive system 32 are a wide variety of services such as shopping using the Internet and remote control of home electrical appliances. Unlike the first dialogue system 112, the second dialogue system 32 is not intended to cooperate with in-vehicle equipment. In addition, regarding the difference between the first dialogue system 112 and the second dialogue system 32, the first dialogue system and the second dialogue system are separate dialogue systems, and the first dialogue system transmits control commands to in-vehicle equipment through an in-vehicle communication path.
  • a speech recognition engine (corresponding to the “first speech recognition engine” of the present invention)
  • the second dialogue system has a speech recognition engine (the speech recognition engine of the present invention) different from the speech recognition engine included in the first dialogue system. equivalent to a "second speech recognition engine”).
  • the difference between the first dialogue system 112 and the second dialogue system 32 is that the first dialogue system 112 inputs or outputs a control command to the in-vehicle equipment through the in-vehicle communication path, whereas the second dialogue system 32 Alternatively, the control command may not be input to or output from on-vehicle equipment other than the communication device 20 through the in-vehicle communication path.
  • the difference between the first dialogue system 112 and the second dialogue system 32 is that the first dialogue system communicates through an in-vehicle communication path other than the communication path connecting between the communication device 20 and the first dialogue system 112.
  • a system that outputs the control command to the vehicle-mounted device and does not output the control command through an in-vehicle communication path other than the communication path connecting the communication device 20 and the first dialogue system 112 may be used.
  • the speech recognition unit 111 detects the passenger's speech input and transmits the detected speech data to the server 2 via the communication device 20 .
  • the second dialog system 32 of the server 2 performs voice processing on the input voice data and transmits the processing result to the vehicle 1 .
  • the voice recognition unit 111 outputs the result of processing by the second dialogue system 32 through voice output from the in-vehicle speaker or the display screen of the display 10 .
  • the first dialogue system 112 may be connected not only to the ECU 40 inside the vehicle, but also to the server 2 outside the vehicle.
  • the first dialogue system 112 may connect to the server 2 outside the vehicle and perform speech recognition processing using a speech recognition engine outside the vehicle.
  • a speech recognition engine outside the vehicle.
  • the first dialogue system 112 performs speech recognition processing using a speech recognition engine outside the vehicle.
  • the activation unit 120 is a functional block for activating the first dialogue system 112 and the second dialogue system 32 and has a first interface 121 and a second interface 122 .
  • the first interface 121 transmits a start command to the dialogue system by operating the handle switch 30. 32 are connected to each other.
  • the first interface 121 transmits an activation command to either one of the first dialogue system 112 and the second dialogue system 32 .
  • the first interface 121 never sends control commands to both the first dialogue system 112 and the second dialogue system 32 at the same time.
  • the transmission destination of the control command by the first interface 121 is determined by the setting of the passenger and/or the initial setting at the time of shipment from the factory.
  • the first interface 121 transmits an activation command to the first dialogue system 112 when receiving an operation command by operating the handle switch 30. do. If the handle switch 30 is assigned to activate the second dialogue system 32 , the second interface 122 sends an activation command to the second dialogue system 32 .
  • the activation command for the second dialogue system 32 is a command for enabling communication between the vehicle 1 and the server 2 and enabling the vehicle 1 to use the dialogue system of the server 2. .
  • the second interface 122 sends an activation command to the dialogue system by means of a wakeup word.
  • a second interface 122 is a connection between the speech recognizer 111 and the dialogue system.
  • the second interface 122 sends an activation command to either one of the first dialogue system 112 and the second dialogue system 32 .
  • the first interface 121 never sends control commands to both the first dialogue system 112 and the second dialogue system 32 at the same time.
  • the second interface 122 sends an activation command to the first interactive system 112 .
  • the transmission destination of the control command by the second interface 122 is determined by factory default settings.
  • the wakeup word is assigned to the activation of the first dialogue system 112.
  • the speech recognition unit 111 recognizes the wakeup word
  • the second interface 122 recognizes the wakeup word of the first dialogue system 112. Send a start command to In other words, the speech recognition engine included in the first dialogue system 112 is on standby in a state where at least the wakeup word can be recognized. A wake-up command is sent to the first dialog system 112 and the first dialog system 112 wakes up the speech recognition engine so that various words other than the wake-up word can be recognized. It should be noted that the second interface 122 sends an activation command to the second dialogue system 32 when the wakeup word is assigned to the activation of the second dialogue system 32 .
  • the activation unit 120 sets the transmission destination of the activation command to either one of the first dialogue system 112 and the second dialogue system 32 based on the operation of the passenger.
  • the occupant's operation for setting the transmission destination of the activation command includes a touch operation on the display 10, a switch operation other than the handle switch 30, and the like.
  • the controller 100 displays a setting screen of the dialogue system on the display 10, and the passenger selects the first dialogue system 112 and the second dialogue system 32 from the displayed setting screen. Touch the selection menu for selecting one of the systems, and select the interactive system you want to use on the selection menu.
  • the activation unit 120 sets the transmission destination of the activation signal of the first interface 121 in order to transmit the activation signal to the dialogue system selected by the touch operation on the display 10 .
  • the activation unit 120 changes the first interface 121 is set to the second interactive system 32.
  • the passenger can select the dialogue system to be activated when the handlebar switch 30 is operated from the first dialogue system 112 and the second dialogue system 32 according to his/her preference.
  • the activation unit 120 activates the first interface 121 based on the voice recognized by the dialogue system control unit 110.
  • Either one of the first dialogue system 112 and the second dialogue system 32 may be set as the transmission destination of the command.
  • the passenger While the passenger is having a conversation with the controller 100 through the first dialogue system 112, the passenger wishes to change the assignment of the handlebar switch 30 from the first dialogue system 112 to the second dialogue system 32.
  • the dialog system control unit 110 recognizes the voice of the passenger and transmits a control command to the activation unit 120 to allocate the steering wheel switch 30 to activate the second dialog system 32 .
  • the activation unit 120 sets the transmission destination of the activation signal from the first interface 121 to the second dialogue system 32 based on the control command.
  • the passenger can select the first dialogue system 112 or the second dialogue system 32 as the target system to be activated when the handle switch 30 is operated through dialogue using the system.
  • the dialogue system that can be activated by operating the handle switch 30 is configured such that the passenger can select either the first dialogue system 112 or the second dialogue system 32, but it is activated by the wake-up word.
  • the available dialogue system is fixed to the first dialogue system 112 .
  • the first dialogue system 112 is mainly intended for cooperation with in-vehicle equipment, so it is used more frequently than the second dialogue system 32 . Therefore, by fixing the activation by the wakeup word to the first dialogue system 112, it is possible to improve the convenience for the passengers.
  • the allocation of the handlebar switches 30 can be selected by the passenger, it is possible to ensure the degree of freedom in selection of the dialogue system.
  • FIG. 3A is a table for explaining whether or not activation of the first/second dialogue system can be switched.
  • the "wakeup word" can activate the first dialog system 112 and cannot activate the second dialog system 32.
  • FIG. The "handle switch” can activate either the first dialogue system 112 or the second dialogue system 32 depending on the setting of the passenger. That is, activation of the dialogue system by the handle switch 30 can be selected exclusively.
  • the handle switch 30 is assigned to the first dialogue system 112
  • the second dialogue system 32 cannot be activated by the operation of the handle switch 30 and the wakeup word. It can be activated by selection on the menu screen displayed on 10 or by operating a switch other than the handle switch 30 .
  • FIG. 3B is a table for explaining the correlation with activation of the first/second dialogue systems in the dialogue service system according to the modified example of this embodiment.
  • the dialogue system that can be activated by the wakeup word can be exclusively selected by user setting.
  • the activation unit 120 sets one of the first dialogue system 112 and the second dialogue system 32 as the transmission destination of the activation command when the wakeup word is recognized.
  • the passenger can select the dialogue system to be activated from the first dialogue system 112 and the second dialogue system 32 by touching the display 10, operating switches other than the handle switch 30, and interacting with the controller 100 using the dialogue system. This avoids a situation in which a plurality of dialogue systems are activated when the wake-up word is issued. It can be selected from system 32 .
  • the dialogue system may have its own standard regarding system startup.
  • the original standard states, "When a specific dialogue system can be activated, other dialogue systems must be turned off (disabled)."
  • a dialogue system having such a standard is used as the first dialogue system 112
  • the activation of the dialogue system by the wakeup word can be changed by the user setting
  • the allocation of the activation by the wakeup word can be changed by the user setting as in the modified example, or the dialogue system can be exclusively can be selected. That is, according to the standard of the first dialogue system, the first dialogue system 112 and the second dialogue system 32 must be activated exclusively.
  • the degree of freedom in selection of the dialog system is maintained while complying with the standard of the dialog system. can also be ensured.
  • the interaction system control unit 110 may audibly output the changes to the passenger.
  • the display control unit 130 controls the display screen of the display 10. Further, when the display detects a touch operation, the display control unit 130 accepts an operation command according to the position of the touch operation on the display screen and the type of the touch operation.
  • the display control unit 130 causes the display 10 to display an operation screen for operating the dialogue system, a setting screen for the dialogue system, a screen for displaying information provided by the dialogue system, and the like.
  • the display control unit 130 outputs an operation command received by a touch operation on the display 10 to the dialogue system control unit 110 and the activation unit 120 .
  • the control of the dialog system by the dialog system control unit 110 and the control of the display screen by the display control unit 130 are associated by an application (software).
  • the operating state of the dialogue system controlled by the dialogue system control section 110 is displayed on the display 10 .
  • the display control unit 130 controls the display screen of the display 10 according to the dialogue by the dialogue system.
  • the dialogue system control unit 110 transmits a control command according to the contents of the dialogue to the display control unit 130, and the display control unit 130 responds to the control command. transition the display screen of
  • FIG. 4 is a display screen of the display 10 and shows the top screen of the entire system including the interactive service system.
  • the display control unit 130 displays the top screen on the display 10.
  • the top screen is a menu screen for selecting the navigation system, music, first dialogue system 112 and second dialogue system 32 .
  • Each menu screen contains icons representing contents, for example, the menu image of the first dialogue system 112 contains the first icon 101 and the menu image of the second dialogue system 32 contains the second icon 102 .
  • the first icon 101 is an icon that validates the touch operation for activating the first dialogue system 112
  • the second icon 102 is an icon that validates the touch operation for activating the second dialogue system 32. be.
  • the activation unit 120 transmits an activation signal to the first dialogue system 112 .
  • the activation unit 120 transmits an activation signal to the second dialogue system 32 .
  • the first dialogue system 112 and the second dialogue system 32 can be exclusively selected by touch operation on the display 10 .
  • the operation state of the first dialogue system 112 includes four states: "initial state”, “speech acceptable state”, “speech detection state”, and "speech processing state”.
  • the initial state is a state from when the voice recognition engine is activated based on the activation signal until it becomes ready to detect voice.
  • the speech recognition unit 111 performs initialization processing before speech processing.
  • the operation state of the first dialogue system 112 changes from the initial state to the voice reception enabled state.
  • the voice-acceptable state is a state in which voice can be accepted, and indicates a state in which the passenger does not speak.
  • the voice detection state is a state in which voice can be received, and is a state in which the passenger speaks and the voice is detected.
  • the operating state of the first dialog system 112 is the voice input acceptance state, and when voice is input, the first dialog system 112 is activated.
  • the operating state is the voice detection state.
  • the speech processing state is a state in which speech processing is being performed by the speech recognition engine.
  • the display screens in FIGS. 5 to 8 represent the main images in the service through the dialogue system, and include operating state images showing the operating state of the dialogue system.
  • the operation state image is an image representing what state (status) the dialogue system is in for the passenger, and corresponds to text, animation, patterns, and the like.
  • the main message 50 and/or the animation 70 correspond to the operating state image.
  • FIG. 5 shows a display screen displayed on the display 10 when the operating state of the first interactive system 112 is "initial state".
  • the “initial state” display screen includes a main message 50 , a sample message 60 and an animation 70 .
  • the main message 50 is a message directed from the first dialogue system 112 to the passenger, and is a notation prompting the passenger to input by voice. By confirming the main message 50, the passenger can confirm that the dialogue system has been activated. That is, the main message 50 corresponds to an operating state image indicating that the interactive system has been activated.
  • the sample message 60 represents an example of speech to be uttered by the passenger in order to use the first dialogue system 112 and includes commands 61 and setting values 62 .
  • the command 61 is a word representing the operation or state of the service that the passenger wants to receive through the dialogue system, and represents an operation command from the passenger to the dialogue system.
  • the set value 62 is a word or phrase representing a service target, and is represented by a noun such as a numerical value or a name. For example, in the message "Play station AAA Radio" on the second line of the sample message 60, "Play” indicates the command and "station AAA Radio” indicates the set value. The command “Play” indicates to operate the audio system, and "station AAA Radio” indicates the target (name of the radio station) to be played back on the audio system.
  • the sample message 60 also serves as a function button. For example, when the passenger touches the message "Enter Number" on the third row, the screen transitions to a screen for entering a telephone number.
  • the animation 70 is an image that expresses the status of a given function with periodic movements.
  • the predetermined function corresponds to the speech detection processing function in the dialogue system
  • the status corresponds to the operating state of the dialogue system.
  • Cyclic motion is represented by waveform motion.
  • animation 70 there are four animations 71 - 74 to represent the four operating states of first dialog system 112 .
  • the four animations 71 to 74 represent the progress of speech processing by the first dialogue system 112 .
  • the animation 70 is distinguished for each operation state by the shape of the wave, the color of the wave, the size of the wave, etc., so that the crew members who watch the animation can see it.
  • Animation 71 in FIG. 5 represents the "initial state”.
  • the animation 71 is a gray waveform with a smaller amplitude.
  • Animation 70 is displayed at a position between main message 50 and sample message 60 .
  • the operating state image indicating the operating state of the interactive system may include at least one image of the main message 50 and the animation 70 .
  • the operating state image may include at least one of the main message 50 and the animation 70.
  • FIG. 6 shows a display screen displayed on the display 10 when the operating state of the first dialogue system 112 is "speech acceptable state".
  • the display screen of the “audio reception enabled state” includes a main message 50, a sample message 60, and an animation 70.
  • the display positions and display images of the main message 50 and the sample message 60 are the same as in FIG.
  • An animation 72 in FIG. 6 represents a "speech acceptable state”.
  • Animation 72 is the blue waveform, and the amplitude of animation 72 is greater than the amplitude of the waves of animation 71 .
  • FIG. 7 shows a display screen displayed on the display 10 when the operating state of the first dialogue system 112 is "voice detection state".
  • the “voice detection state” display screen includes a main message 50 , a sample message 60 and an animation 70 .
  • the display positions and display images of the main message 50 and the sample message 60 are the same as in FIGS.
  • An animation 73 in FIG. 7 represents the "voice detection state”.
  • Animation 73 is a blue waveform, and the amplitude of waves in animation 73 is greater than the amplitude of waves in animation 72 .
  • the display control unit 130 may change the amplitude of the animation 73 according to the volume of the detected sound.
  • the display control unit 130 controls the amplitude of the animation 73 according to the voice input so that the amplitude of the animation 73 increases as the volume of the detected voice increases.
  • the passenger can confirm from the display screen that the voice is detected by the voice recognition system by watching the amplitude movement of the animation 73 while speaking.
  • the animation 73 may be an animation in which a plurality of waves are superimposed to give a sense of dynamism to the movement.
  • FIG. 8 shows a display screen displayed on the display 10 when the operating state of the first dialogue system 112 is "speech processing state".
  • the “speech processing status” display screen includes a main message 50, a sample message 60, and an animation 70.
  • FIG. The display positions and display images of the main message 50 and the sample message 60 are the same as in FIGS.
  • Animation 74 in FIG. 8 represents the "sound processing state".
  • Animation 74 is a red, white, and green waveform, separating the waves into areas by color. For example, at one time animation 74 is displayed in the order red, white, green, from left to right on the page of FIG. Then, the amplitude of the wave and the color-coded parts change with the passage of time.
  • the amplitude of animation 74 is smaller than the amplitude of the waves of animation 73 .
  • the crew can confirm on the display screen that voice processing has started by seeing that the color of the wave has changed from "blue” to "red, white, and green.”
  • the animation 74 may be an animation in which a plurality of waves are superimposed to give a sense of dynamism to the movement.
  • the animations 71 to 73 may be made by superimposing a plurality of waves.
  • the number of colors given to animation 74 is three, which is greater than the number of colors given to animations 71-73.
  • the passenger can see from the display form of the animation 70 that the operation state of the first dialogue system 112 is the "speech processing state" and that the operation state of the first dialogue system 112 is in a state other than the "speech processing state". can be identified more clearly.
  • four types of animations 40 are used in accordance with the operation state of the audio processing function, but the number of types of animations is not limited to four types, and may be two, three, or five or more types.
  • the movement displayed by the animation is not limited to waves, and may be, for example, a change in pattern, a change in the height of a bar graph, or the like, as long as it has at least periodicity.
  • FIG. 9 is a graph for explaining the time transition of the animation 73 representing the "voice detection state”.
  • Animation 73 changes the shape of the wave in one cycle (2 ⁇ ).
  • the wave shown in animation 73 contains periodic motion features.
  • a feature point is represented by a wave antinode/node position, a wave crest position, a color change point, or the like.
  • a feature point is a point that serves as an index for matching with other animations 71 , 72 , and 74 .
  • (a) represents the animation 73 at time (0)
  • (c), and (d) represent the animation 73 at times ( ⁇ /2, ⁇ , 3 ⁇ /2).
  • the left side of FIG. 9 is an image of waves displayed on the display screen.
  • the movement of the feature points may be represented by, for example, a wave (periodic function) representing changes in wave shape, color, color, coordinates, etc., and by superimposing the waves to represent a standing wave.
  • the feature points move in the same cycle as the animation 73 periodically moves.
  • the change in the feature point does not necessarily have to be represented by movement or color that can be visually confirmed by the occupant, and may be calculated as a point.
  • FIG. 10 is a graph for explaining the relationship between the still images of the animations 71 to 74 and the feature points in each of the animations 71 to 74 at a certain point in the cycle.
  • (a) represents a still image of animation 71
  • (b)-(d) represent still images of animations 72-74.
  • (e) is a graph of feature points in animations 71-74.
  • the animations 71 to 74 are at the same time in the cycle, the shape of the wave, the color of the wave, etc. are different according to each animation.
  • the animations 71-74 have the same period.
  • the waveform of animation 71 and the waveform of animation 72 at time ( ⁇ /2) have different colors and different shapes.
  • the feature points of the periodic motions of the animations 71 to 74 are represented by the same waveform if they are at the same time in the cycle.
  • FIG. 11 is a conceptual diagram for explaining the image configuration for displaying the animations 71 to 74 and the screen transition of the display 10.
  • the first and second display screens are display screens displayed according to each operation state of the first dialogue system 112.
  • the first display screen indicates the screen before transition
  • the second display screen indicates the screen after transition.
  • the operating state of the first dialogue system 112 switches from the "initial state” to the "speech acceptable state” and the display screen of the display 10 changes
  • the first display screen changes to the "initial state” display screen.
  • the second display screen corresponds to the display screen of the "voice reception possible state".
  • Animations 71 to 74 are displayed by continuously reproducing multiple still images.
  • the images displaying the animations 71 to 74 are composed of 60 still images, each of which is assigned an index from 0 to 59.
  • FIG. The number of still images is the same for each of the animations 71-74.
  • the index is a still image identifier and also represents the playback order. Indexes are given to the still images so that feature points of periodic motion correspond among the images included in the animations 71-74.
  • the still images of the animations 71 to 74 are given the same index because they represent images at the same time in the cycle. In other words, when still images are compared between the animations 71 to 74, the same index is given to the still images with corresponding feature points.
  • the display control unit 130 When displaying the animations 71 to 74, the display control unit 130 sends the images to the display 10 at a reproduction rate of 30 still images per second. That is, the time slot (display interval) of one still image is 20 msec. The display control unit 130 starts reproducing the still images in the order in which the indexes were assigned. Thus, in this embodiment, the animations 71 to 74 are displayed by reproducing a plurality of still images, so the processing load on the CPU can be reduced. Further, when executing the screen transition from the first display screen to the second display screen, the display control unit 130 displays up to the pre-transition image, which is a still image immediately before the screen transition, and displays the pre-transition image. Select a second index corresponding to the assigned first index. Then, the display control unit 130 starts playing the second still image from the selected second index.
  • the pre-transition image which is a still image immediately before the screen transition
  • the display control unit 130 starts image reproduction from the still image assigned the index "#0" in order to display the "initial state" of the first interactive system 112 in the animation 71. Assume that the operating state of the first dialogue system 112 transitions from the "initial state” to the "speech acceptable state” while the still image assigned the index "#9” is being displayed.
  • the display control unit 130 selects, from among the 60 still images for displaying the animation 72, the still images assigned the same index of “#9” as the index assigned to the still images before the transition.
  • Display control unit 130 displays the pre-transition still image on display 10 until the time slot for the pre-transition still image has passed, and when the time slot for the pre-transition still image has passed, the selected index "# 9”, the image reproduction for displaying the animation 72 is started. That is, when the screen transition is executed, the display control unit 130 maintains continuity between the characteristic points of the periodic movement displayed in the animation 71 and the characteristic points of the periodic movement displayed in the animation 72. to select an index and start playing still images from the selected index.
  • indexes are assigned so that the feature points of periodic motion correspond to the images included in each of the animations 71 to 74, and at the time of screen transitions, the indexes are taken over and still images are reproduced. .
  • the continuity of the animation display can be maintained even if the animation production method changes, so that the animation can be produced naturally before and after the screen transition.
  • the state in which the still image before transition is displayed on the display 10 is maintained, and when the time slot of the still image before transition has passed, the screen is switched to the second display screen. This makes it possible to maintain the continuity of the animation.
  • FIG. 12 represents the display screen of the display 10 after the first dialogue system 112 has recognized the speech regarding the POI.
  • the speech recognition unit 111 detects the speech "Coffee Shop” and executes speech recognition processing.
  • the dialogue system control unit 110 determines from the voice-inputted words related to POI (Point of Interest) that the passenger is looking for a "Coffee Shop" near the current location, and provides guidance related to the POI.
  • POI Point of Interest
  • a control command is output to the display control unit 130 to display the image 80 and the map 90 around the current location on the display 10 .
  • the guide image 80 includes a character string 81 representing the voice recognition result and POI information 82 .
  • a character string 81 is a speech character string recognized by the first dialogue system 112 . In the example of FIG. 12, "Coffee Shop" is displayed. This allows passengers to see what sounds are recognized by the system.
  • the POI information 82 indicates information about POIs such as the names of POIs near the current location and the distance from the current location.
  • the display screen of the display 10 changes to the screen of FIG. After finishing the speech recognition processing based on the speech "Coffee Shop", the first dialogue system 112 becomes ready to receive speech again.
  • an animation 72 representing "speech acceptable state” is displayed at the position where the character string 81 was displayed.
  • the passenger can confirm that the voice following "Coffee Shop” should be uttered by seeing the display of the animation 72 at the position where the character string 81 of "Coffee Shop” is displayed.
  • the first dialogue system 112 detects the voice of the passenger.
  • the display of the animation 70 becomes an animation 73 representing "sound detection state" along with the sound detection.
  • the display of the animation 70 becomes an animation 74 representing "voice processing state" as shown in FIG.
  • the passenger can confirm the processing status of the first interactive system on the display 10 while looking at the POI guidance information and map information.
  • the first dialogue system 112 outputs a control signal indicating that the speech recognition has failed to the display control section 130 .
  • the display control unit 130 displays a gray waveform animation 71 at the position of the animation 73 on the display screen in FIG. Thereby, the passenger can confirm that the voice recognition has failed by the display on the display 10 . If the voice recognition fails, a voice such as "Please input voice again" may be output to prompt the passenger to speak.
  • the display control unit 130 switches the display screen according to the status of the first dialogue system 112. That is, the display control unit 130 controls the screen including the image (corresponding to the "first information display image” of the present invention) displaying the main message 50 and the sample message as shown in FIGS.
  • the display 10 is caused to switch between a screen including an image (corresponding to the "second information display image” of the present invention) displaying information about POIs and map information as shown in FIG.
  • each display screen includes an image of the animation 70 . Comparing the pre-transition screen (corresponding to the display screens shown in FIGS. 5 to 8) and the post-transition screen (corresponding to the display screens shown in FIGS.
  • the display of the animation 70 included in the post-transition image differs in terms of position and size. Accordingly, information presentation using the first dialogue system 112 and display of the operating state of the first dialogue system 112 can be made compatible.
  • the case where the voice processing is not normally completed is the case where a predetermined time has passed in the "speech acceptable state" state. For example, if the occupant does not speak after the display screen of the display 10 changes to the screen shown in FIG. 6, the voice recognition unit 111 does not detect voice. If such a state continues for a predetermined period of time, the speech recognition unit 111 determines that the speech processing is not normally completed.
  • the case where the audio processing is not completed normally includes the case where an abnormality occurs in the audio processing.
  • the speech recognition unit 111 performs speech recognition processing on the detected speech.
  • the speech recognition unit 111 determines that the speech processing is abnormal when the input speech cannot be analyzed or when there is no corresponding command 61 for the analyzed speech. Such an abnormality determination of audio processing also corresponds to the case where the audio processing is not completed normally.
  • the display 10 displays the main screen as shown in FIG. Then, when it is determined that the audio processing is not normally completed, the display screen of the display 10 becomes the screen shown in FIG. FIG. 16 shows the display screen of the display 10 when the voice processing is not normally completed from the "speech acceptable state".
  • the display control unit 130 displays a category screen as shown in FIG. 16 when the audio processing is not completed normally.
  • the category screen contains category images in which commands are grouped.
  • a category image is obtained by grouping a plurality of commands and displaying the group name with text or an icon.
  • a category image includes a category name 201 and a category icon 202 .
  • a plurality of commands related to telephones such as "call and/or dial", “redial”, and "telephone” are grouped under one category "Phone”.
  • a category icon 202 is displayed next to the category name 201 .
  • Grouping of commands 61 is not limited to telephone, but includes navigation, audio, and the like, and the names and icons of the grouped categories are included in the category screen.
  • an image including the category name 201 and an icon 202 represent areas in which touch operations are enabled. That is, the image including the category name 201 and the icon 202 also serve as a button function for allowing the passenger to select the category. For example, when the passenger touches the image including the name 201 of the category "Phone" or the icon of the category "Phone", the display control unit 130 changes the display screen from the category screen to the list screen described later.
  • the category image displayed on the main screen may include at least one image of the name 201 and the icon 202 .
  • the category screen includes a main message 50 and an animation 70 in addition to the category name 201 and icon 202.
  • An animation 70 is an animation 72 representing a "voice detection state”. The speech recognition processing by the speech recognition unit 111 is effectively functioning even when the category screen is displayed, and the passenger can see from the display of the animation 72 that the operating state of the first dialogue system 112 is the "speech reception enabled state”. It can be confirmed that
  • the dialogue system can be advanced from the display of the category name 201 and the icon 202. Even if the voice cannot be processed normally due to noise or the like, the occupant can operate the dialogue system by displaying a category image (icon) that also functions as a button. In addition, category images that also serve as button functions display frequently used images, thus improving convenience. Furthermore, since the category screen includes the main message 50 and the animation 72, the crew can confirm from the screen display that the system can be advanced by interacting with the controller 100. FIG.
  • the selection of the category and/or list by the crew may be voice input or switch operation. That is, with the category screen displayed on the display 10, the controller 100 determines whether or not to select a category based on any one of the voice of the passenger, the touch operation of the display 10 by the passenger, and the switch operation by the passenger. Judge.
  • the display control unit 130 causes the display 10 to display a list screen as shown in FIG. FIG. 17 shows a list screen displayed on the display 10. As shown in FIG.
  • the list screen is an image containing grouped commands and contains a list 300 having a plurality of commands.
  • List 300 has a plurality of syntaxes 310 , each syntax 310 has at least commands 61 , and in addition to commands, sample text 311 .
  • the list screen does not contain animation 70 .
  • a syntax 310 is a text representation of a combination of a command 61 and a setting value 62 .
  • a sample text 311 represents arbitrary text of the setting value 62 following the command, and indicates either one of the character string and number string information assigned to the syntax 310 .
  • the syntax at the top of the list consists of the command "Call" and the sample text " ⁇ Name>".
  • ⁇ Name> indicates that a setting value 62 such as a person's name or store name is entered after the command. If the occupant touches the display of syntax 310 in the list, to the right of list 300 is displayed an example of setpoint 62 that goes into sample text 311 . Further, when the crew touches the display of the syntax 310 in the list by double tapping or the like, a setting list to enter the sample text 311 as shown in FIG. 18 is displayed. For example, in the display screen of FIG. 17, when the top syntax "Call ⁇ Name>" in the list is selected, either a character string or a number string assigned to the syntax 310 as shown in FIG. One information is displayed.
  • the crew can select a command 61 and a sample assigned to the syntax 310 by touching the number display on the list screen of FIG.
  • the controller 100 may or may call the touched number in the list.
  • a notification to that effect may be displayed on the display 10 .
  • FIG. 19 is a model flow of dialogue regarding the temperature setting of the air conditioner 41.
  • the controller 100 outputs a Japanese message "Please select whether to input the command by voice" with a mechanical sound.
  • the model flow of FIG. 19 for example, while the display screen of FIG. You can change the temperature.
  • Fig. 20 is a model flow of dialogue regarding POI search. For example, if the occupant issues the wakeup word and the voice is successfully processed, the controller 100 responds with the message "Speak command or select.” Next, the passenger issues a message "I want to go to a cafe near my destination" containing words that can identify POIs such as the genre of the shop. After recognizing this message, the controller 100 performs a search using the navigation system and responds with the message "Voice the item number from the displayed list or select another tab.” At this time, the display screen shown in FIG. 21 is displayed on the display 10 . The controller 100 causes the display 10 to display a guidance image 80 regarding the POI. Controller 100 may also display a map.
  • the guidance image 80 includes an animation 72 representing "speech acceptable state" and POI information 82 obtained from the search results.
  • An item number is assigned to the POI information.
  • a crew member can select a POI by issuing the item number.
  • the POI "AAA” is selected by the passenger saying “ichi”.
  • the controller 100 repeats back the voice “Ichi” uttered by the passenger, and then responds with the next message for selection such as "Would you like to change the destination?"
  • FIG. 22 is a model flow of dialogue regarding destination setting.
  • FIG. 23 is a model flow of dialogue regarding audio reproduction.
  • FIG. 24 is a model flow of interaction regarding SMS (Short Message) transmission.
  • FIG. 25 is a model flow of interaction regarding SMS (short message) transmission/reception.
  • the controller 100 includes a voice recognition unit 111 that detects voice input from a passenger, recognizes voice by voice processing of the detected voice, and a dialogue system including sample messages with commands. It has a display control unit 130 that causes the display 10 to display a main screen including an operating state image indicating an operating state, and a category screen including category images in which commands are grouped. Then, the controller 100 causes the display 10 to display the main screen before the speech recognition unit 111 detects the speech, and causes the display 10 to display the category screen when the speech processing is not normally completed. When a category is selected in this state, the display screen of the display 10 is changed from the category screen to another screen.
  • the main screen has a simple screen configuration.
  • the main screen transitions to the next screen even when the voice processing in the dialogue system is not completed normally and the voice processing does not progress.
  • screen transition proceeds.
  • the screen is displayed so that they can receive services without operating the dialogue system. can proceed.
  • operability can be improved.
  • the display control method executed by the controller 100 activates a dialogue system that provides services by interacting with the occupant.
  • output to the display 10 a control command to display the main screen including the operating state image shown on the display 10, detect the voice input of the occupant, perform voice processing on the detected voice, and the voice processing is not completed normally
  • a control command for displaying a category screen including category images obtained by grouping commands is output to the display 10, and when a category is selected while the category screen is being displayed, the category screen transitions to another screen. It outputs a control command to the display 10 .
  • the screen is displayed so that they can receive services without operating the dialogue system. can proceed. As a result, operability can be improved.
  • the communication device 20 is part of the controller 100, and the communication route between the voice recognition unit 111 and the communication device 20 is not the in-vehicle communication route, but the communication route within the voice recognition unit 111. good.
  • the second dialogue system 32 may perform speech processing using a speech recognition engine (corresponding to the "second speech recognition engine" of the present invention).
  • Vehicle 2 Server 20 Communication Device 30 Handle Switch 32 Second Dialogue System 70 Animation 100 Controller 110 Dialogue System Control Unit 111 Voice Recognition Unit 112 First Dialogue System 120 Startup Unit 121 First Interface 122 Second Interface 130 Display Control Unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本実施形態に係る表示制御装置において、乗員の音声入力を検知し、検知された音声に対する音声処理により音声を認識する音声認識部１１１と、対話システムの動作状態を示す動作状態画像を含むメイン画面、及び、コマンドをグルーピングしたカテゴリ画像を含むカテゴリ画面をディスプレイ１０に表示させる表示制御部１３０とを有するコントローラ１００を備える。コントローラ１００は、音声認識部１１０が音声を検知する前は、メイン画面をディスプレイ１０に表示させ、音声処理が正常に完了しない場合にはカテゴリ画面をディスプレイ１０に表示させ、カテゴリ画面を表示した状態でカテゴリが選択された場合には、表示画面をカテゴリ画面から別の画面に遷移させる。

Description

表示制御装置及び表示制御方法
　本発明は、表示制御装置及び表示制御方法に関するものである。
　車両の乗員の発話に応じて、応答を含むサービスを提供するエージェント装置が知られている（例えば特許文献１）。このエージェント装置は、乗員の発話に含まれるコマンドを認識し、認識されたコマンドを複数のエージェント機能部に出力し、複数のエージェント機能部のそれぞれによってなされた結果に基づいて、複数のエージェント機能部のうち、乗員の発話に対する応答を行うエージェント機能部を選択し、選択したエージェント機能部に乗員の発話に対する応答を実行する。
特開２０２０－１４４２７４号公報
　しかしながら、上記従来のエージェント装置では、発話内容に含まれるコマンドに基づきエージェント機能部を選択しており、発話内容にどのようなコマンドを含めたらよいか理解していないユーザにとっては操作性が悪いという問題がある。
　本発明が解決しようとする課題は、操作性を向上させて表示制御装置及び表示制御方法を提供することである。
　本発明は、音声を検知する前は、対話システムの動作状態を示す動作状態画像を含むメイン画面をディスプレイに表示させ、音声処理が正常に完了しない場合には、コマンドをグルーピングしたカテゴリ画像を含むカテゴリ画面をディスプレイに表示させ、カテゴリ画面を表示した状態で、カテゴリが選択された場合には、表示画面を、カテゴリ画面から別の画面に遷移することによって、上記課題を解決する。
　本発明によれば、音声認識処理の結果に応じてディスプレイの表示画面が遷移し、音声認識処理が正常に進まない場合もディスプレイの表示画面が遷移するため、操作性を向上できる。
図１は、本発明の一実施の形態に係る対話サービスシステムを示すブロック図である。 図２は、図１のディスプレイを備えたダッシュボードの正面図である。 図３Ａは、ハンドルスイッチの操作及びウェイクアップワードと、対話システムの起動の切り替えとの関係を説明するための表である。 図３Ｂは、変形例における、ハンドルスイッチの操作及びウェイクアップワードと、対話システムの起動の切り替えとの関係を説明するための表である。 図４は、図１のディスプレイの表示画面を示す図である。 図５は、図１のディスプレイの表示画面を示す図である。 図６は、図１のディスプレイの表示画面を示す図である。 図７は、図１のディスプレイの表示画面を示す図である。 図８は、図１のディスプレイの表示画面を示す図である。 図９は、アニメーション「音声検知状態」の時間推移を説明するためのアニメーション画像とグラフである。 図１０は、アニメーションの時間推移を説明するためのアニメーション画像とグラフである。 図１１は、アニメーションの画像構成と、画面遷移時時の選択されるインデックスを説明するための概念図である。 図１２は、図１のディスプレイの表示画面を示す図である。 図１３は、図１のディスプレイの表示画面を示す図である。 図１４は、図１のディスプレイの表示画面を示す図である。 図１５は、図１のディスプレイの表示画面を示す図である。 図１６は、図１のディスプレイの表示画面を示す図である。 図１７は、図１のディスプレイの表示画面を示す図である。 図１８は、図１のディスプレイの表示画面を示す図である。 図１９は、図１の対話システムにおける対話のモデルフローを表す表である。 図２０は、図１の対話システムにおける対話のモデルフローを表す表である。 図２１は、図１のディスプレイの表示画面を示す図である。 図２２は、図１の対話システムにおける対話のモデルフローを表す表である。 図２３は、図１の対話システムにおける対話のモデルフローを表す表である。 図２４は、図１の対話システムにおける対話のモデルフローを表す表である。 図２５は、図１の対話システムにおける対話のモデルフローを表す表である。
　以下、本発明に係る対話サービスシステムの一実施の形態を図面に基づいて説明する。図１は、本発明の一実施の形態に係る対話サービスシステムを示すブロック図である。対話サービスシステムは、車両に搭載されたシステムであって、ディスプレイ１０と、通信機２０と、ハンドルスイッチ３０と、ＥＣＵ４０と、コントローラ１００を備えている。本実施形態に係る対話サービスシステムは、音声処理機能を用いて乗員と対話して、乗員にサービスを提供するシステムと、ディスプレイの表示画面を制御するシステムを含んでいる。
　ディスプレイ１０は、タッチパネル式のディスプレイであり、車両に搭載されている。タッチパネル式のディスプレイ１０は、感圧センサを備え、接触操作時にディスプレイ１０に与えられた押圧力を抵抗値や電圧などから測定することで、乗員によるタッチ操作を検知する。感圧センサの機構は特に限定されず、出願時に知られた方法を適宜に用いることができる。またタッチパネルは、感圧式に限らず、静電式等、他の方式でもよい。図２は、タッチパネルを備えたダッシュボード付近の正面図である。図２に示すように、ディスプレイ１０は、ダッシュボードの正面部分のディスプレイ（センタディスプレイ）であり、運転席と助手席の間に配置されている。ディスプレイ１０は、運転席に座った状態の乗員と助手席に座った状態の乗員がそれぞれ触れることができる位置に設けられている。また、ディスプレイ１０は、必ずしもドライバーと助手席乗員の両乗員が触れる位置に配置する必要は無く、例えばドライバーのみが触れることが可能な位置に配置されてもよい。またディスプレイ１０は、ダッシュボードに限らず、例えば後部座席の乗員が触れる位置に配置されてもよい。
　乗員は指又は指に代わる操作機器により、ディスプレイ１０に触れるタッチ操作により、メニュー画面からアイコン、ボタン等を選択すると、ディスプレイ１０の画面表示が遷移する。なお、以下の説明では、主に指を使ったタッチ操作について説明するが、本実施形態は指の代わりに操作機器を使ったタッチ操作でもよい。タッチ操作は、ディスプレイ１０に表示されるアイコンやボタンに指を触れる、又は、アイコンやボタンに指を近づけるような、指を使ったジェスチャにより実行されるポインティング操作である。タッチ操作は、タップ（画面を１回タッチする）、ダブルタップ（画面を２回タッチする）、ロングタップ（画面を長押しする）、スワイプ（画面に触れた指を画面上でそのままスライドさせる（指をなぞる））、フリック（画面に触れた指を、画面上で素早く弾くように動かす）、ピンチイン／ピンチアウト（２本の指で画面に触れて、２本の指を近づける／遠ざける）等である。タッチ操作は、画面上の１点又は複数点に指を触れる第１ジェスチャに限らず、画面に触れた状態で指の接触点を移動させる第２ジェスチャを含んでいてもよい。また、タッチ操作は、表示画面に直接触れなくてもよく、指等を表示画面に近づける、いわゆるホバリングでもよい。なお、タッチ操作の操作方法は、これらに限らず他の方法でもよい。
　通信機２０は、車外のサーバ２と通信可能な通信装置である。通信機２０は、コントローラ１００とサーバ２との間で信号を送受信する。ハンドルスイッチ（ステアリングスイッチ）３０は、対話システムを立ち上げる（起動する）ためのスイッチであり、図２に示すようにハンドルに設けられている。乗員（ドライバー）は、対話システムによりサービスの提供を受けたい場合には、ハンドルスイッチ３０を操作して、対話システムを起動させる。後述するように、対話システムは、車両１に設けられた音声認識エンジンを主に用いて音声処理を行い、サービスを提供する第１対話システム１１２と、サーバ２に含まれる音声認識エンジンを主に用いて音声処理を行い、サーバ２から乗員に対してサービスを提供する第２対話システム３２を含んでいる。そして、ハンドルスイッチ３０には、どちらの一方の対話システムを起動させるか割り当てられており、ハンドルスイッチ３０の操作により、第１対話システム及び第２対話システムのいずれか一方のシステムが起動する。
　ＥＣＵ４０は、空調機器４１、サンルーフ４２等の制御対象を制御するコントロールユニットであって、ＣＡＮ通信網で制御対象及びコントローラ１００を制御する。ＥＣＵ４０は、１つに限らず、多数のコントロールユニットであり、制御対象ごとにＥＣＵ４０が接続されている。
　コントローラ１００は、ハードウェア及びソフトウェアを備えたコンピュータにより構成され、プログラムを格納したメモリと、このメモリに格納されたプログラムを実行するＣＰＵ等を有している。また、コントローラ１００は、機能ブロックとして、対話システム制御部１１０、起動部１２０、及び表示制御部１３０を有しており、対話システム制御部１１０、起動部１２０、及び表示制御部１３０の各機能を実現するためのプログラムがメモリに記憶されている。そして、コントローラ１００に含まれるコンピュータがプログラムを実行することで、機能ブロックの各機能を実現する。またコントローラ１００は、ディスプレイ１０、通信機２０、ハンドルスイッチ３０、及びＥＣＵ４０とＣＡＮ通信網等で接続されている。コントローラ１００は、対話システム制御部１１０、起動部１２０、及び表示制御部１３０に限らず、例えばオーディオシステムを制御する機能等、車室内の各種システムを制御するための制御ブロックを有しており、他の車載機器を制御する。なお、コントローラ１００を有する装置が、本発明の「表示制御装置」に相当する。
　対話システム制御部１１０は、乗員の音声を認識する機能を有し、対話システムを制御する。対話システム制御部１１０は、音声認識部１１１と、第１対話システム１１２を有している。音声認識部１１１は、乗員の音声入力を検知し、第１対話システム１１２に含まれる音声認識エンジンを用いて、検知された音声に対する音声処理により音声を認識する。第１対話システム１１２が起動されている状態で、乗員は、車内のマイクに対して声を発すると、音声認識部１１は入力された音声を検知する。音声検知は、音声入力が始まり、音声入力が終わってから所定時間経過するまで実行される。例えば、乗員が、「エアコン（エアーコンディショナー）の温度を２５℃に設定」のようなメッセージを発生した場合には、音声認識部１１が、メッセージの初めから終わりまでの音声を検知し、メッセージの終わりから所定時間の無音期間を経て、音声検知を終了する。音声認識部１１は、検知した音声に対して、音声認識エンジンを用いて音声処理を行うことで音声を認識する。
　また音声認識部１１１は、対話システムを起動させるためのウェイクアップワードを認識した場合には、後述する第２インターフェイス１２２に、ウェイクアップワードを認識したことを示す制御信号を出力する。ウェイクアップワードは、例えば「Ｈｅｌｌｏ　○○（車メーカの名称、対話システムの相性等）」のような呼びかけメッセージであり、予め決められている。なお、ウェイクアップワードは乗員の設定により変更されてもよい。
　第１対話システム１１２は、車載用音声処理システムであり、主に車載機器との連携を目的としており、音声認識エンジンを利用して、乗員とコントローラ１００間で対話を行い、対話内容に応じたサービスを乗員に提供する。第１対話システム１１２は、空調機器４１、サンルーフ４２、ナビゲーションシステム、オーディオシステム、ハンズフリーシステム等の車載機器を連携するためにＥＣＵ４０に接続されている。第１対話システム１１２は、各種ＥＣＵと通信を行うための通信機能を搭載している。例えば、乗員が、空調機器４１の温度設定を変更する旨を対話システムに発話した場合には、音声認識部１１１が音声処理を行い、音声認識部１１１で認識された音声データに基づき、制御対象となる空調機器４１を特定した上で、制御指令を生成し、車内通信経路（ＣＡＮ通信網）を通じてＥＣＵ４０に制御指令を出力する。なお、第１対話システム１１２からＥＣＵ４０を介して空調機器４１等の車載機器に制御信号を送る場合に、制御信号が通る車内通信経路は、コントローラ１００と通信機２０間を接続する通信経路は含まれない。ＥＣＵ４０は、制御指令に応じて空調機器４１を制御し、空調機器４１の設定温度を変更する。これにより、第１対話システム１１２は対話を通じて乗員にサービスを提供する。第１対話システム１１２で提供されるサービスは、空調機器４１の設定に限らず、空調機器４１の風向調整、風量調整等でもよい。また他のサービスの例では、ナビゲーションシステムによる経路案内、オーディオシステムの設定、ハンズフリーシステムによる電話操作や電話番号検索、ショートメッセージサービス（ＳＭＳ）、サンルーフ４２、ウィンドー、バックドア、スライドドアなどの開閉操作等の車載機器の操作等である。
　一方、サーバ２に含まれる第２対話システム３２は、外部の音声認識エンジンを用いて、音声処理を行うシステムであり、車両１がサーバ２に接続し外部の情報にアクセスして、サービスを乗員に提供する。第２対話システム３２で提供されるサービスは、インターネットを利用したショッピング、自宅の家電機器の遠隔操作等、多種多様なサービスである。第２対話システム３２は、第１対話システム１１２と異なり、車載機器との連携を目的としていていない。また、第１対話システム１１２と第２対話システム３２の違いについて、第１対話システムと第２対話システムは別々の対話システムであり、第１対話システムは、車内通信経路を通じて制御指令を車載機器し、音声認識エンジン（本発明の「第１音声認識エンジン」に相当）を有しており、第２対話システムは、第１対話システムに含まれる音声認識エンジンとは異なる音声認識エンジン（本発明の「第２音声認識エンジン」に相当）を有している。また、別の観点で、第１対話システム１１２と第２対話システム３２の違いは、第１対話システム１１２は車内通信経路を通じて制御指令を車載機器に入力又は出力するが、第２対話システム３２は、車内通信経路を通じて制御指令を、通信機２０以外の車載機器に入力及び出力しないシステムとしてもよい。さらに別の観点として、第１対話システム１１２と第２対話システム３２の違いは、第１対話システムは、通信機２０と第１対話システム１１２との間を接続する通信経路以外の車内通信経路を通じて制御指令を前記車載機器に出力し、通信機２０と第１対話システム１１２との間を接続する通信経路以外の車内通信経路を通じて制御指令を出力しないシステムでもよい。
　音声認識部１１１は、第２対話システム３２を用いて乗員と対話を行う場合には、乗員の音声入力を検知し、検知した音声データを、通信機２０を介してサーバ２に送信する。サーバ２の第２対話システム３２は、入力され音声データに対して音声処理を行い、処理結果を車両１に送信する。音声認識部１１１は、車載スピーカからの音声出力又はディスプレイ１０の表示画面で、第２対話システム３２による処理結果を出力する。
　第１対話システム１１２は、車内のＥＣＵ４０に限らず、車両外部のサーバ２と接続してもよい。例えば、第１対話システム１１２は、車外のサーバ２と接続して、車外の音声認識エンジンを用いて、音声認識処理を行ってもよい。例えば、店舗の名称などの情報は数多くあるため、車載の音声認識エンジンよりも車外の音声認識エンジンを用いた方がよい場合がある。このような場合には、第１対話システム１１２は、車外の音声認識エンジンを用いて、音声認識処理を行う。
　起動部１２０は、第１対話システム１１２と第２対話システム３２を起動させるための機能ブロックであり、第１インターフェイス１２１及び第２インターフェイス１２２を有している。第１インターフェイス１２１は、ハンドルスイッチ３０の操作により対話システムに起動指令を送信する、つまり、第１インターフェイス１２１は、ハンドルスイッチ３０と第１対話システム１１２の間と、ハンドルスイッチ３０と第２対話システム３２の間をそれぞれ接続する接続部となる。第１インターフェイス１２１は、第１対話システム１１２及び第２対話システム３２のいずれか一方のシステムに起動指令を送信する。第１インターフェイス１２１は、第１対話システム１１２及び第２対話システム３２の両方に、同時に制御指令を送信することはない。第１インターフェイス１２１による制御指令の送信先は、乗員の設定、及び／又は工場出荷時の初期設定で決められる。ハンドルスイッチ３０が第１対話システム１１２の起動に割り当てられている場合には、第１インターフェイス１２１は、ハンドルスイッチ３０の操作による操作指令を受信したときに、第１対話システム１１２に起動指令を送信する。ハンドルスイッチ３０が第２対話システム３２の起動に割り当てられている場合には、第２インターフェイス１２２は、第２対話システム３２に起動指令を送信する。なお、第２対話システム３２の起動指令は、車両１とサーバ２との間の通信可能な状態にして、車両１に対して、サーバ２の対話システムを利用できる状態にするための指令である。
　第２インターフェイス１２２は、ウェイクアップワードにより対話システムに起動指令を送信する。第２インターフェイス１２２は、音声認識部１１１と対話システムの間の接続部である。第２インターフェイス１２２は、第１対話システム１１２及び第２対話システム３２のいずれか一方のシステムに起動指令を送信する。第１インターフェイス１２１は、第１対話システム１１２及び第２対話システム３２の両方に対して、同時に制御指令を送信することはない。図１の例では、第２インターフェイス１２２は、第１対話システム１１２に起動指令を送信する。第２インターフェイス１２２による制御指令の送信先は、工場出荷時の初期設定で決められる。図１の例では、ウェイクアップワードは第１対話システム１１２の起動に割り当てられているため、第２インターフェイス１２２は、音声認識部１１１によりウェイクアップワードを認識した場合には、第１対話システム１１２に起動指令を送信する。つまり、第１対話システム１１２に含まれる音声認識エンジンは、少なくともウェイクアップワードを認識できる状態で待機しており、第２インターフェイス１２２は、音声認識部１１１によりウェイクアップワードを認識した場合には、第１対話システム１１２に起動指令を送信し、第１対話システム１１２は、ウェイクアップワード以外の様々なワードが認識できるように、音声認識エンジンを立ち上げる。なお、ウェイクアップワードが第２対話システム３２の起動に割り当てられている場合、第２インターフェイス１２２は、第２対話システム３２に起動指令を送信する。
　また、起動部１２０は、乗員の操作に基づき起動指令の送信先を、第１対話システム１１２及び第２対話システム３２のいずれか一方のシステムに設定する。起動指令の送信先を設定するための乗員の操作は、ディスプレイ１０のタッチ操作、ハンドルスイッチ３０以外のスイッチ操作などである。例えば、ディスプレイ１０のタッチ操作の例では、コントローラ１００は、ディスプレイ１０に、対話システムの設定画面を表示し、乗員は、表示された設定画面から、第１対話システム１１２と第２対話システム３２のいずれか一方のシステムを選択するための選択メニューにタッチし、選択メニュー上で利用したい対話システムを選択する。起動部１２０は、ディスプレイ１０のタッチ操作により選択された対話システムに起動信号を送信するために、第１インターフェイス１２１の起動信号の送信先を設定する。例えば、乗員が、ディスプレイ１０のタッチ操作で、ハンドルスイッチ３０の操作時に起動させる対象システムを第１対話システム１１２から第２対話システム３２に変更した場合には、起動部１２０は、第１インターフェイス１２１による起動信号の送信先を、第２対話システム３２に設定する。これにより、乗員は、好みに応じて、ハンドルスイッチ３０の操作時に起動させる対話システムを、第１対話システム１１２及び第２対話システム３２から選択できる。
　また、対話システムを用いた乗員との対話により、対話システムの設定を変えることができる場合には、起動部１２０は、対話システム制御部１１０により認識された音声に基づき、第１インターフェイス１２１による起動指令の送信先を第１対話システム１１２及び第２対話システム３２のいずれか一方のシステムに設定してもよい。例えば、乗員が第１対話システム１１２により、コントローラ１００と対話している状態で、乗員がハンドルスイッチ３０の割り当てを、第１対話システム１１２から第２対話システム３２に変更したい旨を発したとする。対話システム制御部１１０は、乗員の音声を認識し、起動部１２０に対して、ハンドルスイッチ３０を第２対話システム３２の起動に割り当てための制御指令を送信する。起動部１２０は、制御指令に基づき、第１インターフェイス１２１による起動信号の送信先を、第２対話システム３２に設定する。これにより、乗員は、対話しシステムを利用した対話で、ハンドルスイッチ３０の操作時に起動させる対象システムを、第１対話システム１１２及び第２対話システム３２か選択できる。
　本実施形態では、ハンドルスイッチ３０の操作により起動できる対話システムは、乗員により、第１対話システム１１２と第２対話システム３２のいずれか一方のシステムを選択できるようにしたが、ウェイクアップワードにより起動できる対話システムは、第１対話システム１１２に固定化されている。第１対話システム１１２は、主に車載機器との連携を目的としているため、第２対話システム３２よりも利用頻度が高い。そのため、ウェイクアップワードによる起動を第１対話システム１１２に固定化することで、乗員の利便性を高めることができる。また、ハンドルスイッチ３０の割り当ては乗員により選択できるようにしているため、対話システムの選択自由度も確保できる。
　図３Ａは、第１／第２対話システムの起動を切り替えることができるか否かを説明するための表である。図３Ａに示すように、本実施形態に係る対話サービスシステムでは、「ウェイクアップワード」は、第１対話システム１１２を起動でき、第２対話システム３２を起動できない。「ハンドルスイッチ」は、乗員の設定により、第１対話システム１１２と第２対話システム３２のいずれか一方のシステムを起動できる。つまり、ハンドルスイッチ３０による対話システムの起動は、排他的に選択可能である。なお、ハンドルスイッチ３０が第１対話システム１１２に割り当てられている場合には、第２対話システム３２は、ハンドルスイッチ３０の操作及びウェイクアップワードにより起動できないが、第２対話システム３２は、例えばディスプレイ１０に表示されるメニュー画面上での選択、又は、ハンドルスイッチ３０以外のスイッチ操作により起動可能である。
　図３Ｂは、本実施形態の変形例に係る対話サービスシステムにおいて、第１／第２対話システムの起動との相関性を説明するための表です。変形例に係る対話サービスシステムにおいて、ウェイクアップワードにより起動できる対話システムは、ユーザ設定により排他的に選択可能である。起動部１２０は、ウェイクアップワードを認識した時の起動指令の送信先を、第１対話システム１１２及び第２対話システム３２のいずれか一方のシステムに設定する。乗員は、ディスプレイ１０のタッチ操作、ハンドルスイッチ３０以外のスイッチ操作、対話システムを用いたコントローラ１００との対話により、起動させる対話システムを、第１対話システム１１２及び第２対話システム３２から選択できる。これにより、ウェイクアップワードを発した時に、複数の対話システムが立ち上がる事態を回避し、ユーザの好みに応じて、ハンドルスイッチ３０の操作時に起動させる対話システムを、第１対話システム１１２及び第２対話システム３２から選択できる。
　また、対話システムには、システムの起動に関する独自規格を有する場合がある。独自規格は、「特定の対話システムを起動できる状態の時には、他の対話システムはオフ状態（無効化状態）にしなければならない」等である。このような規格をもつ対話システムを第１対話システム１１２に用いた場合には、本実施形態にように、ユーザ設定によりハンドルスイッチ３０の割り当てを変更可能とし、または排他的に対話システムを選択できるようにすればよい。また、ウェイクアップワードによる対話システムの起動を、ユーザ設定により変更可能にする場合には、変形例のように、ユーザ設定によりウェイクアップワードによる起動の割り当てを変更可能とし、または排他的に対話システムを選択できるようにすればよい。すなわち、第１対話システムの規格により、第１対話システム１１２と第２対話システム３２は排他的に起動させる必要がある。そのため、本実施形態のように、ハンドルスイッチ３０の割り当て及びウェイクアップワードによる起動の割り当てを、ユーザ設定で変更可能にすることで、対話システムの規格を遵守しつつ、対話システムの選択の自由度も確保できる。
　なお本実施形態において、乗員の操作又は対話システムを用いた乗員との対話により、第１インターフェイス１２１及び／又は第２インターフェイス１２２による起動指令の送信先が変更された場合には、対話システム制御部１１０は、変更内容を乗員に音声で出力してもよい。
　表示制御部１３０は、ディスプレイ１０の表示画面を制御する。また表示制御部１３０は、ディスプレイによりタッチ操作を検知した場合には、表示画面上におけるタッチ操作の位置やタッチ操作の種類に応じた操作指令を受け入れる。表示制御部１３０は、対話システムを操作するための操作画面、対話システムの設定画面、対話システムから提供される情報を表示する画面等をディスプレイ１０に表示させる。また、表示制御部１３０は、ディスプレイ１０のタッチ操作により受け入れた操作指令を、対話システム制御部１１０及び起動部１２０に出力する。
　対話システム制御部１１０による対話システムの制御と、表示制御部１３０による表示画面の制御は、アプリケーション（ソフトウェア）で関連付けられている。対話システム制御部１１０による対話システムの動作状態はディスプレイ１０に表示される。また対話システムによる対話に応じて、表示制御部１３０はディスプレイ１０の表示画面を制御する。乗客が、対話システムを通じてコントローラ１００と対話を進めると、対話システム制御部１１０は、対話の内容に応じた制御指令を表示制御部１３０に送信し、表示制御部１３０は制御指令に応じてディスプレイ１０の表示画面を遷移させる。
　次に、図４を参照し、コントローラ１００の制御方法と、ディスプレイ１０の表示画面について説明する。図４は、ディスプレイ１０の表示画面であって、対話サービスシステムを含めた全体システムのトップ画面を示す。
　乗員がディスプレイ１０のメインスイッチをオンにすると、表示制御部１３０はディスプレイ１０にトップ画面を表示する。図４に示すように、トップ画面は、ナビゲーションシステム、音楽、第１対話システム１１２、及び第２対話システム３２を選択するためのメニュー画面である。各メニュー画面には、内容を表すアイコンが含まれており、例えば、第１対話システム１１２のメニュー画像は第１アイコン１０１を含み、第２対話システム３２のメニュー画像は第２アイコン１０２を含む。第１アイコン１０１は、第１対話システム１１２を起動させるためのタッチ操作を有効にするアイコンであり、第２アイコン１０２は、第２対話システム３２を起動させるためのタッチ操作を有効にするアイコンである。乗員が第１アイコン１０１をタッチした場合には、起動部１２０は第１対話システム１１２に起動信号を送信する。乗員が第２アイコン１０２をタッチした場合には、起動部１２０は第２対話システム３２に起動信号を送信する。これにより、ディスプレイ１０のタッチ操作で、第１対話システム１１２と第２対話システム３２を排他的に選択できる。
　次に、第１対話システム１１２の動作状態に応じて表示される表示画面について説明する。図５～図８は、第１対話システム１１２の各動作状態に対して、ディスプレイ１０に表示される表示画面を表している。図４に示すトップ画面において、乗員が第１アイコン１０１又は第１アイコン１０１の周囲をタッチすると、表示制御部１３０は図５に示す画面を表示させる。第１対話システム１１２の動作状態は、「初期状態」、「音声受付可能状態」、「音声検知状態」、「音声処理状態」の４つの状態がある。初期状態は、起動信号に基づき音声認識エンジンが起動して、音声を検知できる状態になるまでの状態である。音声認識部１１１は、初期状態では、音声処理を行う前の初期化処理を行う。初期化処理が完了すると、第１対話システム１１２の動作状態は、初期状態から、音声受付可能状態になる。音声受付可能状態は、音声を受付可能な状態であり、乗員が声を発していない状態を示している。音声検知状態は、音声を受付可能な状態であり、乗員が声を発し、その声を検知している状態である。つまり、音声検知可能な状態で、声が入力されていない場合には、第１対話システム１１２の動作状態は音声入力受付状態となり、声が入力されている場合には、第１対話システム１１２の動作状態は音声検知状態となる。そして、音声検知状態が終わり所定時間経過すると、第１対話システム１１２の動作状態は、音声処理状態になる。音声処理状態は、音声認識エンジンにより音声処理を行っている状態である。
　図５～図８の表示画面は、対話システムを通じたサービスにおけるメイン画像を表しており、対話システムの動作状態を示す動作状態画像を含んでいる。動作状態画像は、乗員に対して、対話システムがどのような状態（ステータス）であるかを画像で表したものであり、テキスト、アニメーション、図柄などに相当する。本実施形態では、メインメッセージ５０及び／又はアニメーション７０が、動作状態画像に相当する。
　図５は、第１対話システム１１２の動作状態が「初期状態」である場合に、ディスプレイ１０に表示される表示画面を示している。図５に示すように、「初期状態」の表示画面は、メインメッセージ５０、サンプルメッセージ６０、及びアニメーション７０を含んでいる。メインメッセージ５０は、第１対話システム１１２から乗員に向けたメッセージであって、乗員に音声入力を促す表記である。乗員はメインメッセージ５０を確認することで、対話システムが起動されたことを確認できる。すなわち、メインメッセージ５０は、対話システムが起動されたことを示す動作状態画像に相当する。サンプルメッセージ６０は、第１対話システム１１２を利用するために、乗員が発すべき音声の例文を表しており、コマンド６１と設定値６２を含んでいる。コマンド６１は、対話システムを通じて乗員が受けたいサービスの動作や状態を表す単語であって、乗員から対話システムに対する操作指令を表す。設定値６２は、サービスの対象を表す語句であって、数値や名称等の名詞で表される。例えば、サンプルメッセージ６０の第２行目のメッセージ「Play station AAA Radio」のうち、「Play」がコマンドを、「station AAA Radio」が設定値を示す。コマンド「Play」はオーディオシステムを操作することを示しており、「station AAA Radio」はオーディオシステムで再生する対象（ラジオ局の名称）を示している。なお、サンプルメッセージ６０は、機能ボタンを兼ねており、例えば乗員が３段目のメッセージ「Enter Number」をタッチした場合には、電話番号を入力するための画面に遷移する。
　アニメーション７０は、所定の機能におけるステータスを周期的な動きで表した画像である。図５の例では、所定の機能は対話システムにおる音声検知処理機能に相当し、ステータスは対話システムの動作状態に相当する。周期的な動きは、波形の動きで表される。つまり、アニメーション７０には、第１対話システム１１２の４つ動作状態を表すために、４つのアニメーション７１～７４がある。つまり、第１対話システム１１２による音声処理の進み具合を、４つのアニメーション７１～７４で表している。アニメーション７０は、波の形、波の色、波の大きさ等により、アニメーションをみた乗員が見てわかるように動作状態毎に区別されている。そして、コントローラ１００は、乗員の音声入力に応じて、アニメーション７０を動作させることで、音声処理の進み具合をディスプレイ１０の表示画面に表示させる。図５のアニメーション７１は「初期状態」を表している。アニメーション７１は、灰色の波形であり、振幅が小さめの波である。アニメーション７０は、メインメッセージ５０とサンプルメッセージ６０との間の位置に表示される。なお、対話システムの動作状態を示す動作状態画像は、メインメッセージ５０及びアニメーション７０の少なくともいずれか一方の画像を含めばよい。後述する図６～８に示すメイン画面においても、同様に、動作状態画像は、メインメッセージ５０及びアニメーション７０の少なくともいずれか一方の画像を含めばよい。
　図６は、第１対話システム１１２の動作状態が「音声受付可能状態」である場合に、ディスプレイ１０に表示される表示画面を示している。図６に示すように、「音声受付可能状態」の表示画面は、メインメッセージ５０、サンプルメッセージ６０、及びアニメーション７０を含んでいる。メインメッセージ５０及びサンプルメッセージ６０の表示位置、表示画像は図５と同様である。図６のアニメーション７２は「音声受付可能状態」を表している。アニメーション７２は青色の波形であり、アニメーション７２の振幅はアニメーション７１の波の振幅よりも大きい。「音声受付可能状態」を表示中に、音声が検知された場合には、ディスプレイ１０の表示画面は図７の画面に切り替わる。「音声受付可能状態」を表示に、音声が検知されない場合には、ディスプレイ１０の表示画面は図６の状態で維持される。
　図７は、第１対話システム１１２の動作状態が「音声検知状態」である場合に、ディスプレイ１０に表示される表示画面を示している。図７に示すように、「音声検知状態」の表示画面は、メインメッセージ５０、サンプルメッセージ６０、及びアニメーション７０を含んでいる。メインメッセージ５０及びサンプルメッセージ６０の表示位置、表示画像は図５及び図６と同様である。図７のアニメーション７３は「音声検知状態」を表している。アニメーション７３は青色の波形であり、アニメーション７３の波の振幅はアニメーション７２の波の振幅よりも大きい。アニメーション７３の波の振幅を、アニメーション７２の波の振幅より大きくすることで、乗員は表示画面から、音声が検知されたことを確認できる。
　なお、表示制御部１３０は、検知した音声の音量の大きさに応じて、アニメーション７３の振幅を変えてもよい。例えば、検知した音声の音量が大きいほど、アニメーション７３の振幅が大きくなるように、表示制御部１３０は、音声入力に応じて、アニメーション７３の振幅を制御する。乗員は、声を発しながら、アニメーション７３の振幅の動きを見ることで、音声認識システムで声が検知されることを表示画面から確認できる。またアニメーション７３は、複数の波を重ねたアニメーションとし、動きに躍動感をもたせてもよい。
　図８は第１対話システム１１２の動作状態が「音声処理状態」である場合に、ディスプレイ１０に表示される表示画面を示している。図８に示すように、「音声処理状態」の表示画面は、メインメッセージ５０、サンプルメッセージ６０、及びアニメーション７０を含んでいる。メインメッセージ５０及びサンプルメッセージ６０の表示位置、表示画像は図５～図７と同様である。図８のアニメーション７４は「音声処理状態」を表している。アニメーション７４は、赤、白、緑の波形であり、波をエリアに色で分けている。たとえば、ある時間では、アニメーション７４は、図８の紙面上で左から右に、赤、白、緑の順で表示される。そして、波の振幅、色分けされた部分が、時間経過に伴い変化する。アニメーション７４の振幅はアニメーション７３の波の振幅よりも小さい。乗員は、波の色が「青」から「赤・白・緑」に変わったことを見ることで、音声処理が始まったことを表示画面から確認できる。アニメーション７４は、複数の波を重ねたアニメーションとし、動きに躍動感をもたせてもよい。またアニメーション７４に限らず、アニメーション７１～７３も複数の波を重ねたものとしてもよい。
　また、アニメーション７４に付与された色の数は３色であり、アニメーション７１～７３に付与された色の数よりも多い。これにより、乗員は、アニメーション７０の表示形態から、第１対話システム１１２の動作状態が「音声処理状態」であることと、第１対話システム１１２の動作状態が「音声処理状態」以外の状態であることを、より明確に判別できる。なお、本実施形態では、音声処理機能の動作状態に合わせて、アニメーション４０を４種類にしたが、アニメーションの種類は４種類に限らず、２、３、又は５種類以上でもよい。また、アニメーションで表示される動きは、波に限らず、例えば模様変化や、棒状のグラフの高低の変化等でもよく、少なくとも周期性があればよい。
　図９は、「音声検知状態」を表すアニメーション７３の時間推移を説明するためのグラフである。アニメーション７３は１周期（２π）で波の形を変える。アニメーション７３で示される波は、周期的な動きの特徴点を含んでいる。特徴点は、波の腹／節の位置、波の頂点の位置、又は、色の変化点等により表される。特徴点は、他のアニメーション７１、７２、７４との間で対応をとるために指標となる点である。図９において、（а）は時間（０）におけるアニメーション７３を表し、（ｂ）、（ｃ）、及び（ｄ）は、時間（π／２、π、３π／２）におけるアニメーション７３を表している。図９の左側は、表示画面に表示される波の画像である。図９の右側は、アニメーション７３の波形に含まれる特徴点の動きを、概念的に表したものである。特徴点の動きは、例えば、波の形状、色、色彩、座標等の変化を波（周期関数）で表し、その波を重ねた定在波により表してもよい。例えば、アニメーション７３を表す波の中心点（位置＝λ）における特徴点は、時間（０、π、２π・・・）でゼロになり、時間（π／２、５π／２、９π／２・・・・）で最大となり、時間（３π／２、７π／２、１１π／２・・・・）で最小となる。つまりアニメーション７３の周期的な動きに合わせて、特徴点も同じ周期で動くことになる。なお、特徴点の変化は、必ずしも乗員が視覚で確認できるような動きや色で表される必要は無く、演算上で算出される点としてもよい。
　図１０は、周期の中である時点における、アニメーション７１～７４の静止画像と、各アニメーション７１～７４における特徴点の関係性を説明するためのグラフである。図１０において、（а）は、アニメーション７１の静止画像を表しており、（ｂ）～（ｄ）はアニメーション７２～７４の静止画像を表している。（ｅ）はアニメーション７１～７４における特徴点のグラフである。アニメーション７１～７４は、周期における同時刻であっても、波の形状、波の色等は、それぞれのアニメーションに応じて異なっている。アニメーション７１～７４は同一周期である。例えば、時間（π／２）の時の、アニメーション７１の波形とアニメーション７２の波形は異なる色、異なる形状である。その一方で、アニメーション７１～７４の周期的な動きの特徴点は、周期における同時刻であれば同じ波形で表される。
　次に、アニメーション７１～７４を表示するための画像構成と、ディスプレイ１０の画面遷移について図１１を用いて説明する。図１１は、アニメーション７１～７４を表示するための画像構成と、画面遷移の前後で再生される静止画像を説明するための概念図である。図１１において、第１、第２表示画面は、第１対話システム１１２の各動作状態に応じた表示される表示画面であって、第１表示画面は遷移前の画面を示し、第２表示画面は遷移後の画面を示す。例えば、第１対話システム１１２の動作状態が「初期状態」から「音声受付可能状態」に切り替わり、ディスプレイ１０の表示画面が遷移した場合には、第１表示画面は「初期状態」の表示画面に相当し、第２表示画面は「音声受付可能状態」の表示画面に相当する。
　アニメーション７１～７４は、複数の静止画像の連続再生により表示される。アニメーション７１～７４を表示する画像は６０枚の静止画像で構成されており、それぞれの画像には０から５９までのインデックスが付与されている。静止画像の枚数は、アニメーション７１～７４毎で同数である。インデックスは静止画像の識別子であり、また再生順序を表している。インデックスは、周期的な動きの特徴点がアニメーション７１～７４に含まれる画像間で対応するように、インデックスが静止画像に付与されている。例えば、図１０の例では、アニメーション７１～７４の静止画像は、周期の中で同時刻の画像を表しているため、同じインデックスが付与される。言い換えると、アニメーション７１～７４間で静止画像を比較した場合に、特徴点が対応している静止画像には同じインデックスが付与されている。
　表示制御部１３０は、アニメーション７１～７４を表示させる際には、１秒間に３０枚の静止画像を再生させる再生レートで、画像をディスプレイ１０に送る。つまり、１枚あたりの静止画像のタイムスロット（表示間隔）は２０ｍｓｅｃとなる。表示制御部１３０は、インデックスが付与された順番で静止画像の再生を開始する。このように、本実施形態では、複数の静止画像の再生で、アニメーション７１～７４を表示しているため、ＣＰＵの処理負荷を軽減できる。また、第１表示画面から第２表示画面に遷移する画面遷移を実行する場合には、表示制御部１３０は、画面遷移の直前の静止画像である遷移前画像まで表示して、遷移前画像に付与された第１インデックスに対応する第２インデックスを選択する。そして、表示制御部１３０は、選択された第２インデックスから第２静止画像の再生を開始する。
　図１１の例では、表示制御部１３０は、第１対話システム１１２の「初期状態」をアニメーション７１で表示するために、インデックス「♯０」が付与された静止画像から画像再生を開始する。そして、インデックス「♯９」が付与された静止画像を表示している状態で、第１対話システム１１２の動作状態が「初期状態」から「音声受付可能状態」に遷移したとする。表示制御部１３０は、アニメーション７２を表示するための６０枚の静止画像の中から、遷移前の静止画像に付与されていたインデックスと同じ「♯９」のインデックスを付与した静止画像を選択する。表示制御部１３０は、遷移前静止画像のタイムスロットを経過までは、遷移前の静止画像をディスプレイ１０に表示させて、遷移前静止画像のタイムスロットを経過した時点で、選択されたインデックス「♯９」から、アニメーション７２を表示するための画像再生を開始する。つまり、表示制御部１３０は、画面遷移を実行する場合には、アニメーション７１で表示される周期的な動きの特徴点と、アニメーション７２で表示される周期的な動きの特徴点が連続性を保つように、インデックスを選択し、選択されたインデックスから静止画像の再生を開始する。
　ところで、第１対話システム１１２の動作状態が変わり、ディスプレイ１０の表示画面が遷移した場合に、画面遷移したタイミングで、最初のインデックス「♯０」から静止画像の再生を行った場合には、波の動きが途中で途切れたような表示になってしまい、アニメーションの動きが途切れたように見えてしまう。つまり、図１１の例では、第１表示画面から第２表示画面に遷るタイミングで、インデックスを引き継がずに、再生順序をリセットすると、遷移前後の静止画像間で特徴点が対応しないため、アニメーションが不自然な演出になってしまう。
　本実施形態では、周期的な動きの特徴点がアニメーション７１～７４毎に含まれる画像間で対応するようにインデックスを付与して、画面遷移の時には、インデックスを引き継いで静止画像を再生している。これにより、アニメーションの演出方法は変わっても、アニメーションの表示の連続性を保つことができるため、画面遷移の前後でアニメーションを自然な演出にすることができる。また、本実施形態では、画面遷移の時には、遷移前の静止画像をディスプレイ１０に表示させた状態を維持し、遷移前静止画像のタイムスロットを経過した時点で、第２表示画面に切り替える。これにより、アニメーションの連続性を保つことができる。
　次に、第１対話システム１１２による音声認識処理が正常に完了した後の表示画面について、説明する。図１２は、第１対話システム１１２がＰＯＩに関する音声を認識した後の、ディスプレイ１０の表示画面を表している。例えば、第１対話システム１１２を起動させた後に、ディスプレイ１０が図６の表示画面を表示している状態で、乗員がＰＯＩに関する音声として「Ｃｏｆｆｅｅ　Ｓｈｏｐ」と発したとする。音声認識部１１１は、音声「Ｃｏｆｆｅｅ　Ｓｈｏｐ」を検知して、音声認識処理を実行する。音声認識処理が正常に完了すると、対話システム制御部１１０は、音声入力されたＰＯＩ（Ｐｏｉｎｔ　ｏｆ　Ｉｎｔｅｒｓｔ）に関するワードから、乗員が現在地に近い「Ｃｏｆｆｅｅ　Ｓｈｏｐ」を探していると判断し、ＰＯＩに関する案内画像８０と、現在地周辺の地図９０をディスプレイ１０に表示させるように、表示制御部１３０に制御指令を出力する。図１２に示すように、案内画像８０は、音声認識の結果を表す文字列８１と、ＰＯＩ情報８２を含んでいる。文字列８１は、第１対話システム１１２で認識された音声の文字列である。図１２の例では「Ｃｏｆｆｅｅ　Ｓｈｏｐ」が表示される。これにより、乗員は、どのような音声がシステムで認識されたのか確認できる。ＰＯＩ情報８２は、現在地付近のＰＯＩの名称、現在地からの距離など、ＰＯＩに関する情報を示している。
　文字列８１が表示された図１２の表示画面の状態から、所定時間を経過すると、ディスプレイ１０の表示画面は、図１３の画面に遷る。第１対話システム１１２は、音声「Ｃｏｆｆｅｅ　Ｓｈｏｐ」に基づく音声認識処理を終えると、再び音声の受付が可能な状態になる。ディスプレイ１０の表示画面では、「音声受付可能状態」を表すアニメーション７２が文字列８１を表示していた位置に表示される。つまり、乗員は、「Ｃｏｆｆｅｅ　Ｓｈｏｐ」の文字列８１が表示された位置に、アニメーション７２の表示をみることで、「Ｃｏｆｆｅｅ　Ｓｈｏｐ」の次の音声を発すればよいことを確認できる。
　乗員は、図１３の表示画面の状態から、例えばＰＯＩ情報８２に含まれる店名等を読み上げると、第１対話システム１１２は乗員の音声を検知する。図１４に示すように、ディスプレイ１０の表示画面は、音声検知に共に、アニメーション７０の表示が「音声検知状態」を表すアニメーション７３となる。その後、音声検知を終えて音声処理状態になると、図１５に示すように、アニメーション７０の表示が「音声処理状態」を表すアニメーション７４となる。これにより、乗員は、ＰＯＩの案内情報や地図情報を見ながら、第１対話システムの処理状況をディスプレイ１０の表示で確認できる。
　図１４の表示画面の状態から、音声処理が正常に完了しない場合には、第１対話システム１１２は、音声認識に失敗した旨を示す制御信号を表示制御部１３０に出力する。表示制御部１３０は、図１４の表示画面でアニメーション７３の位置に、灰色の波形のアニメーション７１を表示する。これにより、乗員は、音声認識に失敗したことを、ディスプレイ１０の表示で確認できる。なお、音声認識に失敗した場合には、乗員に対して発話を促すために「もう１度音声を入力してください」のような音声を出力してもよい。
　上記のように、本実施形態において、表示制御部１３０は、第１対話システム１１２のステータスに応じて表示画面を切り替えている。つまり、表示制御部１３０は、図５～図８に示すような、メインメッセージ５０及びサンプルメッセージを表示する画像（本発明の「第１情報表示画像」に相当）含んだ画面と、図１２～図１５に示すような、ＰＯＩに関する情報及び地図情報を表示する画像（本発明の「第２情報表示画像」に相当）を含む画面とを切り替えて、ディスプレイ１０に表示させる。このとき、各表示画面には、アニメーション７０の画像が含まれている。そして、遷移前画面（図５～図８に示す表示画面に相当）と、遷移後画面（図１２～図１５に示す表示画面に相当）とを比較すると、遷移前画像に含まれるアニメーション７０の表示、遷移後画像に含まれるアニメーション７０の表示は、位置と大きさの点で異なっている。これにより、第１対話システム１１２を用いた情報提示と、第１対話システム１１２の動作状態の表示を両立させることができる。
　次に、第１対話システム１１２の「音声受付可能状態」から、音声処理が正常に完了しない場合の、ディスプレイ１０の表示画面の遷移について説明する。音声処理が正常に完了しない場合とは、「音声受付可能状態」の状態で所定時間経過した場合である。例えば、ディスプレイ１０の表示画面が図６の画面になった後、乗員が発話しない場合には、音声認識部１１１は音声を検知しない。このような状態が所定時間継続した場合には、音声認識部１１１は、音声処理が正常に完了しないと判定する。また、音声処理が正常に完了しない場合には、音声処理に異常が生じた場合も含まれる。音声認識部１１１は、検知した音声に対して音声認識処理を実行する。そして、音声認識部１１１は、入力された音声が解析できない場合や、解析された音声に対して該当するコマンド６１がない場合には、音声処理の異常と判定する。このような音声処理の異常判定の場合も、音声処理が正常に完了しない場合に該当する。
　上記のとおり、第１対話システム１１２が「音声受付可能状態」である場合に、ディスプレイ１０は、図６に示すような、メイン画面を表示している。そして、音声処理が正常に完了しないと判定した場合には、ディスプレイ１０の表示画面は、図１６に示す画面となる。図１６は、「音声受付可能状態」から、音声処理が正常に完了しない場合の、ディスプレイ１０の表示画面を示している。
　表示制御部１３０は、音声処理が正常に完了しない場合には、図１６に示すようなカテゴリ画面が表示される。カテゴリ画面は、コマンドをグルーピングしたカテゴリ画像を含んでいる。カテゴリ画像は、複数のコマンドをグルーピングした上で、グループ名をテキストやアイコンで表したものである。カテゴリ画像は、カテゴリの名称２０１及びカテゴリのアイコン２０２を含んでいる。例えば、コマンドの一例として「電話をかける（call and/or dial）」、「リダイヤル(redial)」、「telephone」等、電話に関する複数のコマンドを、１つのカテゴリ「Phone」でグルーピングしている。また、カテゴリの名称２０１の隣には、カテゴリのアイコン２０２が表示される。コマンド６１のグルーピングは、電話に限らず、ナビゲーションやオーディオなどがあり、グルーピングしたカテゴリの名称及びアイコンがカテゴリ画面に含まれる。また、カテゴリの名称２０１を含む画像及びアイコン２０２は、タッチ操作を有効にする領域を表している。つまり、カテゴリの名称２０１を含む画像及びアイコン２０２は、乗員に対してカテゴリを選択させるためのボタン機能を兼ねている。例えば、乗員が、カテゴリ「Phone」の名称２０１を含む画像、又は、カテゴリ「Phone」のアイコンをタッチした場合には、表示制御部１３０は、表示画面を、カテゴリ画面から後述するリスト画面に遷移させる。なお、メイン画面に表示されるカテゴリ画像は、名称２０１及びアイコン２０２の少なくとも一方の画像を含めばよい。
　カテゴリ画面は、カテゴリの名称２０１及びアイコン２０２の他に、メインメッセージ５０とアニメーション７０を含んでいる。アニメーション７０は、「音声検知状態」を表すアニメーション７２である。音声認識部１１１による音声認識処理は、カテゴリ画面を表示している時も有効に機能しており、乗員は、アニメーション７２の表示から、第１対話システム１１２の動作状態が「音声受付可能状態」であることを確認できる。
　乗員は、第１対話システムを操作するための音声を把握していない場合に、カテゴリの名称２０１及びアイコン２０２の表示から、対話システムを進めることができる。またノイズ等により音声を正常に処理できない場合でも、ボタン機能を兼ねたカテゴリ画像（アイコン）を表示させることで、乗員は対話システムを操作できる。またボタン機能を兼ねたカテゴリ画像は、利用頻度の高いものが表示されるため、利便性も向上する。さらに、カテゴリ画面はメインメッセージ５０とアニメーション７２を含んでいるため、乗員はコントローラ１００との対話でシステムを進めれることを画面表示から確認できる。
　なお、乗員によるカテゴリ及び／又はリストの選択は、音声入力でもよく、その他スイッチ操作でもよい。すなわち、コントローラ１００は、カテゴリ画面がディスプレイ１０に表示された状態で、乗員の音声、乗員によるディスプレイ１０のタッチ操作、及び、乗員によるスイッチ操作のいずれか１つに基づき、カテゴリの選択の有無を判定すればよい。
　カテゴリ画面において、乗員がカテゴリを選択した場合には、表示制御部１３０は、図１７に示すようなリスト画面をディスプレイ１０に表示させる。図１７は、ディスプレイ１０に表示されるリスト画面を示している。
　リスト画面は、グルーピングされたコマンドを含んだ画像であって、複数のコマンドを有したリスト３００を含んでいる。リスト３００は、複数の構文３１０を有しており、構文３１０は少なくともコマンド６１を有しており、コマンドの他に、サンプルテキスト３１１を有している。リスト画面は、アニメーション７０を含んでいない。構文３１０は、コマンド６１と設定値６２の組み合わせをテキストで表示したものである。サンプルテキスト３１１は、コマンドに続く、設定値６２の任意テキストを表しており、構文３１０に割り当てられる文字列及び数字列のいずれか一方の情報を示す。例えば、リスト中の最上段の構文は、コマンド「Call」とサンプルテキスト「<Name>」で構成されている。「<Name>」はコマンドの後に、人名や店舗名等の設定値６２が入ることを表している。乗員が、リスト中の構文３１０の表示をタッチした場合には、リスト３００の右側に、サンプルテキスト３１１に入る設定値６２の例が表示される。さらに、乗員が、リスト中の構文３１０の表示をダブルタップ等でタッチすると、図１８に示すようなサンプルテキスト３１１に入る設定リストが表示される。例えば、図１７の表示画面において、リスト中の最上段の構文「Call <Name>」が選択された場合には、図１８に示すような、構文３１０に割り当てられる文字列及び数字列のいずれか一方の情報が表示される。乗員は、図１８のリスト画面において、番号表示をタッチすることで、コマンド６１と、構文３１０に割り当てられるサンプルを選択できる。図１８の例では、リスト中の最上段の構文「Call <Name>」が選択された場合に、コントローラ１００は、リスト中のタッチされた番号に電話をかけてもよく、又は、電話をかける旨の通知をディスプレイ１０に表示させてもよい。
　次に、対話システムにおける対話のモデルフローの例を説明する。図１９、２０、２２～２５は、乗員が発する音声に対して、コントローラ１００が返答する返答メッセージを表している。図１９、２０、２２～２５において、「Customer」は乗員により発せられるメッセージ例を示しており、「INI」は対話システムにより発生されるメッセージ例を示している。なお、図１９、２０、２２～２５は一例にすぎず、対話システムは他のモデルフローの下でも対話を実行する。
　図１９は、空調機器４１の温度設定に関する対話のモデルフローである。例えば乗員が「ヘイ　○○」と発した場合に、コントローラ１００は「コマンドを音声入力するか選択して下さい」という日本語メッセージを機械音で発する。図１９のモデルフローは、例えば図６の表示画面がディスプレイ１０に表示されている状態で、図１９の「Customer」の欄に示すメッセージを発することで、対話システムが進み、空調機器４１の設定温度を変更できる。
　図２０は、ＰＯＩ検索に関する対話のモデルフローである。例えば、乗員がウェイクアップワードを発して正常に音声が処理されると、コントローラ１００はメッセージ「コマンドを音声入力するか選択して下さい」を返答する。次に、乗員は、お店のジャンルなどＰＯＩを特定できるワードを含んだメッセージ「目的地近くのカフェへ行きたい」を発する。コントローラ１００は、このメッセージを認識した後、ナビゲーションシステムを用いて検索を行い、メッセージ「表示されたリストから項目番号を音声入力するか、別のタブを選択してください」と返答する。このときディスプレイ１０には、図２１に示す表示画面が表示される。コントローラ１００は、ＰＯＩに関する案内画像８０をディスプレイ１０に表示させる。コントローラ１００は、地図も併せて表示してもよい。案内画像８０は、「音声受付可能状態」を表すアニメーション７２と、検索結果から得られたＰＯＩ情報８２を含んでいる。ＰＯＩ情報には、項目番号が付与されている。乗員は、項目番号を発することで、ＰＯＩを選択できる。図２１の例で、乗員が「イチ」と発することで、ＰＯＩ「ＡＡＡ」が選択される。コントローラ１００は、乗員が発した音声「イチ」を復唱した上で、次の選択用メッセージ「目的地を変更しますか」等を返答する。
　図２２は目的地設定に関する対話のモデルフローである。図２３は、音声再生に関する対話のモデルフローである。図２４はＳＭＳ（ショートメッセージ）送信に関する対話のモデルフローである。図２５はＳＭＳ（ショートメッセージ）送受信に関する対話のモデルフローである。
　上記のように本実施形態において、コントローラ１００は、乗員の音声入力を検知し、検知された音声に対する音声処理により音声を認識する音声認識部１１１と、コマンドを有したサンプルメッセージを含む対話システムの動作状態を示す動作状態画像を含むメイン画面、及び、コマンドをグルーピングしたカテゴリ画像を含むカテゴリ画面をディスプレイ１０に表示させる表示制御部１３０とを有する。そして、コントローラ１００は、音声認識部１１１が音声を検知する前はメイン画面をディスプレイ１０に表示させ、音声処理が正常に完了しない場合には、カテゴリ画面をディスプレイ１０に表示させ、カテゴリ画面を表示した状態でカテゴリが選択された場合には、ディスプレイ１０の表示画面をカテゴリ画面から別の画面に遷移させる。このように本実施形態では、メイン画面はシンプルな画面構成としている。また、対話システムにおける音声処理が正常に完了せず音声処理が進まない場合にもメイン画面は次の画面に遷移する。これにより、乗員が対話システムの使い方に慣れておらず、音声処理が進まない状況であっても、画面遷移は進む。これにより、対話システムの使い方に慣れた乗員にとっては煩雑な操作となることを回避でき、対話システムの使い方に慣れていない乗員にとっては対話システムを操作しなくてもサービス提供が受けれるよう画面を進めることができる。その結果として、操作性を向上できる。
　また本実施形態において、コントローラ１００で実行される表示制御方法は、乗員と対話してサービスを提供する対話システムを起動し、対話システムにより音声を検知する前の状態では、対話システムの動作状態を示す動作状態画像を含むメイン画面をディスプレイに表示する制御指令をディスプレイ１０に出力し、乗員の音声入力を検知し、検知された音声に対して音声処理を実行し、音声処理が正常に完了しない場合には、コマンドをグルーピングしたカテゴリ画像を含むカテゴリ画面を表示する制御指令をディスプレイ１０に出力し、カテゴリ画面を表示した状態でカテゴリが選択された場合には、カテゴリ画面から別の画面に遷移する制御指令をディスプレイ１０に出力する。これにより、対話システムの使い方に慣れた乗員にとっては煩雑な操作となることを回避でき、対話システムの使い方に慣れていない乗員にとっては対話システムを操作しなくてもサービス提供が受けれるよう画面を進めることができる。その結果として、操作性を向上できる。
　なお、本実施形態において、通信機２０は、コントローラ１００の一部とし、音声認識部１１１と通信機２０の間の通信経路は、車内通信経路ではなく、音声認識部１１１内の通信経路としてもよい。 また、第２対話システム３２は、音声認識エンジン（本発明の「第２音声認識エンジン」に相当）を用いて、音声処理を行ってもよい。
　なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
１　車両
２　サーバ
２０　通信機
３０　ハンドルスイッチ
３２　第２対話システム
７０　アニメーション
１００　コントローラ
１１０　対話システム制御部
１１１　音声認識部
１１２　第１対話システム
１２０　起動部
１２１　第１インターフェイス
１２２　第２インターフェイス
１３０　表示制御部

Claims (13)

  1. 　車両の乗員の音声に基づき、ディスプレイの表示画面を制御する表示制御装置であって、
    　前記乗員の音声入力を検知し、検知された前記音声に対する音声処理により前記音声を認識する音声認識部と、
    　対話システムの動作状態を示す動作状態画像を含むメイン画面、及び、コマンドをグルーピングしたカテゴリ画像を含むカテゴリ画面を前記ディスプレイに表示させる表示制御部とを有するコントローラを備え、
    前記コントローラは、
    　前記音声認識部が前記音声を検知する前は、前記メイン画面を前記ディスプレイに表示させ、
    　前記音声処理が正常に完了しない場合には、前記カテゴリ画面を前記ディスプレイに表示させ、
    　前記カテゴリ画面を表示した状態でカテゴリが選択された場合には、前記表示画面を前記カテゴリ画面から別の画面に遷移させる表示制御装置。
  2. 　請求項１記載の表示制御装置であって、
    　前記表示制御部は、グルーピングされた前記コマンドのリストを含むリスト画面を前記ディスプレイに表示させる表示制御装置。
  3. 　請求項１又は２記載の表示制御装置であって、
    　前記動作状態画像は、前記対話システムの動作状態を示すメッセージ及び前記対話システムの動作状態に応じて動くアニメーションの少なくともいずれか一方の画像を含み、
    　前記カテゴリ画面は、前記カテゴリの名称及び前記カテゴリのアイコンのいずれか一方の画像を含む表示制御装置。
  4. 　請求項１～３のいずれか一項に記載の表示制御装置であって、
    　前記カテゴリ画面は、前対話システムの動作状態に応じて動くアニメーションを含む表示制御装置。
  5. 　請求項１～４のいずれか一項に記載の表示制御装置であって、
    前記コントローラは、
    　前記音声処理が正常に完了する前に、前記音声入力を受付可能な状態で所定時間経過した場合に、前記カテゴリ画面を前記ディスプレイに表示させる表示制御装置。
  6. 　請求項１～５のいずれか一項に記載の表示制御装置であって、
    前記コントローラは、
    　前記乗員の発話内容から前記コマンドを認識できない場合には、前記音声処理の異常と判定し、
    　前記音声処理の異常と判定した場合には、前記カテゴリ画面を前記ディスプレイに表示させる表示制御装置。
  7. 　請求項１～６のいずれか一項に記載の表示制御装置であって、
    前記コントローラは、
    　前記カテゴリ画面が前記ディスプレイに表示された状態で、前記乗員の音声、前記乗員による前記ディスプレイのタッチ操作、及び、前記乗員によるスイッチ操作のいずれか１つに基づき、前記カテゴリの選択の有無を判定する表示制御装置。
  8. 　請求項２に記載の表示制御装置であって、
    前記コントローラは、
    　前記リスト画面が前記ディスプレイに表示された状態で、前記乗員の音声、前記乗員による前記ディスプレイのタッチ操作、及び、前記乗員によるスイッチ操作のいずれか１つに基づき、前記リストの選択の有無を判定する表示制御装置。
  9. 　請求項２又は８に記載の表示制御装置であって、
    前記リスト画面は、サンプルテキストを含み、
    前記リストは、少なくともコマンドを有した複数の構文をグルーピングしたリストであり、
    前記サンプルテキストは、前記構文に割り当てられる文字列及び数字列のいずれか一方の情報を示す表示制御装置。
  10. 　請求項９記載の表示制御装置において、
    前記コントローラは、
    　前記構文が選択された場合には、前記構文に割り当てられる文字列及び数字列のいずれか一方のサンプルテキストを選択する画面を前記ディスプレイに表示させる表示制御装置。
  11. 　請求項１～１０のいずれか１項に記載の表示制御装置において、
    　前記メイン画面は、前記コマンドを有したサンプルメッセージを含む表示制御装置。
  12. 　請求項２、８及び９のいずれか１項に記載の表示制御装置において、
    　前記リスト画面は、アニメーションを含まない表示制御装置。
  13. 　車両の乗員の音声に基づき、ディスプレイの表示画面を制御する表示制御方法において、
    　前記乗員と対話してサービスを提供する対話システムを起動し、
    　前記対話システムにより前記音声を検知する前の状態では、対話システムの動作状態を示す動作状態画像を含むメイン画面を前記ディスプレイに表示する制御指令を前記ディスプレイに出力し、
    　前記乗員の音声入力を検知し、検知された前記音声に対して音声処理を実行し、
    　前記音声処理が正常に完了しない場合には、コマンドをグルーピングしたカテゴリ画像を含むカテゴリ画面を表示する制御指令を前記ディスプレイに出力し、
    　前記カテゴリ画面を表示した状態で、カテゴリが選択された場合には、前記カテゴリ画面から別の画面に遷移する制御指令を前記ディスプレイに出力する表示制御方法。
PCT/JP2021/021239 2021-06-03 2021-06-03 表示制御装置及び表示制御方法 WO2022254670A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP21943348.9A EP4350689A4 (en) 2021-06-03 2021-06-03 DISPLAY CONTROL DEVICE AND DISPLAY CONTROL METHOD
JP2023525293A JPWO2022254670A1 (ja) 2021-06-03 2021-06-03
PCT/JP2021/021239 WO2022254670A1 (ja) 2021-06-03 2021-06-03 表示制御装置及び表示制御方法
US18/565,573 US20240265918A1 (en) 2021-06-03 2021-06-03 Display control device and display control method
CN202180098914.4A CN117396956A (zh) 2021-06-03 2021-06-03 显示控制装置和显示控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/021239 WO2022254670A1 (ja) 2021-06-03 2021-06-03 表示制御装置及び表示制御方法

Publications (1)

Publication Number Publication Date
WO2022254670A1 true WO2022254670A1 (ja) 2022-12-08

Family

ID=84324042

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/021239 WO2022254670A1 (ja) 2021-06-03 2021-06-03 表示制御装置及び表示制御方法

Country Status (5)

Country Link
US (1) US20240265918A1 (ja)
EP (1) EP4350689A4 (ja)
JP (1) JPWO2022254670A1 (ja)
CN (1) CN117396956A (ja)
WO (1) WO2022254670A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002168643A (ja) * 2000-11-28 2002-06-14 Matsushita Electric Ind Co Ltd 音声認識ナビゲーション検索方法および装置
JP2013025605A (ja) * 2011-07-22 2013-02-04 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP5234160B2 (ja) * 2011-03-23 2013-07-10 株式会社デンソー 車両用装置および情報表示システム
JP2015026102A (ja) * 2013-07-24 2015-02-05 シャープ株式会社 電子機器
WO2016002406A1 (ja) * 2014-07-04 2016-01-07 クラリオン株式会社 車載対話型システム、及び車載情報機器
JP2020003925A (ja) * 2018-06-26 2020-01-09 株式会社日立製作所 対話システムの制御方法、対話システム及びプログラム
JP2020144274A (ja) 2019-03-07 2020-09-10 本田技研工業株式会社 エージェント装置、エージェント装置の制御方法、およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101590332B1 (ko) * 2012-01-09 2016-02-18 삼성전자주식회사 영상장치 및 그 제어방법
JP2022036352A (ja) * 2018-12-27 2022-03-08 ソニーグループ株式会社 表示制御装置、及び表示制御方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002168643A (ja) * 2000-11-28 2002-06-14 Matsushita Electric Ind Co Ltd 音声認識ナビゲーション検索方法および装置
JP5234160B2 (ja) * 2011-03-23 2013-07-10 株式会社デンソー 車両用装置および情報表示システム
JP2013025605A (ja) * 2011-07-22 2013-02-04 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2015026102A (ja) * 2013-07-24 2015-02-05 シャープ株式会社 電子機器
WO2016002406A1 (ja) * 2014-07-04 2016-01-07 クラリオン株式会社 車載対話型システム、及び車載情報機器
JP2020003925A (ja) * 2018-06-26 2020-01-09 株式会社日立製作所 対話システムの制御方法、対話システム及びプログラム
JP2020144274A (ja) 2019-03-07 2020-09-10 本田技研工業株式会社 エージェント装置、エージェント装置の制御方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4350689A4

Also Published As

Publication number Publication date
US20240265918A1 (en) 2024-08-08
CN117396956A (zh) 2024-01-12
EP4350689A4 (en) 2024-04-24
JPWO2022254670A1 (ja) 2022-12-08
EP4350689A1 (en) 2024-04-10

Similar Documents

Publication Publication Date Title
KR101647848B1 (ko) 정보 입력 및 표시를 위한 운전자 보조 시스템의 멀티모드 사용자 인터페이스
KR101613407B1 (ko) 지원 기능을 갖춘 차량 시스템 및 차량 시스템 작동 방법
WO2015128960A1 (ja) 車載制御装置および車載制御方法
US20140267035A1 (en) Multimodal User Interface Design
US10466800B2 (en) Vehicle information processing device
KR101570096B1 (ko) 핸들에 부착되는 입력 장치 및 이를 구비한 차량
WO2013014709A1 (ja) ユーザインタフェース装置、車載用情報装置、情報処理方法および情報処理プログラム
JP2004505322A (ja) 遠隔操作系のユーザーインターフェイス
CN114206654A (zh) 用于检测对交通工具的装置的用户输入的方法和操作系统
WO2022254670A1 (ja) 表示制御装置及び表示制御方法
WO2022254669A1 (ja) 対話サービス装置及び対話システム制御方法
JP7323050B2 (ja) 表示制御装置及び表示制御方法
Chen et al. Eliminating driving distractions: Human-computer interaction with built-in applications
US20240371372A1 (en) Dialogue service device and dialogue system control method
JP2005208798A (ja) 情報提供端末、および情報提供方法
WO2023272629A1 (zh) 界面的控制方法、装置和系统
EP3545403A1 (en) Controls for dictated text navigation
WO2024053182A1 (ja) 音声認識方法及び音声認識装置
JP5795068B2 (ja) ユーザインタフェース装置、情報処理方法および情報処理プログラム
JP2002013942A (ja) 車載電子ユニット
JP2001228894A (ja) 音声認識装置
ES2803525T3 (es) Procedimiento y dispositivo para el control simplificado de servicios de comunicación en un vehículo empleando gestos de toque en pantallas sensibles al tacto

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21943348

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023525293

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202180098914.4

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 202347089512

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 2021943348

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021943348

Country of ref document: EP

Effective date: 20240103