WO2017179262A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2017179262A1
WO2017179262A1 PCT/JP2017/002213 JP2017002213W WO2017179262A1 WO 2017179262 A1 WO2017179262 A1 WO 2017179262A1 JP 2017002213 W JP2017002213 W JP 2017002213W WO 2017179262 A1 WO2017179262 A1 WO 2017179262A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
voice
output
information processing
control unit
Prior art date
Application number
PCT/JP2017/002213
Other languages
English (en)
French (fr)
Inventor
祐平 滝
真一 河野
佑輔 中川
邦仁 澤井
亜由美 加藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/077,607 priority Critical patent/US11100944B2/en
Priority to KR1020187028289A priority patent/KR20180134339A/ko
Priority to JP2018511890A priority patent/JP6943237B2/ja
Priority to DE112017001987.7T priority patent/DE112017001987T5/de
Priority to CN201780022151.9A priority patent/CN108885594B/zh
Publication of WO2017179262A1 publication Critical patent/WO2017179262A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/083—Recognition networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/234—Monitoring or handling of messages for tracking messages
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • chat text and voice can be exchanged between participants in real time.
  • Patent Document 1 describes a technique for converting text input by one user into voice data, and outputting the converted voice data to an earphone used by another user.
  • the present disclosure proposes a new and improved information processing apparatus, information processing method, and program capable of improving convenience in a scene where messages are exchanged between users.
  • an information processing apparatus that includes an output control unit that controls, and in which an input message is exchanged between the first user and the second user.
  • an information processing method based on detection of an utterance by a first user who uses speech input, information indicating a waiting state of the first user regarding a reply from a second user who uses text input.
  • the computer is configured to determine a waiting state of the first user regarding a reply from the second user using the text input based on detection of the utterance by the first user using the voice input.
  • a program for functioning as an output control unit that controls output of information to be displayed, wherein an input message is exchanged between the first user and the second user. Is done.
  • FIG. 5 is a sequence diagram illustrating a flow of message exchange processing according to the first embodiment. It is a functional block diagram showing an example of composition of server 10 by a 1st embodiment. It is explanatory drawing which showed the structural example of DB124 for time limit calculation by 1st Embodiment. It is explanatory drawing which showed the structural example of the speech characteristic coefficient table 126 by 1st Embodiment. It is explanatory drawing which showed the structural example of the sensing information coefficient table 128 by 1st Embodiment.
  • a plurality of constituent elements having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numeral.
  • a plurality of components having substantially the same functional configuration are distinguished as the terminal 20a and the terminal 20b as necessary.
  • only the same reference numerals are given.
  • the terminal 20 when there is no need to distinguish between the terminal 20a and the terminal 20b, they are simply referred to as the terminal 20.
  • the information processing system common to the embodiments includes a server 10, a terminal 20, and a communication network 30.
  • a scene where two users 2 chat is assumed. More specifically, one user 2a performs chat by voice input (voice chat), and the other user 2b performs chat by text input (text chat). For example, two users chat while playing the same video game.
  • voice chat voice chat
  • text chat text input
  • the user can input text using, for example, an input device such as a keyboard, a software keyboard displayed on the display screen, or input text by voice text input. It is also possible.
  • the terminal 20 is a device used by the user 2 for chatting.
  • FIG. 1 shows an example in which the terminal 20 is a game machine
  • the present invention is not limited to such an example.
  • the terminal 20 may be a mobile phone such as a general-purpose PC (Personal Computer), a tablet terminal, or a smartphone, or a wearable device such as an HMD (Head Mounted Display) or a headset.
  • the example in which the terminal 20 is a game machine will be mainly described.
  • the terminal 20 includes, for example, a control unit 200, a sound collection unit 220, an operation unit 222, a measurement unit 224, a display unit 226, an audio output unit 228, and a communication unit 230.
  • the control unit 200 generally controls the operation of the terminal 20 using hardware such as a CPU (Central Processing Unit) or a RAM (Random Access Memory).
  • a CPU Central Processing Unit
  • RAM Random Access Memory
  • the sound collection unit 220 collects external sound.
  • the sound collecting unit 220 transmits the collected sound to the control unit 200.
  • the operation unit 222 accepts user input. In addition, the operation unit 222 transmits the received content to the control unit 200.
  • the measurement unit 224 includes various sensors such as a camera, a sweat sensor, and a temperature sensor, for example. For example, the measurement unit 224 performs measurement related to the state of the user. In addition, the measurement unit 224 transmits the measurement result to the control unit 200.
  • the display unit 226 is an example of an output unit in the present disclosure.
  • the display unit 226 displays a display screen according to the control of the control unit 200.
  • the audio output unit 228 is an example of an output unit in the present disclosure.
  • the audio output unit 228 outputs audio according to the control of the control unit 200.
  • the communication unit 230 transmits and receives information to and from other devices via the communication network 30, for example.
  • the communication unit 230 transmits the sound collected by the sound collection unit 220 to the server 10 under the control of the control unit 200.
  • the communication unit 230 receives a message or the like input by another user from the server 10.
  • the configuration of the terminal 20 is not limited to the above-described example.
  • any one or more of the sound collection unit 220, the operation unit 222, the measurement unit 224, the display unit 226, and the audio output unit 228 may be provided outside the terminal 20.
  • the server 10 is an example of an information processing device according to the present disclosure.
  • the server 10 controls the exchange of input messages between the terminals 20.
  • the server 10 can transmit the voice input by the voice chat user 2a as it is to the terminal 20b used by the text chat user 2b, or the voice recognition result of the input voice can be transmitted to the terminal. It is also possible to transmit to 20b.
  • the server 10 converts the text input by the text chat user 2b into a voice using TTS (Text To Speech), and transmits the converted voice to the terminal 20a used by the voice chat user 2a.
  • TTS Text To Speech
  • the server 10 transmits the received voice to the terminal 20b used by the text chat user 2b (S15).
  • the voice output unit 228b of the terminal 20b outputs the received voice (S17).
  • the text chat user 2b inputs text using the operation unit 222, for example (S19).
  • the terminal 20b transmits the input text to the server 10 (S21).
  • the server 10 converts the received text into speech by the TTS function (S23). Then, the server 10 transmits the converted voice to the terminal 20a (S25).
  • the voice output unit 228a of the terminal 20a outputs the received voice (S27).
  • the communication network 30 is a wired or wireless transmission path for information transmitted from a device connected to the communication network 30.
  • the communication network 30 may include a public line network such as a telephone line network, the Internet, a satellite communication network, various LANs including the Ethernet (registered trademark), a wide area network (WAN), and the like.
  • the communication network 30 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • the server 10 has been created by focusing on the above circumstances.
  • the server 10 is based on the detection of the utterance by the voice chat user, and indicates information indicating the waiting state of the voice chat user regarding the reply from the text chat user (hereinafter, voice chat). It is possible to control output of information (referred to as information indicating a user's waiting state). Thereby, the text chat user can grasp
  • FIG. 4 is a functional block diagram illustrating a configuration example of the server 10 according to the first embodiment.
  • the server 10 includes a control unit 100, a communication unit 120, and a storage unit 122.
  • Control unit 100 The control unit 100 generally controls the operation of the server 10 using hardware such as a CPU 150 and a RAM 154, which will be described later, built in the server 10. As illustrated in FIG. 4, the control unit 100 includes a voice analysis unit 102, an emotion estimation unit 104, a reply time limit calculation unit 106, and an output control unit 108.
  • Speech analysis unit 102 analyzes the voice received from the terminal 20.
  • the voice analysis unit 102 analyzes the speech characteristics of the received voice.
  • the speech characteristics are, for example, voice volume, speech speed, or pitch.
  • the voice analysis unit 102 performs voice recognition and syntax analysis of the received voice. For example, the voice analysis unit 102 performs voice recognition of the received voice, and performs modality analysis of the utterance sentence based on the recognition result.
  • the modality analysis is to analyze the linguistic type (for example, “denial”, “exclamation”, “invitation”, “question”, etc.) of the sentence.
  • the speech analysis unit 102 determines whether or not the modality of the utterance sentence is a modality that requires a response based on the result of the modality analysis. For example, when the type of modality analyzed by the modality analysis is “condition”, “question”, “work”, or “solicitation”, the voice analysis unit 102 indicates that the modality requires a response. It is determined that If the analyzed modality type is a modality other than those described above, the speech analysis unit 102 determines that the modality is a modality that does not require a response.
  • the emotion estimation unit 104 estimates the emotion of the user using the terminal 20 based on various sensing results received from the terminal 20. For example, the emotion estimation unit 104 estimates a user's emotion (for example, angry, sad, or enjoying) by analyzing a facial expression based on the photographed user's face image. The emotion estimation unit 104 can also estimate the user's emotion by analyzing the received voice.
  • a user's emotion for example, angry, sad, or enjoying
  • the emotion estimation unit 104 can also estimate the user's emotion by analyzing the received voice.
  • the reply time limit calculation unit 106 calculates a reply time limit for a message related to the text chat user based on a predetermined criterion.
  • the reply time limit corresponds to, for example, the maximum time estimated that the voice chat user is allowed to wait for a reply from the text chat user (or does not feel uncomfortable even if waiting).
  • the predetermined criteria may include a detected voice chat user utterance characteristic.
  • the predetermined criterion may include a result of emotion estimated by the emotion estimation unit 104 based on the received voice (voice chat user).
  • the predetermined reference may include a sensing result related to the state of the voice chat user.
  • the predetermined criterion may include a result of voice recognition of the received voice (of the voice chat user) by the voice analysis unit 102.
  • the reply time limit calculation unit 106 calculates the reply time limit based on the analysis result by the voice analysis unit 102, the estimation result by the emotion estimation unit 104, and the registered content of the time limit calculation DB 124 described later.
  • the reply time limit calculation unit 106 first calculates a decrease rate from the reference time based on each decrease coefficient stored in the time limit calculation DB 124. Then, the reply time limit calculation unit 106 calculates the reply time limit by multiplying the calculated decrease rate by the reference time.
  • the length of the reference time can be determined in advance for each type of terminal 20 or each type of service (chat service or the like), for example. Then, the reply time limit calculation unit 106 multiplies the calculated decrease rate by the reference time associated with the type of the terminal 20 used by the user or the type of service used by the user. Thus, the reply time limit is calculated.
  • the time limit calculation DB 124 is a database that stores a decrease coefficient used to calculate a reply time limit. This time limit calculation DB 124 may be stored in the storage unit 122, for example.
  • FIG. 5 is an explanatory diagram showing a configuration example of the time limit calculation DB 124. As shown in FIG. 5, the time limit calculation DB 124 includes an utterance characteristic coefficient table 126, a sensing information coefficient table 128, an indicating pronoun presence / absence coefficient table 130, and a time information coefficient table 132.
  • FIG. 6 is an explanatory view showing a configuration example of the speech characteristic coefficient table 126.
  • the volume and speed of the utterance are associated with a reduction coefficient 1260.
  • the reduction coefficient is “0.8”.
  • the utterance characteristic coefficient table 126 is not limited to the volume or speed of the utterance.
  • the pitch of the utterance or the result of the emotion estimated based on the voice of the utterance may be added or substituted. May be associated.
  • FIG. 7 is an explanatory diagram showing a configuration example of the sensing information coefficient table 128.
  • the sensing information coefficient table 1228 for example, a result of emotion estimation based on sensing information other than voice (such as a face image), a sensing result of sweating amount, and a reduction coefficient 1280 are associated with each other. ing.
  • the reduction coefficient is “0.5”.
  • the sensing information coefficient table 128 is not limited to the result of emotion estimation or the amount of sweating.
  • the detection result of the line of sight whether or not the display unit 226 is viewed
  • the detection result of the operation unit 222 the operation unit 222).
  • the action recognition result game play status, etc.
  • FIG. 8 is an explanatory diagram showing a configuration example of the indicating pronoun presence coefficient table 130.
  • the presence / absence of an indicating pronoun is associated with a decrease coefficient 13300.
  • the reduction coefficient is “0.8”.
  • FIG. 9 is an explanatory diagram showing a configuration example of the time information coefficient table 132.
  • the time indicated by the word included in the speech recognition result is associated with the decrease coefficient 1320.
  • the reduction coefficient is “0.8”. Note that the values of the individual reduction coefficients shown in FIGS. 6 to 9 are merely examples, and are not limited to such examples, and arbitrary values can be registered.
  • the reply time limit calculation unit 106 calculates the message reply time limit based on the various tables shown in FIGS. 6 to 9.
  • the reference time is “30 seconds”
  • the reduction coefficient determined from the speech characteristic coefficient table 126 is “0.8”
  • the reduction coefficient determined from the sensing information coefficient table 128 is “1.0”.
  • the reply time limit calculation unit 106 calculates the reply time limit as “19 seconds” by multiplying the reference time by all the reduction factors (30 (seconds) ⁇ 0.8 ⁇ 1). 0.0 ⁇ 0.8 ⁇ 1.0 ⁇ 19 (seconds)).
  • Output control unit 108 controls output of information indicating a waiting state of the voice chat user based on detection of the utterance by the voice chat user. For example, the output control unit 108 controls the output of information indicating the waiting state of the voice chat user based on the analysis result of the voice analysis unit 102 for the detected utterance. As an example, the output control unit 108 starts to output information indicating the waiting state of the voice chat user based on the determination result of whether or not the detected utterance text is a modality that requires a response.
  • the output control unit 108 starts outputting information indicating the waiting state of the voice chat user.
  • the voice analysis unit 102 determines that the detected utterance sentence is a modality that requires a response
  • the output control unit 108 starts outputting information indicating the waiting state of the voice chat user. I won't let you.
  • the output control unit 108 ends the output of the information indicating the waiting state of the voice chat user based on a predetermined condition. For example, when the message input by the text chat user is completed, the output control unit 108 ends the output of the information indicating the waiting state of the voice chat user. Further, when the elapsed time from the output of the information indicating the waiting state of the voice chat user exceeds a predetermined upper limit time, the output control unit 108 outputs the information indicating the waiting state of the voice chat user. End.
  • the predetermined upper limit time may be a predetermined time, or may be a time obtained by adding a predetermined time to the reply time limit calculated by the reply time limit calculation unit 106. Or, it may be the same as the reply time limit.
  • the output control unit 108 causes the indicator including the reply time limit calculated by the reply time limit calculation unit 106 to be displayed on the display unit 226 on the text chat user side as information indicating the waiting state of the voice chat user.
  • FIG. 10 is an explanatory diagram showing an example of indicator display (display screen 40).
  • the output control unit 108 causes the display screen 40 to display the text input field 42 and the indicator 50 together.
  • the text input field 42 is an input field for a text chat user to input text (message).
  • the indicator 50 includes a meter 52.
  • the meter 52 is a display showing the difference between the reply limit time and the elapsed time from the start of display of the indicator 50 (hereinafter sometimes referred to as remaining time).
  • the text chat user can know at any time the remaining time that the voice chat user is allowed to wait for a message reply. As a result, the text chat user can determine whether or not to promptly input a reply message, for example.
  • the right end of the indicator 50 in FIG. 10 indicates the length of the reply time limit calculated by the reply time limit calculation unit 106. For example, when the reply limit time is “2 minutes”, the indicator 50 is twice as long as the reply limit time is “1 minute”. Further, when the display of the indicator 50 is started, the right end of the meter 52 and the right end of the indicator 50 can be matched. Alternatively, the length of the indicator 50 is fixed regardless of the length of the reply limit time, and the speed at which the length of the meter 52 changes as will be described later may be changed according to the reply control time. Good. For example, when the length of the reply limit time is “2 minutes”, the output control unit 108 sets the meter 52 at a speed “twice” that when the reply limit time is “1 minute”. The length may be shortened.
  • the present invention is not limited to this example, and the right end of the indicator 50 may be determined at a predetermined time (for example, 3 minutes). In this case, when the reply limit time is less than the predetermined time, the meter 52 is displayed shorter than the indicator 50 when the indicator 50 starts to be displayed.
  • FIG. 11 is an explanatory diagram showing an example in which the display of the indicator 50 is changed with the passage of time.
  • the example of a display of the indicator 50 when longer time has passed in order of (a), (b), (c), (d) is shown.
  • the output control unit 108 shortens the length of the meter 52 as the elapsed time from the display start of the indicator 50 is longer (that is, the remaining time is shorter).
  • FIG. 11 is an explanatory diagram showing an example in which the display of the indicator 50 is changed with the passage of time.
  • the example of a display of the indicator 50 when longer time has passed in order of (a), (b), (c), (d) is shown.
  • the output control unit 108 shortens the length of the meter 52 as the elapsed time from the display start of the indicator 50 is longer (that is, the remaining time is shorter).
  • FIG. 11 is an explanatory diagram showing an example in which the display of the indicator 50 is changed with the passage of time.
  • the output control unit 108 may change the display color of the meter 52 according to, for example, the ratio of the remaining time length to the reply limit time. For example, as shown in FIG. 11B, when the ratio of the remaining time to the reply limit time becomes less than “50%”, the output control unit 108 changes the display color of the meter 52 to “Caution”. The display color is changed. Further, as illustrated in FIG. 11C, when the ratio of the remaining time to the reply limit time is less than “30%”, the output control unit 108 changes the display color of the meter 52 to “Warning”. The display color is changed. According to these display examples, it is possible to emphasize to the text chat user that the remaining time until the reply limit time is short.
  • FIG. 11 has shown the example of a display of the indicator 50 after a text chat user transmits a message.
  • the output control unit 108 hides only the meter 52 or hides the indicator 50, for example.
  • the indicator 50 and the meter 52 have been described as different from each other.
  • the present invention is not limited to this example, and the indicator 50 may be the same as the meter 52.
  • output control part 108 may display auxiliary display 54 near indicator 50 (for example, right adjacent).
  • the auxiliary display 54 is an example of information indicating a waiting state of the voice chat user.
  • the ratio of the remaining time with respect to the reply time limit and the text (for example, “OK”, “Hurry up!”, “He is Angry !”, etc.) can be registered in advance in the table.
  • the output control unit 108 may sequentially update the type of text displayed as the auxiliary display 54 according to the current remaining time ratio and the registered contents of the table.
  • the output control unit 108 may display the emotion result estimated by the emotion estimation unit 104 as the auxiliary display 54.
  • the output control unit 108 displays “Heis angle” (regardless of the elapsed time).
  • the text “!!!” may be displayed as the auxiliary display 54.
  • the output control unit 108 may update the display content of the auxiliary display 54 each time the emotion estimation result changes.
  • the output control unit 108 may display the sensing result related to the state of the voice chat user (for example, whether the display unit 226 is viewed or whether the operation unit 222 is held) as the auxiliary display 54. Good.
  • the example in which a text is displayed as the auxiliary display 54 is shown in FIG. 11, it is not limited to this example, For example, images, such as an icon, may be displayed.
  • FIG. 12 is an explanatory diagram showing a display example of the indicator when the elapsed time from the start of indicator display exceeds the reply time limit.
  • the output control unit 108 may blink the text input field 42.
  • the output control unit 108 may display the OSK (On-Screen Keyboard) 60 on the display screen while blinking the text input field 42. Thereby, the text chat user can be forced to input text.
  • OSK On-Screen Keyboard
  • the output control part 108 can also make the audio
  • the length of time (or the ratio of remaining time) and the type of sound can be registered in advance in the table in association with each other. Then, when an utterance by the voice chat user is detected, the output control unit 108 determines the reply limit time length (or “100%”) calculated by the reply limit time calculation unit 106 and the registered contents of the table. Depending on the type of sound, the sound output unit 228 may output the sound. Furthermore, the output control unit 108 may sequentially update the type of sound to be output according to the current remaining time length (or the remaining time ratio) and the registered contents of the table. As a result, the text chat user can know how much time will remain afterward.
  • the length of time (or the ratio of the remaining time) and the length of the time interval at which a predetermined sound (for example, a bell sound or a beep sound) is output may be registered in advance in the table. For example, it can be registered that the time interval of the output sound is shortened as the length of the remaining time (or the ratio of the remaining time) is smaller. Then, when an utterance by the voice chat user is detected, the output control unit 108 registers it in the table in association with the reply limit time length (or “100%”) calculated by the reply limit time calculation unit 106. A predetermined sound may be output to the audio output unit 228 at a set time interval. Further, the output control unit 108 may sequentially update the time interval at which the sound is output according to the current remaining time length (or the remaining time ratio) and the registered contents of the table. As a result, the text chat user can know how much time will remain afterward.
  • a predetermined sound for example, a bell sound or a beep sound
  • the output control unit 108 When the elapsed time from the output of the voice indicating the waiting state exceeds the reply limit time, the output control unit 108, for example, as shown in FIG. 12, the text input displayed on the display screen The column 42 may be blinked.
  • the output control part 108 can also output the vibration which shows a voice chat user's waiting condition to the operation part 222 of the terminal 20 which a text chat user uses, for example.
  • the length of time (or the ratio of remaining time) and the type of vibration can be registered in advance in the table in association with each other.
  • a vibration pattern that is evaluated to be more comfortable as the length of time (or the percentage of remaining time) is larger may be registered in the table.
  • the output control unit 108 determines the reply limit time length (or “100%”) calculated by the reply limit time calculation unit 106 and the registered contents of the table.
  • the operation unit 222 may be output.
  • the output control unit 108 may sequentially update the type of vibration to be output according to the current remaining time length (or the remaining time ratio) and the registered contents of the table.
  • the length of time (or the ratio of the remaining time) and the length of the time interval at which a predetermined type of vibration is output may be registered in advance in the table. For example, the smaller the remaining time length (or the remaining time ratio), the shorter the time interval of vibrations to be output can be registered. Then, when an utterance by the voice chat user is detected, the output control unit 108 registers it in the table in association with the reply limit time length (or “100%”) calculated by the reply limit time calculation unit 106. The predetermined vibration may be output to the operation unit 222 at a set time interval. Furthermore, the output control unit 108 may sequentially update the time intervals at which vibrations are output according to the current remaining time length (or remaining time ratio) and the registered contents of the table.
  • the ratio of the remaining time (or the length of time) and the part where vibration is output in the operation unit 222 can be registered in advance in the table. For example, the smaller the remaining time ratio, the more parts can be registered to output vibration.
  • the output control part 108 may change the site
  • the output control unit 108 when the elapsed time from the output of the vibration indicating the waiting state exceeds the reply limit time, the output control unit 108, for example, as shown in FIG. 12, the text input displayed on the display screen The column 42 may be blinked.
  • the output control unit 108 can increase or decrease the remaining time (with respect to the reply of the text chat user) based on a predetermined condition. Further, when the remaining time is increased or decreased, the output control unit 108 displays an indicator, outputs a sound, or outputs a vibration in a manner corresponding to the remaining time after the increase or decrease.
  • the output control unit 108 may add a predetermined time to the current remaining time each time a new utterance is detected by the voice chat user.
  • the output control unit 108 determines the current remaining time according to the new utterance. It may be increased or decreased. For example, when it is detected that a keyword that promptly replies to a message such as “Reply early!” Is spoken by the voice chat user, the output control unit 108 sets the remaining time to a predetermined time. It may be shortened by time.
  • the output control unit 108 increases or decreases the remaining time according to the change in the emotion estimation result. May be. For example, if the estimated result of emotion at the time of detecting an utterance is “normal” and the estimated result of the voice chat user changes to “angry” before the text chat user returns, The control unit 108 may shorten the remaining time by a predetermined time. Also, if the emotion estimation result at the time of utterance detection is “angry” and the text chat user's emotion estimation result changes to “normal” before replying, the output is The control unit 108 may add a predetermined time to the current remaining time.
  • the output control unit 108 can increase or decrease the remaining time for any text chat user. For example, in a situation where there is one voice chat user and a plurality of text chat users, the output control unit 108 increases or decreases the remaining time related to message reply for each text chat user based on a predetermined condition. The amount may vary.
  • the voice chat user is a teacher and the text chat user is a student will be described.
  • a teacher utters the question “Is there anyone who knows about XX?”
  • student A one of the students replies with a message to the utterance
  • the output control unit 108 may set the remaining time of the student A to “0 seconds” and add a predetermined time to the current remaining time for all the students other than the student A.
  • a class can be activated by making a plurality of students answer the same question.
  • a teacher voice chat user
  • a plurality of students text chat users
  • a terminal 20 such as a PC
  • the teacher Voice chat user
  • a terminal 20 such as a PC
  • An application example in a scene where a plurality of student videos are displayed on the display unit will be described. For example, it is assumed that a teacher's line of sight is directed to which of the plurality of student images is detected by a camera installed in the vicinity of the display unit, and the teacher utters a question.
  • the output control unit 108 may increase the remaining time only for the student corresponding to the video for which it is detected that the gaze of the teacher is directed.
  • the output control unit 108 causes the indicator to be displayed only on the display unit viewed by the student who is detected that the teacher's line of sight is directed, and sends a reply message to the question to the corresponding student. You may enter only.
  • the communication unit 120 transmits and receives information to and from other devices. For example, the communication unit 120 transmits information indicating the waiting state of the voice chat user to the terminal 20 used by the text chat user under the control of the output control unit 108. Further, the communication unit 120 receives from the terminal 20 the voice of the user's utterance, the input text, and the like.
  • Storage unit 122 stores various data and various software.
  • the storage unit 122 stores a time limit calculation DB 124 and the like.
  • a voice chat user speaks. Then, the terminal 20a used by the voice chat user collects the spoken voice, and sequentially transmits the collected voice to the server 10 (S101).
  • the server 10 performs an “indicator display necessity determination process” to be described later (S103). And when it determines with the display of an indicator not being required (S105: No), the process of S101 is performed again.
  • the server 10 performs a “reply time limit calculation process” to be described later (S107).
  • the output control unit 108 of the server 10 causes the terminal 20b (display unit 226) used by the text chat user to start displaying an indicator corresponding to the processing result of S107 (S109).
  • the server 10 performs an “indicator display end determination process” to be described later (S111). If it is determined that the display of the indicator is not terminated (S113: No), the server 10 performs the process of S111 again after waiting for a predetermined time, for example. On the other hand, when it is determined that the display of the indicator is to be ended (S113: Yes), this operation ends.
  • the voice analysis unit 102 performs voice recognition of the voice received in S101 (S201). Then, the voice analysis unit 102 performs modality analysis of the utterance sentence based on the result of the voice recognition (S203). If it is determined that the modality requires a response (S205: Yes), the output control unit 108 determines that display of an indicator is necessary (S207). Then, the “indicator display necessity determination process” ends.
  • the output control unit 108 determines whether a predetermined time has elapsed since the last detected utterance. (S209). When the predetermined time has elapsed since the previous utterance (S209: Yes), the output control unit 108 determines that the utterance corresponding to the voice received in S101 is the first utterance in the new context. (S211). Then, the output control unit 108 performs the process of S207 described above.
  • the output control unit 108 determines whether or not the speech recognition result in S201 includes a word indicating the end of the conversation.
  • the word indicating the end of the conversation may be, for example, “goodbye”, “bye-bye”, “I will go to sleep”, “again tomorrow”, and the like.
  • the word indicating the end of the conversation may be registered in a word list constructed based on chat history information.
  • the word list can be constructed based on, for example, collecting words of the last utterance based on chat history information.
  • the output control unit 108 performs the process of S207 described above.
  • the output control unit 108 determines that display of the indicator is unnecessary (S215). Then, the “indicator display necessity determination process” ends.
  • the reply time limit calculation unit 106 acquires the speech characteristics of the corresponding voice analyzed in S201 (S301). Subsequently, the reply time limit calculation unit 106 acquires sensing information other than voice, such as a face image, a line-of-sight detection result, or a behavior recognition result regarding the voice text chat user (S303). The sensing information may be transmitted to the server 10 together with the voice of the utterance by the terminal 20 in S101, or the terminal 20 may be transmitted to the server 10 in S303.
  • the reply time limit calculation unit 106 obtains an analysis result of the presence or absence of an instructional pronoun regarding the sentence of the corresponding utterance analyzed in S201 (S305).
  • the reply time limit calculation unit 106 acquires the analysis result of the time information related to the sentence of the corresponding utterance analyzed in S201 (S307).
  • the reply time limit calculation unit 106 calculates the rate of decrease from the reference time based on the information acquired in S301 to S307 and the registered contents of the time limit calculation DB 124 (S309).
  • the reply time limit calculation unit 106 calculates the reply time limit by multiplying the reference time by the decrease rate calculated in S309 (S311).
  • the output control unit 108 determines whether or not the text chat user has already returned the utterance detected in S101 (S401). If the text chat user has already responded (S401: Yes), the output control unit 108 determines to end the display of the indicator (S403). Then, the “indicator display end determination process” ends.
  • the output control unit 108 determines whether or not a new utterance has been detected from the voice chat user (S405).
  • the output control unit 108 estimates the inter-sentence relationship using, for example, a known technique, thereby detecting the detected new utterance. It is determined whether or not (hereinafter referred to as “new utterance”) and the utterance detected in S101 (hereinafter referred to as the target utterance) are related (S407).
  • the inter-sentence relationship between a sentence of a new utterance and a sentence of the target utterance is “a relation based on the identity of the matter” (for example, “equivalent”, “simplified”, “detail”, “example”, “reference”). , “Supplement” or the like), the output control unit 108 determines that the new utterance is related to the target utterance (that is, the utterance continues).
  • the server 10 When it is determined that the new utterance is not related to the target utterance (S407: No), the server 10 performs the process of S403 described above. On the other hand, when it is determined that the new utterance is related to the target utterance (S407: Yes), the output control unit 108 determines not to end the display of the indicator (S409). Thereafter, the “indicator display end determination process” ends.
  • the server 10 performs voice based on detection of an utterance by the voice chat user. Controls the output of information indicating the waiting status of chat users. Thereby, the text chat user can grasp
  • the server 10 calculates a reply time limit based on the detection of the utterance by the voice chat user, and displays an indicator including the calculated reply time limit on the display unit 226 on the text chat user side.
  • the indicator includes a meter that indicates the difference between the reply limit time and the elapsed time from the start of indicator display.
  • the first embodiment is not limited to the above description.
  • the example in which the server 10 displays the indicator only on the display unit 226b on the text chat user side has been described, but the present invention is not limited to this example, and the server 10 displays the same indicator on the display unit 226a on the voice chat user side. You may let them. Thereby, the voice chat user can grasp
  • Second Embodiment >> The first embodiment has been described above. As described above, generally, in text chat, it takes a long time to input a message as compared with voice chat. Therefore, it is desirable that the voice chat user can confirm the input status of the text chat user in order to suppress a decrease in usability in a scene where the chat is performed between the voice chat user and the text chat user.
  • the server 10 controls the output of feedback voice (hereinafter referred to as FB voice) to the voice chat user based on the text input status by the text chat user.
  • FB voice feedback voice
  • FB voice feedback voice
  • an application example in a scene where a text chat user inputs a voice text will be described.
  • the present invention is not limited to this example, and the present invention can be applied to a scene in which a text chat user inputs text using, for example, a hardware keyboard or a software keyboard.
  • the output control unit 108 causes the voice output unit 228 of the terminal 20 used by the voice chat user to output FB voice based on the text input status by the text chat user. For example, when the predetermined audio FB timing is reached, the output control unit 108 causes the audio output unit 228 to output the FB audio.
  • the audio FB timing includes, for example, “when message input starts”, “message input is in progress”, “message input is completed”, and “message transmission”.
  • “during message input” is, for example, a timing at which the volume of an utterance exceeds a predetermined threshold in an utterance section (for voice text input) detected by VAD (Voice Activity Detection).
  • the voice FB timing and the voice type can be associated with each other and registered in advance in the FB voice table (not shown).
  • a voice such as “A message from Mr. XX” may be registered in the FB voice table in association with “when sending a message”.
  • the output control unit 108 causes the audio output unit 228 to output the FB audio stored in the FB audio table in association with the audio FB timing.
  • this FB audio table can be stored in the storage unit 122.
  • the terminal 20b used by the text chat user waits until voice text input is started by the text chat user (S501). Then, when the voice text input is started by the text chat user (S501: Yes), the terminal 20b transmits a notification that the text input has started to the server 10 (S503).
  • the output control unit 108 of the server 10 extracts the FB sound stored in the FB sound table in association with “when the message input starts”. And the communication part 120 transmits the extracted FB audio
  • the terminal 20b determines whether or not the voice text input has been terminated by the text chat user (S509). While the voice text is being input (S509: No), the terminal 20b waits until the volume of the utterance of the text chat user exceeds a predetermined threshold (S511). When the volume of the utterance exceeds the predetermined threshold (S511: Yes), the terminal 20b transmits a notification that the input is being performed to the server 10 (S513).
  • the output control unit 108 of the server 10 extracts the FB sound stored in the FB sound table in association with “During message input”. And the communication part 120 transmits the extracted FB audio
  • the terminal 20b transmits a notification that text input has been completed to the server 10 (S521).
  • the output control unit 108 of the server 10 extracts the FB voice stored in the FB voice table in association with “at the end of message input”. And the communication part 120 transmits the extracted FB audio
  • the terminal 20b transmits the input message to the server 10 (S527). Then, the output control unit 108 of the server 10 extracts the FB sound stored in the FB sound table in association with “when the message is transmitted”. And the communication part 120 transmits the extracted FB audio
  • the server 10 controls the output of the FB voice to the voice chat user based on the text input status by the text chat user. For this reason, when waiting for a message from the text chat user, the voice chat user can check the input status of the text chat user. Accordingly, it is possible to suppress a decrease in usability of the voice chat user.
  • the server 10 outputs the voice of the message output to the voice chat user based on the keyword extraction from the message input by the text chat user. It is possible to change the aspect. Thereby, it can suppress that a voice chat user misses the important part of the message by a text chat user.
  • the keyword can be, for example, a word indicating a date, a place, or the like.
  • Output control unit 108 The output control unit 108 according to the third embodiment changes the voice output mode of the message output to the voice chat user based on the extraction of the keyword from the message input by the text chat user.
  • the output control unit 108 can increase the number of times the keyword voice extracted from the input message is output.
  • the output control unit 108 first causes the voice output unit 228a on the voice chat user side to output the voice of the message input by the text chat user, and then the output control unit 108 is extracted from the message. Only the keyword voice is output to the voice output unit 228a.
  • a text chat user inputs a message “Yes, gather in a trolley room at 9:00 tomorrow” and “Tomorrow”, “9 pm”, and “Minecart room” are extracted as keywords. To do.
  • the output control unit 108 first causes the voice output unit 228a to output the voice “That's right, gathering in the trolley room at 9:00 tomorrow” by the TTS to the voice output unit 228a, and then “Tomorrow 9:00 trolley room” by the TTS.
  • the voice output unit 228a outputs the voice of only the keyword.
  • the output control unit 108 can output the voice of the message by changing the voice of the keyword portion extracted from the input message. For example, the output control unit 108 causes the volume of the keyword part extracted from the input message to be larger than the volume of the part other than the keyword, and causes the voice output unit 228a to output the voice of the message by TTS. Alternatively, the output control unit 108 makes the voice type of the keyword portion extracted from the input message different from the voice type of the part other than the keyword, and sends the voice of the message by the TTS to the voice output unit 228a. It may be output.
  • the output control unit 108 can output the voice of the message by changing the speed of the voice of the keyword portion extracted from the input message. For example, the voice output is paused before and after the keyword extracted from the input message, and the voice of the keyword part is set to a speed that is, for example, 0.8 times slower than the voice of the part other than the keyword.
  • the voice of the message may be output to the voice output unit 228a.
  • the output control unit 108 of the server 10 extracts keywords from the received message (S605). Then, based on the received message and the extracted keyword, the output control unit 108 generates a voice that emphasizes the relevant keyword with respect to the message by TTS (S607).
  • the communication unit 120 transmits the generated voice to the terminal 20a according to the control of the output control unit 108 (S609). Thereafter, the terminal 20a outputs the received voice (S611).
  • the server 10 determines the voice output mode of the message output to the voice chat user based on the keyword extraction from the message input by the text chat user. Change. For this reason, the voice chat user can hear the keyword included in the corresponding message more reliably. As a result, smooth communication can be realized, for example, by reducing the number of times that the voice chat user asks the text chat user again.
  • the server 10 can control automatic voice output by the TTS to the voice chat user based on the detection of the utterance by the voice chat user. Is possible.
  • Output control unit 108 The output control unit 108 according to the fourth embodiment, when an utterance by the voice chat user is detected, based on the estimation result of whether or not the text chat user is listening, the voice of the conflict by the TTS for the voice chat user Control the output of. For example, when an utterance by a voice chat user is detected and it is estimated that a text chat user is listening to an utterance of the voice chat user, the output control unit 108 outputs the voice of the conflict by the TTS as a voice chat user. To the audio output unit 228 on the side.
  • the output control unit 108 causes the voice output unit 228 on the voice chat user side to output the voice of the competing TTS.
  • the output control unit 108 can estimate whether the text chat user is listening to the voice chat user's utterance, for example, by the following method. For example, the output control unit 108 determines whether the text chat user is listening to the utterance based on whether the voice of the voice chat user's utterance is output to the voice output unit 228b on the text chat user side. May be. Alternatively, the output control unit 108 may determine whether or not the text chat user is listening to the utterance based on the detection result of whether or not the text chat user is wearing earphones or headphones. Alternatively, the output control unit 108 may determine whether or not the text chat user is listening to the utterance based on the behavior recognition result of the text chat user.
  • the output control unit 108 determines that the text chat user is uttered based on the detection result of the degree of concentration of the text chat user in the computer game. It may be determined whether or not the user is listening. Note that, for example, the degree of concentration in the computer game is determined based on the detection result of the operation frequency for the operation unit 222b, the detection result of the line of sight of the text chat user, or the situation of the game at the time of detecting the speech of the voice chat user. Can be done.
  • the output control unit 108 first causes the audio output unit 228a to output a speech of TTS, such as “Yes”, immediately after the utterance “What should I do?” Then, the output control unit 108 may cause the audio output unit 228a to output, for example, “Yeah”, a companion voice based on TTS, immediately after the utterance “I only have 10,000 rupees”.
  • the terminal 20a used by the voice chat user waits until an utterance by the voice chat user is detected (S701). And when the speech by the voice chat user is detected (S701: Yes), the terminal 20a sequentially transmits the speech of the detected speech to the server 10 (S703).
  • the communication unit 120 of the server 10 transmits the received voice to the terminal 20b used by the text chat user under the control of the control unit 100 (S705). Further, the communication unit 120 transmits a request for providing sensing information to the terminal 20b (S707).
  • the terminal 20b transmits sensing information such as a measurement result by the measurement unit 224 to the server 10 (S709).
  • the output control unit 108 of the server 10 determines whether the text chat user is listening to the voice chat user's utterance based on the received sensing information (S711). When it is determined that the text chat user has not heard the voice chat user's utterance (S711: No), the server 10 performs the process of S707 again.
  • the voice chat user's utterance is reduced until the voice chat user's utterance volume falls below a threshold value or more.
  • the server 10 waits until the predetermined time elapses after the interruption and the timing at which the interruption occurred (S713).
  • the output control unit 108 When the conditions of S713 are satisfied (S713: Yes), the output control unit 108 generates a companion voice by TTS. And the communication part 120 transmits the produced
  • the operation according to the fourth embodiment is not limited to the above-described example.
  • the terminal 20b may automatically transmit the sensing information to the server 10 without performing the process of S707.
  • the terminal 20b may constantly acquire sensing information and transmit the acquired sensing information to the server 10 at predetermined time intervals.
  • the server 10 when an utterance by a voice chat user is detected, the TTS for the voice chat user based on the estimation result of whether or not the text chat user is listening. Controls the audio output of the sumo. Therefore, it is possible to intuitively notify the voice chat user that the text chat user is listening to the voice chat user's utterance. Therefore, the voice chat user can communicate more naturally.
  • the server 10 includes a CPU 150, a ROM (Read Only Memory) 152, a RAM 154, a bus 156, an interface 158, a storage device 160, and a communication device 162.
  • the CPU 150 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the server 10 according to various programs. Further, the CPU 150 realizes the function of the control unit 100 in the server 10.
  • the CPU 150 is configured by a processor such as a microprocessor.
  • the ROM 152 stores programs used by the CPU 150 and control data such as calculation parameters.
  • the RAM 154 temporarily stores a program executed by the CPU 150, for example.
  • the bus 156 includes a CPU bus and the like.
  • the bus 156 connects the CPU 150, the ROM 152, and the RAM 154 to each other.
  • the interface 158 connects the storage device 160 and the communication device 162 to the bus 156.
  • the storage device 160 is a data storage device that functions as the storage unit 122.
  • the storage device 160 includes, for example, a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, or a deletion device that deletes data recorded on the storage medium.
  • the communication device 162 is a communication interface composed of a communication device for connecting to the communication network 30 or the like, for example. Further, the communication device 162 may be a wireless LAN compatible communication device, an LTE (Long Term Evolution) compatible communication device, or a wire communication device that performs wired communication. This communication device 162 functions as the communication unit 120.
  • LTE Long Term Evolution
  • the configuration of the information processing system according to each embodiment is not limited to the above-described example.
  • voice chat users and text chat users may use different types of terminals.
  • a display unit 226 may not be provided in a terminal used by a voice chat user, and a display unit 226 may be provided in a terminal used by a text chat user.
  • the terminal 20 may have the function of the voice analysis unit 102.
  • the terminal 20 can also analyze the content of the utterance by the voice text chat user.
  • the terminal 20 may have some or all of the functions of the emotion estimation unit 104.
  • each step in the operation of each embodiment described above does not necessarily have to be processed in the order described.
  • the steps may be processed by changing the order as appropriate.
  • Each step may be processed in parallel or individually instead of being processed in time series.
  • An output control unit for controlling output of information indicating a waiting state of the first user related to a reply from the second user using the text input based on detection of an utterance by the first user using the voice input; With An information processing apparatus in which input messages are exchanged between the first user and the second user.
  • the information processing apparatus according to (1) wherein the information indicating the waiting state of the first user includes a message reply time limit.
  • the information processing apparatus according to (2) further including a reply time limit calculation unit that calculates a reply time limit for the message based on a predetermined criterion.
  • the predetermined criterion includes a detected utterance characteristic of the first user.
  • the information processing apparatus (5) The information processing apparatus according to (4), wherein the utterance characteristics include an utterance volume or a speech speed. (6) The information processing apparatus according to any one of (3) to (5), wherein the predetermined criterion includes a result of emotion estimation based on the detected utterance of the first user. (7) The information processing apparatus according to any one of (3) to (6), wherein the predetermined criterion includes a sensing result regarding the state of the first user. (8) The information processing apparatus according to any one of (3) to (7), wherein the predetermined criterion includes a result of speech recognition of the detected utterance of the first user.
  • the information indicating the waiting status of the first user includes an indicator, The information processing apparatus according to any one of (2) to (8), wherein the indicator indicates a difference between a reply time limit for the message and an elapsed time from the display start time of the indicator. (10) The information processing apparatus according to (9), wherein the output control unit changes a display mode of the indicator in accordance with a lapse of time from a display start time of the indicator. (11) The information according to any one of (1) to (10), wherein the information indicating the waiting state of the first user includes a result of emotion estimation based on the detected utterance of the first user. Processing equipment.
  • the output control unit further causes the output unit to start outputting information indicating a waiting state of the first user based on the detected voice recognition result of the first user's utterance.
  • the information processing apparatus according to any one of (11) to (11).
  • the output control unit is configured to display information indicating the waiting status of the first user based on an input of a message by the second user.
  • the information processing apparatus according to any one of (1) to (13), wherein output is ended by an output unit.
  • the output control unit After the output of the information indicating the waiting state of the first user is started, the output control unit, based on the elapsed time from the output start time of the information indicating the waiting state of the first user, The information processing apparatus according to any one of (1) to (14), wherein the output unit ends output of information indicating a waiting state of one user.
  • the output control unit further controls output of feedback voice to the first user based on a text input state by the second user after detection of an utterance by the first user.
  • the information processing apparatus according to any one of 1) to 15).
  • the output control unit further changes a voice output mode of the message output to the first user based on extraction of a keyword from the message input by the second user.
  • the information processing apparatus according to any one of (1) to (16).
  • Computer An output control unit for controlling output of information indicating a waiting state of the first user related to a reply from the second user using the text input based on detection of an utterance by the first user using the voice input; Is a program for functioning as A program in which input messages are exchanged between the first user and the second user.
  • server 20 terminal 30 communication network 100, 200 control unit 102 voice analysis unit 104 emotion estimation unit 106 reply time limit calculation unit 108 output control unit 120, 230 communication unit 122 storage unit 124 DB for time limit calculation 126 Speech characteristic coefficient table 128 Sensing information coefficient table 130 Indicative pronoun presence / absence coefficient table 132 Time information coefficient table 220 Sound collection unit 222 Operation unit 224 Measurement unit 226 Display unit 228 Audio output unit

Abstract

【課題】ユーザ間でメッセージが交換される場面における利便性を向上させることが可能な、情報処理装置、情報処理方法、およびプログラムを提案する。 【解決手段】音声入力を使用する第１のユーザによる発話の検出に基づいて、テキスト入力を使用する第２のユーザからの返信に関する前記第１のユーザの待ち状況を示す情報の出力を制御する出力制御部、を備え、前記第１のユーザと前記第２のユーザとの間で、入力されたメッセージが交換される、情報処理装置。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　従来、例えばチャットなど、ネットワークを介してユーザ間でコミュニケーションを行うための技術が各種開発されている。チャットでは、テキストや音声などを参加者間でリアルタイムに交換することができる。
　また、テキスト情報と音声情報とを変換する技術も提案されている。例えば、下記特許文献１には、一方のユーザにより入力されたテキストを音声データに変換し、そして、変換された音声データを、別のユーザが利用するイヤフォンに出力する技術が記載されている。
特開２００４－１２９１７４号公報
　ところで、ユーザ間でメッセージが交換される場面に特許文献１に記載の技術を適用することを想定すると、特許文献１に記載の技術では、相手ユーザの状況に関する情報がユーザに通知されない。このため、特許文献１に記載の技術では、例えば、ユーザからのメッセージを相手ユーザが待っている状況をユーザが把握することが困難であった。
　そこで、本開示では、ユーザ間でメッセージが交換される場面における利便性を向上させることが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、音声入力を使用する第１のユーザによる発話の検出に基づいて、テキスト入力を使用する第２のユーザからの返信に関する前記第１のユーザの待ち状況を示す情報の出力を制御する出力制御部、を備え、前記第１のユーザと前記第２のユーザとの間で、入力されたメッセージが交換される、情報処理装置が提供される。
　また、本開示によれば、音声入力を使用する第１のユーザによる発話の検出に基づいて、テキスト入力を使用する第２のユーザからの返信に関する前記第１のユーザの待ち状況を示す情報の出力をプロセッサが制御すること、を含み、前記第１のユーザと前記第２のユーザとの間で、入力されたメッセージが交換される、情報処理方法が提供される。
　また、本開示によれば、コンピュータを、音声入力を使用する第１のユーザによる発話の検出に基づいて、テキスト入力を使用する第２のユーザからの返信に関する前記第１のユーザの待ち状況を示す情報の出力を制御する出力制御部、として機能させるための、プログラムであって、前記第１のユーザと前記第２のユーザとの間で、入力されたメッセージが交換される、プログラムが提供される。
　以上説明したように本開示によれば、ユーザ間でメッセージが交換される場面における利便性を向上させることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
各実施形態に共通する情報処理システムの構成例を示した説明図である。 第１の実施形態による端末２０の構成例を示した機能ブロック図である。 第１の実施形態によるメッセージの交換処理の流れを示したシーケンス図である。 第１の実施形態によるサーバ１０の構成例を示した機能ブロック図である。 第１の実施形態による制限時間算出用ＤＢ１２４の構成例を示した説明図である。 第１の実施形態による発話特性係数テーブル１２６の構成例を示した説明図である。 第１の実施形態によるセンシング情報係数テーブル１２８の構成例を示した説明図である。 第１の実施形態による指示代名詞有無係数テーブル１３０の構成例を示した説明図である。 第１の実施形態による時間情報係数テーブル１３２の構成例を示した説明図である。 第１の実施形態によるインジケータの表示例を示した説明図である。 第１の実施形態によるインジケータの表示例を示した説明図である。 第１の実施形態によるインジケータの表示例を示した説明図である。 第１の実施形態による動作の全体的な流れを示したフローチャートである。 第１の実施形態によるインジケータ表示要否判定処理の流れを示したフローチャートである。 第１の実施形態による返信制限時間算出処理の流れを示したフローチャートである。 第１の実施形態によるインジケータ停止判定処理の流れを示したフローチャートである。 第２の実施形態による動作の一部を示したシーケンス図である。 第２の実施形態による動作の一部を示したシーケンス図である。 第３の実施形態による動作を示したシーケンス図である。 第４の実施形態による動作を示したシーケンス図である。 各実施形態に共通するサーバ１０のハードウェア構成例を示した説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成要素を、必要に応じて端末２０ａおよび端末２０ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、端末２０ａおよび端末２０ｂを特に区別する必要が無い場合には、単に端末２０と称する。
　また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
　１．情報処理システムの構成
　２．第１の実施形態
　３．第２の実施形態
　４．第３の実施形態
　５．第４の実施形態
　６．ハードウェア構成
　７．変形例
＜＜１．情報処理システムの構成＞＞
　まず、本開示の各実施形態に共通する情報処理システムの構成例について、図１を参照して説明する。図１に示すように、各実施形態に共通する情報処理システムは、サーバ１０、端末２０、および、通信網３０を含む。
　本開示の各実施形態では、例えば二人のユーザ２がチャットを行う場面を想定する。より具体的には、一方のユーザ２ａは、音声入力によるチャット（音声チャット）を行い、かつ、もう一方のユーザ２ｂは、テキスト入力によるチャット（テキストチャット）を行う。例えば、二人のユーザは、同じビデオゲームをプレイしながら、チャットを行う。なお、テキストチャットでは、ユーザは、例えばキーボードなどの入力装置や、表示画面に表示されるソフトウェアキーボードなどを用いてテキストを入力することも可能であるし、または、音声テキスト入力によりテキストを入力することも可能である。
　＜１－１．端末２０＞
　端末２０は、ユーザ２がチャットを行うために使用する装置である。なお、図１では、端末２０がゲーム機である例を示しているが、かかる例に限定されない。例えば、端末２０は、汎用ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、タブレット端末、スマートフォンなどの携帯電話、または、例えばＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）やヘッドセットなどのウェアラブルデバイスであってもよい。なお、以下では、端末２０がゲーム機である例を中心として説明を行う。
　ここで、図２を参照して、端末２０の機能構成の例について説明する。図２に示すように、端末２０は、例えば、制御部２００、集音部２２０、操作部２２２、測定部２２４、表示部２２６、音声出力部２２８、および、通信部２３０を有する。
　制御部２００は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などのハードウェアを用いて、端末２０の動作を全般的に制御する。
　集音部２２０は、外部の音声を集音する。また、集音部２２０は、集音した音声を制御部２００へ伝達する。
　操作部２２２は、ユーザの入力を受け付ける。また、操作部２２２は、受け付けた内容を制御部２００へ伝達する。
　測定部２２４は、例えば、カメラ、汗センサー、温度センサーなどの各種のセンサーを含む。測定部２２４は、例えばユーザの状態に関する測定を行う。また、測定部２２４は、測定した結果を制御部２００へ伝達する。
　表示部２２６は、本開示における出力部の一例である。表示部２２６は、制御部２００の制御に従って、表示画面を表示する。
　音声出力部２２８は、本開示における出力部の一例である。音声出力部２２８は、制御部２００の制御に従って、音声を出力する。
　通信部２３０は、例えば通信網３０を介して、他の装置との間で情報を送受信する。例えば、通信部２３０は、制御部２００の制御に従って、集音部２２０により集音された音声をサーバ１０へ送信する。また、通信部２３０は、他のユーザにより入力されたメッセージなどをサーバ１０から受信する。
　なお、端末２０の構成は、上述した例に限定されない。例えば、集音部２２０、操作部２２２、測定部２２４、表示部２２６、および、音声出力部２２８のうちいずれか一以上は、端末２０の外部に設けられてもよい。
　＜１－２．サーバ１０＞
　サーバ１０は、本開示における情報処理装置の一例である。サーバ１０は、端末２０間で、入力されたメッセージの交換を制御する。例えば、サーバ１０は、音声チャットユーザ２ａにより入力された音声をそのまま、テキストチャットユーザ２ｂが使用する端末２０ｂへ伝達することも可能であるし、または、入力された音声を音声認識した結果を端末２０ｂへ伝達することも可能である。また、サーバ１０は、テキストチャットユーザ２ｂにより入力されたテキストをＴＴＳ（ＴｅｘｔＴｏＳｐｅｅｃｈ）を用いて音声に変換し、そして、変換後の音声を、音声チャットユーザ２ａが使用する端末２０ａへ伝達する。これにより、音声チャットユーザ２ａおよびテキストチャットユーザ２ｂは、同一のチャット方法を用いる場合と同じような感覚でチャットを行うことができる。
　｛１－２－１．メッセージの交換処理の流れ｝
　ここで、図３を参照して、音声チャットユーザ２ａとテキストチャットユーザ２ｂとの間でのメッセージの交換処理の流れについて具体的に説明する。図３に示したように、まず、音声チャットユーザ２ａは、発話を行う（Ｓ１１）。そして、音声チャットユーザ２ａが使用する端末２０ａは、発話の音声を集音し、そして、集音した音声をサーバ１０へ送信する（Ｓ１３）。
　その後、サーバ１０は、受信した音声を、テキストチャットユーザ２ｂが使用する端末２０ｂへ送信する（Ｓ１５）。
　その後、端末２０ｂの音声出力部２２８ｂは、受信した音声を出力する（Ｓ１７）。その後、テキストチャットユーザ２ｂは、例えば操作部２２２を使用して、テキストを入力する（Ｓ１９）。そして、入力が完了すると、端末２０ｂは、入力されたテキストをサーバ１０へ送信する（Ｓ２１）。
　その後、サーバ１０は、受信したテキストをＴＴＳ機能により音声に変換する（Ｓ２３）。そして、サーバ１０は、変換した音声を端末２０ａへ送信する（Ｓ２５）。
　その後、端末２０ａの音声出力部２２８ａは、受信した音声を出力する（Ｓ２７）。
　＜１－３．通信網３０＞
　通信網３０は、通信網３０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網３０は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、通信網３０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　＜１－４．課題の整理＞
　以上、各実施形態に共通する情報処理システムの構成について説明した。ところで、一般的に、テキストチャットでは、音声チャットと比較して、メッセージの入力に長時間を要する。このため、音声チャットユーザとテキストチャットユーザとの間でのチャットでは、音声チャットユーザが、テキストチャットユーザからの返信を待つ時間が長くなり、不満に感じ得る。そこで、例えば、テキストチャットユーザからの返信を待つことを音声チャットユーザが許容可能な時間の長さなどの情報をテキストチャットユーザが知ることが可能であることが望まれる。
　そこで、上記事情を一着眼点にして、第１の実施形態によるサーバ１０を創作するに至った。後述するように、第１の実施形態によれば、サーバ１０は、音声チャットユーザによる発話の検出に基づいて、テキストチャットユーザからの返信に関する音声チャットユーザの待ち状況を示す情報（以下、音声チャットユーザの待ち状況を示す情報と称する）の出力を制御することが可能である。これにより、テキストチャットユーザは、メッセージの入力時において、音声チャットユーザの待ち状況を把握することができる。
＜＜２．第１の実施形態＞＞
　＜２－１．構成＞
　次に、第１の実施形態について説明する。まず、第１の実施形態によるサーバ１０の構成について詳細に説明する。図４は、第１の実施形態によるサーバ１０の構成例を示した機能ブロック図である。図４に示すように、サーバ１０は、制御部１００、通信部１２０、および、記憶部１２２を有する。
　｛２－１－１．制御部１００｝
　制御部１００は、サーバ１０に内蔵される、後述するＣＰＵ１５０や、ＲＡＭ１５４などのハードウェアを用いて、サーバ１０の動作を全般的に制御する。また、図４に示すように、制御部１００は、音声解析部１０２、感情推定部１０４、返信制限時間算出部１０６、および、出力制御部１０８を有する。
　｛２－１－２．音声解析部１０２｝
　（２－１－２－１．発話特性の解析）
　音声解析部１０２は、端末２０から受信された音声を解析する。例えば、音声解析部１０２は、受信された音声の発話特性を解析する。ここで、発話特性は、例えば、声の音量、話速、または、ピッチなどである。
　（２－１－２－２．音声認識）
　また、音声解析部１０２は、受信された音声の音声認識、および、構文解析を行う。例えば、音声解析部１０２は、受信された音声の音声認識を行い、そして、認識結果に基づいて、発話文章のモダリティ解析を行う。ここで、モダリティ解析は、文章の言語的な種類（例えば、「否定」、「感嘆」、「勧誘」、および「疑問」など）を解析することである。
　また、音声解析部１０２は、モダリティ解析の結果に基づいて、発話文章のモダリティが、応答を必要とするモダリティであるか否かを判定する。例えば、モダリティ解析により解析されたモダリティの種類が「条件」、「問いかけ」、「働きかけ」、または「勧誘」である場合には、音声解析部１０２は、当該モダリティが、応答を必要とするモダリティであると判定する。また、解析されたモダリティの種類が上記以外のモダリティである場合には、音声解析部１０２は、当該モダリティが、応答を必要としないモダリティであると判定する。
　｛２－１－３．感情推定部１０４｝
　感情推定部１０４は、端末２０から受信される各種のセンシング結果に基づいて、当該端末２０を使用しているユーザの感情を推定する。例えば、感情推定部１０４は、撮影されたユーザの顔画像に基づいて表情を解析することにより、ユーザの感情（例えば、怒っている、悲しんでいる、または、楽しんでいるなど）を推定する。また、感情推定部１０４は、受信された音声を解析することにより、ユーザの感情を推定することも可能である。
　｛２－１－４．返信制限時間算出部１０６｝
　返信制限時間算出部１０６は、所定の基準に基づいて、テキストチャットユーザに関するメッセージの返信制限時間を算出する。ここで、当該返信制限時間は、例えば、テキストチャットユーザからの返信を待つことを音声チャットユーザが許容する（または、待っていても不快に感じない）と推定される最大の時間に対応する。また、所定の基準は、検出された音声チャットユーザの発話の特性を含み得る。また、所定の基準は、受信された（音声チャットユーザの）音声に基づいて感情推定部１０４により推定された感情の結果を含み得る。また、所定の基準は、音声チャットユーザの状態に関するセンシング結果を含み得る。また、所定の基準は、受信された（音声チャットユーザの）音声が音声解析部１０２により音声認識された結果を含み得る。
　例えば、返信制限時間算出部１０６は、音声解析部１０２による解析結果、感情推定部１０４による推定結果、および、後述する制限時間算出用ＤＢ１２４の登録内容に基づいて、当該返信制限時間を算出する。一例として、返信制限時間算出部１０６は、まず、制限時間算出用ＤＢ１２４に格納されている各減少係数に基づいて、基準時間からの減少率を算出する。そして、返信制限時間算出部１０６は、算出した減少率を基準時間に乗じることにより、当該返信制限時間を算出する。ここで、基準時間の長さは、例えば、端末２０の種類や、サービス（チャットサービスなど）の種類ごとに予め定められ得る。そして、返信制限時間算出部１０６は、ユーザが使用している端末２０の種類、または、ユーザが使用しているサービスの種類に対応付けられている基準時間に対して、算出した減少率を乗じることにより、当該返信制限時間を算出する。
　（２－１－４－１．制限時間算出用ＤＢ１２４）
　制限時間算出用ＤＢ１２４は、返信制限時間を算出するために用いられる減少係数が格納されるデータベースである。この制限時間算出用ＤＢ１２４は、例えば記憶部１２２に記憶され得る。図５は、制限時間算出用ＤＢ１２４の構成例を示した説明図である。図５に示すように、制限時間算出用ＤＢ１２４は、発話特性係数テーブル１２６、センシング情報係数テーブル１２８、指示代名詞有無係数テーブル１３０、および、時間情報係数テーブル１３２を含む。
　図６は、発話特性係数テーブル１２６の構成例を示した説明図である。図６に示すように、発話特性係数テーブル１２６では、例えば発話の音量および話速と、減少係数１２６０とが対応付けられている。図６に示した例では、発話の音量が「通常」であり、かつ、話速が「通常より速い」場合には、減少係数は「０．８」である。なお、発話特性係数テーブル１２６では、発話の音量や話速に限定されず、例えば、発話のピッチ、または、発話の音声に基づいて推定された感情の結果などが追加的に、あるいは、代替的に対応付けられてもよい。
　図７は、センシング情報係数テーブル１２８の構成例を示した説明図である。図７に示すように、センシング情報係数テーブル１２８では、例えば、音声以外のセンシング情報（顔画像など）に基づく感情推定の結果、および、発汗量のセンシング結果と、減少係数１２８０とが対応付けられている。図７に示した例では、感情推定の結果が「怒り」であり、かつ、発汗量が「通常より多い」場合には、減少係数は「０．５」である。なお、センシング情報係数テーブル１２８では、感情推定の結果や発汗量に限定されず、例えば、視線の検出結果（表示部２２６を見ているか否かなど）、操作部２２２の検出結果（操作部２２２を把持しているか否かや、操作部２２２に指が接触しているか否かなど）、または、行動認識結果（ゲームプレイ状況など）などが追加的に、あるいは、代替的に対応付けられてもよい。
　図８は、指示代名詞有無係数テーブル１３０の構成例を示した説明図である。図８に示すように、指示代名詞有無係数テーブル１３０では、指示代名詞の有無と、減少係数１３３００とが対応付けられている。図８に示した例では、受信された音声の音声認識結果の中に指示代名詞が「有る」場合には、減少係数は「０．８」である。
　図９は、時間情報係数テーブル１３２の構成例を示した説明図である。図９に示すように、時間情報係数テーブル１３２では、音声認識結果に含まれる単語が示す時期と、減少係数１３２０とが対応付けられている。図９に示した例では、該当の音声の音声認識結果の中に「現在」を示す単語がある場合には、減少係数は「０．８」である。なお、図６～図９に示した個々の減少係数の値はあくまで一例であり、かかる例に限定されず、任意の値が登録され得る。
　（２－１－４－２．制限時間の算出例）
　ここで、返信制限時間算出部１０６が、図６～図９に示した各種のテーブルに基づいてメッセージの返信制限時間を算出する例について説明する。例えば、基準時間が「３０秒」であり、発話特性係数テーブル１２６から決定される減少係数が「０．８」であり、センシング情報係数テーブル１２８から決定される減少係数が「１．０」であり、指示代名詞有無係数テーブル１３０から決定される減少係数が「０．８」であり、かつ、時間情報係数テーブル１３２から決定される減少係数が「１．０」であるとする。この場合、返信制限時間算出部１０６は、基準時間に対して上記の全ての減少係数を乗じることにより、当該返信制限時間を「１９秒」と算出する（３０（秒）×０．８×１．０×０．８×１．０≒１９（秒））。
　｛２－１－５．出力制御部１０８｝
　（２－１－５－１．待ち状況を示す情報の出力開始・終了）
　出力制御部１０８は、音声チャットユーザによる発話の検出に基づいて、音声チャットユーザの待ち状況を示す情報の出力を制御する。例えば、出力制御部１０８は、検出された発話に対する音声解析部１０２による解析結果に基づいて、音声チャットユーザの待ち状況を示す情報の出力を制御する。一例として、出力制御部１０８は、検出された発話の文章が、応答を必要とするモダリティであるか否かの判定結果に基づいて、音声チャットユーザの待ち状況を示す情報の出力を開始させる。例えば、検出された発話文章が、応答を必要とするモダリティであると音声解析部１０２により判定された場合には、出力制御部１０８は、当該音声チャットユーザの待ち状況を示す情報の出力を開始させる。また、検出された発話文章が、応答を必要としないモダリティであると音声解析部１０２により判定された場合には、出力制御部１０８は、当該音声チャットユーザの待ち状況を示す情報の出力を開始させない。
　また、音声チャットユーザの待ち状況を示す情報の出力が開始された後には、出力制御部１０８は、所定の条件に基づいて、当該音声チャットユーザの待ち状況を示す情報の出力を終了させる。例えば、テキストチャットユーザによるメッセージの入力が完了した場合には、出力制御部１０８は、当該音声チャットユーザの待ち状況を示す情報の出力を終了させる。また、当該音声チャットユーザの待ち状況を示す情報の出力時からの経過時間が、所定の上限時間を超えた際には、出力制御部１０８は、当該音声チャットユーザの待ち状況を示す情報の出力を終了させる。ここで、所定の上限時間は、事前に定められた時間であってもよいし、返信制限時間算出部１０６により算出された返信制限時間に所定の時間が加算された時間であってもよいし、または、当該返信制限時間と同一であってもよい。
　（２－１－５－２．ＧＵＩによる提示）
　ここで、音声チャットユーザの待ち状況を示す情報の出力例についてさらに詳細に説明する。例えば、出力制御部１０８は、返信制限時間算出部１０６により算出された返信制限時間を含むインジケータを、当該音声チャットユーザの待ち状況を示す情報として、テキストチャットユーザ側の表示部２２６に表示させる。
　図１０は、インジケータの表示例（表示画面４０）を示した説明図である。例えば、図１０に示すように、出力制御部１０８は、表示画面４０において、テキスト入力欄４２と、インジケータ５０とを一緒に表示させる。ここで、テキスト入力欄４２は、テキストチャットユーザがテキスト（メッセージ）を入力するための入力欄である。また、図１０に示すように、インジケータ５０は、メータ５２を含む。メータ５２は、返信制限時間と、インジケータ５０の表示開始時からの経過時間との差（以下、残り時間と称する場合がある）を示す表示である。この表示例によれば、テキストチャットユーザは、メッセージの返信を待つことを音声チャットユーザが許容可能な残り時間を随時知ることができる。その結果、テキストチャットユーザは、例えば、返信のメッセージの入力を急ぐべきか否かを判断することができる。
　また、図１０におけるインジケータ５０の右端は、返信制限時間算出部１０６により算出された返信制限時間の長さを示す。例えば、返信制限時間の長さが「２分」である場合では、返信制限時間の長さが「１分」である場合よりも、インジケータ５０の長さが２倍長くなる。また、インジケータ５０の表示開始時では、メータ５２の右端とインジケータ５０の右端とは一致され得る。または、インジケータ５０の長さは、返信制限時間の長さによらずに固定であり、かつ、後述するようにメータ５２の長さが変化する速度が、返信制御時間に応じて変化させてもよい。例えば、返信制限時間の長さが「２分」である場合では、出力制御部１０８は、返信制限時間の長さが「１分」である場合よりも「２倍」の速度でメータ５２の長さを短くさせてもよい。
　但し、かかる例に限定されず、インジケータ５０の右端は所定の時間（例えば３分など）に定められてもよい。そして、この場合、返信制限時間が所定の時間未満である場合には、インジケータ５０の表示開始時において、メータ５２は、インジケータ５０よりも短く表示されることになる。
　‐時間の経過に応じた表示制御
　また、出力制御部１０８は、インジケータの表示開始時からの時間の経過に応じて、インジケータの表示態様を変化させることが可能である。図１１は、時間の経過に応じて、インジケータ５０の表示が変化される例を示した説明図である。なお、図１１では、（ａ）、（ｂ）、（ｃ）、（ｄ）の順に、より長い時間が経過した際のインジケータ５０の表示例を示している。図１１に示したように、出力制御部１０８は、インジケータ５０の表示開始時からの経過時間が長い（つまり、残り時間が短い）ほど、メータ５２の長さを短くする。さらに、図１１に示したように、出力制御部１０８は、例えば、返信制限時間に対する残り時間の長さの割合に応じて、メータ５２の表示色を変化させてもよい。例えば、図１１の（ｂ）に示したように、返信制限時間に対する残り時間の割合が「５０％」未満になった場合には、出力制御部１０８は、メータ５２の表示色を「Ｃａｕｔｉｏｎ」を示す表示色に変化させる。また、図１１の（ｃ）に示したように、返信制限時間に対する残り時間の割合が「３０％」未満になった場合には、出力制御部１０８は、メータ５２の表示色を「Ｗａｒｎｉｎｇ」を示す表示色に変化させる。これらの表示例によれば、返信制限時間までの残り時間が短いことをテキストチャットユーザに強調して示すことができる。
　なお、図１１の（ｄ）は、テキストチャットユーザがメッセージを送信した以後のインジケータ５０の表示例を示している。図１１の（ｄ）に示したように、メッセージが送信された後は、出力制御部１０８は、例えば、メータ５２のみを非表示にさせたり、または、インジケータ５０を非表示にさせる。なお、上記の説明では、インジケータ５０とメータ５２とが異なるものとして説明したが、かかる例に限定されず、インジケータ５０はメータ５２と同一であってもよい。
　‐補助表示
　さらに、出力制御部１０８は、図１１に示したように、インジケータ５０の近辺（例えば右隣）に補助表示５４を表示させてもよい。ここで、補助表示５４は、音声チャットユーザの待ち状況を示す情報の一例である。
　例えば、返信制限時間に対する残り時間の割合と、テキスト（例えば、「ＯＫ」、「Ｈｕｒｒｙ　ｕｐ！」、「Ｈｅ　ｉｓ　ａｎｇｒｙ！！！」など）とが対応付けて予めテーブルに登録され得る。そして、この場合、出力制御部１０８は、現在の残り時間の割合と、テーブルの登録内容とに応じて、補助表示５４として表示されるテキストの種類を逐次更新してもよい。
　または、出力制御部１０８は、感情推定部１０４により推定された感情の結果を補助表示５４として表示させてもよい。例えば、音声チャットユーザによる発話の検出時において、音声チャットユーザが怒っていることが感情推定部１０４により推定された場合には、出力制御部１０８は、（経過時間に関わらず）「Ｈｅ　ｉｓ　ａｎｇｒｙ！！！」というテキストを補助表示５４として表示させてもよい。さらに、音声チャットユーザの感情がリアルタイムに推定可能である場合には、出力制御部１０８は、感情の推定結果が変化する度に、補助表示５４の表示内容を逐次更新してもよい。
　または、出力制御部１０８は、音声チャットユーザの状態に関するセンシング結果（例えば、表示部２２６を見ているか否か、操作部２２２を把持しているか否かなど）を補助表示５４として表示させてもよい。なお、図１１では、補助表示５４としてテキストが表示される例を示しているが、かかる例に限定されず、例えばアイコンなどの画像が表示されてもよい。
　‐制限時間超過時の表示例
　また、図１２は、インジケータの表示開始時からの経過時間が返信制限時間を超過した場合におけるインジケータの表示例を示した説明図である。図１２の（ａ）に示したように、経過時間が返信制限時間を超過した際には、出力制御部１０８は、テキスト入力欄４２を点滅させてもよい。または、図１２の（ｂ）に示したように、出力制御部１０８は、テキスト入力欄４２を点滅させつつ、ＯＳＫ（Ｏｎ－Ｓｃｒｅｅｎ　Ｋｅｙｂｏａｒｄ）６０を表示画面に表示させてもよい。これにより、テキストチャットユーザにテキストの入力を強制することができる。
　（２－１－５－３．音による提示）
　または、出力制御部１０８は、音声チャットユーザの待ち状況を示す音声を、テキストチャットユーザが使用する端末２０の音声出力部２２８に出力させることも可能である。例えば、音声チャットユーザによる発話が検出された際に、出力制御部１０８は、返信制限時間算出部１０６により算出された返信制限時間を読み上げる音声を音声出力部２２８に出力させてもよい。
　または、時間の長さ（または残り時間の割合）と、音の種類とが対応付けて予めテーブルに登録され得る。そして、音声チャットユーザによる発話が検出された際に、出力制御部１０８は、返信制限時間算出部１０６により算出された返信制限時間の長さ（または「１００％」）と、テーブルの登録内容とに応じた種類の音を音声出力部２２８に出力させてもよい。さらに、出力制御部１０８は、現在の残り時間の長さ（または残り時間の割合）と、テーブルの登録内容とに応じて、出力される音の種類を逐次更新してもよい。これにより、テキストチャットユーザは、残り時間が後どの程度であるかを知ることができる。
　または、時間の長さ（または残り時間の割合）と、所定の音（例えばベル音やビープ音など）が出力される時間間隔の長さとが対応付けて予めテーブルに登録され得る。例えば、残り時間の長さ（または残り時間の割合）が少ないほど、出力される音の時間間隔が短くなるように登録され得る。そして、音声チャットユーザによる発話が検出された際に、出力制御部１０８は、返信制限時間算出部１０６により算出された返信制限時間の長さ（または「１００％」）に対応付けてテーブルに登録されている時間間隔で、所定の音を音声出力部２２８に出力させてもよい。さらに、出力制御部１０８は、現在の残り時間の長さ（または残り時間の割合）と、テーブルの登録内容とに応じて、音が出力される時間間隔を逐次更新してもよい。これにより、テキストチャットユーザは、残り時間が後どの程度であるかを知ることができる。
　なお、当該待ち状況を示す音声の出力時からの経過時間が返信制限時間を超過した際には、出力制御部１０８は、例えば図１２に示したように、表示画面に表示されているテキスト入力欄４２を点滅させてもよい。
　（２－１－５－４．振動による提示）
　または、出力制御部１０８は、音声チャットユーザの待ち状況を示す振動を、例えばテキストチャットユーザが使用する端末２０の操作部２２２に出力させることも可能である。
　例えば、時間の長さ（または残り時間の割合）と、振動の種類とが対応付けて予めテーブルに登録され得る。一例として、時間の長さ（または残り時間の割合）が大きいほど、より快適であると評価されている振動パターンがテーブルに登録されてもよい。そして、音声チャットユーザによる発話が検出された際に、出力制御部１０８は、返信制限時間算出部１０６により算出された返信制限時間の長さ（または「１００％」）と、テーブルの登録内容とに応じた種類の振動を操作部２２２に出力させてもよい。さらに、出力制御部１０８は、現在の残り時間の長さ（または残り時間の割合）と、テーブルの登録内容とに応じて、出力される振動の種類を逐次更新してもよい。
　または、時間の長さ（または残り時間の割合）と、所定の種類の振動が出力される時間間隔の長さとが対応付けて予めテーブルに登録され得る。例えば、残り時間の長さ（または残り時間の割合）が少ないほど、出力される振動の時間間隔が短くなるように登録され得る。そして、音声チャットユーザによる発話が検出された際に、出力制御部１０８は、返信制限時間算出部１０６により算出された返信制限時間の長さ（または「１００％」）に対応付けてテーブルに登録されている時間間隔で、所定の振動を操作部２２２に出力させてもよい。さらに、出力制御部１０８は、現在の残り時間の長さ（または残り時間の割合）と、テーブルの登録内容とに応じて、振動が出力される時間間隔を逐次更新してもよい。
　または、残り時間の割合（または時間の長さ）と、操作部２２２において振動が出力される部位とが対応付けて予めテーブルに登録され得る。例えば、残り時間の割合が小さいほど、振動が出力される部位がより多くなるように登録され得る。そして、出力制御部１０８は、現在の残り時間の割合（または残り時間の長さ）と、テーブルの登録内容とに応じて、振動が出力される部位を逐次変化させてもよい。
　なお、当該待ち状況を示す振動の出力時からの経過時間が返信制限時間を超過した際には、出力制御部１０８は、例えば図１２に示したように、表示画面に表示されているテキスト入力欄４２を点滅させてもよい。
　（２－１－５－５．残り時間の増減）
　なお、出力制御部１０８は、所定の条件に基づいて、（テキストチャットユーザの返信に関する）残り時間を増減させることも可能である。さらに、残り時間を増減した際には、出力制御部１０８は、増減後の残り時間に応じた態様で、インジケータを表示させたり、音を出力させたり、または、振動を出力させる。
　例えば、テキストチャットユーザが返信する前では、出力制御部１０８は、音声チャットユーザによる新たな発話が検出される度に、現在の残り時間に対して所定の時間を加算してもよい。
　または、テキストチャットユーザが返信する前で、かつ、音声チャットユーザにより新たに発話されたことが検出された際には、出力制御部１０８は、当該新たな発話に応じて、現在の残り時間を増減させてもよい。例えば、「早く返信して！」などの、メッセージの返信を急かすようなキーワードが音声チャットユーザにより新たに発話されたことが検出された際には、出力制御部１０８は、残り時間を所定の時間だけ短縮してもよい。
　または、テキストチャットユーザが返信する前で、かつ、感情推定部１０４による感情の推定結果が変化した際には、出力制御部１０８は、感情の推定結果の変化に応じて、残り時間を増減させてもよい。例えば、発話の検出時における感情の推定結果が「通常」であり、かつ、テキストチャットユーザが返信する前において音声チャットユーザの感情の推定結果が「怒っている」に変化した際には、出力制御部１０８は、残り時間を所定の時間だけ短縮してもよい。また、発話の検出時における感情の推定結果が「怒っている」であり、かつ、テキストチャットユーザが返信する前において音声チャットユーザの感情の推定結果が「通常」に変化した際には、出力制御部１０８は、現在の残り時間に対して所定の時間を加算してもよい。
　‐変形例
　なお、変形例として、３人以上のユーザ間でメッセージが交換される場面では、出力制御部１０８は、いずれかのテキストチャットユーザに関する残り時間を増減させることも可能である。例えば、音声チャットユーザが一人存在し、かつ、テキストチャットユーザが複数人存在する場面では、出力制御部１０８は、所定の条件に基づいて、テキストチャットユーザごとに、メッセージの返信に関する残り時間の増減量を変化させてもよい。
　一例として、音声チャットユーザが教師であり、テキストチャットユーザが生徒である場面での適用例について説明する。例えば、授業中に教師が「○○について分かる人いる？」という質問を発話し、そして、複数の生徒のうちのいずれか（以下、生徒Ａと称する）が、当該発話に対してメッセージを返信したとする。この場合、出力制御部１０８は、生徒Ａの残り時間を「０秒」にし、かつ、生徒Ａ以外の生徒全員に関して、現在の残り時間に対して所定の時間を加算してもよい。この制御例によれば、例えば、当該質問に関してより詳細に調べたり、考えるための時間を生徒Ａ以外の生徒に与えることが可能となる。また、同じ質問に対して複数の生徒に回答させることにより、授業を活発化させることができる。
　また、別の例として、遠隔地にいる教師（音声チャットユーザ）と複数の生徒（テキストチャットユーザ）とが英会話のグループレッスンを行っており、かつ、教師が使用する端末２０（ＰＣなど）の表示部に複数の生徒の映像が表示されている場面での適用例について説明する。例えば、当該複数の生徒の映像のうちのいずれに教師の視線が向けられているかが例えば表示部の近辺に設置されているカメラにより検出され、かつ、教師が質問の発話を行ったとする。この場合、出力制御部１０８は、教師の視線が向けられていることが検出された映像に対応する生徒に関してのみ残り時間を増加させてもよい。または、この場合、出力制御部１０８は、教師の視線が向けられていることが検出された生徒が閲覧する表示部にのみインジケータを表示させ、かつ、当該質問に対する返信のメッセージを該当の生徒にのみ入力させてもよい。
　｛２－１－６．通信部１２０｝
　通信部１２０は、他の装置との間で情報の送受信を行う。例えば、通信部１２０は、出力制御部１０８の制御に従って、音声チャットユーザの待ち状況を示す情報を、テキストチャットユーザが使用する端末２０へ送信する。また、通信部１２０は、ユーザによる発話の音声や、入力されたテキストなどを端末２０から受信する。
　｛２－１－７．記憶部１２２｝
　記憶部１２２は、各種のデータや各種のソフトウェアを記憶する。例えば、記憶部１２２は、制限時間算出用ＤＢ１２４などを記憶する。
　＜２－２．動作＞
　以上、第１の実施形態による構成について説明した。次に、第１の実施形態による動作の一例について、図１３～図１６を参照して説明する。
　｛２－２－１．動作の全体的な流れ｝
　まず、第１の実施形態による動作の全体的な流れについて、図１３を参照して説明する。なお、ここでは、音声チャットユーザとテキストチャットユーザとの間でチャットを開始した後の動作例について説明する。また、サーバ１０は、音声チャットユーザの待ち状況を示す情報としてインジケータを表示させる例について説明する。
　図１３に示したように、まず、音声チャットユーザが発話を行う。そして、音声チャットユーザが使用する端末２０ａは、発話された音声を集音し、そして、集音した音声を逐次サーバ１０へ送信する（Ｓ１０１）。
　その後、サーバ１０は、後述する「インジケータ表示要否判定処理」を行う（Ｓ１０３）。そして、インジケータの表示が必要ではないと判定された場合には（Ｓ１０５：Ｎｏ）、再びＳ１０１の処理が実行される。
　一方、インジケータの表示が必要であると判定された場合には（Ｓ１０５：Ｙｅｓ）、サーバ１０は、後述する「返信制限時間算出処理」を行う（Ｓ１０７）。
　続いて、サーバ１０の出力制御部１０８は、Ｓ１０７の処理結果に応じたインジケータを、テキストチャットユーザが使用する端末２０ｂ（の表示部２２６）に表示を開始させる（Ｓ１０９）。
　その後、サーバ１０は、後述する「インジケータ表示終了判定処理」を行う（Ｓ１１１）。そして、インジケータの表示を終了しないと判定された場合には（Ｓ１１３：Ｎｏ）、サーバ１０は、例えば所定の時間待機した後に、再びＳ１１１の処理を行う。一方、インジケータの表示を終了すると判定された場合には（Ｓ１１３：Ｙｅｓ）、本動作は終了する。
　｛２－２－２．インジケータ表示要否判定処理｝
　ここで、Ｓ１０３における「インジケータ表示要否判定処理」の詳細な動作について、図１４を参照して説明する。図１４に示したように、まず、音声解析部１０２は、Ｓ１０１で受信された音声の音声認識を行う（Ｓ２０１）。そして、音声解析部１０２は、音声認識の結果に基づいて、発話文章のモダリティ解析を行う（Ｓ２０３）。そして、応答を必要とするモダリティであると判定された場合には（Ｓ２０５：Ｙｅｓ）、出力制御部１０８は、インジケータの表示が必要であると判定する（Ｓ２０７）。そして、当該「インジケータ表示要否判定処理」は終了する。
　一方、応答を必要としないモダリティであると判定された場合には（Ｓ２０５：Ｎｏ）、次に、出力制御部１０８は、前回検出された発話から所定の時間が経過したか否かを判定する（Ｓ２０９）。前回の発話から所定の時間が経過している場合には（Ｓ２０９：Ｙｅｓ）、出力制御部１０８は、Ｓ１０１で受信された音声に対応する発話が、新コンテキストでの最初の発話であると判定する（Ｓ２１１）。そして、出力制御部１０８は、上述したＳ２０７の処理を行う。
　一方、前回の発話から所定の時間が経過していない場合には（Ｓ２０９：Ｎｏ）、出力制御部１０８は、Ｓ２０１の音声認識の結果が、会話終了を示す単語を含むか否かを判定する（Ｓ２１３）。ここで、会話終了を示す単語は、例えば「さようなら」「バイバイ」「もう寝るよー」「また明日」などであってもよい。また、会話終了を示す単語は、チャットの履歴情報に基づいて構築される単語リストに登録されていてもよい。なお、この単語リストは、例えば、チャットの履歴情報に基づいて、最終発話の単語を収集することなどに基づいて構築され得る。
　該当の音声認識の結果が、会話終了を示す単語を含まない場合には（Ｓ２１３：Ｎｏ）、出力制御部１０８は、上述したＳ２０７の処理を行う。一方、該当の音声認識の結果が、会話終了を示す単語を含む場合には（Ｓ２１３：Ｙｅｓ）、出力制御部１０８は、インジケータの表示が不要であると判定する（Ｓ２１５）。そして、当該「インジケータ表示要否判定処理」は終了する。
　｛２－２－３．返信制限時間算出処理｝
　次に、Ｓ１０７における「返信制限時間算出処理」の詳細な動作について、図１５を参照して説明する。図１５に示したように、まず、返信制限時間算出部１０６は、Ｓ２０１で解析された該当の音声の発話特性を取得する（Ｓ３０１）。続いて、返信制限時間算出部１０６は、音声テキストチャットユーザに関する例えば顔画像、視線の検出結果、または、行動認識結果などの、音声以外のセンシング情報を取得する（Ｓ３０３）。なお、これらのセンシング情報は、Ｓ１０１において端末２０が発話の音声と一緒にサーバ１０へ送信してもよいし、または、Ｓ３０３において端末２０がサーバ１０へ送信してもよい。
　続いて、返信制限時間算出部１０６は、Ｓ２０１で解析された該当の発話の文章に関する指示代名詞の有無の解析結果を取得する（Ｓ３０５）。
　続いて、返信制限時間算出部１０６は、Ｓ２０１で解析された該当の発話の文章に関する時間情報の解析結果を取得する（Ｓ３０７）。
　続いて、返信制限時間算出部１０６は、Ｓ３０１～Ｓ３０７で取得された情報、および、制限時間算出用ＤＢ１２４の登録内容に基づいて、基準時間からの減少率を算出する（Ｓ３０９）。
　その後、返信制限時間算出部１０６は、基準時間に対して、Ｓ３０９で算出された減少率を乗じることにより、返信制限時間を算出する（Ｓ３１１）。
　｛２－２－４．インジケータ表示終了判定処理｝
　次に、Ｓ１１１における「インジケータ表示終了判定処理」の詳細な動作について、図１６を参照して説明する。図１６に示したように、まず、出力制御部１０８は、Ｓ１０１で検出された発話に関して、テキストチャットユーザが返信済みであるか否かを判定する（Ｓ４０１）。テキストチャットユーザが返信済みである場合には（Ｓ４０１：Ｙｅｓ）、出力制御部１０８は、インジケータの表示を終了させることを判定する（Ｓ４０３）。そして、当該「インジケータ表示終了判定処理」は終了する。
　一方、テキストチャットユーザがまだ返信していない場合には（Ｓ４０１：Ｎｏ）、出力制御部１０８は、音声チャットユーザから新たな発話が検出されたか否かを判定する（Ｓ４０５）。音声チャットユーザからの新たな発話が検出された場合には（Ｓ４０５：Ｙｅｓ）、出力制御部１０８は、例えば公知の技術を用いて文間関係の推定を行うことにより、検出された新たな発話（以下、「新たな発話」と称する）と、Ｓ１０１で検出された発話（以下、対象の発話と称する）とが関係があるか否かを判定する（Ｓ４０７）。例えば、新たな発話の文章と、対象の発話の文章との文間関係が「事柄の同一性に基づく関係」（例えば「同等」、「簡略」、「詳細」、「例示」、「参照」、「補足」など）であると推定される場合には、出力制御部１０８は、新たな発話が対象の発話と関係がある（つまり、発話が継続している）と判定する。
　新たな発話が対象の発話と関係が無いと判定された場合には（Ｓ４０７：Ｎｏ）、サーバ１０は、上述したＳ４０３の処理を行う。一方、新たな発話が対象の発話と関係があると判定された場合には（Ｓ４０７：Ｙｅｓ）、出力制御部１０８は、インジケータの表示を終了させないことを判定する（Ｓ４０９）。その後、当該「インジケータ表示終了判定処理」は終了する。
　また、Ｓ４０５において、新たな発話が検出されていない場合には（Ｓ４０５：Ｎｏ）、次に、出力制御部１０８は、Ｓ１０９におけるインジケータの表示開始時からの経過時間が所定の上限時間を超えたか否かを判定する（Ｓ４１１）。
　経過時間が上限時間を超えた場合には（Ｓ４１１：Ｙｅｓ）、サーバ１０は、上述したＳ４０３の処理を行う。一方、経過時間が上限時間を超えていない場合には（Ｓ４１１：Ｎｏ）、サーバ１０は、上述したＳ４０９の処理を行う。
　｛２－２－５．変形例｝
　なお、第１の実施形態による動作は、上述した例に限定されない。例えば、図１３に示したＳ１０７の処理は、Ｓ１０３よりも前に実行されてもよい。
　＜２－３．効果＞
　以上説明したように、第１の実施形態によれば、音声チャットユーザとテキストチャットユーザとの間でメッセージが交換される場面において、サーバ１０は、音声チャットユーザによる発話の検出に基づいて、音声チャットユーザの待ち状況を示す情報の出力を制御する。これにより、テキストチャットユーザは、メッセージの入力時において、音声チャットユーザの待ち状況を把握することができる。
　例えば、サーバ１０は、音声チャットユーザによる発話の検出に基づいて返信制限時間を算出し、そして、算出した返信制限時間含むインジケータをテキストチャットユーザ側の表示部２２６に表示させる。そして、このインジケータは、当該返信制限時間と、インジケータの表示開始時からの経過時間との差を示すメータを含む。これにより、テキストチャットユーザは、メッセージの返信を待つことを音声チャットユーザが許容可能な残り時間を随時知ることができる。その結果、テキストチャットユーザは、例えば、返信のメッセージの入力を急ぐべきか否かを判断することができる。
　＜２－４．変形例＞
　なお、第１の実施形態は、上記の説明に限定されない。例えば、サーバ１０がインジケータをテキストチャットユーザ側の表示部２２６ｂにのみ表示させる例について説明したが、かかる例に限定されず、サーバ１０は、同じインジケータを音声チャットユーザ側の表示部２２６ａにも表示させてもよい。これにより、音声チャットユーザは、テキストチャットユーザが閲覧しているインジケータの内容を把握することができる。
＜＜３．第２の実施形態＞＞
　以上、第１の実施形態について説明した。上述したように、一般的に、テキストチャットでは、音声チャットと比較して、メッセージの入力に長時間を要する。そこで、音声チャットユーザとテキストチャットユーザとの間でチャットを行う場面におけるユーザビリティの低下を抑制するために、さらに、テキストチャットユーザの入力状況を音声チャットユーザが確認可能であることが望ましい。
　次に、第２の実施形態について説明する。後述するように、第２の実施形態によれば、サーバ１０は、テキストチャットユーザによるテキストの入力状況に基づいて、音声チャットユーザに対するフィードバック音声（以下、ＦＢ音声と称する）の出力を制御することが可能である。なお、第２の実施形態では、テキストチャットユーザが音声テキスト入力を行う場面での適用例について説明する。但し、かかる例に限定されず、テキストチャットユーザが例えばハードウェアキーボードやソフトウェアキーボードなどを用いてテキスト入力を行う場面にも概略同様に適用可能である。
　＜３－１．構成＞
　次に、第２の実施形態によるサーバ１０の構成について詳細に説明する。なお、第２の実施形態によるサーバ１０に含まれる構成要素は第１の実施形態と同様である。以下では、第１の実施形態と異なる内容についてのみ説明を行う。
　｛３－１－１．出力制御部１０８｝
　第２の実施形態による出力制御部１０８は、テキストチャットユーザによるテキストの入力状況に基づいて、音声チャットユーザが使用する端末２０の音声出力部２２８にＦＢ音声を出力させる。例えば、予め定められている音声ＦＢタイミングになった場合には、出力制御部１０８は、ＦＢ音声を音声出力部２２８に出力させる。ここで、音声ＦＢタイミングは、例えば、「メッセージの入力開始時」、「メッセージの入力中」、「メッセージの入力終了時」、および、「メッセージの送信時」などである。なお、「メッセージの入力中」は、例えば、ＶＡＤ（Ｖｏｉｃｅ　Ａｃｔｉｖｉｔｙ　Ｄｅｔｅｃｔｉｏｎ）により検出される（音声テキスト入力の）発話区間のうち、発話の音量が所定の閾値を超えたタイミングである。
　例えば、音声ＦＢタイミングと、音声の種類とが対応付けて予めＦＢ音声テーブル（図示省略）に登録され得る。一例として、「メッセージの送信時」に対応付けて「○○さんからメッセージです」といった音声がＦＢ音声テーブルに登録されてもよい。そして、この場合、いずれかの音声ＦＢタイミングに達する度に、出力制御部１０８は、当該音声ＦＢタイミングに対応付けてＦＢ音声テーブルに格納されているＦＢ音声を音声出力部２２８に出力させる。なお、このＦＢ音声テーブルは、記憶部１２２に記憶され得る。
　＜３－２．動作＞
　以上、第２の実施形態による構成について説明した。次に、第２の実施形態による動作について、図１７および図１８を参照して説明する。図１７に示したように、まず、テキストチャットユーザが使用する端末２０ｂは、テキストチャットユーザにより音声テキスト入力が開始されるまで待機する（Ｓ５０１）。そして、テキストチャットユーザにより音声テキスト入力が開始された場合には（Ｓ５０１：Ｙｅｓ）、端末２０ｂは、テキスト入力が開始されたことの通知をサーバ１０へ送信する（Ｓ５０３）。
　その後、サーバ１０の出力制御部１０８は、「メッセージの入力開始時」に対応付けてＦＢ音声テーブルに格納されているＦＢ音声を抽出する。そして、通信部１２０は、出力制御部１０８の制御に従って、抽出したＦＢ音声を、音声チャットユーザが使用する端末２０ａへ送信する（Ｓ５０５）。その後、端末２０ａは、受信した音声を出力する（Ｓ５０７）。
　また、Ｓ５０３の後に、端末２０ｂは、テキストチャットユーザにより音声テキスト入力が終了されたか否かを判定する（Ｓ５０９）。音声テキスト入力がなされている間は（Ｓ５０９：Ｎｏ）、端末２０ｂは、テキストチャットユーザの発話の音量が所定の閾値を超えるまで待機する（Ｓ５１１）。そして、発話の音量が所定の閾値を超えた場合には（Ｓ５１１：Ｙｅｓ）、端末２０ｂは、入力中であることの通知をサーバ１０へ送信する（Ｓ５１３）。
　その後、サーバ１０の出力制御部１０８は、「メッセージの入力中」に対応付けてＦＢ音声テーブルに格納されているＦＢ音声を抽出する。そして、通信部１２０は、出力制御部１０８の制御に従って、抽出したＦＢ音声を端末２０ａへ送信する（Ｓ５１５）。その後、端末２０ａは、受信した音声を出力する（Ｓ５１７）。
　ここで、Ｓ５０９において音声テキスト入力が終了された場合（Ｓ５０９：Ｙｅｓ）における動作について、図１８を参照して説明する。図１８に示したように、まず、端末２０ｂは、テキスト入力が終了したことの通知をサーバ１０へ送信する（Ｓ５２１）。
　その後、サーバ１０の出力制御部１０８は、「メッセージの入力終了時」に対応付けてＦＢ音声テーブルに格納されているＦＢ音声を抽出する。そして、通信部１２０は、出力制御部１０８の制御に従って、抽出したＦＢ音声を端末２０ａへ送信する（Ｓ５２３）。その後、端末２０ａは、受信した音声を出力する（Ｓ５２５）。
　また、Ｓ５２１の後、端末２０ｂは、入力されたメッセージをサーバ１０へ送信する（Ｓ５２７）。そして、サーバ１０の出力制御部１０８は、「メッセージの送信時」に対応付けてＦＢ音声テーブルに格納されているＦＢ音声を抽出する。そして、通信部１２０は、出力制御部１０８の制御に従って、抽出したＦＢ音声を端末２０ａへ送信する（Ｓ５２９）。その後、端末２０ａは、受信した音声を出力する（Ｓ５３１）。
　なお、図１８に示したＳ５３３～Ｓ５３７の処理は、図３に示したＳ２３～Ｓ２７と同様である。
　＜３－３．効果＞
　以上説明したように、第２の実施形態によるサーバ１０は、テキストチャットユーザによるテキストの入力状況に基づいて、音声チャットユーザに対するＦＢ音声の出力を制御する。このため、テキストチャットユーザからのメッセージを待っている際に、音声チャットユーザは、テキストチャットユーザの入力状況を確認することができる。従って、音声チャットユーザのユーザビリティの低下を抑制することができる。
＜＜４．第３の実施形態＞＞
　以上、第２の実施形態について説明した。上述したように、第１の実施形態および第２の実施形態では、テキストチャットユーザが入力したメッセージは、ＴＴＳ読み上げにより音声チャットユーザに伝達される。ところで、一般的に、ＴＴＳ読み上げでは、テキストが平坦に読み上げられるので、読み上げの音声を聴くユーザは、情報を聞き逃しやすい。その結果、音声チャットユーザとテキストチャットユーザとの間においてコミュニケーションの円滑さが低下する場合がある。
　次に、第３の実施形態について説明する。後述するように、第３の実施形態によれば、サーバ１０は、テキストチャットユーザにより入力されたメッセージからのキーワードの抽出に基づいて、音声チャットユーザに対して出力される当該メッセージの音声の出力態様を変化させることが可能である。これにより、テキストチャットユーザによるメッセージの重要部分を音声チャットユーザが聞き逃すことを抑制することができる。ここで、キーワードは、例えば、日時や場所などを示す単語であり得る。
　＜４－１．構成＞
　次に、第３の実施形態によるサーバ１０の構成について詳細に説明する。なお、第３の実施形態によるサーバ１０に含まれる構成要素は第１の実施形態と同様である。
　｛４－１－１．出力制御部１０８｝
　第３の実施形態による出力制御部１０８は、テキストチャットユーザにより入力されたメッセージからのキーワードの抽出に基づいて、音声チャットユーザに対して出力される当該メッセージの音声の出力態様を変化させる。
　例えば、出力制御部１０８は、入力されたメッセージから抽出されるキーワードの音声が出力される回数を多くすることが可能である。一例として、出力制御部１０８は、まず、テキストチャットユーザにより入力されたメッセージの音声を、音声チャットユーザ側の音声出力部２２８ａに出力させ、その後、出力制御部１０８は、当該メッセージから抽出されたキーワードの音声だけを音声出力部２２８ａに出力させる。一例として、「そうだね、明日の９時にトロッコルームに集合で」というメッセージがテキストチャットユーザにより入力され、かつ、「明日」、「９時」、および「トロッコルーム」がキーワードとして抽出されるとする。この場合、出力制御部１０８は、まず、ＴＴＳによる「そうだね、明日の９時にトロッコルームに集合で」という音声を音声出力部２２８ａに出力させ、その後、ＴＴＳによる「明日　９時　トロッコルーム」といった、キーワードだけの音声を音声出力部２２８ａに出力させる。
　または、出力制御部１０８は、入力されたメッセージから抽出されたキーワードの部分の音声を異ならせて当該メッセージの音声を出力させることが可能である。例えば、出力制御部１０８は、入力されたメッセージから抽出されたキーワードの部分の音量を、キーワード以外の部分の音量よりも大きくさせて、ＴＴＳによる当該メッセージの音声を音声出力部２２８ａに出力させる。または、出力制御部１０８は、入力されたメッセージから抽出されたキーワードの部分の音声の種類を、キーワード以外の部分の音声の種類と異ならせて、ＴＴＳによる当該メッセージの音声を音声出力部２２８ａに出力させてもよい。
　または、出力制御部１０８は、入力されたメッセージから抽出されたキーワードの部分の音声の速度を異ならせて当該メッセージの音声を出力させることが可能である。例えば、入力されたメッセージから抽出されたキーワードの前後で音声の出力を一時停止させるとともに、キーワードの部分の音声を、キーワード以外の部分の音声よりも例えば０．８倍などの低速にして、ＴＴＳによる当該メッセージの音声を音声出力部２２８ａに出力させてもよい。
　＜４－２．動作＞
　以上、第３の実施形態による構成について説明した。次に、第３の実施形態による動作について、図１９を参照して説明する。図１９に示したように、まず、テキストチャットユーザは、端末２０ｂに対してメッセージを入力する（Ｓ６０１）。そして、端末２０ｂは、入力されたメッセージをサーバ１０へ送信する（Ｓ６０３）。
　その後、サーバ１０の出力制御部１０８は、受信されたメッセージからキーワードを抽出する（Ｓ６０５）。そして、出力制御部１０８は、受信されたメッセージと、抽出したキーワードとに基づいて、当該メッセージに関して該当のキーワードを強調する音声をＴＴＳにより生成する（Ｓ６０７）。
　その後、通信部１２０は、出力制御部１０８の制御に従って、生成された音声を端末２０ａへ送信する（Ｓ６０９）。その後、端末２０ａは、受信した音声を出力する（Ｓ６１１）。
　＜４－３．効果＞
　以上説明したように、第３の実施形態によるサーバ１０は、テキストチャットユーザにより入力されたメッセージからのキーワードの抽出に基づいて、音声チャットユーザに対して出力される当該メッセージの音声の出力態様を変化させる。このため、音声チャットユーザは、該当のメッセージに含まれるキーワードをより確実に聞くことができる。その結果、例えば音声チャットユーザがテキストチャットユーザに対して聞き直す回数が減少するなど、円滑なコミュニケーションを実現することができる。
＜＜５．第４の実施形態＞＞
　以上、第３の実施形態について説明した。ところで、音声チャットユーザとテキストチャットユーザとの間でチャットを行う場面では、通常、音声チャットユーザの発話時にテキストチャットユーザが音声を発したとしても、当該音声は音声チャットユーザに伝達されない。このため、音声チャットユーザは、例えば相槌などの、テキストチャットユーザが聞いていることを示す音声情報を得られないので、自然なコミュニケーションをし難く感じ得る。
　次に、第４の実施形態について説明する。後述するように、第４の実施形態によれば、サーバ１０は、音声チャットユーザによる発話の検出に基づいて、音声チャットユーザに対して、ＴＴＳによる自動の相槌の音声の出力を制御することが可能である。
　＜５－１．構成＞
　次に、第４の実施形態によるサーバ１０の構成について詳細に説明する。なお、第４の実施形態によるサーバ１０に含まれる構成要素は第１の実施形態と同様である。
　｛５－１－１．出力制御部１０８｝
　第４の実施形態による出力制御部１０８は、音声チャットユーザによる発話が検出された場合に、テキストチャットユーザが聞いているか否かの推定結果に基づいて、音声チャットユーザに対する、ＴＴＳによる相槌の音声の出力を制御する。例えば、音声チャットユーザによる発話が検出され、かつ、テキストチャットユーザが音声チャットユーザの発話を聞いていることが推定される場合には、出力制御部１０８は、ＴＴＳによる相槌の音声を音声チャットユーザ側の音声出力部２２８に出力させる。一例として、音声チャットユーザによる発話が検出された後において、音声チャットユーザの発話の音量が相対的に低下した際、または、音声チャットユーザの発話が途切れてから所定の時間が経過した際に、出力制御部１０８は、ＴＴＳによる相槌の音声を音声チャットユーザ側の音声出力部２２８に出力させる。
　なお、出力制御部１０８は、テキストチャットユーザが音声チャットユーザの発話を聞いているか否かを例えば以下のような方法により推定することが可能である。例えば、出力制御部１０８は、音声チャットユーザの発話の音声がテキストチャットユーザ側の音声出力部２２８ｂに出力されているか否かに基づいて、テキストチャットユーザが当該発話を聞いているか否かを判定してもよい。または、出力制御部１０８は、テキストチャットユーザがイヤフォンまたはヘッドフォンを装着しているか否かの検出結果に基づいて、テキストチャットユーザが当該発話を聞いているか否かを判定してもよい。または、出力制御部１０８は、テキストチャットユーザの行動認識の結果に基づいて、テキストチャットユーザが当該発話を聞いているか否かを判定してもよい。例えば、音声チャットユーザとテキストチャットユーザとがコンピュータゲームをしている場合には、出力制御部１０８は、テキストチャットユーザのコンピュータゲームへの集中度の検出結果に基づいて、テキストチャットユーザが当該発話を聞いているか否かを判定してもよい。なお、例えば、操作部２２２ｂに対する操作頻度の検出結果、テキストチャットユーザの視線の検出結果、または、音声チャットユーザの発話の検出時におけるゲームの状況などに基づいて、コンピュータゲームへの集中度は判定され得る。
　一例として、「どうしようかなぁ、今１万ルピーしかないから」という発話が音声チャットユーザにより行われ、かつ、「どうしようかなぁ」という発話の直後に音量が一時的に低下する場面での適用例について説明する。この場合、出力制御部１０８は、まず、「どうしようかなぁ」という発話の直後に例えば「うん」という、ＴＴＳによる相槌の音声を音声出力部２２８ａに出力させる。そして、出力制御部１０８は、「今１万ルピーしかないから」という発話の直後に、例えば「うんうん」という、ＴＴＳによる相槌の音声を音声出力部２２８ａに出力させてもよい。
　＜５－２．動作＞
　以上、第４の実施形態による構成について説明した。次に、第４の実施形態による動作について、図２０を参照して説明する。図２０に示したように、まず、音声チャットユーザが使用する端末２０ａは、音声チャットユーザによる発話が検出されるまで待機する（Ｓ７０１）。そして、音声チャットユーザによる発話が検出された場合には（Ｓ７０１：Ｙｅｓ）、端末２０ａは、検出した発話の音声をサーバ１０へ逐次送信する（Ｓ７０３）。
　その後、サーバ１０の通信部１２０は、制御部１００の制御に従って、受信された音声を、テキストチャットユーザが使用する端末２０ｂへ送信する（Ｓ７０５）。さらに、通信部１２０は、センシング情報の提供要求を端末２０ｂへ送信する（Ｓ７０７）。
　その後、端末２０ｂは、例えば測定部２２４による測定結果などのセンシング情報をサーバ１０へ送信する（Ｓ７０９）。
　その後、サーバ１０の出力制御部１０８は、受信されたセンシング情報に基づいて、テキストチャットユーザが、音声チャットユーザの発話を聞いているか否かを判定する（Ｓ７１１）。テキストチャットユーザが音声チャットユーザの発話を聞いていないと判定される場合には（Ｓ７１１：Ｎｏ）、サーバ１０は再びＳ７０７の処理を行う。
　一方、テキストチャットユーザが音声チャットユーザの発話を聞いていると判定される場合には（Ｓ７１１：Ｙｅｓ）、音声チャットユーザの発話の音量が閾値以上低下するまで、または、音声チャットユーザの発話が途切れ、かつ、途切れたタイミングから所定の時間が経過するまで、サーバ１０は待機する（Ｓ７１３）。
　そして、Ｓ７１３の条件が満たされた場合には（Ｓ７１３：Ｙｅｓ）、出力制御部１０８は、ＴＴＳにより相槌の音声を生成する。そして、通信部１２０は、出力制御部１０８の制御に従って、生成された音声を端末２０ａへ送信する（Ｓ７１５）。その後、端末２０ａは、受信した音声を出力する（Ｓ７１７）。
　｛５－２－１．変形例｝
　なお、第４の実施形態による動作は、上述した例に限定されない。例えば、Ｓ７０７の処理が行われずに、端末２０ｂはセンシング情報をサーバ１０へ自動的に送信してもよい。例えば、端末２０ｂは、センシング情報を常時取得し、そして、所定の時間間隔で、取得したセンシング情報をサーバ１０へ送信してもよい。
　＜５－３．効果＞
　以上説明したように、第４の実施形態によるサーバ１０は、音声チャットユーザによる発話が検出された場合に、テキストチャットユーザが聞いているか否かの推定結果に基づいて、音声チャットユーザに対する、ＴＴＳによる相槌の音声の出力を制御する。このため、音声チャットユーザの発話をテキストチャットユーザが聞いていることを、音声チャットユーザに直感的に知らせることができる。従って、音声チャットユーザはより自然にコミュニケーションを行うことができる。
＜＜６．ハードウェア構成＞＞
　次に、各実施形態に共通するサーバ１０のハードウェア構成について、図２１を参照して説明する。図２１に示すように、サーバ１０は、ＣＰＵ１５０、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１５２、ＲＡＭ１５４、バス１５６、インターフェース１５８、ストレージ装置１６０、および、通信装置１６２を備える。
　ＣＰＵ１５０は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ１０内の動作全般を制御する。また、ＣＰＵ１５０は、サーバ１０において制御部１００の機能を実現する。なお、ＣＰＵ１５０は、マイクロプロセッサなどのプロセッサにより構成される。
　ＲＯＭ１５２は、ＣＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。
　ＲＡＭ１５４は、例えば、ＣＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
　バス１５６は、ＣＰＵバスなどから構成される。このバス１５６は、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４を相互に接続する。
　インターフェース１５８は、ストレージ装置１６０、および通信装置１６２を、バス１５６と接続する。
　ストレージ装置１６０は、記憶部１２２として機能する、データ格納用の装置である。ストレージ装置１６０は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または記憶媒体に記録されたデータを削除する削除装置などを含む。
　通信装置１６２は、例えば通信網３０などに接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置１６２は、無線ＬＡＮ対応通信装置、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。この通信装置１６２は、通信部１２０として機能する。
＜＜７．変形例＞＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、各実施形態による情報処理システムの構成は、上述した例に限定されない。例えば、音声チャットユーザとテキストチャットユーザとは互いに異なる種類の端末を使用してもよい。一例として、音声チャットユーザが使用する端末には、表示部２２６が設けられておらず、かつ、テキストチャットユーザが使用する端末には、表示部２２６が設けられていてもよい。
　また、上述した各実施形態では、サーバ１０が音声解析部１０２および感情推定部１０４を有する例について説明したが、かかる例に限定されない。例えば、サーバ１０の代わりに、端末２０が、音声解析部１０２の機能を有してもよい。この場合、端末２０が、音声テキストチャットユーザによる発話の内容を解析することも可能である。また、端末２０は、感情推定部１０４の機能の一部または全部を有してもよい。
　また、上述した各実施形態の動作における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。
　また、上述した各実施形態によれば、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４などのハードウェアを、上述した各実施形態によるサーバ１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　音声入力を使用する第１のユーザによる発話の検出に基づいて、テキスト入力を使用する第２のユーザからの返信に関する前記第１のユーザの待ち状況を示す情報の出力を制御する出力制御部、
を備え、
　前記第１のユーザと前記第２のユーザとの間で、入力されたメッセージが交換される、情報処理装置。
（２）
　前記第１のユーザの待ち状況を示す情報は、メッセージの返信制限時間を含む、前記（１）に記載の情報処理装置。
（３）
　前記情報処理装置は、所定の基準に基づいて前記メッセージの返信制限時間を算出する返信制限時間算出部をさらに備える、前記（２）に記載の情報処理装置。
（４）
　前記所定の基準は、検出された前記第１のユーザの発話の特性を含む、前記（３）に記載の情報処理装置。
（５）
　前記発話の特性は、発話の音量または話速を含む、前記（４）に記載の情報処理装置。
（６）
　前記所定の基準は、検出された前記第１のユーザの発話に基づいた感情推定の結果を含む、前記（３）～（５）のいずれか一項に記載の情報処理装置。
（７）
　前記所定の基準は、前記第１のユーザの状態に関するセンシング結果を含む、前記（３）～（６）のいずれか一項に記載の情報処理装置。
（８）
　前記所定の基準は、検出された前記第１のユーザの発話の音声認識の結果を含む、前記（３）～（７）のいずれか一項に記載の情報処理装置。
（９）
　前記第１のユーザの待ち状況を示す情報は、インジケータを含み、
　前記インジケータは、前記メッセージの返信制限時間と、前記インジケータの表示開始時からの経過時間との差を示す、前記（２）～（８）のいずれか一項に記載の情報処理装置。
（１０）
　前記出力制御部は、前記インジケータの表示開始時からの時間の経過に応じて、前記インジケータの表示態様を変化させる、前記（９）に記載の情報処理装置。
（１１）
　前記第１のユーザの待ち状況を示す情報は、検出された前記第１のユーザの発話に基づいた感情推定の結果を含む、前記（１）～（１０）のいずれか一項に記載の情報処理装置。
（１２）
　前記出力制御部は、さらに、検出された前記第１のユーザの発話の音声認識の結果に基づいて、前記第１のユーザの待ち状況を示す情報の出力を出力部に開始させる、前記（１）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記出力制御部は、さらに、前記音声認識の結果に対するモダリティ解析の結果に基づいて、前記第１のユーザの待ち状況を示す情報の出力を出力部に開始させる、前記（１２）に記載の情報処理装置。
（１４）
　前記第１のユーザの待ち状況を示す情報の出力が開始された後に、前記出力制御部は、前記第２のユーザによるメッセージの入力に基づいて、前記第１のユーザの待ち状況を示す情報の出力を出力部に終了させる、前記（１）～（１３）のいずれか一項に記載の情報処理装置。
（１５）
　前記第１のユーザの待ち状況を示す情報の出力が開始された後に、前記出力制御部は、前記第１のユーザの待ち状況を示す情報の出力開始時からの経過時間に基づいて、前記第１のユーザの待ち状況を示す情報の出力を出力部に終了させる、前記（１）～（１４）のいずれか一項に記載の情報処理装置。
（１６）
　前記出力制御部は、さらに、前記第１のユーザによる発話の検出後における、前記第２のユーザによるテキストの入力状況に基づいて、前記第１のユーザに対するフィードバック音声の出力を制御する、前記（１）～（１５）のいずれか一項に記載の情報処理装置。
（１７）
　前記出力制御部は、さらに、前記第２のユーザにより入力されたメッセージからのキーワードの抽出に基づいて、前記第１のユーザに対して出力される前記メッセージの音声の出力態様を変化させる、前記（１）～（１６）のいずれか一項に記載の情報処理装置。
（１８）
　前記出力制御部は、前記第１のユーザによる発話の検出に基づいて、さらに、前記第１のユーザに対する相槌の音声の出力を制御する、前記（１）～（１７）のいずれか一項に記載の情報処理装置。
（１９）
　音声入力を使用する第１のユーザによる発話の検出に基づいて、テキスト入力を使用する第２のユーザからの返信に関する前記第１のユーザの待ち状況を示す情報の出力をプロセッサが制御すること、
を含み、
　前記第１のユーザと前記第２のユーザとの間で、入力されたメッセージが交換される、情報処理方法。
（２０）
　コンピュータを、
　音声入力を使用する第１のユーザによる発話の検出に基づいて、テキスト入力を使用する第２のユーザからの返信に関する前記第１のユーザの待ち状況を示す情報の出力を制御する出力制御部、
として機能させるための、プログラムであって、
　前記第１のユーザと前記第２のユーザとの間で、入力されたメッセージが交換される、プログラム。
１０　サーバ
２０　端末
３０　通信網
１００、２００　制御部
１０２　音声解析部
１０４　感情推定部
１０６　返信制限時間算出部
１０８　出力制御部
１２０、２３０　通信部
１２２　記憶部
１２４　制限時間算出用ＤＢ
１２６　発話特性係数テーブル
１２８　センシング情報係数テーブル
１３０　指示代名詞有無係数テーブル
１３２　時間情報係数テーブル
２２０　集音部
２２２　操作部
２２４　測定部
２２６　表示部
２２８　音声出力部

Claims (20)

  1. 　音声入力を使用する第１のユーザによる発話の検出に基づいて、テキスト入力を使用する第２のユーザからの返信に関する前記第１のユーザの待ち状況を示す情報の出力を制御する出力制御部、
    を備え、
    　前記第１のユーザと前記第２のユーザとの間で、入力されたメッセージが交換される、情報処理装置。
  2. 　前記第１のユーザの待ち状況を示す情報は、メッセージの返信制限時間を含む、請求項１に記載の情報処理装置。
  3. 　前記情報処理装置は、所定の基準に基づいて前記メッセージの返信制限時間を算出する返信制限時間算出部をさらに備える、請求項２に記載の情報処理装置。
  4. 　前記所定の基準は、検出された前記第１のユーザの発話の特性を含む、請求項３に記載の情報処理装置。
  5. 　前記発話の特性は、発話の音量または話速を含む、請求項４に記載の情報処理装置。
  6. 　前記所定の基準は、検出された前記第１のユーザの発話に基づいた感情推定の結果を含む、請求項３に記載の情報処理装置。
  7. 　前記所定の基準は、前記第１のユーザの状態に関するセンシング結果を含む、請求項３に記載の情報処理装置。
  8. 　前記所定の基準は、検出された前記第１のユーザの発話の音声認識の結果を含む、請求項３に記載の情報処理装置。
  9. 　前記第１のユーザの待ち状況を示す情報は、インジケータを含み、
    　前記インジケータは、前記メッセージの返信制限時間と、前記インジケータの表示開始時からの経過時間との差を示す、請求項２に記載の情報処理装置。
  10. 　前記出力制御部は、前記インジケータの表示開始時からの時間の経過に応じて、前記インジケータの表示態様を変化させる、請求項９に記載の情報処理装置。
  11. 　前記第１のユーザの待ち状況を示す情報は、検出された前記第１のユーザの発話に基づいた感情推定の結果を含む、請求項１に記載の情報処理装置。
  12. 　前記出力制御部は、さらに、検出された前記第１のユーザの発話の音声認識の結果に基づいて、前記第１のユーザの待ち状況を示す情報の出力を出力部に開始させる、請求項１に記載の情報処理装置。
  13. 　前記出力制御部は、さらに、前記音声認識の結果に対するモダリティ解析の結果に基づいて、前記第１のユーザの待ち状況を示す情報の出力を出力部に開始させる、請求項１２に記載の情報処理装置。
  14. 　前記第１のユーザの待ち状況を示す情報の出力が開始された後に、前記出力制御部は、前記第２のユーザによるメッセージの入力に基づいて、前記第１のユーザの待ち状況を示す情報の出力を出力部に終了させる、請求項１に記載の情報処理装置。
  15. 　前記第１のユーザの待ち状況を示す情報の出力が開始された後に、前記出力制御部は、前記第１のユーザの待ち状況を示す情報の出力開始時からの経過時間に基づいて、前記第１のユーザの待ち状況を示す情報の出力を出力部に終了させる、請求項１に記載の情報処理装置。
  16. 　前記出力制御部は、さらに、前記第１のユーザによる発話の検出後における、前記第２のユーザによるテキストの入力状況に基づいて、前記第１のユーザに対するフィードバック音声の出力を制御する、請求項１に記載の情報処理装置。
  17. 　前記出力制御部は、さらに、前記第２のユーザにより入力されたメッセージからのキーワードの抽出に基づいて、前記第１のユーザに対して出力される前記メッセージの音声の出力態様を変化させる、請求項１に記載の情報処理装置。
  18. 　前記出力制御部は、前記第１のユーザによる発話の検出に基づいて、さらに、前記第１のユーザに対する相槌の音声の出力を制御する、請求項１に記載の情報処理装置。
  19. 　音声入力を使用する第１のユーザによる発話の検出に基づいて、テキスト入力を使用する第２のユーザからの返信に関する前記第１のユーザの待ち状況を示す情報の出力をプロセッサが制御すること、
    を含み、
    　前記第１のユーザと前記第２のユーザとの間で、入力されたメッセージが交換される、情報処理方法。
  20. 　コンピュータを、
    　音声入力を使用する第１のユーザによる発話の検出に基づいて、テキスト入力を使用する第２のユーザからの返信に関する前記第１のユーザの待ち状況を示す情報の出力を制御する出力制御部、
    として機能させるための、プログラムであって、
    　前記第１のユーザと前記第２のユーザとの間で、入力されたメッセージが交換される、プログラム。
PCT/JP2017/002213 2016-04-12 2017-01-24 情報処理装置、情報処理方法、およびプログラム WO2017179262A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US16/077,607 US11100944B2 (en) 2016-04-12 2017-01-24 Information processing apparatus, information processing method, and program
KR1020187028289A KR20180134339A (ko) 2016-04-12 2017-01-24 정보 처리 장치, 정보 처리 방법 및 프로그램
JP2018511890A JP6943237B2 (ja) 2016-04-12 2017-01-24 情報処理装置、情報処理方法、およびプログラム
DE112017001987.7T DE112017001987T5 (de) 2016-04-12 2017-01-24 Datenverarbeitungsvorrichtung, Datenverarbeitungsverarbeitungsverfahren und Programm
CN201780022151.9A CN108885594B (zh) 2016-04-12 2017-01-24 信息处理装置、信息处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-079571 2016-04-12
JP2016079571 2016-04-12

Publications (1)

Publication Number Publication Date
WO2017179262A1 true WO2017179262A1 (ja) 2017-10-19

Family

ID=60042514

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/002213 WO2017179262A1 (ja) 2016-04-12 2017-01-24 情報処理装置、情報処理方法、およびプログラム

Country Status (6)

Country Link
US (1) US11100944B2 (ja)
JP (1) JP6943237B2 (ja)
KR (1) KR20180134339A (ja)
CN (1) CN108885594B (ja)
DE (1) DE112017001987T5 (ja)
WO (1) WO2017179262A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020116280A1 (ja) * 2018-12-04 2020-06-11 日本電気株式会社 学習支援装置、学習支援方法および記録媒体

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112786031B (zh) * 2019-11-01 2022-05-13 思必驰科技股份有限公司 人机对话方法及系统
US11184362B1 (en) * 2021-05-06 2021-11-23 Katmai Tech Holdings LLC Securing private audio in a virtual conference, and applications thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981632A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 情報公開装置
JP2004170983A (ja) * 2002-11-15 2004-06-17 Samsung Electronics Co Ltd 付加情報提供機能付きのテキスト／音声変換装置及びその方法
JP2008070994A (ja) * 2006-09-12 2008-03-27 Sharp Corp メッセージ交換端末
JP2009003040A (ja) * 2007-06-20 2009-01-08 Univ Waseda 音声対話装置、音声対話方法及びロボット装置
JP2014029670A (ja) * 2012-06-25 2014-02-13 Konami Digital Entertainment Co Ltd メッセージ閲覧システム、サーバ、端末装置、制御方法およびプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2661701B2 (ja) * 1988-05-12 1997-10-08 キヤノン株式会社 情報処理方法
JP2002123289A (ja) * 2000-10-13 2002-04-26 Matsushita Electric Ind Co Ltd 音声対話装置
JP2004129174A (ja) 2002-08-06 2004-04-22 Ricoh Co Ltd 情報通信装置、情報通信プログラム、及び記録媒体
US20080096533A1 (en) * 2006-10-24 2008-04-24 Kallideas Spa Virtual Assistant With Real-Time Emotions
US7895277B2 (en) * 2007-10-17 2011-02-22 International Business Machines Corporation Conditional reminders for conveyed electronic messages
US8442490B2 (en) * 2009-11-04 2013-05-14 Jeffrey T. Haley Modify function of driver's phone during acceleration or braking
JP2011253375A (ja) * 2010-06-02 2011-12-15 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
RU2530267C2 (ru) * 2012-11-28 2014-10-10 Общество с ограниченной ответственностью "Спиктуит" Способ коммуникации пользователя с информационной диалоговой системой
US9306899B1 (en) * 2015-02-27 2016-04-05 Ringcentral, Inc. System and method for determining presence based on an attribute of an electronic message
WO2016189350A1 (en) * 2015-05-23 2016-12-01 Yogesh Chunilal Rathod Calling to user(s) for real-time sharing, participation, e-commerce, workflow, communication & collaboration in the event of acceptance of call by caller user(s)
US10262555B2 (en) * 2015-10-09 2019-04-16 Microsoft Technology Licensing, Llc Facilitating awareness and conversation throughput in an augmentative and alternative communication system
US10580404B2 (en) * 2016-09-01 2020-03-03 Amazon Technologies, Inc. Indicator for voice-based communications
US10453449B2 (en) * 2016-09-01 2019-10-22 Amazon Technologies, Inc. Indicator for voice-based communications
DK180130B1 (da) * 2018-05-07 2020-06-02 Apple Inc. Multi-participant live communication user interface

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981632A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 情報公開装置
JP2004170983A (ja) * 2002-11-15 2004-06-17 Samsung Electronics Co Ltd 付加情報提供機能付きのテキスト／音声変換装置及びその方法
JP2008070994A (ja) * 2006-09-12 2008-03-27 Sharp Corp メッセージ交換端末
JP2009003040A (ja) * 2007-06-20 2009-01-08 Univ Waseda 音声対話装置、音声対話方法及びロボット装置
JP2014029670A (ja) * 2012-06-25 2014-02-13 Konami Digital Entertainment Co Ltd メッセージ閲覧システム、サーバ、端末装置、制御方法およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020116280A1 (ja) * 2018-12-04 2020-06-11 日本電気株式会社 学習支援装置、学習支援方法および記録媒体
JP2020091609A (ja) * 2018-12-04 2020-06-11 日本電気株式会社 学習支援装置、学習支援方法およびプログラム
JP7392259B2 (ja) 2018-12-04 2023-12-06 日本電気株式会社 学習支援装置、学習支援方法およびプログラム

Also Published As

Publication number Publication date
CN108885594A (zh) 2018-11-23
KR20180134339A (ko) 2018-12-18
US20210193168A1 (en) 2021-06-24
CN108885594B (zh) 2022-03-11
DE112017001987T5 (de) 2018-12-20
US11100944B2 (en) 2021-08-24
JPWO2017179262A1 (ja) 2019-02-14
JP6943237B2 (ja) 2021-09-29

Similar Documents

Publication Publication Date Title
JP6058053B2 (ja) 記録制御システム、システム及びプログラム
KR101726945B1 (ko) 수동 시작/종료 포인팅 및 트리거 구문들에 대한 필요성의 저감
CN107825429B (zh) 对话装置和方法
US20200236070A1 (en) Information processing system and information processing method
CN113287175B (zh) 互动式健康状态评估方法及其系统
JP6585733B2 (ja) 情報処理装置
CN108874904A (zh) 语音消息搜索方法、装置、计算机设备及存储介质
JP2016103081A (ja) 会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム
WO2017179262A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN109147780A (zh) 自由聊天场景下的语音识别方法及系统
WO2013071738A1 (zh) 一种个人专用生活协助装置和方法
JP6598227B1 (ja) 猫型会話ロボット
KR20210088824A (ko) 인공지능 대화 서비스를 이용한 채팅 시스템 및 그 동작방법
JP2014149571A (ja) コンテンツ検索装置
CN110196900A (zh) 用于终端的交互方法和装置
WO2022215361A1 (ja) 情報処理装置及び情報処理方法
EP4006900A1 (en) System with speaker representation, electronic device and related methods
JP7474211B2 (ja) ユーザから発話された名詞を忘却する対話プログラム、装置及び方法
JP7123028B2 (ja) 情報処理システム、情報処理方法、及びプログラム
KR20190023610A (ko) 회의 중 휴식 시간 제안 방법, 전자장치 및 시스템
JP2023078068A (ja) 音声処理システム、音声処理装置及び音声処理方法
KR20210088845A (ko) 인공지능 대화 서비스를 이용한 채팅 친구 추천 방법
KR20210088844A (ko) 인공지능 대화 서비스를 이용한 대화 친구 매칭 시스템
CN117240731A (zh) 虚拟社群应答情境下的生成式聊天机器人的系统及其方法
JP2020024556A (ja) 情報処理システム、端末装置、情報処理装置およびプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018511890

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 20187028289

Country of ref document: KR

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17782081

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17782081

Country of ref document: EP

Kind code of ref document: A1