WO2016157993A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2016157993A1
WO2016157993A1 PCT/JP2016/053073 JP2016053073W WO2016157993A1 WO 2016157993 A1 WO2016157993 A1 WO 2016157993A1 JP 2016053073 W JP2016053073 W JP 2016053073W WO 2016157993 A1 WO2016157993 A1 WO 2016157993A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
terminal
data
output
information processing
Prior art date
Application number
PCT/JP2016/053073
Other languages
English (en)
French (fr)
Inventor
望月　大介
将佑 百谷
佐藤　徳彦
雄哉 平野
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/559,850 priority Critical patent/US20180063283A1/en
Publication of WO2016157993A1 publication Critical patent/WO2016157993A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24575—Query processing with adaptation to user needs using context
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/043—Real-time or near real-time messaging, e.g. instant messaging [IM] using or handling presence information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/62—Establishing a time schedule for servicing the requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63—Routing a service request depending on the request content or context

Definitions

  • This disclosure relates to an information processing apparatus, an information processing method, and a program.
  • the output at the second user terminal executed based on the first data transmitted from the first user terminal is delayed based on the result of the situation sensing for the second user.
  • An information processing apparatus including a control unit that controls whether to perform delay processing is provided.
  • the output at the second user terminal executed based on the first data transmitted from the first user terminal is delayed based on the result of the situation sensing for the second user.
  • An information processing method including controlling whether to perform delay processing is provided.
  • the computer outputs the output at the second user terminal executed based on the first data transmitted from the first user terminal based on the result of the situation sensing for the second user.
  • a program for causing the information processing apparatus to function is provided, which includes a control unit that controls whether or not to perform delay processing.
  • a plurality of constituent elements having substantially the same functional configuration may be distinguished by adding different numerals after the same reference numerals. However, when it is not necessary to particularly distinguish each of a plurality of constituent elements having substantially the same functional configuration, only the same reference numerals are given.
  • FIG. 1 is a diagram illustrating a configuration example of an information processing system 1 according to an embodiment of the present disclosure.
  • the information processing system 1 according to the embodiment of the present disclosure includes an information processing device 10, a recognition device 21, an analysis device 22, and terminals 70-1 to 70-N (N is 2 or more). Natural number).
  • Terminals 70-1 to 70-N are used by corresponding users U1 to UN, respectively.
  • the terminals 70-1 to 70-N are wearable devices will be described as an example.
  • the terminals 70-1 to 70-N are not limited to wearable devices.
  • the terminals 70-1 to 70-N may be a PC (Personal Computer), a mobile phone, a tablet PC, a PDA (Personal Digital Assistant), a smartphone, or the like.
  • the recognition device 21 performs a user state recognition operation as an example of an operation for recognizing the actions of the users U1 to UN. More specifically, the recognition device 21 recognizes the user status of each of the users U1 to UN based on the sensor data detected by the terminals 70-1 to 70-N.
  • the algorithm for user state recognition is not particularly limited.
  • the result obtained by user state recognition is not particularly limited.
  • the result obtained by user state recognition may be where the user is.
  • the place where the user exists may be a school building, a library, a station, a store, a facility, a building, a workplace, or the like, or may be an area specified by an address.
  • the result obtained by the user state recognition may be a user action.
  • the user's action may be an action such as walking, running, climbing up and down stairs, driving a car, shopping, or working.
  • the analysis device 22 performs a conversation content analysis operation as an example of an operation for recognizing the actions of the users U1 to UN. More specifically, the analysis device 22 extracts information (for example, nouns, topics in conversation, keywords, etc.) that appeared in the conversations of the users U1 to UN by analyzing the conversation contents of the users U1 to UN. Extract as information.
  • the topic in conversation may be in the form of a sentence such as “I did ...”.
  • the method for analyzing the conversation content is not limited. For example, when the conversation content is character information, the extracted word can be extracted from the conversation content by language analysis such as morphological analysis.
  • the information processing apparatus 10 is an apparatus that performs various types of information processing.
  • communication is attempted between a plurality of users.
  • the data transmitted from the terminal of the transmitting user arrives at the terminal of the receiving user in real time, it may not be highly convenient depending on the situation of the receiving user.
  • the data output timing is delayed from the receiving user's terminal until the receiving user's convenience is improved, there is a possibility that only communication that makes it difficult to obtain a sense of unity may be achieved.
  • Data transmitted / received between terminals of a plurality of users during communication is not particularly limited.
  • the data transmitted and received between the terminals 70 of a plurality of users may include at least one of audio data and haptic data.
  • audio data is transmitted and received between the terminals 70 of a plurality of users.
  • FIG. 2 is a block diagram illustrating a functional configuration example of the information processing apparatus 10 according to the embodiment of the present disclosure.
  • the information processing apparatus 10 according to the embodiment of the present disclosure includes a control unit 130, a storage unit 140, and a communication unit 150.
  • the control unit 130 corresponds to, for example, a processor such as a CPU (Central Processing Unit).
  • the control unit 130 exhibits various functions of the control unit 130 by executing a program stored in the storage unit 140 or another storage medium.
  • the control unit 130 includes functional blocks such as a detection result acquisition unit 131 and an output control unit 132. The functions of these functional blocks will be described later. Note that when the control unit 130 is configured by a processor such as a CPU, the processor may be configured by an electronic circuit.
  • the storage unit 140 stores a program for operating the control unit 130 using a storage medium such as a semiconductor memory or a hard disk. Further, for example, the storage unit 140 can store various data used by the program. In the example illustrated in FIG. 2, the storage unit 140 is integrated with the information processing apparatus 10, but the storage unit 140 may be configured separately from the information processing apparatus 10.
  • the communication unit 150 can communicate with other devices.
  • the communication unit 150 can perform communication via the network 60 when performing communication with other devices, for example.
  • the communication format by the communication unit 150 is not particularly limited, and the communication by the communication unit 150 may be wireless communication or wired communication.
  • the communication unit 150 is integrated with the information processing apparatus 10, but the communication unit 150 may be configured separately from the information processing apparatus 10.
  • FIG. 3 is a block diagram illustrating a functional configuration example of the terminal 70 according to the embodiment of the present disclosure.
  • the terminal 70 according to the embodiment of the present disclosure includes a sound collection unit 710, a motion detection unit 720, a wearing state detection unit 730, an operation input unit 740, a control unit 750, and a storage.
  • the sound collection unit 710 can function as a data detection unit that detects data. Specifically, the sound collection unit 710 collects sound data from the surroundings.
  • the sound collection unit 710 may include a microphone.
  • the audio data detected by the sound collection unit 710 is output to the control unit 750.
  • the sound collection unit 710 may be provided in the headset, but the position where the sound collection unit 710 is provided is not limited.
  • the motion detector 720 detects the motion of the terminal 70.
  • the motion detection unit 720 may include an acceleration sensor that detects acceleration as sensing data, a gyro sensor that detects angular velocity as sensing data, and an illuminance sensor that detects illuminance as sensing data.
  • the motion detected by the motion detection unit 720 is output to the control unit 750.
  • the motion detection unit 720 may be provided in the headset, but the position where the motion detection unit 720 is provided is not limited.
  • the wearing state detection unit 730 detects the wearing state of the terminal 70.
  • the wearing state detection unit 730 includes a headset (sound collection unit 710, motion detection unit 720, audio output unit 780) and main body (operation input unit). 740, control unit 750, storage unit 760, communication unit 770, and display unit 790) can be detected.
  • the wearing state detected by the wearing state detection unit 730 is output to the control unit 750.
  • the operation input unit 740 detects an operation by the user and outputs it to the control unit 730.
  • an operation by the user can correspond to an operation on the touch panel (for example, a tap operation, a drag operation, etc.).
  • the input unit 720 may be configured by hardware (for example, a button) other than the touch panel.
  • recognition results such as the user “holding” the terminal 70 (or the main body of the terminal 70), “looking”, and “contacting” the terminal 70 may be detected as operations.
  • a recognition result may be detected based on a contact state of the user's hand with the terminal 70 obtained from information of a contact sensor (not shown) on the side surface of the terminal 70 (for example, a touch sensor, a pressure sensor, etc.).
  • a recognition result may be detected by extracting a predetermined motion pattern from output information of the motion detection unit 720 (for example, an acceleration sensor or a gyro sensor).
  • Such a recognition result may be detected by recognizing a face from an image captured by a camera (not shown) provided in the terminal 70.
  • the operation input unit 740 may be provided in the headset, but the position where the operation input unit 740 is provided is not limited.
  • the control unit 750 corresponds to a processor such as a CPU, for example.
  • the control unit 750 exhibits various functions of the control unit 750 by executing a program stored in the storage unit 760 or another storage medium.
  • the control unit 750 is configured by a processor such as a CPU, the processor can be configured by an electronic circuit.
  • the headset and the main body are separated, typically, the control unit 750 may be provided in the main body, but the position where the control unit 750 is provided is not limited.
  • the storage unit 760 stores a program for operating the control unit 760 using a storage medium such as a semiconductor memory or a hard disk. Further, for example, the storage unit 760 can store various data used by the program. In the case where the headset and the main body are separated, typically, the storage unit 760 may be provided in the main body, but the position where the storage unit 760 is provided is not limited.
  • the communication unit 770 can communicate with other devices.
  • the communication unit 770 can perform communication via the network 60 when performing communication with other devices.
  • the communication format by the communication unit 770 is not particularly limited, and the communication by the communication unit 770 may be wireless communication or wired communication.
  • the communication unit 770 may be provided in the main body, but the position where the communication unit 770 is provided is not limited.
  • the audio output unit 780 outputs audio in accordance with control by the control unit 750.
  • the output unit 760 may include a speaker that outputs audio.
  • the speaker may be an earphone or a headphone. In the case where the headset and the main body are separated, typically, the audio output unit 780 may be provided in the headset, but the position where the audio output unit 780 is provided is not limited.
  • the display unit 790 may include a display device such as an LCD (Liquid Crystal Display), an organic EL (Electroluminescence) display device, or the like. In the case where the headset and the main body are separated, typically, the display unit 790 may be provided on the main body, but the position where the display unit 790 is provided is not limited. Further, for example, the terminal 70 may include an LED (Light Emitting Diode) that emits light separately from the display device. Further, the terminal 70 may include a vibration device (not shown).
  • the output control unit 132 outputs the output from the user UN terminal 70-N, which is executed based on the audio data transmitted from the terminal 70-3 of the user U3, to the user UN. Whether or not to perform a delay process for delaying based on the result of the situation sensing is controlled. According to such a configuration, it is possible to perform communication between communication that suppresses a decrease in convenience of the user UN and communication that easily obtains a sense of unity according to the situation of the user UN.
  • the situation sensing may include sensing whether or not the user UN can perceive the output result of the user UN at the terminal 70-N, which is executed based on the audio data.
  • whether or not the user UN can perceive the output result of the audio data may be detected in any way. For example, if the voice output unit 780 in the terminal UN-70 of the user UN is activated, it is considered that the user UN can perceive the output result of the voice data. Therefore, whether or not the user UN can perceive the output result of the audio data may be detected according to whether or not the audio output unit 780 in the terminal 70-N of the user UN is activated.
  • the audio output unit 780 in the terminal 70-N of the user UN is attached to the user UN, it is considered that the user UN can perceive the output result of the audio data. Therefore, whether or not the user UN can perceive the output result of the audio data is detected according to whether or not the audio output unit 780 in the terminal 70-N of the user UN is attached to the user UN. Also good.
  • the user UN terminal 70-N is connected to the same network 60 as the user U3 terminal 70-3, it is considered that the user UN can perceive the output result of the audio data. Therefore, whether or not the user UN can perceive the output result of the audio data is whether or not the terminal 70-N of the user UN is connected to the same network 60 as the terminal 70-3 of the user U3. May be detected accordingly.
  • the result of the action recognition of the user UN shows a predetermined result
  • the result of the user UN's action recognition may be a place where the user UN exists, or may be an operation of the user UN.
  • the place where the user UN exists is a predetermined place that is not suitable for audio output (for example, a library, a workplace, etc.), it may be detected that the user UN is not in a state where the output result of the audio data can be perceived. .
  • the place where the user UN exists is a predetermined place suitable for audio output (for example, a station, a store, etc.), it may be detected that the user UN can perceive the output result of the audio data.
  • the operation of the user UN is a predetermined operation that is not suitable for audio output (for example, driving a car, working, etc.)
  • the user UN can perceive the output result of the audio data. It may be detected that the state is not correct.
  • the action of the user UN is a predetermined action suitable for voice output (for example, walking, running, climbing up and down stairs, shopping, etc.)
  • the user UN It may be detected that the output result is in a perceivable state.
  • the terminal 70-N of the user UN when the terminal 70-N of the user UN is grasped, touched, or viewed by the user UN, it is considered that the user UN can perceive the output result of the audio data. Therefore, whether or not the user UN can perceive the output result of the audio data depends on whether or not the terminal 70-N of the user UN is grasped, touched or viewed by the user UN. It may be detected.
  • FIG. 4 is a diagram illustrating an example of a human relationship based on the user UN.
  • the terminal 70-N of the user UN is online connected to the terminal 70-3 of the user U3, but is not designated as a target user.
  • the target user may mean a user to whom audio data is transmitted.
  • FIG. 5 is a diagram showing an example of a screen displayed by the terminal 70-N of the user UN (receiving user) before the voice data is transmitted from the terminal 70-3 of the user U3 to the terminal 70-N of the user UN. is there.
  • the user U1 is designated as the target user. Therefore, at the terminal 70-N of the user UN, the audio data collected by the sound collection unit 710 of the terminal 70-1 of the target user (user U1) is output by the audio output unit 780, and the target user (user U1) An image (for example, an avatar) corresponding to is displayed on the display unit 790 as the screen G1.
  • the target user can be selected by a selection operation.
  • the target user can be switched by a flick operation on the touch panel (for example, a flick operation in the horizontal direction or the vertical direction).
  • the target user may be switchable by voice.
  • FIG. 5 when the target user is switched in the order of user U1, group, user U2, user U3, and user U7, screens displayed by the display unit 790 of the terminal 70-N are screen G1, screen G5, An example in which the screen G2, the screen G3, and the screen G7 are switched in this order is shown.
  • each screen may be output with an operation according to the degree of interest from the target user to the user UN (blinking of the LED of the terminal 70-N, change in emission color, etc.).
  • the speech section is recognized from the voice data collected by the sound collection unit 710, and the speech section Audio data is transmitted to the terminal 70-N of the user UN (S11).
  • the utterance by the user U3 is continued for a while (S12), and ends.
  • the detection result acquisition unit 131 detects whether or not the user UN can perceive the output result of the audio data, and the output control unit 132 allows the user UN to perceive the output result of the audio data. If not, the audio data is stored in a predetermined storage area (S13).
  • the storage area may be inside the storage unit 140 of the information processing apparatus 10, may be inside the storage unit 760 of the terminal 70-3, or may be inside the terminal 70-N.
  • the output control unit 132 extracts the audio data from the storage area and outputs the audio data from the terminal 70-N of the user UN. (S14).
  • the user UN who perceives the sound data activates the sound collection unit 710 and starts speaking.
  • the utterance section is recognized from the voice data collected by the sound collection unit 710 in the terminal 70-N of the user UN, and the voice data of the utterance section is transmitted to the terminal 70-3 of the user U3 (S15). .
  • the utterance by the user UN is continued for a while (S16), and ends. If the user U3 can perceive the output result of the audio data, the output control unit 132 causes the terminal 70-3 to output the audio data transmitted from the terminal 70-N of the user UN (S17). Subsequently, the user U3 who perceives the voice data starts to speak.
  • S18 and S19 are executed in the same manner as S16 and S17.
  • S20 and S21 are executed in the same manner as S16 and S17.
  • the sound collecting unit 710 is activated in the terminal 70-3 of the user U3, when the user U3 speaks, the sound data collected by the sound collecting unit 710 is recorded (S31), and the transmission operation is performed. Based on this, voice data is transmitted to the terminal 70-N of the user UN (S32).
  • the detection result acquisition unit 131 detects whether or not the user UN can perceive the output result of the audio data, and the output control unit 132 allows the user UN to perceive the output result of the audio data. If not, the audio data is stored in a predetermined storage area.
  • the output control unit 132 extracts the audio data from the storage area and outputs the audio data from the terminal 70-N of the user UN. (S33).
  • the output control unit 132 activates the sound collection unit 710 of the terminal 70-N of the user UN and automatically establishes a connection within a predetermined time after the audio data is stored in the storage area (S34). .
  • the utterance by the user UN is continued for a while (S36) and ends.
  • the output control unit 132 recognizes the utterance section from the voice data acquired from the sound collection unit 710 of the user UN terminal 70-N within a predetermined time, and the voice data of the utterance section is converted to the terminal 70- of the user U3. 3 (S35) and output from the terminal 70-3 of the user U3 (S37).
  • S38 to S41 are executed in the same manner as S34 to S37.
  • S42 to S45 are executed in the same manner as S34 to S37.
  • the sound collection unit 710 is automatically activated and a connection is automatically established. For this reason, when the user UN is talking to someone face-to-face rather than through the terminal 70-N, the face-to-face conversation may be transmitted to the terminal 70-3. Therefore, when the user UN is in a face-to-face conversation, the output control unit 132 may shift the predetermined time after the face-to-face conversation is finished. Whether or not a face-to-face conversation is in progress may be determined based on a voice detected by a voice detector (not shown).
  • the voice data collected by the sound collecting unit 710 may be transmitted to the terminal 70-3 against the intention of the user UN. Therefore, in order to allow the user UN to recognize that it is within the predetermined time indicated by S34 and S42, the output control unit 132 outputs a predetermined output from the terminal 70-N of the user UN within the predetermined time described above. It is good to make it. Similarly, in order to enable the user U3 to recognize that it is within the predetermined time indicated in S38, the output control unit 132 outputs a predetermined output from the terminal 70-3 of the user U3 within the predetermined time described above. You should do it.
  • the predetermined output may be a noise sound, a predetermined sound pattern, or a regular notification sound. Moreover, a predetermined output may be made outside the predetermined time instead of within the predetermined time.
  • the output control unit 132 activates the sound collection unit 710 of the terminal UN of the user UN (user Whether or not the sound collection unit 710 of the terminal 70-N of the UN is activated may be output from the terminal 70-N of the user UN.
  • the output control unit 132 activates the sound collection unit 710 of the user UN terminal 70-N and then stops the sound collection unit 710 of the user UN terminal 70-N when a predetermined condition is satisfied. You may let them.
  • the predetermined condition may be a condition that a predetermined time has elapsed since the sound collection unit 710 of the user UN terminal 70-N is activated, or the sound collection unit 710 of the user UN terminal 70-N is activated.
  • the condition that the time during which the utterance period is not recognized continues for a predetermined time may be used.
  • the output control unit 132 may set audio data collected when a predetermined gesture by the user UN is detected as a transmission target from the terminal 70-N of the user UN to the terminal 70-3 of the user U3.
  • the predetermined gesture may be a gesture of tilting the head down or an operation of swinging the head left and right.
  • the output control unit 132 converts the sound data from the user UN terminal 70-N to the user U3 terminal. It may be determined whether or not to be a transmission target to 70-3. For example, when the analysis result of the voice data indicates that the conversation is a face-to-face conversation, the output control unit 132 does not need to set the voice data as a transmission target from the terminal 70-N of the user UN to the terminal 70-3 of the user U3. Good.
  • the output control unit 132 may store the audio data transmitted from the terminal 70-3 of the user U3 in the storage area even when the user UN is in a state where the output result of the audio data can be perceived. Then, the user UN can listen to the voice data in real time and can listen to the voice data stored in the storage area later. At that time, the more audio data stored in the storage area, the longer the user UN will need to listen to the audio data later.
  • the output control unit 132 may set the output speed when the voice data extracted from the storage area is output from the terminal 70-N of the user UN to be higher than the reference speed. Or the output control part 132 may abbreviate
  • the output control unit 132 causes the terminal 70-N of the user UN to output the output part specified based on the analysis result of the audio data extracted from the storage area.
  • the output control unit 132 may output the important part specified by the analysis of the conversation content of the voice data or the utterance content of a specific user from the terminal 70-N of the user UN.
  • the output control unit 132 performs a predetermined hold notification (for example, a predetermined vibration, a predetermined vibration, or the like). Voice pattern etc.) may be output from the terminal 70-3 of the user U3.
  • the output control unit 132 outputs the audio data from the user UN terminal 70-N a predetermined time before the audio data output start until the audio data output start time.
  • a predetermined output for example, noise sound, ambient sound of the terminal 70-3, etc. may be performed.
  • the output control unit 132 changes the portion of the audio data from when the audio data output starts until a predetermined time elapses when outputting audio data from the user UN terminal 70-N. It is good to output from 70-N.
  • the change may be made in any way, may be changed so as to fade in, or may be changed so that the sound source gradually approaches.
  • the output control unit 132 may delete the audio data stored in the storage area when a predetermined deletion condition is satisfied. For example, only the audio data selected by the user U3 may be deleted, or the audio data selected by the user U3 and the audio data stored after that audio data may be deleted. Or the output control part 132 may delete the audio
  • the output control unit 132 may output audio data from the terminal UN-user 70-N using an output method according to the user U3. For example, the output control unit 132 may output audio data so that it can be heard from the direction corresponding to the user U3. Alternatively, the output control unit 132 may output music corresponding to the user U3 simultaneously with the audio data.
  • the output control unit 132 may cause the notification sound corresponding to the user U3 to be output at least at any timing during the output of the audio data, immediately before the output of the audio data and immediately after the output of the audio data.
  • the output control unit 132 may cause the vibration corresponding to the user U3 to be output at least one time immediately before the output of the audio data and immediately after the output of the audio data during the output of the audio data.
  • the output control unit 132 based on the acoustic pattern of the voice of the user UN registered or measured in advance and the voice information collected by the sound collection unit 710 of the terminal 70-N, the terminal 70-3 of the user U3. It is better to adjust the volume of the audio data sent to. Specifically, the output control unit 132 may adjust the volume level of the audio information to be constant based on the acoustic pattern.
  • the output control unit 132 may control whether or not to delay the output of the user UN at the terminal 70-N according to the importance of the audio data.
  • the importance of the voice data may be attached to the voice data, or may be obtained by analyzing the voice data.
  • FIG. 8 is a diagram showing an example of a screen displayed by the user UN terminal 70-N when audio data is transmitted from the user U3.
  • the display unit 790 displays the screen G1 on the terminal 70-N of the user UN.
  • the terminal 70-N executes a predetermined operation when voice data is transmitted from the user U3.
  • FIG. 8 shows an example of blinking the LED of the terminal 70-N as the predetermined operation.
  • the predetermined operation is not limited to such an example.
  • the predetermined operation may be an operation of changing the emission color by the LED of the terminal 70-N.
  • the vibration pattern or vibration part of the terminal 70-N (or the blinking pattern or blinking of the LED) between the case where the sound data is transmitted from the target user and the case where the sound data is transmitted from a user other than the target user.
  • the site should be different. Then, the user UN can easily grasp whether the audio data is transmitted from the target user or whether the audio data from a user other than the target user is transmitted.
  • the output control unit 132 selects one or more users (user U1, group, user U2, user U3, and user U7) that can be selected as a notification destination user manually or automatically in a predetermined order. May be arranged.
  • the predetermined order may be a new order in which the voice data is transmitted to the user UN, a new order in which the voice data is transmitted from the user UN, or a voice with the user UN.
  • the order of frequency of data transmission / reception may be high.
  • the handling of the target user in the terminal 70-3 of the user U3 will be described.
  • the output control unit 132 transmits from the terminal 70-3 of the user U3.
  • the voice data thus obtained may be output from the terminal UN-user 70-N.
  • the output control unit 132 is transmitted from the terminal 70-3 of the user U3 when the user UN is not designated as the target user and the user UN is in a state where the output result of the audio data can be perceived.
  • the voice data may be output from the terminal 70-N of the user UN.
  • the output control unit 132 stores the voice data transmitted from the terminal 70-3 of the user U3 in the storage area, and outputs from the terminal 70-N of the user UN that the voice data has been transmitted. (The user UN may treat the output result of the audio data as an unperceivable state).
  • the output control unit 132 detects the terminal 70-3 of the user U3 and the terminal 70- of the user UN stored in the storage area.
  • the predetermined history data recognized from the transmission / reception data with N may be output from the terminal 70-N of the user UN.
  • the history data may include text data recognized from transmission / reception data.
  • FIG. 9 is a diagram showing a display example of text data recognized from transmission / reception data.
  • the output control unit 132 may display text data recognized from transmission / reception data as history data.
  • the text data may be displayed for each utterance section of each of a plurality of users (user U3 and user UN). Further, as shown in FIG. 9, the text data may be displayed at a position on the time axis T corresponding to the time when the utterance is made.
  • the history data may include the length of the user's utterance for each utterance section recognized from the transmission / reception data.
  • FIG. 10 is a diagram illustrating a display example of the length of the user's utterance for each utterance section recognized from the transmission / reception data.
  • the output control unit 132 may display the length of the user's utterance recognized from the transmission / reception data as history data.
  • the length of the utterance may be displayed for each utterance section of each of the plurality of users (user U3 and user UN) (V3, VU).
  • the length of the utterance may be displayed at a position on the time axis T corresponding to the time when the utterance was made.
  • FIG. 11 is a diagram showing a display example of the utterance length of each of a plurality of users (users U1, U2, U3, UN) belonging to the group.
  • the length of the utterance may be displayed for each utterance section of each of a plurality of users (users U1, U2, U3, UN) belonging to the group (V1, V2). , V3, VU).
  • the length of the utterance may be displayed at a position on the time axis T corresponding to the time when the utterance was made.
  • FIG. 12 is a diagram showing another display example of the length of the user's utterance for each utterance section recognized from the transmission / reception data.
  • the output control unit 132 may display the length of the user's utterance recognized from the transmission / reception data as history data.
  • the length of the utterance may be displayed for each utterance section of each of the plurality of users (user U3 and user UN) (V3, VU).
  • it may be shown along the time T in the order of utterances, and the length of the utterances may be indicated by bars.
  • the output control unit 132 may cause the current output position of the audio data to be output from the terminal 70-N as the position P0. Further, the output control unit 132 can move the cursor P1 by an operation by the user UN (for example, an operation of pressing an up / down / left / right key). For example, when the user UN performs a selection operation (for example, a tap operation, an operation of pressing the enter key, etc.), the output control unit 132 causes the terminal 70-N to output the utterance section corresponding to the position of the cursor P0. Is possible.
  • the history data may include topics or keywords recognized from the transmission / reception data.
  • FIG. 13 is a diagram illustrating a display example of topics or keywords recognized from transmission / reception data.
  • the output control unit 132 may display topics or keywords recognized from the transmission / reception data as history data.
  • the topic or the keyword may be displayed at a position on the time axis T corresponding to the uttered time.
  • the history data may include the degree of excitement of conversation recognized from the transmission / reception data.
  • FIG. 14 is a diagram illustrating a display example of a conversation excitement level recognized from transmission / reception data.
  • the output control unit 132 may display the conversation excitement level H21 recognized from the transmission / reception data as history data.
  • the conversation excitement level H21 may be displayed in a graph at a position on the time axis T corresponding to the utterance time.
  • the degree of excitement may be calculated in any way.
  • the degree of excitement may be calculated by acoustic analysis of audio data (for example, the degree of excitement is calculated higher for higher sounds).
  • the degree of excitement may be calculated by semantic analysis of conversation.
  • the degree of excitement may be calculated by analyzing the tempo of the conversation (for example, response speed, frequency, etc.).
  • the degree of excitement may be calculated by analysis of the user's vital information (for example, the degree of sweating) (for example, the degree of excitement is increased as the amount of sweating increases).
  • FIG. 15 is a diagram illustrating another display example of the conversation excitement level recognized from the transmission / reception data.
  • the output control unit 132 may display the conversation excitement level H31 recognized from the transmission / reception data as history data.
  • the conversation excitement level H31 may be displayed in a predetermined color at a position on the time axis T corresponding to the time when the excitement exceeds a threshold.
  • the degree of excitement may be displayed by a change in hue.
  • the output control unit 132 corresponds to a predetermined object that changes from a first color (for example, blue) to a second color (for example, red) as the degree of excitement increases. It may be displayed at a position on the time axis T.
  • the output control unit 132 may perform control so that information indicating whether or not the user UN can perceive the output result is output from the terminal 70-3 of the user U3. For example, information indicating that the state is not perceptible may be output as a predetermined notification sound, a predetermined vibration, the utterance of the user U3 itself, or other notification information.
  • the information indicating that the state is not perceptible may be output when the user U3 starts speaking, may be output when the user UN becomes unable to perceive the output result, Or may be output when the user U3 performs a predetermined action (for example, an action of applying vibration, an action of pressing a button, etc.) on the terminal 70-3. It may be when the target user is switched.
  • a predetermined action for example, an action of applying vibration, an action of pressing a button, etc.
  • the output control unit 132 may control the measurement information related to the body of the user UN or the analysis result of the measurement information to be output from the terminal 70-3 of the user U3.
  • the analysis result of the measurement information may be information indicating whether or not the user UN has listened to the audio data obtained by analyzing the measurement information of the brain wave of the user UN (the firing state of the language area). Good.
  • the analysis result of the measurement information may be information indicating whether or not the user UN obtained by analyzing the body movement of the user UN has listened to the sound data.
  • the analysis result of the measurement information may be an emotion change obtained from the vital information of the user UN.
  • FIG. 16 is a diagram illustrating an example of displaying whether or not each user is listening to audio data when audio data is transmitted and received between a plurality of users belonging to a group. As shown in FIG. 16, to what position the audio data has been listened to may be displayed depending on the position of each user's icon on the time axis T. In the screen G18, the users U2, U3, and UN are currently listening to the voice, but the user U1 has stopped listening to the voice for a while.
  • the output control unit 132 when audio data is transmitted and received between a plurality of users belonging to the group, the output control unit 132, when all of the plurality of users belonging to the group are not in a state where the output result of the audio data can be perceived, Control may be performed so that information indicating that the state is not perceptible is output. Further, the output control unit 132 may output information indicating that the audio data output result is not in a perceptible state, depending on the strength according to the percentage of users who are not in a perceptible state.
  • FIG. 17 is a diagram illustrating a functional configuration example of the terminal 80 in a case where haptic data is transmitted and received between the terminals 80 of a plurality of users.
  • the terminal 80 includes a detection unit 820, a control unit 850, a communication unit 870, and an output unit 880.
  • the detection unit 820 has a function of detecting detection data (for example, contact, deformation, vibration, and tracing) given by the user.
  • the control unit 850 corresponds to a processor such as a CPU, for example.
  • the control unit 850 generates haptic data (for example, contact, deformation, vibration, tracing, etc.) based on the detection data. By executing the program, various functions of the control unit 850 are exhibited.
  • the communication unit 870 can communicate with other devices.
  • the output unit 880 outputs haptic data.
  • the timing at which the transmission of the haptic data is started may be when the user contacts the terminal 80. Further, the haptic data may be continuously transmitted while the user is in contact with the terminal 80, and the transmission of the haptic data may be terminated when the user's contact with the terminal 80 is released.
  • the timing at which transmission of the tactile force data is started may be when the user starts touching the terminal 80 while a predetermined button is pressed. At this time, the tactile force data is continuously transmitted while the user is in contact with the terminal 80 in a state where a predetermined button is pressed, and the tactile force when the user's contact with the terminal 80 is released. The transmission of the sense data may be terminated.
  • the terminal 80 when the terminal 80 is held or touched by the user, it is considered that the user can perceive the output result of the haptic data. Therefore, whether or not the user can perceive the output result of the haptic data may be detected depending on whether or not the terminal 80 is grasped or touched by the user.
  • FIG. 18 is a diagram showing a state in which haptic data is transmitted and received.
  • haptic data is transmitted and received between the terminal 80-3 of the user U3 and the terminal 80-N of the user UN.
  • the tactile sensation is controlled so that delay in the tactile sensation data is controlled, so that a decrease in convenience for the user is suppressed and a sense of unity is easily obtained. It is possible to give each other.
  • FIG. 19 is a block diagram illustrating a hardware configuration example of the information processing apparatus 10 according to the embodiment of the present disclosure.
  • the information processing apparatus 10 includes a CPU (Central Processing unit) 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
  • the information processing apparatus 10 may include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • the information processing apparatus 10 may include an imaging device 933 and a sensor 935 as necessary.
  • the information processing apparatus 10 may include a processing circuit called a DSP (Digital Signal Processor) or ASIC (Application Specific Integrated Circuit) instead of or in addition to the CPU 901.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the information processing device 10 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
  • the ROM 903 stores programs and calculation parameters used by the CPU 901.
  • the RAM 905 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901, the ROM 903, and the RAM 905 are connected to each other by a host bus 907 configured by an internal bus such as a CPU bus. Further, the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915 is a device operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 915 may include a microphone that detects the user's voice.
  • the input device 915 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device 929 such as a mobile phone that supports the operation of the information processing device 10.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by the user and outputs the input signal to the CPU 901. The user operates the input device 915 to input various data to the information processing device 10 or instruct a processing operation.
  • An imaging device 933 which will be described later, can also function as an input device by imaging a user's hand movement, a user's finger, and the like. At this time, the pointing position may be determined according to the movement of the hand or the direction of the finger.
  • the output device 917 is a device that can notify the user of the acquired information visually or audibly.
  • the output device 917 is, for example, a display device such as an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an organic EL (Electro-Luminescence) display, a projector, an audio output device such as a hologram display device, a speaker and headphones, As well as a printer device.
  • the output device 917 outputs the result obtained by the processing of the information processing device 10 as a video such as text or an image, or outputs it as a sound such as voice or sound.
  • the output device 917 may include a light or the like to brighten the surroundings.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 10.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the drive 921 is a reader / writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the information processing apparatus 10.
  • the drive 921 reads information recorded on the attached removable recording medium 927 and outputs the information to the RAM 905.
  • the drive 921 writes a record in the attached removable recording medium 927.
  • the connection port 923 is a port for directly connecting a device to the information processing apparatus 10.
  • the connection port 923 can be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like.
  • the connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • Various data can be exchanged between the information processing apparatus 10 and the external connection device 929 by connecting the external connection device 929 to the connection port 923.
  • the communication device 925 is a communication interface configured with a communication device for connecting to the communication network 60, for example.
  • the communication device 925 can be, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 925 transmits and receives signals and the like using a predetermined protocol such as TCP / IP with the Internet and other communication devices, for example.
  • the communication network 60 connected to the communication device 925 is a wired or wireless network, such as the Internet, home LAN, infrared communication, radio wave communication, or satellite communication.
  • the imaging device 933 uses various members such as an imaging element such as a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor), and a lens for controlling the imaging of a subject image on the imaging element. It is an apparatus that images a real space and generates a captured image.
  • the imaging device 933 may capture a still image or may capture a moving image.
  • the sensor 935 is various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, and a sound sensor. For example, the sensor 935 acquires information about the state of the information processing apparatus 10 itself, such as the attitude of the housing of the information processing apparatus 10, and information about the surrounding environment of the information processing apparatus 10, such as brightness and noise around the information processing apparatus 10. To do.
  • the sensor 935 may include a GPS sensor that receives a GPS (Global Positioning System) signal and measures the latitude, longitude, and altitude of the apparatus.
  • GPS Global Positioning System
  • Each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed according to the technical level at the time of implementation.
  • the output of the first data transmitted from the terminal of the first user at the terminal of the second user is the result of the situation sensing for the second user.
  • the information processing apparatus 10 is provided, which includes an output control unit 132 that controls whether or not to perform a delay process for delaying based on the above. According to such a configuration, it is possible to perform either communication that suppresses a decrease in convenience for the user or communication that facilitates a sense of unity according to the user's situation.
  • operation input and screen display may be performed by another device (for example, a smartphone or the like) that is wirelessly connected to the terminal 70. In that case, a larger amount of information can be displayed on the screen.
  • the other device may exist, and the headset and the other device may exist without the main body.
  • the position of each component will not be specifically limited.
  • the case where the information processing apparatus 10 functions as a server has been described.
  • the terminals 70-1 to 70-N have some or all of the functions of the information processing apparatus 10. Also good.
  • the detection result acquisition unit 131 and the output control unit 132 may be included in each of the terminals 70-1 to 70-N.
  • all or part of the information processing apparatus 10, the recognition apparatus 21, and the analysis apparatus 22 may be accommodated in the same apparatus.
  • the following configurations also belong to the technical scope of the present disclosure.
  • (1) Whether or not to perform a delay process for delaying the output at the second user's terminal executed based on the first data transmitted from the first user's terminal based on the result of the situation sensing for the second user A control unit for controlling Information processing device.
  • the situation sensing includes sensing whether or not the second user can perceive an output result of the first data at the terminal of the second user.
  • the information processing apparatus according to (1) is detected depending on whether or not the output unit that outputs the first data in the terminal of the second user is activated. To be The information processing apparatus according to (2).
  • Whether or not the second user can perceive the output result is determined by whether the second user is equipped with an output unit for outputting the first data in the terminal of the second user. Detected according to whether or not The information processing apparatus according to (2). (5) Whether or not the second user can perceive the output result depends on whether or not the terminal of the second user is connected to the same network as the terminal of the first user. Detected, The information processing apparatus according to (2). (6) Whether or not the second user can perceive the output result is detected based on a result of action recognition of the second user. The information processing apparatus according to (2). (7) Whether or not the second user is able to perceive the output result depends on whether the terminal of the second user is grasped, touched or viewed by the second user.
  • the control unit controls the second user to output information indicating whether the output result is perceivable from the terminal of the first user.
  • the information processing apparatus according to any one of (2) to (7).
  • the control unit stores the first data transmitted from the terminal of the first user in a predetermined storage area when the second user is not in a state where the output result can be perceived.
  • the information processing apparatus according to any one of (2) to (8).
  • the control unit activates the data detection unit of the terminal of the second user and acquires the data from the data detection unit within a predetermined time after the first data is stored in the storage area. Outputting second data from the terminal of the first user;
  • the information processing apparatus according to (9).
  • the control unit retrieves the first data from the storage area, and receives the first data from the terminal of the second user. Output data, The information processing apparatus according to (9) or (10). (12) The control unit causes the second user terminal to output the first data when the second user can perceive the output result. The information processing apparatus according to any one of (2) to (8). (13) The control unit stores the first data transmitted from the terminal of the first user in a predetermined storage area when the second user can perceive the output result. The information processing apparatus according to (12). (14) The control unit deletes the first data stored in the storage area when a predetermined deletion condition is satisfied, The information processing apparatus according to (9) or (13).
  • the control unit is a predetermined unit recognized from transmission / reception data between the terminal of the first user and the terminal of the second user stored in the storage area. Log data is output from the terminal of the second user.
  • the information processing apparatus according to (9) or (13).
  • the control unit is configured to transmit the first data acquired from the data detection unit from the first user terminal when the data detection unit is activated in the terminal of the first user.
  • the information processing apparatus according to any one of (1) to (15).
  • the control unit controls whether to delay the output in the terminal of the second user according to the importance of the first data;
  • the information processing apparatus according to any one of (1) to (16).
  • the first data transmitted from the terminal of the first user includes at least one of audio data and haptic data,
  • the information processing apparatus according to any one of (1) to (17).

Abstract

【課題】ユーザの状況に応じてユーザの利便性の低下を抑制したコミュニケーションと一体感を得やすいコミュニケーションとのいずれかのコミュニケーションを図ることが可能な技術が提供されることが望まれる。 【解決手段】第１のユーザの端末から送信される第１のデータの第２のユーザの端末における出力を、前記第２のユーザに対する状況センシングの結果に基づいて遅延させる遅延処理を行うか否かを制御する出力制御部を備える、情報処理装置が提供される。

Description

情報処理装置、情報処理方法およびプログラム
　本開示は、情報処理装置、情報処理方法およびプログラムに関する。
　近年、情報通信技術の発達に伴って端末を用いて他のユーザとの間でコミュニケーションを図る技術が普及している。ここで、他のユーザとの間におけるコミュニケーション開始のタイミングを制御する技術が知られている。例えば、他のユーザの行動に基づいて他のユーザとの間におけるコミュニケーション開始のタイミングを制御する技術が開示されている（例えば、特許文献１参照）。
特開２０１４－１２３１９２号公報
　しかし、ユーザの状況に応じてユーザの利便性の低下を抑制したコミュニケーションと一体感を得やすいコミュニケーションとのいずれかのコミュニケーションを図ることが可能な技術が提供されることが望まれる。
　本開示によれば、第１のユーザの端末から送信される第１のデータに基づき実行される第２のユーザの端末における出力を、前記第２のユーザに対する状況センシングの結果に基づいて遅延させる遅延処理を行うか否かを制御する制御部を備える、情報処理装置が提供される。
　本開示によれば、第１のユーザの端末から送信される第１のデータに基づき実行される第２のユーザの端末における出力を、前記第２のユーザに対する状況センシングの結果に基づいて遅延させる遅延処理を行うか否かを制御することを含む、情報処理方法が提供される。
　本開示によれば、コンピュータを、第１のユーザの端末から送信される第１のデータに基づき実行される第２のユーザの端末における出力を、前記第２のユーザに対する状況センシングの結果に基づいて遅延させる遅延処理を行うか否かを制御する制御部を備える、情報処理装置として機能させるためのプログラムが提供される。
　以上説明したように本開示によれば、ユーザの状況に応じてユーザの利便性の低下を抑制したコミュニケーションと一体感を得やすいコミュニケーションとのいずれかのコミュニケーションを図ることが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る情報処理システムの構成例を示す図である。 同実施形態に係る情報処理装置の機能構成例を示すブロック図である。 同実施形態に係る端末の機能構成例を示すブロック図である。 人間関係の例を示す図である。 端末によって表示される画面例を示す図である。 音声データ送受信の第１の動作例を説明する。 音声データ送受信の第２の動作例を説明する。 端末によって表示される画面例を示す図である。 送受信データから認識されるテキストデータの表示例を示す図である。 送受信データから認識される発話区間ごとのユーザの発話の長さの表示例を示す図である。 グループに属する複数のユーザそれぞれの発話の長さの表示例を示す図である。 送受信データから認識される発話区間ごとのユーザの発話の長さの他の表示例を示す図である。 送受信データから認識されるトピックまたはキーワードの表示例を示す図である。 送受信データから認識される会話の盛り上がり度の表示例を示す図である。 送受信データから認識される会話の盛り上がり度の他の表示例を示す図である。 グループに属する複数のユーザ間で音声データを送受信する場合において、各ユーザが音声データを聴いているか否かを表示する例を示す図である。 複数のユーザの端末の間で触力覚データが送受信される場合における端末の機能構成例を示す図である。 触力覚データを送受信し合う様子を示した図である。 情報処理装置のハードウェア構成例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　なお、説明は以下の順序で行うものとする。
　１．本開示の実施形態
　　１．１．システム構成例
　　１．２．機能構成例
　　１．３．機能詳細
　　１．４．ハードウェア構成例
　２．むすび
　＜１．本開示の実施形態＞
　［１．１．システム構成例］
　まず、図面を参照しながら本開示の実施形態に係る情報処理システムの構成例について説明する。図１は、本開示の実施形態に係る情報処理システム１の構成例を示す図である。図１に示したように、本開示の実施形態に係る情報処理システム１は、情報処理装置１０と、認識装置２１と、解析装置２２と、端末７０－１～７０－Ｎ（Ｎは２以上の自然数）とを備える。
　端末７０－１～７０－Ｎは、それぞれ対応するユーザＵ１～ＵＮによって利用される。本明細書においては、端末７０－１～７０－Ｎがウェアラブルデバイスである場合を例として説明するが、端末７０－１～７０－Ｎはウェアラブルデバイスに限定されない。例えば、端末７０－１～７０－Ｎは、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、携帯電話機、タブレットＰＣ、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）、スマートフォンなどであってよい。
　認識装置２１は、ユーザＵ１～ＵＮそれぞれの行動を認識する動作の例としてユーザ状態認識動作を行う。より具体的には、認識装置２１は、端末７０－１～７０－Ｎによって検出されたセンサデータに基づいてユーザＵ１～ＵＮそれぞれのユーザ状態を認識する。ユーザ状態認識のアルゴリズムは特に限定されない。また、ユーザ状態認識によって得られる結果も特に限定されない。例えば、ユーザ状態認識によって得られる結果は、ユーザが存在する場所であってよい。ユーザが存在する場所は、校舎、図書館、駅、店舗、施設、ビル、職場などの名称であってもよいし、住所によって特定されるエリアであってもよい。また、ユーザ状態認識によって得られる結果は、ユーザの動作であってもよい。ユーザの動作は、歩いている、走っている、階段を昇降している、自動車を運転している、買い物をしている、仕事をしているなどといった動作であってよい。
　解析装置２２は、ユーザＵ１～ＵＮそれぞれの行動を認識する動作の例として会話内容解析動作を行う。より具体的には、解析装置２２は、ユーザＵ１～ＵＮそれぞれの会話内容を解析することによってユーザＵ１～ＵＮそれぞれの会話に登場した情報（例えば、名詞、会話中のトピック、キーワードなど）を抽出情報として抽出する。会話中のトピックは、「～が〇で…した」といったような文の形態であってもよい。なお、会話内容を解析する手法も限定されない。例えば、会話内容が文字情報である場合には、会話内容から形態素解析などの言語解析によって抽出ワードが抽出され得る。
　情報処理装置１０は、各種の情報処理を行う装置である。ここで、複数のユーザ間でコミュニケーションを図る場合を想定する。かかる場合、送信側ユーザの端末から送信されたデータがリアルタイムに受信側ユーザの端末に届くと、受信側ユーザの状況によっては利便性が高いとは言えないことがある。一方、受信側ユーザの都合が良くなるまで受信側ユーザの端末からデータの出力タイミングが遅延されることにすると、一体感を得にくいコミュニケーションしか図れなくなる可能性がある。
　そこで、本明細書においては、ユーザの状況に応じてユーザの利便性の低下を抑制したコミュニケーションと一体感を得やすいコミュニケーションとのいずれかのコミュニケーションを図ることが可能な技術を主に提案する。コミュニケーションに際して複数のユーザの端末間で送受信されるデータは特に限定されない。例えば、複数のユーザの端末７０の間で送受信されるデータは、少なくとも音声データおよび触力覚データのいずれか一方を含んでよい。以下では、まず、複数のユーザの端末７０の間で音声データが送受信される例について説明する。
　以上、本開示の実施形態に係る情報処理システム１の構成例について説明した。
　［１．２．機能構成例］
　続いて、本開示の実施形態に係る情報処理装置１０の機能構成例について説明する。図２は、本開示の実施形態に係る情報処理装置１０の機能構成例を示すブロック図である。図２に示したように、本開示の実施形態に係る情報処理装置１０は、制御部１３０と、記憶部１４０と、通信部１５０とを備える。
　制御部１３０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ；中央演算処理装置）などのプロセッサに相当する。制御部１３０は、記憶部１４０または他の記憶媒体に記憶されるプログラムを実行することにより、制御部１３０が有する様々な機能を発揮する。制御部１３０は、検出結果取得部１３１および出力制御部１３２などの各機能ブロックを有する。これら各機能ブロックが有する機能については後に説明する。なお、制御部１３０がＣＰＵなどといったプロセッサによって構成される場合、かかるプロセッサは、電子回路によって構成され得る。
　記憶部１４０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、制御部１３０を動作させるためのプログラムを記憶する。また、例えば、記憶部１４０は、プログラムによって使用される各種のデータを記憶することもできる。なお、図２に示した例では、記憶部１４０は情報処理装置１０と一体化されているが、記憶部１４０は情報処理装置１０と別体に構成されていてもよい。
　通信部１５０は、他の装置と通信を行うことが可能である。通信部１５０は、例えば、他の装置との間で通信を行う場合には、ネットワーク６０を介して通信を行うことが可能である。通信部１５０による通信の形式は特に限定されず、通信部１５０による通信は、無線による通信であってもよいし、有線による通信であってもよい。なお、図２に示した例では、通信部１５０は情報処理装置１０と一体化されているが、通信部１５０は、情報処理装置１０と別体に構成されていてもよい。
　以上、本開示の実施形態に係る情報処理装置１０の機能構成例について説明した。
　続いて、本開示の実施形態に係る端末７０の機能構成例について説明する。図３は、本開示の実施形態に係る端末７０の機能構成例を示すブロック図である。図３に示したように、本開示の実施形態に係る端末７０は、集音部７１０と、動き検出部７２０と、装着状態検出部７３０と、操作入力部７４０と、制御部７５０と、記憶部７６０と、通信部７７０と、音声出力部７８０と、表示部７９０とを備える。
　集音部７１０は、データを検出するデータ検出部として機能し得る。具体的には、集音部７１０は、周囲から音声データを収集する。例えば、集音部７１０は、マイクロフォンを含み得る。集音部７１０によって検出された音声データは、制御部７５０に出力される。なお、ヘッドセットと本体とに分離されている場合、典型的には、集音部７１０は、ヘッドセットに設けられてよいが、集音部７１０が設けられる位置は限定されない。
　動き検出部７２０は、端末７０の動きを検出する。例えば、動き検出部７２０は、加速度をセンシングデータとして検出する加速度センサと、角速度をセンシングデータとして検出するジャイロセンサと、照度をセンシングデータとして検出する照度センサとを含み得る。動き検出部７２０によって検出された動きは、制御部７５０に出力される。なお、ヘッドセットと本体とに分離されている場合、典型的には、動き検出部７２０は、ヘッドセットに設けられてよいが、動き検出部７２０が設けられる位置は限定されない。
　装着状態検出部７３０は、端末７０の装着状態を検出する。例えば、端末７０がヘッドセットと本体とに分離されている場合には、装着状態検出部７３０は、ヘッドセット（集音部７１０、動き検出部７２０、音声出力部７８０）および本体（操作入力部７４０、制御部７５０、記憶部７６０，通信部７７０、表示部７９０）それぞれの装着状態を検出することが可能である。装着状態検出部７３０によって検出された装着状態は、制御部７５０に出力される。
　操作入力部７４０は、ユーザによる操作を検出して制御部７３０に出力する。例えば、入力部７２０がタッチパネルにより構成される場合には、ユーザによる操作はタッチパネルに対する操作（例えば、タップ操作、ドラッグ操作など）に相当し得る。しかし、入力部７２０はタッチパネル以外のハードウェア（例えば、ボタンなど）により構成されていてもよい。
　例えば、ユーザが端末７０（あるいは端末７０の本体）を「握っている」、「見ている」、端末７０に「接触している」などといった認識結果が操作として検出されてもよい。このような認識結果は、端末７０の側面にある図示しない接触センサ（例えば、タッチセンサ、圧力センサなど）の情報から得られるユーザの手の端末７０への接触状態に基づいて検出されてもよい。また、このような認識結果は、動き検出部７２０（例えば、加速度センサ、ジャイロセンサ）の出力情報から所定の動きパターンが抽出されたことによって検出されてもよい。
　また、このような認識結果は、端末７０に備えられる図示しないカメラによる撮像画像から顔が認識されたことによって検出されてもよい。なお、ヘッドセットと本体とに分離されている場合、典型的には、操作入力部７４０は、ヘッドセットに設けられてよいが、操作入力部７４０が設けられる位置は限定されない。
　制御部７５０は、例えば、ＣＰＵなどのプロセッサに相当する。制御部７５０は、記憶部７６０または他の記憶媒体に記憶されるプログラムを実行することにより、制御部７５０が有する様々な機能を発揮する。なお、制御部７５０がＣＰＵなどといったプロセッサによって構成される場合、かかるプロセッサは、電子回路によって構成され得る。なお、ヘッドセットと本体とに分離されている場合、典型的には、制御部７５０は、本体に設けられてよいが、制御部７５０が設けられる位置は限定されない。
　記憶部７６０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、制御部７６０を動作させるためのプログラムを記憶する。また、例えば、記憶部７６０は、プログラムによって使用される各種のデータを記憶することもできる。なお、ヘッドセットと本体とに分離されている場合、典型的には、記憶部７６０は、本体に設けられてよいが、記憶部７６０が設けられる位置は限定されない。
　通信部７７０は、他の装置と通信を行うことが可能である。通信部７７０は、例えば、他の装置との間で通信を行う場合には、ネットワーク６０を介して通信を行うことが可能である。通信部７７０による通信の形式は特に限定されず、通信部７７０による通信は、無線による通信であってもよいし、有線による通信であってもよい。なお、ヘッドセットと本体とに分離されている場合、典型的には、通信部７７０は、本体に設けられてよいが、通信部７７０が設けられる位置は限定されない。
　音声出力部７８０は、制御部７５０による制御に従って、音声の出力を行う。例えば、出力部７６０は、音声の出力を行うスピーカを含んでよい。例えば、音声出力部７８０が音声の出力を行うスピーカを含む場合、スピーカは、イヤホンであってもよいし、ヘッドホンであってもよい。なお、ヘッドセットと本体とに分離されている場合、典型的には、音声出力部７８０は、ヘッドセットに設けられてよいが、音声出力部７８０が設けられる位置は限定されない。
　表示部７９０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ装置などとったディスプレイ装置を含み得る。なお、ヘッドセットと本体とに分離されている場合、典型的には、表示部７９０は、本体に設けられてよいが、表示部７９０が設けられる位置は限定されない。また、例えば、端末７０は、ディスプレイ装置とは別に、発光を行うＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）を含んでもよい。また、端末７０は、図示しない振動デバイスを含み得る。
　以上、本開示の実施形態に係る端末７０の機能構成例について説明した。
　［１．３．機能詳細］
　続いて、本開示の実施形態に係る情報処理システム１の機能詳細について説明する。以下の説明においては、ユーザＵ３とユーザＵＮとの間で音声データを送受信する場合を主に説明するが、音声データの送受信は、ユーザＵ３とユーザＵＮとの間に限定されない。また、音声データの受信側のユーザの数は単数であってもよいし、複数であってもよい。
　本開示の実施形態では、情報処理装置１０において、出力制御部１３２は、ユーザＵ３の端末７０－３から送信される音声データに基づき実行されるユーザＵＮの端末７０－Ｎにおける出力を、ユーザＵＮに対する状況センシングの結果に基づいて遅延させる遅延処理を行うか否かを制御する。かかる構成によれば、ユーザＵＮの状況に応じてユーザＵＮの利便性の低下を抑制したコミュニケーションと一体感を得やすいコミュニケーションとのいずれかのコミュニケーションを図ることが可能となる。
　ここで、ユーザＵＮは、音声データに基づき実行されるユーザＵＮの端末７０－Ｎにおける出力結果を知覚可能な状態である場合には、音声データをリアルタイムに聴くことが可能であると考えられる。一方、ユーザＵＮは、音声データに基づき実行されるユーザＵＮの端末７０－Ｎにおける出力結果を知覚可能な状態ではない場合には、音声データをリアルタイムに聴くことが不可能であると考えられる。そこで、状況センシングは、音声データに基づき実行されるユーザＵＮの端末７０－Ｎにおける出力結果をユーザＵＮが知覚可能な状態であるか否かに対するセンシングを含んでよい。
　また、ユーザＵＮが音声データの出力結果を知覚可能な状態であるか否かは、どのように検出されてもよい。例えば、ユーザＵＮの端末７０－Ｎにおける音声出力部７８０が起動していれば、ユーザＵＮが音声データの出力結果を知覚可能な状態であると考えられる。そこで、ユーザＵＮが音声データの出力結果を知覚可能な状態であるか否かは、ユーザＵＮの端末７０－Ｎにおける音声出力部７８０が起動しているか否かに応じて検出されてもよい。
　また、ユーザＵＮの端末７０－Ｎにおける音声出力部７８０がユーザＵＮに装着されていれば、ユーザＵＮが音声データの出力結果を知覚可能な状態であると考えられる。そこで、ユーザＵＮが音声データの出力結果を知覚可能な状態であるか否かは、ユーザＵＮの端末７０－Ｎにおける音声出力部７８０がユーザＵＮに装着されているか否かに応じて検出されてもよい。
　また、ユーザＵＮの端末７０－ＮがユーザＵ３の端末７０－３と同一のネットワーク６０に接続されていれば、ユーザＵＮが音声データの出力結果を知覚可能な状態であると考えられる。そこで、ユーザＵＮが音声データの出力結果を知覚可能な状態であるか否かは、ユーザＵＮの端末７０－ＮがユーザＵ３の端末７０－３と同一のネットワーク６０に接続されているか否かに応じて検出されてもよい。
　また、ユーザＵＮの行動認識の結果が所定の結果を示す場合には、ユーザＵＮが音声データの出力結果を知覚可能な状態であると考えられる。そこで、ユーザＵＮが音声データの出力結果を知覚可能な状態であるか否かは、ユーザＵ３の行動認識の結果に基づいて検出されてもよい。ユーザＵＮの行動認識の結果は、ユーザＵＮが存在する場所であってもよいし、ユーザＵＮの動作であってもよい。
　例えば、ユーザＵＮが存在する場所が、音声出力に適さない所定の場所（例えば、図書館、職場など）であれば、ユーザＵＮが音声データの出力結果を知覚可能な状態ではないと検出されてよい。一方、ユーザＵＮが存在する場所が、音声出力に適する所定の場所（例えば、駅、店舗など）であれば、ユーザＵＮが音声データの出力結果を知覚可能な状態であると検出されてよい。
　また、例えば、ユーザＵＮの動作が、音声出力に適さない所定の動作（例えば、自動車を運転している、仕事をしているなど）であれば、ユーザＵＮが音声データの出力結果を知覚可能な状態ではないと検出されてよい。一方、ユーザＵＮの動作が、音声出力に適する所定の動作（例えば、歩いている、走っている、階段を昇降している、買い物をしているなど）であれば、ユーザＵＮが音声データの出力結果を知覚可能な状態であると検出されてよい。
　また、ユーザＵＮの端末７０－ＮがユーザＵＮによって握られ、接触され、または、見られている場合には、ユーザＵＮが音声データの出力結果を知覚可能な状態であると考えられる。そこで、ユーザＵＮが音声データの出力結果を知覚可能な状態であるか否かは、ユーザＵＮの端末７０－ＮがユーザＵＮによって握られ、接触され、または、見られているか否かに応じて検出されてもよい。
　図４は、ユーザＵＮを基準とした人間関係の例を示す図である。図４を参照すると、ユーザＵＮの端末７０－ＮはユーザＵ３の端末７０－３とオンライン接続されているが、ターゲットユーザとしては指定されていない。なお、ターゲットユーザは、音声データの送信先のユーザを意味し得る。
　図５は、音声データがユーザＵ３の端末７０－３からユーザＵＮの端末７０－Ｎに送信される前にユーザＵＮ（受信側ユーザ）の端末７０－Ｎによって表示される画面例を示す図である。図５に示すように、ユーザＵ１がターゲットユーザとして指定されている。そのため、ユーザＵＮの端末７０－Ｎにおいては、ターゲットユーザ（ユーザＵ１）の端末７０－１の集音部７１０によって集音された音声データが音声出力部７８０によって出力され、ターゲットユーザ（ユーザＵ１）に対応する画像（例えば、アバターなど）が画面Ｇ１として表示部７９０によって表示される。
　ターゲットユーザは選択操作によって選択され得る。例えば、検出部７１０がタッチパネルを含む場合には、タッチパネルに対するフリック操作（例えば、左右方向や上下方向へのフリック操作）によって、ターゲットユーザを切り替えることが可能である。また、音声によってターゲットユーザが切り替え可能であってもよい。図５には、ターゲットユーザが、ユーザＵ１、グループ、ユーザＵ２、ユーザＵ３およびユーザＵ７の順に切り替わった場合に、端末７０－Ｎの表示部７９０によって表示される画面が、画面Ｇ１、画面Ｇ５、画面Ｇ２、画面Ｇ３および画面Ｇ７の順に切り替わる例が示されている。このとき、ターゲットユーザからユーザＵＮへの関心度合いに応じた動作（端末７０－ＮのＬＥＤの点滅、発光色の変化など）を伴って各画面が出力されてもよい。
　かかる状態において、ユーザＵ３の端末７０－３とユーザＵＮの端末７０－Ｎとの間で音声データの送受信がなされる場合を想定する。まず、図６を参照しながら、ユーザＵ３の端末７０－３とユーザＵＮの端末７０－Ｎとの間における音声データ送受信の第１の動作例を説明する。図６に示した例では、ユーザＵ３の端末７０－３とユーザＵＮの端末７０－Ｎとの間にコネクションが常時確立されている。端末間にコネクションが確立されている場合には、端末間においてデータの送受信が可能である。
　まず、ユーザＵ３の端末７０－３において集音部７１０が起動されているときに、ユーザＵ３が発話をすると、集音部７１０によって集音された音声データから発話区間が認識され、発話区間の音声データがユーザＵＮの端末７０－Ｎに送信される（Ｓ１１）。ユーザＵ３による発話は暫く続けられた後（Ｓ１２）、終了する。このとき、検出結果取得部１３１は、ユーザＵＮが音声データの出力結果を知覚可能な状態であるか否かを検出し、出力制御部１３２は、ユーザＵＮが音声データの出力結果を知覚可能な状態ではない場合には、音声データを所定の記憶領域に記憶させる（Ｓ１３）。
　記憶領域は、情報処理装置１０の記憶部１４０の内部であってもよいし、端末７０－３の記憶部７６０の内部であってもよいし、端末７０－Ｎの内部であってもよい。続いて、出力制御部１３２は、ユーザＵＮが音声データの出力結果を知覚可能な状態となった場合に、記憶領域から音声データを取り出して、ユーザＵＮの端末７０－Ｎから音声データを出力させる（Ｓ１４）。続いて、この音声データを知覚したユーザＵＮは、集音部７１０を起動させ、発話を開始する。
　続いて、ユーザＵＮの端末７０－Ｎにおいて、集音部７１０によって集音された音声データから発話区間が認識され、発話区間の音声データがユーザＵ３の端末７０－３に送信される（Ｓ１５）。ユーザＵＮによる発話は暫く続けられた後（Ｓ１６）、終了する。出力制御部１３２は、ユーザＵ３が音声データの出力結果を知覚可能な状態であれば、ユーザＵＮの端末７０－Ｎから送信された音声データを端末７０－３から出力させる（Ｓ１７）。続いて、この音声データを知覚したユーザＵ３は、発話を開始する。
　続いて、Ｓ１８およびＳ１９は、Ｓ１６およびＳ１７と同様に実行される。また、Ｓ２０およびＳ２１も、Ｓ１６およびＳ１７と同様に実行される。以上に説明したように、受信側ユーザが音声データを知覚可能な状態ではない場合には、受信側における音声データの出力が遅延され、受信側ユーザが音声データを知覚可能な状態である場合には、音声データの出力がリアルタイムになされる。これにより、ユーザの状況に応じてユーザの利便性の低下を抑制したコミュニケーションと一体感を得やすいコミュニケーションとのいずれかのコミュニケーションを図ることが可能となる。
　続いて、図７を参照しながら、ユーザＵ３の端末７０－３とユーザＵＮの端末７０－Ｎとの間における音声データ送受信の第２の動作例を説明する。図７に示した例では、ユーザＵ３の端末７０－３とユーザＵＮの端末７０－Ｎとの間に必要に応じてコネクションが確立される。
　まず、ユーザＵ３の端末７０－３において集音部７１０が起動されているときに、ユーザＵ３が発話をすると、集音部７１０によって集音された音声データが録音され（Ｓ３１）、送信操作に基づいて音声データがユーザＵＮの端末７０－Ｎに送信される（Ｓ３２）。このとき、検出結果取得部１３１は、ユーザＵＮが音声データの出力結果を知覚可能な状態であるか否かを検出し、出力制御部１３２は、ユーザＵＮが音声データの出力結果を知覚可能な状態ではない場合には、音声データを所定の記憶領域に記憶させる。
　続いて、出力制御部１３２は、ユーザＵＮが音声データの出力結果を知覚可能な状態となった場合に、記憶領域から音声データを取り出して、ユーザＵＮの端末７０－Ｎから音声データを出力させる（Ｓ３３）。出力制御部１３２は、音声データが記憶領域に記憶された後の所定の時間内においては（Ｓ３４）、ユーザＵＮの端末７０－Ｎの集音部７１０を起動させ、自動的にコネクションを確立する。ユーザＵＮによる発話は暫く続けられた後（Ｓ３６）、終了する。そして、出力制御部１３２は、所定の時間内にユーザＵＮの端末７０－Ｎの集音部７１０から取得される音声データから発話区間を認識し、発話区間の音声データをユーザＵ３の端末７０－３に送信し（Ｓ３５）、ユーザＵ３の端末７０－３から出力させる（Ｓ３７）。
　続いて、Ｓ３８～Ｓ４１は、Ｓ３４～Ｓ３７と同様に実行される。また、Ｓ４２～Ｓ４５も、Ｓ３４～Ｓ３７と同様に実行される。以上に説明したように、受信側ユーザが音声データを知覚可能な状態ではない場合には、受信側における音声データの出力が遅延され、受信側ユーザが音声データを知覚可能な状態である場合には、音声データの出力がリアルタイムになされる。これにより、ユーザの状況に応じてユーザの利便性の低下を抑制したコミュニケーションと一体感を得やすいコミュニケーションとのいずれかのコミュニケーションを図ることが可能となる。
　なお、第２の動作例においては、端末７０－Ｎにおいて、集音部７１０が自動的に起動され、自動的にコネクションが確立される。そのため、ユーザＵＮが端末７０－Ｎを介した会話ではなく対面で誰かと会話している場合、端末７０－３に対面会話が送信されてしまう可能性がある。そこで、出力制御部１３２は、ユーザＵＮが対面会話中である場合には、上記した所定の時間を対面会話が終了した後にシフトするとよい。対面会話中であるか否かは、図示しない音声検出部によって検出された音声に基づいて判断されてよい。
　また、対面会話に限らず、集音部７１０によって集音された音声データがユーザＵＮの意図に反して、端末７０－３に送信されてしまう可能性もある。そこで、Ｓ３４、Ｓ４２で示す所定の時間内であることをユーザＵＮが認識できるようにするために、出力制御部１３２は、上記した所定の時間内においてユーザＵＮの端末７０－Ｎから所定の出力を行わせるとよい。同様に、Ｓ３８で示す所定の時間内であることをユーザＵ３が認識できるようにするために、出力制御部１３２は、上記した所定の時間内においてユーザＵ３の端末７０－３から所定の出力を行わせるとよい。所定の出力は、ノイズ音であってもよいし、所定の音パターンであってもよいし、定期的な通知音であってもよい。また、所定の時間内の代わりに、所定の時間外に所定の出力がなされてもよい。
　また、出力制御部１３２は、ユーザＵＮによる所定のアクション（例えば、操作入力部７４０へのタップ操作など）が検出された場合、ユーザＵＮの端末７０－Ｎの集音部７１０の起動状態（ユーザＵＮの端末７０－Ｎの集音部７１０が起動しているか否か）をユーザＵＮの端末７０－Ｎから出力させてもよい。
　あるいは、出力制御部１３２は、ユーザＵＮの端末７０－Ｎの集音部７１０を起動させてから、所定の条件が満たされた場合に、ユーザＵＮの端末７０－Ｎの集音部７１０を停止させてもよい。所定の条件は、ユーザＵＮの端末７０－Ｎの集音部７１０を起動させてから所定時間が経過したという条件であってもよいし、ユーザＵＮの端末７０－Ｎの集音部７１０を起動させてから発話区間が認識されない時間が所定時間続いたという条件であってもよい。
　あるいは、出力制御部１３２は、ユーザＵＮによる所定のジェスチャが検出された場合に集音された音声データを、ユーザＵＮの端末７０－ＮからユーザＵ３の端末７０－３への送信対象としてもよい。所定のジェスチャは、頭部を下に傾けるジェスチャであってもよいし、頭部を左右に振る動作であってもよい。
　あるいは、出力制御部１３２は、ユーザＵＮの端末７０－Ｎの集音部７１０によって集音された音声データの解析結果に基づいて、その音声データをユーザＵＮの端末７０－ＮからユーザＵ３の端末７０－３への送信対象とするか否かを決定してもよい。例えば、出力制御部１３２は、音声データの解析結果が対面会話であることを示す場合には、音声データをユーザＵＮの端末７０－ＮからユーザＵ３の端末７０－３への送信対象としなくてよい。
　以上、第２の動作例について説明した。第１の動作例および第２の動作例に共通の機能について説明を続ける。出力制御部１３２は、ユーザＵＮが音声データの出力結果を知覚可能な状態である場合であっても、ユーザＵ３の端末７０－３から送信された音声データを記憶領域に記憶させてよい。そうすれば、ユーザＵＮは、リアルタイムに音声データを聴くとともに、記憶領域に記憶された音声データを後に聴くことも可能になる。そのとき、記憶領域に記憶される音声データが多くなるほど、ユーザＵＮは、後に音声データを聴くのに多くの時間を要してしまう。
　そこで、出力制御部１３２は、記憶領域から取り出した音声データをユーザＵＮの端末７０－Ｎから出力させるときの出力速度を基準速度よりも高くするとよい。あるいは、出力制御部１３２は、記憶領域から取り出した音声データに含まれる所定の区間の出力を省略してもよいし、所定の区間の出力速度を基準速度よりも高くしてもよい。
　あるいは、出力制御部１３２は、記憶領域から取り出した音声データの解析結果に基づいて特定された出力部分を、ユーザＵＮの端末７０－Ｎから出力させる。例えば、出力制御部１３２は、音声データの会話内容の解析によって特定された重要部分または特定のユーザの発話内容を、ユーザＵＮの端末７０－Ｎから出力させてもよい。
　また、ユーザＵＮの端末７０－Ｎによって、ユーザＵ３からの音声データが出力され、ユーザＵＮが音声データを聴くことができた場合であっても、ユーザＵＮは、静かな場所にいる場合などには、すぐにユーザＵ３に音声データを返せない場合もあり得る。そこで、出力制御部１３２は、ユーザＵＮによる所定の保留操作（例えば、端末７０－Ｎに対して振動を与える動作など）が検出されると、所定の保留通知（例えば、所定の振動、所定の音声パターンなど）をユーザＵ３の端末７０－３から出力させてもよい。
　また、ユーザＵＮは、端末７０－Ｎから突然音声データが出力されることによって驚いてしまう可能性もある。そこで、出力制御部１３２は、ユーザＵＮの端末７０－Ｎから音声データを出力させるに際して、音声データの出力開始よりも所定時間前から音声データの出力開始時までにユーザＵＮの端末７０－Ｎから所定の出力（例えば、ノイズ音、端末７０－３の周囲音など）を行わせるとよい。
　あるいは、出力制御部１３２は、ユーザＵＮの端末７０－Ｎから音声データを出力させるに際して、音声データのうち音声データの出力開始時から所定時間が経過するまでの部分を変更してユーザＵＮの端末７０－Ｎから出力させるとよい。変更はどのようにされてもよく、フェードインするように変更されてもよいし、徐々に音源が近づいてくるように変更してもよい。
　また、ユーザＵ３は、送信済みの音声データを削除したいと考える場合もある。そこで、出力制御部１３２は、所定の削除条件が満たされた場合に、記憶領域に記憶された音声データを削除するとよい。例えば、ユーザＵ３によって選択された音声データのみ削除されてもよいし、ユーザＵ３によって選択された音声データおよびその音声データ以降に記憶された音声データが削除されてもよい。あるいは、出力制御部１３２は、直前の発話区間の音声データを削除してもよいし、直前の数秒間の音声データを削除してもよい。あるいは、出力制御部１３２は、ユーザＵＮの端末７０－Ｎから出力されない時間が所定時間を超えた場合に、音声データを削除してもよい。
　また、音声データを聴くだけでは、誰から送信された音声データが出力されたのか把握しづらいこともある。そこで、出力制御部１３２は、ユーザＵ３に応じた出力方式によりユーザＵＮの端末７０－Ｎから音声データを出力させるとよい。例えば、出力制御部１３２は、ユーザＵ３に対応する方向から聴こえるように音声データを出力させてもよい。あるいは、出力制御部１３２は、ユーザＵ３に対応する音楽を音声データと同時に出力させてもよい。
　あるいは、出力制御部１３２は、音声データの出力中、音声データの出力直前および音声データの出力直後の少なくともいずれかのタイミングにおいて、ユーザＵ３に対応する通知音を出力させてもよい。あるいは、出力制御部１３２は、音声データの出力中、音声データの出力直前および音声データの出力直後の少なくともいずれかのタイミングにおいて、ユーザＵ３に対応する振動を出力させてもよい。
　また、ユーザＵＮは、周囲に人がいる場合や、静かな場所にいる場合などには、大きな音量で発話ができない場合もある。そこで、出力制御部１３２は、あらかじめ登録または測定されたユーザＵＮの声の音響パターンと端末７０－Ｎの集音部７１０によって集音された音声情報とに基づいて、ユーザＵ３の端末７０－３に送信される音声データの音量を調整するとよい。具体的には、出力制御部１３２は、音響パターンに基づいて、音声情報の音量レベルを一定になるように調整するとよい。
　また、音声データの出力を遅延させるか否かを制御するに際して、音声データの重要度が考慮されてもよい。すなわち、出力制御部１３２は、音声データの重要度に応じてユーザＵＮの端末７０－Ｎにおける出力を遅延させるか否かを制御してもよい。音声データの重要度は、音声データに付されていてもよいし、音声データの解析によって得られてもよい。
　図８は、ユーザＵ３から音声データが送信された場合にユーザＵＮの端末７０－Ｎによって表示される画面例を示す図である。図８に示すように、ターゲットユーザとしてユーザＵ１が選択されている場合、ユーザＵＮの端末７０－Ｎにおいては、表示部７９０が画面Ｇ１を表示する。ここで、端末７０－Ｎは、ユーザＵ３から音声データが送信されると所定の動作を実行する。図８には、端末７０－ＮのＬＥＤを点滅させる例が所定の動作として示されているが、上記したように所定の動作はかかる例に限定されない。例えば、所定の動作は、端末７０－ＮのＬＥＤによる発光色を変化させる動作であってもよい。
　なお、ターゲットユーザから音声データが送信された場合とターゲットユーザ以外のユーザから音声データが送信された場合との間で、端末７０－Ｎの振動パターンまたは振動部位（あるいは、ＬＥＤの点滅パターンまたは点滅部位）は異なっているのがよい。そうすれば、ユーザＵＮは、ターゲットユーザから音声データが送信されたのか、ターゲットユーザ以外のユーザからの音声データが送信されたのかを、容易に把握することが可能となる。
　また、通知先ユーザとして選択可能な１以上のユーザ（ユーザＵ１、グループ、ユーザＵ２、ユーザＵ３およびユーザＵ７）は、並べ替えが可能であるとよい。例えば、出力制御部１３２は、通知先ユーザとして選択可能な１以上のユーザ（ユーザＵ１、グループ、ユーザＵ２、ユーザＵ３およびユーザＵ７）を、ユーザＵＮの手動により、または、自動的に所定の順序で並べてもよい。所定の順序は、ユーザＵＮに向けて音声データを送信したのが新しい順であってもよいし、ユーザＵＮから音声データを送信したのが新しい順であってもよいし、ユーザＵＮとの音声データの送受信の頻度が高い順であってもよい。
　ここで、ユーザＵ３の端末７０－３においてターゲットユーザの扱いについて説明する。例えば、出力制御部１３２は、ターゲットユーザとしてユーザＵＮが指定されている場合、かつ、ユーザＵＮが音声データの出力結果を知覚可能な状態である場合には、ユーザＵ３の端末７０－３から送信された音声データをユーザＵＮの端末７０－Ｎから出力させればよい。
　また、出力制御部１３２は、ターゲットユーザとしてユーザＵＮが指定されていない場合、かつ、ユーザＵＮが音声データの出力結果を知覚可能な状態である場合に、ユーザＵ３の端末７０－３から送信された音声データをユーザＵＮの端末７０－Ｎから出力させてもよい。あるいは、出力制御部１３２は、同様の場合、ユーザＵ３の端末７０－３から送信された音声データを記憶領域に記憶させ、音声データが送信された旨をユーザＵＮの端末７０－Ｎから出力させてもよい（ユーザＵＮが音声データの出力結果を知覚不可能な状態として扱ってもよい）。
　ここで、過去にリアルタイムで送受信された音声データが保存されている場合、その音声データを後に聴くことも可能になる。そのとき、音声データを遅延させて出力する場合と同様に、音声データが多くなるほど、ユーザＵＮは、後に音声データを聴くのに多くの時間を要してしまう。
　そこで、出力制御部１３２は、所定の履歴確認トリガ（例えば、履歴確認ボタンの押下など）が検出されると、記憶領域に記憶されているユーザＵ３の端末７０－３とユーザＵＮの端末７０－Ｎとの間の送受信データから認識される所定の履歴データを、ユーザＵＮの端末７０－Ｎから出力させるとよい。例えば、履歴データは、送受信データから認識されるテキストデータを含んでもよい。
　図９は、送受信データから認識されるテキストデータの表示例を示す図である。画面Ｇ１１のように、出力制御部１３２は、送受信データから認識されるテキストデータを履歴データとして表示させてもよい。このとき、図９に示したように、テキストデータは、複数のユーザ（ユーザＵ３およびユーザＵＮ）それぞれの発話区間ごとに表示されてよい。また、図９に示すように、テキストデータは、発話された時刻に対応する時間軸Ｔにおける位置に表示されてよい。
　あるいは、履歴データは、送受信データから認識される発話区間ごとのユーザの発話の長さを含んでもよい。図１０は、送受信データから認識される発話区間ごとのユーザの発話の長さの表示例を示す図である。画面Ｇ１２のように、出力制御部１３２は、送受信データから認識されるユーザの発話の長さを履歴データとして表示させてもよい。このとき、図１０に示したように、発話の長さは、複数のユーザ（ユーザＵ３およびユーザＵＮ）それぞれの発話区間ごとに表示されてよい（Ｖ３、ＶＵ）。また、図１０に示すように、発話の長さは、発話された時刻に対応する時間軸Ｔにおける位置に表示されてよい。
　図１１は、グループに属する複数のユーザ（ユーザＵ１、Ｕ２、Ｕ３、ＵＮ）それぞれの発話の長さの表示例を示す図である。画面Ｇ１３のように、図１１に示したように、発話の長さは、グループに属する複数のユーザ（ユーザＵ１、Ｕ２、Ｕ３、ＵＮ）それぞれの発話区間ごとに表示されてよい（Ｖ１、Ｖ２、Ｖ３、ＶＵ）。また、図１１に示すように、発話の長さは、発話された時刻に対応する時間軸Ｔにおける位置に表示されてよい。
　図１２は、送受信データから認識される発話区間ごとのユーザの発話の長さの他の表示例を示す図である。画面Ｇ１４のように、出力制御部１３２は、送受信データから認識されるユーザの発話の長さを履歴データとして表示させてもよい。このとき、図１２に示したように、発話の長さは、複数のユーザ（ユーザＵ３およびユーザＵＮ）それぞれの発話区間ごとに表示されてよい（Ｖ３、ＶＵ）。また、図１２に示すように、発話の順序通りに時刻Ｔに沿って示され、発話の長さがバーによって示されてよい。
　また、図１２に示したように、出力制御部１３２は、音声データの現在の出力位置を位置Ｐ０として端末７０－Ｎから出力させてもよい。また、出力制御部１３２は、ユーザＵＮによる操作（例えば、上下左右キーを押下する操作）によってカーソルＰ１を移動させることが可能である。例えば、出力制御部１３２は、ユーザＵＮによって選択操作（例えば、タップ操作、決定キーを押下する操作など）がなされると、カーソルＰ０の位置に対応する発話区間を端末７０－Ｎから出力させることが可能である。
　さらに、履歴データは、送受信データから認識されるトピックまたはキーワードを含んでもよい。図１３は、送受信データから認識されるトピックまたはキーワードの表示例を示す図である。画面Ｇ１５のように、出力制御部１３２は、送受信データから認識されるトピックまたはキーワードを履歴データとして表示させてもよい。このとき、図１３に示したように、トピックまたはキーワードは、発話された時刻に対応する時間軸Ｔにおける位置に表示されてよい。
　さらに、履歴データは、送受信データから認識される会話の盛り上がり度を含んでもよい。図１４は、送受信データから認識される会話の盛り上がり度の表示例を示す図である。画面Ｇ１６のように、出力制御部１３２は、送受信データから認識される会話の盛り上がり度Ｈ２１を履歴データとして表示させてもよい。このとき、図１４に示したように、会話の盛り上がり度Ｈ２１は、発話された時刻に対応する時間軸Ｔにおける位置にグラフで表示されてよい。
　盛り上がり度はどのように算出されてもよい。例えば、盛り上がり度は、音声データの音響的な解析によって算出されてもよい（例えば、高音ほど盛り上がり度を高く算出するなど）。また、盛り上がり度は、会話の意味的な解析によって算出されてもよい。あるいは、盛り上がり度は、会話のテンポ（例えば、応答速度、頻度など）の解析によって算出されてもよい。あるいは、盛り上がり度は、ユーザのバイタル情報（例えば、発汗度合いなど）の解析によって算出されてもよい（例えば、発汗量が多いほど盛り上がり度を高く算出するなど）。
　会話の盛り上がり度の表示形態は様々に存在し得る。図１５は、送受信データから認識される会話の盛り上がり度の他の表示例を示す図である。画面Ｇ１７のように、出力制御部１３２は、送受信データから認識される会話の盛り上がり度Ｈ３１を履歴データとして表示させてもよい。このとき、図１５に示したように、会話の盛り上がり度Ｈ３１は、閾値を超える盛り上がりがあった場合に、その時刻に対応する時間軸Ｔにおける位置に所定の色によって表示されてよい。
　また、盛り上がり度は、色相の変化によって表示されてもよい。例えば、出力制御部１３２は、盛り上がり度が大きくなるほど、第１の色（例えば、青など）から第２の色（例えば、赤など）に変化するような所定のオブジェクトを、その時刻に対応する時間軸Ｔにおける位置に表示させてもよい。
　また、ユーザＵ３にとっては、自分が発話した内容をユーザＵＮがリアルタイムに聴いてくれたのか否かを把握できたほうがよい。したがって、出力制御部１３２は、ユーザＵＮが出力結果を知覚可能な状態であるか否かを示す情報がユーザＵ３の端末７０－３から出力されるように制御するとよい。例えば、知覚可能な状態ではないことを示す情報が、所定の通知音、所定の振動、ユーザＵ３の発話自体、その他の通知情報として出力されてよい。
　知覚可能な状態ではないことを示す情報は、ユーザＵ３が発話を開始したときに出力されてもよいし、ユーザＵＮが出力結果を知覚不可能になったときに出力されてもよいし、常時出力されてもよいし、ユーザＵ３が端末７０－３に対して所定のアクション（例えば、振動を与えるアクション、ボタンを押下するアクションなど）がなされたときに出力されてもよいし、ユーザＵ３がターゲットユーザを切り替えたときであってもよい。
　また、ユーザＵＮが端末７０－Ｎから音声データが出力されてはいても、ユーザＵＮが実際に音声データを聴いてくれたのか否かをユーザＵ３が把握できたほうがよい。したがって、出力制御部１３２は、ユーザＵＮの身体に関する測定情報または測定情報の解析結果がユーザＵ３の端末７０－３から出力されるように制御するとよい。
　具体的には、測定情報の解析結果は、ユーザＵＮの脳波（言語野の発火状態）の測定情報を解析して得られたユーザＵＮが音声データを聴いたか否かを示す情報であってもよい。あるいは、測定情報の解析結果は、ユーザＵＮの身体の動きから解析して得られたユーザＵＮが音声データを聴いたか否かを示す情報であってもよい。あるいは、測定情報の解析結果は、ユーザＵＮのバイタル情報から得られた感情変化であってもよい。
　グループに属する複数のユーザ間で音声データを送受信する場合においては、音声データを聴いているユーザを把握したい場合があり得る。図１６は、グループに属する複数のユーザ間で音声データを送受信する場合において、各ユーザが音声データを聴いているか否かを表示する例を示す図である。図１６に示すように、各ユーザのアイコンの時間軸Ｔにおける位置によって、どの位置まで音声データを聴いたのかを表示してもよい。画面Ｇ１８においては、ユーザＵ２、Ｕ３、ＵＮは、現在音声を聴いているが、ユーザＵ１は、暫く前に音声を聴くのを止めてしまっている。
　また、グループに属する複数のユーザ間で音声データを送受信する場合には、出力制御部１３２は、グループに属する複数のユーザのすべてが、音声データの出力結果を知覚可能な状態ではない場合に、知覚可能な状態ではないことを示す情報が出力されるように制御するとよい。また、出力制御部１３２は、音声データの出力結果を知覚可能な状態ではないユーザの割合に応じた強さによって、知覚可能な状態ではないことを示す情報を出力させてもよい。
　以上では、複数のユーザの端末の間で音声データが送受信される例について説明した。しかし、上記したように、複数のユーザの端末の間で触力覚データが送受信されてもよい。図１７は、複数のユーザの端末８０の間で触力覚データが送受信される場合における端末８０の機能構成例を示す図である。図１７に示すように、端末８０は、検出部８２０、制御部８５０、通信部８７０および出力部８８０を備える。
　検出部８２０は、ユーザによって与えられた検出データ（例えば、接触、変形、振動、なぞりなど）を検出する機能を有する。制御部８５０は、例えば、ＣＰＵなどのプロセッサに相当する。制御部８５０は、検出データに基づいて、触力覚データ（例えば、接触、変形、振動、なぞりなど）を生成する。プログラムを実行することにより、制御部８５０が有する様々な機能を発揮する。通信部８７０は、他の装置と通信を行うことが可能である。出力部８８０は、触力覚データを出力する。
　例えば、触力覚データの送信が開始されるタイミングは、端末８０にユーザが接触したときであってよい。また、端末８０にユーザが接触している間は継続的に触力覚データが送信され、端末８０へのユーザの接触が解除されたときに触力覚データの送信が終了されてもよい。あるいは、触力覚データの送信が開始されるタイミングは、所定のボタンが押下されている状態でユーザが端末８０への接触を開始したときであってもよい。このとき、所定のボタンが押下されている状態で端末８０にユーザが接触している間は継続的に触力覚データが送信され、端末８０へのユーザの接触が解除されたときに触力覚データの送信が終了されてもよい。また、端末８０がユーザによって握られ、または、接触されている場合には、ユーザが触力覚データの出力結果を知覚可能な状態であると考えられる。そこで、ユーザが触力覚データの出力結果を知覚可能な状態であるか否かは、端末８０がユーザによって握られ、または、接触されているか否かに応じて検出されてもよい。
　図１８は、触力覚データを送受信し合う様子を示した図である。図１８に示したように、ユーザＵ３の端末８０－３とユーザＵＮの端末８０－Ｎとの間で触力覚データが送受信される。この場合にも、音声データが送受信される場合と同様に、触力覚データの遅延処理が制御されることによって、ユーザの利便性の低下を抑制し、一体感を得やすいように触力覚を与え合うことが可能である。
　以上、本開示の実施形態に係る情報処理システム１の機能詳細について説明した。
　［１．４．ハードウェア構成例］
　次に、図１９を参照して、本開示の実施形態に係る情報処理装置１０のハードウェア構成について説明する。図１９は、本開示の実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。
　図１９に示すように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０３、およびＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０５を含む。また、情報処理装置１０は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置１０は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置１０は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１０の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置９３３も、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。
　出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などであり得る。出力装置９１７は、情報処理装置１０の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。また、出力装置９１７は、周囲を明るくするためライトなどを含んでもよい。
　ストレージ装置９１９は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
　接続ポート９２３は、機器を情報処理装置１０に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポートなどであり得る。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置１０と外部接続機器９２９との間で各種のデータが交換され得る。
　通信装置９２５は、例えば、通信ネットワーク６０に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カードなどであり得る。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク６０は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
　撮像装置９３３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
　センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置１０の筐体の姿勢など、情報処理装置１０自体の状態に関する情報や、情報処理装置１０の周辺の明るさや騒音など、情報処理装置１０の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。
　以上、情報処理装置１０のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更され得る。
　＜２．むすび＞
　以上説明したように、本開示の実施形態によれば、第１のユーザの端末から送信される第１のデータの第２のユーザの端末における出力を、前記第２のユーザに対する状況センシングの結果に基づいて遅延させる遅延処理を行うか否かを制御する出力制御部１３２を備える、情報処理装置１０が提供される。かかる構成によれば、ユーザの状況に応じてユーザの利便性の低下を抑制したコミュニケーションと一体感を得やすいコミュニケーションとのいずれかのコミュニケーションを図ることが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　上記では、端末７０がヘッドセットと本体とに分離されている場合に、本体に設けられた操作入力部７４０によって操作が入力され、本体に設けられた表示部７９０によって画面表示がなされる例を説明した。しかし、どのデバイスが操作入力および画面表示を行うかは限定されない。例えば、端末７０と無線により接続された他のデバイス（例えば、スマートフォンなど）によって操作入力および画面表示がなされてもよい。その場合、より大きな情報量の画面表示を行うことが可能となる。また、このとき、ヘッドセットと本体とに加えて、当該他のデバイスが存在してもよいし、本体は存在せずにヘッドセットと当該他のデバイスとが存在していてもよい。
　また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した情報処理装置１０が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
　なお、上述した情報処理システム１の動作が実現されれば、各構成要素の位置は特に限定されない。例えば、上記した例では、情報処理装置１０がサーバとして機能する場合を説明したが、情報処理装置１０が有する機能の一部または全部は、端末７０－１～７０－Ｎがそれぞれ有していてもよい。例えば、検出結果取得部１３１および出力制御部１３２は、端末７０－１～７０－Ｎがそれぞれ有していてもよい。また、情報処理装置１０、認識装置２１および解析装置２２の全部または一部は、同一の装置に収まっていてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　第１のユーザの端末から送信される第１のデータに基づき実行される第２のユーザの端末における出力を、前記第２のユーザに対する状況センシングの結果に基づいて遅延させる遅延処理を行うか否かを制御する制御部を備える、
　情報処理装置。
（２）
　前記状況センシングは、前記第１のデータの前記第２のユーザの端末における出力結果を前記第２のユーザが知覚可能な状態であるか否かに対するセンシングを含む、
　前記（１）に記載の情報処理装置。
（３）
　前記第２のユーザが前記出力結果を知覚可能な状態であるか否かは、前記第２のユーザの端末における前記第１のデータを出力する出力部が起動しているか否かに応じて検出される、
　前記（２）に記載の情報処理装置。
（４）
　前記第２のユーザが前記出力結果を知覚可能な状態であるか否かは、前記第２のユーザの端末における前記第１のデータを出力する出力部が前記第２のユーザに装着されているか否かに応じて検出される、
　前記（２）に記載の情報処理装置。
（５）
　前記第２のユーザが前記出力結果を知覚可能な状態であるか否かは、前記第２のユーザの端末が前記第１のユーザの端末と同一のネットワークに接続されているか否かに応じて検出される、
　前記（２）に記載の情報処理装置。
（６）
　前記第２のユーザが前記出力結果を知覚可能な状態であるか否かは、前記第２のユーザの行動認識の結果に基づいて検出される、
　前記（２）に記載の情報処理装置。
（７）
　前記第２のユーザが前記出力結果を知覚可能な状態であるか否かは、前記第２のユーザの端末が前記第２のユーザによって握られ、接触され、または、見られているか否かに応じて検出される、
　前記（２）に記載の情報処理装置。
（８）
　前記制御部は、前記第２のユーザが前記出力結果を知覚可能な状態であるか否かを示す情報が前記第１のユーザの端末から出力されるように制御する、
　前記（２）～（７）のいずれか一項に記載の情報処理装置。
（９）
　前記制御部は、前記第２のユーザが前記出力結果を知覚可能な状態ではない場合に、前記第１のユーザの端末から送信された前記第１のデータを所定の記憶領域に記憶させる、
　前記（２）～（８）のいずれか一項に記載の情報処理装置。
（１０）
　前記制御部は、前記第１のデータが前記記憶領域に記憶された後の所定の時間内においては、前記第２のユーザの端末のデータ検出部を起動させ、当該データ検出部から取得される第２のデータを前記第１のユーザの端末から出力させる、
　前記（９）に記載の情報処理装置。
（１１）
　前記制御部は、前記第２のユーザが前記出力結果を知覚可能な状態となった場合に、前記記憶領域から前記第１のデータを取り出して、前記第２のユーザの端末から前記第１のデータを出力させる、
　前記（９）または（１０）に記載の情報処理装置。
（１２）
　前記制御部は、前記第２のユーザが前記出力結果を知覚可能な状態である場合に、前記第２のユーザの端末から前記第１のデータを出力させる、
　前記（２）～（８）のいずれか一項に記載の情報処理装置。
（１３）
　前記制御部は、前記第２のユーザが前記出力結果を知覚可能な状態である場合に、前記第１のユーザの端末から送信された前記第１のデータを所定の記憶領域に記憶させる、
　前記（１２）に記載の情報処理装置。
（１４）
　前記制御部は、所定の削除条件が満たされた場合に、前記記憶領域に記憶された前記第１のデータを削除する、
　前記（９）または（１３）に記載の情報処理装置。
（１５）
　前記制御部は、所定の履歴確認トリガが検出されると、前記記憶領域に記憶されている前記第１のユーザの端末と前記第２のユーザの端末との間の送受信データから認識される所定の履歴データを、前記第２のユーザの端末から出力させる、
　前記（９）または（１３）に記載の情報処理装置。
（１６）
　前記制御部は、前記第１のユーザの端末においてデータ検出部が起動している場合に、前記データ検出部から取得された前記第１のデータが前記第１のユーザの端末から送信されるように制御する、
　前記（１）～（１５）のいずれか一項に記載の情報処理装置。
（１７）
　前記制御部は、前記第１のデータの重要度に応じて前記第２のユーザの端末における出力を遅延させるか否かを制御する、
　前記（１）～（１６）のいずれか一項に記載の情報処理装置。
（１８）
　前記第１のユーザの端末から送信される前記第１のデータは、少なくとも音声データおよび触力覚データのいずれか一方を含む、
　前記（１）～（１７）のいずれか一項に記載の情報処理装置。
（１９）
　第１のユーザの端末から送信される第１のデータに基づき実行される第２のユーザの端末における出力を、前記第２のユーザに対する状況センシングの結果に基づいて遅延させる遅延処理を行うか否かを制御することを含む、
　情報処理方法。
（２０）
　コンピュータを、
　第１のユーザの端末から送信される第１のデータの第２のユーザの端末における出力を、前記第２のユーザに対する状況センシングの結果に基づいて遅延させる遅延処理を行うか否かを制御する出力制御部を備える、
　情報処理装置として機能させるためのプログラム。
　１　　　情報処理システム
　１０　　情報処理装置
　１３０　制御部
　１３１　検出結果取得部
　１３２　出力制御部
　１４０　記憶部
　１５０　通信部
　２１　　認識装置
　２２　　解析装置
　６０　　ネットワーク
　７０　　端末

Claims (20)

  1. 　第１のユーザの端末から送信される第１のデータに基づき実行される第２のユーザの端末における出力を、前記第２のユーザに対する状況センシングの結果に基づいて遅延させる遅延処理を行うか否かを制御する制御部を備える、
    　情報処理装置。
  2. 　前記状況センシングは、前記第１のデータに基づき実行される前記第２のユーザの端末における出力結果を前記第２のユーザが知覚可能な状態であるか否かに対するセンシングを含む、
    　請求項１に記載の情報処理装置。
  3. 　前記第２のユーザが前記出力結果を知覚可能な状態であるか否かは、前記第２のユーザの端末における前記第１のデータを出力する出力部が起動しているか否かに応じて検出される、
    　請求項２に記載の情報処理装置。
  4. 　前記第２のユーザが前記出力結果を知覚可能な状態であるか否かは、前記第２のユーザの端末における前記第１のデータを出力する出力部が前記第２のユーザに装着されているか否かに応じて検出される、
    　請求項２に記載の情報処理装置。
  5. 　前記第２のユーザが前記出力結果を知覚可能な状態であるか否かは、前記第２のユーザの端末が前記第１のユーザの端末と同一のネットワークに接続されているか否かに応じて検出される、
    　請求項２に記載の情報処理装置。
  6. 　前記第２のユーザが前記出力結果を知覚可能な状態であるか否かは、前記第２のユーザの行動認識の結果に基づいて検出される、
    　請求項２に記載の情報処理装置。
  7. 　前記第２のユーザが前記出力結果を知覚可能な状態であるか否かは、前記第２のユーザの端末が前記第２のユーザによって握られ、接触され、または、見られているか否かに応じて検出される、
    　請求項２に記載の情報処理装置。
  8. 　前記制御部は、前記第２のユーザが前記出力結果を知覚可能な状態であるか否かを示す情報が前記第１のユーザの端末から出力されるように制御する、
    　請求項２に記載の情報処理装置。
  9. 　前記制御部は、前記第２のユーザが前記出力結果を知覚可能な状態ではない場合に、前記第１のユーザの端末から送信された前記第１のデータを所定の記憶領域に記憶させる、
    　請求項２に記載の情報処理装置。
  10. 　前記制御部は、前記第１のデータが前記記憶領域に記憶された後の所定の時間内においては、前記第２のユーザの端末のデータ検出部を起動させ、当該データ検出部から取得される第２のデータを前記第１のユーザの端末から出力させる、
    　請求項９に記載の情報処理装置。
  11. 　前記制御部は、前記第２のユーザが前記出力結果を知覚可能な状態となった場合に、前記記憶領域から前記第１のデータを取り出して、前記第２のユーザの端末から前記第１のデータを出力させる、
    　請求項９に記載の情報処理装置。
  12. 　前記制御部は、前記第２のユーザが前記出力結果を知覚可能な状態である場合に、前記第２のユーザの端末から前記第１のデータを出力させる、
    　請求項２に記載の情報処理装置。
  13. 　前記制御部は、前記第２のユーザが前記出力結果を知覚可能な状態である場合に、前記第１のユーザの端末から送信された前記第１のデータを所定の記憶領域に記憶させる、
    　請求項１２に記載の情報処理装置。
  14. 　前記制御部は、所定の削除条件が満たされた場合に、前記記憶領域に記憶された前記第１のデータを削除する、
    　請求項９に記載の情報処理装置。
  15. 　前記制御部は、所定の履歴確認トリガが検出されると、前記記憶領域に記憶されている前記第１のユーザの端末と前記第２のユーザの端末との間の送受信データから認識される所定の履歴データを、前記第２のユーザの端末から出力させる、
    　請求項９に記載の情報処理装置。
  16. 　前記制御部は、前記第１のユーザの端末においてデータ検出部が起動している場合に、前記データ検出部から取得された前記第１のデータが前記第１のユーザの端末から送信されるように制御する、
    　請求項１に記載の情報処理装置。
  17. 　前記制御部は、前記第１のデータの重要度に応じて前記第２のユーザの端末における出力を遅延させるか否かを制御する、
    　請求項１に記載の情報処理装置。
  18. 　前記第１のユーザの端末から送信される前記第１のデータは、少なくとも音声データおよび触力覚データのいずれか一方を含む、
    　請求項１に記載の情報処理装置。
  19. 　第１のユーザの端末から送信される第１のデータに基づき実行される第２のユーザの端末における出力を、前記第２のユーザに対する状況センシングの結果に基づいて遅延させる遅延処理を行うか否かを制御することを含む、
    　情報処理方法。
  20. 　コンピュータを、
    　第１のユーザの端末から送信される第１のデータに基づき実行される第２のユーザの端末における出力を、前記第２のユーザに対する状況センシングの結果に基づいて遅延させる遅延処理を行うか否かを制御する制御部を備える、
    　情報処理装置として機能させるためのプログラム。
PCT/JP2016/053073 2015-03-30 2016-02-02 情報処理装置、情報処理方法およびプログラム WO2016157993A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/559,850 US20180063283A1 (en) 2015-03-30 2016-02-02 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015068901A JP2016189121A (ja) 2015-03-30 2015-03-30 情報処理装置、情報処理方法およびプログラム
JP2015-068901 2015-03-30

Publications (1)

Publication Number Publication Date
WO2016157993A1 true WO2016157993A1 (ja) 2016-10-06

Family

ID=57005937

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/053073 WO2016157993A1 (ja) 2015-03-30 2016-02-02 情報処理装置、情報処理方法およびプログラム

Country Status (3)

Country Link
US (1) US20180063283A1 (ja)
JP (1) JP2016189121A (ja)
WO (1) WO2016157993A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110663244A (zh) * 2017-03-10 2020-01-07 株式会社Ｂｏｎｘ 通信系统、用于通信系统的api服务器、头戴式耳机以及便携通信终端
WO2021220812A1 (ja) * 2020-04-27 2021-11-04 ソニーグループ株式会社 情報処理装置、情報処理方法、出力装置、出力方法、プログラム、通知システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018163418A1 (ja) * 2017-03-10 2018-09-13 株式会社Ｂｏｎｘ 通信システム、通信システムに用いられるａｐｉサーバ、ヘッドセット、及び携帯通信端末
JP7135295B2 (ja) * 2017-10-26 2022-09-13 富士フイルムビジネスイノベーション株式会社 装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6351754A (ja) * 1986-08-21 1988-03-04 Nec Eng Ltd 電話応答方式
JP2007507158A (ja) * 2003-09-25 2007-03-22 ヴォコレクト・インコーポレーテッド 音声認識環境において用いるための無線ヘッドセット
WO2007091646A1 (ja) * 2006-02-08 2007-08-16 Matsushita Electric Industrial Co., Ltd. Ｉｍｐｓシステム、ｉｍｐｓクライアント装置、ｉｍｐｓサーバ装置、ｉｍｐｓ提供方法、およびｉｍｐｓ提供プログラム
JP2013020411A (ja) * 2011-07-11 2013-01-31 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2014123192A (ja) * 2012-12-20 2014-07-03 Nec Corp 情報通知システム
JP2014146903A (ja) * 2013-01-28 2014-08-14 Sharp Corp 携帯端末

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6351754A (ja) * 1986-08-21 1988-03-04 Nec Eng Ltd 電話応答方式
JP2007507158A (ja) * 2003-09-25 2007-03-22 ヴォコレクト・インコーポレーテッド 音声認識環境において用いるための無線ヘッドセット
WO2007091646A1 (ja) * 2006-02-08 2007-08-16 Matsushita Electric Industrial Co., Ltd. Ｉｍｐｓシステム、ｉｍｐｓクライアント装置、ｉｍｐｓサーバ装置、ｉｍｐｓ提供方法、およびｉｍｐｓ提供プログラム
JP2013020411A (ja) * 2011-07-11 2013-01-31 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2014123192A (ja) * 2012-12-20 2014-07-03 Nec Corp 情報通知システム
JP2014146903A (ja) * 2013-01-28 2014-08-14 Sharp Corp 携帯端末

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110663244A (zh) * 2017-03-10 2020-01-07 株式会社Ｂｏｎｘ 通信系统、用于通信系统的api服务器、头戴式耳机以及便携通信终端
CN110663244B (zh) * 2017-03-10 2021-05-25 株式会社Ｂｏｎｘ 一种通信系统和便携通信终端
WO2021220812A1 (ja) * 2020-04-27 2021-11-04 ソニーグループ株式会社 情報処理装置、情報処理方法、出力装置、出力方法、プログラム、通知システム

Also Published As

Publication number Publication date
JP2016189121A (ja) 2016-11-04
US20180063283A1 (en) 2018-03-01

Similar Documents

Publication Publication Date Title
WO2017130486A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP6635049B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR101726945B1 (ko) 수동 시작/종료 포인팅 및 트리거 구문들에 대한 필요성의 저감
JP6143975B1 (ja) 画像の取り込みを支援するためにハプティックフィードバックを提供するためのシステムおよび方法
KR101633208B1 (ko) 인스턴트 통신 음성 인식 방법 및 단말기
JP2017509917A (ja) 空間音響特性に少なくとも部分的に基づく動作指令の決定
CN111147444B (zh) 一种交互方法及电子设备
WO2016157993A1 (ja) 情報処理装置、情報処理方法およびプログラム
JPWO2017061149A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP6729555B2 (ja) 情報処理システムおよび情報処理方法
US20220224735A1 (en) Information processing apparatus, non-transitory computer readable medium storing program, and method
CN109473097B (zh) 一种智能语音设备及其控制方法
JP2020021025A (ja) 情報処理装置、情報処理方法及びプログラム
WO2016152200A1 (ja) 情報処理システムおよび情報処理方法
KR20150128386A (ko) 디스플레이 장치 및 그의 화상 통화 수행 방법
CN108763475B (zh) 一种录制方法、录制装置及终端设备
US20190129517A1 (en) Remote control by way of sequences of keyboard codes
JP2018186326A (ja) ロボット装置及びプログラム
CN110291768B (zh) 信息处理装置、信息处理方法和信息处理系统
JP2016156877A (ja) 情報処理装置、情報処理方法およびプログラム
WO2017215198A1 (zh) 控制工作状态的方法和装置
CN112700783A (zh) 通讯的变声方法、终端设备和存储介质
JP2016180778A (ja) 情報処理システムおよび情報処理方法
WO2023281820A1 (ja) 情報処理装置、情報処理方法、記憶媒体
CN103873687A (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16771877

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15559850

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16771877

Country of ref document: EP

Kind code of ref document: A1