WO2018185988A1 - 情報処理システムおよび記憶媒体 - Google Patents

情報処理システムおよび記憶媒体 Download PDF

Info

Publication number
WO2018185988A1
WO2018185988A1 PCT/JP2018/000062 JP2018000062W WO2018185988A1 WO 2018185988 A1 WO2018185988 A1 WO 2018185988A1 JP 2018000062 W JP2018000062 W JP 2018000062W WO 2018185988 A1 WO2018185988 A1 WO 2018185988A1
Authority
WO
WIPO (PCT)
Prior art keywords
notification
user
unit
emotion
information processing
Prior art date
Application number
PCT/JP2018/000062
Other languages
English (en)
French (fr)
Inventor
顕博 小森
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201880022385.8A priority Critical patent/CN110462597B/zh
Publication of WO2018185988A1 publication Critical patent/WO2018185988A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • This disclosure relates to an information processing system and a storage medium.
  • Patent Document 1 emotions are estimated from human voices, and the behavior of a CG character (expression, degree, face angle, nodding, side of the neck, etc.) according to preset conditions.
  • a content generation apparatus for setting the operation to be performed is disclosed.
  • Patent Document 2 in an information processing apparatus that selects a video as non-speech information for each phoneme based on a feature amount of input speech information, an emotion is estimated from a feature amount difference between successive speeches. It is disclosed that the degree of opening of the mouth and the degree of tilting of the neck are changed in the video as the difference becomes larger.
  • Patent Document 3 in an entertainment device that reacts a character in real time by voice input from a player, the change in pitch and volume of the input voice (line) is grasped, and the evaluation of the line based on the difference from the reference data It is disclosed that the action content of the character is determined according to the evaluation.
  • the present disclosure proposes an information processing system and a storage medium capable of controlling the execution of notification to the outside according to the user's emotion.
  • An information processing system including a control unit that controls the notification unit so as to execute notification to the outside in response to a user operation for instructing execution of further notification is proposed.
  • a program for functioning as a control unit that controls the notification unit so as to interrupt the execution of the notification and execute the notification to the outside in response to a user operation that instructs execution of further notification A recorded storage medium is proposed.
  • execution of notification to the outside can be controlled in accordance with the user's emotion.
  • FIG. 1 is a diagram illustrating an overview of an information processing system according to an embodiment of the present disclosure.
  • the information processing system according to the present embodiment recognizes a user's emotion when the user executes an external notification, and controls the execution of the notification according to the recognized user's emotion. Is possible.
  • the notification is executed. Is temporarily interrupted, it is confirmed whether or not the notification transmission may be executed, or conversion to a gentle expression is proposed.
  • negative emotion is an emotion that is contrary to positive emotion.
  • six basic emotions relate to emotions of “anger” and “disgust”.
  • the types of emotions are not limited to six, and when further classified, for example, “hate”, “furious”, “attack”, “ ⁇ ”, “sarcastic”, “irritated”, “ ⁇ ” Emotions also correspond to negative emotions.
  • the message input by the user is displayed on the display unit 16 of the client terminal 1 together with a confirmation message such as “Is this expression OK?”. Conversion candidates converted to gentle expressions are presented.
  • the user's emotion can be recognized by, for example, capturing a user's face image with the camera 13 provided in the client terminal 1 and analyzing the display from the face image.
  • the client terminal 1 may be realized by a smartphone, a mobile phone terminal, a tablet terminal, a PC (personal computer), a wearable device, a game device, or the like.
  • FIG. 2 is a block diagram showing an example of the configuration of the client terminal 1 according to the present embodiment.
  • the client terminal 1 includes a control unit 10, a communication unit 11, an operation input unit 12, a camera 13, a sensor 14, a voice input unit 15, a display unit 16, a voice output unit 17, and a storage unit 18.
  • a control unit 10 controls the client terminal 1 to control the client terminal 1 to control the client terminal 1 to control the client terminal 1 to control the client terminal 1 a communication unit 11, an operation input unit 12, a camera 13, a sensor 14, a voice input unit 15, a display unit 16, a voice output unit 17, and a storage unit 18.
  • a control unit 10 includes a communication unit 11, an operation input unit 12, a camera 13, a sensor 14, a voice input unit 15, a display unit 16, a voice output unit 17, and a storage unit 18.
  • the control unit 10 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the client terminal 1 according to various programs.
  • the control unit 10 is realized by an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor, for example.
  • the control unit 10 may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • the emotion recognition unit 101 recognizes user emotions based on the user's face image captured by the camera 13, sensor information detected by the sensor 14, and voice input by the voice input unit 15. More specifically, for example, the emotion recognition unit 101 performs facial expression analysis, voice inflection, voice color, whispering content (including sighing, tongue lashing, etc.), biological information (heart rate information, pulse information, sweating information, body temperature information, It is possible to recognize user emotion based on brain wave information, myoelectric information, etc.) and motion information (acceleration sensor data, gyro sensor data, geomagnetic sensor data, etc.). The emotion recognition unit 101 can also recognize user emotion in consideration of the context of the message that the user and the other party exchanged immediately before.
  • the algorithm for emotion recognition is not particularly limited.
  • emotions may be estimated from facial expressions (smiles, ordinary faces, angry faces), emotions may be estimated from voice features, biometric information, The emotion may be estimated from the feature amount or pattern of the motion information.
  • the algorithm for emotion recognition may be stored in the storage unit 18 in advance or may be generated by machine learning.
  • FIG. 4 is a diagram illustrating an example of the conversion table of the “anger” pictogram. As shown in FIG. 4, a pictograph in which the input angry pictograph is slightly calmed is registered as a pictograph after conversion.
  • the display control unit 103 controls display on the display unit 16.
  • the display control unit 103 according to the present embodiment presents the expression converted by the expression conversion unit 102 to the user as a conversion candidate, or instructs the user to perform input or transmission when a specific emotion (for example, “anger”) occurs.
  • the user is inquired about whether to send a message to the outside.
  • the message transmission execution control unit 104 controls the communication unit 11 to transmit the input external message based on a user instruction.
  • the message transmission execution control unit 104 according to the present embodiment temporarily stops transmission when the user instructs input or transmission execution in the case of a specific emotion (for example, “anger”), and further transmits execution instruction from the user. Control to send when there is.
  • the communication unit 11 transmits / receives data to / from external devices (for example, peripheral devices, routers, base stations, servers, etc.) by wire or wireless.
  • the communication unit 11 is, for example, by a wired / wireless LAN (Local Area Network), Wi-Fi (registered trademark), a mobile communication network (LTE (Long Term Evolution), 3G (third generation mobile communication system)) or the like. Send and receive data to and from the outside.
  • the camera 13 photoelectrically converts a lens system including an imaging lens, an aperture, a zoom lens, a focus lens, and the like, a drive system that causes the lens system to perform a focus operation and a zoom operation, and imaging light obtained by the lens system.
  • a solid-state image pickup device array for generating an image pickup signal.
  • the solid-state imaging device array may be realized by a CCD (Charge Coupled Device) sensor array or a CMOS (Complementary Metal Oxide Semiconductor) sensor array, for example.
  • the camera 13 according to the present embodiment is provided at a position where the face of the user who operates the client terminal 1 can be imaged (for example, in the vicinity of the display unit 16).
  • the audio output unit 17 includes a speaker that reproduces an audio signal and an amplifier circuit for the speaker.
  • the configuration of the client terminal 1 according to the present embodiment has been specifically described above.
  • the configuration of the client terminal 1 is not limited to the example illustrated in FIG. 3.
  • the camera 13 and the sensor 14 are provided in an external device (peripheral device such as a wearable device), and the captured image and sensor data are wirelessly or wired to the client.
  • the structure transmitted to the terminal 1 may be sufficient.
  • FIG. 5 is a diagram showing an example of the overall configuration of the information processing system according to the present embodiment.
  • the information processing system according to the present embodiment includes a client terminal 1 and a server 2.
  • Each client terminal 1 (1A, 1B) and server 2 are connected to each other via a network 3 to transmit and receive data.
  • the server 2 can perform user emotion recognition, input expression conversion, and message transmission execution control based on information transmitted from the client terminal 1. A specific configuration of the server 2 will be described with reference to FIG.
  • the server 2 recognizes the emotion of the user A or the user B when the user A of the client terminal 1A and the user B of the client terminal 1B are exchanging messages, and the user recognizes a specific emotion (for example, “anger” )), The execution of the message to the outside which is instructed to input or send is controlled.
  • a specific emotion for example, “anger”
  • the control unit 20 functions as an arithmetic processing device and a control device, and controls the overall operation in the server 2 according to various programs.
  • the control unit 20 is realized by an electronic circuit such as a CPU (Central Processing Unit) and a microprocessor, for example.
  • the control unit 20 may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • the control unit 20 also functions as an emotion recognition unit 201, an expression conversion unit 202, an output control unit 203, and a message transmission execution control unit 204.
  • the emotion recognition unit 201 is a user's face captured image transmitted from the client terminal 1, sensor information (heart rate information, pulse information, sweating information, body temperature information, brain wave information, myoelectric information, acceleration sensor data, gyro sensor data, geomagnetism, Similar to the emotion recognition unit 101 described above, the user emotion is recognized based on at least one of sensor data and the like or voice information.
  • sensor information heart rate information, pulse information, sweating information, body temperature information, brain wave information, myoelectric information, acceleration sensor data, gyro sensor data, geomagnetism
  • the expression conversion unit 202 converts the expression of an external message instructed to be input or transmitted when the user has a specific emotion.
  • the message transmission execution control unit 204 controls execution of transmission of an external message input in the client terminal 1 to a transmission destination. For example, when the user A of the client terminal 1A instructs input or transmission when the user A of the client terminal 1A has a specific emotion (for example, “anger”), the message transmission execution control unit 204 according to the present embodiment is directed to the client terminal 1B that is the transmission destination. Is temporarily interrupted, and control is performed so as to be transmitted when there is a further transmission execution instruction from the user A.
  • a specific emotion for example, “anger”
  • the communication unit 21 is connected to an external device by wire or wireless and transmits / receives data.
  • the communication unit 21 is connected to an external device through, for example, a wired / wireless LAN (Local Area Network) or Wi-Fi (Wireless Fidelity, registered trademark).
  • the storage unit 22 is realized by a ROM that stores programs and calculation parameters used for the processing of the control unit 20, and a RAM that temporarily stores parameters that change as appropriate.
  • the storage unit 22 according to the present embodiment stores an emotion recognition algorithm used by the emotion recognition unit 101, an expression conversion table used by the expression conversion unit 102, and the like.
  • the configuration of the server 2 according to the present embodiment has been specifically described above.
  • the configurations shown in FIGS. 3 and 4 are examples, and the present embodiment is not limited to this.
  • at least a part of the configuration of the server 2 may be in an external device, or at least a part of each function of the control unit 20 is a client terminal 1 or a communication device in which a communication distance is relatively close to the client terminal 1 (So-called edge server or the like) may be realized.
  • part of the recognition processing in the emotion recognition unit 201 of the server 2 is performed on the client terminal 1 side, and the facial expression analysis result (facial feature amount), voice feature amount, and feature amounts and patterns of various sensor data are stored in the server 2. You may make it transmit to.
  • the configuration and functions of the server 2 it is possible to improve real-time performance, reduce processing load, and ensure security.
  • the expression conversion unit 102 recognizes the word or pictograph representing the emotion from the character string that the user is trying to transmit (step S115). ). You may make it recognize the word or pictogram showing an emotion using the dictionary data memorize
  • the user taps the “Yes” button if the expression is to be converted and transmitted as proposed, or the “No” button is to be transmitted without converting the expression.
  • the conversion candidate presentation screen is not limited to the example illustrated in FIG. 8, and may be a screen that presents a plurality of conversion candidates, for example. In this case, the user selects a conversion candidate from a plurality of conversion candidate screens.
  • step S127 / Yes when the user selects a conversion candidate (in the example shown in FIG. 8, when the “Yes” button is tapped) (step S127 / Yes), the message transmission execution control unit 104 uses the converted character string as a partner. (Step S130).
  • step S127 / No when the user does not select a conversion candidate (in the example shown in FIG. 8, when the “No” button is tapped) (step S127 / No), the message transmission execution control unit 104 displays the input character string. The data is transmitted as it is to the other party (step S133).
  • step S112 / No when the emotion of “anger” is not detected as the user's emotion (step S112 / No), even if the emotion of “anger” is detected, a word or a pictogram representing the emotion of “anger” is detected in the character string. Even if there is not (step S118 / No), the message transmission execution control unit 104 transmits the input character string as it is to the partner (step S133).
  • a “correct” button may be further provided so that the message before transmission can be corrected by itself without selecting a conversion candidate.
  • FIG. 9 is a block diagram illustrating an example of a configuration of an in-vehicle client terminal 1x according to the second embodiment.
  • the in-vehicle client terminal 1x is connected to a vehicle system of an automobile by wire / wirelessly, and mainly controls output of horn sound.
  • the client terminal 1x includes a control unit 10x, a communication unit 11x, a horn operation detection unit 19, a camera 13, a sensor 14, a voice input unit 15, a voice output unit 17, and a storage unit 18.
  • the control unit 10x functions as an arithmetic processing unit and a control unit, and controls the overall operation in the in-vehicle client terminal 1 according to various programs.
  • the control unit 10 is realized by an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor, for example.
  • the control unit 10 may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • the control unit 10x also functions as the emotion recognition unit 101, the horn sound conversion unit 105, and the horn sound output control unit 106.
  • Emotion recognition unit 101 recognizes the emotion of the user (here, the driver), as in the first embodiment.
  • the communication unit 11x has an external communication function for transmitting / receiving data to / from an external device such as a server, and an internal communication function for transmitting / receiving data to / from the in-vehicle network.
  • the in-vehicle network is a communication network connected to each control unit in the vehicle (drive system control unit, body system control unit, battery control unit, vehicle exterior information detection unit, vehicle interior information detection unit, etc.). Press information (horn operation information) from the horn switch (horn operation unit) and control (horn sound output control) on the horn unit (notification unit) can be performed via the in-vehicle network.
  • the horn operation detection unit 19 detects a horn operation by the user. For example, the horn operation detection unit 19 acquires and detects pressing information of a horn switch (an example of the horn operation unit) provided at the center of the handle via the in-vehicle network.
  • a horn switch an example of the horn operation unit
  • the configuration of the in-vehicle client terminal 1x according to the present embodiment has been specifically described above.
  • the configuration of the client terminal 1x is not limited to the example illustrated in FIG.
  • at least one of the camera 13, the sensor 14, the audio input unit 15, and the audio output unit 17 may be an external device provided in the vehicle, and the client terminal 1x transmits and receives data via the in-vehicle network. Can be done.
  • FIG. 10 is a flowchart showing an operation process according to the second embodiment.
  • the client terminal 1x continues to recognize the emotion of the driving user by the emotion recognition unit 101 (step S203).
  • the control unit 10x indicates that the user's emotion during the horn operation is “ It is determined whether or not the emotion is “anger” (step S209).
  • the horn sound output control unit 106 reproduces the horn sound by the voice output unit 17 only in the vehicle according to the user operation (Ste S212).
  • the horn sound output control unit 106 temporarily suspends execution of horn sound output to the outside of the vehicle according to the user's horn operation.
  • the user by sounding the horn sound in the vehicle, an effect of calming the emotional user can be expected. If the user still wants to release the horn sound to the outside, for example, the user further presses the horn button or presses and holds it.
  • control unit 10x causes the horn sound conversion unit 105 to set the sound quality to be milder than the standard (parameters).
  • the horn sound output control unit 106 controls the horn sound to be reproduced outside the vehicle (step S218).
  • step S215 / No when the user stops pressing the horn button (step S215 / No), the horn sound is not notified outside the vehicle.
  • control unit 10x uses the horn sound conversion unit 105 to obtain a sound quality brighter than the standard ( The parameter is converted, and the horn sound output control unit 106 controls to reproduce the horn sound outside the vehicle (step S227).
  • step S209 / No when neither “anger” nor “happiness” is detected (step S209 / No, step S221 / No), the user who is the driver makes a calm judgment and reports a horn sound. Since it can be estimated that it is going to be performed, the control unit 10x controls the horn sound output control unit 106 to reproduce the horn sound outside the vehicle with the standard parameters (without conversion) (step S224).
  • the control according to the user emotion of the horn sound is specifically described as an example of the notification to the outside.
  • the horn sound control according to the user emotion according to the present embodiment may be performed when there is no danger in consideration of safety.
  • the determination of the risk can be made as appropriate based on, for example, popping out, the inter-vehicle distance, the speed of the vehicle, and the surrounding situation.
  • the horn sound control according to the user emotion according to the embodiment may be performed in a specific area such as a high-class residential area in consideration of the current position of the user. This is because it is not preferable that the horn sound is sounded with anger in a luxury residential area.
  • FIG. 11 is a flowchart showing an operation process of horn sound control according to position information according to the second embodiment.
  • steps S203 to S215 shown in FIG. 11 are the same as the processes with the same symbols described with reference to FIG. 10, detailed description thereof will be omitted here.
  • step S215 when the user desires to release the horn sound to the outside in spite of the reproduction of the horn sound in the vehicle and further presses the horn button (step S215 / Yes), the control unit 10x causes the sensor 14 to detect the current position. Information is acquired (step S216), and it is determined whether the current location is a specific area such as a luxury residential area (step S217).
  • control unit 10x converts (parameters) into a sound quality gentler than the standard by the horn sound conversion unit 105, and the horn sound output control unit 106 converts the horn Control is performed to reproduce the sound outside the vehicle (step S218).
  • control unit 10x controls the horn sound output control unit 106 to reproduce the horn sound with the standard parameters (without conversion) (step S224). ).
  • FIG. 12 is a diagram illustrating the main configuration of the client terminals 1A and 1B included in the information processing system according to the present embodiment.
  • the client terminal 1A acquires the recognition result of the emotion of the user B recognized by the emotion recognition unit 101b of the client terminal 1B.
  • the client terminal 1A notifies the user A of the received emotion of the user B and inquires of the user whether or not to transmit the message as it is. Thereby, it can be expected that the user A who is emotionally calmed down.
  • FIG. 13 is a flowchart showing an operation process according to the third embodiment.
  • the processes in steps S303 to S315 shown in FIG. 13 are the same as the processes shown in steps S103 to S118 shown in FIG.
  • step S315) If the user's emotion when sending a message is “angry” and the word or pictograph representing the emotion of “angry” is detected in the character string of the input message, the client terminal 1 (step S315). / Yes), the other party's emotion is acquired (step S318).
  • step S321 / Yes when the other party's emotion is, for example, “disappointed” (step S321 / Yes), the display control unit 103 presents to the user that the other party is disappointed with an icon or the like (step S324).
  • FIG. 14 shows an example of a presentation screen according to the third embodiment.
  • the presentation screen 164 displays a message such as “The other party is depressed. Do you want to send it as it is?” And a “Yes / No” button.
  • the user can know the situation of the other party, and can think about sending an “angry” message in an emotional manner.
  • “disappointment” is detected as an example.
  • the present embodiment is not limited to this, and may be a case where an emotion such as “sadness”, “surprise”, or “fear” is detected.
  • Step S330 / Yes The message transmission execution control unit 104 controls the input character string to be transmitted to the partner as it is (step S333).
  • conversion candidates may be presented together, and when the user gives an instruction to transmit after conversion, the converted message may be transmitted to the other party.
  • FIG. 15 is a flowchart showing an operation process according to the fourth embodiment.
  • the processing in steps S103 to S127 shown in FIG. 15 is the same as the processing with the same sign shown in FIG.
  • the client terminal 1 converts when the user's emotion when trying to send a message is “anger” and a word or pictograph representing the emotion of “anger” is detected in the character string of the input message
  • the message transmission execution control unit 104 translates the converted character string and transmits it to the partner (step S131).
  • step S127 when the user does not select a conversion candidate (step S127 / No), the message transmission execution control unit 104 translates the input character string as it is and transmits it to the partner (step S134).
  • the notification (negative) Notification that expresses a positive emotion) can be controlled to be calm, and if the user's emotion is positive, the notification (a notification that expresses a positive emotion) can be controlled to be emphasized. .
  • a computer program for causing hardware such as the CPU, ROM, and RAM incorporated in the client terminal 1 or server 2 described above to exhibit the functions of the client terminal 1 or server 2.
  • a computer-readable storage medium storing the computer program is also provided.
  • the present embodiment is not limited to this, and the present invention can also be applied to a case of displaying a symbol expressing a user's emotion.
  • a symbol representing the driver's emotion can be displayed, when releasing positive emotion, the relationship with the surroundings is desirable, It can be troublesome to release negative emotions as they are. Therefore, by applying the control processing according to the present embodiment, for example, when trying to display the “anger” symbol with the emotion of “anger”, the display is temporarily interrupted and the user is asked whether this content is acceptable. It may be. Further, when the “anger” symbol is displayed with the “anger” feeling, the “anger” symbol may be output as a somewhat calm symbol.
  • this technique can also take the following structures.
  • a notification unit for notifying outside If the user recognizes that he / she has a negative emotion immediately before notification by the notification unit, after the user's operation instructing execution of the notification, the execution of the notification is temporarily interrupted and further execution of the notification is instructed.
  • An information processing system provided with a control part which controls the above-mentioned notice part so that a notice to the outside may be performed according to user operation.
  • the controller is When the user recognizes that the user has a negative emotion immediately before notification by the notification unit, after the user operation instructing execution of the notification, the execution of the notification is temporarily interrupted, and according to further user operations, The information processing system according to (1), wherein the notification unit is controlled to notify after changing the notification to a gentle expression.
  • the information processing system according to (2), wherein the control unit controls the notification after the content changed to the gentle expression is translated.
  • the controller is Recognizing that the user has a negative emotion immediately before notification by the notification unit, When analyzing the content of the notification and there is a negative expression in the content of the notification, After the user operation instructing execution of the notification, the execution of the notification is temporarily interrupted, and the notification unit is controlled to execute external notification in response to the user operation instructing execution of further notification, The information processing system according to any one of (1) to (3).
  • the controller is When there is a negative expression in the content of the notification, after the user operation instructing execution of the notification, the execution of the notification is temporarily suspended, and the notification is changed to a gentle expression according to further user operation.
  • the controller is The information processing system according to (5), wherein the execution of the notification is temporarily interrupted and the user is notified to change the notification to a gentle expression, and then control is performed to wait for a further user operation.
  • the information processing system further includes a presentation unit for presenting information to the user,
  • the controller is Furthermore, the emotion of the other user who receives the notification is acquired, If it is presumed that the user has a negative emotion immediately before notification by the notification unit, the presentation unit notifies the user of the other user's emotion and the user according to the other user's emotion
  • the information processing system according to any one of (1) to (7), wherein the notification unit is controlled to notify after changing the content of the notification to a gentle expression according to a response.
  • (12) Computer A notification unit for notifying outside, If the user recognizes that he / she has a negative emotion immediately before notification by the notification unit, after the user's operation instructing execution of the notification, the execution of the notification is temporarily interrupted and further execution of the notification is instructed.
  • a control unit that controls the notification unit to execute notification to the outside in response to a user operation;

Abstract

【課題】外部への通知の実行をユーザの感情に応じて制御することが可能な情報処理システムおよび記憶媒体を提供する。 【解決手段】外部に通知するための通知部と、前記通知部により通知する直前に、ユーザがネガティブな感情を抱いていると認識すると、当該通知の実行を指示するユーザの操作後、一旦当該通知の実行を中断し、さらなる通知の実行を指示するユーザ操作に応じて外部への通知を実行するように前記通知部を制御する制御部を備える、情報処理システム。

Description

情報処理システムおよび記憶媒体
　本開示は、情報処理システムおよび記憶媒体に関する。
　従来、人々は日常的にスマートフォンやＰＣ（パーソナルコンピュータ）等の情報処理装置を用いインターネットを介してメッセージのやり取りを行っている。テキストメッセージのやり取りは、相手の顔が見えず、また、声も聞こえないため、相手の気持ちや考えを理解することは難しいが、近年では、テキストメッセージ中に画像（静止画、動画）を挿入したり、画像単体をメッセージとして送信したりすることができ、相手への気持ちが伝え易いものとなっている。
　感情を伝える技術に関し、例えば下記特許文献１では、人の生声から感情を推定し、予め設定される条件に応じてＣＧキャラクターの振る舞い（表情、その程度、顔の角度、うなずき、首を横に振る動作）を設定するコンテンツ生成装置が開示されている。
　また、下記特許文献２では、入力された音声情報の特徴量に基づいて音韻毎に非音声情報としての映像を選択する情報処理装置において、連続する音声間の特徴量の差から感情を推定し、差の大きさが大きくなるほど、映像における口の開け具合や首の傾き具合を変更することが開示されている。
　また、下記特許文献３では、プレイヤーからの音声入力によりリアルタイムでキャラクターを反応させるエンタテインメント装置において、入力音声（セリフ）の音程と音量の変化を把握し、基準データとの差に基づいてセリフの評価を行い、評価に応じてキャラクターの動作の内容を定めることが開示されている。
特開２００８－２１７４４７号公報 国際公開第２０１０／０４７０２７号 特開２００２－１３６７６４号公報
　しかしながら、上述したいずれも入力者の感情をより正確に反映させる技術であって、相手にネガティブな感情が直接伝わってしまう点については考慮されていなかった。
　相手の顔が見えない状況において、相手にネガティブな感情を抱いた状態で感情的にメッセージを通知してしまうと、対人関係のトラブルに発展したり、ユーザ本人が後から後悔する場合がある。
　そこで、本開示では、外部への通知の実行をユーザの感情に応じて制御することが可能な情報処理システムおよび記憶媒体を提案する。
　本開示によれば、外部に通知するための通知部と、前記通知部により通知する直前に、ユーザがネガティブな感情を抱いていると認識すると、当該通知の実行を指示するユーザの操作後、一旦当該通知の実行を中断し、さらなる通知の実行を指示するユーザ操作に応じて外部への通知を実行するように前記通知部を制御する制御部を備える、情報処理システムを提案する。
　本開示によれば、コンピュータを、外部に通知するための通知部と、前記通知部により通知する直前に、ユーザがネガティブな感情を抱いていると認識すると、当該通知の実行を指示するユーザの操作後、一旦当該通知の実行を中断し、さらなる通知の実行を指示するユーザ操作に応じて外部への通知を実行するように前記通知部を制御する制御部と、として機能させるためのプログラムが記録された、記憶媒体を提案する。
　以上説明したように本開示によれば、外部への通知の実行をユーザの感情に応じて制御することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要について説明する図である。 本実施形態によるクライアント端末の構成の一例を示すブロック図である。 本実施形態による「怒り」の言葉の変換テーブルの一例を示す図である。 本実施形態による「怒り」の絵文字の変換テーブルの一例を示す図である。 本実施形態による情報処理システムの全体構成の一例を示す図である。 本実施形態によるサーバの構成の一例を示すブロック図である。 第１の実施形態による動作処理を示すフローチャートである。 第１の実施形態による変換候補提示画面の一例を示す図である。 第２の実施形態によるクライアント端末の構成の一例を示すブロック図である。 第２の実施形態による動作処理を示すフローチャートである。 第２の実施形態による位置情報に応じたクラクション音制御の動作処理を示すフローチャートである。 第２の実施形態による情報処理システムに含まれるクライアント端末の主要構成について説明する図である。 第３の実施形態による動作処理を示すフローチャートである。 第３の実施形態による提示画面の一例を示す図である。 第４の実施形態による動作処理を示すフローチャートである。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報処理システムの概要
　２．構成
　　２－１．クライアント端末１の構成
　　２－２．他の構成例
　３．各実施形態
　　３－１．第１の実施形態
　　３－２．第２の実施形態
　　３－３．第３の実施形態
　　３－４．第４の実施形態
　４．まとめ
　＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
　図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。図１に示すように、本実施形態による情報処理システムは、ユーザが外部への通知を実行する際にユーザの感情を認識し、認識したユーザの感情に応じて当該通知の実行を制御することを可能とする。
　すなわち、本実施形態による情報処理システムでは、例えばユーザがネガティブな感情を抱いた状態で、クライアント端末１からそのネガティブな感情を直接的に表現したメッセージを送信しようとした際に、当該通知の実行を一旦中断し、本当に当該通知の送信を実行してもよいのかを確認したり、穏やかな表現へ変換することを提案したりする。
　ここで、本明細書において「ネガティブな感情」とは、ポジティブな感情と相反する感情であって、例えば基本的な６種類の感情（喜び、悲しみ、怒り、嫌悪、驚き、恐怖）では、主に「怒り」および「嫌悪」の感情が相当する。また、感情の種類は６つに限定されず、さらに細かく分類した場合には、例えば「憎しみ」、「激怒」、「攻撃」、「侮蔑」、「皮肉」、「苛立ち」、「憤慨」といった感情もネガティブな感情に相当する。
　図１に示す例では、ユーザが怒りながら攻撃的なメッセージを送信しようとすると、クライアント端末１の表示部１６に、「この表現でいいの？」といった確認のメッセージと共に、ユーザが入力したメッセージを穏やかな表現に変換した変換候補が提示される。ユーザの感情は、例えばクライアント端末１に設けられたカメラ１３によりユーザの顔画像を撮像し、顔画像から表示を分析することで感情を認識することが可能である。
　これにより、ユーザが感情的な状態でネガティブなメッセージを外部に通知してしまうことを回避することができ、結果的に、社会全体としてコミュニケーションが円滑になることが期待できる。
　以上、本開示の一実施形態による情報処理システムについて説明した。続いて、本実施形態による情報処理システムの具体的な構成について図面を参照して説明する。
　＜＜２．構成＞＞
　　＜２－１．クライアント端末１の構成＞
　まず、一例として、本実施形態による情報処理システムを実行するクライアント端末１の構成について図２を参照して説明する。クライアント端末１は、スマートフォン、携帯電話端末、タブレット端末、ＰＣ（パーソナルコンピュータ）、ウェアラブルデバイス、またはゲーム機器等により実現されて得る。
　図２は、本実施形態によるクライアント端末１の構成の一例を示すブロック図である。図２に示すように、クライアント端末１は、制御部１０、通信部１１、操作入力部１２、カメラ１３、センサ１４、音声入力部１５、表示部１６、音声出力部１７、および記憶部１８を有する。
　制御部１０は、演算処理装置および制御装置として機能し、各種プログラムに従ってクライアント端末１内の動作全般を制御する。制御部１０は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。
　また、本実施形態による制御部１０は、感情認識部１０１、表現変換部１０２、表示制御部１０３、およびメッセージ送信実行制御部１０４としても機能する。
　感情認識部１０１は、カメラ１３により撮像されたユーザの顔画像や、センサ１４により検知されたセンサ情報、また、音声入力部１５により入力された音声に基づいて、ユーザ感情を認識する。より具体的には、例えば感情認識部１０１は、表情の解析、音声の抑揚、声色、呟きの内容（溜息、舌打ち等を含む）、生体情報（心拍情報、脈拍情報、発汗情報、体温情報、脳波情報、筋電情報等）、モーション情報（加速度センサデータ、ジャイロセンサデータ、地磁気センサデータ等）に基づいてユーザ感情を認識し得る。また、感情認識部１０１は、ユーザと相手が直前までやり取りしているメッセージの文脈も考慮してユーザ感情を認識することも可能である。感情認識のアルゴリズムは特に限定しないが、例えば顔の表情（笑顔、普通顔、怒り顔）から感情を推定してもよいし、音声の特徴量から感情を推定してもよいし、生体情報やモーション情報の特徴量やパターンから感情を推定してもよい。感情認識用のアルゴリズムは、予め記憶部１８に記憶されていてもよいし、機械学習により生成してもよい。
　表現変換部１０２は、ユーザが特定の感情の際に入力または送信実行が指示された外部へのメッセージの表現を変換する。例えば表現変換部１０２は、記憶部１８に予め記憶された変換テーブルを参照して表現の変換を行う。ここで、変換テーブルの一例を図３に示す。図３は、「怒り」の言葉の変換テーブルの一例を示す図である。図３に示す変換テーブルでは、入力された怒りの言葉を多少穏やかにした表現の言葉が変換後の言葉として登録されている。なお図３に示す例では、対応する変換後の言葉がそれぞれ１つしかないが、本実施形態はこれに限定されず、複数の言葉を変換後の言葉として予め登録しておいてもよい。また、図３に示す変換の言葉は一例であって、本実施形態はこれに限定されない。
　また、表現の変換はテキストに限定されず、表情を表した画像（いわゆる絵文字）の変換を行うことも可能である。ここで、絵文字の変換テーブルの一例を図４に示す。図４は、「怒り」の絵文字の変換テーブルの一例を示す図である。図４に示すように、入力された怒りの絵文字を多少穏やかにした絵文字が変換後の絵文字として登録されている。
　表示制御部１０３は、表示部１６への表示を制御する。本実施形態による表示制御部１０３は、表現変換部１０２により変換された表現を変換候補としてユーザに提示したり、ユーザが特定の感情（例えば「怒り」）の際に入力または送信実行を指示した外部へのメッセージを本当に送信するのかといった問い合わせをユーザに提示をする。
　メッセージ送信実行制御部１０４は、入力された外部へのメッセージをユーザ指示に基づいて通信部１１により送信するよう制御する。また、本実施形態によるメッセージ送信実行制御部１０４は、ユーザが特定の感情（例えば「怒り」）の際に入力または送信実行を指示した場合は、送信を一旦中断し、ユーザからさらなる送信実行指示があった場合に送信するよう制御する。
　通信部１１は、有線または無線により外部装置（例えば周辺機器、ルータ、基地局、サーバ等）とデータの送受信を行う。通信部１１は、例えば有線／無線ＬＡＮ（Local　Area　Network）、またはＷｉ－Ｆｉ（登録商標）、携帯通信網（ＬＴＥ（Long　Term　Evolution）、３Ｇ（第３世代の移動体通信方式））等により外部とのデータの送受信を行う。
　操作入力部１２は、ユーザによる操作指示を受付け、その操作内容を制御部１０に出力する。操作入力部１２は、表示部１６と一体的に設けられるタッチセンサ、圧力センサ、若しくは近接センサであってもよい。あるいは、操作入力部１２は、ボタン、スイッチ、およびレバーなど、表示部１６と分離して設けられる物理的構成であってもよい。
　カメラ１３は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。本実施形態によるカメラ１３は、クライアント端末１を操作するユーザの顔を撮像できる位置（例えば、表示部１６付近）に設けられる。
　センサ１４は、ユーザ状況を検知する検知部であって、検知情報を制御部１０に出力する。センサ１４は、複数のセンサ群、または複数種類のセンサであってもよい。センサ１４は、例えばモーションセンサ（加速度センサ、ジャイロセンサ、地磁気センサ等）、位置センサ（Ｗｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等との通信に基づく屋内位置測位、またはＧＰＳ等を用いた屋外位置測位等）、生体センサ（心拍センサ、脈拍センサ、発汗センサ、体温センサ、脳波センサ、筋電センサ等）、環境センサ（温度センサ、湿度センサ、照度センサ、雨センサ等）が挙げられる。
　音声入力部１５は、マイクロホンと、そのマイクロホンで得られた音声信号を増幅処理するマイクアンプ部と、音声信号にデジタル変換するＡ／Ｄ変換器により実現され、音声信号を制御部１０に出力する。
　表示部１６は、各種操作入力画面を出力する表示装置である。この表示部１６は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機ＥＬ（Electroluminescence）ディスプレイなどの表示装置であってもよい。
　音声出力部１７は、音声信号を再生するスピーカと、スピーカに対するアンプ回路を有する。
　記憶部１８は、制御部１０の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）により実現される。また、本実施形態による記憶部１８には、感情認識アルゴリズムや、表現の変換テーブル等が記憶されている。
　以上、本実施形態によるクライアント端末１の構成について具体的に説明した。なおクライアント端末１の構成は図３に示す例に限定されず、例えば、カメラ１３やセンサ１４が外部装置（ウェアラブルデバイス等の周辺機器）に設けられ、撮像画像やセンサデータが無線または有線によりクライアント端末１に送信される構成であってもよい。
　　＜２－２．他の構成例＞
　上述した例では、クライアント端末１により本実施形態による情報処理システムが実行される場合について説明したが、本開示はこれに限定されず、クライアント端末１およびサーバ２を含むシステム構成により、主な処理をサーバ２側で行うようにしてもよい。以下、図５および図６を参照して説明する。
　図５は、本実施形態による情報処理システムの全体構成の一例を示す図である。図５に示すように、本実施形態による情報処理システムは、クライアント端末１およびサーバ２を含む。
　各クライアント端末１（１Ａ、１Ｂ）とサーバ２は、ネットワーク３を介して通信接続し、データの送受信が可能である。
　サーバ２は、クライアント端末１から送信された情報に基づいて、ユーザ感情の認識や入力された表現の変換、また、メッセージの送信実行制御を行い得る。サーバ２の具体的な構成については図６を参照して説明する。
　例えばサーバ２は、クライアント端末１ＡのユーザＡとクライアント端末１ＢのユーザＢとがメッセージのやり取りを行っている際に、ユーザＡまたはユーザＢの感情を認識し、ユーザが特定の感情（例えば「怒り」）の際に入力または送信実行を指示した外部へのメッセージの実行を制御する。
　（サーバ２の構成）
　続いて、サーバ２の構成について図６を参照して説明する。図６は、本実施形態によるサーバの構成の一例を示すブロック図である。図６に示すように、サーバ２は、制御部２０、通信部２１、および記憶部２２を有する。
　（制御部２０）
　制御部２０は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ２内の動作全般を制御する。制御部２０は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部２０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。
　また、本実施形態による制御部２０は、感情認識部２０１、表現変換部２０２、出力制御部２０３、およびメッセージ送信実行制御部２０４としても機能する。
　感情認識部２０１は、クライアント端末１から送信されたユーザの顔撮像画像、センサ情報（心拍情報、脈拍情報、発汗情報、体温情報、脳波情報、筋電情報、加速度センサデータ、ジャイロセンサデータ、地磁気センサデータ等）、または音声情報の少なくともいずれかに基づいて、上述した感情認識部１０１と同様に、ユーザ感情を認識する。
　表現変換部２０２は、上述した表現変換部１０２と同様に、ユーザが特定の感情の際に入力または送信実行が指示された外部へのメッセージの表現を変換する。
　出力制御部２０３は、クライアント端末１の表示部１６に表示（出力）する表示情報を生成し、通信部２１からクライアント端末１へ送信するよう制御する。本実施形態による出力制御部２０３は、例えば表現変換部２０２により変換された表現を変換候補としてユーザに提示する画面や、ユーザが特定の感情（例えば「怒り」）の際に入力または送信実行を指示した外部へのメッセージを本当に送信するのかといった問い合わせを提示する画面を生成し、クライアント端末１へ送信する。
　メッセージ送信実行制御部２０４は、クライアント端末１において入力された外部へのメッセージの送信先への送信実行を制御する。本実施形態によるメッセージ送信実行制御部２０４は、例えばクライアント端末１ＡのユーザＡが特定の感情（例えば「怒り」）の際に入力または送信実行を指示した場合は、送信先であるクライアント端末１Ｂへのメッセージの送信を一旦中断し、ユーザＡからさらなる送信実行指示があった場合に送信するよう制御する。
　（通信部２１）
　通信部２１は、有線または無線により外部装置と接続し、データの送受信を行う。通信部２１は、例えば有線／無線ＬＡＮ（Local　Area　Network）、またはＷｉ－Ｆｉ（Wireless　Fidelity、登録商標）等により外部装置と通信接続する。
　（記憶部２２）
　記憶部２２は、制御部２０の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ、および適宜変化するパラメータ等を一時記憶するＲＡＭにより実現される。例えば本実施形態による記憶部２２は、感情認識部１０１で用いられる感情認識アルゴリズムや、表現変換部１０２で用いられる表現の変換テーブル等を記憶する。
　以上、本実施形態によるサーバ２の構成について具体的に説明した。なお図３および図４に示す構成は一例であって、本実施形態はこれに限定されない。例えばサーバ２の少なくとも一部の構成が外部装置にあってもよいし、制御部２０の各機能のうち少なくとも一部がクライアント端末１または通信距離が比較的クライアント端末１に近い場所にある通信機器（いわゆるエッジサーバなど）により実現されてもよい。また、サーバ２の感情認識部２０１における認識処理の一部がクライアント端末１側で行われ、表情解析結果（表情の特徴量）、音声特徴量、各種センサデータの特徴量やパターンが、サーバ２に送信されるようにしてもよい。このように、サーバ２が有する構成や機能を適宜分散することで、リアルタイム性の向上や処理負担の軽減、セキュリティを担保することが可能となる。
　＜＜３．各実施形態＞＞
　続いて、本開示の各実施形態について図面を用いて具体的に説明する。
　　＜３－１．第１の実施形態＞
　まず、図７～図８を参照して第１の実施形態について説明する。図１の実施形態では、クライアント端末１を用いたメッセージのやり取りにおいて、相手ユーザに、ネガティブな感情でネガティブな表現のメッセージを送信しようとした場合について説明する。
　図７は、第１の実施形態による動作処理を示すフローチャートである。図７に示すように、まず、クライアント端末１においてユーザが文字列（メッセージ）を入力し（ステップＳ１０３)、送信操作を実行すると（ステップＳ１０６)、感情認識部１０１は、ユーザの感情を認識する（ステップＳ１０９)。なお感情の認識はユーザがクライアント端末１を操作している間、継続的または断続的に行われていてもよく、感情認識部１０１は、ユーザが送信操作を実行した際（少なくとも、メッセージ送信（通知）の直前）におけるユーザ感情の認識結果を取得する。
　次に、ユーザの感情として「怒り」の感情を検出した場合（ステップＳ１１２／Ｙｅｓ)、表現変換部１０２は、ユーザが送信しようとしている文字列から感情を表す単語または絵文字を認識する（ステップＳ１１５)。感情を表す単語または絵文字は、記憶部１８に記憶されている辞書データを用いて認識するようにしてもよい。
　次いで、文字列内に「怒り」の感情を表す単語または絵文字が検出された場合（ステップＳ１１８／Ｙｅｓ)、表現変換部１０２は、怒りを表す単語や絵文字を、変換テーブルを参照して柔らかな表現に変換する（ステップＳ１２１)。この際、メッセージ送信実行制御部１０４により、メッセージの送信実行は一旦中断される。
　次に、表示制御部１０３は、表現変換部１０２により変換された変換候補を、ユーザに提示する（ステップＳ１２４)。ここで、図８に、変換候補提示画面の一例を示す。図８左側に示すように、例えばメッセージのやり取りを行うメッセンジャーを利用している場合、表示部１６に、やり取りしているメッセージが時系列で表示され、ユーザはメッセージ入力欄１６１に文字列を入力して送信ボタンをタップすることでメッセージを送信することができる。送信ボタンがタップされた際（すなわち、ユーザが送信操作を実行した際）、クライアント端末１の感情認識部１０１は、ユーザの感情を認識する。そしてユーザがネガティブな感情（ここでは、「怒り」の感情）であって、さらに入力された文字列が「怒り」の感情を表す単語である場合、図８右側に示すように、当該単語を穏やかな表現に変換した変換候補提示画像１６２が表示される。変換候補提示画像１６２には、「メッセージ内に不適切と思われる表現を検出しました。修正候補を提示します。『ばかやろう』を『ばーか』に修正してから送信しますか？」といった変換の促しと、はい／いいえボタンが表示されている。これによりユーザは、一時的な「怒り」の感情で送信しようとした「怒り」の表現のメッセージを見直し、本当に送ってよいのか最終確認することができる。ユーザは、提案通り表現を変換して送信する場合は「はい」ボタンをタップし、表現を変換せずにそのまま送信したい場合は「いいえ」ボタンをタップする。なお変換候補の提示画面は図８に示す例に限定されず、例えば複数の変換候補を提示する画面であってもよい。この場合ユーザは、複数の変換候補画面から変換候補を選択する。
　続いて、ユーザが変換候補を選択した場合（図８に示す例では、「はい」ボタンをタップした場合）（ステップＳ１２７／Ｙｅｓ)、メッセージ送信実行制御部１０４は、変換後の文字列を相手に送信する（ステップＳ１３０)。
　一方、ユーザが変換候補を選択しなかった場合（図８に示す例では、「いいえ」ボタンをタップした場合）（ステップＳ１２７／Ｎｏ)、メッセージ送信実行制御部１０４は、入力された文字列をそのまま相手に送信する（ステップＳ１３３)。また、ユーザの感情として「怒り」の感情が検出されなかった場合（ステップＳ１１２／Ｎｏ）、怒り」の感情が検出されても文字列内に「怒り」の感情を表す単語または絵文字が検出されなかった場合（ステップＳ１１８／Ｎｏ）も、メッセージ送信実行制御部１０４は、入力された文字列をそのまま相手に送信する（ステップＳ１３３)。
　以上、本実施形態による動作処理について説明した。なお、変換候補を選択せずに自身で送信前のメッセージを修正できるよう、「修正」ボタンをさらに設けてもよい。
　また、ユーザに確認せずに自動的に表現を変換して送信してもよい。
　　＜３－２．第２の実施形態＞
　次に、第２の実施形態について図９～図１１を参照して説明する。上述した実施形態では、外部への通知としてメッセージ（テキスト、画像）を出力する場合について説明したが、本開示はこれに限定されず、例えばクラクション音の通知も同様にユーザの感情に応じて制御してもよい。
　（構成）
　図９は、第２の実施形態による車載型のクライアント端末１ｘの構成の一例を示すブロック図である。車載型のクライアント端末１ｘは、自動車の車両システムと有線／無線で接続し、主にクラクション音の出力制御を行う。
　図９に示すように、クライアント端末１ｘは、制御部１０ｘ、通信部１１ｘ、クラクション操作検出部１９、カメラ１３、センサ１４、音声入力部１５、音声出力部１７、および記憶部１８を有する。
　制御部１０ｘは、演算処理装置および制御装置として機能し、各種プログラムに従って車載型のクライアント端末１内の動作全般を制御する。制御部１０は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。
　また、本実施形態による制御部１０ｘは、感情認識部１０１、クラクション音変換部１０５、およびクラクション音出力制御部１０６としても機能する。
　感情認識部１０１は、第１の実施形態と同様に、ユーザ（ここでは、運転手）の感情を認識する。
　クラクション音変換部１０５は、クラクション操作時のユーザの感情に応じてクラクションの音を変換することが可能である。例えば、ユーザの感情が「怒り」等のネガティブな感情であった場合、相手への威嚇や攻撃といった目的でクラクションを鳴らそうとしていると推定されるため、標準より穏やかな音質のクラクション音に変換する（例えば音量を下げるだけであってもよい）。また、ユーザの感情が「幸福」等のポジティブな感情であった場合、相手へのお礼や挨拶、感謝の気持ちをクラクションで示そうとしていることが推定されるため、明るい音質（和音）のクラクション音に変換する。なおクラクション音の変換は、より具体的にはクラクション音のパラメータ制御により行われる。例えばクラクション音制御用のパラメータが既に感情に応じて設定されている場合、クラクション音変換部１０５は、標準のクラクション音のパラメータ（デフォルト）を、認識された感情に対応するパラメータに変換するよう制御する。
　クラクション音出力制御部１０６は、クラクション音の出力制御を行う。例えばクラクション音出力制御部１０６は、クラクション操作検出部１９によりユーザによるクラクション操作（例えばホーンスイッチの押込み）が検出された際に、クラクション音を出力するよう制御する。本実施形態によるクラクション音出力制御部１０６は、ユーザが特定の感情（例えば「怒り」）の際にクラクション操作を行った場合は、クラクション音の出力を一旦中断し、ユーザからさらなる出力指示があった場合に出力するよう制御する。
　通信部１１ｘは、サーバなどの外部装置とデータの送受信を行う外部通信機能と、車載ネットワークとデータの送受信を行う内部通信機能とを有する。車載ネットワークとは、車両内の各制御ユニット（駆動系制御ユニット、ボディ系制御ユニット、バッテリ制御ユニット、車外情報検出ユニット、車内情報検出ユニット等）と接続する通信ネットワークである。ホーンスイッチ（クラクション操作部）からの押下情報（クラクション操作情報）やクラクション部（報知部）に対する制御（クラクション音出力制御）は、当該車載ネットワークを介して行われ得る。
　カメラ１３、センサ１４、音声入力部１５、音声出力部１７、および記憶部１８は、第１の実施形態と同様である。カメラ１３は、運転手であるユーザの顔画像を撮像し、センサ１４は、運転手であるユーザの状況を検知する各種センサである。なお本実施形態による音声出力部１７は、ここでは主に車内のユーザ向けに音声を出力するものである。また、音声出力部１７は、クラクション音出力制御部１０６の制御により、ユーザへの通知として、車内向けのクラクション音を再生し得る。
　クラクション操作検出部１９は、ユーザによるクラクション操作を検出する。例えばクラクション操作検出部１９は、車載ネットワークを介してハンドル中央部に設けられたホーンスイッチ（クラクション操作部の一例）の押下情報を取得して検出する。
　以上、本実施形態による車載型のクライアント端末１ｘの構成について具体的に説明した。なおクライアント端末１ｘの構成は図９に示す例に限定されない。例えば、カメラ１３、センサ１４、音声入力部１５、および音声出力部１７の少なくともいずれかが、車内に設けられた外部装置であってもよく、クライアント端末１ｘは、車載ネットワークを介してデータの送受信を行い得る。例えばクライアント端末１ｘがスマートフォン、タブレット端末、ウェアラブルデバイス、または取り外し可能な車載端末である場合に、カメラ１３は車内に設けられたカメラであってもよいし、センサ１４はハンドルや操作レバー、または車体（車外、車内）に設けられたセンサであってもよいし、音声入力部１５および音声出力部１７も車内に設けられたものであってもよい。
　（動作処理）
　続いて、本実施形態の動作処理について図１０を参照して説明する。図１０は、第２の実施形態による動作処理を示すフローチャートである。
　図１０に示すように、まず、クライアント端末１ｘは、感情認識部１０１により、運転中のユーザの感情を認識し続けている（ステップＳ２０３）。
　次に、ユーザがクラクション操作を実行したこと（例えばホーンボタンを押下したこと）がクラクション操作検出部１９により検出されると（ステップＳ２０６）、制御部１０ｘは、クラクション操作時におけるユーザの感情が「怒り」の感情であるか否かを判断する（ステップＳ２０９）。
　次いで、ユーザの感情が「怒り」の感情であった場合（ステップＳ２０９／Ｙｅｓ）、クラクション音出力制御部１０６は、ユーザ操作に応じて、クラクション音を音声出力部１７により車内のみで再生する（ステップＳ２１２）。この段階では、車外へは報知されていない。すなわち、クラクション音出力制御部１０６は、ユーザのクラクション操作に応じた車外へのクラクション音出力の実行を一旦中断している。このように、クラクション音を車内で鳴らすことで、感情的になっているユーザを冷静にさせる効果が期待できる。それでもユーザは外部へのクラクション音の放出を実行したい場合は、例えばさらにホーンボタンを押し込んだり、長押ししたりする操作を行う。
　次に、ユーザがさらに強くホーンボタンを押し込んだ（若しくはホーンボタンを長押し等した）場合（ステップＳ２１５／Ｙｅｓ）、制御部１０ｘは、クラクション音変換部１０５により、標準より穏やかな音質に（パラメータを）変換し、クラクション音出力制御部１０６により、クラクション音を車外で再生するよう制御する（ステップＳ２１８）。
　一方、ユーザがホーンボタンの押し込みを止めた場合（ステップＳ２１５／Ｎｏ）、クラクション音の車外報知は行わない。
　また、「怒り」の感情ではなく（ステップＳ２０９／Ｎｏ）、「幸福」の感情を検出した場合（ステップＳ２２１／Ｙｅｓ）、制御部１０ｘは、クラクション音変換部１０５により、標準より明るい音質に（パラメータを）変換し、クラクション音出力制御部１０６により、クラクション音を車外で再生するよう制御する（ステップＳ２２７）。
　また、「怒り」や「幸福」のいずれの感情も検出されなかった場合（ステップＳ２０９／Ｎｏ、ステップＳ２２１／Ｎｏ）、運転手であるユーザは平常の状態で冷静に判断してクラクション音を報知しようとしていると推定できるため、制御部１０ｘは、クラクション音出力制御部１０６により、クラクション音を標準のパラメータで（変換せずに）車外再生するよう制御する（ステップＳ２２４）。
　以上、外部への通知の一例としてクラクション音のユーザ感情に応じた制御について具体的に説明した。なお、本実施形態によるユーザ感情に応じたクラクション音制御は、安全性を考慮し、危険性が無い場合に実施するようにしてもよい。危険性の判断は、例えば飛び出しや車間距離、車両のスピード、周辺状況等に基づいて適宜判断し得る。
　また、実施形態によるユーザ感情に応じたクラクション音制御は、ユーザの現在位置を考慮し、例えば高級住宅地等の特定の地域で行うようにしてもよい。高級住宅地で怒りに任せてクラクション音が鳴らされることは好ましくないためである。
　図１１は、第２の実施形態による位置情報に応じたクラクション音制御の動作処理を示すフローチャートである。
　図１１に示すステップＳ２０３～Ｓ２１５は、図１０を参照して説明した同符号の処理と同様であるため、ここでの詳細な説明は省略する。
　次いで、車内へのクラクション音再生にも関わらず、ユーザが外部へのクラクション音の放出を望み、さらに強くホーンボタンを押し込んだ場合（ステップＳ２１５／Ｙｅｓ）、制御部１０ｘは、センサ１４により現在位置情報を取得し（ステップＳ２１６）、現在地が高級住宅地等の特定の地域であるか否かを判断する（ステップＳ２１７）。
　次に、特定の地域である場合（ステップＳ２１７／Ｙｅｓ）、制御部１０ｘは、クラクション音変換部１０５により、標準より穏やかな音質に（パラメータを）変換し、クラクション音出力制御部１０６により、クラクション音を車外で再生するよう制御する（ステップＳ２１８）。
　一方、特定の地域ではない場合（ステップＳ２１７／Ｎｏ）、制御部１０ｘは、クラクション音出力制御部１０６により、クラクション音を標準のパラメータで（変換せずに）車外再生するよう制御する（ステップＳ２２４）。
　　＜３－３．第３の実施形態＞
　次に、第３の実施形態について図１２～図１４を参照して説明する。本実施形態では、メッセージを送ろうとしているユーザの感情に加えて、送信先の相手ユーザの感情も考慮して、メッセージ表現の変換処理を行うことを特徴とする。
　図１２は、本実施形態による情報処理システムに含まれるクライアント端末１Ａ、１Ｂの主要構成について説明する図である。例えばユーザＡがクライアント端末１ＡからユーザＢのクライアント端末１Ｂにメッセージを送信しようとしている際、クライアント端末１Ａは、クライアント端末１Ｂの感情認識部１０１ｂにより認識されたユーザＢの感情の認識結果を取得する。クライアント端末１Ａは、受信したユーザＢの感情をユーザＡに通知すると共に、このままメッセージを送信するか否かをユーザに問い合わせる。これにより、感情的になっているユーザＡを冷静にさせることが期待できる。
　図１３は、第３の実施形態による動作処理を示すフローチャートである。図１３に示すステップＳ３０３～Ｓ３１５の処理は、図７に示すステップＳ１０３～Ｓ１１８に示す処理と同様である。
　クライアント端末１は、メッセージを送信しようとした際のユーザの感情が「怒り」であって、入力したメッセージの文字列内に「怒り」の感情を表す単語または絵文字が検出された場合（ステップＳ３１５／Ｙｅｓ）、相手の感情を取得する（ステップＳ３１８）。
　次に、相手の感情が例えば「落胆」であった場合（ステップＳ３２１／Ｙｅｓ）、表示制御部１０３は、相手が落胆していることをユーザにアイコン等で提示する（ステップＳ３２４）。
　さらに、表示制御部１０３は、相手が落胆しているがこのメッセージを送ってしまってよいかをユーザに尋ねる（ステップＳ３２７）。ここで、図１４に、第３の実施形態による提示画面の一例を示す。図１４に示すように、提示画面１６４は、「相手が落ち込んでいます。この表現のまま送信しますか？」といった文言と、「はい／いいえ」ボタンを表示する。これによりユーザは相手の状況を知ることができ、感情的なまま「怒り」のメッセージを送信することを考え直すことができる。なおここでは一例として「落胆」を検出した場合としたが、本実施形態はこれに限定されず、「悲しみ」、「驚き」、または「恐怖」といった感情を検出した場合としてもよい。
　続いて、問い合せに対して承認された場合（図１４に示す例では、「この表現のまま送信しますか？」の問い合わせに対して「はい」ボタンがタップされた場合）（ステップＳ３３０／Ｙｅｓ）、メッセージ送信実行制御部１０４は、入力された文字列をそのまま相手に送信するよう制御する（ステップＳ３３３）。なお、第１の実施形態と同様に、併せて変換候補を提示し、ユーザにより変換の上送信の指示がなされた場合は、変換したメッセージを相手に送信するようにしてもよい。
　一方、承認されなかった場合（図１４に示す例では、「この表現のまま送信しますか？」の問い合わせに対して「いいえ」ボタンがタップされた場合）（ステップＳ３３０／Ｎｏ）、上記ステップＳ３０３に戻り、文字列の入力（修正）が可能となる。
　　＜３－４．第４の実施形態＞
　続いて、第４の実施形態について図１５を参照して説明する。本実施形態では、相手に送信するメッセージを翻訳する機能をさらに有する。
　図１５は、第４の実施形態による動作処理を示すフローチャートである。図１５に示すステップＳ１０３～Ｓ１２７の処理は、図７に示す同符号の処理と同様である。
　クライアント端末１は、メッセージを送信しようとした際のユーザの感情が「怒り」であって、入力したメッセージの文字列内に「怒り」の感情を表す単語または絵文字が検出された場合に、変換候補を提示し、ユーザにより変換候補が選択された場合（ステップＳ１２７／Ｙｅｓ）、メッセージ送信実行制御部１０４は、変換後の文字列を翻訳して、相手に送信する（ステップＳ１３１)。
　一方、ユーザが変換候補を選択しなかった場合（ステップＳ１２７／Ｎｏ)、メッセージ送信実行制御部１０４は、入力された文字列をそのまま翻訳して、相手に送信する（ステップＳ１３４)。
　＜＜５．まとめ＞＞
　上述したように、本開示の実施形態による情報処理システムでは、外部への通知の実行をユーザの感情に応じて制御することが可能となる。
　具体的には、相手ユーザに対する通知（メッセージ（テキスト、画像）、クラクション（音声）など）を行おうとする際のユーザの感情を認識し、当該ユーザの感情がネガティブであれば、当該通知（ネガティブな感情を表現した通知）を穏やかになるように制御し、また、当該ユーザの感情がポジティブであれば、当該通知（ポジティブな感情を表現した通知）が強調されるように制御することができる。
　これにより、相手に対してネガティブな感情を抱いているときに感情的に相手にネガティブな感情を表現する通知を行って関係性が悪化したり、後で後悔したりすることを回避することができる。また、相手に対してポジティブな感情を抱いているときには、ポジティブな感情を表現した通知をより強調して相手に伝えることで、関係性をさらに良好にすることができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上述したクライアント端末１、またはサーバ２に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、クライアント端末１、またはサーバ２の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、メッセージにテキストの他絵文字を用いることを説明したが、本実施形態はこれに限定されず、ユーザの感情を表現したシンボルの表示を行う場合にも適用され得る。例えば車両の外側に電子ペーパー等により形成されたディスプレイが設けられ、運転者の感情を表すシンボルが表示できるシステムにおいて、ポジティブな感情を放出する場合は周囲との関係性が良好化して望ましいが、ネガティブな感情をそのまま放出することはトラブルに成りかねない。そこで、本実施形態による制御処理を適用し、例えば「怒り」の感情のまま「怒り」のシンボルを表示しようとする際は、一旦表示を中断してユーザにこの内容で良いかを確認するようにしてもよい。また、「怒り」の感情のまま「怒り」のシンボルを表示しようとする際は、「怒り」のシンボルを多少穏やかなシンボルにして出力するようにしてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　外部に通知するための通知部と、
　前記通知部により通知する直前に、ユーザがネガティブな感情を抱いていると認識すると、当該通知の実行を指示するユーザの操作後、一旦当該通知の実行を中断し、さらなる通知の実行を指示するユーザ操作に応じて外部への通知を実行するように前記通知部を制御する制御部を備える、情報処理システム。
（２）
　前記制御部は、
　　前記通知部により通知する直前に、前記ユーザがネガティブな感情を抱いていると認識すると、当該通知の実行を指示するユーザ操作後に、一旦当該通知の実行を中断し、さらなるユーザ操作に応じて、当該通知を穏やかな表現に変更した後に通知するように前記通知部を制御する、前記（１）に記載の情報処理システム。
（３）
　前記制御部は、前記穏やかな表現に変更された通知の内容を翻訳した上で通知するよう制御する、前記（２）に記載の情報処理システム。
（４）
　前記制御部は、
　　前記通知部により通知する直前に、前記ユーザがネガティブな感情を抱いていると認識すると、
　　前記通知の内容を解析し、当該通知の内容の中にネガティブな表現があるとき、
その通知の実行を指示するユーザ操作後、一旦当該通知の実行を中断し、さらなる通知の実行を指示するユーザ操作に応じて、外部への通知を実行するように前記通知部を制御する、前記（１）～（３）のいずれか１項に記載の情報処理システム。
（５）
　前記制御部は、
　前記通知の内容の中にネガティブな表現があるとき、当該通知の実行を指示するユーザ操作後、一旦当該通知の実行を中断し、さらなるユーザ操作に応じて、当該通知を穏やかな表現に変更した後に通知するように前記通知部を制御する、前記（４）に記載の情報処理システム。
（６）
　前記制御部は、
　一旦当該通知の実行を中断し、当該通知を穏やかな表現に変更することを前記ユーザに提示した上で、さらなるユーザ操作を待つよう制御する、前記（５）に記載の情報処理システム。
（７）
　前記通知は、テキストまたは画像の通知である、前記（１）～（６）のいずれか１項に記載の情報処理システム。
（８）
　前記情報処理システムは、さらに、ユーザに情報を提示するための提示部を備え、
　前記制御部は、
　前記通知部により通知する直前に、前記ユーザがネガティブな感情を抱いていると認識すると、当該通知の実行を指示するユーザ操作後に、前記提示部により前記ユーザに当該通知を提示し、さらなる通知の実行を指示するユーザ操作に応じて、外部への通知を実行するように前記通知部を制御する、前記（１）～（７）のいずれか１項に記載の情報処理システム。
（９）
　前記制御部は、
　前記通知部により通知する直前に、前記ユーザがポジティブな感情を抱いていると認定すると、当該ポジティブな感情がより伝わるように、当該通知の表現を変更する、前記（８）に記載の情報処理システム。
（１０）
　前記通知は、クラクション音である、前記（７）または（８）に記載の情報処理システム。
（１１）
　前記情報処理システムは、さらに、前記ユーザに情報を提示するための提示部を備え、
　前記制御部は、
　さらに、前記通知を受け取る相手ユーザの感情を取得し、
　前記通知部により通知する直前に、前記ユーザがネガティブな感情を抱いていると推定すると、前記提示部により前記相手ユーザの感情を前記ユーザに通知し、当該相手ユーザの感情に応じた当該ユーザによる応答に応じて、当該通知の内容を穏やかな表現に変更した後に通知するように前記通知部を制御する、前記（１）～（７）のいずれか１項に記載の情報処理システム。
（１２）
　コンピュータを、
　外部に通知するための通知部と、
　前記通知部により通知する直前に、ユーザがネガティブな感情を抱いていると認識すると、当該通知の実行を指示するユーザの操作後、一旦当該通知の実行を中断し、さらなる通知の実行を指示するユーザ操作に応じて外部への通知を実行するように前記通知部を制御する制御部と、
として機能させるためのプログラムが記録された、記憶媒体。
　１、１ｘ　クライアント端末
　　１０、１０ｘ　制御部
　　　１０１　感情認識部
　　　１０２　表現変換部
　　　１０３　表示制御部
　　　１０４　メッセージ送信実行制御部
　　　１０５　クラクション音変換部
　　　１０６　クラクション音出力制御部
　　１１、１１ｘ　通信部
　　１２　操作入力部
　　１３　カメラ
　　１４　センサ
　　１５　音声入力部
　　１６　表示部
　　１７　音声出力部
　　１８　記憶部
　　１９　クラクション操作検出部
　２　サーバ
　　２０　制御部
　　　２０１　感情認識部
　　　２０２　表現変換部
　　　２０３　出力制御部
　　　２０４　メッセージ送信実行制御部
　　２１　通信部
　　２２　記憶部

Claims (12)

  1. 　外部に通知するための通知部と、
    　前記通知部により通知する直前に、ユーザがネガティブな感情を抱いていると認識すると、当該通知の実行を指示するユーザの操作後、一旦当該通知の実行を中断し、さらなる通知の実行を指示するユーザ操作に応じて外部への通知を実行するように前記通知部を制御する制御部を備える、情報処理システム。
  2. 　前記制御部は、
    　　前記通知部により通知する直前に、前記ユーザがネガティブな感情を抱いていると認識すると、当該通知の実行を指示するユーザ操作後に、一旦当該通知の実行を中断し、さらなるユーザ操作に応じて、当該通知を穏やかな表現に変更した後に通知するように前記通知部を制御する、請求項１に記載の情報処理システム。
  3. 　前記制御部は、前記穏やかな表現に変更された通知の内容を翻訳した上で通知するよう制御する、請求項２に記載の情報処理システム。
  4. 　前記制御部は、
    　　前記通知部により通知する直前に、前記ユーザがネガティブな感情を抱いていると認識すると、
    　　前記通知の内容を解析し、当該通知の内容の中にネガティブな表現があるとき、
    その通知の実行を指示するユーザ操作後、一旦当該通知の実行を中断し、さらなる通知の実行を指示するユーザ操作に応じて、外部への通知を実行するように前記通知部を制御する、請求項１に記載の情報処理システム。
  5. 　前記制御部は、
    　前記通知の内容の中にネガティブな表現があるとき、当該通知の実行を指示するユーザ操作後、一旦当該通知の実行を中断し、さらなるユーザ操作に応じて、当該通知を穏やかな表現に変更した後に通知するように前記通知部を制御する、請求項４に記載の情報処理システム。
  6. 　前記制御部は、
    　一旦当該通知の実行を中断し、当該通知を穏やかな表現に変更することを前記ユーザに提示した上で、さらなるユーザ操作を待つよう制御する、請求項５に記載の情報処理システム。
  7. 　前記通知は、テキストまたは画像の通知である、請求項１に記載の情報処理システム。
  8. 　前記情報処理システムは、さらに、ユーザに情報を提示するための提示部を備え、
    　前記制御部は、
    　前記通知部により通知する直前に、前記ユーザがネガティブな感情を抱いていると認識すると、当該通知の実行を指示するユーザ操作後に、前記提示部により前記ユーザに当該通知を提示し、さらなる通知の実行を指示するユーザ操作に応じて、外部への通知を実行するように前記通知部を制御する、請求項１に記載の情報処理システム。
  9. 　前記制御部は、
    　前記通知部により通知する直前に、前記ユーザがポジティブな感情を抱いていると認定すると、当該ポジティブな感情がより伝わるように、当該通知の表現を変更する、請求項８に記載の情報処理システム。
  10. 　前記通知は、クラクション音である、請求項７に記載の情報処理システム。
  11. 　前記情報処理システムは、さらに、前記ユーザに情報を提示するための提示部を備え、
    　前記制御部は、
    　さらに、前記通知を受け取る相手ユーザの感情を取得し、
    　前記通知部により通知する直前に、前記ユーザがネガティブな感情を抱いていると推定すると、前記提示部により前記相手ユーザの感情を前記ユーザに通知し、当該相手ユーザの感情に応じた当該ユーザによる応答に応じて、当該通知の内容を穏やかな表現に変更した後に通知するように前記通知部を制御する、請求項１に記載の情報処理システム。
  12. 　コンピュータを、
    　外部に通知するための通知部と、
    　前記通知部により通知する直前に、ユーザがネガティブな感情を抱いていると認識すると、当該通知の実行を指示するユーザの操作後、一旦当該通知の実行を中断し、さらなる通知の実行を指示するユーザ操作に応じて外部への通知を実行するように前記通知部を制御する制御部と、
    として機能させるためのプログラムが記録された、記憶媒体。
PCT/JP2018/000062 2017-04-06 2018-01-05 情報処理システムおよび記憶媒体 WO2018185988A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201880022385.8A CN110462597B (zh) 2017-04-06 2018-01-05 信息处理系统以及存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017075831 2017-04-06
JP2017-075831 2017-04-06

Publications (1)

Publication Number Publication Date
WO2018185988A1 true WO2018185988A1 (ja) 2018-10-11

Family

ID=63713122

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/000062 WO2018185988A1 (ja) 2017-04-06 2018-01-05 情報処理システムおよび記憶媒体

Country Status (2)

Country Link
CN (1) CN110462597B (ja)
WO (1) WO2018185988A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020194828A1 (ja) * 2019-03-22 2020-10-01 ディライトワークス株式会社 情報処理システム、情報処理装置、および情報処理方法
US11283751B1 (en) 2020-11-03 2022-03-22 International Business Machines Corporation Using speech and facial bio-metrics to deliver text messages at the appropriate time
JP7360756B1 (ja) 2022-04-15 2023-10-13 株式会社三鷹ホールディングス 磁性流体を用いた表示装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11250066A (ja) * 1998-03-04 1999-09-17 Casio Comput Co Ltd 電子メール装置及び電子メール処理プログラムを記録した記録媒体
JP2012146219A (ja) * 2011-01-13 2012-08-02 Nikon Corp 電子機器および電子機器の制御プログラム
JP2013029928A (ja) * 2011-07-27 2013-02-07 Nec Casio Mobile Communications Ltd 情報端末装置、そのデータ加工方法及びプログラム
JP2015046065A (ja) * 2013-08-28 2015-03-12 ヤフー株式会社 情報処理装置、制御方法および制御プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017050810A (ja) * 2015-09-04 2017-03-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 制御方法、通信端末、通信システムおよびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11250066A (ja) * 1998-03-04 1999-09-17 Casio Comput Co Ltd 電子メール装置及び電子メール処理プログラムを記録した記録媒体
JP2012146219A (ja) * 2011-01-13 2012-08-02 Nikon Corp 電子機器および電子機器の制御プログラム
JP2013029928A (ja) * 2011-07-27 2013-02-07 Nec Casio Mobile Communications Ltd 情報端末装置、そのデータ加工方法及びプログラム
JP2015046065A (ja) * 2013-08-28 2015-03-12 ヤフー株式会社 情報処理装置、制御方法および制御プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020194828A1 (ja) * 2019-03-22 2020-10-01 ディライトワークス株式会社 情報処理システム、情報処理装置、および情報処理方法
US11283751B1 (en) 2020-11-03 2022-03-22 International Business Machines Corporation Using speech and facial bio-metrics to deliver text messages at the appropriate time
JP7360756B1 (ja) 2022-04-15 2023-10-13 株式会社三鷹ホールディングス 磁性流体を用いた表示装置

Also Published As

Publication number Publication date
CN110462597B (zh) 2023-10-20
CN110462597A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
KR102334942B1 (ko) 돌봄 로봇을 위한 데이터 처리 방법 및 장치
WO2017130486A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP6760271B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2016178329A1 (ja) 情報処理システム、制御方法、および記憶媒体
WO2018185988A1 (ja) 情報処理システムおよび記憶媒体
US20230089566A1 (en) Video generation method and related apparatus
US11848016B2 (en) Voice control command generation method and terminal
JPWO2017064891A1 (ja) 情報処理システム、情報処理方法、および記憶媒体
CN108133708B (zh) 一种语音助手的控制方法、装置及移动终端
JP6973380B2 (ja) 情報処理装置、および情報処理方法
CN109451158B (zh) 一种提醒方法和装置
WO2016206642A1 (zh) 机器人的控制数据的生成方法及装置
CN105229997B (zh) 通信终端和通信方法
JP2021117371A (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2020173283A1 (zh) 提醒任务处理方法、终端及计算机可读存储介质
US11189289B2 (en) Information processing device, information processing method, and information processing system
WO2015079865A1 (ja) 入力装置、コミュニケーション情報の特定方法、処理装置、表示装置、プログラム、および記録媒体
KR20120065090A (ko) 이동통신 단말 기반의 심리치료 장치
KR20200028521A (ko) 아기 주변 영역을 이용한 아기의 감정 상태 증강 방법
CN114065168A (zh) 信息处理方法、智能终端及存储介质
CN112700783A (zh) 通讯的变声方法、终端设备和存储介质
KR102549453B1 (ko) 아기의 감정 상태 증강을 이용한 아기와 대화 제공 방법
CN115079810A (zh) 信息处理方法与装置、主控设备和受控设备
WO2023231936A1 (zh) 一种语音交互方法及终端
US11928253B2 (en) Virtual space control system, method for controlling the same, and control program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18781200

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18781200

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP