WO2020017293A1 - 情報処理装置、情報処理方法及び情報処理のためのプログラム - Google Patents
情報処理装置、情報処理方法及び情報処理のためのプログラム Download PDFInfo
- Publication number
- WO2020017293A1 WO2020017293A1 PCT/JP2019/026071 JP2019026071W WO2020017293A1 WO 2020017293 A1 WO2020017293 A1 WO 2020017293A1 JP 2019026071 W JP2019026071 W JP 2019026071W WO 2020017293 A1 WO2020017293 A1 WO 2020017293A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- character string
- emotion
- message
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/103—Formatting, i.e. changing of presentation of documents
- G06F40/109—Font handling; Temporal or kinetic typography
Definitions
- the present invention relates to an information processing apparatus, an information processing method, and a program for information processing.
- the user may change the font of the character string in the message body to visually express his / her emotion.
- a user sometimes inserts pictograms, illustration images, and the like that visually represent his / her emotions into the message body.
- Patent Document 1 discloses a technique in which pictogram images of pictogram data corresponding to an input character string are displayed as a list of conversion candidates.
- the object of the present invention is to pay attention to the above circumstances.
- it is an object of the present invention to provide a technique for reducing the burden on a user for decorating a message.
- a first aspect is a first acquisition unit that acquires biometric data of a user, an estimation unit that estimates the emotion of the user based on the biometric data of the user, and an estimating unit that estimates the emotion of the user.
- An information processing apparatus comprising: a support unit that supports decoration of a message created based on an input; and an output unit that outputs the message with the decoration.
- the information processing device supports the decoration of the message by reflecting the emotion of the user, it is possible to reduce the burden of the decoration operation of the message by the user. Thereby, the user can easily decorate the message according to his / her emotion. Therefore, for example, the user does not increase the feeling of anger or frustration, or the feeling of joy or excitement does not decrease.
- the information processing apparatus further includes a second acquisition unit that acquires an input instruction of a character string constituting the message based on the input of the user, wherein the support unit And presenting one or more font candidates corresponding to the user's emotion to the character string according to the user's emotion.
- the information processing apparatus can present font candidates that the user wants to select as character string decorations. On the other hand, the information processing apparatus does not present font candidates that the user does not want to select as character string decorations. For this reason, the information processing apparatus can reduce the user's task of selecting a font to be a character string decoration.
- a third aspect is the above-mentioned first aspect, further comprising a second acquisition unit for acquiring an input instruction of a character string constituting the message based on an input of the user, wherein the support unit is configured to output the character string of the message. Based on an input instruction, a decorative symbol candidate other than the character string corresponding to the user's emotion is presented for the character string.
- the information processing apparatus can present decoration symbol candidates such as pictograms that the user wants to select as character string replacement.
- the information processing device does not present any decoration symbol candidates that the user does not want to select as character string replacement. For this reason, the information processing apparatus can reduce the user's operation of selecting a decorative symbol to replace a character string.
- a fourth aspect is the above-mentioned first aspect, further comprising a second acquisition unit that acquires an input instruction of a character string constituting the message based on the input of the user, wherein the support unit includes The character string is decorated with a font corresponding to the emotion of the user based on an input instruction.
- the information processing apparatus can decorate a character string input by the user with a font corresponding to the emotion of the user without requiring input by the user. Therefore, for the user, the character string created by the user is automatically decorated with a font corresponding to his / her own emotion at that time. Therefore, the information processing apparatus can eliminate the need for the user to decorate a character string, and can easily and quickly create a message with a decoration.
- a fifth aspect is the above-mentioned first aspect, further comprising a second acquisition unit for acquiring an input instruction of a character string constituting the message based on the input of the user, wherein the support unit comprises: A process of replacing the character string with a decorative symbol other than the character string corresponding to the user's emotion based on the input instruction, and a process of adding the decorative graphic symbol corresponding to the user's emotion to the character string Or at least one of the following.
- the information processing device replaces the character string input by the user with a decorative symbol corresponding to the user's emotion without requiring the user's input, or replaces the decorative symbol corresponding to the user's emotion with the character string input by the user. Can be granted. Therefore, for the user, the character string created by the user is automatically replaced with a decoration symbol corresponding to the user's own emotion at that time, or the character string created by the user is decorated according to the user's own emotion at that time. Graphic symbols will be automatically added. For this reason, the information processing apparatus does not need to replace the character string with the decorative figure symbol or add the decorative figure symbol to the character string, and can easily and quickly create the message with the decoration. Can be
- a sixth aspect is a first acquisition step of acquiring the biometric data of the user, an estimation step of estimating the emotion of the user based on the biometric data of the user, and An information processing method comprising: a support step of supporting decoration of a message created based on an input; and an output step of outputting the message with the decoration.
- the information processing method can obtain the same effects as those of the first aspect.
- a seventh aspect is a program for information processing for causing a computer to execute processing of each unit included in the information processing apparatus according to any one of the first to fifth aspects. According to the sixth aspect, the program for information processing can obtain the same effect as in the first aspect.
- FIG. 1 is a diagram schematically illustrating an application example of the mobile terminal according to the embodiment.
- FIG. 2 is a diagram illustrating an overall configuration of the message delivery system according to the embodiment.
- FIG. 3 is a block diagram illustrating a hardware configuration of the mobile terminal according to the embodiment.
- FIG. 4 is a block diagram illustrating a software configuration of the mobile terminal according to the embodiment.
- FIG. 5 is a diagram illustrating a message creation screen on the mobile terminal according to the embodiment.
- FIG. 6 is a flowchart illustrating a message creation support operation in the mobile terminal according to the embodiment.
- the present embodiment will be described with reference to the drawings.
- the present embodiment described below is merely an example in every respect.
- the same or similar elements as those already described are denoted by the same or similar reference numerals, and redundant description is basically omitted.
- This embodiment is a technique for supporting decoration of a message.
- FIG. 1 is a diagram schematically illustrating an application example of the mobile terminal A1.
- the user uses the mobile terminal A1 to create a message having another mobile terminal as a transmission destination.
- the user wears the blood pressure monitor A2 on the wrist.
- the mobile terminal A1 can directly communicate with the sphygmomanometer A2.
- the mobile terminal A1 acquires the blood pressure data of the user.
- the mobile terminal A1 estimates the emotion of the user based on the blood pressure data of the user.
- the mobile terminal A1 supports decoration of a message created based on the user's operation of the mobile terminal A1 according to the emotion of the user.
- the decoration support is to present one or more font candidates corresponding to the user's emotion to a character string constituting a message.
- the decoration support is to present one or more decoration graphic symbol candidates other than the character string corresponding to the user's emotion to the character string constituting the message.
- the decorative figure symbol is a display mode composed of characters other than a character string.
- the decorative figure symbol may be a still image or a moving image.
- the decorative symbol is, but not limited to, an emoji, an emoticon, an illustration image, a photograph, a GIF (Graphics Interchange Format) animation, or the like.
- decoration support is to decorate a character string constituting a message with a font corresponding to the emotion of the user.
- decoration support is to replace a character string constituting a message with a decoration symbol corresponding to the user's emotion, or to add a decoration symbol corresponding to the user's emotion to the character string.
- the mobile terminal A1 outputs a decorated message having another mobile terminal as a destination.
- FIG. 2 is a diagram illustrating an overall configuration of the message delivery system 100.
- the message delivery system 100 is a system for delivering a message.
- the message is realized by a communication tool via various networks such as e-mail, SMS (Short Message Service), SNS (Social Networking Service), and chat, but is not limited thereto.
- the message may be document data for printing or the like.
- the message delivery system 100 includes the mobile terminal 1-1, the mobile terminal 1-2, and the server 3.
- the mobile terminal 1-1, the mobile terminal 1-2, and the server 3 can communicate with each other via a network.
- the network is the Internet.
- the portable terminal 1-1 is a device that creates a message based on a user operation and transmits the message.
- “User operation” is an example of “user input”.
- the user input may include a user voice input other than the user operation. Therefore, in the following description, “user operation” can be appropriately read as “user input”.
- the mobile terminal 1-1 is a message transmission source.
- the mobile terminal 1-1 is a smartphone or a tablet, but is not limited thereto.
- the mobile terminal 1-1 is an example of an information processing device.
- the portable terminal 1-1 communicates directly with the sphygmomanometer 2 that measures the user's blood pressure, and receives the user's blood pressure data continuously or at predetermined intervals.
- the sphygmomanometer 2 is a wearable terminal, and can be worn on a user's wrist.
- the sphygmomanometer 2 is an example of a biological data measurement device that measures a physical quantity of a living body of a user.
- Blood pressure data is an example of an element included in biological data.
- the biometric data is data related to the user's biometric.
- the blood pressure data is data having a correlation with the user's emotion, as described later.
- the mobile terminal 1-2 is a device that receives a message. It is assumed that the mobile terminal 1-2 is a message transmission destination.
- the mobile terminal 1-2 is a smartphone or a tablet, but is not limited thereto.
- the server 3 is a device that distributes a message from the portable terminal 1-1 as a transmission source to the portable terminal 1-2 as a destination.
- FIG. 3 is a block diagram illustrating a hardware configuration of the portable terminal 1-1.
- the portable terminal 1-1 includes a processor 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a storage device 14, a communication interface 15, an input unit 16, a display unit 17, and an audio output unit 18. Each element is electrically connected to each other.
- the communication interface is described as “communication I / F”.
- the processor 11 controls each element of the portable terminal 1-1.
- the processor 11 is a CPU (Central Processing Unit), but is not limited thereto.
- the processor 11 develops a program for executing the portable terminal 1-1 stored in the storage device 14 in the RAM 13.
- the processor 11 can execute various operations by interpreting and executing the program expanded on the RAM 13.
- the storage device 14 is a so-called auxiliary storage device.
- the storage device 14 is a semiconductor memory such as a built-in or external flash memory, but is not limited thereto.
- the storage device 14 stores a program executed by the processor 11. Note that the program may be stored in the storage device 14 in advance.
- the program may be downloaded to the mobile terminal 1-1 via a network.
- the program may be stored and distributed on a non-transitory computer-readable medium.
- the storage device 14 stores the biometric data of the user.
- the biological data includes blood pressure data received by the portable terminal 1-1 from the sphygmomanometer 2 continuously or at predetermined intervals.
- the blood pressure data is data in which a blood pressure value is associated with a measurement date and time.
- the biometric data may include data related to the living body other than the blood pressure data.
- the data related to the living body includes data indicating a physical quantity of the living body of the user, such as blood pressure data.
- data indicating a physical quantity of a living body includes pulse data, electrocardiographic data, respiratory data, eye movement data, activity data, and body temperature data, but is not limited thereto.
- the data related to the living body includes data indicating the appearance of the living body of the user.
- the data indicating the appearance of the living body is data of facial expressions, but is not limited thereto.
- the data related to the living body includes data detected by movement of the living body of the user.
- the data detected by the movement of the living body includes pressure data, sound data, and pitch data when the user operates the input unit 16, but is not limited thereto.
- the biometric data is associated with the measurement date and time.
- the storage device 14 stores learning data used for estimating the emotion of the user associated with the mobile terminal 1-1.
- the learning data is data indicating the relevance between information indicating the emotion of the user and the biometric data. An example of generating learning data will be described later.
- the storage device 14 stores data of a plurality of decoration candidates used for supporting decoration of a message described later.
- fonts and decorative symbols are used for decoration, but are not limited thereto.
- fonts include, but are not limited to, font, color, and size.
- Each of the plurality of decoration candidates is associated with information representing an emotion.
- the communication interface 15 is an interface for communicatively connecting the portable terminal 1-1 with another device.
- the communication interface 15 includes a short-range wireless communication module.
- the short-range wireless communication method is, for example, a communication method based on Bluetooth (registered trademark), but is not limited thereto.
- the communication interface 15 can directly communicate with the sphygmomanometer 2 using the short-range wireless communication method.
- the communication interface 15 includes modules for various wireless communication schemes for mobile communication (3G, 4G, etc.) and WLAN (Wireless Local Area Network). In this case, the communication interface 15 can communicate with the server 3 using various wireless communication methods.
- the input unit 16 is a device that receives an instruction based on a user operation.
- the input unit 16 includes a touch panel and operation keys, but is not limited thereto.
- the input unit 16 outputs a signal corresponding to an instruction based on a user operation to the processor 11.
- the input unit 16 is not limited to a device that receives an instruction based on a user operation, but may be a device that receives an instruction based on a user's voice.
- the display unit 17 is a device that displays information.
- the display unit 17 is a liquid crystal display, but is not limited thereto.
- the audio output unit 18 is a device that outputs audio.
- the audio output unit 18 is a speaker, but is not limited to this.
- the mobile terminal 1-1 may include a plurality of processors.
- the learning data stored in the storage device 14 is created in advance using the above-described portable terminal 1-1 as exemplified below.
- the user causes the display unit 17 to display an emotion input screen.
- the emotion input screen expresses the emotion on a two-dimensional coordinate plane by setting the vertical axis to the activity level (Arousal) of the emotion and the horizontal axis to the intensity (Valence) of the activity level.
- the two-dimensional coordinate plane is a Russell ring model.
- the user plots a coordinate position corresponding to his / her emotion on the two-dimensional coordinate plane using the input unit 16.
- the processor 11 recognizes the position coordinates plotted by the user as information representing the user's emotion at the input date and time of the position coordinates.
- the processor 11 acquires the biological data of the measurement date and time corresponding to the input date and time of the position coordinates from the storage device 14. Alternatively, the processor 11 may acquire from the storage device 14 the biological data of the measurement date and time included in the predetermined period from the input date and time of the position coordinates.
- the processor 11 associates information representing the user's emotion at the input date and time of the position coordinates with the biometric data.
- the processor 11 generates learning data by associating biometric data with information representing the emotions of the user at many dates and times.
- FIG. 4 is a block diagram illustrating a software configuration of the mobile terminal 1-1.
- the processor 11 implements a first acquisition unit 111, an estimation unit 112, a second acquisition unit 113, a creation unit 114, a support unit 115, an output unit 116, and a setting unit 117.
- the first acquisition unit 111 acquires the biometric data of the user as exemplified below. First, the first acquisition unit 111 sequentially acquires the biological data of the measurement date and time closest to the current date and time from the storage device 14 as time elapses. Next, the first acquisition unit 111 sequentially sends the biometric data to the estimation unit 112 each time the biometric data is acquired.
- the estimation unit 112 will be described.
- the estimating unit 112 estimates the emotion of the user based on the biometric data of the user, as exemplified below.
- the estimation unit 112 receives biometric data from the first acquisition unit 111.
- the estimating unit 112 refers to the learning data stored in the storage device 14 and acquires information indicating the emotion of the user associated with the biometric data acquired by the first acquiring unit 111.
- the estimating unit 112 estimates the user's emotion based on the information indicating the user's emotion. As described above, the estimating unit 112 estimates the emotion of the user every time the biological data is received from the first acquiring unit 111.
- the estimation unit 112 estimates the degree of the user's emotion in a predetermined type of emotion index.
- the predetermined type of emotion indicator is an indicator of anger or an indicator of frustration.
- the estimation unit 112 estimates the degree of the user's emotion in the anger index or the frustration index.
- the predetermined type of emotion indicator is a joy indicator or an excitement indicator.
- the estimation unit 112 estimates the degree of the user's emotion in the pleasure index or the excitement index.
- the estimating unit 112 may estimate the user's emotion by a method other than the method of estimating the user's emotion illustrated. For example, the estimation unit 112 may estimate the user's emotion based on pressure, sound, pitch, and the like when the user operates the input unit 16.
- the estimation unit 112 Each time the estimation unit 112 estimates the user's emotion, the estimation unit 112 sequentially sends an estimation result including information on the user's emotion to the support unit 115.
- the estimation result includes the measurement date and time of the biometric data used for estimating the emotion of the user by the estimation unit 112.
- the second acquisition unit 113 acquires various instructions based on a user operation from the input unit 16.
- the second acquisition unit 113 acquires an instruction to start an application for creating a message based on a user operation using the input unit 16.
- the user inputs an instruction to start an application for creating a message from the mobile terminal 1-1 to the mobile terminal 1-2 through the input unit 16.
- the display unit 17 displays an application screen based on the start instruction.
- the second acquisition unit 113 acquires an instruction to input a character string constituting a message based on a user operation using the input unit 16.
- the second acquisition unit 113 acquires a message creation completion instruction based on a user operation using the input unit 16.
- the second acquisition unit 113 sends a creation completion instruction to the creation unit 114.
- the creation unit 114 will be described.
- the creating unit 114 creates a message based on a user operation, as exemplified below.
- the creation unit 114 sequentially receives a character string input instruction from the second acquisition unit 113.
- the creating unit 114 creates a message based on the character string input instruction.
- the creating unit 114 causes the display unit 17 to sequentially display the character strings based on the input instruction of the character strings.
- the creation unit 114 receives a creation completion instruction from the second acquisition unit 113.
- creating section 114 completes the creation of the message based on the creation completion instruction, and sends the message to output section 116.
- the support unit 115 will be described.
- the support unit 115 supports decoration of a message created based on the operation of the user according to the emotion of the user, as exemplified below.
- the support unit 115 sequentially receives estimation results from the estimation unit 112.
- the support unit 115 monitors a message creation process based on a character string input instruction from the creation unit 114.
- the support unit 115 extracts an estimation result including the measurement date and time of the biometric data within a predetermined time from the current date and time when the message is being created.
- the current date and time when a message is being created is also referred to as the message creation date and time.
- the predetermined time can be set arbitrarily.
- the predetermined time is preferably shorter.
- the support unit 115 supports the decoration of the message according to the emotion of the user with reference to the estimation result.
- the support unit 115 causes the display unit 17 to display the decoration of the message according to the support. Thereby, the user can grasp the contents of the decoration of the message.
- the support unit 115 supports the message to give a decoration that conveys anger or frustration.
- the support unit 115 assists the message to add a decoration that conveys the joy or excitement.
- the support unit 115 may compare the degree of the user's emotion with a predetermined threshold. The support unit 115 determines whether it is necessary to support the decoration of the message according to whether the degree of the emotion of the user is equal to or more than a predetermined threshold.
- a predetermined threshold One reason is that if the degree of emotion of the user in the predetermined type of emotion index is low, there is a possibility that support for message decoration according to the emotion of the user may not be appropriately executed.
- the predetermined type of emotion index is an index of anger or an index of frustration.
- the support unit 115 determines that the support of the decoration of the message is not performed.
- the support unit 115 determines that the message decoration support is to be performed.
- the predetermined type of emotion index is a pleasure index or an excitement index.
- the support unit 115 determines that the support of the decoration of the message is not performed.
- the support unit 115 determines that the decoration of the message is to be supported.
- the support unit 115 presents one or more font candidates corresponding to the emotion of the user to the character string based on the input instruction of the character string. Accordingly, the display unit 17 displays one or more font candidates for the character string together with the character string. In this example, the support unit 115 acquires one or more font candidates corresponding to the emotion of the user from the storage device 14. Alternatively or together with this, the support unit 115 may acquire one or more font candidates corresponding to the user's emotion from a network database (not shown) via the communication interface 15.
- the support unit 115 acquires one or more font candidates corresponding to the anger or frustration.
- the font is red or a square font, but is not limited thereto.
- the support unit 115 acquires one or more font candidates corresponding to the joy or excitement.
- the font is pink, or a rounded font, but is not limited thereto.
- the support unit 115 presents one or more font candidates different depending on the user's emotion.
- the support unit 115 decorates the character string with the selected font based on a user's instruction to select one font candidate from among one or more font candidates.
- the support unit 115 presents one or more decorative figure symbol candidates corresponding to the user's emotion to the character string based on the input instruction of the character string. Accordingly, the display unit 17 displays one or more decoration symbol candidates for the character string, together with the character string. In this example, the support unit 115 acquires, from the storage device 14, one or more decoration symbol candidates that correspond to the emotion of the user. Alternatively or together with this, the support unit 115 may acquire, via the communication interface 15, one or more decoration graphic symbol candidates corresponding to the user's emotion from a network database (not shown). If the user's emotion is angry or frustrated, the support unit 115 acquires one or more decorative figure symbol candidates corresponding to anger or frustration.
- the support unit 115 acquires one or more decorative figure symbol candidates corresponding to the joy or excitement. In this way, the support unit 115 presents one or more decorative figure symbol candidates that differ depending on the emotion of the user. The support unit 115 replaces the character string with the selected decorative symbol based on a user's instruction to select one of the one or more decorative symbol candidates.
- the support unit 115 decorates the character string with a font corresponding to the emotion of the user based on the character string input instruction.
- the display unit 17 displays a character string decorated with a font corresponding to the emotion of the user.
- the support unit 115 acquires, from the storage device 14, data of one font corresponding to the emotion of the user.
- the support unit 115 may acquire, via the communication interface 15, data of one font corresponding to the emotion of the user from a network database (not shown).
- the support unit 115 acquires data of any one font corresponding to the user's emotion.
- the method by which the support unit 115 acquires data of one font from a plurality of font candidates is not limited.
- the support unit 115 decorates a character string with a different font according to the emotion of the user based on the obtained one font data. In this way, the support unit 115 automatically decorates the character string without requiring user operation. Note that the support unit 115 may change the decoration applied to the character string to another decoration based on a user operation using the input unit 16.
- the support unit 115 replaces the character string with a decorative symbol corresponding to the user's emotion based on the input instruction of the character string, and converts the character string into a decorative symbol corresponding to the user's emotion. Is performed.
- the display unit 17 displays the decorative graphic symbol after replacing the character string, or displays the decorative graphic symbol attached to the character string together with the character string.
- the support unit 115 acquires, from the storage device 14, data of one decoration map symbol corresponding to the emotion of the user. Alternatively or together with this, the support unit 115 may acquire, via the communication interface 15, data of one decorative symbol corresponding to the emotion of the user from a network database (not shown).
- the support unit 115 acquires any one decorative graphic symbol data corresponding to the user's emotion. .
- the support unit 115 acquires data of one decorative figure symbol from a plurality of decorative figure symbol candidates.
- the support unit 115 replaces the character string with a different decorative symbol according to the emotion of the user based on the acquired data of one decorative symbol.
- the support unit 115 assigns a different decorative symbol to the character string based on the acquired data of one decorative symbol in accordance with the emotion of the user. In this way, the support unit 115 automatically decorates the character string with the decorative figure symbol without requiring the user's operation.
- the support unit 115 may change the decoration applied to the character string to another decoration based on a user operation using the input unit 16.
- the output unit 116 will be described.
- the output unit 116 outputs a decorated message as exemplified below.
- the output unit 116 receives the decorated message from the creation unit 114.
- output section 116 outputs the decorated message.
- the output unit 116 outputs the message to a different external device according to the type of the message. For example, if the message is an e-mail addressed to the mobile terminal 1-2, the output unit 116 outputs a message addressed to the mobile terminal 1-2 to the server 3 via the communication interface 15.
- the server 3 distributes a message having the mobile terminal 1-2 as a destination to the mobile terminal 1-2.
- the output unit 116 outputs a message to a different external device according to the type of the message, even for a message realized by a communication tool other than the electronic mail. For example, when the message is document data for printing, the output unit 116 outputs the message to a printer (not shown) via the communication interface 15.
- the setting unit 117 sets the decoration in advance based on a user operation. Information indicating the setting for the decoration is stored in the storage device 14.
- the setting unit 117 sets the type of the decoration presented by the support unit 115 based on the operation of the user using the input unit 16.
- the decoration type is a font and a decoration symbol, but is not limited thereto.
- the user can set the type of the decoration presented by the support unit 115 according to his / her preference.
- the setting unit 117 sets the type of decoration to be automatically applied to the character string by the support unit 115 based on a user operation using the input unit 16. The user can set the type of decoration automatically applied to the character string according to his / her preference.
- the setting unit 117 sets a decoration candidate presented by the support unit 115 for each emotion based on a user operation using the input unit 16.
- the user can limit the font candidates presented by the support unit 115 for each emotion from among a plurality of font candidates stored in the storage device 14 or the like according to his / her preference.
- the setting unit 117 automatically sets a decoration to be applied to a character string for each emotion based on a user operation using the input unit 16.
- the user can limit the font for which the character string is automatically decorated by the support unit 115 for each emotion from among a plurality of font candidates stored in the storage device 14 or the like according to his / her preference.
- FIG. 5 is a diagram illustrating a message creation screen on the mobile terminal 1-1.
- the display unit 17 displays a plurality of font candidates corresponding to the emotion of the user, together with a character string (abcd) based on the operation of the user. Here, it is assumed that the user's emotion is angry or frustrated.
- the display unit 17 displays a plurality of angular font candidates corresponding to anger or frustration.
- FIG. 6 is a flowchart illustrating a message creation support operation in portable terminal 1-1. Note that the processing procedure described below is merely an example, and each processing may be changed as much as possible. In the processing procedure described below, steps can be omitted, replaced, and added as appropriate.
- the first acquisition unit 111 acquires the biometric data of the user (Step S101). In step S101, the first acquisition unit 111 acquires biometric data from the storage device 14 as illustrated.
- the estimating unit 112 estimates the emotion of the user based on the biological data of the user (step S102). In step S102, the estimating unit 112 refers to the learning data stored in the storage device 14 and estimates the user's emotion based on the biological data acquired by the first acquiring unit 111, as illustrated.
- the second acquisition unit 113 acquires an input instruction of a character string constituting a message based on a user operation using the input unit 16 as illustrated (step S103). As illustrated, the creating unit 114 creates a message based on a user operation each time a character string input instruction is received (Step S104).
- the support unit 115 supports decoration of a message created based on the operation of the user according to the emotion of the user (step S105). In step S105, the support unit 115 supports the decoration of the message according to the emotion of the user with reference to the estimation result from the estimation unit 112, as illustrated.
- the output unit 116 outputs the decorated message (step S106). In step S106, the output unit 116 outputs the message to a different external device according to the type of the message.
- the mobile terminal 1-1 supports decoration of a message created based on the operation of the user according to the emotion of the user. Since the portable terminal 1-1 supports the decoration of the message by reflecting the emotion of the user, the burden of the decoration operation of the message by the user can be reduced. Thereby, the user can easily decorate the message according to his / her emotion. Therefore, for example, the user does not increase the feeling of anger or frustration, or the feeling of joy or excitement does not decrease.
- the portable terminal 1-1 presents one or more font candidates corresponding to the user's emotion to the character string.
- the mobile terminal 1-1 can present font candidates that the user desires to select as character string decorations.
- the mobile terminal 1-1 does not present font candidates that the user does not want to select as character string decorations. Therefore, the portable terminal 1-1 can reduce the user's task of selecting a font to be a character string decoration.
- the portable terminal 1-1 presents one or more decoration map symbol candidates corresponding to the user's emotion to the character string.
- the portable terminal 1-1 can present decoration symbol candidates such as pictograms that the user desires to select as character string replacement.
- the portable terminal 1-1 does not present any decoration symbol candidates that the user does not want to select as character string replacement. Therefore, the portable terminal 1-1 can reduce the user's operation of selecting a decorative symbol to replace a character string.
- the portable terminal 1-1 decorates the character string with a font corresponding to the emotion of the user.
- the portable terminal 1-1 can decorate a character string input by the user with a font corresponding to the emotion of the user without requiring user operation. Therefore, for the user, the character string created by the user is automatically decorated with a font corresponding to his / her own emotion at that time. For this reason, the portable terminal 1-1 does not require the user to decorate a character string, and can easily and quickly create a message with a decoration.
- the portable terminal 1-1 performs at least the processing of replacing the character string with a decorative graphic symbol corresponding to the user's emotion and the processing of adding the decorative graphic symbol corresponding to the user's emotion to the character string. Do one.
- the portable terminal 1-1 replaces the character string input by the user with a decorative symbol corresponding to the user's emotion without requiring the user's operation, or converts the character string input by the user into a decoration corresponding to the user's emotion.
- Graphic symbols can be provided. Therefore, for the user, the character string created by the user is automatically replaced with a decoration symbol corresponding to the user's own emotion at that time, or the character string created by the user is decorated according to the user's own emotion at that time. Graphic symbols will be automatically added. For this reason, the portable terminal 1-1 does not require the user to replace the character string with the decorative graphic symbol or to attach the decorative graphic symbol to the character string, and can easily and quickly create the message with the decoration. Can be done.
- the portable terminal 1-1 has been described as an example of the information processing apparatus, but the present invention is not limited to this.
- the information processing device may be an AI (Artificial Intelligence) speaker (smart speaker).
- the AI speaker includes the first acquisition unit 111, the estimation unit 112, the second acquisition unit 113, the creation unit 114, the support unit 115, the output unit 116, and the setting unit 117, similar to the portable terminal 1-1. I do.
- the AI speaker includes various sensors that monitor the user and detect the user's biometric data.
- the AI speaker includes a camera that detects a user's facial expression or body temperature.
- the AI speaker includes a speaker that detects the inflection of the voice of the user.
- the biometric data detected by the AI speaker may be any data related to the user's living body, and is not limited to the user's facial expression, body temperature, and inflection of voice.
- the second acquisition unit 113 acquires various instructions based on a user's voice input.
- the second obtaining unit 113 analyzes the user's voice based on the user's voice input, and obtains an instruction corresponding to the user's voice input.
- the creating unit 114 creates a message based on a user's voice input.
- the creating unit 114 converts a user's voice into text data based on the user's voice input, and creates a message based on the text data.
- the portable terminal 1-1 has been described as an example of the information processing apparatus.
- the present invention is not limited to the portable terminal 1-1.
- the present embodiment may be realized by a stationary PC (Personal Computer) in the same manner as the portable terminal 1-1.
- the stationary PC is an example of an information processing device.
- the present invention is not limited to the present embodiment as it is, and can be embodied by modifying its components in an implementation stage without departing from the scope of the invention.
- Various inventions can be formed by appropriately combining a plurality of components disclosed in the present embodiment. For example, some components may be deleted from all the components shown in the present embodiment. Further, components of different embodiments may be appropriately combined.
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Document Processing Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
ユーザによるメッセージの装飾作業の負担を軽減する技術を提供する。 情報処理装置は、ユーザの生体データを取得する第1の取得部と、前記ユーザの生体データに基づいて前記ユーザの感情を推定する推定部と、前記ユーザの感情に応じて、前記ユーザの入力に基づいて作成されるメッセージの装飾を支援する支援部と、前記装飾が施された前記メッセージを出力する出力部とを備える。
Description
この発明は、情報処理装置、情報処理方法及び情報処理のためのプログラムに関する。
近年、携帯端末間でメッセージをやり取りするための多くのアプリケーションが登場している。ユーザは、自身の感情を視覚的に表すために、メッセージに装飾を加えることが多い。
例えば、ユーザは、メッセージ本文の文字列のフォントを自身の感情を視覚的に表すように変更することがある。例えば、ユーザは、メッセージ本文に、自身の感情を視覚的に表す絵文字やイラスト画像などを挿入することがある。
特許文献1は、入力された文字列に対応する絵文字データの絵文字画像を変換候補として一覧表示する技術を開示している。
しかしながら、変換候補が多くなればなるほど、ユーザは、多くの変換候補の中から自身の感情に応じた絵文字画像を探さなければならない。そのため、絵文字画像の選択操作は、煩雑になる。
特に、ユーザは、怒っているときに少ない操作で短時間にメッセージを装飾することができないと、ユーザの怒りの感情は増強する。
本発明の目的は、上記事情に着目してなされたもので、一側面では、ユーザによるメッセージの装飾作業の負担を軽減する技術を提供することである。
第1の態様は、ユーザの生体データを取得する第1の取得部と、前記ユーザの生体データに基づいて前記ユーザの感情を推定する推定部と、前記ユーザの感情に応じて、前記ユーザの入力に基づいて作成されるメッセージの装飾を支援する支援部と、前記装飾が施された前記メッセージを出力する出力部とを備える情報処理装置である。
第1の態様によれば、情報処理装置は、ユーザの感情を反映してメッセージの装飾を支援するので、ユーザによるメッセージの装飾作業の負担を軽減させることができる。これにより、ユーザは、自身の感情に応じてメッセージを容易に装飾することができる。そのため、例えば、ユーザは、怒りまたはイライラの感情が増強したり、喜びまたはウキウキの感情が減退したりすることはない。
第1の態様によれば、情報処理装置は、ユーザの感情を反映してメッセージの装飾を支援するので、ユーザによるメッセージの装飾作業の負担を軽減させることができる。これにより、ユーザは、自身の感情に応じてメッセージを容易に装飾することができる。そのため、例えば、ユーザは、怒りまたはイライラの感情が増強したり、喜びまたはウキウキの感情が減退したりすることはない。
第2の態様は、上記第1の態様において、情報処理装置は、前記ユーザの入力に基づく前記メッセージを構成する文字列の入力指示を取得する第2の取得部をさらに備え、前記支援部が、前記ユーザの感情に応じて、前記文字列に対して前記ユーザの感情に対応する1以上のフォントの候補を提示する。
情報処理装置は、ユーザが文字列の装飾として選択したいと感じるフォントの候補を提示することができる。他方、情報処理装置は、ユーザが文字列の装飾として選択したいと感じないフォントの候補を提示することはない。そのため、情報処理装置は、ユーザによる、文字列の装飾となるフォントの選択作業を軽減させることができる。
第3の態様は、上記第1の態様において、前記ユーザの入力に基づく前記メッセージを構成する文字列の入力指示を取得する第2の取得部をさらに備え、前記支援部が、前記文字列の入力指示に基づいて、前記文字列に対して前記ユーザの感情に対応する前記文字列以外の装飾図記号の候補を提示するようにしたものである。
情報処理装置は、ユーザが文字列の置換として選択したいと感じる絵文字などの装飾図記号の候補を提示することができる。他方、情報処理装置は、ユーザが文字列の置換として選択したいと感じない装飾図記号の候補を提示することはない。そのため、情報処理装置は、ユーザによる、文字列を置き換える装飾図記号の選択作業を軽減させることができる。
第4の態様は、上記第1の態様において、前記ユーザの入力に基づく前記メッセージを構成する文字列の入力指示を取得する第2の取得部をさらに備え、前記支援部が、前記文字列の入力指示に基づいて、前記文字列を前記ユーザの感情に対応するフォントで装飾するようにしたものである。
情報処理装置は、ユーザの入力を要することなく、ユーザが入力した文字列をユーザの感情に応じたフォントで装飾することができる。そのため、ユーザにとっては、自身が作成した文字列がその時の自身の感情に応じたフォントにより自動的に装飾されることになる。このため、情報処理装置は、ユーザによる文字列の装飾作業を不要にして、装飾付きのメッセージの作成作業を簡単かつ短時間で行えるようにすることができる。
第5の態様は、上記第1の態様において、前記ユーザの入力に基づく前記メッセージを構成する文字列の入力指示を取得する第2の取得部をさらに備え、前記支援部が、前記文字列の入力指示に基づいて、前記文字列を前記ユーザの感情に対応する前記文字列以外の装飾図記号に置換する処理と、前記文字列に前記ユーザの感情に対応する前記装飾図記号を付与する処理の少なくとも一方を行うようにしたものである。
情報処理装置は、ユーザの入力を要することなく、ユーザが入力した文字列をユーザの感情に対応する装飾図記号に置き換える、またはユーザが入力した文字列にユーザの感情に対応する装飾図記号を付与することができる。そのため、ユーザにとっては、自身が作成した文字列がその時の自身の感情に応じた装飾図記号に自動的に置き換えられたり、または、自身が作成した文字列にその時の自身の感情に応じた装飾図記号が自動的に付与されることになる。このため、情報処理装置は、ユーザによる文字列の装飾図記号への置き換えまたは文字列への装飾図記号の付与作業を不要にして、装飾付きのメッセージの作成作業を簡単かつ短時間で行えるようにすることができる。
第6の態様は、ユーザの生体データを取得する第1の取得過程と、前記ユーザの生体データに基づいて前記ユーザの感情を推定する推定過程と、前記ユーザの感情に応じて、前記ユーザの入力に基づいて作成されるメッセージの装飾を支援する支援過程と、前記装飾が施された前記メッセージを出力する出力過程とを備える情報処理方法である。
第6の態様によれば、情報処理方法は、上述の第1の態様と同様の効果を得ることができる。
第6の態様によれば、情報処理方法は、上述の第1の態様と同様の効果を得ることができる。
第7の態様は、上記第1の態様から第5の態様のうちの何れかの情報処理装置が備える各部の処理をコンピュータに実行させる情報処理のためのプログラムである。
第6の態様によれば、情報処理のためのプログラムは、上述の第1の態様と同様の効果を得ることができる。
第6の態様によれば、情報処理のためのプログラムは、上述の第1の態様と同様の効果を得ることができる。
本発明によれば、ユーザによるメッセージの装飾作業の負担を軽減する技術を提供することができる。
以下、本開示に係る実施の形態(以下、「本実施形態」とも表記する)を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において例示に過ぎない。なお、以降、説明済みの要素と同一または類似の要素には同一または類似の符号を付し、重複する説明については基本的に省略する。
§1 適用例
本実施形態は、メッセージの装飾を支援する技術である。
本実施形態は、メッセージの装飾を支援する技術である。
図1は、携帯端末A1の適用例を模式的に示す図である。
ユーザは、携帯端末A1を用いて他の携帯端末を送信先とするメッセージを作成している。ユーザは、血圧計A2を手首に装着している。携帯端末A1は、血圧計A2と直接的に通信可能である。
ユーザは、携帯端末A1を用いて他の携帯端末を送信先とするメッセージを作成している。ユーザは、血圧計A2を手首に装着している。携帯端末A1は、血圧計A2と直接的に通信可能である。
携帯端末A1は、ユーザの血圧データを取得する。携帯端末A1は、ユーザの血圧データに基づいてユーザの感情を推定する。携帯端末A1は、ユーザの感情に応じて、ユーザの携帯端末A1の操作に基づいて作成されるメッセージの装飾を支援する。例えば、装飾の支援は、メッセージを構成する文字列に対してユーザの感情に対応する1以上のフォントの候補を提示することである。例えば、装飾の支援は、メッセージを構成する文字列に対してユーザの感情に対応する文字列以外の1つ以上の装飾図記号の候補を提示することである。装飾図記号は、文字列以外で構成された表示態様である。装飾図記号は、静止画であっても動画であってもよい。例えば、装飾図記号は、絵文字、顔文字、イラスト画像、写真、GIF(Graphics Interchange Format)アニメーションなどであるが、これらに限定されない。例えば、装飾の支援は、メッセージを構成する文字列をユーザの感情に対応するフォントで装飾することである。例えば、装飾の支援は、メッセージを構成する文字列をユーザの感情に対応する装飾図記号に置き換えるか、または上記文字列にユーザの感情に対応する装飾図記号を付与することである。携帯端末A1は、他の携帯端末を送信先とする装飾が施されたメッセージを出力する。
このような構成であるから、例えば、携帯端末A1においてユーザがメッセージを作成するために文字列を入力すると、その時のユーザの感情に対応する1つ以上の装飾図記号の候補がユーザに提示され、これらの中からユーザにより選択された候補により上記文字列が装飾される。このため、ユーザは多数の装飾候補の中から適切な装飾候補を選択する作業が不要となり、これによりユーザによる装飾候補の選択作業に要する手間と時間は減少し、ユーザの負荷が軽減される。また、ユーザのその時の感情と乖離した装飾が施される不具合も軽減される。
§2 構成例
<メッセージ配信システム>
図2は、メッセージ配信システム100の全体構成を例示する図である。メッセージ配信システム100は、メッセージを配信するためのシステムである。メッセージは、電子メール、SMS(Short Message Service)、SNS(Social Networking Service)及びチャットなどの種々のネットワークを介したコミュニケーションツールによって実現されるものであるが、これらに限定されるものではない。メッセージは、印刷などを目的とした文書データであってもよい。
<メッセージ配信システム>
図2は、メッセージ配信システム100の全体構成を例示する図である。メッセージ配信システム100は、メッセージを配信するためのシステムである。メッセージは、電子メール、SMS(Short Message Service)、SNS(Social Networking Service)及びチャットなどの種々のネットワークを介したコミュニケーションツールによって実現されるものであるが、これらに限定されるものではない。メッセージは、印刷などを目的とした文書データであってもよい。
メッセージ配信システム100は、携帯端末1-1、携帯端末1-2及びサーバ3を備える。携帯端末1-1、携帯端末1-2及びサーバ3は、互いにネットワークを介して通信可能である。例えば、ネットワークは、インターネットである。
携帯端末1-1は、ユーザの操作に基づいてメッセージを作成し、メッセージを送信する装置である。「ユーザの操作」は、「ユーザの入力」の一例である。ユーザの入力は、ユーザの操作以外のユーザの音声入力などを含んでいてもよい。そのため、以下の説明では、「ユーザの操作」を「ユーザの入力」に適宜読み替え可能である。携帯端末1-1は、メッセージの送信元であるものとする。例えば、携帯端末1-1は、スマートフォンまたはタブレットであるが、これらに限定されない。携帯端末1-1は、情報処理装置の一例である。携帯端末1-1は、ユーザの血圧を測定する血圧計2と直接的に通信し、ユーザの血圧データを連続的にまたは所定間隔で受信する。血圧計2は、ウェアラブル端末であり、ユーザの手首に装着可能である。血圧計2は、ユーザの生体の物理量を測定する生体データ測定装置の一例である。血圧データは、生体データに含まれる要素の一例である。生体データは、ユーザの生体に関連するデータである。血圧データは、後述するように、ユーザの感情と相関を有するデータである。
携帯端末1-2は、メッセージを受信する装置である。携帯端末1-2は、メッセージの送信先であるものとする。例えば、携帯端末1-2は、スマートフォンまたはタブレットであるが、これらに限定されない。
サーバ3は、送信元である携帯端末1-1からのメッセージを送信先である携帯端末1-2へ配信する装置である。
<携帯端末>
[ハードウェア構成]
図3は、携帯端末1-1のハードウェア構成を例示するブロック図である。
携帯端末1-1は、プロセッサ11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、記憶装置14、通信インタフェース15、入力部16、表示部17及び音声出力部18を備える。各要素は、互いに電気的に接続されている。なお、図3では、通信インタフェースを、「通信I/F」と記載している。
[ハードウェア構成]
図3は、携帯端末1-1のハードウェア構成を例示するブロック図である。
携帯端末1-1は、プロセッサ11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、記憶装置14、通信インタフェース15、入力部16、表示部17及び音声出力部18を備える。各要素は、互いに電気的に接続されている。なお、図3では、通信インタフェースを、「通信I/F」と記載している。
プロセッサ11は、携帯端末1-1の各要素を制御する。例えば、プロセッサ11は、CPU(Central Processing Unit)であるが、これに限定されない。プロセッサ11は、記憶装置14に格納された携帯端末1-1を実行させるためのプログラムをRAM13に展開する。そして、プロセッサ11がRAM13に展開されたプログラムを解釈及び実行することで、プロセッサ11は、各種動作を実行可能である。
記憶装置14は、いわゆる補助記憶装置である。例えば、記憶装置14は、内蔵または外付けのフラッシュメモリなどの半導体メモリであるが、これらに限定されない。記憶装置14は、プロセッサ11で実行されるプログラムを記憶する。なお、プログラムは、予め記憶装置14に記憶されていてもよい。プログラムは、ネットワークを介して携帯端末1-1にダウンロードされてもよい。プログラムは、非一時的なコンピュータ可読媒体に記憶され、流通されてもよい。
記憶装置14は、ユーザの生体データを記憶する。生体データは、携帯端末1-1が血圧計2から連続的にまたは所定間隔で受信した血圧データを含む。血圧データは、血圧値と測定日時とが関連付けられたデータである。なお、生体データは、血圧データ以外の生体に関連するデータを含んでいてもよい。生体に関連するデータは、血圧データのようなユーザの生体の物理量を示すデータを含む。例えば、生体の物理量を示すデータは、脈拍データ、心電データ、呼吸データ、眼球運動のデータ、活動量のデータ及び体温のデータなどであるが、これらに限定されない。生体に関連するデータは、ユーザの生体の外観を示すデータを含む。例えば、生体の外観を示すデータは、顔の表情のデータなどであるが、これに限定されない。生体に関連するデータは、ユーザの生体の動きによって検出されるデータを含む。生体の動きによって検出されるデータは、ユーザによる入力部16の操作時の圧力のデータ、音のデータ及びピッチのデータなどであるが、これらに限定されない。生体データは、測定日時と関連付けられている。
記憶装置14は、携帯端末1-1に関連付けられているユーザの感情推定に用いられる学習データを記憶する。学習データは、ユーザの感情を表す情報と生体データとの関連性を表すデータである。学習データの生成例については後述する。
記憶装置14は、後述するメッセージの装飾の支援に用いられる複数の装飾の候補のデータを記憶する。例えば、装飾は、フォント及び装飾図記号などが用いられるが、これらに限定されない。例えば、フォントは、字体、色及びサイズなどであるが、これらに限定されない。複数の装飾の候補のそれぞれは、感情を表す情報と関連付けられている。
通信インタフェース15は、携帯端末1-1を他の装置と通信可能に接続するためのインタフェースである。通信インタフェース15は、近距離無線通信方式用のモジュールを含む。近距離無線通信方式は、例えばBluetooth(登録商標)による通信方式であるが、これに限定されない。通信インタフェース15は、近距離無線通信方式を用いて、血圧計2と直接的に通信することができる。さらに、通信インタフェース15は、移動通信(3G、4Gなど)及びWLAN(Wireless Local Area Network)などのための各種無線通信方式用のモジュールを含む。この場合、通信インタフェース15は、各種無線通信方式を用いて、サーバ3と通信することができる。
入力部16は、ユーザの操作に基づく指示を受け付ける装置である。例えば、入力部16は、タッチパネル及び操作キーを含むが、これらに限定されない。入力部16は、ユーザの操作に基づく指示に応じた信号をプロセッサ11へ出力する。なお、入力部16は、ユーザの操作に基づく指示を受け付ける装置に限定されるものではなく、ユーザの音声に基づく指示を受け付ける装置であってもよい。
表示部17は、情報を表示する装置である。例えば、表示部17は、液晶ディスプレイであるが、これに限定されない。
音声出力部18は、音声を出力する装置である。例えば、音声出力部18は、スピーカであるが、これに限定されない。
なお、携帯端末1-1の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、携帯端末1-1は、複数のプロセッサを含んでもよい。
[学習データ]
記憶装置14に記憶されている学習データは、上述の携帯端末1-1を用いて以下に例示するように予め作成される。ユーザは、表示部17に感情入力画面を表示させる。感情入力画面は、感情の活性度(Arousal)を縦軸にとり、活性度の強度(Valence)を横軸にとることで、感情を二次元座標平面で表したものである。例えば、二次元座標平面は、ラッセルの円環モデルである。ユーザは、入力部16を用いて、二次元座標平面のうち自身の感情に対応する座標位置をプロットする。プロセッサ11は、ユーザによってプロットされた位置座標を、位置座標の入力日時におけるユーザの感情を表す情報として認識する。プロセッサ11は、位置座標の入力日時に対応する測定日時の生体データを記憶装置14から取得する。これに代えて、プロセッサ11は、位置座標の入力日時から予め決められた期間に含まれる測定日時の生体データを記憶装置14から取得してもよい。プロセッサ11は、位置座標の入力日時におけるユーザの感情を表す情報と生体データとを関連付ける。プロセッサ11は、多数の日時のユーザの感情を表す情報と生体データとを関連付けることによって学習データを生成する。
記憶装置14に記憶されている学習データは、上述の携帯端末1-1を用いて以下に例示するように予め作成される。ユーザは、表示部17に感情入力画面を表示させる。感情入力画面は、感情の活性度(Arousal)を縦軸にとり、活性度の強度(Valence)を横軸にとることで、感情を二次元座標平面で表したものである。例えば、二次元座標平面は、ラッセルの円環モデルである。ユーザは、入力部16を用いて、二次元座標平面のうち自身の感情に対応する座標位置をプロットする。プロセッサ11は、ユーザによってプロットされた位置座標を、位置座標の入力日時におけるユーザの感情を表す情報として認識する。プロセッサ11は、位置座標の入力日時に対応する測定日時の生体データを記憶装置14から取得する。これに代えて、プロセッサ11は、位置座標の入力日時から予め決められた期間に含まれる測定日時の生体データを記憶装置14から取得してもよい。プロセッサ11は、位置座標の入力日時におけるユーザの感情を表す情報と生体データとを関連付ける。プロセッサ11は、多数の日時のユーザの感情を表す情報と生体データとを関連付けることによって学習データを生成する。
[ソフトウェア構成]
図4は、携帯端末1-1のソフトウェア構成を例示するブロック図である。
プロセッサ11は、第1の取得部111、推定部112、第2の取得部113、作成部114、支援部115、出力部116及び設定部117を実装する。
図4は、携帯端末1-1のソフトウェア構成を例示するブロック図である。
プロセッサ11は、第1の取得部111、推定部112、第2の取得部113、作成部114、支援部115、出力部116及び設定部117を実装する。
第1の取得部111について説明する。第1の取得部111は、以下に例示するように、ユーザの生体データを取得する。まず、第1の取得部111は、時間経過に伴い、現在日時に最も近い測定日時の生体データを記憶装置14から順次取得する。次に、第1の取得部111は、生体データを取得する毎に、生体データを推定部112へ順次送る。
推定部112について説明する。推定部112は、以下に例示するように、ユーザの生体データに基づいてユーザの感情を推定する。まず、推定部112は、第1の取得部111から生体データを受ける。次に、推定部112は、記憶装置14に記憶されている学習データを参照し、第1の取得部111で取得された生体データに関連付けられているユーザの感情を表す情報を取得する。次に、推定部112は、ユーザの感情を表す情報に基づいて、ユーザの感情を推定する。このように、推定部112は、第1の取得部111から生体データを受ける毎に、ユーザの感情を推定する。
典型例では、推定部112は、予め定められた種類の感情指標におけるユーザの感情の度合を推定する。一例では、予め定められた種類の感情指標は、怒りの指標またはイライラの指標である。この例では、推定部112は、怒りの指標またはイライラの指標におけるユーザの感情の度合を推定する。別の例では、予め定められた種類の感情指標は、喜びの指標またはウキウキの指標である。この例では、推定部112は、喜びの指標またはウキウキの指標におけるユーザの感情の度合を推定する。なお、推定部112は、例示したユーザの感情の推定手法以外の手法によって、ユーザの感情を推定してもよい。例えば、推定部112は、ユーザによる入力部16の操作時の圧力、音及びピッチなどに基づいてユーザの感情を推定してもよい。推定部112は、ユーザの感情を推定する毎に、ユーザの感情に関する情報を含む推定結果を支援部115へ順次送る。推定結果は、推定部112によるユーザの感情の推定に用いられる生体データの測定日時を含む。
第2の取得部113について説明する。第2の取得部113は、入力部16からユーザの操作に基づく種々の指示を取得する。一例では、第2の取得部113は、入力部16を用いたユーザの操作に基づくメッセージを作成するためのアプリケーションの起動指示を取得する。例えば、ユーザは、携帯端末1-1から携帯端末1-2へ向けたメッセージを作成するためのアプリケーションの起動指示を入力部16で入力する。表示部17は、起動指示に基づいて、アプリケーションの画面を表示する。別の例では、第2の取得部113は、入力部16を用いたユーザの操作に基づくメッセージを構成する文字列の入力指示を取得する。第2の取得部113は、文字列の入力指示を取得する毎に、文字列の入力指示を作成部114へ順次送る。さらに別の例では、第2の取得部113は、入力部16を用いたユーザの操作に基づくメッセージの作成完了指示を取得する。第2の取得部113は、作成完了指示を作成部114へ送る。
作成部114について説明する。作成部114は、以下に例示するように、ユーザの操作に基づいてメッセージを作成する。まず、作成部114は、第2の取得部113から文字列の入力指示を順次受ける。次に、作成部114は、文字列の入力指示を受ける毎に、文字列の入力指示に基づいてメッセージを作成する。作成部114は、文字列の入力指示に基づいて文字列を表示部17に順次表示させる。次に、作成部114は、第2の取得部113から作成完了指示を受ける。次に、作成部114は、作成完了指示に基づいてメッセージの作成を完了し、メッセージを出力部116へ送る。
支援部115について説明する。支援部115は、以下に例示するように、ユーザの感情に応じて、ユーザの操作に基づいて作成されるメッセージの装飾を支援する。まず、支援部115は、推定部112から推定結果を順次受ける。支援部115は、作成部114による文字列の入力指示に基づくメッセージの作成処理を監視する。次に、支援部115は、メッセージを作成中の現在日時から所定時間内の生体データの測定日時を含む推定結果を抽出する。メッセージを作成中の現在日時は、メッセージの作成日時ともいう。所定時間は、任意に設定可能である。所定時間は、短い時間である方が好ましい。一つの理由は、ユーザの感情の推定の元となる生体データの測定日時がメッセージの作成日時に近いほど、ユーザの感情がメッセージの装飾の支援に反映され易いからである。次に、支援部115は、推定結果を参照して、ユーザの感情に応じて、メッセージの装飾を支援する。支援部115は、支援に応じて、メッセージの装飾を表示部17に表示させる。これにより、ユーザは、メッセージの装飾の内容を把握することができる。
ユーザの感情が怒りまたはイライラである場合、支援部115は、怒りまたはイライラが伝わる装飾をメッセージに施すように支援する。他方、ユーザの感情が喜びまたはウキウキである場合、支援部115は、喜びまたはウキウキが伝わる装飾をメッセージに施すように支援する。
なお、推定結果が予め定められた種類の感情指標におけるユーザの感情の度合を含む場合、支援部115は、ユーザの感情の度合を所定の閾値と比較してもよい。支援部115は、ユーザの感情の度合が所定の閾値以上か否かに応じて、メッセージの装飾の支援の要否を判断する。一つの理由は、予め定められた種類の感情指標におけるユーザの感情の度合が低いと、ユーザの感情に応じたメッセージの装飾の支援が適切に実行されない可能性があるからである。
一例では、予め定められた種類の感情指標が怒りの指標またはイライラの指標である。怒りの指標またはイライラの指標におけるユーザの感情の度合が所定の閾値未満である場合、支援部115は、メッセージの装飾の支援を実行しないと判断する。他方、怒りの指標またはイライラの指標におけるユーザの感情の度合が所定の閾値以上である場合、支援部115は、メッセージの装飾の支援を実行すると判断する。
別の例では、予め定められた種類の感情指標が喜びの指標またはウキウキの指標である。喜びの指標またはウキウキの指標におけるユーザの感情の度合が所定の閾値未満である場合、支援部115は、メッセージの装飾の支援を実行しないと判断する。他方、喜びの指標またはウキウキの指標におけるユーザの感情の度合が所定の閾値以上である場合、支援部115は、メッセージの装飾の支援を実行すると判断する。
ここで、支援部115による支援のいくつかの例について説明する。なお、以下は例示であり、これらに限定されるものではない。
一例では、支援部115は、文字列の入力指示に基づいて、文字列に対してユーザの感情に対応する1以上のフォントの候補を提示する。これにより、表示部17は、文字列とともに、文字列に対する1以上のフォントの候補を表示する。この例では、支援部115は、ユーザの感情に対応する1以上のフォントの候補を記憶装置14から取得する。これに代えてまたはこれとともに、支援部115は、通信インタフェース15を介して、ユーザの感情に対応する1以上のフォントの候補を図示しないネットワークデータベースから取得してもよい。ユーザの感情が怒りまたはイライラである場合、支援部115は、怒りまたはイライラに対応する1以上のフォントの候補を取得する。例えば、フォントは、赤色または角張った字体などであるが、これらに限定されない。他方、ユーザの感情が喜びまたはウキウキである場合、支援部115は、喜びまたはウキウキに対応する1以上のフォントの候補を取得する。例えば、フォントは、桃色または丸みを帯びた字体などであるが、これらに限定されない。このように、支援部115は、ユーザの感情に応じて異なる1以上のフォントの候補を提示する。支援部115は、ユーザによる1以上のフォントの候補の中からの1つのフォントの候補の選択指示に基づいて、文字列を選択されたフォントで装飾する。
一例では、支援部115は、文字列の入力指示に基づいて、文字列に対してユーザの感情に対応する1以上のフォントの候補を提示する。これにより、表示部17は、文字列とともに、文字列に対する1以上のフォントの候補を表示する。この例では、支援部115は、ユーザの感情に対応する1以上のフォントの候補を記憶装置14から取得する。これに代えてまたはこれとともに、支援部115は、通信インタフェース15を介して、ユーザの感情に対応する1以上のフォントの候補を図示しないネットワークデータベースから取得してもよい。ユーザの感情が怒りまたはイライラである場合、支援部115は、怒りまたはイライラに対応する1以上のフォントの候補を取得する。例えば、フォントは、赤色または角張った字体などであるが、これらに限定されない。他方、ユーザの感情が喜びまたはウキウキである場合、支援部115は、喜びまたはウキウキに対応する1以上のフォントの候補を取得する。例えば、フォントは、桃色または丸みを帯びた字体などであるが、これらに限定されない。このように、支援部115は、ユーザの感情に応じて異なる1以上のフォントの候補を提示する。支援部115は、ユーザによる1以上のフォントの候補の中からの1つのフォントの候補の選択指示に基づいて、文字列を選択されたフォントで装飾する。
別の例では、支援部115は、文字列の入力指示に基づいて、文字列に対してユーザの感情に対応する1つ以上の装飾図記号の候補を提示する。これにより、表示部17は、文字列とともに、文字列に対する1つ以上の装飾図記号の候補を表示する。この例では、支援部115は、ユーザの感情に対応する1つ以上の装飾図記号の候補を記憶装置14から取得する。これに代えてまたはこれとともに、支援部115は、通信インタフェース15を介して、ユーザの感情に対応する1つ以上の装飾図記号の候補を図示しないネットワークデータベースから取得してもよい。ユーザの感情が怒りまたはイライラである場合、支援部115は、怒りまたはイライラに対応する1つ以上の装飾図記号の候補を取得する。他方、ユーザの感情が喜びまたはウキウキである場合、支援部115は、喜びまたはウキウキに対応する1つ以上の装飾図記号の候補を取得する。このように、支援部115は、ユーザの感情に応じて異なる1つ以上の装飾図記号の候補を提示する。支援部115は、ユーザによる1つ以上の装飾図記号の候補の中からの1つの候補の選択指示に基づいて、文字列を選択された装飾図記号に置き換える。
さらに別の例では、支援部115は、文字列の入力指示に基づいて、文字列をユーザの感情に対応するフォントで装飾する。これにより、表示部17は、ユーザの感情に対応するフォントで装飾が施された文字列を表示する。この例では、支援部115は、ユーザの感情に対応する1つのフォントのデータを記憶装置14から取得する。これに代えてまたはこれとともに、支援部115は、通信インタフェース15を介して、ユーザの感情に対応する1つのフォントのデータを図示しないネットワークデータベースから取得してもよい。なお、記憶装置14またはネットワークデータベースにユーザの感情に対応する複数のフォントの候補が存在する場合、支援部115は、ユーザの感情に対応する任意の1つのフォントのデータを取得する。支援部115による複数のフォントの候補の中から1つのフォントのデータを取得する手法は限定されない。支援部115は、取得した1つのフォントデータに基づいて、ユーザの感情に応じて異なるフォントで文字列を装飾する。このように、支援部115は、ユーザの操作を要することなく、自動で文字列に対して装飾を施す。なお、支援部115は、入力部16を用いたユーザの操作に基づいて、文字列に対して施した装飾を別の装飾に変更してもよい。
さらに別の例では、支援部115は、文字列の入力指示に基づいて、文字列をユーザの感情に対応する装飾図記号に置換する処理と、文字列にユーザの感情に対応する装飾図記号を付与する処理の少なくとも一方を行う。これにより、表示部17は、文字列を置き換えた後の装飾図記号を表示したり、文字列とともに文字列に付与された装飾図記号を表示したりする。この例では、支援部115は、ユーザの感情に対応する1つの装飾図記号のデータを記憶装置14から取得する。これに代えてまたはこれとともに、支援部115は、通信インタフェース15を介して、ユーザの感情に対応する1つの装飾図記号のデータを図示しないネットワークデータベースから取得してもよい。なお、記憶装置14またはネットワークデータベースにユーザの感情に対応する複数の装飾図記号の候補が存在する場合、支援部115は、ユーザの感情に対応する任意の1つの装飾図記号のデータを取得する。支援部115による複数の装飾図記号の候補の中から1つの装飾図記号のデータを取得する手法は限定されない。支援部115は、取得した1つの装飾図記号のデータに基づいて、文字列をユーザの感情に応じて異なる装飾図記号に置き換える。これに代えて、支援部115は、取得した1つの装飾図記号のデータに基づいて、文字列にユーザの感情に応じて異なる装飾図記号を付与する。このように、支援部115は、ユーザの操作を要することなく、自動で文字列に対して装飾図記号の装飾を施す。なお、支援部115は、入力部16を用いたユーザの操作に基づいて、文字列に対して施した装飾を別の装飾に変更してもよい。
出力部116について説明する。出力部116は、以下に例示するように、装飾が施されたメッセージを出力する。まず、出力部116は、作成部114から装飾が施されたメッセージを受ける。次に、出力部116は、装飾が施されたメッセージを出力する。出力部116は、メッセージの種類に応じて、メッセージを異なる外部機器へ出力する。例えば、メッセージが携帯端末1-2を送信先とする電子メールである場合、出力部116は、通信インタフェース15を介して、携帯端末1-2を送信先とするメッセージをサーバ3へ出力する。サーバ3は、携帯端末1-2を送信先とするメッセージを携帯端末1-2へ配信する。電子メール以外のコミュニケーションツールによって実現されるメッセージについても、出力部116は、メッセージの種類に応じて、メッセージを異なる外部機器へ出力する。例えば、メッセージが印刷を目的とする文書データである場合、出力部116は、通信インタフェース15を介して、メッセージを図示しないプリンタへ出力する。
設定部117について説明する。設定部117は、ユーザの操作に基づいて装飾について予め設定する。装飾についての設定を表す情報は、記憶装置14に記憶される。一例では、設定部117は、入力部16を用いたユーザの操作に基づいて、支援部115によって提示される装飾の種別を設定する。装飾の種別は、フォント及び装飾図記号であるが、これらに限定されない。ユーザは、支援部115によって提示される装飾の種別を自身の好みに応じて設定することができる。別の例では、設定部117は、入力部16を用いたユーザの操作に基づいて、支援部115によって自動で文字列に対して施される装飾の種別を設定する。ユーザは、自動で文字列に対して施される装飾の種別を自身の好みに応じて設定することができる。さらに別の例では、設定部117は、入力部16を用いたユーザの操作に基づいて、支援部115によって提示される装飾の候補を感情毎に設定する。ユーザは、自身の好みに応じて、記憶装置14等に記憶されている複数のフォントの候補の中から支援部115によって提示されるフォントの候補を感情毎に限定することができる。装飾図記号についても同様である。さらに別の例では、設定部117は、入力部16を用いたユーザの操作に基づいて、自動で文字列に対して施される装飾を感情毎に設定する。ユーザは、自身の好みに応じて、記憶装置14等に記憶されている複数のフォントの候補の中から支援部115によって自動で文字列を装飾するフォントを感情毎に限定することができる。装飾図記号についても同様である。
[メッセージ作成画面]
図5は、携帯端末1-1におけるメッセージ作成画面を例示する図である。
表示部17は、ユーザの操作に基づく文字列(abcd)とともに、ユーザの感情に対応する複数のフォントの候補を表示する。ここでは、ユーザの感情が怒りまたはイライラであるとする。表示部17は、怒りまたはイライラに対応する複数の角張った字体のフォントの候補を表示する。
図5は、携帯端末1-1におけるメッセージ作成画面を例示する図である。
表示部17は、ユーザの操作に基づく文字列(abcd)とともに、ユーザの感情に対応する複数のフォントの候補を表示する。ここでは、ユーザの感情が怒りまたはイライラであるとする。表示部17は、怒りまたはイライラに対応する複数の角張った字体のフォントの候補を表示する。
§3 動作例
<携帯端末>
[メッセージ作成支援動作]
図6は、携帯端末1-1におけるメッセージ作成支援動作を例示するフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順については、適宜、ステップの省略、置換及び追加が可能である。
<携帯端末>
[メッセージ作成支援動作]
図6は、携帯端末1-1におけるメッセージ作成支援動作を例示するフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順については、適宜、ステップの省略、置換及び追加が可能である。
第1の取得部111は、ユーザの生体データを取得する(ステップS101)。ステップS101では、第1の取得部111は、例示したように、生体データを記憶装置14から取得する。推定部112は、ユーザの生体データに基づいてユーザの感情を推定する(ステップS102)。ステップS102では、推定部112は、例示したように、記憶装置14に記憶されている学習データを参照し、第1の取得部111で取得された生体データに基づいてユーザの感情を推定する。
第2の取得部113は、例示したように、入力部16を用いたユーザの操作に基づくメッセージを構成する文字列の入力指示を取得する(ステップS103)。作成部114は、例示したように、文字列の入力指示を受ける毎に、ユーザの操作に基づいてメッセージを作成する(ステップS104)。
支援部115は、ユーザの感情に応じて、ユーザの操作に基づいて作成されるメッセージの装飾を支援する(ステップS105)。ステップS105では、支援部115は、例示したように、推定部112からの推定結果を参照して、ユーザの感情に応じて、メッセージの装飾を支援する。出力部116は、装飾が施されたメッセージを出力する(ステップS106)。ステップS106では、出力部116は、メッセージの種類に応じて、メッセージを異なる外部機器へ出力する。
§4 作用・効果
以上説明したように、本実施形態では、携帯端末1-1は、ユーザの感情に応じて、ユーザの操作に基づいて作成されるメッセージの装飾を支援する。
携帯端末1-1は、ユーザの感情を反映してメッセージの装飾を支援するので、ユーザによるメッセージの装飾作業の負担を軽減させることができる。これにより、ユーザは、自身の感情に応じてメッセージを容易に装飾することができる。そのため、例えば、ユーザは、怒りまたはイライラの感情が増強したり、喜びまたはウキウキの感情が減退したりすることはない。
以上説明したように、本実施形態では、携帯端末1-1は、ユーザの感情に応じて、ユーザの操作に基づいて作成されるメッセージの装飾を支援する。
携帯端末1-1は、ユーザの感情を反映してメッセージの装飾を支援するので、ユーザによるメッセージの装飾作業の負担を軽減させることができる。これにより、ユーザは、自身の感情に応じてメッセージを容易に装飾することができる。そのため、例えば、ユーザは、怒りまたはイライラの感情が増強したり、喜びまたはウキウキの感情が減退したりすることはない。
さらに、本実施形態では、携帯端末1-1は、文字列に対してユーザの感情に対応する1以上のフォントの候補を提示する。
携帯端末1-1は、ユーザが文字列の装飾として選択したいと感じるフォントの候補を提示することができる。他方、携帯端末1-1は、ユーザが文字列の装飾として選択したいと感じないフォントの候補を提示することはない。そのため、携帯端末1-1は、ユーザによる、文字列の装飾となるフォントの選択作業を軽減させることができる。
携帯端末1-1は、ユーザが文字列の装飾として選択したいと感じるフォントの候補を提示することができる。他方、携帯端末1-1は、ユーザが文字列の装飾として選択したいと感じないフォントの候補を提示することはない。そのため、携帯端末1-1は、ユーザによる、文字列の装飾となるフォントの選択作業を軽減させることができる。
さらに、本実施形態では、携帯端末1-1は、文字列に対してユーザの感情に対応する1つ以上の装飾図記号の候補を提示する。
携帯端末1-1は、ユーザが文字列の置換として選択したいと感じる絵文字などの装飾図記号の候補を提示することができる。他方、携帯端末1-1は、ユーザが文字列の置換として選択したいと感じない装飾図記号の候補を提示することはない。そのため、携帯端末1-1は、ユーザによる、文字列を置き換える装飾図記号の選択作業を軽減させることができる。
携帯端末1-1は、ユーザが文字列の置換として選択したいと感じる絵文字などの装飾図記号の候補を提示することができる。他方、携帯端末1-1は、ユーザが文字列の置換として選択したいと感じない装飾図記号の候補を提示することはない。そのため、携帯端末1-1は、ユーザによる、文字列を置き換える装飾図記号の選択作業を軽減させることができる。
さらに、本実施形態では、携帯端末1-1は、文字列をユーザの感情に対応するフォントで装飾する。
携帯端末1-1は、ユーザの操作を要することなく、ユーザが入力した文字列をユーザの感情に応じたフォントで装飾することができる。そのため、ユーザにとっては、自身が作成した文字列がその時の自身の感情に応じたフォントにより自動的に装飾されることになる。このため、携帯端末1-1は、ユーザによる文字列の装飾作業を不要にして、装飾付きのメッセージの作成作業を簡単かつ短時間で行えるようにすることができる。
携帯端末1-1は、ユーザの操作を要することなく、ユーザが入力した文字列をユーザの感情に応じたフォントで装飾することができる。そのため、ユーザにとっては、自身が作成した文字列がその時の自身の感情に応じたフォントにより自動的に装飾されることになる。このため、携帯端末1-1は、ユーザによる文字列の装飾作業を不要にして、装飾付きのメッセージの作成作業を簡単かつ短時間で行えるようにすることができる。
さらに、本実施形態では、携帯端末1-1は、文字列をユーザの感情に対応する装飾図記号に置換する処理と、文字列にユーザの感情に対応する装飾図記号を付与する処理の少なくとも一方を行う。
携帯端末1-1は、ユーザの操作を要することなく、ユーザが入力した文字列をユーザの感情に対応する装飾図記号に置き換えるか、またはユーザが入力した文字列にユーザの感情に対応する装飾図記号を付与することができる。そのため、ユーザにとっては、自身が作成した文字列がその時の自身の感情に応じた装飾図記号に自動的に置き換えられたり、または、自身が作成した文字列にその時の自身の感情に応じた装飾図記号が自動的に付与されることになる。このため、携帯端末1-1は、ユーザによる文字列の装飾図記号への置き換えまたは文字列への装飾図記号の付与作業を不要にして、装飾付きのメッセージの作成作業を簡単かつ短時間で行えるようにすることができる。
携帯端末1-1は、ユーザの操作を要することなく、ユーザが入力した文字列をユーザの感情に対応する装飾図記号に置き換えるか、またはユーザが入力した文字列にユーザの感情に対応する装飾図記号を付与することができる。そのため、ユーザにとっては、自身が作成した文字列がその時の自身の感情に応じた装飾図記号に自動的に置き換えられたり、または、自身が作成した文字列にその時の自身の感情に応じた装飾図記号が自動的に付与されることになる。このため、携帯端末1-1は、ユーザによる文字列の装飾図記号への置き換えまたは文字列への装飾図記号の付与作業を不要にして、装飾付きのメッセージの作成作業を簡単かつ短時間で行えるようにすることができる。
§5 変形例
(5-1 変形例1)
本実施形態では、携帯端末1-1を情報処理装置の一例として説明したが、これに限定されない。情報処理装置は、AI(Artificial Intelligence)スピーカ(スマートスピーカ)であってもよい。AIスピーカは、携帯端末1-1と同様に、上述の第1の取得部111、推定部112、第2の取得部113、作成部114、支援部115、出力部116及び設定部117を実装する。この例では、AIスピーカは、ユーザを監視し、ユーザの生体データを検出する種々のセンサを備える。AIスピーカは、ユーザの表情または体温を検出するカメラを備える。AIスピーカは、ユーザの声の抑揚を検出するスピーカを備える。なお、AIスピーカが検出する生体データは、ユーザの生体に関連するデータであればよく、ユーザの表情、体温及び声の抑揚に限定されるものではない。この例では、第2の取得部113は、ユーザの音声入力に基づく種々の指示を取得する。例えば、第2の取得部113は、ユーザの音声入力に基づいてユーザの音声を解析し、ユーザの音声入力に対応する指示を取得する。作成部114は、ユーザの音声入力に基づいてメッセージを作成する。例えば、作成部114は、ユーザの音声入力に基づいてユーザの音声をテキストデータに変換し、テキストデータに基づいてメッセージを作成する。
(5-2 変形例2)
本実施形態では、携帯端末1-1を情報処理装置の一例として説明したが、携帯端末1-1に限定されない。本実施形態は、据置型のPC(Personal Computer)によって携帯端末1-1と同様に実現されてもよい。この例では、据置型のPCは、情報処理装置の一例である。
(5-1 変形例1)
本実施形態では、携帯端末1-1を情報処理装置の一例として説明したが、これに限定されない。情報処理装置は、AI(Artificial Intelligence)スピーカ(スマートスピーカ)であってもよい。AIスピーカは、携帯端末1-1と同様に、上述の第1の取得部111、推定部112、第2の取得部113、作成部114、支援部115、出力部116及び設定部117を実装する。この例では、AIスピーカは、ユーザを監視し、ユーザの生体データを検出する種々のセンサを備える。AIスピーカは、ユーザの表情または体温を検出するカメラを備える。AIスピーカは、ユーザの声の抑揚を検出するスピーカを備える。なお、AIスピーカが検出する生体データは、ユーザの生体に関連するデータであればよく、ユーザの表情、体温及び声の抑揚に限定されるものではない。この例では、第2の取得部113は、ユーザの音声入力に基づく種々の指示を取得する。例えば、第2の取得部113は、ユーザの音声入力に基づいてユーザの音声を解析し、ユーザの音声入力に対応する指示を取得する。作成部114は、ユーザの音声入力に基づいてメッセージを作成する。例えば、作成部114は、ユーザの音声入力に基づいてユーザの音声をテキストデータに変換し、テキストデータに基づいてメッセージを作成する。
(5-2 変形例2)
本実施形態では、携帯端末1-1を情報処理装置の一例として説明したが、携帯端末1-1に限定されない。本実施形態は、据置型のPC(Personal Computer)によって携帯端末1-1と同様に実現されてもよい。この例では、据置型のPCは、情報処理装置の一例である。
(5-3 変形例3)
要するにこの発明は、本実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、本実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、本実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合わせてもよい。
要するにこの発明は、本実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、本実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、本実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合わせてもよい。
§6 付記
本実施形態の一部または全部は、特許請求の範囲のほか以下の付記に示すように記載することも可能であるが、これに限定されない。
(付記)
ユーザの生体データを取得する第1の取得部(111)と、
前記ユーザの生体データに基づいて前記ユーザの感情を推定する推定部(112)と、
前記ユーザの感情に応じて、前記ユーザの操作に基づいて作成されるメッセージの装飾を支援する支援部(115)と、
前記装飾が施された前記メッセージを出力する出力部(116)と
を備える情報処理装置(1-1)。
本実施形態の一部または全部は、特許請求の範囲のほか以下の付記に示すように記載することも可能であるが、これに限定されない。
(付記)
ユーザの生体データを取得する第1の取得部(111)と、
前記ユーザの生体データに基づいて前記ユーザの感情を推定する推定部(112)と、
前記ユーザの感情に応じて、前記ユーザの操作に基づいて作成されるメッセージの装飾を支援する支援部(115)と、
前記装飾が施された前記メッセージを出力する出力部(116)と
を備える情報処理装置(1-1)。
1-1…携帯端末
1-2…携帯端末
2…血圧計
3…サーバ
100…メッセージ配信システム
11…プロセッサ
12…ROM
13…RAM
14…記憶装置
15…通信インタフェース
16…入力部
17…表示部
18…音声出力部
111…第1の取得部
112…推定部
113…第2の取得部
114…作成部
115…支援部
116…出力部
117…設定部
A1…携帯端末
A2…血圧計
1-2…携帯端末
2…血圧計
3…サーバ
100…メッセージ配信システム
11…プロセッサ
12…ROM
13…RAM
14…記憶装置
15…通信インタフェース
16…入力部
17…表示部
18…音声出力部
111…第1の取得部
112…推定部
113…第2の取得部
114…作成部
115…支援部
116…出力部
117…設定部
A1…携帯端末
A2…血圧計
Claims (7)
- ユーザの生体データを取得する第1の取得部と、
前記ユーザの生体データに基づいて前記ユーザの感情を推定する推定部と、
前記ユーザの感情に応じて、前記ユーザの入力に基づいて作成されるメッセージの装飾を支援する支援部と、
前記装飾が施された前記メッセージを出力する出力部と
を備える情報処理装置。 - 前記ユーザの入力に基づく前記メッセージを構成する文字列の入力指示を取得する第2の取得部をさらに備え、
前記支援部は、前記文字列の入力指示に基づいて、前記文字列に対して前記ユーザの感情に対応する1以上のフォントの候補を提示する、
請求項1に記載の情報処理装置。 - 前記ユーザの入力に基づく前記メッセージを構成する文字列の入力指示を取得する第2の取得部をさらに備え、
前記支援部は、前記文字列の入力指示に基づいて、前記文字列に対して前記ユーザの感情に対応する前記文字列以外の装飾図記号の候補を提示する、
請求項1に記載の情報処理装置。 - 前記ユーザの入力に基づく前記メッセージを構成する文字列の入力指示を取得する第2の取得部をさらに備え、
前記支援部は、前記文字列の入力指示に基づいて、前記文字列を前記ユーザの感情に対応するフォントで装飾する、
請求項1に記載の情報処理装置。 - 前記ユーザの入力に基づく前記メッセージを構成する文字列の入力指示を取得する第2の取得部をさらに備え、
前記支援部は、前記文字列の入力指示に基づいて、前記文字列を前記ユーザの感情に対応する前記文字列以外の装飾図記号に置換する処理と、前記文字列に前記ユーザの感情に対応する前記装飾図記号を付与する処理の少なくとも一方を行う、
請求項1に記載の情報処理装置。 - ユーザの生体データを取得する第1の取得過程と、
前記ユーザの生体データに基づいて前記ユーザの感情を推定する推定過程と、
前記ユーザの感情に応じて、前記ユーザの入力に基づいて作成されるメッセージの装飾を支援する支援過程と、
前記装飾が施された前記メッセージを出力する出力過程と
を備える情報処理方法。 - 請求項1から5のうちの何れか1項に記載の情報処理装置が備える各部の処理をコンピュータに実行させる情報処理のためのプログラム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018135009A JP2020013325A (ja) | 2018-07-18 | 2018-07-18 | 情報処理装置、情報処理方法及び情報処理のためのプログラム |
| JP2018-135009 | 2018-07-18 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2020017293A1 true WO2020017293A1 (ja) | 2020-01-23 |
Family
ID=69164727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2019/026071 Ceased WO2020017293A1 (ja) | 2018-07-18 | 2019-07-01 | 情報処理装置、情報処理方法及び情報処理のためのプログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2020013325A (ja) |
| WO (1) | WO2020017293A1 (ja) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013029928A (ja) * | 2011-07-27 | 2013-02-07 | Nec Casio Mobile Communications Ltd | 情報端末装置、そのデータ加工方法及びプログラム |
| US20160004413A1 (en) * | 2014-07-07 | 2016-01-07 | Machine Zone, Inc. | Systems and Methods for Identifying and Suggesting Emoticons |
-
2018
- 2018-07-18 JP JP2018135009A patent/JP2020013325A/ja active Pending
-
2019
- 2019-07-01 WO PCT/JP2019/026071 patent/WO2020017293A1/ja not_active Ceased
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013029928A (ja) * | 2011-07-27 | 2013-02-07 | Nec Casio Mobile Communications Ltd | 情報端末装置、そのデータ加工方法及びプログラム |
| US20160004413A1 (en) * | 2014-07-07 | 2016-01-07 | Machine Zone, Inc. | Systems and Methods for Identifying and Suggesting Emoticons |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020013325A (ja) | 2020-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP4264911B1 (en) | Live avatar in expressive messaging | |
| US11594025B2 (en) | Skeletal tracking using previous frames | |
| KR102649278B1 (ko) | 미디어 오버레이들에서의 커스터마이즈된 아바타들의 생성 및 디스플레이 | |
| US20200242826A1 (en) | Augmented expression system | |
| JP4085926B2 (ja) | 情報処理端末及び通信システム | |
| US12175570B2 (en) | Customizable avatar generation system | |
| JP2021152919A (ja) | アバターの作成及び編集 | |
| US12347009B2 (en) | Modifying avatars in user interfaces based on wearable device data using machine learning | |
| US20220405994A1 (en) | Communication assistance system and communication assistance program | |
| JP2013029928A (ja) | 情報端末装置、そのデータ加工方法及びプログラム | |
| JP2020013325A (ja) | 情報処理装置、情報処理方法及び情報処理のためのプログラム | |
| JP2024106619A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| US20240029862A1 (en) | Electronic evaluation system | |
| CN102789503A (zh) | 即时通信中图像年龄变换的方法、客户端及系统 | |
| JPWO2020166495A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
| JP7662224B2 (ja) | コンピュータプログラム、方法及びサーバ装置 | |
| EP4059673B1 (en) | Information processing apparatus, nonverbal information conversion system, information processing method, and carrier means | |
| WO2023000310A1 (en) | Methods, devices, and media for customizing and expressing personality of robot | |
| JP7390891B2 (ja) | クライアント装置、サーバ、プログラム、及び、情報処理方法 | |
| JP2026015013A (ja) | システム | |
| JP2026024366A (ja) | システム | |
| WO2020235346A1 (ja) | コンピュータプログラム、サーバ装置、端末装置、システム及び方法 | |
| JP2026019105A (ja) | システム | |
| JP2026039204A (ja) | システム | |
| JP2026024067A (ja) | システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 19836936 Country of ref document: EP Kind code of ref document: A1 |