WO2020166495A1 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

情報処理装置、情報処理方法および情報処理プログラム Download PDF

Info

Publication number
WO2020166495A1
WO2020166495A1 PCT/JP2020/004721 JP2020004721W WO2020166495A1 WO 2020166495 A1 WO2020166495 A1 WO 2020166495A1 JP 2020004721 W JP2020004721 W JP 2020004721W WO 2020166495 A1 WO2020166495 A1 WO 2020166495A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
text
tail
candidate
message
Prior art date
Application number
PCT/JP2020/004721
Other languages
English (en)
French (fr)
Inventor
荘太 松澤
石井 保
敦 根岸
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/428,667 priority Critical patent/US20220121817A1/en
Priority to JP2020572214A priority patent/JPWO2020166495A1/ja
Priority to CN202080011159.7A priority patent/CN113366483A/zh
Publication of WO2020166495A1 publication Critical patent/WO2020166495A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/274Converting codes to words; Guess-ahead of partial word inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233Character input methods
    • G06F3/0237Character input methods using prediction or retrieval techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities

Definitions

  • the present technology relates to an information processing device, an information processing method, and an information processing program.
  • Patent Document 1 an information processing device capable of searching an appropriate sentence according to the current position of the user and the situation of the user and presenting it to the user.
  • Patent Document 1 merely presents a sentence composed of ordinary characters to the user, and that alone is not sufficient to express various emotional expressions and intentions in the user's message.
  • the present technology has been made in view of the above circumstances, and provides an information processing apparatus, an information processing method, and an information processing program capable of presenting the user with an optimal candidate for the end portion added to the end of the body of a message.
  • the purpose is to provide.
  • the first technique is an information processing apparatus including an end portion candidate determination unit that is added to the end of a body to determine a plurality of candidates for an end portion that composes a message together with the body. is there. Is.
  • the second technology is an information processing method that determines a plurality of candidates for the end part that composes a message with the body by being added to the end of the body.
  • the third technology is an information processing program that causes a computer to execute an information processing method that is added to the end of the text to determine a plurality of candidates for the end part that composes the message with the text.
  • FIG. 3 is a block diagram showing the configuration of the terminal device 100.
  • FIG. 3 is a block diagram showing the configuration of an information processing device 200.
  • FIG. It is an explanatory view of a pictogram and an emoticon. It is an explanatory view of the main part and the last part which constitute a message. It is a figure which shows the other example of a tail part.
  • It is a flowchart which shows a basic process.
  • 6 is a diagram showing a user interface displayed on a display unit 105.
  • FIG. It is a flowchart of a candidate determination process of the text. It is explanatory drawing of a text database. It is explanatory drawing of the 1st method of determining the candidate of a tail part.
  • 7 is a flowchart of a process of associating a pictogram with a circular ring model based on state information. It is an explanatory view of correspondence between a tail expression and a ring model. It is a flowchart of the 6th method of determining the candidate of a tail part. It is a block diagram which shows the structure of the terminal device 300 in the 7th method of determining the candidate of a tail part. It is explanatory drawing of the 7th method of determining the candidate of a tail part.
  • Embodiment> [1-1. Configuration of terminal device 100] [1-2. Configuration of Information Processing Device 200] [1-3. Body and end] [1-4. Processing by information processing device] [1-4-1. Basic processing and user interface] [1-4-2. Body candidate determination process] [1-5. How to determine the last candidate] [1-5-1. First Method of Determining Tail Candidate] [1-5-2. Second Method of Determining End Candidate] [1-5-3. Third Method of Determining Tail Candidate] [1-5-4. Fourth Method of Determining Tail Candidate] [1-5-5.
  • the terminal device 100 is configured to include a control unit 101, a storage unit 102, a communication unit 103, an input unit 104, a display unit 105, a microphone 106, and an information processing device 200.
  • the control unit 101 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like.
  • the ROM stores programs that are read and operated by the CPU.
  • the RAM is used as a work memory for the CPU.
  • the CPU controls the entire terminal device 100 by executing various processes in accordance with the programs stored in the ROM and issuing commands.
  • the storage unit 102 is a storage medium including, for example, an HDD (Hard Disc Drive), a semiconductor memory, an SSD (Solid State Drive), and stores programs, content data, and the like.
  • HDD Hard Disc Drive
  • SSD Solid State Drive
  • the communication unit 103 is a module that communicates with an external device or the like via the Internet according to a predetermined communication standard. Examples of communication methods include wireless LAN (Local Area Network) such as Wi-Fi (Wireless Fidelity), 4G (4th generation mobile communication system), broadband, Bluetooth (registered trademark), and the like.
  • the transmission message generated by the information processing device 200 is transmitted by the communication unit 103 to a device that is a partner (hereinafter, referred to as a transmission/reception partner) that transmits/receives a message by communication.
  • the input unit 104 is various input devices for the user to input to the terminal device 100.
  • the input unit 104 includes a button, a touch panel integrated with the display unit 105, and the like.
  • a control signal corresponding to the input is generated and output to the control unit 101.
  • the control unit 101 performs arithmetic processing and control corresponding to the control signal.
  • the display unit 105 is a display device for displaying content data such as images and videos, messages, a user interface of the terminal device 100, and the like.
  • the display device includes, for example, an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an organic EL (Electro Luminescence) panel, and the like.
  • the display unit 105 will be described as a touch panel integrally configured with the input 104.
  • the touch panel can detect a touch operation of a finger or a stylus made on the screen, which is the display surface of the display unit 105 and the operation surface, and can output information indicating the touch position.
  • the touch panel can also detect each of repeated operations on the operation surface and output information indicating the respective contact positions. Note that the expression touch panel is used here as a general term for display devices that can be operated by touching the display unit 105 with a finger or the like.
  • the touch panel can receive various inputs and operations from the user such as so-called tap operation, double-tap operation, touch operation, swipe operation, and flick operation, and detect them.
  • ⁇ Tap operation is an input operation that touches the user's finger etc. on the operation surface only once for a short time and releases it.
  • the double tap operation is an input operation in which a finger or the like is continuously brought into contact twice with a short interval on the operation surface and then released. These are mainly used for inputting decisions.
  • the tap operation is an input method that includes an operation of bringing a finger or the like into contact with the operation surface and an operation of releasing the operation surface.
  • the long-press operation is an input operation in which the user's finger or the like is brought into contact with the operation surface and the contact state is maintained for a predetermined time.
  • the touch operation is an input operation for bringing a user's finger or the like into contact with the operation surface.
  • the difference between the tap operation and the touch operation is whether or not to include the operation of touching the operation surface and then the operation of releasing the operation surface.
  • the tap operation is an input method that includes a releasing action
  • the touch operation is an input method that does not include a releasing action.
  • Swipe operation is also called tracing operation, and is an input operation to move the user's finger while touching the operation surface.
  • the flick operation is an input operation in which one point on the operation surface such as the user's finger is instructed and then quickly repelled in any direction.
  • the microphone 106 is a voice input device for the user to input voice.
  • the information processing device 200 is a processing unit configured by the terminal device 100 executing a program.
  • the program may be pre-installed in the terminal device 100, or may be downloaded, distributed by a storage medium or the like, and installed by the user.
  • the information processing device 200 may be realized not only by a program but also by combining a dedicated device, a circuit, or the like with hardware having the function.
  • the information processing device 200 corresponds to the information processing device 200 in the claims.
  • the terminal device 100 is configured as described above. In the following description, the terminal device 100 is assumed to be a wristwatch type wearable device. The present technology is useful in a terminal device 100, such as a wristwatch-type wearable device, in which the size of a display screen and the size of a touch panel are not large and it is not easy to create and confirm a transmission message.
  • the information processing device 200 includes a transmission/reception unit 201, a message analysis unit 202, a body candidate determination unit 203, a body database 204, a tail portion candidate determination unit 205, a tail expression database 206, a message generation unit 207, and a display control unit 208. ing.
  • the transmission/reception unit 201 supplies a message from the transmission/reception partner received by the terminal device 100 to each unit of the information processing device 200, and also supplies a transmission message generated by the information processing device 200 to the terminal device 100. In addition, the text and the end portion of the information processing apparatus 200 are also exchanged.
  • the message analysis unit 202 analyzes the received message received by the terminal device 100 and extracts the features for the body text candidate determination unit 203 to determine a body text candidate.
  • the body candidate determination unit 203 determines a plurality of body candidates to be presented to the user from the body database 204 based on the characteristics of the received message extracted by the message analysis unit 202.
  • the body text database 204 is a database that stores a plurality of body candidates that compose a transmission message transmitted by a user in response to a reception message.
  • the tail part candidate determination unit 205 determines, from the plurality of tail expressions stored in the tail expression database 206, the one to be presented to the user as a plurality of tail part candidates.
  • the tail part is a part of a message that is added to the end of the text to form a transmission message.
  • the tail expression database 206 is a database that stores a plurality of tail expressions that are candidates for the tail portion of a transmission message that a user sends for a received message. Some of the many end expressions stored in the end expression database 206 are displayed on the display unit 105 as candidates for the end portion and presented to the user.
  • the tail expression is a character string made up of special characters and the like added to the end of the body as a tail part in a transmitted message.
  • the message generation unit 207 generates a transmission message transmitted by the user by combining the body selected by the user and the end portion.
  • the display control unit 208 causes the display unit 105 of the terminal device 100 to display a body text candidate and a tail portion candidate, and further, a user interface for generating and transmitting a transmission message.
  • the terminal device 100 and the information processing device 200 are configured as described above.
  • the transmitted message is composed of only the body or a combination of the body and the end part.
  • the text is a sentence composed of characters such as hiragana, katakana, kanji, and alphanumeric characters (usually referred to as characters).
  • the tail portion is composed of all characters other than special characters, pictograms, and ordinary characters used in the text, and is added to the end of the text to form a transmission message.
  • a pictogram is a display area for one character, as shown in FIG. 3A, so that one picture (for example, an icon of a person's face, a car, food, or a glyph) can be displayed.
  • one picture for example, an icon of a person's face, a car, food, or a glyph
  • an emoticon is a combination of a plurality of numbers, hiragana, katakana, foreign language characters, special characters, symbols, etc., representing a person's face or action, or a character's face or action.
  • special characters For convenience of explanation, special characters, pictograms, and emoticons are collectively referred to as "special characters" in the following description.
  • the user can convey various emotions, impressions, and expressions that cannot be conveyed only by the text as shown in FIG. As shown in FIG. 4, even if the text has the same text, different endings can express different impressions, feelings, and expressions as the entire message. Note that the emotions, impressions, and expressions represented by the last part shown in FIG. 4 are merely examples.
  • the number of special characters that make up the end of the text is not limited to one.
  • the end portion may be composed of a plurality of special characters, pictograms, and emoticons.
  • the tail representation database 206 stores tail representations made up of various types of special characters as shown in FIG. 3, and is further composed of a combination of a plurality of special characters as shown in FIG.
  • the tail representation and tail representation composed of characters other than special characters are also stored.
  • the tail representation database 206 stores the tail representation composed of all special characters and pictograms that can be used in the terminal device 100 in advance.
  • step S101 a message from the sender/receiver is received.
  • the received message is displayed on the display unit 105 of the terminal device 100 as shown in FIG. 7A and is supplied to the message analysis unit 202.
  • step S102 the message analysis unit 202 analyzes the received message, and the body text candidate determination unit 203 determines from the body text database 204 two alternatives of the text body to be presented to the user. It should be noted that if there is no body candidate to be presented to the user in the body database 204, it may be determined that there is no body candidate. The details of the analysis of the received message and the candidate determination process of the body will be described later.
  • step S103 the determined body candidates are displayed on the display unit 105 by the display control unit 208.
  • the text candidates are displayed in parallel on the display unit 105 of the terminal device 100 as shown in FIG. 7B.
  • the user can be presented with the two choices of the body of the transmitted message.
  • the received message For the received message "Won't you go home?", the two choices of the texts "I will return” and "I will not return” are displayed.
  • the received message may be displayed, or the received message may not be displayed. However, by displaying the received message, the user can select the body text candidate and the tail part candidate while checking the received message.
  • step S104 if any of the text candidates is selected by the user in step S104, the process proceeds to step S105 (Yes in step S104).
  • the selection input from the user is performed by a touch operation on the display unit 105 configured as a touch panel as shown in FIG. 7C.
  • the selected text candidates may be changed in order to make it easier to understand that the display mode has been selected.
  • step S105 the tail part candidate determination unit 205 determines a tail part candidate to be presented to the user from a plurality of tail expressions in the tail expression database 206. A method of determining the tail end candidate will be described later.
  • step S106 the determined tail end candidates are displayed on the display unit 105 by the display control unit 208.
  • the candidate of the tail portion is displayed as an icon in a ring shape around the selected candidate of the main body as substantially the center. This circular icon arrangement is such that the icons are arranged along the shape of the display unit 105.
  • step S107 when any of the tail end candidates is selected by the user, the process proceeds to step S108 (Yes in step S107).
  • the input for selecting the tail end candidate is performed as shown in FIG. 7C while the finger that has performed the body text candidate selection input is kept in contact with the display surface of the display unit 105.
  • FIG. 7E After being displayed, as shown in FIG. 7E, when the user moves to the icon of the tail end candidate to be selected and the user releases the finger (swipe) from the icon of the tail end candidate selected by the user, the icon is changed to The corresponding tail part is selected.
  • the user can select the body text candidate and the tail part candidate with one touch of the finger on the display surface of the display unit 105, which is intuitive, easy and quick. You can make a choice. Note that when the finger is released from the display surface in an area other than the icon at the end of the display unit 105 after the selection of the candidate at the text and before the selection of the candidate at the end, selection of the candidate for the text shown in FIG. 7B is performed. You may return to the screen. This allows the user to redo the selection of text body candidates.
  • the input method is not limited to the method of touching the display surface of the display unit 105 with one finger. After the text candidate is tapped (that is, the finger is once removed from the display surface of the display unit 105), the tap operation may be performed again to select the tail end candidate.
  • the icon Z arranged at the vertex position transmits the transmission message without the tail portion. It is an icon for.
  • the user may want to send the outgoing message only in the body without adding the tail part.
  • the icon Z for selecting not to add the tail portion in the same display mode as the icon for selecting to add the tail portion, the tail portion is not added by the same operation as the case of adding the tail portion. You can create outgoing messages. As a result, the consistency of the operation is maintained between the case of adding the end portion and the case of not adding the end portion, and the user can intuitively generate the transmission message.
  • the finger or the like when the finger or the like is released from the display surface of the display unit 105 after selecting and inputting a body text candidate, only the body text to which the end portion is not added may be set as the transmission message.
  • step S107 waits for selection input from the user until any of the tail end candidates is selected by the user in step S107 (No in step S107).
  • step S108 the message generation unit 207 generates a transmission message.
  • the generation of the transmission message is performed by joining the candidate of the tail portion selected by the user to the end of the candidate of the body selected by the user.
  • step S109 the communication unit 103 of the terminal device 100 transmits the transmission message to the terminal device of the transmission/reception partner. As shown in FIG. 7F, when the transmission message is transmitted, the transmitted message and the notification that the message has been transmitted are displayed on the display unit 105.
  • a step of displaying the transmission message on the display unit 105 and confirming whether the message may be transmitted may be provided after the transmission message is generated and before the transmission message is transmitted. As a result, it is possible to prevent accidental transmission of a message having inappropriate content.
  • the basic processing by the information processing apparatus 200 from the determination and presentation of the body text candidate, the determination and presentation of the tail text candidate, the acceptance of the selection from the user, and the transmission of the transmission message is performed as described above.
  • step S201 the message analysis unit 202 performs morphological analysis on the received message.
  • step S202 TF (Term Frequency)-IDF (Inverse Document Frequency) is calculated for each word to calculate the vector of the received message.
  • TF-IDF is one of the methods for evaluating the importance of words included in a sentence. TF indicates the appearance frequency of words, and IDF indicates the reverse document frequency.
  • the COS similarity with the matching sentence in the body text database 204 is calculated.
  • the COS similarity is an index of similarity calculation used when comparing documents or vectors in a vector space model.
  • the body text database 204 preliminarily stores matching sentences corresponding to the message transmitted from the transmission/reception partner and received by the user and body candidates (two choices in the present embodiment) which are replies to the matching sentences. It is associated and stored. In order to improve the processing efficiency, it is preferable to calculate the TF-IDF of the matching sentence in the body text database 204 in advance and to make it a database.
  • step S204 a matching sentence having the closest COS similarity to the received message is searched from the dialogue database. Then, in step S205, the text candidates in the text database 204 associated with the matching sentence having the closest COS similarity are determined as the two-choice candidates of the text to be presented to the user.
  • the candidates for the text are determined as described above.
  • the method of determining the text body candidates is an example, and the method of determining the text body candidates is not limited to this method and may be another method.
  • the first method is a method based on the number of times (or the usage rate) the user has used the tail part.
  • icons A to K are arranged clockwise on the display unit 105 in the descending order of the number of times the end expressions are used as candidates for the end part.
  • Icon A shows the last representation of the number of times of use at that time as a candidate for the last part
  • Icon B shows the last representation of the second place of use as a candidate of the end part
  • Icon C shows the number of uses.
  • the tail representation of the third place is shown as a candidate for the tail portion. That continues to Icon K.
  • the icon Z displayed at the apex is the above-mentioned icon for selecting not to add the end portion to the text.
  • the icons indicating the candidates of the end portion are arranged in the clockwise direction in the descending order of the number of times of use, but the present technology is not limited thereto and may be the counterclockwise direction.
  • the use count acquisition process is performed for each transmitted message transmitted from the terminal device 100.
  • step S301 the sent message to be processed is divided into a body and a tail part.
  • step S302 in the usage count database of FIG. 11B, the number of times of use is incremented if the body and end of the transmitted message are compared with the body and end of the tail representation database 206. Since the number of times of use of the tail part can be updated in this manner, the latest number of times of use of the tail part can always be learned by performing this processing periodically or every time a message is sent.
  • the usage count database may be included in the tail representation database 206, or may be configured separately.
  • step S401 it is determined whether or not the end of the transmitted message matches any of a plurality of end expressions in the end expression database 206.
  • the end of the transmitted message in this case is not limited to one character and may be two or more characters. If they match, the process proceeds from step 402 to 403 (Yes in step 402).
  • step 403 the part of the transmitted message excluding the part that matches the end expression of the end expression database 206 is the body.
  • step 404 the part of the transmitted message that matches the end expression of the end expression database 206 is set as the end part. This allows the sent message to be divided into a body and a tail. Note that steps S403 and S404 may be performed in reverse order, or the processes may be performed simultaneously.
  • step S401 if the end of the transmitted message does not match any of the end expressions in the end expression database 206 in step S401, the process proceeds from step S402 to step S405 (No in step S402).
  • step S405 the transmitted message is divided into a temporary end part for the last character and a temporary body part for the rest. It should be noted that this is only a temporary division, not the final text and the last part.
  • step S406 it is determined whether the last character of the temporary text is a special character or the like.
  • step S407 If the last character of the tentative text is a special character or the like, the process proceeds to step S407 (Yes in step S406) to remove the special character or the like, which is the last character of the tentative text, from the tentative text. Include in part. Then, the process returns to step S406, and it is determined again whether the last character of the temporary text is a special character or the like. Therefore, steps S406 and S407 are repeated until the last character of the provisional text is not a special character or the like.
  • step S408 the temporary body of the transmitted message is set as the body, and in step 409, the temporary end portion of the transmitted message is set as the end portion. This allows the sent message to be divided into a body and a tail. Note that steps S408 and S409 may be performed in the reverse order, or the processes may be performed simultaneously.
  • the tail portion candidate is determined based on the number of times the user uses the tail portion, so that the tail portion frequently used by the user can be presented as a candidate, and the user can quickly and easily. You can create outgoing messages to.
  • the number of times of use of the end portion may be the number of times of individual use of the terminal device 100, or may be the total of the number of times of use of a plurality of users. Further, the number of times of use is not limited to the terminal device 100 and may be summed up in a wearable device, a smartphone, a tablet terminal, a personal computer, etc., which is a device owned by the user and is used for transmitting and receiving messages. This also applies to a plurality of users. Further, the number of times the tail part is used in posts in various SNS (Social Network Service) is not limited to the transmission message and may be used. Also, as shown in FIG. 10B, the order of the number of times of use may be different for each user. This is effective when a plurality of people use one terminal device 100.
  • SNS Social Network Service
  • the usage count measurement result may be biased. Therefore, weighting may be performed for each device when summing up the number of times of use of the tail part in the messages transmitted from each of the plurality of devices. For example, a message transmitted by a device having the function of the information processing device 200 according to an embodiment of the present technology has a lower weight. As a result, it is possible to prevent bias in the measurement results of the number of times of use. Further, it may be configured such that the message created by the present technology is not included in the usage count measurement.
  • a keyword such as “comfort”, “meal”, and “return” is associated in advance with a tail expression associated with each keyword, and a corresponding tail expression database (tail expression database 206 Can be included in).
  • the keyword “return” is associated with a tail expression such as a train, car, bicycle, or running pictogram that makes one think of returning.
  • the keyword “food” is associated with a tail expression such as tableware, ramen, beer, and rice balls that reminds us of eating.
  • the keyword “comfort” is associated with a tail expression consisting of pictograms such as a smile and a heart symbol that reminds us of pleasant emotions. It should be noted that this corresponding tail representation database may be constructed in advance and periodically updated according to the number of times the tail portion is used by the user.
  • an icon indicating the end expression having a correspondence relationship with the keyword included in the body of the transmitted message is displayed and presented on the display unit 105 as a candidate for the end part.
  • the body of the transmitted message is “Go back” and includes the keyword “Go”
  • the tail expression corresponding to the keyword “Go” is displayed on the display unit 105 as a candidate for the tail part. Has been presented.
  • step S501 it is determined whether the body text selected by the user includes a keyword. Whether or not the text includes the keyword can be determined by comparing the text with a corresponding tail expression database that stores a plurality of keywords. If the text includes the keyword, the process proceeds from step S502 to step S503 (Yes in step S502).
  • step S503 a plurality of end expressions associated with the keyword are displayed and presented as icons on the display unit 105 as candidates for the end portion.
  • the display using icons is an example, and the display of the candidates at the end is not limited to icons.
  • step S504 if the text does not include the keyword, the process proceeds from step S502 to step S504 (No in step S502). Then, in step S ⁇ b>504, instead of the tail portion associated with the keyword, the tail expression is displayed and presented as a tail portion candidate by another method, for example, a standard template, as a tail portion candidate.
  • step S601 a plurality of transmitted messages in the past transmission history are sorted in descending order of similarity to the body, as shown in FIG.
  • the text selected by the user from the two text candidates is “return”, and the similarity to the text is calculated by the COS similarity of TF-IDF.
  • the function of retaining the past transmission history is a function normally provided by various general message functions of the terminal device 100, and therefore the process may be performed by referring to the retained transmission history.
  • step S602 the Nth transmitted message with high similarity is selected.
  • the initial value of N is 1. Therefore, first, the transmitted message having the highest degree of similarity is selected.
  • the transmitted message selected in step S603 is divided into a body and a tail portion. As a method of dividing the transmitted message into a body and a tail portion, the method described above with reference to FIG. 12 can be used.
  • step S604 it is determined whether or not the tail portion divided in step S604 matches any of the plurality of tail expressions in the tail expression database 206. If they match, the process proceeds from step S604 to step S605 (Yes in step S604). Then, in step S605, the matching tail expression is determined as a tail part candidate.
  • step S606 M (M is a predetermined number of tail candidates to be displayed and displayed on the display unit 105) tail end candidates are determined, or all sent messages are processed. It is determined whether or not has been performed. If either is satisfied, the process ends (Yes in step S606). The processing is ended because when the M tail end candidates are determined, all tail end candidates to be displayed on the display unit 105 are determined, and no further processing is required. Further, when all the transmitted messages have been processed, further processing cannot be performed even if the number of tail candidates that can be displayed on the display unit 105 has not been reached.
  • the last part of the sent message “return!”, “return ⁇ ”, “remember to return...” similar to the text “return” is displayed on the display unit 105 as a candidate. It is displayed and presented.
  • the user is presented with the candidate of the tail portion used in the past transmitted message similar to the transmitted message, so that the user has added the tail portion similar to the message transmitted in the past.
  • the outgoing message can be easily created.
  • the fourth method is to make a decision based on the relationship between the user who sent and received the message and the user.
  • the end expression consisting of pictograms is displayed and presented on the display unit 105 as a candidate for the end part.
  • the end expression made up of not the pictogram but a corresponding symbol is displayed and presented on the display unit 105 as the end part candidate.
  • the relationship with the user of the transmission/reception partner and the tail expression are associated in advance, and only the tail expression corresponding to each relationship is tail part. It may be displayed on the display unit 105 as a candidate of.
  • the relationship between the destination of the transmission message and the user can be determined by referring to the address information held by the terminal device 100, the transmission/reception history of the message, and the like. Further, it is possible to narrow down the past message transmission/reception history by destination to grasp the relationship of the transmission partner.
  • the fourth method it is possible to prevent, for example, accidentally sending a message with a pictogram to a boss who should not generally send a message with a pictogram.
  • the fifth method is to determine the tail end candidate based on the ring model of emotion.
  • the circular model of emotion for example, Russell's circular model can be used. As shown in FIG. 18A, the Russell's circular model is to grasp the balance between arousal and sedation, and pleasantness and discomfort of a person in association with a two-dimensional axis.
  • the pictogram (tail expression) associated with the ring model of emotion in FIG. 18A is an example in which the emotion represented by the pictogram is associated with awakening, sedation, pleasantness and discomfort of a person of the ring model in advance.
  • the tail part candidate determination unit 205 determines a tail part candidate based on the correspondence information between the circular model and the tail representation.
  • the sixth method is to make a determination based on the state of the transmission/reception partner that can be acquired based on the sensor information.
  • the tail portion candidate determination unit 205 determines tail portion candidates based on information (hereinafter, referred to as status information) indicating the status of the transmission/reception partner transmitted together with the message by the user. ..
  • the state information can be acquired from the sensor information, and in order to carry out the sixth method, at least the terminal device of the transmission/reception partner has a heartbeat sensor, a perspiration sensor, a pulse wave sensor, a body temperature sensor, a facial expression recognition sensor, etc. It is necessary to have biosensors or to acquire sensor information from those biosensors as external devices.
  • the flowchart of FIG. 19 is a flowchart showing the processing in the terminal device of the transmission/reception partner.
  • step S701 sensor information of a transmission/reception partner is acquired.
  • step S702 the state information of the transmission/reception partner is calculated from the sensor information.
  • step S703 the state information together with the message is transmitted to the terminal device 100 of the user.
  • the degree of alertness and sedation can be obtained from the electrical skin reaction obtained by the perspiration sensor. It takes advantage of the fact that the resistance value decreases as a result of mental sweating during awakening.
  • the degree of comfort and discomfort can be obtained from the pulse wave (capillary pulse wave of the fingertip) obtained by the pulse wave sensor. The fact that the pulse wave amplitude value during unpleasant stimulation is higher than that during pleasant stimulation is used.
  • the electrocutaneous reaction strongly indicates arousal, and when the pulse wave shows weak pleasure, it is interpreted as showing "vigilance” or "excitement”. can do.
  • FIG. 20 is a flowchart showing a process of calculating the degree of awakening (hereinafter referred to as awakening level LVaro.
  • aro means arousal) as state information based on electrodermal reflex.
  • step S801 the waveform of skin impedance is applied to a FIR (Finite Impulse Response) filter.
  • step S802 the waveform of the past T [sec] is cut out.
  • step S803 the number n of utterances having a convex waveform is calculated.
  • step S804 it is determined whether or not n ⁇ THaro_7.
  • step S804 if n ⁇ THaro_7 is not satisfied, the process proceeds to step S806 (No in step S804), and in step S806, it is determined whether or not n ⁇ THaro_6.
  • n ⁇ THaro_i, i of THaro_i is reduced and the comparison determination is repeated.
  • the comfort and discomfort degree LVval where val means meaning
  • T and THval_7 to THval_1 used in the process of calculating the comfort level LVval are constants and need to be set appropriately.
  • THval_i i*0.15+0.25.
  • step S901 the pulse waveform is applied to the FIR filter.
  • step S902 two points below THw are cut out as one waveform.
  • step S903 the arrhythmia and sudden change are removed.
  • step S904 the difference YbA between the starting point amplitude and the maximum amplitude value is calculated.
  • step S905 the relative value Yb is calculated by dividing by YbC at the time of calibration.
  • step S906 it is determined whether the relative value Yb ⁇ THval_7.
  • This process is a process by the tail part candidate determination unit 205 in the information processing device 200 operating in the terminal device 100 of the user who has received the status information transmitted from the device of the transmission/reception partner.
  • the emotion ring model and the pictogram are associated with each other in advance. It should be noted that atan is used to map pictograms into a ring model based on the ratio of the arousal level LVaro and the comfort level LVval. When arranging, pictograms indicating the closest emotions are arranged in order according to the ratio of the arousal level LVaro and the comfort level LVval.
  • step S1009 as shown in FIG. 23, the tail expression corresponding to k having a small score is determined as a tail part candidate.
  • steps 1001 to 1003 in the flowchart of FIG. 22 correspond to coordinate adjustment processing for associating the value of the pleasantness/discomfort LVval with the circular model.
  • steps 1004 to 1006 correspond to coordinate adjustment processing for associating the value of the arousal level LVaro with the ring model.
  • the correspondence relationship illustrated in FIG. 23 is merely an example, and the present technology is not limited to the correspondence relationship.
  • the flowchart of FIG. 24 is a flowchart showing processing in the information processing device 200 operating on the user's terminal device 100. In the flowchart of FIG. 24, the same steps as those in the flowchart of FIG.
  • step S1001 a message and status information from the sender/receiver are received. Then, when the text body candidates are displayed and the text body candidates are selected by the user, the tail portion candidate is determined by referring to the ring model based on the state information in step S1002. Then, the tail end candidates determined based on the state information in step S1003 are displayed on the display unit 105.
  • the sixth method for example, it is possible to easily create and send a transmission message with a tail portion added according to the emotional state of the other party.
  • the status information is acquired on the terminal device 100 side of the transmission/reception partner and transmitted to the user terminal device 100 together with the message.
  • the sensor information acquired by the terminal device 100 of the transmission/reception partner may be transmitted to the terminal device 100 of the user together with the message, and the information processing device 200 may acquire the state information from the sensor information.
  • this sixth method can be executed not only based on the transmission/reception partner but also based on the state information of the user of the terminal device 100.
  • the seventh method is to make a determination based on sensor information acquired by a sensor included in the user's terminal device 100.
  • FIG. 25 is a block diagram showing the configuration of the terminal device 300 for implementing the seventh method.
  • the terminal device 300 includes a biometric sensor 301, a position sensor 302, and a motion sensor 303.
  • the biometric sensor 301 is various sensors that can acquire biometric information of the user, and is, for example, a heartbeat sensor, a blood pressure sensor, a perspiration sensor, a temperature sensor, or the like. Other than these, any sensor may be used as long as it can acquire biometric information of the user.
  • the position sensor 302 is a sensor that can detect the position of the user, such as GPS (Global Positioning System), GNSS (Global Navigation Satellite System), Wi-Fi, SLAM (Simultaneous Localization and Mapping). Other than these, any sensor may be used as long as it can detect the position of the user.
  • GPS Global Positioning System
  • GNSS Global Navigation Satellite System
  • Wi-Fi Wireless Fidelity
  • SLAM Simultaneous Localization and Mapping
  • the motion sensor 303 is a sensor such as an acceleration sensor, an angular velocity sensor, a gyro sensor, a geomagnetic sensor, and an atmospheric pressure sensor that can detect a user's motion (moving speed, type of motion, etc.). Other than these, any sensor may be used as long as it can detect the movement of the user.
  • the information processing device 200 may be configured to include the biometric sensor 301, the position sensor 302, and the motion sensor 303. Furthermore, the terminal device may learn sensor information from an external sensor device.
  • the tail portion candidate determination unit 205 of the information processing apparatus 200 determines tail portion candidates based on the sensor information from the various sensors described above. For this purpose, for example, as shown in FIG. 26, it is necessary to previously associate the tail expressions with the biometric information by the biosensor 301, the position information by the position sensor 302, and the motion sensor by the motion sensor 303 in the tail expression database 206. .. Correspondence between the biometric information and the end expression may be performed by the method in the sixth method described above.
  • the pictogram of the house for the location information “home”, the pictogram of the building for the location information “workplace”, the pictogram of Tokyo Tower for the location information “Tokyo Tower”, etc. are associated.
  • the moving speed indicated by the motion information is associated with the pictogram. For example, if the moving speed of the user is less than or equal to the predetermined first speed, the user is considered to be walking, and the pictograph of the walking person is used.
  • the moving speed of the user is greater than or equal to the predetermined second speed and less than or equal to the third speed
  • the user associates the pictogram of the person who is running and the pictogram of the car, train, etc., that the user is moving in the vehicle when the moving speed of the user is equal to or higher than the predetermined third speed.
  • the behavior of the user may be recognized by using machine learning from sensor data such as an acceleration sensor, an angular velocity sensor, a geomagnetic sensor, and an atmospheric pressure sensor, and the behavior may be associated with a pictogram.
  • the tail portion candidate determination unit 205 refers to the tail expression database 206 based on the sensor information acquired from the biometric sensor 301, the position sensor 302, and the motion sensor 303, and determines the tail expression corresponding to the sensor information as a tail portion candidate. To do.
  • the seventh method it is possible to easily create a send message with a tail portion added according to the state when the user creates the send message.
  • the eighth method is to decide according to the text decided by the voice recognition function.
  • FIG. 28 is a block diagram showing the configuration of the information processing device 400 for carrying out the eighth method.
  • the information processing device 400 includes a voice recognition unit 401.
  • the voice recognition unit 401 recognizes a voice input through the microphone 106 by a known voice recognition function and determines a character string that is a text. The determined text is displayed on the display unit 105 as shown in FIG. 29A.
  • the eighth method since the character string recognized by the voice recognition unit 401 becomes the body, it is not necessary to display the body candidates on the display unit 105.
  • the tail portion candidate determination unit 205 determines a tail portion candidate to be added to the text body determined by the voice recognition unit 401. It should be noted that the first to seventh methods described above can be used to determine the tail end candidate.
  • the determined tail end candidates are displayed in an annular shape on the display unit 105 with the text substantially at the center, as shown in FIG. 29B.
  • a transmission message with the tail end added is generated and transmitted as shown in FIG. 29C.
  • a message can be created by adding the end part to the body determined by voice input.
  • special characters cannot be input by voice input, but according to the present technology, special characters and the like can be included in a voice input message.
  • Feature information centered on prosody such as pitch of sound, intonation, rhythm, and pause is extracted from the input voice data, and state information is obtained based on an emotion recognition model generated by a general machine learning method.
  • a method such as deep learning may be used including the part for extracting the feature amount.
  • This technology can be applied to messages in foreign languages other than Japanese. Note that the end portion may need to be localized according to each language, culture of each country, etc. as shown in FIG.
  • the terminal device 100 is not limited to the watch-type wearable device, and may be another wearable device such as a glasses-type wearable device. In the case of a glasses-type wearable device, it is advisable to make the present technology available by line-of-sight input.
  • the terminal device 100 may be any device such as a smartphone, a tablet terminal, a personal computer, a portable game machine, or a projector as long as it can create a message.
  • a smartphone a tablet terminal
  • a personal computer a portable game machine
  • a projector a projector
  • the terminal device 100 may be any device such as a smartphone, a tablet terminal, a personal computer, a portable game machine, or a projector as long as it can create a message.
  • the present technology is applied to a smartphone or a tablet terminal, it is not always necessary to display an icon indicating a candidate for the end portion in a ring shape as shown in FIG. 7, and more icons can be arranged in a small area, In addition, any arrangement may be used as long as the display method has high visibility.
  • the display unit 105 of the terminal device 100 has a circular shape
  • the icons may be arranged in an annular shape
  • the display unit 105 has a rectangular shape
  • the icons may be arranged in a rectangular
  • the shape of the display unit 105 and the arrangement shape of the icons do not have to match.
  • the icons may be annularly arranged so as to surround the text. According to the present technology, instead of displaying a large number of tail end candidates at random, the tail end candidates that match the message created by the user are displayed, so the area for displaying the tail end candidates is small. It is possible to increase the size of other areas such as a message display area.
  • the display unit 105 and the input unit 104 are not limited to a so-called touch panel integrally configured.
  • the display unit 105 and the input unit 104 may be configured separately, and for example, a display as the display unit 105 and a so-called touch pad or mouse as the input unit 104 may be used.
  • the text candidates are displayed on the display unit 105 as two options, the text candidates are not limited to two options and may be three or more options. Further, the present technology can be applied to not only the selection but also the end portion added to the body directly input by the user. Further, the present invention can be applied not only to a reply message to a received message, but also to a transmission message that does not assume a received message.
  • the first to eighth tail end candidate determination methods described in the embodiments may be used in combination rather than independently.
  • An information processing apparatus comprising: a tail part candidate determination unit that determines a plurality of tail part candidates that form a transmission message together with the body by being added to the end of the body.
  • a tail part candidate determination unit that determines a plurality of tail part candidates that form a transmission message together with the body by being added to the end of the body.
  • the information processing device according to any one of (1) to (4), wherein the candidate of the tail portion is determined based on the state of the user.
  • the tail portion includes a special character.
  • the special character includes at least one of a symbol character, a character indicating a figure, a pictogram, and an emoticon.
  • the text is a text selected from a plurality of text candidates presented to the user.
  • the information processing apparatus according to claim 1, wherein the text is a sentence that is determined and presented based on a voice by voice recognition and is presented (1) to (8).
  • the information processing apparatus according to any one of (1) to (9), including a display control unit that causes the display unit of the terminal device to display the candidates for the main text and the end portion.
  • a display control unit that causes the display unit of the terminal device to display the candidates for the main text and the end portion.
  • the candidate of the end portion is displayed as an icon on the display unit.
  • the plurality of icons are arranged and displayed around the text.
  • the icon is displayed based on a rank of the number of times of use of the tail portion, a circular model of emotion, and a correspondence relationship with a keyword in the text.
  • the information processing apparatus according to (13), wherein an icon indicating an instruction not to add the end portion to the text is displayed in the display unit in the same display mode as the icon indicating the end portion candidate.
  • the display unit has a touch panel function, an operation of selecting one of the texts from a plurality of the text candidates by one touch on the display unit, and one of the tail parts from a plurality of the tail part candidates.
  • the information processing apparatus according to any one of (12) to (14), which continuously performs the operation of selecting.
  • the information processing device according to any one of (12) to (15), wherein the terminal device is a wearable device.
  • the information processing apparatus according to any one of (1) to (16), further including a message generation unit that adds the end portion to the text and generates the transmission message.
  • An information processing program that causes a computer to execute an information processing method that is added to the end of a text to determine a plurality of candidates for the end part that constitutes a transmission message together with the text.
  • Terminal device 200 Information processing device 205
  • End part candidate determination unit 207
  • Message generation unit 208

Abstract

本文の末尾に付加されることにより本文とともにメッセージを構成する末尾部分の複数の候補を決定する末尾部分候補決定部を備える情報処理装置である。

Description

情報処理装置、情報処理方法および情報処理プログラム
 本技術は、情報処理装置、情報処理方法および情報処理プログラムに関する。
 近年、スマートフォンなどの端末装置の普及によって、ユーザ間でメッセージの送受信を行うことが一般的になっている。
 そこで、ユーザの現在位置やユーザの状況に合わせて適切な文を検索し、ユーザに提示することが可能な情報処理装置が提案されている(特許文献1)
特開2011-232871号公報
 近年、メッセージ機能の発達によりメッセージは漢字、ひらがな、カタカナ、数字などのいわゆる通常の文字だけでなく、特殊文字、絵文字、顔文字などを用いて作成されるものとなっている。ユーザはその特殊文字、絵文字、顔文字などを使用することによって、メッセージにおける多様な感情表現など行うことができる。メッセージにおける特殊文字、絵文字、顔文字などは主にメッセージの本文の末尾に付加され、その使用は現在では当たり前のものになっている。
 特許文献1に記載の技術は、あくまで通常の文字により構成された文をユーザに提示するものであり、それだけではユーザのメッセージにおける様々な感情表現や意図を表すには不十分である。
 本技術はこのような点に鑑みなされたものであり、メッセージの本文の末尾に付加される末尾部分の最適な候補をユーザに提示することができる情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。
 上述した課題を解決するために、第1の技術は、本文の末尾に付加されることにより本文とともにメッセージを構成する末尾部分の複数の候補を決定する末尾部分候補決定部を備える情報処理装置である。
である。
 また、第2の技術は、本文の末尾に付加されることにより本文とともにメッセージを構成する末尾部分の複数の候補を決定する情報処理方法である。
 さらに、第3の技術は、本文の末尾に付加されることにより本文とともにメッセージを構成する末尾部分の複数の候補を決定する情報処理方法をコンピュータに実行させる情報処理プログラムである。
端末装置100の構成を示すブロック図である。 情報処理装置200の構成を示すブロック図である。 絵文字および顔文字の説明図である。 メッセージを構成する本文と末尾部分の説明図である。 末尾部分の他の例を示す図である。 基本処理を示すフローチャートである。 表示部105に表示されるユーザインターフェースを示す図である。 本文の候補決定処理のフローチャートである。 本文データベースの説明図である。 末尾部分の候補を決定する第1の方法の説明図である。 末尾部分の使用回数取得処理を示すフローチャートである。 送信済メッセージの本文と末尾部分の分割の詳細処理を示すフローチャートである。 末尾部分の候補を決定する第2の方法の説明図である。 末尾部分の候補を決定する第2の方法のフローチャートである。 末尾部分の候補を決定する第3の方法のフローチャートである。 末尾部分の候補を決定する第3の方法の説明図である。 末尾部分の候補を決定する第4の方法の説明図である。 円環モデルと絵文字の対応を示す図である。 送受信相手の端末装置における処理を示すフローチャートである。 覚醒度算出処理のフローチャートである。 快不快度算出処理のフローチャートである。 状態情報に基づく絵文字と円環モデルの対応づけ処理のフローチャートである。 末尾表現と円環モデルの対応の説明図である。 末尾部分の候補を決定する第6の方法のフローチャートである。 末尾部分の候補を決定する第7の方法における端末装置300の構成を示すブロック図である。 末尾部分の候補を決定する第7の方法の説明図である。 末尾部分の候補を決定する第7の方法におけるユーザインターフェースを示す図である。 第8の方法における情報処理装置400の構成を示すブロック図である。 第8の方法におけるユーザインターフェースを示す図である。 末尾部分の各国におけるローカライズの説明図である。
 以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
<1.実施の形態>
[1-1.端末装置100の構成]
[1-2.情報処理装置200の構成]
[1-3.本文と末尾部分]
[1-4.情報処理装置による処理]
[1-4-1.基本処理とユーザインターフェース]
[1-4-2.本文の候補決定処理]
[1-5.末尾部分の候補を決定する方法]
[1-5-1.末尾部分の候補を決定する第1の方法]
[1-5-2.末尾部分の候補を決定する第2の方法]
[1-5-3.末尾部分の候補を決定する第3の方法]
[1-5-4.末尾部分の候補を決定する第4の方法]
[1-5-5.末尾部分の候補を決定する第5の方法]
[1-5-6.末尾部分の候補を決定する第6の方法]
[1-5-7.末尾部分の候補を決定する第7の方法]
[1-5-8.末尾部分の候補を決定する第8の方法]
<2.変形例>
<1.実施の形態>
[1-1.端末装置100の構成]
 まず、図1を参照して情報処理装置200が動作する端末装置100の構成について説明する。端末装置100は制御部101、記憶部102、通信部103、入力部104、表示部105、マイクロホン106、情報処理装置200を備えるよう構成されている。
 制御部101は、CPU(Central Processing Unit)、RAM(Random Access Memory)およびROM(Read Only Memory)などから構成されている。ROMには、CPUにより読み込まれ動作されるプログラムなどが記憶されている。RAMは、CPUのワークメモリとして用いられる。CPUは、ROMに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって端末装置100全体の制御を行う。
 記憶部102は、例えば、HDD(Hard Disc Drive)、半導体メモリ、SSD(Solid State Drive)などにより構成された記憶媒体であり、プログラム、コンテンツデータなどが格納されている。
 通信部103は、所定の通信規格によりインターネットを介して外部機器などと通信を行うモジュールである。通信方法としては、Wi-Fi(Wireless Fidelity)などの無線LAN(Local Area Network)、4G(第4世代移動通信システム)、ブロードバンド、Bluetooth(登録商標)、などがある。情報処理装置200により生成された送信メッセージは通信部103により通信でメッセージの送受信を行う相手(以下、送受信相手と称する。)の装置に送信される。
 入力部104は、ユーザが端末装置100に対して入力を行うための各種入力デバイスである。入力部104としては、ボタン、表示部105と一体に構成されたタッチパネルなどがある。入力部104に対して入力がなされると、その入力に応じた制御信号が生成されて制御部101に出力される。そして、制御部101はその制御信号に対応した演算処理や制御を行う。
 表示部105は、画像や映像などのコンテンツデータ、メッセージ、端末装置100のユーザインターフェースなどを表示するための表示デバイスなどである。表示デバイスとしては、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro Luminescence)パネルなどにより構成されたものがある。
 本技術において表示部105は入力104と一体的に構成されたタッチパネルであるとして説明を行う。タッチパネルでは、表示部105の表示面であり、かつ操作面である画面に対してなされた指またはスタイラスの接触操作を検出し、その接触位置を示す情報を出力することができる。また、タッチパネルは操作面に対して繰り返しなれた操作のそれぞれを検出し、そのそれぞれの接触位置を示す情報を出力することもできる。なお、ここでは、表示部105に指などを接触させて操作できる表示デバイスの総称としてタッチパネルという表現を用いている。
 これによりタッチパネルはいわゆるタップ操作、ダブルタップ操作、タッチ操作、スワイプ操作、フリック操作などのユーザからの様々な入力、操作を受け付けてそれらを検出することができる。
 タップ操作とは、ユーザの指などを操作面上に短時間1回だけ接触させ、離す入力動作である。ダブルタップ操作とは、指などを操作面上に短い間隔で連続して2回接触させ、離す入力動作である。これらは主に決定の入力などに用いられる。タップ操作は指などを操作面に接触させる動作から離す動作までを含めた入力方法である。長押し操作とは、ユーザの指などを操作面上に接触させて所定時間その接触状態を維持する入力動作である。タッチ操作とはユーザの指などを操作面上に接触させる入力動作である。タップ操作とタッチ操作の違いは操作面に接触させた後の離す動作までを操作に含めるか否かである。タップ操作は離す動作を含める入力方法であり、タッチ操作は離す動作までは含めない入力方法である。
 スワイプ操作とは、なぞり操作とも称され、ユーザの指などを操作面上に接触させたまま移動させる入力動作である。フリック操作とは、ユーザの指など操作面上の1点を指示してから、そのまま任意の方向に素早くはじくようにする入力動作である。
 マイクロホン106は、ユーザが音声を入力するための音声入力用デバイスである。
 情報処理装置200は、端末装置100がプログラムを実行することにより構成される処理部である。プログラムは端末装置100内に予めインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。なお、情報処理装置200は、プログラムによって実現されるのみでなく、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。情報処理装置200は特許請求の範囲における情報処理装置200に相当するものである。
 端末装置100は以上のように構成されている。なお、以下の説明において端末装置100は腕時計型ウェアラブルデバイスであるとする。本技術は腕時計型ウェアラブルデバイスのように表示画面のサイズおよびタッチパネルのサイズが大きなサイズではなく送信メッセージの作成および確認が容易ではない端末装置100において有用である。
[1-2.情報処理装置200の構成]
 次に図2を参照して情報処理装置200の構成について説明する。情報処理装置200は、送受信部201、メッセージ解析部202、本文候補決定部203、本文データベース204、末尾部分候補決定部205、末尾表現データベース206、メッセージ生成部207、表示制御部208とから構成されている。
 送受信部201は端末装置100が受信した送受信相手からのメッセージを情報処理装置200の各部に供給するとともに、情報処理装置200が生成した送信メッセージを端末装置100に供給するものである。また、情報処理装置200内での本文、末尾部分などのやり取りも行うものである。
 メッセージ解析部202は、端末装置100が受信した受信メッセージを解析して本文候補決定部203が本文の候補を決定するための特徴を抽出するものである。
 本文候補決定部203は、メッセージ解析部202が抽出した受信メッセージの特徴に基づいて本文データベース204からユーザに提示する複数の本文の候補を決定するものである。
 本文データベース204は、受信メッセージに対してユーザが送信する送信メッセージを構成する本文の候補が複数格納されたデータベースである。
 末尾部分候補決定部205は、末尾表現データベース206に格納されている複数の末尾表現からユーザに複数の末尾部分の候補として提示するものを決定する。末尾部分とは、本文の末尾に付加されることにより送信メッセージを構成するメッセージの一部分である。
 末尾表現データベース206は、受信メッセージに対してユーザが送信する送信メッセージを構成する末尾部分の候補となる末尾表現が複数格納されたデータベースである。末尾表現データベース206に格納されている多数の末尾表現のうちのいくつかが末尾部分の候補として表示部105に表示されてユーザに提示される。末尾表現とは、送信メッセージにおいて末尾部分として本文の末尾に付加される特殊文字等からなる文字列である。
 メッセージ生成部207は、ユーザにより選択された本文と末尾部分を結合することによりユーザが送信する送信メッセージを生成するものである。
 表示制御部208は、端末装置100の表示部105において本文の候補および末尾部分の候補、さらに送信メッセージ生成、送信のためのユーザインターフェースなどを表示させるものである。
 以上のようにして端末装置100および情報処理装置200が構成されている。
[1-3.本文と末尾部分]
 次に、送信メッセージを構成する本文と末尾部分について説明する。送信メッセージは本文のみ、または本文と末尾部分の組み合わせにより構成されている。本文とは、ひらがな、カタカナ、漢字、英数字など文字(通常文字等と称する。)で構成される文章である。末尾部分とは、特殊文字、絵文字さらに本文に使用される通常文字以外のあらゆる文字で構成されるものであり、本文の末尾に付加されることにより送信メッセージを構成するものである。
 絵文字とは、図3Aに示すように1文字分の表示領域で1つの絵(例えば、人の顔、自動車、食べ物などのアイコン、グリフ)を表示できるようにしたものである。
 特殊文字とは、?、!、+、-、÷、×、&、♯、$、%、矢印などの記号文字のほか、三角形、ハート、星などの図形を示す文字など、ひらがな、カタカナ、漢字、英数字などの通常の文字以外の文字を含むものである。
 絵文字、特殊文字以外で末尾部分を構成するものとしては、いわゆる顔文字と称されるものもある。顔文字とは図3Bに示すように、複数の数字、平仮名、カタカナ、外国語文字、特殊文字、記号などを組み合わせて人の顔や動作、キャラクターの顔や動作を現したものである。
 説明の便宜上、以下の説明においては特殊文字、絵文字、顔文字を総称して「特殊文字等」と称する。
 ユーザは本文の末尾に様々な末尾表現を末尾部分として付加することにより図4に示すような本文だけでは伝わらない様々な感情、印象、表現をメッセージの送受信相手に伝えることができる。図4に示すように、本文が同じ文章でも末尾部分が異なることによりメッセージ全体として異なる印象、感情、表現を表すことができる。なお、図4に示した末尾部分が表す感情、印象、表現はあくまで一例である。
 なお本文の末尾に付加される末尾部分を構成する特殊文字等は一つに限られない。図5に示すように、複数の特殊文字、絵文字、顔文字を用いて末尾部分が構成されることもある。また、図5に示す、「(笑)」、「www」のように漢字、アルファベットを含んで(またはそれのみで)構成されるものもある。
 末尾表現データベース206には、図3に示したような様々な種類の特殊文字等からなる末尾表現が格納されており、さらに図5に示したような複数の特殊文字等の組み合わせから構成される末尾表現、特殊文字等以外の文字で構成される末尾表現も格納されている。末尾表現データベース206は予め端末装置100で使用可能な特殊文字、絵文字の全てからなる末尾表現を格納させておくとよい。また、予めインターネットにおける情報やユーザの使用履歴に基づいて複数の特殊文字等の組み合わせで構成される末尾表現も格納させておくとよい。さらに、インターネットを介してのサーバに接続して定期的、または任意のタイミングで末尾表現データベース206を更新できるようにするとよい。言語の使用は時代の流れと共に変化するものであるため、末尾表現データベース206を更新可能とすることにより常に最新の末尾表現の使用に対応することができる。
[1-4.情報処理装置200による処理]
[1-4-1.基本処理とユーザインターフェース]
 次に図6のフローチャートおよび図7を参照して、情報処理装置200による基本処理と、送信メッセージ作成のために端末装置100の表示部105に表示されるユーザインターフェースの構成について説明する。
 まずステップS101で送受信相手からのメッセージを受信する。受信メッセージは図7Aに示すように端末装置100の表示部105に表示されるとともにメッセージ解析部202に供給される。
 次にステップS102でメッセージ解析部202により受信メッセージが解析され、本文候補決定部203が本文データベース204からユーザに提示する本文の2択候補を決定する。なお、本文データベース204にユーザに提示する本文の候補がない場合には本文候補なしと決定してもよい。受信メッセージの解析および本文の候補決定処理の詳細については後述する。
 次にステップS103で、決定された本文の候補が表示制御部208により表示部105において表示される。本文の候補は図7Bに示すように端末装置100の表示部105において並列的に表示される。これによりユーザに対して送信メッセージの本文の2択候補を提示することができる。図7Bの例では「帰らないの?」という受信メッセージに対して、「帰ります」、「帰りません」という本文の2択候補を表示されている。なお、本文の候補を表示部105に表示する際は、受信メッセージも表示させていてもよいし、受信メッセージは表示させなくてもよい。ただし、受信メッセージを表示させておくことにより、ユーザは本文の候補の選択と末尾部分の候補の選択とを受信メッセージを確認しながら行うことができる。
 次にステップS104で本文の候補のいずれかがユーザに選択された場合、処理はステップS105に進む(ステップS104のYes)。このユーザからの選択入力は図7Cに示すようにタッチパネルとして構成された表示部105に対するタッチ操作により行われる。選択された本文の候補は表示態様を選択したことをわかりやすくするために変化させるとよい。
 次にステップS105で末尾部分候補決定部205が末尾表現データベース206の複数の末尾表現の中からユーザに提示する末尾部分の候補を決定する。末尾部分の候補の決定方法については後述する。
 次にステップS106で、決定された末尾部分の候補が表示制御部208により表示部105において表示される。末尾部分の候補は図7Dに示すように選択された本文の候補を略中心としてその周囲に円環状にアイコンとして表示される。この円環状のアイコンの配置は表示部105の形状に沿ってアイコンを配置したものである。
 次にステップS107で末尾部分の候補のいずれかがユーザに選択された場合、処理はステップS108に進む(ステップS107のYes)。末尾部分の候補を選択する入力は、図7Cに示すように本文の候補の選択入力を行った指を表示部105の表示面に接触させたまま、図7Dに示すように末尾部分の候補が表示された後、図7Eに示すように選択する末尾部分の候補のアイコンまで移動させてユーザが選択する末尾部分の候補のアイコン上で指を表示面から離す(スワイプさせる)と、そのアイコンに対応した末尾部分が選択される。
 この入力方法によれば、ユーザは本文の候補の選択と末尾部分の候補の選択を表示部105の表示面への一回の指の接触で行うことができるため、直感的、容易かつ迅速に選択を行うことができる。なお、本文の候補の選択後、末尾部分の候補の選択までの間に表示部105における末尾部分のアイコン以外の領域で表示面から指が離された場合は図7Bに示す本文の候補の選択画面に戻るようにしてもよい。これにより、ユーザは本文の候補の選択をやり直すことができる。
 なお、入力方法はこの表示部105の表示面への一回の指の接触で行う方法に限られるものではない。本文の候補をタップ操作で行った後(即ち、表示部105の表示面から指を一旦離し)末尾部分の候補の選択のために再びタップ操作を行うようにしてもよい。
 図7D、図7Eに示すように、表示部105において円環状に配置されている末尾部分の候補を示すアイコンのうち、頂点の位置に配置されたアイコンZは末尾部分なしで送信メッセージを送信するためのアイコンである。ユーザは末尾部分を付加しない本文のみで送信メッセージを送信したい場合もあり得る。末尾部分を付加しないことを選択するアイコンZを、末尾部分を付加することを選択するアイコンと同様の表示態様で表示させることにより、末尾部分を付加する場合と同様の操作で末尾部分を付加しない送信メッセージを作成することができる。これにより末尾部分を付加する場合と付加しない場合で操作の一貫性が保たれ、ユーザは直感的に送信メッセージの生成を行うことができる。なお、アイコンZを表示させずに、本文の候補の選択入力後に表示部105の表示面から指などを離した場合には末尾部分を付加しない本文のみを送信メッセージとするようにしてもよい。
 なお、ステップS107で末尾部分の候補のいずれかがユーザに選択されるまで、ユーザからの選択入力の待ち状態となる(ステップS107のNo)。
 次にステップS108でメッセージ生成部207により送信メッセージが生成される。送信メッセージの生成は、ユーザにより選択された本文の候補の末尾にユーザにより選択された末尾部分の候補を結合することにより行われる。そしてステップS109で、端末装置100の通信部103により送信メッセージが送受信相手の端末装置に送信される。図7Fに示すように、送信メッセージが送信されると送信済メッセージとメッセージを送信した旨の通知が表示部105に表示される。
 なお、送信メッセージの生成後であって送信メッセージの送信前に、表示部105に送信メッセージを表示してこのメッセージを送信してよいか確認するステップを設けてもよい。これにより不適切な内容のメッセージを誤って送信してしまうことを防止することができる。
 情報処理装置200による、本文の候補の決定および提示から、末尾部分の候補の決定および提示、ユーザからの選択の受け付け、送信メッセージの送信までの基本処理は以上のようにして行われる。
[1-4-2.本文の候補決定処理]
 次に図8のフローチャートを参照して、図6のフローチャートのステップS102における受信メッセージの解析と本文の候補決定処理の詳細について説明する。
 まずステップS201でメッセージ解析部202が受信メッセージに対して形態素解析を行う。次にステップS202で各単語についてTF(Term Frequency)-IDF(Inverse Document Frequency)を計算して受信メッセージのベクトルを算出する。TF-IDFとは文に含まれる単語の重要度を評価する手法の1つであり、TFは単語の出現頻度を示し、IDFは逆文書頻度を示す。
 次にステップS203で、本文データベース204におけるマッチング文とのCOS類似度を計算する。COS類似度とは、ベクトル空間モデルにおいて文書同士やベクトル同士を比較する際に用いられる類似度計算の指標である。本文データベース204は図9に示すような、送受信相手から送信されてユーザが受信するメッセージに対応するマッチング文と、そのマッチング文に対する返信である本文の候補(本実施の形態では2択)を予め対応付けて格納してあるものである。なお、処理の効率化のために本文データベース204のマッチング文は予めTF-IDFの計算をしてデータベース化しておくとよい。
 次にステップS204で、受信メッセージにCOS類似度が最も近いマッチング文を対話データベースから探索する。そしてステップS205で、COS類似度が最も近いマッチング文に対応付けられた本文データベース204における本文候補をユーザに提示する本文の2択候補として決定する。
 以上のようにして本文の候補の決定が行われる。なお、この本文の候補の決定方法は一例であり、本文の候補の決定方法はこの方法に限られず他の方法でもよい。
[1-5.末尾部分の候補を決定する方法]
[1-5-1.末尾部分の候補を決定する第1の方法]
 次に末尾部分の候補を決定する第1の方法について説明する。第1の方法は、図10Aに示すように、ユーザの末尾部分の使用回数(使用率でもよい)に基づく方法である。図10Aの例では、表示部105においてアイコンAからアイコンKまで末尾部分の候補としての末尾表現の使用回数が多い順に時計回りに配置されている。アイコンAがその時点における使用回数1位の末尾表現を末尾部分の候補として示すものであり、アイコンBが使用回数2位の末尾表現を末尾部分の候補として示すものであり、アイコンCが使用回数3位の末尾表現を末尾部分の候補として示すものである。それがアイコンKまで続いている。なお、頂点に表示されているアイコンZは上述した、本文に末尾部分を付加しないことを選択するためのアイコンである。
 このように末尾部分の候補を使用回数が多い順に配置することにより、頻繁に使用する末尾表現を用いて容易かつ迅速に送信メッセージを作成することができる。なお、図10Aでは末尾部分の候補を示すアイコンは使用回数が多い順に時計回りに配置されているが本技術はそれに限定されず、反時計回りでもよい。
 ここで図11Aのフローチャートを参照して末尾部分の使用回数取得処理について説明する。この使用回数取得処理は端末装置100から送信された個々の送信済メッセージごとに行われる。
 まずステップS301で処理対象の送信済メッセージを本文と末尾部分とに分ける。次にステップS302で、図11Bの使用回数データベースにおいて、送信済メッセージの本文および末尾部分と、末尾表現データベース206の本文と末尾部分とを比較して一致する場合使用回数をインクリメントする。このようにして末尾部分の使用回数を更新することができるので、この処理を定期的またはメッセージが送信されるたびに行えば常に最新の末尾部分の使用回数を習得することができる。使用回数データベースは末尾表現データベース206に含めていてもよいし、別途独立したものとして構成してもよい。
 ここで、図11のフローチャートのステップS301における送信済メッセージの本文と末尾部分の分割の詳細について図12のフローチャートを参照して説明する。
 まずステップS401で、送信済メッセージの末尾が末尾表現データベース206にある複数の末尾表現のいずれかと一致するか否かが判断される。この場合の送信済メッセージの末尾とは、1文字に限らず2文字以上の場合もある。一致する場合、処理はステップ402から403に進む(ステップ402のYes)。
 次にステップ403で、送信済メッセージにおける末尾表現データベース206の末尾表現と一致した部分を除いた部分を本文とする。そしてステップ404で送信済メッセージにおける末尾表現データベース206の末尾表現と一致した部分を末尾部分とする。これにより送信済メッセージを本文と末尾部分に分けることができる。なおステップS403とステップS404は逆の順序でもよいし、処理としては同時に行ってもよい。
 一方、ステップS401で送信済メッセージの末尾が末尾表現データベース206にある末尾表現のいずれとも一致しない場合、処理はステップS402からステップS405に進む(ステップS402のNo)。
 次にステップS405で、送信済メッセージを最後の1文字を仮の末尾部分とし、それ以外を仮の本文として分ける。なお、これは最終的に分割される本文と末尾部分ではなくあくまで仮として分割するものである。次にステップS406で仮の本文の最後の文字が特殊文字等であるか否かが判断される。
 仮の本文の最後の文字が特殊文字等である場合、処理はステップS407に進み(ステップS406のYes)、仮の本文の最後の文字である特殊文字等を仮の本文から除き、仮の末尾部分に含める。そして処理はステップS406に戻り、再び仮の本文の最後の文字が特殊文字等であるかが判断される。よって、仮の本文の最後の文字が特殊文字等ではなくなるまでステップS406とステップS407が繰り返される
 この処理により、送信済メッセージの末尾部分が末尾表現データベース206に含まれていない複数の連続する特殊文字等で構成されているような場合でもその複数の連続する特殊文字等を末尾部分として本文と分けることができる。
 そして、仮の本文の最後の文字が特殊文字等ではない場合処理はステップS408に進む(ステップS406のNo)。そしてステップ408で、送信済メッセージにおける仮の本文を本文とし、ステップ409で送信済メッセージにおける仮の末尾部分を末尾部分とする。これにより送信済メッセージを本文と末尾部分に分けることができる。なおステップS408とステップS409は逆の順序でもよいし、処理としては同時に行ってもよい。
 この第1の方法によれば、ユーザの末尾部分の使用回数に基づいて末尾部分の候補を決定するので、ユーザが頻繁に使用する末尾部分を候補として提示することができ、ユーザは迅速および容易に送信メッセージを作成することができる。
 なお、末尾部分の使用回数は端末装置100のユーザ個人の使用回数であってもよいし、複数のユーザの使用回数の合計でもよい。また、端末装置100のみに限られず、ユーザが所有する装置でありメッセージの送受信に使用するウェアラブルデバイス、スマートフォン、タブレット端末、パーソナルコンピュータなどにおける使用回数を合算してもよい。これは複数のユーザの場合も同様である。また、送信メッセージに限らず各種SNS(Social Network Service)での投稿における末尾部分の使用回数を用いてもよい。また、図10Bに示すように使用回数順はユーザごとに異なるものであってもよい。これは1つの端末装置100を複数人で使用する場合などにおいて有効である。
 なお、本技術を用いて作成されたメッセージを末尾部分の使用回数に含めると使用回数計測の結果が偏るおそれがある。そこで、複数の装置のそれぞれにおいて送信されたメッセージにおける末尾部分の使用回数を合算するにあたって装置ごとの重み付けを行ってもよい。例えば、本技術の情報処理装置200の機能を備える装置で送信されたメッセージは重み付けを低くする、などである。これにより使用回数計測結果の偏りを防止することができる。また、使用回数計測には本技術で作成したメッセージは含めない、というようにしてもよい。
[1-5-2.末尾部分の候補を決定する第2の方法]
 次に末尾部分の候補を決定する第2の方法について説明する。第2の方法は図13に示すようにメッセージを構成する本文に含まれるキーワードとの対応関係を有する末尾表現を末尾部分の候補として提示するものである。
 例えば、図13に示すように予め「楽」、「食」、「帰」などのキーワードと、各キーワードのそれぞれにそのキーワードに関連する末尾表現を対応させて対応末尾表現データベース(末尾表現データベース206に含めてもよい)として構築しておく。図13の例では、キーワード「帰」には、帰ることを連想させるような電車、車、自転車、走るなどの絵文字からなる末尾表現が対応付けられている。また、キーワード「食」には食べることを連想させるような食器、ラーメン、ビール、おにぎりなどの絵文字からなる末尾表現が対応付けられている。さらにキーワード「楽」には楽しい感情を連想させるような笑顔、ハートマークなどの絵文字からなる末尾表現が対応付けられている。なお、この対応末尾表現データベースは予め構築しておき、定期的にユーザの末尾部分の使用回数などに応じて更新するとよい。
 そして、送信メッセージを構成する本文に含まれるキーワードとの対応関係を有する末尾表現を示すアイコンを末尾部分の候補として表示部105に表示して提示する。図13の例では、送信メッセージの本文は「帰ります」でありキーワード「帰」が含まれているので、キーワード「帰」に対応した末尾表現が末尾部分の候補として表示部105に表示されて提示されている。
 次に図14のフローチャートを参照して第2の方法を実現するための処理について説明する。
 まずステップS501でユーザにより選択された本文にキーワードが含まれているかが判定される。本文にキーワードが含まれているか否かは、複数のキーワードを格納した対応末尾表現データベースと本文を比較することにより行うことができる。本文にキーワードが含まれている場合、処理はステップS502からステップS503に進む(ステップS502のYes)。
 そしてステップS503でキーワードに対応付けられた複数の末尾表現を末尾部分の候補として表示部105にアイコンとして表示して提示する。なお、アイコンによる表示は一例であり、末尾部分の候補の表示はアイコンに限定されるものではない。
 一方、本文にキーワードが含まれていない場合、処理はステップS502からステップS504に進む(ステップS502のNo)。そしてステップS504で、キーワードに対応付けられた末尾部分ではなく、他の方法、例えば標準テンプレートで末尾表現を末尾部分の候補として表示部105に表示して提示する。
 この第2の方法によれば、送信メッセージの本文中のキーワードとの対応関係を有する末尾部分の候補をユーザに提示することができる。
[1-5-3.末尾部分の候補を決定する第3の方法]
 次に末尾部分の候補を決定する方法の第3の方法について説明する。第3の方法は本文と過去の送信済メッセージとの類似度に基づいて末尾部分の候補を決定するものである。図15のフローチャートを参照して第3の方法を実現するための処理について説明する。
 まずステップS601で、図16に示すように過去の送信履歴にある複数の送信済メッセージを本文との類似度が高い順にソートする。図16Aでは2つの本文の候補からユーザに選択された本文は「帰ります」であるとし、その本文との類似度はTF-IDFのCOS類似度にて算出するものとする。なお、過去の送信履歴を保持しておく機能は端末装置100が備える一般的な各種メッセージ機能が通常備えている機能であるため、処理はその保持された送信履歴を参照して行えばよい。
 次にステップS602で、類似度が高さのN番目の送信済メッセージを選択する。なお、Nの初期値は1である。よって、まず送信済メッセージは類似度が最も高いものが選択される。次にステップS603で選択した送信済メッセージを本文と末尾部分に分ける。この送信済メッセージを本文と末尾部分に分ける手法は、図12を参照して説明した上述の手法を使用することができる。
 次にステップS604で分けられた末尾部分が末尾表現データベース206にある複数の末尾表現のいずれかと一致するか否かが判定される。一致する場合、処理はステップS604からステップS605に進む(ステップS604のYes)。そしてステップS605で一致した末尾表現を末尾部分の候補として決定する。
 次にステップS606でM個(Mは予め定められた、表示部105に表示して提示する末尾候補の数)の末尾部分の候補を決定したか、または、全ての送信済メッセージに対して処理を行ったか否かが判定される。いずれかを満たす場合処理は終了となる(ステップS606のYes)。処理を終了とするのは、M個の末尾部分の候補を決定した場合には表示部105に表示する末尾部分の候補を全て決定したため、それ以上処理を行う必要はないからである。また、全ての送信済メッセージに対して処理を行った場合には仮に表示部105に表示できる末尾候補の数に達していなくてもそれ以上処理を行うことはできないからである。
 ステップS606でいずれも満たさない場合、処理はステップS607に進む(ステップS606のNo)。そしてステップS607でNをインクリメントして、処理はステップS602に進む。Nがインクリメントされたので次の処理はN=2、すなわち類似度が2番目に高い送信済メッセージに対して行われる。そして処理はステップS606の条件を満たすまでステップS602乃至ステップS606が繰り返される。なお、ステップS604において末尾部分が末尾表現データベース206の末尾表現のいずれにも一致しない場合も処理はステップS607に進む(ステップS604のNo)。
 図16Bの例では、本文「帰ります」に類似している送信済メッセージである「帰る!」、「帰ります~」、「帰ろうかな・・・」の末尾部分が候補として表示部105に表示されて提示されている。
 この第3の方法によれば送信メッセージに類似する過去の送信済メッセージにおいて使用された末尾部分の候補がユーザに提示されるので、ユーザは過去に送信したメッセージと同様の末尾部分が付加された送信メッセージを容易に作成することができる。
[1-5-4.末尾部分の候補を決定する第4の方法]
 次に末尾部分の候補を決定する第4の方法について説明する。第4の方法はメッセージの送受信相手とユーザの関係性に基づいて決定するものである。
 例えば、メッセージの送受信相手がユーザの家族、友人という関係性である場合、絵文字からなる末尾表現を末尾部分の候補として表示部105に表示して提示する。一方、例えば、メッセージの送受信相手がユーザと職場の上司という関係性である場合、絵文字ではなく、相応の記号からなる末尾表現を末尾部分の候補として表示部105に表示して提示する。
 これを実現するためには、図17に示すように末尾表現データベース206において送受信相手のユーザとの関係性と末尾表現を予め対応付けておき、それぞれの関係性に対応した末尾表現のみを末尾部分の候補として表示部105に表示すればよい。
 送信メッセージの送信先とユーザの関係性は端末装置100が保持するアドレス情報、メッセージの送受信履歴などを参照して判断することができる。また、過去のメッセージの送受信履歴を宛先で絞り込んで送信相手の関係性を把握することもできる。
 この第4の方法によれば、例えば一般的に絵文字がついたメッセージを送るべきではない上司に誤って絵文字付きのメッセージを送ってしまう、というようなことを防止することができる。
[1-5-5.末尾部分の候補を決定する第5の方法]
 次に末尾部分の候補を決定する第5の方法について説明する。第5の方法は末尾部分の候補を感情の円環モデルに基づいて決定するものである。感情の円環モデルとしては例えばラッセル(Russell)の円環モデルを使用することができる。図18Aに示すように、ラッセルの円環モデルとは、人の覚醒と鎮静、快と不快のバランスを2次元の軸に対応させて把握するものである。図18Aにおける感情の円環モデルと対応させた絵文字(末尾表現)は予め円環モデルの人の覚醒と鎮静、快と不快に対して絵文字が表す感情を対応させた一例である。末尾部分候補決定部205はこの円環モデルと末尾表現の対応情報に基づいて末尾部分の候補を決定する。
 そして、ラッセルの円環モデルに基づいて末尾表現を示すアイコンを末尾部分の候補として表示部105に表示させると図18Bに示すようになる。ラッセルの円環モデルで示される感情は関連する感情が近くに配置されるため、この第5の方法によればユーザはより直感的に末尾部分の候補を選択して送信メッセージを作成することができる。なお、アイコンによる表示は一例であり、末尾部分の候補の表示はアイコンに限定されるものではない。
[1-5-6.末尾部分の候補を決定する第6の方法]
 次に末尾部分の候補を決定する第6の方法について説明する。第6の方法はセンサ情報に基づいて取得することができる送受信相手の状態に基づいて決定するものである。
 第6の方法では末尾部分候補決定部205はユーザがメッセージの送受信相手からメッセージとともに送信された送受信相手の状態を現す情報(以下、状態情報と称する。)に基づいて末尾部分の候補を決定する。
 状態情報はセンサ情報から取得することができるものであり、この第6の方法を実施するためには少なくとも送受信相手の端末装置は心拍センサ、発汗センサ、脈波センサ、体温センサ、表情認識センサなど生体センサを備えているか、外部装置としてのそれらの生体センサからセンサ情報を取得する必要がある。
 図19のフローチャートは送受信相手の端末装置における処理を示すフローチャートである。まずステップS701で送受信相手のセンサ情報を取得する。次にステップS702でセンサ情報から送受信相手の状態情報を算出する。そしてステップS703でメッセージと合わせて状態情報をユーザの端末装置100に送信する。
 センサ情報から状態情報を取得する方法としては、感情の次元円環モデルに基づく方法がある。例えば、発汗センサで得られる皮膚電気反応から覚醒、鎮静の度合いを得ることができる。覚醒時には精神性発汗を生じるため抵抗値が下がることを利用する。また、脈波センサで得られる脈波(指尖容積脈波)から快、不快の度合いを得ることができる。不快刺激時の脈波振幅値は快刺激時よりも高くなることを利用する。
 例えば皮膚電気反応と脈波のセンシングを組み合わせることで、皮膚電気反応が強く覚醒を示しており、脈波が弱い快を示した場合には、「警戒」や「興奮」の感情を示すと解釈することができる。心電図よりR-R感覚変動を測定することにより、覚醒、鎮静を検知するといった方法もあるため、上記に限定されず他の組み合わせ方もありうる。
 図20は皮膚電気反射に基づいて状態情報としての覚醒の度合い(以下、覚醒度LVaroと称する。aroはarousalの意味である。)を算出する処理を示すフローチャートである。覚醒度LVaroを算出する処理で使用するT、THaro_7~THaro_1は定数であり適切に設定する必要がある。例えば、T=600, THaro_i=i*5+30となる。また、例えば、THaro_7=7*5+30=65となる。
 まずステップS801で皮膚インピーダンスの波形をFIR(Finite Impulse Response)フィルタにかける。次にステップS802で過去T[sec]の波形を切り出す。次にステップS803で凸波形の発言個数nを算出する。
 次にステップS804で、n≧THaro_7であるか否かが判定される。n≧THaro_7である場合処理はステップS805に進み(ステップS804のYes)、覚醒度LVaro=8と算出する。
 一方、ステップS804で、n≧THaro_7ではない場合処理はステップS806に進み(ステップS804のNo)、ステップS806で、n≧THaro_6であるか否かが判定される。n≧THaro_6である場合処理はステップS807に進み(ステップS806のYes)、覚醒度LVaro=7と算出する。このようにn≧THaro_iではない限りTHaro_iのiを小さくしていき比較判定を繰り返す。
 そしてステップS808で、n≧THaro_1である場合、処理はステップS809に進み(ステップS808のYes)、覚醒度LVaro=2と算出し、n≧THaro_1ではない場合処理はステップS810に進み(ステップS808のNo)、覚醒度LVaro=1と算出する。このようにして覚醒度LVaroを算出することができる。
 次に図21のフローチャートを参照して、脈波に基づいて状態情報として快、不快の度合い(以下、快不快度LVvalと称する。valはvalenceの意味である。)を算出する処理を説明する。快不快度LVvalを算出する処理で使用するT、THval_7~THval_1は定数であり適切に設定する必要がある。例えば、THval_i=i*0.15+0.25となる。また、例えば、THval_7=7*0.15+0.25=1.3となる。
 まずステップS901で脈波波形をFIRフィルタにかける。次にステップS902でTHwを下回る2点間を1波形として切り出す。次にステップS903で不整脈および突発変化を除去する。次にステップS904で始点の振幅と最大振幅値の差YbAを算出する。次にステップS905でキャリブレーション時のYbCで除して相対値Ybを算出する。
 次にステップS906で相対値Yb≧THval_7であるかが判定される。Yb≧THval_7である場合処理はステップS907に進み(ステップS906のYes)、快不快度LVval=8と算出する。
 一方、ステップS906で相対値Yb≧THval_7ではない場合処理はステップS908に進み(ステップS906のNo)、ステップS908で相対値Yb≧THval_6であるか否かが判定される。Yb≧THval_6である場合処理はステップS909に進み(ステップS908のYes)、快不快度LVval=7と算出する。
 このように相対値Yb≧THval_iではない限りTHval_iのiを小さくしていき比較判定を繰り返す。
 そして、ステップS910で、Yb≧THval_1である場合処理はステップS911に進み(ステップS910のYes)、快不快度LVval=2と算出する。一方、ステップS910でYb≧THval_1でない場合処理はステップS912に進み(ステップS910のNo)、快不快度LVval=1と算出する。このようにして快不快度LVvalを算出することができる。
 次に図22のフローチャートと図23に円環モデルを参照して、状態情報としての覚醒度LVaroおよび快不快度LVvalに基づいて末尾部分の候補を決定する処理について説明する。この処理は、送受信相手の装置から送信された状態情報を受信したユーザの端末装置100で動作する情報処理装置200における末尾部分候補決定部205による処理である。予め図23に示すように感情の円環モデルと絵文字とを対応付けておくものとする。なお、覚醒度LVaroおよび快不快度LVvalの比率に基づいて絵文字を円環モデルにマッピングするためにはatanを用いている。配置する際は、覚醒度LVaroおよび快不快度LVvalの比率に従い、最も近い感情を示す絵文字から順に配置する。
 まずステップS1001で快不快度を用いて、x=LVval-4でxを算出する。次にステップS1002でx<0であるか否かを判定する。x<0である場合処理はステップS1003に進み(ステップS1002のYes)、x=x-1、としてxを算出する。
 ステップS1003の後およびステップS1002でx<0ではない場合共に次にステップS1004で、y=LVaro-4でyを算出する。次にステップS1005でy<0であるか否かを判定する。y<0である場合処理はステップS1006に進み(ステップS1005のYes)、x=x-1、としてyを算出する。
 ステップS1006の後およびステップS1005でx<0ではない場合共に次にステップS1007で、θ=atan2(y,x)からθを算出する。次にステップS1008で、k=0~15に対して、θ-θkの絶対値の値をスコアとして算出する。
 そしてステップS1009で、図23に示すようにスコアが小さいkに対応する末尾表現を末尾部分の候補として決定する。
 なお、図22のフローチャートのステップ1001乃至ステップ1003は快不快度LVvalの値と円環モデルを対応させるための座標の調整処理にあたるものである。ステップ1004乃至ステップ1006は覚醒度LVaroの値と円環モデルを対応させるための座標の調整処理にあたるものである。
 このようにして覚醒度LVaroおよび快不快度LVvalに基づいてユーザの状態と顔の表情を現した絵文字を対応させることができる。ただし、図23に示した対応関係はあくまで一例であり、本技術がその対応関係に限定されるものではない。
 絵文字の円環モデルへのマッピングの仕方を変えることで例えば、覚醒度もしくは快不快度のいずれか一方のみを一軸で配置することもできる。
 図24のフローチャートはユーザの端末装置100で動作する情報処理装置200における処理を示すフローチャートである。図24のフローチャートにおいて図6のフローチャートと同様の処理は同じステップ番号を援用して説明を省略する。
 まずステップS1001で送受信相手からのメッセージと状態情報を受信する。そして本文の候補の表示とユーザからの本文の候補の選択があったとステップS1002で状態情報に基づいて円環モデルを参照して末尾部分の候補を決定する。そしてステップS1003で状態情報に基づいて決定された末尾部分の候補が表示部105に表示される。
 この第6の方法によれば、例えば送受信相手の感情の状態に合わせた末尾部分を付加した送信メッセージを容易に作成して送信することができる。なお、上述の説明では送受信相手の端末装置100側で状態情報を取得してユーザの端末装置100にメッセージと共に送信していた。しかし、送受信相手の端末装置100で取得したセンサ情報をメッセージと共にユーザの端末装置100に送信し、情報処理装置200がセンサ情報から状態情報を取得するようにしてもよい。
 なお、この第6の方法は、送受信相手だけでなく、端末装置100のユーザの状態情報に基づいても実行することができる。
[1-5-7.末尾部分の候補を決定する第7の方法]
 次に末尾部分の候補を決定する第7の方法について説明する。第7の方法はユーザの端末装置100が備えるセンサにより取得されるセンサ情報に基づいて決定するものである。
 図25は第7の方法を実施するための端末装置300の構成を示すブロック図である。端末装置300は生体センサ301、位置センサ302、動きセンサ303を備えている。
 生体センサ301は、ユーザの生体情報を取得することができる各種センサであり、例えば、心拍センサ、血圧センサ、発汗センサ、温度センサなどである。これら以外にもユーザの生体情報を取得できるセンサであればどのようなものでもよい。
 位置センサ302は、GPS(Global Positioning System)、GNSS(Global Navigation Satellite System)、Wi-Fi、SLAM(Simultaneous Localization and Mapping)など、ユーザの位置を検出することができるセンサである。これら以外にもユーザの位置を検出できるセンサであればどのようなものでもよい。
 動きセンサ303は、加速度センサ、角速度センサ、ジャイロセンサ、地磁気センサ、気圧センサなどユーザの動き(動く速度、動きの種類など)を検出することができるセンサである。これら以外にもユーザの動きを検出できるセンサであればどのようなものでもよい。
 なお、情報処理装置200が生体センサ301、位置センサ302、動きセンサ303を備える構成であってもよい。さらに、外部のセンサ装置からセンサ情報を端末装置が習得する構成であってもよい。
 情報処理装置200の末尾部分候補決定部205は、上述した各種センサからのセンサ情報に基づいて末尾部分の候補を決定する。これには例えば図26に示すように、予め末尾表現データベース206において生体センサ301による生体情報、位置センサ302による位置情報、動きセンサ303による動きセンサのそれぞれに末尾表現を対応付けておく必要がある。生体情報と末尾表現の対応は上述した第6の方法における方法で行ってもよい。
 図26の例では、位置情報「自宅」に対する家の絵文字、位置情報「職場」に対するビルの絵文字、位置情報「東京タワー」に対する東京タワーの絵文字などが対応付けられている。また、動き情報で示される動く速度と絵文字を対応させている。例えば、ユーザの移動速度が所定の第1の速度以下の場合にはユーザは歩いているとして歩く人の絵文字、ユーザの移動速度が所定の第2の速度以上第3の速度以下の場合にはユーザは走っているとして走る人の絵文字、ユーザの移動速度が所定の第3の速度以上の場合にはユーザは乗り物で移動しているとして車、電車などの絵文字を対応させている。また、加速度センサや角速度センサ、地磁気センサ、気圧センサ等のセンサデータから機械学習を用いてユーザの行動を認識し、その行動と絵文字などを対応させてもよい。
 そして、末尾部分候補決定部205は生体センサ301、位置センサ302、動きセンサ303から取得したセンサ情報に基づいて末尾表現データベース206を参照してセンサ情報に対応した末尾表現を末尾部分の候補として決定する。
 例えば、状態情報、位置情報、動き情報から「ユーザは東京タワーの近くを歩いて移動しており、感情は『喜び』である」ことが認識された場合、図27に示すように東京タワーの絵文字、歩いている絵文字、笑顔の絵文字が優先的に表示部105に表示される。
 この第7の方法によれば、ユーザが送信メッセージを作成する際の状態に応じた末尾部分を付加した送信メッセージを容易に作成することができる。
[1-5-8.末尾部分の候補を決定する第8の方法]
 次に末尾部分の候補を決定する第8の方法について説明する。第8の方法は音声認識機能により決定された本文に応じて決定するものである。
 図28は第8の方法を実施するための情報処理装置400の構成を示すブロック図である。情報処理装置400は音声認識部401を備える。音声認識部401は公知の音声認識機能によりマイクロホン106を介して入力された音声を認識して本文となる文字列を決定するものである。決定された本文は図29Aに示すように表示部105に表示される。なお、この第8の方法では音声認識部401で認識された文字列が本文となるため、本文の候補を表示部105に表示させる必要はない。
 末尾部分候補決定部205は、音声認識部401により決定された本文に付加する末尾部分の候補を決定する。なお、末尾部分の候補の決定は上述した第1乃至第7の方法を使用することができる。決定された末尾部分の候補は図29Bに示すように表示部105に本文を略中心として円環状に表示される。そして、ユーザによりいずれかの末尾部分の候補が選択されるとその末尾部分を付加した送信メッセージが生成されて図29Cに示すように送信される。
 この第8の方法によれば、音声入力により決定された本文に対しても末尾部分を付加してメッセージを作成することができる。また一般的に、特殊文字などは音声入力での入力は行えないが本技術によれば音声入力のメッセージにも特殊文字等を含めることができる。
 なお、近年、音声から人物の感情を推定する技術が実用化されている。入力された音声データから音のピッチ(高さ)、イントネーション、リズム、ポーズなどの韻律を中心とした特徴量を抽出し、一般的な機械学習手法によって生成した感情認識モデルに基づいて状態情報を出力する。特徴量を抽出する部分も含めて深層学習などの手法を用いても良い。
<2.変形例>
 以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
 本技術は日本語以外の外国語のメッセージにも適用することができる。なお、末尾部分については図30に示すように各言語、各国の文化などに合わせてローカライズする必要が生じる場合がある。
 端末装置100は時計型ウェアラブルデバイスに限らず、メガネ型など他のウェアラブルデバイスでもよい。メガネ型ウェアラブルデバイスの場合は視線入力で本技術を利用できるようにするとよい。
 また、端末装置100は、スマートフォン、タブレット端末、パーソナルコンピュータ、携帯ゲーム機、プロジェクタなどメッセージの作成を行う事が可能な装置であればどのような装置でもよい。例えば、スマートフォンやタブレット端末に本技術を適用した場合、必ずしも図7に示したように円環状に末尾部分の候補を示すアイコンを表示させる必要はなく、少ない面積でより多くのアイコンを配置でき、かつ、視認性が高い表示方法であればどのような配置でもよい。端末装置100の表示部105が円形状である場合、円環状にアイコンを配置させてもよいし、表示部105が四角形上である場合には四角形状にアイコンを配置させてもよい。なお、表示部105の形状とアイコンの配置形状は一致していなくてもよい。例えば、表示部105が四角形状である場合に本文を囲むようにアイコンを円環状に配置してもよい。本技術によれば、末尾部分の候補を無作為に大量に表示させるのではなく、ユーザが作成するメッセージに合った末尾部分の候補を表示させるので、末尾部分の候補を表示させる領域が小さくてすみ、他の、例えばメッセージを表示する領域などを大きくすることができる。
 表示部105と入力部104は一体的に構成されたいわゆるタッチパネルに限定されるものではない。表示部105と入力部104が別体として構成されていてもよく、例えば表示部105としてのディスプレイと入力部104としてのいわゆるタッチパッドやマウスなどを用いてもよい。
 本文の候補は2択として表示部105に表示されると説明したが本文の候補は2択に限られるものではなく3択以上であってもよい。また、選択ではなく、ユーザが直接入力した本文に付加する末尾部分についても本技術は適用可能である。さらに、受信したメッセージに対する返信メッセージだけでなく、受信メッセージを前提としない送信メッセージの作成にも適用可能である。
 実施の形態で説明した、第1乃至第8の末尾部分の候補の決定方法はそれぞれ独立ではなく組み合わせて使用してもよい。
 本技術は以下のような構成も取ることができる。
(1)
 本文の末尾に付加されることにより前記本文とともに送信メッセージを構成する末尾部分の複数の候補を決定する末尾部分候補決定部
を備える情報処理装置。
(2)
 前記末尾部分の候補は、過去の使用回数に基づいて決定される(1)に記載の情報処理装置。
(3)
 前記末尾部分の候補は、前記本文中のキーワードとの対応関係に基づいて決定される(1)または(2)に記載の情報処理装置。
(4)
 前記末尾部分の候補は、前記本文と送信済のメッセージとの類似度に基づいて決定される(1)から(3)のいずれかに記載の情報処理装置。

(5)
 前記末尾部分の候補は、前記ユーザの状態に基づいて決定される(1)から(4)のいずれかに記載の情報処理装置。
(6)
 前記末尾部分は、特殊文字を含んで構成される
請求項1に記載の情報処理装置。
(7)
 前記特殊文字は、記号文字、図形を示す文字、絵文字および顔文字の少なくとも1つを含む(6)に記載の情報処理装置。
(8)
 前記本文は、前記ユーザに提示された複数の前記本文の候補の中から選択された文である(1)から(7)のいずれかに記載の情報処理装置。
(9)
 前記本文は、音声認識により音声に基づいて決定されて提示された文である(1)から(8)のいずれかに請求項1に記載の情報処理装置。
(10)
 前記本文および前記末尾部分の候補を端末装置の表示部において表示させる表示制御部を備える(1)から(9)のいずれかに記載の情報処理装置。
(11)
 前記末尾部分の候補は、前記表示部においてアイコンとして表示される(10)に記載の情報処理装置。
(12)
 複数の前記アイコンは前記本文の周囲に配置されて表示される(11)に記載の情報処理装置。
(13)
 前記アイコンは、前記末尾部分の使用回数の順位、感情の円環モデル、前記本文中のキーワードとの対応関係に基づいて表示される(11)または(12)に記載の情報処理装置。
(14)
 前記表示部において、前記末尾部分の候補を示す前記アイコンと同様の表示態様で前記本文に前記末尾部分を付加しない指示を示すアイコンが表示される(13)に記載の情報処理装置。
(15)
  前記表示部はタッチパネル機能を備え、前記表示部への一回の接触で、複数の前記本文の候補から1つの前記本文を選択する操作と、複数の前記末尾部分の候補から1つの前記末尾部分を選択する操作とを連続して行う(12)から(14)のいずれかに記載の情報処理装置。
(16)
 前記端末装置はウェアラブルデバイスである(12)から(15)のいずれかに記載の情報処理装置。
(17)
 前記本文に前記末尾部分を付加して前記送信メッセージを生成するメッセージ生成部を備える(1)から(16)のいずれかに記載の情報処理装置。
(18)
 本文の末尾に付加されることにより前記本文とともに送信メッセージを構成する末尾部分の複数の候補を決定する情報処理方法。
(19)
 本文の末尾に付加されることにより前記本文とともに送信メッセージを構成する末尾部分の複数の候補を決定する情報処理方法をコンピュータに実行させる情報処理プログラム。
100・・・端末装置
200・・・情報処理装置
205・・・末尾部分候補決定部
207・・・メッセージ生成部
208・・・表示制御部

Claims (19)

  1.  本文の末尾に付加されることにより前記本文とともにメッセージを構成する末尾部分の複数の候補を決定する末尾部分候補決定部
    を備える情報処理装置。
  2.  前記末尾部分の候補は、過去の使用回数に基づいて決定される
    請求項1に記載の情報処理装置。
  3.  前記末尾部分の候補は、前記本文中のキーワードとの対応関係に基づいて決定される
    請求項1に記載の情報処理装置。
  4.  前記末尾部分の候補は、前記本文と送信済のメッセージとの類似度に基づいて決定される
    請求項1に記載の情報処理装置。
  5.  前記末尾部分の候補は、前記ユーザおよび前記メッセージの送受信相手の少なくとも1つの状態に基づいて決定される
    請求項1に記載の情報処理装置。
  6.  前記末尾部分は、特殊文字を含んで構成される
    請求項1に記載の情報処理装置。
  7.  前記特殊文字は、記号文字、図形を示す文字、絵文字および顔文字の少なくとも1つを含む
    請求項6に記載の情報処理装置。
  8.  前記本文は、前記ユーザに提示された複数の前記本文の候補の中から選択された文である
    請求項1に記載の情報処理装置。
  9.  前記本文は、音声認識により音声に基づいて決定されて提示された文である
    請求項1に記載の情報処理装置。
  10.  前記本文および前記末尾部分の候補を端末装置の表示部において表示させる表示制御部を備える
    請求項1に記載の情報処理装置。
  11.  前記末尾部分の候補は、前記表示部においてアイコンとして表示される
    請求項10に記載の情報処理装置。
  12.  複数の前記アイコンは前記本文の周囲に配置されて表示される
    請求項11に記載の情報処理装置。
  13.  前記アイコンは、前記末尾部分の使用回数の順位、感情の円環モデル、前記本文中のキーワードとの対応関係に基づいて表示される
    請求項11に記載の情報処理装置。
  14.  前記表示部において、前記末尾部分の候補を示す前記アイコンと同様の表示態様で前記本文に前記末尾部分を付加しない指示を示すアイコンが表示される
    請求項13に記載の情報処理装置。
  15.  前記表示部はタッチパネル機能を備え、前記表示部への一回の接触で、複数の前記本文の候補から1つの前記本文を選択する操作と、複数の前記末尾部分の候補から1つの前記末尾部分を選択する操作とを連続して行う
    請求項12に記載の情報処理装置。
  16.  前記端末装置はウェアラブルデバイスである
    請求項12に記載の情報処理装置。
  17.  前記本文に前記末尾部分を付加して前記メッセージを生成するメッセージ生成部を備える
    請求項1に記載の情報処理装置。
  18.  本文の末尾に付加されることにより前記本文とともにメッセージを構成する末尾部分の複数の候補を決定する
    情報処理方法。
  19.  本文の末尾に付加されることにより前記本文とともにメッセージを構成する末尾部分の複数の候補を決定する
    情報処理方法をコンピュータに実行させる情報処理プログラム。
PCT/JP2020/004721 2019-02-14 2020-02-07 情報処理装置、情報処理方法および情報処理プログラム WO2020166495A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/428,667 US20220121817A1 (en) 2019-02-14 2020-02-07 Information processing device, information processing method, and information processing program
JP2020572214A JPWO2020166495A1 (ja) 2019-02-14 2020-02-07 情報処理装置、情報処理方法および情報処理プログラム
CN202080011159.7A CN113366483A (zh) 2019-02-14 2020-02-07 信息处理装置、信息处理方法及信息处理程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019024161 2019-02-14
JP2019-024161 2019-02-14

Publications (1)

Publication Number Publication Date
WO2020166495A1 true WO2020166495A1 (ja) 2020-08-20

Family

ID=72045346

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/004721 WO2020166495A1 (ja) 2019-02-14 2020-02-07 情報処理装置、情報処理方法および情報処理プログラム

Country Status (4)

Country Link
US (1) US20220121817A1 (ja)
JP (1) JPWO2020166495A1 (ja)
CN (1) CN113366483A (ja)
WO (1) WO2020166495A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022046442A (ja) * 2020-09-10 2022-03-23 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 推薦表情の確定方法、装置、デバイス及びコンピュータ記憶媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001056792A (ja) * 1999-08-19 2001-02-27 Casio Comput Co Ltd 電子メール装置及び電子メール処理プログラムを記憶した記憶媒体
JP2009110056A (ja) * 2007-10-26 2009-05-21 Panasonic Corp 通信装置
JP2014147063A (ja) * 2013-01-21 2014-08-14 Keypoint Technologies (Uk) Ltd テキスト入力方法および装置
CN105204758A (zh) * 2014-06-30 2015-12-30 展讯通信(上海)有限公司 一种用于触屏设备的拼音输入方法及系统
JP2017527881A (ja) * 2014-07-07 2017-09-21 マシーン・ゾーン・インコーポレイテッドMachine Zone, Inc. エモティコンを識別および提案するためのシステムおよび方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7874983B2 (en) * 2003-01-27 2011-01-25 Motorola Mobility, Inc. Determination of emotional and physiological states of a recipient of a communication
US8271902B1 (en) * 2006-07-20 2012-09-18 Adobe Systems Incorporated Communication of emotions with data
US8584031B2 (en) * 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
WO2013094982A1 (ko) * 2011-12-18 2013-06-27 인포뱅크 주식회사 정보처리 방법 및 시스템과 기록매체
KR20130069263A (ko) * 2011-12-18 2013-06-26 인포뱅크 주식회사 정보처리 방법 및 시스템과 기록매체
US9207755B2 (en) * 2011-12-20 2015-12-08 Iconicast, LLC Method and system for emotion tracking, tagging, and rating and communication
CN103777891A (zh) * 2014-02-26 2014-05-07 全蕊 消息尾部插入表情发送的方法
US9043196B1 (en) * 2014-07-07 2015-05-26 Machine Zone, Inc. Systems and methods for identifying and suggesting emoticons
KR20160105321A (ko) * 2015-02-27 2016-09-06 임머숀 코퍼레이션 사용자의 무드에 기초하는 액션 생성
US10965622B2 (en) * 2015-04-16 2021-03-30 Samsung Electronics Co., Ltd. Method and apparatus for recommending reply message
US20180077095A1 (en) * 2015-09-14 2018-03-15 X Development Llc Augmentation of Communications with Emotional Data
US10445425B2 (en) * 2015-09-15 2019-10-15 Apple Inc. Emoji and canned responses
US9665567B2 (en) * 2015-09-21 2017-05-30 International Business Machines Corporation Suggesting emoji characters based on current contextual emotional state of user
US20170308290A1 (en) * 2016-04-20 2017-10-26 Google Inc. Iconographic suggestions within a keyboard
US10168859B2 (en) * 2016-04-26 2019-01-01 International Business Machines Corporation Contextual determination of emotion icons
KR102338357B1 (ko) * 2016-05-18 2021-12-13 애플 인크. 그래픽 메시징 사용자 인터페이스 내의 확인응답 옵션들의 적용
US20170344224A1 (en) * 2016-05-27 2017-11-30 Nuance Communications, Inc. Suggesting emojis to users for insertion into text-based messages
CN106372059B (zh) * 2016-08-30 2018-09-11 北京百度网讯科技有限公司 信息输入方法和装置
KR20180026983A (ko) * 2016-09-05 2018-03-14 삼성전자주식회사 전자 장치 및 그 제어 방법
US20190251990A1 (en) * 2016-10-31 2019-08-15 Sony Corporation Information processing apparatus and information processing method
KR20180072971A (ko) * 2016-12-22 2018-07-02 엘지전자 주식회사 이동단말기 및 그 제어방법
US11884205B2 (en) * 2018-01-10 2024-01-30 Mod Worldwide, Llc Messaging system
US20200110794A1 (en) * 2018-10-03 2020-04-09 International Business Machines Corporation Emoji modification
KR20220041624A (ko) * 2020-09-25 2022-04-01 삼성전자주식회사 전자 장치의 이모지 추천 방법 및 그 전자 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001056792A (ja) * 1999-08-19 2001-02-27 Casio Comput Co Ltd 電子メール装置及び電子メール処理プログラムを記憶した記憶媒体
JP2009110056A (ja) * 2007-10-26 2009-05-21 Panasonic Corp 通信装置
JP2014147063A (ja) * 2013-01-21 2014-08-14 Keypoint Technologies (Uk) Ltd テキスト入力方法および装置
CN105204758A (zh) * 2014-06-30 2015-12-30 展讯通信(上海)有限公司 一种用于触屏设备的拼音输入方法及系统
JP2017527881A (ja) * 2014-07-07 2017-09-21 マシーン・ゾーン・インコーポレイテッドMachine Zone, Inc. エモティコンを識別および提案するためのシステムおよび方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MORI, HIROKI: "Recognition of Emotional and Attitudinal Information Conveyed by Speech", THE JOURNAL OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS, vol. 101, no. 9, 1 September 2018 (2018-09-01), pages 902 - 907 *
YASUDA, ATSUSHI ET AL.: "Attaching an emoticon to the result of speech recognition", LECTURE PROCEEDINGS OF 2013 SPRING RESEARCH CONFERENCE OF THE ACOUSTICAL SOCIETY OF JAPAN CD-ROM [ CD-ROM, 15 March 2013 (2013-03-15), pages 213 - 216 *
YOSHINO, TAKASHI ET AL.: "Text-based Chat Communication System Using Pictographic Characters", IF IPSJ SIG TECHNICAL REPORTS, vol. 2003, no. 52, 23 May 2003 (2003-05-23), pages 63 - 68 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022046442A (ja) * 2020-09-10 2022-03-23 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 推薦表情の確定方法、装置、デバイス及びコンピュータ記憶媒体
JP7251025B2 (ja) 2020-09-10 2023-04-04 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 推薦表情の確定方法、装置、デバイス及びコンピュータ記憶媒体

Also Published As

Publication number Publication date
JPWO2020166495A1 (ja) 2021-12-23
CN113366483A (zh) 2021-09-07
US20220121817A1 (en) 2022-04-21

Similar Documents

Publication Publication Date Title
CN111901481B (zh) 计算机实现的方法、电子设备和存储介质
CN111418007B (zh) 多轮预制对话
CN110223698B (zh) 训练数字助理的说话人识别模型
US11886805B2 (en) Unconventional virtual assistant interactions
US11386892B2 (en) Voice assistant discoverability through on-device targeting and personalization
KR102402418B1 (ko) 자연스러운 어시스턴트 상호작용
CN110288994B (zh) 检测数字助理的触发
CN107195306B (zh) 识别提供凭据的语音输入
CN108352006B (zh) 即时消息环境中的智能自动化助理
US20220148587A1 (en) Determining suggested subsequent user actions during digital assistant interaction
CN109257941B (zh) 用于数字助理的同步和任务委派的方法、电子设备和系统
US20220284901A1 (en) Voice assistant discoverability through on-device targeting and personalization
US20190371315A1 (en) Virtual assistant operation in multi-device environments
CN113256768A (zh) 将文本用作头像动画
KR20210013373A (ko) 디지털 어시스턴트의 동기화 및 태스크 위임
KR20200070436A (ko) 사용자-특정 음향 모델
EP2569925A1 (en) User interfaces
US20170228363A1 (en) Information processing device, method of information processing, and program
CN115221295A (zh) 个人请求的数字助理处理
CN110603586A (zh) 用于校正识别错误的用户界面
CN115344119A (zh) 用于健康请求的数字助理
WO2020166495A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
KR102123059B1 (ko) 사용자-특정 음향 모델
CN110622241B (zh) 用于数字助理的分级信度状态
CN110612566B (zh) 个人信息的隐私维护

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20754878

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020572214

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20754878

Country of ref document: EP

Kind code of ref document: A1