WO2016098589A1 - 情報処理装置、情報処理方法、プログラム、および情報処理システム - Google Patents
情報処理装置、情報処理方法、プログラム、および情報処理システム Download PDFInfo
- Publication number
- WO2016098589A1 WO2016098589A1 PCT/JP2015/083841 JP2015083841W WO2016098589A1 WO 2016098589 A1 WO2016098589 A1 WO 2016098589A1 JP 2015083841 W JP2015083841 W JP 2015083841W WO 2016098589 A1 WO2016098589 A1 WO 2016098589A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- message
- unit
- transmission
- information processing
- content
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/52—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/107—Computer-aided management of electronic mailing [e-mailing]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/08—Annexed information, e.g. attachments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/10—Multimedia information
Definitions
- the present disclosure relates to an information processing device, an information processing method, a program, and an information processing system, and in particular, an information processing device, an information processing method, a program, and an information processing that can actively support continuation of communication. About the system.
- Patent Document 1 discloses an invention in which voice data is delivered to a partner by e-mail when a spoken voice is input.
- Patent Document 2 discloses an invention in which life information is accumulated just by living normally, and the family can access the information at any time.
- Patent Document 3 discloses an invention in which an operator operates a device remotely on behalf of a user and supports a status report to a designated destination.
- Patent Document 4 discloses an invention in which a message sender is continuously motivated by automatically creating and replying to a reply message according to the sender and contents of the received message.
- Patent Documents 1 to 4 as described above eliminate the trouble of one of the sender and the receiver, the complexity of operation, and the like. For this reason, both elderly and family members need time and labor for communication, and it is assumed that communication will not continue in the end.
- An information processing apparatus transmits a message from a plurality of message contents classified into the category corresponding to an image used for communication among a plurality of categories into which message contents are classified.
- An acquisition unit for acquiring a predetermined number of the message contents to be candidates, and an option for selecting the message contents to be transmitted from the predetermined number of message contents acquired by the acquisition unit
- an option creation unit for presenting at a predetermined timing.
- An information processing method or program includes a plurality of message contents classified into the category corresponding to an image used for communication, out of a plurality of categories into which message contents are classified. , Acquiring a predetermined number of message contents as transmission candidates, and creating an option for selecting the message contents to be transmitted from the acquired predetermined number of message contents at a predetermined timing Including the step of presenting.
- An information processing system includes a selection unit that selects a predetermined number of images that are candidates for transmission, and a predetermined number that is selected by the selection unit among a plurality of categories into which message contents are classified.
- a plurality of message contents classified into the category corresponding to each of the images a transmission content acquisition unit that acquires a predetermined number of the message contents as transmission candidates, a predetermined number of the images,
- the option for selecting the message to be transmitted is created from messages obtained by combining a predetermined number of the message contents acquired by the acquisition unit corresponding to the images, and at a predetermined timing.
- a transmission unit comprising: an option creation unit to be presented; and a transmission unit that transmits the message selected as a transmission target among the options.
- a receiving unit that receives the message with the image attached thereto, and a reply to the message from the category corresponding to the image attached to the message received by the receiving unit
- a reply content acquisition unit that acquires a predetermined number of message contents to be received.
- a transmission candidate is selected from among a plurality of message contents classified into the category corresponding to an image used for communication among a plurality of categories into which message contents are classified.
- a predetermined number of message contents to be acquired are acquired, and an option for selecting the message contents to be transmitted is created from the acquired predetermined number of message contents and presented at a predetermined timing.
- FIG. 18 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
- FIG. 1 is a block diagram illustrating a configuration example of an embodiment of a communication support system to which the present technology is applied.
- the communication support system 11 is configured by connecting a transmission side information processing device 13, a reception side information processing device 14, and a server 15 via a network 12 such as the Internet.
- the transmission side information processing device 13 prompts the sender to transmit a message at a predetermined timing, and receives information processing on the reception side via the network 12 according to the operation by the sender. Send a message to the device 14.
- the transmission-side information processing device 13 is preferably configured by a highly versatile smartphone terminal that a family communicating with the elderly has.
- the reception-side information processing device 14 presents the message to the recipient at the timing when the message transmitted from the transmission-side information processing device 13 is received, Have the recipient select the reply message and send it.
- the reception-side information processing device 14 is preferably configured by a tablet terminal equipped with a large-screen touch panel that is easy for the elderly to use.
- the server 15 analyzes user preferences based on the accumulated user information, and transmits a message to the transmission-side information processing device 13 at a timing based on the analysis result. Send a send promotion notice to promote.
- the communication support system 11 configured as described above prompts the sender (family) on the transmission side information processing device 13 to transmit a message at an appropriate timing, and also receives the recipient ( A reply message can be sent in a simple way for the elderly). Thereby, the communication support system 11 can positively support the continuation of communication.
- FIG. 2 is a block diagram illustrating a configuration example of the transmission-side information processing device 13 of FIG.
- the transmission-side information processing device 13 includes a storage unit 21, a transmission opportunity determination unit 22, a user notification unit 23, a photo selection unit 24, a word acquisition unit 25, a transmission content option creation unit 26, and a display unit 27. And an operation unit 28 and a data communication unit 29.
- the storage unit 21 includes, for example, a hard disk drive, a semiconductor memory, and the like, stores various data necessary for the transmission side information processing device 13 to perform information processing, and manages those data. For example, the storage unit 21 transmits a photograph (image) taken by a camera (not shown) included in the transmission side information processing device 13, a history of messages transmitted from the transmission side information processing device 13, and a transmission side information processing device 13. A template or the like in which a fixed wording used for a message is registered is stored. Further, this template is classified into a plurality of categories according to the content of the photograph, for example, and words related to the content of the photograph are registered.
- the transmission opportunity determination unit 22 accesses the storage unit 21 to acquire information on the number of photos indicating the number of photos stored in the storage unit 21, and transmits a message based on the number of photos. It is determined whether or not it is time to perform. For example, the transmission opportunity determination unit 22 determines that it is the timing to send a message transmission notification when the number of photographs increased from the previous transmission of the message exceeds a predetermined number.
- indicates to the user notification part 23 to perform the user notification of message transmission.
- the transmission opportunity determination unit 22 determines that it is not time to perform notification of message transmission, and in this case, user notification of message transmission is not performed.
- the predetermined number of sheets that serves as a reference for determining the timing at which the transmission opportunity determination unit 22 performs a message transmission notification is, for example, user information managed by a user information management unit 81 included in the server 15 of FIG. Is determined to be the optimum number.
- the user notification unit 23 displays a transmission promotion notification screen for prompting message transmission on the display unit 27 when instructed by the transmission opportunity determination unit 22 to perform user notification of message transmission. For example, as shown in FIG. 3, on the transmission promotion notification screen 31, a button that displays “Send” is displayed along with the words “I want to have fun! 32 and a button 33 displayed as "Do not send” are displayed. The button 32 is operated by the sender when sending a message, and the button 33 is operated by the sender when not sending a message. Further, as will be described later, the user notification unit 23 also displays a similar transmission promotion notification screen on the display unit 27 when receiving a transmission promotion notification transmitted by the server 15.
- the photo selection unit 24 selects a predetermined number of photos suitable for the sender as transmission candidates from the photos stored in the storage unit 21 when the sender selects to attach a photo to the message. Then, it is supplied to the transmission content option creation unit 26. Furthermore, the photo selection unit 24 performs image recognition on the selected photo, and notifies the word acquisition unit 25 of the recognition result of recognizing the contents of the photo as to what is shown. Further, the photo selection unit 24 may preferentially select an image whose contents could be recognized by image recognition, for example.
- the word acquisition unit 25 selects a specific word from the templates stored in the storage unit 21 and supplies it to the transmission content option creation unit 26 when the sender selects to transmit a message. For example, when attaching a photograph to a message, the word acquisition unit 25 acquires a word related to the content of the photo based on the recognition result of the content of the photo notified from the photo selection unit 24. At this time, as described above, the templates are classified into a plurality of categories according to the contents of the photo and the words are registered, and the word acquisition unit 25 transmits the transmission from the category corresponding to the recognized contents of the photo. Get the candidate wording. The word acquisition unit 25 acquires a word that does not depend on the content of the photo when the photo selection unit 24 cannot recognize the content of the photo. Or the word acquisition part 25 acquires the word comprised randomly from the word according to a season, the topic word which can be acquired via the network 12, etc., when not attaching a photograph to a message.
- the transmission content option creation unit 26 combines the predetermined number of photos supplied from the photo selection unit 24 with the words supplied from the word acquisition unit 25 to create transmission content options that allow the sender to select the transmission content. Then, the transmission content option creation unit 26 displays on the display unit 27 a transmission content selection screen for allowing the sender to select what to transmit from among a predetermined number of transmission content options.
- FIG. 4 shows an example of a transmission content selection screen 41 for selecting transmission content with a photo attached to a message.
- the transmission content selection screen 41 of FIG. 4 four transmission content options are displayed.
- the first transmission content option is a picture of a family trip and the wording “It was fun! Is combined.
- the second transmission content option is a combination of a pet photo and the word “cute” related to the content of the photo
- the third transmission content option is a landscape photo and the photo The wording related to the content is "It was beautiful!"
- the fourth transmission content option is a combination of a cake photo and the wording “delicious” related to the content of the photo.
- the number of transmission content options displayed on the transmission content selection screen 41 may be other than four, and the transmission content option creation unit 26 has a number of transmission content options that can be easily selected by the sender, for example, about two to six. Transmission content options can be created and displayed.
- the display unit 27 includes, for example, a liquid crystal display or an organic EL (Electro Luminescence) display, and displays the transmission promotion notification screen 31 in FIG. 3, the transmission content selection screen 41 in FIG.
- the operation unit 28 includes a touch panel, buttons, a microphone, and the like, receives an operation input according to the operation of the sender, and makes a determination based on the operation input. For example, when the sender performs an operation (for example, touch) on the button 32 displayed on the transmission promotion notification screen 31 in FIG. 3, the operation unit 28 determines that the sender has performed an operation input for transmitting a message. To do. Further, for example, when the sender designates one of the transmission content options displayed on the transmission content selection screen 41 in FIG. 4 (for example, reads out the number of the transmission content option), the operation unit 28 is designated. The transmitted content is determined as a transmission target.
- the data communication unit 29 communicates with the reception-side information processing apparatus 14 and the server 15 via the network 12 in FIG. 1. For example, the transmission content designated by the sender as the transmission target from the transmission content selection screen 41. Send a message. Further, the data communication unit 29 receives a transmission promotion notification transmitted from the server 15 and supplies it to the user notification unit 23 as described later.
- the transmission side information processing apparatus 13 is configured, can transmit a message with a simpler operation, and can appropriately promote communication with the recipient.
- the transmission opportunity determination unit 22 performs, for example, a specific date and time (birthday, anniversary, or event based on the attribute of the sender) in addition to the number of photographs as described above. It may be determined that it is time to send a message according to the date and time.
- the photo selection unit 24 can easily select, for example, a photo showing many people, a photo that matches the receiver's preference (preference), and related text (for example, It is possible to preferentially select photographs (such as food, pets, and landscapes), photographs of high-priority people registered in advance as a family, and photographs of children.
- the photo selection unit 24 may select a photo based on the message transmission history. In this way, better communication can be continued by selecting a suitable photo for the sender based on the content of the photo.
- FIG. 5 is a block diagram showing a configuration example of the receiving side information processing apparatus 14 of FIG.
- the reception-side information processing device 14 includes a storage unit 51, a word acquisition unit 52, a reply content option creation unit 53, a user notification unit 54, a display unit 55, an operation unit 56, and a data communication unit 57. It is prepared for.
- the storage unit 51 includes, for example, a hard disk drive, a semiconductor memory, and the like, stores various data necessary for the reception-side information processing apparatus 14 to perform information processing, and manages those data.
- the storage unit 51 stores a template in which a standard reply message used for a reply message transmitted from the reception-side information processing device 14 is registered. Further, this template is classified into, for example, a plurality of categories according to the content of the photo, and response words related to the content of the photo are registered.
- the user notification unit 54 displays on the display unit 55 a reception notification screen for notifying the receiver of the message reception at the timing when the data communication unit 57 receives the message transmitted from the transmission side information processing device 13.
- a reception notification screen 61 For example, as shown in FIG. 6, on the reception notification screen 61, a button 62 indicating “view” is displayed on the balloon of the character of the communication support system, along with the words “A message with a photo has arrived”, and “ Button 63 is displayed. Button 62 is operated by the recipient when viewing the message immediately, and button 63 is operated by the recipient when viewing the message later.
- the word acquisition unit 52 acquires a message transmitted from the transmission side information processing device 13 via the data communication unit 57. Then, the word acquisition unit 52 selects and returns a predetermined number of response words used as a reply message to be returned from the receiver from the templates stored in the storage unit 51 when the receiver views the message. This is supplied to the content option creation unit 53.
- the word acquisition unit 52 performs image recognition on the photo and selects a response word related to the content of the recognized photo.
- the templates are classified into a plurality of categories according to the contents of the photos and the words are registered, and the word acquisition unit 52 returns a reply from the category corresponding to the recognized contents of the photos. Get the response text as a candidate.
- the word acquisition part 52 acquires the word which does not depend on the content of a photograph, when the content of a photograph cannot be recognized.
- the word acquisition unit 52 randomly selects a general response word from the template when no photo is attached to the received message.
- the reply content option creation unit 53 creates a reply content option composed of the reply text supplied from the text acquisition unit 52, and a reply content for allowing the recipient to select a reply from a predetermined number of reply content options. A selection screen is displayed on the display unit 55.
- FIG. 7 shows an example of a reply content selection screen 71 for displaying a received message and for selecting a reply content.
- a message 72 in which a photograph taken at a family travel destination and a phrase “It was fun!” Related to the content of the photograph is displayed, and a reply content display area 73 is displayed.
- Four reply content options are displayed.
- “Everyone looks good!” Is displayed as the first reply content option in relation to the content of the picture of the message 72, and “Nice photo!” As the second reply content option.
- Is displayed “Looks like fun!” Is displayed as the third reply content option, and “There is a lot of nature!” Is displayed as the fourth reply content option.
- the display unit 55 includes, for example, a liquid crystal display or an organic EL display, and displays the reception notification screen 61 in FIG. 6, the transmission content selection screen 41 in FIG.
- the operation unit 56 includes a touch panel, buttons, a microphone, and the like, and performs a determination based on an operation input according to the operation of the sender. For example, when the receiver performs an operation (for example, touch) on the button 62 displayed on the reception notification screen 61 in FIG. 6, the operation unit 56 determines that the receiver has performed an operation input for immediately viewing the message. To do. Further, for example, when the sender designates any reply content option displayed on the reply content selection screen 71 in FIG. 7 (for example, reads out the reply content option number), the operation unit 56 is designated. The reply contents are determined as the reply object.
- the data communication unit 57 communicates with the transmission-side information processing device 13 and the server 15 via the network 12 in FIG. 1. For example, the data communication unit 57 receives a message transmitted from the reception-side information processing device 14. The data is supplied to the acquisition unit 52 and the user notification unit 54. Further, the data communication unit 57 transmits a reply message of the reply content designated as a reply target from the reply content selection screen 71 by the receiver.
- the reply message transmitted from the data communication unit 57 is received by the data communication unit 29 of the transmission side information processing apparatus 13 in FIG. 2 and supplied to the user notification unit 23, and the user notification unit 23 receives the reply message.
- a transmission content option that prompts the sender who has seen the reply message to transmit an appropriate message according to the reply content is displayed on the display unit 27, and continuation of communication is promoted.
- the receiving side information processing apparatus 14 is configured in this way, and can send a reply message to the receiver with a simpler operation, and can appropriately promote communication with the sender.
- the response message acquired by the word acquisition unit 52 includes, for example, the attributes of the receiver (profiles such as age, personality, hobbies, and preferences), and response messages acquired in the past, in addition to the contents of the photo as described above. You may acquire based on the log
- the reception-side information processing device 14 can detect, for example, a receiver's facial expression, nodding (gesture), line of sight, etc., when viewing a photograph using a sensor (not shown), and based on the detection results.
- the word acquisition unit 52 can acquire a response word. For example, by measuring the degree of interest (preference) of a recipient's photo from those detection results and changing the response wording according to the degree of interest, communication that matches the recipient's feelings can be performed more it can.
- the reception-side information processing device 14 may display a list of photos on the display unit 55 and select a reply message for a photo that the receiver is interested in by detecting the recipient's line of sight. .
- FIG. 8 is a block diagram showing a configuration example of the server 15 of FIG.
- the server 15 includes a user information management unit 81, an automatic determination unit 82, an operation unit 83, and a data communication unit 84.
- the user information management unit 81 manages user information that is referred to when the automatic determination unit 82 determines whether it is time to transmit a transmission promotion notification to the transmission-side information processing device 13. For example, in the user information format managed by the user information management unit 81, a transmission user ID (Identification) for identifying the user of the transmission-side information processing device 13 or reception as a partner communicating with the user identified by the user ID.
- a transmission user ID (Identification) for identifying the user of the transmission-side information processing device 13 or reception as a partner communicating with the user identified by the user ID
- the receiving user ID for identifying the user of the side information processing apparatus 14 the content data storing the contents of messages transmitted and received between the users, the time series data storing the time series of those messages, and the like are managed.
- the content data includes a message ID for identifying a transmitted / received message, a sender ID for identifying a sender who has transmitted the message, transmission content (photograph, wording, etc.) transmitted in the message, and reception of the received message.
- a receiver ID for identifying a person, contents of a reply message to the message (response wording), and the like are managed.
- the time series data includes a message ID for identifying a transmitted / received message, a trigger (transmission opportunity determination unit 22 or automatic determination unit 82) that is determined to be a timing for transmitting a message, and a transmission promotion notification. The time when the message was sent, the time when the message was sent, the time when the received message was displayed, the time when the reply message was sent, and the like are managed.
- the automatic determination unit 82 analyzes the user information managed in the user information management unit 81, obtains the optimal timing for performing notification to transmit a message, and automatically determines whether to perform notification. .
- the automatic determination unit 82 determines that it is the optimal timing for performing notification to transmit a message
- the automatic determination unit 82 transmits a transmission promotion notification to the transmission side information processing device 13 via the data communication unit 84.
- the automatic determination unit 82 may notify the receiver based on user information of the receiver, or may notify the user when the message is easily displayed.
- the automatic determination unit 82 can analyze the user's preference for the message content, and periodically transmit the analyzed content to the transmission-side information processing device 13 via the data communication unit 84. . Thereby, it is possible to improve the accuracy of creating a message in the transmission-side information processing device 13, that is, to create a message that matches the user's preference.
- the user information management unit 81 uses information (for example, the above-mentioned increased number of sheets described above) when determining the timing at which the transmission opportunity determination unit 22 of FIG. ) And can be transmitted to the transmission-side information processing device 13 via the data communication unit 84.
- the operation unit 83 includes, for example, a keyboard and a mouse, and is operated by a system operator who operates the communication support system 11. For example, when the system operator performs an operation for performing a notification for transmitting a message, the operation unit 83 transmits a transmission promotion notification to the transmission-side information processing device 13 via the data communication unit 84. As described above, in the communication support system 11, message transmission is promoted based on automatic determination by the transmission opportunity determination unit 22 or the automatic determination unit 82, and message transmission is promoted based on the determination of the system operator. can do.
- the data communication unit 84 communicates with the transmission-side information processing device 13 and the reception-side information processing device 14 via the network 12 in FIG. 1 and transmits a transmission promotion notification to the transmission-side information processing device 13. Further, the data communication unit 84 acquires a message transmitted / received between the transmission side information processing device 13 and the reception side information processing device 14 and supplies the message to the user information management unit 81.
- the server 15 is configured, and by transmitting a transmission promotion notification to the transmission-side information processing device 13, it is possible to prompt the sender to appropriately transmit a message. It can actively support continued communication.
- information on the reaction of the receiver to the transmitted photograph may be used.
- a detection result as described above can be obtained by a sensor (not shown) included in the reception-side information processing device 14, the detection result is transmitted to the server 15, and the user information management unit 81 determines the degree of interest in the photograph.
- the user information management unit 81 determines the degree of interest in the photograph.
- FIG. 9 is a flowchart for explaining message transmission processing in the transmission-side information processing device 13.
- the transmission side information processing device 13 is set to periodically perform message transmission processing, and when the processing is started, the transmission opportunity determination unit 22 is a photograph stored in the storage unit 21 in step S11. Information on the number of photos indicating the number of photos is acquired.
- step S12 the transmission opportunity determination unit 22 determines whether or not the increased number of photographs increased from the previous transmission is greater than or equal to a predetermined number according to the information on the number of photographs acquired in step S11.
- step S12 if the transmission opportunity determination unit 22 determines that the increased number is equal to or greater than the predetermined number, the process proceeds to step S13, and the transmission opportunity determination unit 22 sends a message transmission user to the user notification unit 23. Instruct to make a notification.
- the user notification unit 23 displays the transmission promotion notification screen 31 as shown in FIG. 3 described above on the display unit 27 to perform user notification.
- step S14 the operation unit 28 determines whether to transmit a message based on a user operation. For example, the operation unit 28 determines to transmit a message when an operation is performed on the button 32 displayed as “SEND” on the transmission promotion notification screen 31. On the other hand, when an operation is performed on the button 33 displayed as “Do not send” on the transmission promotion notification screen 31, the operation unit 28 determines that the message is not transmitted and ends the processing.
- step S14 If it is determined in step S14 that a message is to be transmitted, the process proceeds to step S15, and the operation unit 28 determines whether to attach a photo based on a user operation. For example, the display unit 27 displays the buttons “Yes” and “No” together with the question “Do you want to add a photo?”, And the operation unit 28 makes a determination based on the operation on these buttons. Do.
- step S14 If it is determined in step S14 that the operation unit 28 attaches a photograph, the process proceeds to step S16, and the transmission content option creation unit 26 creates a message-attached message option.
- step S16 The process of step S16 will be described later with reference to FIG.
- step S14 determines whether the operation unit 28 does not attach a photo. If it is determined in step S14 that the operation unit 28 does not attach a photo, the process proceeds to step S17, and the transmission content option creation unit 26 creates a message option only for the word selected by the word acquisition unit 25. To do.
- step S16 or S17 After the process of step S16 or S17, the process proceeds to step S18, and the transmission content option creation unit 26 displays the message option created in step S16 or S17 on the transmission content selection screen 41 as shown in FIG. Displayed on the unit 27. Then, the operation unit 28 accepts selection by the sender.
- step S19 the operation unit 28 transmits a message via the data communication unit 29 with the transmission content option selected by the sender in step S18 as a transmission target, and the process ends.
- step S12 determines in step S12 that the increased number is not equal to or greater than the predetermined number (less than the predetermined number)
- the process proceeds to step S20, and the data communication unit 29 is transmitted from the server 15. It is determined whether or not a transmission promotion notification is received.
- the process proceeds to step S13, and thereafter, the same process as described above is performed.
- the process ends.
- FIG. 10 is a flowchart for explaining processing for creating a message-attached message option in step S16 of FIG.
- step S31 the photo selection unit 24 accesses the storage unit 21, selects one unsent photo that has not yet been sent to the recipient, performs image processing on the photo, and Recognize the contents of photos.
- step S32 the photo selection unit 24 determines whether the content of the photo selected in the process of step S31 has been recognized.
- step S32 If the photo selection unit 24 determines in step S32 that the content of the photo has been recognized, the process proceeds to step S33, and the word acquisition unit 25 stores the word related to the content of the photo in the storage unit 21. Randomly select from templates stored in. For example, in the case of a picture of a child, words such as “I'm getting bigger” or “I'm always fine” are selected.
- step S34 the word acquisition unit 25 stores the word that does not depend on the content of the photo.
- a template is randomly selected from the templates stored in the unit 21. For example, in this case, a phrase such as “I took a picture like this” or “It's a good picture” is selected.
- step S33 or S34 After the process of step S33 or S34, the process proceeds to step S35, and the transmission content option creation unit 26 associates the photograph selected in step S31 with the word acquired in step S33 or S34, and selects the transmission content option. Create and the process is terminated.
- FIG. 11 is a flowchart for explaining message response processing in the information processing apparatus 14 on the receiving side.
- step S51 the data communication unit 57 receives the message.
- the data communication unit 57 notifies the user notification unit 54 of the reception of the message and supplies the message to the word acquisition unit 52.
- step S52 the word acquisition unit 52 determines whether there is a photo attached to the message acquired in step S51.
- step S52 if the word acquisition unit 52 determines that there is a photo attached, the process proceeds to step S53, and the word acquisition unit 52 performs image recognition on the photo attached to the message, and what is captured. Recognize the contents of the photo.
- step S54 the word acquisition unit 52 determines whether the content of the photograph has been recognized based on the result of the image recognition in step S53. For example, when information indicating what is shown is attached to the photo, the word acquisition unit 52 may recognize the content of the photo based on the information.
- step S54 if the word acquisition unit 52 determines that the contents of the photograph have been recognized, the process proceeds to step S55.
- step S55 the word acquisition unit 52 randomly acquires a response word related to the photo content from the templates stored in the storage unit 51 based on the recognition result of the photo content. For example, if the recognition result is that it is a photo of a dish, the word acquisition unit 52 acquires a response word such as “Looks good” or “I want to eat”.
- step S 54 determines in step S54 that the content of the photograph has not been recognized
- the process proceeds to step S56.
- step S ⁇ b> 56 the word acquisition unit 52 randomly acquires a response word that does not depend on the content of the photo from the templates stored in the storage unit 51. For example, the word acquisition unit 52 acquires a response word such as “I want to see more of these photos” or “I like it.”
- step S52 determines in step S52 that no photo is attached
- the process proceeds to step S57, and the word acquisition unit 52 selects a general template from the templates stored in the storage unit 51. Get random response text.
- the word acquisition unit 52 acquires a response word such as “Please come to play occasionally” or “Looks fun every day”.
- step S55 After step S55, step S56, or step S57, the process proceeds to step S58, and the reply content option creation unit 53 creates a reply content option composed of the response text acquired by the text acquisition unit 52.
- step S59 the reply content option creation unit 53 displays the reply content option created in step S58 on the display unit 55 by the reply content selection screen 71 as shown in FIG. Then, the operation unit 56 accepts a selection made by the responder to the reply content selection screen 71 displayed on the display unit 55.
- step S60 the operation unit 28 transmits a reply message via the data communication unit 57 with the reply content option selected by the responder selected in step S59 as a reply target, and the process ends.
- FIG. 12 is a flowchart for explaining the transmission promotion notification process in the server 15.
- the automatic determination unit 82 reads the user information from the user information management unit 81 in step S71.
- step S72 the automatic determination unit 82 analyzes the user preference based on the user information read in step S71.
- step S73 the automatic determination unit 82 determines whether or not to perform notification for promoting the message transmission according to the analysis result in step S72.
- step S73 If it is determined in step S73 that notification for promoting the transmission of the message is performed, the process proceeds to step S74, and the automatic determination unit 82 transmits the data to the transmission-side information processing device 13 via the data communication unit 84. Send a promotion notification.
- step S73 when it is determined in step S73 that the notification for promoting the message transmission is not performed, or after the process of step S74, the process is terminated.
- the communication support system 11 can actively support the continuation of communication between the sender and the receiver. For example, even if the sender does not intend to send a message from himself / herself, the sender only needs to send the message at a timing when the message is prompted to be sent, and the communication can be prevented from stagnation. Further, since both the sender and the receiver can perform communication only by selecting an option, the psychological or physical burden is reduced, and the continuity of communication can be improved.
- the example in which the user notification unit 23 in FIG. 2 displays the transmission promotion notification screen 31 on the display unit 27 has been described.
- notification functions such as vibration, sound, and light emission are used.
- control of the notification function may be performed so as to perform notification associated with the notification content, and the transmission of the message may be notified to the sender.
- the method is not limited as long as the transmission of the message can be notified to the sender.
- the method accepts an operation input based on an operation on a button displayed on the display unit 27 as described above, and accepts an operation input by detecting a voice, a gesture, a line of sight, or the like. it can.
- the method is not limited as long as it can accept the intention of the sender or the receiver.
- one message of the message-attached message options is displayed on the display unit. 27, and an operation input as to whether or not to transmit the message may be performed.
- the selection is not made only from the determined options, but the photograph or the word can be selected again, or the sender can edit the word. Also good.
- a button with “display more options” may be added to the transmission content selection screen 41, and a new option may be displayed when an operation is performed on the button.
- any one of the functions included in each of the transmission side information processing device 13, the reception side information processing device 14, and the server 15 may be provided.
- the user information management part 81 and the automatic determination part 82 may be provided, and the determination result by the automatic determination part 82 may be notified to the transmission side information processing apparatus 13 itself. That is, it is only necessary that the communication support system 11 as a whole can provide the functions described above.
- one device may have both functions of the transmission-side information processing device 13 and the reception-side information processing device 14, and a device that can transmit and receive the same function on the transmission side and the reception side. Can be used. Of course, a device specialized for either transmission or reception function may be used.
- the receiving-side information processing device 14 displays a message, for example, a smartphone terminal similar to the transmitting-side information processing device 13, a television receiver, a projector, a digital photo frame, and the like. It is possible to use various devices capable of accepting. Alternatively, for example, an information terminal installed in a public facility or the like can be used as the reception-side information processing device 14.
- the processes described with reference to the flowcharts described above do not necessarily have to be processed in chronological order in the order described in the flowcharts, but are performed in parallel or individually (for example, parallel processes or objects). Processing).
- the program may be processed by one CPU, or may be distributedly processed by a plurality of CPUs.
- the above-described series of processing can be executed by hardware or can be executed by software.
- a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs.
- the program is installed in a general-purpose personal computer from a program recording medium on which the program is recorded.
- FIG. 13 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
- a CPU Central Processing Unit
- ROM Read Only Memory
- RAM Random Access Memory
- An input / output interface 105 is further connected to the bus 104.
- the input / output interface 105 includes an input unit 106 including a keyboard, a mouse, and a microphone, an output unit 107 including a display and a speaker, a storage unit 108 including a hard disk and nonvolatile memory, and a communication unit 109 including a network interface.
- a drive 110 for driving a removable medium 111 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is connected.
- the CPU 101 loads, for example, the program stored in the storage unit 108 to the RAM 103 via the input / output interface 105 and the bus 104 and executes the program. Is performed.
- the program executed by the computer (CPU 101) is, for example, a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.), a magneto-optical disc, or a semiconductor.
- the program is recorded on a removable medium 111 that is a package medium including a memory or the like, or is provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
- the program can be installed in the storage unit 108 via the input / output interface 105 by attaching the removable medium 111 to the drive 110. Further, the program can be received by the communication unit 109 via a wired or wireless transmission medium and installed in the storage unit 108. In addition, the program can be installed in the ROM 102 or the storage unit 108 in advance.
- this technique can also take the following structures. (1) Out of a plurality of message contents classified into the category corresponding to an image used for communication among a plurality of categories into which message contents are classified, a predetermined number of the message contents as transmission candidates are selected. An acquisition unit to acquire; An information processing apparatus comprising: an option creating unit that creates an option for selecting the message content to be transmitted from a predetermined number of the message contents acquired by the acquiring unit and presents the option at a predetermined timing.
- a selection unit for selecting a predetermined number of the images to be transmission candidates A transmission unit that transmits a message attached with the image selected as a transmission target among the predetermined number of the images selected by the selection unit; and The acquisition unit acquires the message content from the category corresponding to each of the predetermined number of images selected by the selection unit,
- the information processing apparatus according to (1), wherein the option creation unit creates the option by combining a predetermined number of the images and the message contents corresponding to the images.
- the category classifies the message content for each content of the image
- the selection unit performs image recognition on the plurality of images stored in a storage unit that stores the image
- the information processing apparatus according to (1) or (2), wherein the acquisition unit acquires the message content from the category according to the content of the image that can be recognized by the selection unit.
- the information processing apparatus according to (3) wherein the acquisition unit acquires the message content independent of the content of the image when the selection unit cannot recognize the content of the image.
- a transmission opportunity determination unit that determines whether or not it is time to transmit the message;
- the information processing unit according to any one of (1) to (4), wherein the option creation unit creates and presents the option when the transmission opportunity determination unit determines that it is time to transmit the message. apparatus.
- the transmission opportunity determination unit acquires the number of images stored in the storage unit, and transmits the message according to an increased number of images that has increased since the previous transmission of the message.
- the information processing apparatus according to (5) wherein whether or not there is is determined.
- the information processing apparatus according to (5) or (6) further including: a notification unit that performs notification that prompts transmission of the message when the transmission opportunity determination unit determines that it is a timing to transmit the message.
- the selection unit selects a predetermined number of the images suitable for a sender that transmits the message based on the content of the image as a transmission candidate based on the result of image recognition on the image.
- the operation unit according to any one of (2) to (8), further including an operation input for receiving an operation input for determining whether to transmit the message and an operation input for determining whether to attach an image to the message.
- Information processing device A receiver for receiving a message with the image attached thereto; The acquisition unit acquires a predetermined number of the message contents for replying to the message from the category corresponding to the image attached to the message received by the reception unit.
- the information processing apparatus described.
- (11) The information according to (10), wherein the option creation unit creates an option for selecting the message content to be returned at the timing when the reception unit receives the message, and presents the option Processing equipment.
- the information processing apparatus according to (10) or (11), wherein the acquisition unit acquires appropriate message contents according to an attribute of a recipient who has received the message or a time at which the message is received.
- the information processing apparatus according to any one of (10) to (12), further including: an operation unit that receives an operation input for selecting the message content to be returned from the options presented by the option creation unit.
- User information for managing, as user information, a sender that transmits the message, a receiver that is a partner to which the message is transmitted, content data that stores the content of the message, and time-series data that stores the time series of the message
- the information processing apparatus according to (1), further including a management unit.
- a determination unit that analyzes the user information managed by the user information management unit and determines an appropriate timing for prompting the transmission of the message;
- the information processing apparatus according to (14), further including: a notification transmission unit configured to transmit a notification that prompts transmission of the message when the determination unit determines that the timing is appropriate.
- a notification transmission unit configured to transmit a notification that prompts transmission of the message when the determination unit determines that the timing is appropriate.
- a program for causing a computer to execute processing including a step of creating an option for selecting the message content to be transmitted from a predetermined number of acquired message contents and presenting the option at a predetermined timing.
- a selection unit for selecting a predetermined number of the images to be transmission candidates Among a plurality of categories in which message contents are classified, a candidate for transmission is selected from among the plurality of message contents classified into the category corresponding to each of the predetermined number of images selected by the selection unit.
- a transmission content acquisition unit for acquiring a predetermined number of the message contents;
- the option for selecting the message to be transmitted is created from a message obtained by combining a predetermined number of the images and a predetermined number of the message contents acquired by the acquisition unit corresponding to the images.
- an option creation unit to present at a predetermined timing,
- a transmission-side information processing apparatus comprising: a transmission unit that transmits the message selected as a transmission target among the options; and A receiving unit for receiving a message with the image attached thereto; A reply content obtaining unit that obtains a predetermined number of message contents for replying to the message from the category corresponding to the image attached to the message received by the receiving unit;
- An information processing system including an information processing apparatus.
- 11 communication support system 12 network, 13 transmission side information processing device, 14 reception side information processing device, 15 server, 21 storage unit, 22 transmission opportunity determination unit, 23 user notification unit, 24 photo selection unit, 25 word acquisition unit, 26 transmission content option creation section, 27 display section, 28 operation section, 29 data communication section, 51 storage section, 52 word acquisition section, 53 reply content option creation section, 54 user notification section, 55 display section, 56 operation section, 57 Data communication part, 81 User information management part, 82 Automatic determination part, 83 Operation part, 84 Data communication part
Abstract
本開示は、コミュニケーションの継続を積極的に支援することができるようにする情報処理装置、情報処理方法、プログラム、および情報処理システムに関する。 情報処理装置は、メッセージ内容が分類された複数のカテゴリのうちの、コミュニケーションに使用される画像に対応するカテゴリに分類されている複数のメッセージ内容の中から、送信の候補とする所定数のメッセージ内容を取得する取得部と、取得部により取得された所定数のメッセージ内容から、送信の対象とするメッセージ内容を選択させるための選択肢を作成して、所定のタイミングで提示する選択肢作成部とを備える。本技術は、例えば、コミュニケーション支援システムを構成する情報処理装置に適用できる。
Description
本開示は、情報処理装置、情報処理方法、プログラム、および情報処理システムに関し、特に、コミュニケーションの継続を積極的に支援することができるようにした情報処理装置、情報処理方法、プログラム、および情報処理システムに関する。
近年、社会の高齢化に伴い、一人で暮らす高齢者が増えている。このような人たちの社会的孤立を避けるため、高齢者と家族とのコミュニケーションを行うための装置やサービスなどが多く提供されている。
しかしながら、高齢者にとっては機器の使い方が難しく、メッセージを簡単に送信することができないことがあった。また、そのコミュニケーション相手である家族にとっては、なかなか自分からコミュニケーションのための時間を取ることできず、メッセージを送信する機会を逸することがあった。そのため、結局、双方からコミュニケーションを継続することが困難な状態が発生していた。
これに対して、例えば、高齢者側がメッセージを簡単に発信することができるようにすることを目的とした多くの技術が開発されている。
例えば、特許文献１には、話し声を入力すれば相手にメールで音声データが届く発明が開示されている。また、特許文献２には、普段生活しているだけで生活情報が蓄積され、家族がいつでもその情報にアクセス可能となる発明が開示されている。また、特許文献３には、オペレータが利用者の代わりに遠隔から機器操作を行い、指定先への近況報告をサポートする発明が開示されている。また、特許文献４には、受け取ったメッセージの送信者や内容に応じて自動で返信メッセージを作成して返信することで、メッセージの送信者のモチベーションを継続させる発明が開示されている。
しかしながら、上述したような特許文献１乃至４に開示されている発明は、送信者および受信者のどちらか一方の手間や操作の複雑性などを解消するものであった。そのため、高齢者と家族側との双方にとって、コミュニケーションのために時間や手間などを要することになっており、結局、コミュニケーションが継続しなくなることが想定される。
本開示は、このような状況に鑑みてなされたものであり、コミュニケーションの継続を積極的に支援することができるようにするものである。
本開示の一側面の情報処理装置は、メッセージ内容が分類された複数のカテゴリのうちの、コミュニケーションに使用される画像に対応する前記カテゴリに分類されている複数の前記メッセージ内容の中から、送信の候補とする所定数の前記メッセージ内容を取得する取得部と、前記取得部により取得された所定数の前記メッセージ内容から、送信の対象とする前記メッセージ内容を選択させるための選択肢を作成して、所定のタイミングで提示する選択肢作成部とを備える。
本開示の一側面の情報処理方法またはプログラムは、メッセージ内容が分類された複数のカテゴリのうちの、コミュニケーションに使用される画像に対応する前記カテゴリに分類されている複数の前記メッセージ内容の中から、送信の候補とする所定数の前記メッセージ内容を取得し、取得された所定数の前記メッセージ内容から、送信の対象とする前記メッセージ内容を選択させるための選択肢を作成して、所定のタイミングで提示するステップを含む。
本開示の一側面の情報処理システムは、送信の候補とする所定数の前記画像を選定する選定部と、メッセージ内容が分類された複数のカテゴリのうちの、前記選定部により選定された所定数の前記画像それぞれに対応する前記カテゴリに分類されている複数の前記メッセージ内容の中から、送信の候補とする所定数の前記メッセージ内容を取得する送信内容取得部と、所定数の前記画像と、それらの画像に対応する前記取得部により取得された所定数の前記メッセージ内容とをそれぞれ組み合わせたメッセージから、送信の対象とする前記メッセージを選択させるための前記選択肢を作成して、所定のタイミングで提示する選択肢作成部と、前記選択肢のうちの、送信の対象として選択された前記メッセージを送信する送信部とを備える送信側の情報処理装置、および、前記画像が添付されたメッセージを受信する受信部と、前記受信部が受信した前記メッセージに添付されている前記画像に対応する前記カテゴリから、前記メッセージに対して返信するための所定数の前記メッセージ内容を取得する返信内容取得部とを備える受信側の情報処理装置を含んで構成される。
本開示の一側面においては、メッセージ内容が分類された複数のカテゴリのうちの、コミュニケーションに使用される画像に対応する前記カテゴリに分類されている複数の前記メッセージ内容の中から、送信の候補とする所定数の前記メッセージ内容が取得され、取得された所定数の前記メッセージ内容から、送信の対象とする前記メッセージ内容を選択させるための選択肢が作成されて、所定のタイミングで提示される。
本開示の一側面によれば、コミュニケーションの継続を積極的に支援することができる。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
図１は、本技術を適用したコミュニケーション支援システムの一実施の形態の構成例を示すブロック図である。
図１に示すように、コミュニケーション支援システム１１は、インターネットなどのネットワーク１２を介して、送信側情報処理装置１３、受信側情報処理装置１４、およびサーバ１５が接続されて構成される。
送信側情報処理装置１３は、図２乃至図４を参照して後述するように、所定のタイミングでメッセージの送信を送信者に促し、送信者による操作に従って、ネットワーク１２を介して受信側情報処理装置１４にメッセージを送信する。例えば、送信側情報処理装置１３としては、高齢者とコミュニケーションをとる家族が有する汎用性の高いスマートフォン端末により構成することが好ましい。
受信側情報処理装置１４は、図５乃至図７を参照して後述するように、送信側情報処理装置１３から送信されてくるメッセージを受信したタイミングで、そのメッセージを受信者に提示して、受信者に対して返信メッセージを選択させて送信させる。例えば、受信側情報処理装置１４としては、高齢者にとって利用しやすい大画面のタッチパネルを搭載したタブレット端末により構成することが好ましい。
サーバ１５は、図８を参照して後述するように、蓄積したユーザ情報に基づいてユーザの嗜好を分析し、その分析結果に基づいたタイミングで、送信側情報処理装置１３に対してメッセージの送信を促進する送信促進通知を送信する。
このように構成されるコミュニケーション支援システム１１は、送信側情報処理装置１３側の送信者（家族）に対して適切なタイミングでメッセージの送信を促すとともに、受信側情報処理装置１４側の受信者（高齢者）にとって簡易的な方法で返信メッセージを送ることができるようにする。これにより、コミュニケーション支援システム１１は、コミュニケーションの継続を積極的に支援することができる。
次に、図２は、図１の送信側情報処理装置１３の構成例を示すブロック図である。
図２に示すように、送信側情報処理装置１３は、記憶部２１、送信機会判定部２２、ユーザ通知部２３、写真選定部２４、文言取得部２５、送信内容選択肢作成部２６、表示部２７、操作部２８、およびデータ通信部２９を備えて構成される。
記憶部２１は、例えば、ハードディスクドライブや半導体メモリなどを有して構成され、送信側情報処理装置１３が情報処理を行うのに必要な各種のデータを記憶し、それらのデータの管理を行う。例えば、記憶部２１は、送信側情報処理装置１３が有する図示しないカメラにより撮影された写真（画像）や、送信側情報処理装置１３から送信したメッセージの履歴、送信側情報処理装置１３から送信されるメッセージに用いられる定型的な文言が登録されたテンプレートなどを記憶する。また、このテンプレートは、例えば、写真の内容に従った複数のカテゴリに分類されており、それぞれ写真の内容に関連する文言が登録されている。
送信機会判定部２２は、例えば、記憶部２１にアクセスして、記憶部２１に記憶されている写真の枚数を示す写真枚数の情報を取得し、その写真枚数に基づいて、メッセージを送信する通知を行うタイミングであるか否かの判定を行う。例えば、送信機会判定部２２は、メッセージの前回の送信時から写真枚数が増加した増加枚数が、所定枚数以上となったときに、メッセージを送信する通知を行うタイミングであると判定する。
そして、このように判定した場合、送信機会判定部２２は、メッセージ送信のユーザ通知を行うようにユーザ通知部２３に対する指示を行う。なお、増加枚数が所定枚数未満であるとき、送信機会判定部２２は、メッセージを送信する通知を行うタイミングでないと判定し、この場合、メッセージ送信のユーザ通知は行われない。また、送信機会判定部２２が、メッセージを送信する通知を行うタイミングの判定を行う基準となる所定枚数は、例えば、後述する図８のサーバ１５が有するユーザ情報管理部８１により管理されるユーザ情報を分析することで、最適な枚数に決定される。
ユーザ通知部２３は、メッセージ送信のユーザ通知を行うように送信機会判定部２２から指示があると、メッセージの送信を促す送信促進通知画面を表示部２７に表示する。例えば、図３に示すように、送信促進通知画面３１には、コミュニケーション支援システムのキャラクタの吹き出しに「楽しそうな写真がたまってきたよ！送る？」という文言とともに、「送る」と表示されたボタン３２および「送らない」と表示されたボタン３３が表示される。ボタン３２は、メッセージを送信するときに送信者により操作され、ボタン３３は、メッセージを送信しないときに送信者により操作される。また、ユーザ通知部２３は、後述するように、サーバ１５が送信する送信促進通知を受け取ったときにも、同様の送信促進通知画面を表示部２７に表示する。
写真選定部２４は、送信者がメッセージに写真を添付することを選択した場合に、記憶部２１に記憶されている写真の中から、送信者に適した所定枚数の写真を送信の候補として選定し、送信内容選択肢作成部２６に供給する。さらに、写真選定部２４は、選定した写真に対する画像認識を行って、何が写っているか写真の内容を認識した認識結果を文言取得部２５に通知する。また、写真選定部２４は、例えば、画像認識により内容を認識することができた画像を優先的に選択してもよい。
文言取得部２５は、送信者がメッセージを送信することを選択した場合に、記憶部２１に記憶されているテンプレートの中から、特定の文言を選択して送信内容選択肢作成部２６に供給する。例えば、文言取得部２５は、メッセージに写真を添付する場合には、写真選定部２４から通知される写真の内容の認識結果に基づいて、それらの写真の内容に関連する文言を取得する。このとき、上述したように、テンプレートは、写真の内容に従った複数のカテゴリに分類されて文言が登録されており、文言取得部２５は、認識した写真の内容に対応するカテゴリから、送信の候補とする文言を取得する。また、文言取得部２５は、写真選定部２４が写真の内容を認識することができなかった場合には、写真の内容に依存しない文言を取得する。または、文言取得部２５は、メッセージに写真を添付しない場合には、季節に応じたあいさつやネットワーク１２を介して取得できる話題のワードなどからランダムに構成される文言を取得する。
送信内容選択肢作成部２６は、写真選定部２４から供給される所定枚数の写真に、文言取得部２５から供給される文言を組み合わせて、送信者に送信内容を選択させる送信内容選択肢を作成する。そして、送信内容選択肢作成部２６は、所定数の送信内容選択肢の中から、送信するものを送信者に選択させるための送信内容選択画面を表示部２７に表示する。
例えば、図４には、メッセージに写真を添付した送信内容を選択させる送信内容選択画面４１の一例が示されている。図４の送信内容選択画面４１には、４つの送信内容選択肢が表示されており、１番目の送信内容選択肢は、家族の旅先での写真と、その写真の内容に関連する文言「楽しかったよ！」とが組み合わされている。また、２番目の送信内容選択肢は、ペットの写真と、その写真の内容に関連する文言「かわいいでしょ」とが組み合わされており、３番目の送信内容選択肢は、風景の写真と、その写真の内容に関連する文言「きれいだった！」とが組み合わされている。また、４番目の送信内容選択肢は、ケーキの写真と、その写真の内容に関連する文言「おいしかったよ」とが組み合わされている。
なお、送信内容選択画面４１に表示される送信内容選択肢は４つ以外でもよく、送信内容選択肢作成部２６は、送信者が選択しやすい数の送信内容選択肢、例えば、２つから６つ程度の送信内容選択肢を作成して表示させることができる。
表示部２７は、例えば、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイなどにより構成され、図３の送信促進通知画面３１や図４の送信内容選択画面４１などを表示する。
操作部２８は、タッチパネルやボタン、マイクなどにより構成されており、送信者の操作に従った操作入力を受け付け、その操作入力に基づいた判断を行う。例えば、送信者が、図３の送信促進通知画面３１に表示されるボタン３２に対する操作（例えば、タッチ）を行うと、操作部２８は、送信者が、メッセージを送信する操作入力を行ったと判断する。また、例えば、送信者が、図４の送信内容選択画面４１に表示されるいずれかの送信内容選択肢を指定する（例えば、送信内容選択肢の番号を読み上げる）と、操作部２８は、その指定された送信内容を送信対象として判断する。
データ通信部２９は、図１のネットワーク１２を介して、受信側情報処理装置１４およびサーバ１５との通信を行い、例えば、送信者が送信内容選択画面４１の中から送信対象として指定した送信内容のメッセージを送信する。また、データ通信部２９は、後述するように、サーバ１５から送信されてくる送信促進通知を受信して、ユーザ通知部２３に供給する。
このように送信側情報処理装置１３は構成されており、より簡易な操作でメッセージを送信することができ、受信者とのコミュニケーションを適切に促すことができる。
なお、送信側情報処理装置１３では、送信機会判定部２２は、上述したような写真の枚数の他、例えば、送信者の属性に基づいた特定の日時（誕生日や記念日、行事が行われる日時など）に従って、メッセージを送信するタイミングであると判定してもよい。
また、送信側情報処理装置１３では、写真選定部２４は、例えば、多くの人物が写っている写真や、受信者の好み（嗜好性）に合う写真、関連する文言を選択し易い（例えば、料理やペット、風景などの）写真、家族として事前に登録された優先度の高い人物が写っている写真、子供が写っている写真などを、優先的に選定することができる。また、写真選定部２４は、メッセージの送信履歴に基づいて写真の選定を行ってもよい。このように、写真の内容などに基づいて、送信者に適した写真を選択することで、より良好なコミュニケーションを継続することができる。
次に、図５は、図１の受信側情報処理装置１４の構成例を示すブロック図である。
図５に示すように、受信側情報処理装置１４は、記憶部５１、文言取得部５２、返信内容選択肢作成部５３、ユーザ通知部５４、表示部５５、操作部５６、およびデータ通信部５７を備えて構成される。
記憶部５１は、例えば、ハードディスクドライブや半導体メモリなどを有して構成され、受信側情報処理装置１４が情報処理を行うのに必要な各種のデータを記憶し、それらのデータの管理を行う。例えば、記憶部５１は、受信側情報処理装置１４から送信される返信メッセージに用いられる定型的な返答文言が登録されたテンプレートを記憶する。また、このテンプレートは、例えば、写真の内容に従った複数のカテゴリに分類されており、それぞれ写真の内容に関連する返答文言が登録されている。
ユーザ通知部５４は、送信側情報処理装置１３から送信されたメッセージをデータ通信部５７が受信したタイミングで、メッセージの受信を受信者に通知する受信通知画面を表示部５５に表示する。例えば、図６に示すように、受信通知画面６１には、コミュニケーション支援システムのキャラクタの吹き出しに「写真付きのメッセージが届いたよ」という文言とともに、「見る」と表示されたボタン６２および「後で」と表示されたボタン６３が表示される。ボタン６２は、メッセージをすぐに見るときに受信者により操作され、ボタン６３は、メッセージを後で見るときに受信者により操作される。
文言取得部５２は、データ通信部５７を介して送信側情報処理装置１３から送信されたメッセージを取得する。そして、文言取得部５２は、受信者がメッセージを見る際に、受信者から返信する返信メッセージとして用いられる所定数の返答文言を、記憶部５１に記憶されているテンプレートの中から選択して返信内容選択肢作成部５３に供給する。
例えば、文言取得部５２は、受信したメッセージに写真が添付されている場合には、その写真に対する画像認識を行って、認識された写真の内容に関連する返答文言を選択する。このとき、上述したように、テンプレートは、写真の内容に従った複数のカテゴリに分類されて文言が登録されており、文言取得部５２は、認識した写真の内容に対応するカテゴリから、返信の候補とする返答文言を取得する。また、文言取得部５２は、写真の内容を認識することができなかった場合には、写真の内容に依存しない文言を取得する。または、文言取得部５２は、受信したメッセージに写真が添付されていない場合には、一般的な返答文言をテンプレートからランダムに選択する。
返信内容選択肢作成部５３は、文言取得部５２から供給される返答文言からなる返信内容選択肢を作成し、所定数の返信内容選択肢の中から、返信するものを受信者に選択させるための返信内容選択画面を表示部５５に表示する。
例えば、図７には、受信したメッセージを表示するとともに、返信内容を選択させる返信内容選択画面７１の一例が示されている。図７の返信内容選択画面７１では、家族の旅先での写真と、その写真の内容に関連する文言「楽しかったよ！」とが組み合わされたメッセージ７２が表示されるとともに、返信内容表示領域７３に４つの返信内容選択肢が表示されている。返信内容表示領域７３には、メッセージ７２の写真の内容に関連して、１番目の返信内容選択肢として「みんな元気そうね！」が表示され、２番目の返信内容選択肢として「すてきな写真ね！」が表示され、３番目の返信内容選択肢として「楽しそうなところね！」が表示され、４番目の返信内容選択肢として「自然がたくさんね！」が表示されている。
表示部５５は、例えば、液晶ディスプレイや有機ＥＬディスプレイなどにより構成され、図６の受信通知画面６１や図７の送信内容選択画面４１などを表示する。
操作部５６は、タッチパネルやボタン、マイクなどにより構成されており、送信者の操作に従った操作入力に基づいた判断を行う。例えば、受信者が、図６の受信通知画面６１に表示されるボタン６２に対する操作（例えば、タッチ）を行うと、操作部５６は、受信者が、メッセージをすぐに見る操作入力を行ったと判断する。また、例えば、送信者が、図７の返信内容選択画面７１に表示されるいずれかの返信内容選択肢を指定する（例えば、返信内容選択肢の番号を読み上げる）と、操作部５６は、その指定された返信内容を返信対象として判断する。
データ通信部５７は、図１のネットワーク１２を介して、送信側情報処理装置１３およびサーバ１５との通信を行い、例えば、受信側情報処理装置１４から送信されてくるメッセージを受信して、文言取得部５２およびユーザ通知部５４に供給する。また、データ通信部５７は、受信者が返信内容選択画面７１の中から返信対象として指定した返信内容の返信メッセージを送信する。
なお、データ通信部５７から送信された返信メッセージは、図２の送信側情報処理装置１３のデータ通信部２９が受信してユーザ通知部２３に供給し、ユーザ通知部２３は、その返信メッセージの閲覧を促す通知を行う。そして、送信側情報処理装置１３では、返信メッセージを見た送信者に対して、返信内容に応じた適切なメッセージの送信を促す送信内容選択肢が表示部２７に表示され、コミュニケーションの継続が促進される。
このように受信側情報処理装置１４は構成されており、より簡易な操作で受信者に対して返信メッセージを送信させることができ、送信者とのコミュニケーションを適切に促すことができる。
なお、文言取得部５２が取得する返答文言は、上述したような写真の内容の他、例えば、受信者の属性（年齢や性格、趣味、嗜好性などのプロファイル）、過去に取得した返答文言の履歴、返信メッセージを送信した時期（日時や季節、行事が行われる日など）に基づいて取得してもよい。例えば、こどもの日に返信メッセージを送信する場合には、子供の写真を催促するような文言を選択することで、より活発なコミュニケーションを促すことができる。
また、受信側情報処理装置１４は、例えば、図示しないセンサによって、写真を見たときの受信者の表情や、うなずき（ジェスチャ）、視線などを検知することができ、それらの検知結果に基づいて、文言取得部５２が返答文言を取得することができる。例えば、それらの検出結果から、受信者の写真への興味度（嗜好性）を測定し、興味度の度合いによって返答文言を変更することで、より受信者の気持ちに合致したコミュニケーションを行うことができる。または、受信側情報処理装置１４は、表示部５５に写真の一覧を表示して、受信者の視線を検知することで、受信者の興味のある写真に対する返信メッセージを選択するようにしてもよい。
次に、図８は、図１のサーバ１５の構成例を示すブロック図である。
図８に示すように、サーバ１５は、ユーザ情報管理部８１、自動判定部８２、操作部８３、およびデータ通信部８４を備えて構成される。
ユーザ情報管理部８１は、自動判定部８２が送信促進通知を送信側情報処理装置１３に送信するタイミングであるか否かを判定する際に参照されるユーザ情報を管理する。例えば、ユーザ情報管理部８１が管理するユーザ情報のフォーマットにおいて、送信側情報処理装置１３のユーザを識別する送信ユーザＩＤ（Identification）や、そのユーザＩＤで識別されるユーザとコミュニケーションする相手となる受信側情報処理装置１４のユーザを識別する受信ユーザＩＤ、ユーザ間で送受信されたメッセージの内容を蓄積した内容データ、それらのメッセージの時系列を蓄積した時系列データなどが管理される。
また、内容データとしては、送受信されたメッセージを識別するメッセージＩＤや、メッセージを送信した送信者を識別する送信者ＩＤ、メッセージで送信された送信内容（写真や文言など）、メッセージを受信した受信者を識別する受信者ＩＤ、メッセージに対する返信メッセージの内容（返答文言）などが管理される。また、時系列データとしては、送受信されたメッセージを識別するメッセージＩＤや、メッセージを送信する通知を行うタイミングであると判定したトリガ（送信機会判定部２２または自動判定部８２）、送信促進通知が行われた時刻、メッセージが送信された送信時刻、受信したメッセージが表示された受信時刻、返信メッセージが送信された返信時刻などが管理される。
自動判定部８２は、ユーザ情報管理部８１において管理されているユーザ情報を分析し、メッセージを送信する通知を行う最適なタイミングを求めて、自動的に、通知を行うか否かの判定を行う。そして、自動判定部８２は、メッセージを送信する通知を行う最適なタイミングであると判定した場合、データ通信部８４を介して、送信側情報処理装置１３に対して送信促進通知を送信する。例えば、自動判定部８２は、受信者のユーザ情報に基づいて、受信者の空き時間を狙って通知を行ったり、メッセージが表示され易いタイミングに合わせて通知を行ったりしてもよい。
また、自動判定部８２は、ユーザのメッセージ内容に対する嗜好性を分析し、その嗜好性を分析した内容を、データ通信部８４を介して送信側情報処理装置１３に定期的に送信することができる。これにより、送信側情報処理装置１３においてメッセージを作成する精度を向上させること、即ち、ユーザの嗜好に合致したメッセージを作成することができる。また、ユーザ情報管理部８１は、この分析結果に基づいて、図２の送信機会判定部２２がメッセージを送信する通知を行うタイミングの判定を行う際に参照となる情報（例えば、上述した増加枚数）を決定し、データ通信部８４を介して送信側情報処理装置１３に送信することができる。
操作部８３は、例えば、キーボードやマウスなどにより構成され、コミュニケーション支援システム１１を運用するシステム運用者によって操作される。例えば、システム運用者によってメッセージを送信する通知を行う操作が行われると、操作部８３は、データ通信部８４を介して、送信側情報処理装置１３に対して送信促進通知を送信する。このように、コミュニケーション支援システム１１では、送信機会判定部２２または自動判定部８２による自動的な判断に基づいてメッセージの送信が促進される他、システム運用者の判断に基づいてメッセージの送信を促進することができる。
データ通信部８４は、図１のネットワーク１２を介して、送信側情報処理装置１３および受信側情報処理装置１４との通信を行い、送信側情報処理装置１３に送信促進通知を送信する。また、データ通信部８４は、送信側情報処理装置１３および受信側情報処理装置１４の間で送受信されるメッセージを取得して、ユーザ情報管理部８１に供給する。
このようにサーバ１５は構成されており、送信側情報処理装置１３に送信促進通知を送信することで、送信者に対して適切にメッセージの送信を促すことができ、送信者と受信者とのコミュニケーションの継続を積極的に支援することができる。
なお、例えば、ユーザ情報管理部８１において管理されるユーザ情報として、送信した写真に対する受信者の反応に関する情報（写真に対する興味度）を用いてもよい。例えば、受信側情報処理装置１４が備える図示しないセンサによって、上述したような検知結果を得ることができる場合、その検知結果をサーバ１５に送信して、ユーザ情報管理部８１が、写真に対する興味度として取得することができる。このようなユーザ情報を利用し、その後のコミュニケーション（例えば、選択する写真の内容や、取得する文言など）に反映することで、受信者の興味を引くコミュニケーションを行うことができる。
次に、図９は、送信側情報処理装置１３におけるメッセージ送信処理を説明するフローチャートである。
例えば、送信側情報処理装置１３では定期的にメッセージ送信処理を行うように設定されており処理が開始されると、ステップＳ１１において、送信機会判定部２２は、記憶部２１に記憶されている写真の枚数を示す写真枚数の情報を取得する。
ステップＳ１２において、送信機会判定部２２は、ステップＳ１１で取得した写真枚数の情報に従って、前回の送信時から写真枚数が増加した増加枚数が、所定枚数以上であるか否かを判定する。
ステップＳ１２において、送信機会判定部２２が、増加枚数が所定枚数以上であると判定した場合、処理はステップＳ１３に進み、送信機会判定部２２は、ユーザ通知部２３に対して、メッセージ送信のユーザ通知を行うように指示を行う。これに応じ、ユーザ通知部２３は、上述の図３に示したような送信促進通知画面３１を表示部２７に表示して、ユーザ通知を行う。
ステップＳ１４において、操作部２８は、ユーザ操作に基づいてメッセージを送信するか否か判定する。例えば、操作部２８は、送信促進通知画面３１の「送る」と表示されたボタン３２に対する操作が行われた場合には、メッセージを送信すると判定する。一方、操作部２８は、送信促進通知画面３１の「送らない」と表示されたボタン３３に対する操作が行われた場合には、メッセージを送信しないと判定して処理は終了される。
ステップＳ１４において、メッセージを送信すると判定された場合、処理はステップＳ１５に進み、操作部２８は、ユーザ操作に基づいて写真を添付するか否かを判定する。例えば、表示部２７に、「写真をつけますか？」という質問とともに、「はい」および「いいえ」と表示されたボタンを表示し、操作部２８は、それらのボタンに対する操作に基づいて判定を行う。
ステップＳ１４において、操作部２８が、写真を添付すると判定した場合、処理はステップＳ１６に進み、送信内容選択肢作成部２６は、写真付きメッセージ選択肢を作成する。なお、ステップＳ１６の処理については、図１０を参照して後述する。
一方、ステップＳ１４において、操作部２８が、写真を添付しないと判定した場合、処理はステップＳ１７に進み、送信内容選択肢作成部２６は、文言取得部２５により選択された文言のみのメッセージ選択肢を作成する。
ステップＳ１６またはＳ１７の処理後、処理はステップＳ１８に進み、送信内容選択肢作成部２６は、ステップＳ１６またはＳ１７で作成したメッセージ選択肢を、上述の図４に示したような送信内容選択画面４１により表示部２７に表示する。そして、操作部２８は、送信者による選択を受け付ける。
ステップＳ１９において、操作部２８は、ステップＳ１８において送信者により選択された送信内容選択肢を送信対象として、データ通信部２９を介してメッセージを送信させ、処理は終了される。
一方、ステップＳ１２において、送信機会判定部２２が、増加枚数が所定枚数以上でない（所定枚数未満である）と判定した場合、処理はステップＳ２０に進み、データ通信部２９は、サーバ１５から送信される送信促進通知を受信したか否かを判定する。データ通信部２９が、送信促進通知を受信したと判定した場合、処理はステップＳ１３に進み、以下、上述したのと同様の処理が行われる。一方、ステップＳ２０において、データ通信部２９が、送信促進通知を受信していないと判定した場合、処理は終了される。
次に、図１０は、図９のステップＳ１６において写真付きメッセージ選択肢を作成する処理を説明するフローチャートである。
ステップＳ３１において、写真選定部２４は、記憶部２１にアクセスして、まだ受信者に送信したことのない未送信の写真をランダムに１枚選択し、その写真に対する画像処理を行って、何が写っているか写真の内容の認識を行う。
ステップＳ３２において、写真選定部２４は、ステップＳ３１の処理で選択した写真の内容を認識することができたか否かを判定する。
ステップＳ３２において、写真選定部２４が、写真の内容を認識することができたと判定した場合、処理はステップＳ３３に進み、文言取得部２５は、その写真の内容に関連する文言を、記憶部２１に記憶されているテンプレートの中からランダムに選択する。例えば、子供が写っている写真であれば、「大きくなったでしょ」や「いつも元気です」などの文言が選択される。
一方、ステップＳ３２において、写真選定部２４が、写真の内容を認識することができなかったと判定した場合、処理はステップＳ３４に進み、文言取得部２５は、写真の内容に依存しない文言を、記憶部２１に記憶されているテンプレートの中からランダムに選択する。例えば、この場合、「こんな写真を撮りました」や「いい写真だよね」などの文言が選択される。
ステップＳ３３またはＳ３４の処理後、処理はステップＳ３５に進み、送信内容選択肢作成部２６は、ステップＳ３１で選択された写真と、ステップＳ３３またはＳ３４で取得された文言とを対応付けて送信内容選択肢を作成し、処理は終了される。
なお、この処理は、送信内容選択画面４１に表示される送信内容選択肢の数に従って繰り返され、その数の送信内容選択肢を作成して処理が終了されると、処理は図９のステップＳ１８に進む。
次に、図１１は、受信側情報処理装置１４におけるメッセージ応答処理を説明するフローチャートである。
例えば、送信側情報処理装置１３からのメッセージの送信があると処理が開始され、ステップＳ５１において、データ通信部５７は、そのメッセージを受信する。そして、データ通信部５７は、ユーザ通知部５４に対してメッセージの受信を通知するとともに、文言取得部５２にメッセージを供給する。
ステップＳ５２において、文言取得部５２は、ステップＳ５１で取得したメッセージに写真の添付があるか否かを判定する。
ステップＳ５２において、文言取得部５２が、写真の添付があると判定した場合、処理はステップＳ５３に進み、文言取得部５２は、メッセージに添付されている写真に対する画像認識を行い、何が写っているのか写真の内容を認識する。
ステップＳ５４において、文言取得部５２は、ステップＳ５３の画像認識の結果に基づいて、写真の内容を認識することができたか否かを判定する。なお、例えば、何が写っているのかを示す情報が写真に添付されている場合、文言取得部５２は、その情報に基づいて写真の内容を認識してもよい。
ステップＳ５４において、文言取得部５２が、写真の内容を認識することができたと判定した場合、処理はステップＳ５５に進む。ステップＳ５５において、文言取得部５２は、写真の内容の認識結果に基づいて、記憶部５１に記憶されているテンプレートの中から、写真の内容に関連する返答文言をランダムに取得する。例えば、料理の写真であるという認識結果であれば、文言取得部５２は、「おいしそう」や「私も食べたいなぁ」などの返答文言を取得する。
一方、ステップＳ５４において、文言取得部５２が、写真の内容を認識することができなかったと判定した場合、処理はステップＳ５６に進む。ステップＳ５６において、文言取得部５２は、記憶部５１に記憶されているテンプレートの中から、写真の内容に依存しない返答文言をランダムに取得する。例えば、文言取得部５２は、「こういう写真、もっと見たいな」や「おもしろいね」などの返答文言を取得する。
また、ステップＳ５２において、文言取得部５２が、写真の添付がないと判定した場合、処理はステップＳ５７に進み、文言取得部５２は、記憶部５１に記憶されているテンプレートの中から、一般的な返答文言をランダムに取得する。例えば、文言取得部５２は、「たまには遊びに来てね」や「毎日楽しそうだね」などの返答文言を取得する。
ステップＳ５５、ステップＳ５６、またはステップＳ５７の処理後、処理はステップＳ５８に進み、返信内容選択肢作成部５３は、文言取得部５２により取得された返答文言からなる返信内容選択肢を作成する。
ステップＳ５９において、返信内容選択肢作成部５３は、ステップＳ５８で作成した返信内容選択肢を、上述の図７に示したような返信内容選択画面７１により表示部５５に表示する。そして、操作部５６は、表示部５５に表示された返信内容選択画面７１に対する返信者による選択を受け付ける。
ステップＳ６０において、操作部２８は、ステップＳ５９において返信者により選択された返信内容選択肢を返信対象として、データ通信部５７を介して返信メッセージを送信させ、処理は終了される。
次に、図１２は、サーバ１５における送信促進通知処理を説明するフローチャートである。
例えば、サーバ１５では定期的に送信促進通知処理を行うように設定されており処理が開始されると、ステップＳ７１において、自動判定部８２は、ユーザ情報管理部８１からユーザ情報を読み込む。
ステップＳ７２において、自動判定部８２は、ステップＳ７１で読み込んだユーザ情報に基づいて、ユーザの嗜好を分析する。
ステップＳ７３において、自動判定部８２は、ステップＳ７２での分析結果に従って、メッセージの送信を促進する通知を行うか否かを判定する。
ステップＳ７３において、メッセージの送信を促進する通知を行うと判定された場合、処理はステップＳ７４に進み、自動判定部８２は、データ通信部８４を介して、送信側情報処理装置１３に対して送信促進通知を送信する。
一方、ステップＳ７３において、メッセージの送信を促進する通知を行わないと判定された場合、または、ステップＳ７４の処理後、処理は終了される。
以上のような各処理が行われることで、コミュニケーション支援システム１１では、送信者と受信者とのコミュニケーションの継続を積極的に支援することができる。例えば、送信者は、自分からメッセージを送信しようと思わなくても、メッセージの送信が促されたタイミングでメッセージを送信すればよく、コミュニケーションが停滞することを回避することができる。また、送信者および受信者のどちらも、選択肢の選択を行うだけでコミュニケーションを行うことができるので、心理的または物理的な負担が軽減され、コミュニケーションの継続性を向上させることができる。
なお、上述した実施の形態では、図２のユーザ通知部２３が送信促進通知画面３１を表示部２７に表示する例について説明したが、例えば、振動や、音声、発光などの通知機能を使用して、通知内容に紐づけられた通知を行うように通知機能に対する制御を行って、メッセージ送信の促進を送信者に通知してもよい。また、例えば、表示部２７に表示されるキャラクタの表情や動きなどにより、メッセージ送信の促進を送信者に通知することができる。このように、メッセージ送信の促進を送信者に通知することができれば、その方法については限定されることはない。
また、図２の操作部２８は、上述したように表示部２７に表示されるボタンに対する操作に基づいて操作入力を受け付ける他、音声やジェスチャ、視線などを検出することによって操作入力を受け付けることができる。また、図５の操作部５６についても同様である。このように、送信者または受信者の意思表示を受け付けることができれば、その方法については限定されることはない。
また、図９のメッセージ送信処理において、メッセージの送信の有無や写真の添付の有無を順番で送信者に操作入力させるのに替えて、例えば、写真付きメッセージ選択肢のうちの１つのメッセージを表示部２７に表示させて、そのメッセージを送信するか否かの操作入力を行うようにしてもよい。
さらに、図４の送信内容選択画面４１のように、決められた選択肢からのみ選択が行われるのではなく、写真や文言を選択し直したり、送信者が文言を編集することができるようにしてもよい。例えば、「さらに選択肢を表示する」と表示されたボタンを送信内容選択画面４１に追加して、そのボタンに対する操作が行われると、新たな選択肢が表示されるようにすることができる。
また、図２の記憶部２１または図５の記憶部５１に記憶されるテンプレートには、例えば、システム提供時に予め登録されている文言の他、適宜、新たに追加または編集した文言を登録（更新）することができる。また、それらの文言は、送信者または受信者の一人称や年齢、性別、性格などに応じて表現（話し方）を自動で変更することができる。
なお、コミュニケーション支援システム１１において、送信側情報処理装置１３、受信側情報処理装置１４、およびサーバ１５それぞれが備える機能は、いずれかが備えていればよく、例えば、送信側情報処理装置１３が、ユーザ情報管理部８１および自動判定部８２を備えていてもよく、自動判定部８２による判定結果を送信側情報処理装置１３自身に通知してもよい。即ち、コミュニケーション支援システム１１全体として、上述したような機能を提供することができればよい。また、１つの装置が、送信側情報処理装置１３と受信側情報処理装置１４との両方の機能を備えていてもよく、送信側と受信側とで、同一の機能を備えた送受信可能な装置を使用することができる。もちろん、送信または受信いずれかの機能に特化した装置を使用してもよい。
さらに、受信側情報処理装置１４としては、タブレット端末の他、例えば、送信側情報処理装置１３と同様のスマートフォン端末や、テレビジョン受像機、プロジェクタ、デジタルフォトフレームなど、メッセージを表示して操作入力を受け付けることが可能な各種の装置を使用することができる。または、受信側情報処理装置１４として、例えば、公共施設などに設置されている情報端末などを使用することができる。
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
また、上述した一連の処理（情報処理方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
なお、本技術は以下のような構成も取ることができる。
（１）
メッセージ内容が分類された複数のカテゴリのうちの、コミュニケーションに使用される画像に対応する前記カテゴリに分類されている複数の前記メッセージ内容の中から、送信の候補とする所定数の前記メッセージ内容を取得する取得部と、
前記取得部により取得された所定数の前記メッセージ内容から、送信の対象とする前記メッセージ内容を選択させるための選択肢を作成して、所定のタイミングで提示する選択肢作成部と
を備える情報処理装置。
（２）
送信の候補とする所定数の前記画像を選定する選定部と、
前記選定部により選定された所定数の前記画像のうちの、送信の対象として選択された前記画像が添付されたメッセージを送信する送信部と
をさらに備え、
前記取得部は、前記選定部により選定された所定数の前記画像それぞれに対応する前記カテゴリから前記メッセージ内容を取得し、
前記選択肢作成部は、所定数の前記画像と、それらの画像に対応する前記メッセージ内容とをそれぞれ組み合わせた前記選択肢を作成する
上記（１）に記載の情報処理装置。
（３）
前記カテゴリは、前記画像の内容ごとに前記メッセージ内容を分類しており、
前記選定部は、前記画像を記憶する記憶部に記憶されている複数の前記画像に対する画像認識を行い、
前記取得部は、前記選定部により認識することができた前記画像の内容に従った前記カテゴリから前記メッセージ内容を取得する
上記（１）または（２）に記載の情報処理装置。
（４）
前記取得部は、前記選定部が前記画像の内容を認識することができなかった場合、前記画像の内容に依存しない前記メッセージ内容を取得する
上記（３）に記載の情報処理装置。
（５）
前記メッセージの送信を行うタイミングであるか否かを判定する送信機会判定部
をさらに備え、
前記選択肢作成部は、前記送信機会判定部が前記メッセージの送信を行うタイミングであると判定すると、前記選択肢を作成して提示する
上記（１）から（４）までのいずれかに記載の情報処理装置。
（６）
前記送信機会判定部は、前記記憶部に記憶されている前記画像の枚数を取得し、前回の前記メッセージの送信時から前記画像の枚数が増加した増加枚数に従って、前記メッセージの送信を行うタイミングであるか否かの判定を行う
上記（５）に記載の情報処理装置。
（７）
前記送信機会判定部が前記メッセージの送信を行うタイミングであると判定したときに、前記メッセージの送信を促す通知を行う通知部
をさらに備える上記（５）または（６）に記載の情報処理装置。
（８）
前記選定部は、前記画像に対する画像認識の結果に基づいて、前記画像の内容に基づいて前記メッセージを送信する送信者に適した所定枚数の前記画像を送信の候補として選定する
上記（３）に記載の情報処理装置。
（９）
前記メッセージの送信を行うか否かの操作入力、および、前記メッセージに画像の添付を行うか否かの操作入力を受け付ける操作部
をさらに備える上記（２）から（８）までのいずれかに記載の情報処理装置。
（１０）
前記画像が添付されたメッセージを受信する受信部
をさらに備え、
前記取得部は、前記受信部が受信した前記メッセージに添付されている前記画像に対応する前記カテゴリから、前記メッセージに対して返信するための所定数の前記メッセージ内容を取得する
上記（１）に記載の情報処理装置。
（１１）
前記選択肢作成部は、前記受信部が前記メッセージを受信したタイミングで、返信の対象とする前記メッセージ内容を選択させるための選択肢を作成して、前記選択肢を提示する
上記（１０）に記載の情報処理装置。
（１２）
前記取得部は、前記メッセージを受信した受信者の属性、または、前記メッセージを受信した時期に応じて適切な前記メッセージ内容を取得する
上記（１０）または（１１）に記載の情報処理装置。
（１３）
前記選択肢作成部により提示された前記選択肢から返信の対象とする前記メッセージ内容を選択する操作入力を受け付ける操作部
をさらに備える上記（１０）から（１２）までのいずれかに記載の情報処理装置。
（１４）
前記メッセージを送信する送信者、前記メッセージを送信する相手となる受信者、前記メッセージの内容を蓄積した内容データ、前記メッセージを送信した時系列を蓄積した時系列データをユーザ情報として管理するユーザ情報管理部
をさらに備える上記（１）に記載の情報処理装置。
（１５）
前記ユーザ情報管理部により管理されている前記ユーザ情報を分析し、前記メッセージの送信を促す適切なタイミングを判定する判定部と、
前記判定部により適切なタイミングであると判定された場合に、前記メッセージの送信を促す通知を送信する通知送信部と
をさらに備える上記（１４）に記載の情報処理装置。
（１６）
メッセージ内容が分類された複数のカテゴリのうちの、コミュニケーションに使用される画像に対応する前記カテゴリに分類されている複数の前記メッセージ内容の中から、送信の候補とする所定数の前記メッセージ内容を取得し、
取得された所定数の前記メッセージ内容から、送信の対象とする前記メッセージ内容を選択させるための選択肢を作成して、所定のタイミングで提示する
ステップを含む情報処理方法。
（１７）
メッセージ内容が分類された複数のカテゴリのうちの、コミュニケーションに使用される画像に対応する前記カテゴリに分類されている複数の前記メッセージ内容の中から、送信の候補とする所定数の前記メッセージ内容を取得し、
取得された所定数の前記メッセージ内容から、送信の対象とする前記メッセージ内容を選択させるための選択肢を作成して、所定のタイミングで提示する
ステップを含む処理をコンピュータに実行させるプログラム。
（１８）
送信の候補とする所定数の前記画像を選定する選定部と、
メッセージ内容が分類された複数のカテゴリのうちの、前記選定部により選定された所定数の前記画像それぞれに対応する前記カテゴリに分類されている複数の前記メッセージ内容の中から、送信の候補とする所定数の前記メッセージ内容を取得する送信内容取得部と、
所定数の前記画像と、それらの画像に対応する前記取得部により取得された所定数の前記メッセージ内容とをそれぞれ組み合わせたメッセージから、送信の対象とする前記メッセージを選択させるための前記選択肢を作成して、所定のタイミングで提示する選択肢作成部と、
前記選択肢のうちの、送信の対象として選択された前記メッセージを送信する送信部と
を備える送信側の情報処理装置、および、
前記画像が添付されたメッセージを受信する受信部と、
前記受信部が受信した前記メッセージに添付されている前記画像に対応する前記カテゴリから、前記メッセージに対して返信するための所定数の前記メッセージ内容を取得する返信内容取得部と
を備える受信側の情報処理装置
を含んで構成される情報処理システム。
（１）
メッセージ内容が分類された複数のカテゴリのうちの、コミュニケーションに使用される画像に対応する前記カテゴリに分類されている複数の前記メッセージ内容の中から、送信の候補とする所定数の前記メッセージ内容を取得する取得部と、
前記取得部により取得された所定数の前記メッセージ内容から、送信の対象とする前記メッセージ内容を選択させるための選択肢を作成して、所定のタイミングで提示する選択肢作成部と
を備える情報処理装置。
（２）
送信の候補とする所定数の前記画像を選定する選定部と、
前記選定部により選定された所定数の前記画像のうちの、送信の対象として選択された前記画像が添付されたメッセージを送信する送信部と
をさらに備え、
前記取得部は、前記選定部により選定された所定数の前記画像それぞれに対応する前記カテゴリから前記メッセージ内容を取得し、
前記選択肢作成部は、所定数の前記画像と、それらの画像に対応する前記メッセージ内容とをそれぞれ組み合わせた前記選択肢を作成する
上記（１）に記載の情報処理装置。
（３）
前記カテゴリは、前記画像の内容ごとに前記メッセージ内容を分類しており、
前記選定部は、前記画像を記憶する記憶部に記憶されている複数の前記画像に対する画像認識を行い、
前記取得部は、前記選定部により認識することができた前記画像の内容に従った前記カテゴリから前記メッセージ内容を取得する
上記（１）または（２）に記載の情報処理装置。
（４）
前記取得部は、前記選定部が前記画像の内容を認識することができなかった場合、前記画像の内容に依存しない前記メッセージ内容を取得する
上記（３）に記載の情報処理装置。
（５）
前記メッセージの送信を行うタイミングであるか否かを判定する送信機会判定部
をさらに備え、
前記選択肢作成部は、前記送信機会判定部が前記メッセージの送信を行うタイミングであると判定すると、前記選択肢を作成して提示する
上記（１）から（４）までのいずれかに記載の情報処理装置。
（６）
前記送信機会判定部は、前記記憶部に記憶されている前記画像の枚数を取得し、前回の前記メッセージの送信時から前記画像の枚数が増加した増加枚数に従って、前記メッセージの送信を行うタイミングであるか否かの判定を行う
上記（５）に記載の情報処理装置。
（７）
前記送信機会判定部が前記メッセージの送信を行うタイミングであると判定したときに、前記メッセージの送信を促す通知を行う通知部
をさらに備える上記（５）または（６）に記載の情報処理装置。
（８）
前記選定部は、前記画像に対する画像認識の結果に基づいて、前記画像の内容に基づいて前記メッセージを送信する送信者に適した所定枚数の前記画像を送信の候補として選定する
上記（３）に記載の情報処理装置。
（９）
前記メッセージの送信を行うか否かの操作入力、および、前記メッセージに画像の添付を行うか否かの操作入力を受け付ける操作部
をさらに備える上記（２）から（８）までのいずれかに記載の情報処理装置。
（１０）
前記画像が添付されたメッセージを受信する受信部
をさらに備え、
前記取得部は、前記受信部が受信した前記メッセージに添付されている前記画像に対応する前記カテゴリから、前記メッセージに対して返信するための所定数の前記メッセージ内容を取得する
上記（１）に記載の情報処理装置。
（１１）
前記選択肢作成部は、前記受信部が前記メッセージを受信したタイミングで、返信の対象とする前記メッセージ内容を選択させるための選択肢を作成して、前記選択肢を提示する
上記（１０）に記載の情報処理装置。
（１２）
前記取得部は、前記メッセージを受信した受信者の属性、または、前記メッセージを受信した時期に応じて適切な前記メッセージ内容を取得する
上記（１０）または（１１）に記載の情報処理装置。
（１３）
前記選択肢作成部により提示された前記選択肢から返信の対象とする前記メッセージ内容を選択する操作入力を受け付ける操作部
をさらに備える上記（１０）から（１２）までのいずれかに記載の情報処理装置。
（１４）
前記メッセージを送信する送信者、前記メッセージを送信する相手となる受信者、前記メッセージの内容を蓄積した内容データ、前記メッセージを送信した時系列を蓄積した時系列データをユーザ情報として管理するユーザ情報管理部
をさらに備える上記（１）に記載の情報処理装置。
（１５）
前記ユーザ情報管理部により管理されている前記ユーザ情報を分析し、前記メッセージの送信を促す適切なタイミングを判定する判定部と、
前記判定部により適切なタイミングであると判定された場合に、前記メッセージの送信を促す通知を送信する通知送信部と
をさらに備える上記（１４）に記載の情報処理装置。
（１６）
メッセージ内容が分類された複数のカテゴリのうちの、コミュニケーションに使用される画像に対応する前記カテゴリに分類されている複数の前記メッセージ内容の中から、送信の候補とする所定数の前記メッセージ内容を取得し、
取得された所定数の前記メッセージ内容から、送信の対象とする前記メッセージ内容を選択させるための選択肢を作成して、所定のタイミングで提示する
ステップを含む情報処理方法。
（１７）
メッセージ内容が分類された複数のカテゴリのうちの、コミュニケーションに使用される画像に対応する前記カテゴリに分類されている複数の前記メッセージ内容の中から、送信の候補とする所定数の前記メッセージ内容を取得し、
取得された所定数の前記メッセージ内容から、送信の対象とする前記メッセージ内容を選択させるための選択肢を作成して、所定のタイミングで提示する
ステップを含む処理をコンピュータに実行させるプログラム。
（１８）
送信の候補とする所定数の前記画像を選定する選定部と、
メッセージ内容が分類された複数のカテゴリのうちの、前記選定部により選定された所定数の前記画像それぞれに対応する前記カテゴリに分類されている複数の前記メッセージ内容の中から、送信の候補とする所定数の前記メッセージ内容を取得する送信内容取得部と、
所定数の前記画像と、それらの画像に対応する前記取得部により取得された所定数の前記メッセージ内容とをそれぞれ組み合わせたメッセージから、送信の対象とする前記メッセージを選択させるための前記選択肢を作成して、所定のタイミングで提示する選択肢作成部と、
前記選択肢のうちの、送信の対象として選択された前記メッセージを送信する送信部と
を備える送信側の情報処理装置、および、
前記画像が添付されたメッセージを受信する受信部と、
前記受信部が受信した前記メッセージに添付されている前記画像に対応する前記カテゴリから、前記メッセージに対して返信するための所定数の前記メッセージ内容を取得する返信内容取得部と
を備える受信側の情報処理装置
を含んで構成される情報処理システム。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
１１ コミュニケーション支援システム， １２ ネットワーク， １３ 送信側情報処理装置， １４ 受信側情報処理装置， １５ サーバ， ２１ 記憶部， ２２ 送信機会判定部， ２３ ユーザ通知部， ２４ 写真選定部， ２５ 文言取得部， ２６ 送信内容選択肢作成部， ２７ 表示部， ２８ 操作部， ２９ データ通信部， ５１ 記憶部， ５２ 文言取得部， ５３ 返信内容選択肢作成部， ５４ ユーザ通知部， ５５ 表示部， ５６ 操作部， ５７ データ通信部， ８１ ユーザ情報管理部， ８２ 自動判定部， ８３ 操作部， ８４ データ通信部
Claims (18)
- メッセージ内容が分類された複数のカテゴリのうちの、コミュニケーションに使用される画像に対応する前記カテゴリに分類されている複数の前記メッセージ内容の中から、送信の候補とする所定数の前記メッセージ内容を取得する取得部と、
前記取得部により取得された所定数の前記メッセージ内容から、送信の対象とする前記メッセージ内容を選択させるための選択肢を作成して、所定のタイミングで提示する選択肢作成部と
を備える情報処理装置。 - 送信の候補とする所定数の前記画像を選定する選定部と、
前記選定部により選定された所定数の前記画像のうちの、送信の対象として選択された前記画像が添付されたメッセージを送信する送信部と
をさらに備え、
前記取得部は、前記選定部により選定された所定数の前記画像それぞれに対応する前記カテゴリから前記メッセージ内容を取得し、
前記選択肢作成部は、所定数の前記画像と、それらの画像に対応する前記メッセージ内容とをそれぞれ組み合わせた前記選択肢を作成する
請求項１に記載の情報処理装置。 - 前記カテゴリは、前記画像の内容ごとに前記メッセージ内容を分類しており、
前記選定部は、前記画像を記憶する記憶部に記憶されている複数の前記画像に対する画像認識を行い、
前記取得部は、前記選定部により認識することができた前記画像の内容に従った前記カテゴリから前記メッセージ内容を取得する
請求項２に記載の情報処理装置。 - 前記取得部は、前記選定部が前記画像の内容を認識することができなかった場合、前記画像の内容に依存しない前記メッセージ内容を取得する
請求項３に記載の情報処理装置。 - 前記メッセージの送信を行うタイミングであるか否かを判定する送信機会判定部
をさらに備え、
前記選択肢作成部は、前記送信機会判定部が前記メッセージの送信を行うタイミングであると判定すると、前記選択肢を作成して提示する
請求項３に記載の情報処理装置。 - 前記送信機会判定部は、前記記憶部に記憶されている前記画像の枚数を取得し、前回の前記メッセージの送信時から前記画像の枚数が増加した増加枚数に従って、前記メッセージの送信を行うタイミングであるか否かの判定を行う
請求項５に記載の情報処理装置。 - 前記送信機会判定部が前記メッセージの送信を行うタイミングであると判定したときに、前記メッセージの送信を促す通知を行う通知部
をさらに備える請求項５に記載の情報処理装置。 - 前記選定部は、前記画像に対する画像認識の結果に基づいて、前記画像の内容に基づいて前記メッセージを送信する送信者に適した所定枚数の前記画像を送信の候補として選定する
請求項３に記載の情報処理装置。 - 前記メッセージの送信を行うか否かの操作入力、および、前記メッセージに画像の添付を行うか否かの操作入力を受け付ける操作部
をさらに備える請求項２に記載の情報処理装置。 - 前記画像が添付されたメッセージを受信する受信部
をさらに備え、
前記取得部は、前記受信部が受信した前記メッセージに添付されている前記画像に対応する前記カテゴリから、前記メッセージに対して返信するための所定数の前記メッセージ内容を取得する
請求項１に記載の情報処理装置。 - 前記選択肢作成部は、前記受信部が前記メッセージを受信したタイミングで、返信の対象とする前記メッセージ内容を選択させるための選択肢を作成して、前記選択肢を提示する
請求項１０に記載の情報処理装置。 - 前記取得部は、前記メッセージを受信した受信者の属性、または、前記メッセージを受信した時期に応じて適切な前記メッセージ内容を取得する
請求項１０に記載の情報処理装置。 - 前記選択肢作成部により提示された前記選択肢から返信の対象とする前記メッセージ内容を選択する操作入力を受け付ける操作部
をさらに備える請求項１０に記載の情報処理装置。 - 前記メッセージを送信する送信者、前記メッセージを送信する相手となる受信者、前記メッセージの内容を蓄積した内容データ、前記メッセージを送信した時系列を蓄積した時系列データをユーザ情報として管理するユーザ情報管理部
をさらに備える請求項１に記載の情報処理装置。 - 前記ユーザ情報管理部により管理されている前記ユーザ情報を分析し、前記メッセージの送信を促す適切なタイミングを判定する判定部と、
前記判定部により適切なタイミングであると判定された場合に、前記メッセージの送信を促す通知を送信する通知送信部と
をさらに備える請求項１４に記載の情報処理装置。 - メッセージ内容が分類された複数のカテゴリのうちの、コミュニケーションに使用される画像に対応する前記カテゴリに分類されている複数の前記メッセージ内容の中から、送信の候補とする所定数の前記メッセージ内容を取得し、
取得された所定数の前記メッセージ内容から、送信の対象とする前記メッセージ内容を選択させるための選択肢を作成して、所定のタイミングで提示する
ステップを含む情報処理方法。 - メッセージ内容が分類された複数のカテゴリのうちの、コミュニケーションに使用される画像に対応する前記カテゴリに分類されている複数の前記メッセージ内容の中から、送信の候補とする所定数の前記メッセージ内容を取得し、
取得された所定数の前記メッセージ内容から、送信の対象とする前記メッセージ内容を選択させるための選択肢を作成して、所定のタイミングで提示する
ステップを含む処理をコンピュータに実行させるプログラム。 - 送信の候補とする所定数の前記画像を選定する選定部と、
メッセージ内容が分類された複数のカテゴリのうちの、前記選定部により選定された所定数の前記画像それぞれに対応する前記カテゴリに分類されている複数の前記メッセージ内容の中から、送信の候補とする所定数の前記メッセージ内容を取得する送信内容取得部と、
所定数の前記画像と、それらの画像に対応する前記取得部により取得された所定数の前記メッセージ内容とをそれぞれ組み合わせたメッセージから、送信の対象とする前記メッセージを選択させるための前記選択肢を作成して、所定のタイミングで提示する選択肢作成部と、
前記選択肢のうちの、送信の対象として選択された前記メッセージを送信する送信部と
を備える送信側の情報処理装置、および、
前記画像が添付されたメッセージを受信する受信部と、
前記受信部が受信した前記メッセージに添付されている前記画像に対応する前記カテゴリから、前記メッセージに対して返信するための所定数の前記メッセージ内容を取得する返信内容取得部と
を備える受信側の情報処理装置
を含んで構成される情報処理システム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016564774A JP6614457B2 (ja) | 2014-12-15 | 2015-12-02 | 情報処理装置、情報処理方法、プログラム、および情報処理システム |
| EP15869795.3A EP3236360B1 (en) | 2014-12-15 | 2015-12-02 | Information processing device, information processing method, program, and information processing system |
| US15/529,268 US10749834B2 (en) | 2014-12-15 | 2015-12-02 | Information processing apparatus, information processing method, program, and information processing system for sending a message with an image attached thereto |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014-253221 | 2014-12-15 | ||
| JP2014253221 | 2014-12-15 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2016098589A1 true WO2016098589A1 (ja) | 2016-06-23 |
Family
ID=56126483
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2015/083841 WO2016098589A1 (ja) | 2014-12-15 | 2015-12-02 | 情報処理装置、情報処理方法、プログラム、および情報処理システム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10749834B2 (ja) |
| EP (1) | EP3236360B1 (ja) |
| JP (1) | JP6614457B2 (ja) |
| WO (1) | WO2016098589A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018047932A1 (ja) * | 2016-09-12 | 2018-03-15 | 日本電気株式会社 | 対話装置、ロボット、処理方法、プログラム |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10805412B2 (en) * | 2017-05-15 | 2020-10-13 | Microsoft Technology Licensing, Llc | Automatic clean-up and sharing of image content |
| DE102019116705A1 (de) * | 2019-06-19 | 2020-12-24 | adviqo GmbH | Verfahren zur Kommunikation mittels Messenger-Nachrichten und System zur Durchführung des Verfahrens |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002244975A (ja) * | 2001-02-14 | 2002-08-30 | Bekku:Kk | メッセージ画像の提供方法 |
| JP2004297485A (ja) * | 2003-03-27 | 2004-10-21 | Kyocera Mita Corp | 複合装置、その制御方法、その制御プログラム、及びその複合装置を含む情報通信システム |
| WO2014013604A1 (ja) * | 2012-07-20 | 2014-01-23 | 株式会社メディアシーク | メッセージ編集装置、メッセージ通信端末及びメッセージ通信システム |
| JP2014134903A (ja) * | 2013-01-08 | 2014-07-24 | Biglobe Inc | 送受信システム、送受信装置、及び送受信方法 |
Family Cites Families (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002083061A (ja) | 2000-09-08 | 2002-03-22 | Hitachi Software Eng Co Ltd | 近況情報報告支援方法およびシステム |
| US20030123737A1 (en) * | 2001-12-27 | 2003-07-03 | Aleksandra Mojsilovic | Perceptual method for browsing, searching, querying and visualizing collections of digital images |
| JP3968277B2 (ja) * | 2002-08-26 | 2007-08-29 | 株式会社日立製作所 | メールサーバ、そのメールサーバを実現するためのプログラム及び携帯端末 |
| US7187787B2 (en) * | 2003-03-14 | 2007-03-06 | Intelitrac, Inc. | Method and apparatus for facial identification enhancement |
| JP3808844B2 (ja) | 2003-05-16 | 2006-08-16 | 株式会社エヌ・ティ・ティ・ドコモ | 通信端末 |
| JP4752623B2 (ja) * | 2005-06-16 | 2011-08-17 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| US7801392B2 (en) * | 2005-07-21 | 2010-09-21 | Fuji Xerox Co., Ltd. | Image search system, image search method, and storage medium |
| JP4636548B2 (ja) * | 2005-08-31 | 2011-02-23 | 株式会社沖データ | 通信装置、及び通信システム |
| US9690979B2 (en) * | 2006-03-12 | 2017-06-27 | Google Inc. | Techniques for enabling or establishing the use of face recognition algorithms |
| WO2009090804A1 (ja) * | 2008-01-18 | 2009-07-23 | Nikon Corporation | 画像群の標題付与装置、画像のグループ化装置、画像群の代表画像決定装置、画像表示装置、カメラおよび画像表示プログラム |
| US20090254624A1 (en) * | 2008-04-08 | 2009-10-08 | Jeff Baudin | E-mail message management system |
| JP2010187284A (ja) | 2009-02-13 | 2010-08-26 | Nec Corp | 生活見守りシステム、生活見守りサーバ、携帯端末、生活見守り方法、そのプログラムおよび記録媒体 |
| US9244941B2 (en) * | 2009-03-18 | 2016-01-26 | Shutterfly, Inc. | Proactive creation of image-based products |
| US9485365B2 (en) * | 2009-03-18 | 2016-11-01 | Shutterfly, Inc. | Cloud storage for image data, image product designs, and image projects |
| US9195898B2 (en) * | 2009-04-14 | 2015-11-24 | Qualcomm Incorporated | Systems and methods for image recognition using mobile devices |
| US8542950B2 (en) * | 2009-06-02 | 2013-09-24 | Yahoo! Inc. | Finding iconic images |
| JP5218989B2 (ja) * | 2009-08-07 | 2013-06-26 | Ｎｅｃカシオモバイルコミュニケーションズ株式会社 | 通信端末装置、及び、プログラム |
| CN102449654A (zh) * | 2009-09-30 | 2012-05-09 | 乐天株式会社 | 建议不存在于图像内的物品的系统 |
| JP5402700B2 (ja) | 2010-02-12 | 2014-01-29 | 富士通株式会社 | 返信メール作成装置および返信メール作成方法 |
| JP5676147B2 (ja) * | 2010-05-28 | 2015-02-25 | 富士通テン株式会社 | 車載用表示装置、表示方法および情報表示システム |
| TW201205307A (en) * | 2010-07-30 | 2012-02-01 | Ibm | Method, apparatus and computer program product for efficiently sharing information |
| US10216393B2 (en) * | 2010-07-30 | 2019-02-26 | International Business Machines Corporation | Efficiently sharing user selected information with a set of determined recipients |
| US8712930B1 (en) * | 2010-08-09 | 2014-04-29 | Google Inc. | Encoding digital content based on models for predicting similarity between exemplars |
| KR101692399B1 (ko) * | 2010-10-14 | 2017-01-03 | 삼성전자주식회사 | 감성 기반의 영상을 얻을 수 있는 디지털 영상 처리 장치 및 디지털 영상 처리 방법 |
| US8843825B1 (en) * | 2011-07-29 | 2014-09-23 | Photo Mambo Inc. | Media sharing and display system with persistent display |
| US8929687B2 (en) * | 2011-08-29 | 2015-01-06 | Dst Technologies, Inc. | System and method for candidate sorting and clustering |
| TWI534721B (zh) * | 2011-10-19 | 2016-05-21 | 致伸科技股份有限公司 | 具有人臉辨識功能之相片分享系統 |
| US9122912B1 (en) * | 2012-03-15 | 2015-09-01 | Google Inc. | Sharing photos in a social network system |
| JP6011185B2 (ja) * | 2012-09-14 | 2016-10-19 | 株式会社バッファロー | 画像情報処理システム、画像情報処理装置、及びプログラム |
| US20150169993A1 (en) * | 2012-10-01 | 2015-06-18 | Google Inc. | Geometry-preserving visual phrases for image classification using local-descriptor-level weights |
| JP2014095967A (ja) * | 2012-11-08 | 2014-05-22 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
| US10270720B2 (en) * | 2012-12-20 | 2019-04-23 | Microsoft Technology Licensing, Llc | Suggesting related items |
| EP2993907A4 (en) * | 2013-04-30 | 2016-12-21 | Sony Corp | INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD |
| US9076270B2 (en) * | 2013-05-14 | 2015-07-07 | Google Inc. | Generating compositions |
| JP6116065B2 (ja) * | 2013-11-01 | 2017-04-19 | フリュー株式会社 | 管理装置および管理装置の制御方法 |
| US9189682B2 (en) * | 2014-02-13 | 2015-11-17 | Apple Inc. | Systems and methods for sending digital images |
| US9830631B1 (en) * | 2014-05-02 | 2017-11-28 | A9.Com, Inc. | Image recognition result culling |
| US9589205B2 (en) * | 2014-05-15 | 2017-03-07 | Fuji Xerox Co., Ltd. | Systems and methods for identifying a user's demographic characteristics based on the user's social media photographs |
| US10210261B2 (en) * | 2014-06-18 | 2019-02-19 | Facebook, Inc. | Ranking and filtering groups recommendations |
| JP5695257B1 (ja) * | 2014-07-25 | 2015-04-01 | 楽天株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
| CN107005724B (zh) * | 2014-12-03 | 2020-09-18 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
| US10360223B2 (en) * | 2015-12-28 | 2019-07-23 | Facebook, Inc. | Selecting content items provided to groups including a social networking system user based on interaction with the content items by social networking system users |
| US9928442B2 (en) * | 2016-03-22 | 2018-03-27 | Disney Enterprises, Inc. | Joint photo stream and blog post summarization and exploration |
-
2015
- 2015-12-02 JP JP2016564774A patent/JP6614457B2/ja not_active Expired - Fee Related
- 2015-12-02 WO PCT/JP2015/083841 patent/WO2016098589A1/ja active Application Filing
- 2015-12-02 US US15/529,268 patent/US10749834B2/en active Active
- 2015-12-02 EP EP15869795.3A patent/EP3236360B1/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002244975A (ja) * | 2001-02-14 | 2002-08-30 | Bekku:Kk | メッセージ画像の提供方法 |
| JP2004297485A (ja) * | 2003-03-27 | 2004-10-21 | Kyocera Mita Corp | 複合装置、その制御方法、その制御プログラム、及びその複合装置を含む情報通信システム |
| WO2014013604A1 (ja) * | 2012-07-20 | 2014-01-23 | 株式会社メディアシーク | メッセージ編集装置、メッセージ通信端末及びメッセージ通信システム |
| JP2014134903A (ja) * | 2013-01-08 | 2014-07-24 | Biglobe Inc | 送受信システム、送受信装置、及び送受信方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018047932A1 (ja) * | 2016-09-12 | 2018-03-15 | 日本電気株式会社 | 対話装置、ロボット、処理方法、プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US10749834B2 (en) | 2020-08-18 |
| EP3236360A1 (en) | 2017-10-25 |
| EP3236360B1 (en) | 2020-07-22 |
| EP3236360A4 (en) | 2018-08-15 |
| JP6614457B2 (ja) | 2019-12-04 |
| JPWO2016098589A1 (ja) | 2017-10-12 |
| US20170264586A1 (en) | 2017-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10257676B1 (en) | Systems and methods for facilitating online matching utilizing a wearable device | |
| US11677794B2 (en) | Technologies for multi-user interactive media streaming | |
| US10212110B2 (en) | Cloud system and method of displaying, by cloud system, content | |
| US20160050263A1 (en) | Cloud system and method of displaying, by cloud system, content | |
| US20080086431A1 (en) | Social interaction messaging and notification | |
| US20110121966A1 (en) | Real-Time Event Notification | |
| US11973735B2 (en) | Communication interface for wearable devices | |
| US20070100986A1 (en) | Methods for improving interactive online collaboration using user-defined sensory notification or user-defined wake-ups | |
| KR20190086056A (ko) | 메시징 애플리케이션들을 위한 자동적인 제안들 및 다른 콘텐츠 | |
| CN1716921A (zh) | 空闲时消息传送 | |
| CN1551011A (zh) | 用于指导警告定时的有限延迟策略,使用本地传感器信息的交互和通信 | |
| JP6614457B2 (ja) | 情報処理装置、情報処理方法、プログラム、および情報処理システム | |
| US20170208022A1 (en) | Chat system | |
| JP7459185B2 (ja) | 電子チャットインタフェースとの対話の改善 | |
| CN105635845B (zh) | 会话内容传输方法和装置 | |
| US11409808B2 (en) | Facilitating a collaboration experience using social networking information | |
| CN103973884A (zh) | 信息的显示方法、装置及终端 | |
| US20180349754A1 (en) | Communication reply bot | |
| US11302317B2 (en) | Information processing apparatus and information processing method to attract interest of targets using voice utterance | |
| JP7073693B2 (ja) | 情報処理装置及び情報処理プログラム | |
| US8768846B2 (en) | System, method, and apparatus for management of media objects | |
| CN105610889B (zh) | 展示信息推送方法、服务器、客户端及系统 | |
| US20170142056A1 (en) | Method and electronic devices for processing emails | |
| JP3710950B2 (ja) | 情報共有装置、及び情報共有方法 | |
| JP7439025B2 (ja) | 情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15869795 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2016564774 Country of ref document: JP Kind code of ref document: A |
|
| REEP | Request for entry into the european phase |
Ref document number: 2015869795 Country of ref document: EP |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 15529268 Country of ref document: US |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |