WO2021090750A1 - Information processing device, information processing method, and program - Google Patents

Information processing device, information processing method, and program Download PDF

Info

Publication number
WO2021090750A1
WO2021090750A1 PCT/JP2020/040558 JP2020040558W WO2021090750A1 WO 2021090750 A1 WO2021090750 A1 WO 2021090750A1 JP 2020040558 W JP2020040558 W JP 2020040558W WO 2021090750 A1 WO2021090750 A1 WO 2021090750A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
message
face image
information processing
voice
Prior art date
Application number
PCT/JP2020/040558
Other languages
French (fr)
Japanese (ja)
Inventor
貴司 丸山
Original Assignee
株式会社 資生堂
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 資生堂 filed Critical 株式会社 資生堂
Publication of WO2021090750A1 publication Critical patent/WO2021090750A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Definitions

  • the present invention relates to an information processing device, an information processing method, and a program.
  • Rev. 2012-017786 discloses a technique for promoting conversation based on factual information (preference information, similarity, and action history).
  • the actual conversation is developed interactively according to the combination of the reactions of each participant in the conversation during the conversation (for example, the facial expression of the conversation partner and the meaning of the words spoken by the conversation partner).
  • Retable 2012-017786 does not affect the development of the conversation according to the combination of reactions during the conversation because it refers only to the factual information that has been confirmed at the time before the conversation. .. Therefore, it does not contribute to the promotion of conversation among a plurality of users.
  • An object of the present invention is to promote conversation among a plurality of users.
  • One aspect of the present invention is An information processing device that supports conversations between multiple users.
  • a means for acquiring the first face image of the first user is provided.
  • a means for acquiring the first voice of the first user is provided.
  • a means for acquiring the second face image of the second user is provided.
  • a means for generating the second voice of the second user is provided.
  • a means for generating a first predicted face image of the first user at a first designated age aged or decreased from the age of the first user based on the first face image is provided.
  • a means for generating a second predicted face image of the second user at a second designated age aged or decreased from the age of the second user based on the second face image is provided.
  • a means for presenting the first predicted face image to the second user is provided.
  • a means for presenting the second predicted face image to the first user is provided.
  • a means for generating a message prompting the first user and at least one of the second users to speak is provided.
  • a means for presenting the message to at least one of the first user and the second user is provided.
  • a means for presenting a second voice corresponding to the message to the first user is provided.
  • a means for presenting the first voice corresponding to the message to the second user is an information processing device.
  • FIG. 7 It is a block diagram which shows the structure of the information processing system of this embodiment. It is a functional block diagram of the 1st client apparatus of FIG. It is a functional block diagram of the 2nd client apparatus of FIG. It is a functional block diagram of the host device of FIG. It is a figure which shows an example of the form of the information processing system of FIG. It is explanatory drawing of the outline of this embodiment. It is a sequence diagram of information processing of this embodiment. It is a figure which shows the screen example displayed in the information processing of FIG. 7. It is a figure which shows the screen example displayed in the information processing of FIG. 7. It is a figure which shows the screen example displayed in the information processing of FIG. 7. It is a figure which shows the screen example displayed in the information processing of FIG. 7. It is a figure which shows the screen example displayed in the information processing of FIG. 7. It is a figure which shows the screen example displayed in the information processing of FIG. 7. It is a figure which shows the screen example displayed in the information processing of FIG. 7. It is a figure which
  • FIG. 1 is a block diagram showing a configuration of an information processing system of the present embodiment.
  • the information processing system 1 includes a first client device 10, a second client device 20, and a host device 30.
  • the host device 30 is communicably connected to the first client device 10 and the second client device 20.
  • the first client device 10 is a computer (an example of an "information processing device") that transmits a request to the host device 30.
  • the first client device 10 is, for example, a smartphone, a tablet terminal, or a personal computer.
  • the host device 30 is a computer (an example of an "information processing device") that provides the first client device 10 with a response in response to a request transmitted from the first client device 10.
  • the host device 30 is, for example, a web host device.
  • FIG. 2 is a functional block diagram of the first client device of FIG.
  • the first client device 10 includes a storage device 11, a processor 12, an input / output interface 13, a communication interface 14, a camera 15, a display 16, a microphone 17, a speaker 18, and the like. To be equipped with.
  • the storage device 11 is configured to store programs and data.
  • the storage device 11 is, for example, a combination of a ROM (Read Only Memory), a RAM (Random Access Memory), and a storage (for example, a flash memory or a hard disk).
  • the program includes, for example, the following program. ⁇ OS (Operating System) program ⁇ Application (for example, web browser) program that executes information processing
  • the data includes, for example, the following data.
  • -Database referenced in information processing-Data obtained by executing information processing that is, the execution result of information processing
  • the processor 12 is configured to realize the function of the first client device 10 by activating the program stored in the storage device 11.
  • the processor 12 is, for example, a CPU (Central Processing Unit), an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), or a combination thereof.
  • the input / output interface 13 is configured to acquire a user's instruction from an input device connected to the first client device 10 and output information to an output device connected to the first client device 10.
  • the input device is, for example, a hard key, a keyboard, a pointing device, a touch panel, or a combination thereof.
  • the input device also includes a camera 15 and a display 16.
  • Output devices include a display 16 and a speaker 18.
  • the communication interface 14 is configured to control communication between the first client device 10 and the host device 30.
  • the camera 15 is configured to acquire an image.
  • the display 16 is configured to display an image generated by the processor 12.
  • the microphone 17 is configured to acquire voice.
  • the speaker 18 is configured to output the sound generated by the processor 12.
  • FIG. 3 is a functional block diagram of the second client device of FIG.
  • the second client device 20 includes a storage device 21, a processor 22, an input / output interface 23, a communication interface 24, a camera 25, a display 26, a microphone 27, a speaker 28, and the like. To be equipped with.
  • the storage device 21 is configured to store programs and data.
  • the storage device 21 is, for example, a combination of a ROM, a RAM, and a storage.
  • the program includes, for example, the following program. -OS program-Program of an application (for example, a web browser) that executes information processing
  • the data includes, for example, the following data.
  • -Database referenced in information processing-Data obtained by executing information processing that is, the execution result of information processing
  • the processor 22 is configured to realize the function of the second client device 20 by activating the program stored in the storage device 21.
  • the processor 22 is, for example, a CPU, an ASIC, an FPGA, or a combination thereof.
  • the input / output interface 23 is configured to acquire a user's instruction from an input device connected to the second client device 20 and output information to an output device connected to the second client device 20.
  • the input device is, for example, a hard key, a keyboard, a pointing device, a touch panel, or a combination thereof.
  • the input device also includes a camera 25 and a microphone 27.
  • Output devices include a display 26 and a speaker 28.
  • the communication interface 24 is configured to control communication between the second client device 20 and the host device 30.
  • the camera 25 is configured to acquire an image.
  • the display 26 is configured to display an image generated by the processor 22.
  • the microphone 27 is configured to acquire voice.
  • the speaker 28 is configured to output the voice generated by the processor 22.
  • FIG. 4 is a functional block diagram of the host device of FIG.
  • the host device 30 includes a storage device 31, a processor 32, an input / output interface 33, and a communication interface 34.
  • the storage device 31 is configured to store programs and data.
  • the storage device 31 is, for example, a combination of a ROM, a RAM, and a storage (for example, a flash memory or a hard disk).
  • the program includes, for example, the following program. ⁇ OS program ⁇ Application program that executes information processing
  • the data includes, for example, the following data. ⁇ Database referenced in information processing ⁇ Execution result of information processing
  • the processor 32 is configured to realize the function of the host device 30 by activating the program stored in the storage device 31.
  • the processor 32 is, for example, a CPU, an ASIC, an FPGA, or a combination thereof.
  • the input / output interface 33 is configured to acquire a user's instruction from an input device connected to the host device 30 and output information to an output device connected to the host device 30.
  • the input device is, for example, a keyboard, a pointing device, a touch panel, or a combination thereof.
  • the output device is, for example, a display.
  • the output device also includes a printer.
  • the communication interface 34 is configured to control communication between the host device 30 and the first client device 10 and the second client device 20.
  • FIG. 5 is a diagram showing an example of the form of the information processing system of FIG.
  • the information processing system 1 includes the first space SP1 to the third space SP3.
  • the third space SP is arranged between the first space SP1 and the second space SP2.
  • the first space SP1 is a space in which the first user U1 enters.
  • the first user U1 can enter the first space SP1 from the entrance ENT1.
  • a camera 15, a display 16, a microphone 17, and a speaker 18 are arranged in the first space SP1.
  • a shielding portion (for example, a wall) W1 is arranged at the boundary between the first space SP1 and the third space SP.
  • the display 16 is arranged on the shielding portion W1 so as to face the X- direction.
  • the first user U1 can visually recognize the image displayed on the display 16 by directing the line of sight in the X + direction.
  • the second space SP2 is a space in which the second user U2 enters.
  • the second user U2 can enter the second space SP2 from the entrance ENT2.
  • a camera 25, a display 26, a microphone 27, and a speaker 28 are arranged in the second space SP2.
  • a shielding portion W2 is arranged at the boundary between the second space SP2 and the third space SP.
  • the display 26 is arranged on the shielding portion W2 so as to face the X + direction.
  • the second user U2 can visually recognize the image displayed on the display 26 by directing the line of sight in the X- direction.
  • the shielding portion W1 is configured to visually separate the first space SP1 and the second space SP2. Therefore, the first user U1 and the second user U2 cannot directly recognize each other's voice and facial expression.
  • a host device 30 is arranged in the third space SP.
  • FIG. 6 is an explanatory diagram of an outline of the present embodiment.
  • the host device 30 in FIG. 1 is an information processing device that supports conversations between a plurality of users.
  • the host device 30 includes the following means. -Means for acquiring the first face image (plural still images or moving images) of the first user-Means for acquiring the first sound of the first user-Second face image (plural still images or moving images) of the second user Means for acquiring an image) -Means for acquiring a second voice of a second user-A first user in a first designated age who has been aged or diminished from the age of the first user based on a first face image.
  • FIG. 7 is a sequence diagram of information processing of the present embodiment.
  • FIG. 8 is a diagram showing an example of a screen displayed in the information processing of FIG. 7.
  • FIG. 9 is a diagram showing an example of a screen displayed in the information processing of FIG. 7.
  • FIG. 10 is a diagram showing an example of a screen displayed in the information processing of FIG. 7.
  • FIG. 11 is a diagram showing an example of a screen displayed in the information processing of FIG. 7.
  • FIG. 12 is a diagram showing an example of a screen displayed in the information processing of FIG. 7.
  • the first client device 10 executes the reception of user information (S110). Specifically, the processor 12 displays the screen P10 (FIG. 8) on the display 16.
  • the screen P10 includes field objects F10a to F10e and operation objects B10.
  • the field object F10a is an object that accepts user input regarding the name of the first user.
  • the field object F10b is an object that accepts user input regarding the relationship between the first user and the second user.
  • the relationship includes, for example, at least one of the following: ⁇ Family (for example, at least one of parent and child, couple, sibling, and relative) ⁇ Dating (that is, a couple) ⁇ Friends ⁇ Colleagues at work
  • the field object F10c is an object that accepts user input regarding the duration of the relationship between the first user and the second user (hereinafter referred to as "relationship period").
  • the relationship period is, for example, one of the following. ⁇ Less than 5 years ⁇ 5 years or more
  • the field object F10d is an object that accepts user input regarding the gender of the first user.
  • the field object F10e is an object that accepts user input regarding the date of birth of the first user.
  • the operation object B10 is an object that receives a user instruction for confirming the user input for the field objects F10a to F10e.
  • the camera 15 acquires an image of the face of the first user (hereinafter referred to as “first user image”).
  • the processor 12 transmits the combination of the information input to the field objects F10a to F10e and the first user image (hereinafter referred to as “first user information”) to the host device 30.
  • the second client device 20 executes the reception of user information (S120). Specifically, the processor 22 displays the screen P20 (FIG. 8) on the display 26.
  • the screen P20 includes field objects F20a to F20e and operation objects B20.
  • the field object F20a is an object that accepts user input regarding the name of the second user.
  • the field object F20b is an object that accepts user input regarding the relationship between the first user and the second user.
  • the field object F20c is an object that accepts user input regarding the period of relationship between the first user and the second user.
  • the field object F20d is an object that accepts user input regarding the gender of the second user.
  • the field object F20e is an object that accepts user input regarding the date of birth of the second user.
  • the operation object B20 is an object that receives a user instruction for confirming a user input for the field objects F20a to F20e.
  • the camera 25 acquires an image of the face of the second user (hereinafter referred to as “second user image”).
  • the processor 22 transmits the combination of the information input to the field objects F20a to F20e and the second user image (hereinafter referred to as “second user information”) to the host device 30.
  • the host device 30 executes the transfer of user information (S130). Specifically, the processor 32 acquires the first user information from the first client device 10. The processor 32 acquires the second user information from the second client device 20. The processor 32 calculates the value of the current age of the first user (hereinafter referred to as "first current age”) based on the date of birth included in the first user information. The processor 32 calculates the value of the current age of the second user (hereinafter referred to as "second current age”) based on the date of birth included in the second user information. The processor 32 transmits the first user information to the second client device 20. The processor 32 transmits the second user information to the first client device 10.
  • the first client device 10 executes the reception (S111) of the designated age. Specifically, the processor 12 displays the screen P11 (FIG. 9) on the display 16.
  • the screen P11 includes a display object A11, an image object IMG11, field objects F11a to F11b, and an operation object B11.
  • a message prompting the first user to have a conversation (for example, a message "Please select the age of the other party") is displayed on the display object A11. This message is a predetermined message.
  • the image object IMG 11 is a second user image included in the second user information transmitted from the host device 30.
  • the field object F11a is an object that accepts user input for designating a fictitious age of the first user (hereinafter referred to as "first designated age").
  • the initial value of the field object F11a is the value of the first current age.
  • the field object F11b is an object that accepts user input for designating a fictitious age of the second user (hereinafter referred to as "second designated age").
  • the initial value of the field object F11b is the value of the second current age.
  • the operation object B11a is an object that receives a user instruction for confirming the user input of the field objects F11a to F11b.
  • the processor 12 transmits the value given to the field object F11b to the host device 30.
  • the second client device 20 executes the reception (S121) of the designated age. Specifically, the processor 22 displays the screen P21 (FIG. 9) on the display 26.
  • the screen P21 includes a display object A21, an image object IMG21, field objects F21a to F21b, and operation objects B21a to B21b.
  • a message prompting the second user to have a conversation (for example, a message "Please select the age of the other party") is displayed on the display object A21.
  • This message is a predetermined message.
  • the image object IMG 21 is a first user image included in the first user information transmitted from the host device 30.
  • the field object F21a is an object that accepts user input for designating the first designated age.
  • the initial value of the field object F21a is the value of the first current age.
  • the value of the field object F21a is synchronized with the value of the field object F11a.
  • the field object F21b is an object that accepts user input for designating the second designated age.
  • the initial value of the field object F21b is a value calculated from the date of birth input to the field object F20e (FIG. 8) (that is, the current age of the first user).
  • the value of the field object F21b is synchronized with the value of the field object F11b.
  • the operation object B21a is an object that receives a user instruction for confirming the user input of the field objects F21a to F21b.
  • the operation object B21b is an object that receives a user instruction for ending the conversation.
  • the processor 12 When the second user inputs an arbitrary value (for example, a fictitious age value of the first user) into the field object F21b and operates the operation object B21a, the processor 12 causes the value given to the field object F21b (for example). That is, the fictitious age of the first user (hereinafter referred to as "first designated age”) is transmitted to the host device 30.
  • an arbitrary value for example, a fictitious age value of the first user
  • first designated age the fictitious age of the first user
  • the host device 30 performs morphing (S131). Specifically, the conversion model is stored in the storage device 31.
  • the conversion model defines the correlation between the combination of the current age of the person and the fictitious age of the person and the conversion filter for converting the face image of the person.
  • the processor 32 acquires the value of the second designated age given to the field object F11b from the first client device 10.
  • the processor 32 acquires the value of the first designated age given to the field object F21a from the second client device 20.
  • the processor 32 gives a combination of the first current age and the first designated age by giving the value of the first current age obtained in step S130 and the value of the first designated age obtained in step S111 to the conversion model. Select the conversion filter that corresponds to.
  • the processor 32 applies the selected conversion filter to the first user image to generate an image of the face of the first user corresponding to the first designated age (hereinafter referred to as “first predicted face image”).
  • the processor 32 gives a combination of the second current age and the second designated age by giving the value of the second current age obtained in step S130 and the value of the second designated age obtained in step S121 to the conversion model. Select the conversion filter that corresponds to.
  • the processor 32 applies the selected conversion filter to the second user image to generate an image of the face of the second user corresponding to the second designated age (hereinafter referred to as “second predicted face image”).
  • step S131 the host device 30 executes message transmission (S132).
  • the processor 32 transmits the first message data to the first client device 10.
  • the first message data includes the following information. ⁇ Second predicted face image ⁇ Predetermined initial message
  • the processor 32 transmits the second message data to the second client device 20.
  • the second message data includes the following information. ⁇ First predicted face image ⁇ Predetermined initial message
  • step S132 the first client device 10 executes the reception of conversation information (S112).
  • the processor 12 displays the screen P12a (FIG. 10) on the display 16.
  • the screen P12a corresponds to the first message data.
  • the screen P12a includes a display object A12a, an image object IMG12, field objects F11a to F11b, and an operation object B11.
  • the display object A12a displays the initial message included in the first message data.
  • the image object IMG12 is a second predicted face image included in the first message data.
  • the second user outputs from the speaker 18 while the first user sees the message displayed on the display object A12a and the image object IMG12 (that is, the image of the face of the second user corresponding to the second designated age).
  • the microphone 17 acquires the voice of the first user (hereinafter referred to as "first spoken voice”).
  • the camera 15 acquires a face image of the first user in conversation (hereinafter referred to as "first face image”).
  • the processor 12 transmits the conversation information to the host device 30.
  • the conversation information includes the following information. -First face image acquired by camera 15-First utterance voice acquired by microphone 17
  • step S132 the second client device 20 executes the reception of conversation information (S122).
  • the processor 22 displays the screen P22a (FIG. 10) on the display 26.
  • the screen P22a corresponds to the second message data.
  • the screen P22a includes display objects A22a, image objects IMG22, field objects F21a to F21b, and operation objects B21a to B21b.
  • the display object A22a displays the initial message included in the second message data.
  • the image object IMG22 is a first predicted face image included in the second message data.
  • the first user outputs from the speaker 28 while the second user sees the message displayed on the display object A22a and the image object IMG22 (that is, the image of the face of the first user corresponding to the first designated age).
  • the microphone 27 acquires the voice of the second user (hereinafter referred to as "second spoken voice").
  • the camera 25 acquires a face image of the second user in conversation (hereinafter referred to as “second face image”).
  • the processor 22 transmits the conversation information to the host device 30.
  • the conversation information includes the following information. -Second face image acquired by camera 25-Second utterance voice acquired by microphone 27
  • the host device 30 executes emotion analysis (S133).
  • the storage device 31 stores an emotion analysis model in which the correlation between the facial expression of the person and the emotion of the person is defined.
  • the processor 32 identifies the emotion of the first user by inputting the first utterance voice transmitted in step S112 into the emotion analysis model.
  • the processor 32 identifies the emotion of the second user by inputting the second utterance voice transmitted in step S122 into the emotion analysis model.
  • the storage device 31 stores an emotion analysis model in which the correlation between the spoken voice of the person and the emotion of the person is defined.
  • the processor 32 identifies the emotion of the first user by inputting the first utterance voice transmitted in step S112 into the emotion analysis model.
  • the processor 32 identifies the emotion of the second user by inputting the second utterance voice transmitted in step S122 into the emotion analysis model.
  • the host device 30 executes message generation (S134). Specifically, the storage device 31 stores a message generation model.
  • the message generation model defines the correlation between a person's emotions and a message that encourages the next conversation.
  • step S133 the processor 32 generates a message to be presented to the first user by inputting the emotion of the first user obtained in step S133 into the message generation model, and generates the message.
  • the first message data including the first message data is transmitted to the first client device 10.
  • the processor 32 generates a message to be presented to the second user by inputting the emotion of the second user obtained in step S133 into the message generation model, and secondly generates the second message data including the message. It is transmitted to the client device 20.
  • the processor 32 should present the emotions of the first user and the emotions of the second user obtained in step S133 to the first user and the second user by inputting them into the message generation model. A message is generated, and message data including the message is transmitted to the first client device 10 and the second client device 20.
  • the first client device 10 re-executes the reception of conversation information (S112). Specifically, the processor 12 displays the screen P12b (FIG. 11) on the display 16. The screen P12b corresponds to the message data transmitted from the host device 30 in step S132.
  • the screen P12b includes a display object A12b, an image object IMG12, field objects F11a to F11b, and an operation object B11.
  • the message transmitted from the host device 30 in step S133 is displayed on the display object A12b.
  • the second user outputs from the speaker 18 while the first user sees the message displayed on the display object A12b and the image object IMG12 (that is, the image of the face of the second user corresponding to the second designated age).
  • the microphone 17 acquires the first spoken voice.
  • the processor 12 transmits the conversation information to the host device 30.
  • the conversation information includes the following information. -First face image acquired by camera 15-First utterance voice acquired by microphone 17
  • the second client device 20 re-executes the reception of conversation information (S122). Specifically, the processor 22 displays the screen P22b (FIG. 11) on the display 26.
  • the screen P22b corresponds to the message data transmitted from the host device 30 in step S134.
  • the screen P22b includes display objects A22b, image objects IMG22, field objects F21a to F21b, and operation objects B21a to B21b.
  • the message included in the second message data is displayed on the display object A22b.
  • the first user outputs from the speaker 28 while the second user sees the message displayed on the display object A22b and the image object IMG22 (that is, the image of the face of the first user corresponding to the first designated age).
  • the microphone 27 acquires the second spoken voice.
  • the processor 22 transmits the conversation information to the host device 30.
  • the conversation information includes the following information. -Second face image acquired by camera 25-Second utterance voice acquired by microphone 27
  • the first client device 10 executes the acquisition of the commemorative image (S113). Specifically, when the end condition of the conversation is satisfied, the processor 12 displays the screen P13 (FIG. 12) on the display.
  • the end condition of the conversation is, for example, at least one of the following. -A predetermined time (for example, 10 minutes) has elapsed from the start of the conversation (for example, the end of steps S111 and S121) -A predetermined number of messages have been presented (that is, step 134 has been executed) -First A user or second user has given a user instruction (eg, a voice instruction and at least one operation on an object displayed on the screen) to end the conversation.
  • the image object IMG13 including the image object IMG13 and the operation object B13 on the screen P13 is a preview image acquired by the camera 25 at the time of execution of step S113.
  • the operation object B13 is an object that receives a user instruction for acquiring a preview image corresponding to the image object IMG13 as a commemorative image of the second user (hereinafter referred to as “second commemorative image”).
  • the processor 12 transmits the second commemorative image to the host device 30 and sends the end notification of step S113 to the second client device 20.
  • the second client device 20 executes the acquisition of the commemorative image (S123). Specifically, when the first user operates the operation object B13, the processor 12 displays the screen P23 (FIG. 12) on the display.
  • the image object IMG23 including the image object IMG23 and the operation object B23 on the screen P23 is a preview image acquired by the camera 15 at the time of executing step S123.
  • the operation object B23 is an object that receives a user instruction for acquiring a preview image corresponding to the image object IMG23 as a commemorative image of the first user (hereinafter referred to as “first commemorative image”).
  • the processor 22 transmits the first commemorative image and the end notification of step S123 to the host device 30.
  • the host device 30 executes saving of log data (S135).
  • the processor 32 stores the following information in association with the storage device 31. -First user information transmitted from the first client device 10 in step S110-Second user information transmitted from the second client device 20 in step S120-Output request data transmitted from the first client device 10 in step S113 First predicted face image and first voice included in-Second predicted face image and second voice included in output request data transmitted from the second client device 20 in step S123-From execution of steps S111 and S121 to step S113 And the time to at least one execution of S123 (ie, elapsed time of conversation) -Second commemorative image transmitted from the first client device 10 in step S113-First commemorative image transmitted from the second client device 20 in step S123.
  • S123 ie, elapsed time of conversation
  • the processor 32 generates a set commemorative image by synthesizing the first commemorative image and the second commemorative image.
  • the processor 32 transmits the first commemorative image, the second commemorative image, and the collective commemorative image to the first client device 10 and the second client device 20.
  • step S135 the first client device 10 executes an output request (S114). Specifically, the processor 12 displays the screen P14 (FIG. 12) on the display 16.
  • the screen P14 includes an image object IMG14 and operation objects B14a to B14b.
  • the image object IMG14 is a group commemorative image.
  • the operation object B14a is an object that receives a user instruction for sharing the group commemorative image on the network service.
  • the network service is, for example, at least one of a social network service, a chat service, and an image sharing service.
  • the operation object B14b is an object that receives a user instruction for printing a set commemorative image.
  • the processor 12 transmits a user instruction for sharing the group commemorative image to the host device.
  • the second client device 20 executes the output request (S124). Specifically, when the second user operates the operation object B21b (FIGS. 10 to 11), the processor 22 displays the screen P24 (FIG. 12) on the display.
  • the screen P24 includes an image object IMG24 and operation objects B24a to B24b.
  • the image object IMG24 is a group commemorative image.
  • the operation object B24a is an object that receives a user instruction for sharing the group commemorative image on the network service.
  • the network service is, for example, at least one of a social network service, a chat service, and an image sharing service.
  • the operation object B24b is an object that receives a user instruction for printing a group commemorative image.
  • the processor 22 transmits a user instruction for printing the group commemorative image to the host device 30.
  • the host device 30 executes the output of the commemorative image (S136). Specifically, the processor 32 transmits the group commemorative image to the web server that provides the network service in response to the user instruction transmitted from the first client device 10 in step S113. As a result, the group commemorative image is shared with users other than the first user (for example, at least one of the second user and a third party) via the network service. The processor 32 transmits the group commemorative image to the printer in response to the user instruction transmitted from the second client device 20 in step S123. As a result, the group commemorative image is printed via the printer.
  • each user is presented with a predicted face image of the conversation partner and a message for promoting the conversation during the conversation.
  • a predicted face image of the conversation partner and a message for promoting the conversation during the conversation.
  • the first modification is an example in which a message corresponding to at least one of the context of the first voice and the context of the second voice is presented to at least one of the first user and the second user.
  • step S134 the host device 30 of the first modification generates a message corresponding to at least one of the contexts of the first voice and the second voice.
  • the message generation model defines the correlation between the voice context and the message that prompts the next conversation.
  • the processor 32 of the first example of the modification 1 generates a message to be presented to the first user by inputting the first voice obtained in step S133 into the message generation model, and includes the message. 1 Message data is transmitted to the first client device 10. The processor 32 generates a message to be presented to the second user by inputting the second voice obtained in step S133 into the message generation model, and generates the second message data including the message in the second client device. Send to 20.
  • the processor 32 of the second example of the modification 1 inputs the combination of the first voice and the second voice obtained in step S133 into the message generation model, so that the message to be presented to the first user and the second user can be presented.
  • the message data that is generated and includes the message is transmitted to the first client device 10 and the second client device 20.
  • a message prompting a conversation is presented according to the context of the voice spoken by at least one of the first user and the second user. Thereby, the conversation between the first user and the second user can be further promoted.
  • the second modification is an example in which a message corresponding to at least one of the environment of the first user and the environment of the second user is presented to at least one of the first user and the second user.
  • the host device 30 of the second modification includes information on the environment of the first user (hereinafter referred to as “first environment information”) and information on the environment of the second user (hereinafter referred to as “second environment information””. Generate a message corresponding to at least one of). Specifically, the message generation model defines the correlation between the environment and the message that encourages the next conversation.
  • the information processing system 1 includes a sensor that acquires environmental information.
  • Environmental information includes at least one of the following: -Temperature information regarding the temperature of the first space SP1-Temperature information regarding the temperature of the second space SP2-Humidity information regarding the humidity of the first space SP1-Humidity information regarding the temperature of the second space SP2
  • the processor 32 of the first example of the modification 2 generates a message to be presented to the first user by inputting the first environment information obtained by the sensor into the message generation model, and includes the message. 1 Message data is transmitted to the first client device 10. The processor 32 generates a message to be presented to the second user by inputting the second environment information obtained by the sensor into the message generation model, and generates the second message data including the message as the second client device. Send to 20.
  • the processor 32 of the second example of the second modification is a message to be presented to the first user and the second user by inputting the combination of the first environment information and the second environment information obtained by the sensor into the message generation model. Is generated, and message data including the message is transmitted to the first client device 10 and the second client device 20.
  • At least one of the first space SP1 and the second space SP2 is outdoors.
  • Environmental information includes at least one of the following: -Temperature information regarding the temperature of the first space SP1-Temperature information regarding the temperature of the second space SP2
  • the host device 30 may acquire at least one of the first environmental information and the second environmental information from a device other than the sensor (for example, a server that provides the environmental information) instead of the sensor.
  • a device other than the sensor for example, a server that provides the environmental information
  • a message prompting a conversation is presented according to the environment of at least one of the first user and the second user. Thereby, the conversation between the first user and the second user can be further promoted.
  • the third modification is an example in which a message corresponding to at least one of the attributes of the first user and the attribute of the second user is presented to at least one of the first user and the second user.
  • step S134 the host device 30 of the third modification has information on the attributes of the first user (hereinafter referred to as “first attribute information”) and information on the attributes of the second user (hereinafter referred to as “second attribute information””. Generate a message corresponding to at least one of). Specifically, the message generation model defines the correlation between the attributes and the message for prompting the next conversation.
  • the attribute includes at least one of the following: -Current age of the first user-Current age of the second user-Gender of the first user-Gender of the second user
  • the processor 32 of the first example of the modification 3 inputs the attribute of the first user included in the first user information transmitted from the first client device 10 to the message generation model in step S110 to the first user.
  • a message to be presented is generated, and the first message data including the message is transmitted to the first client device 10.
  • the processor 32 generates a message to be presented to the second user by inputting the attributes of the second user included in the second user information transmitted from the second client device 20 in step S120 into the message generation model.
  • the second message data including the message is transmitted to the second client device 20.
  • the processor 32 of the second example of the modification 3 has the attributes of the first user included in the first user information transmitted from the first client device 10 in step S110, and is transmitted from the second client device 20 in step S120.
  • the processor 32 of the second example of the modification 3 has the attributes of the first user included in the first user information transmitted from the first client device 10 in step S110, and is transmitted from the second client device 20 in step S120.
  • the message generation model By inputting the combination of the attributes of the second user included in the second user information into the message generation model, a message to be presented to the first user and the second user is generated, and the message data including the message is generated. It transmits to the first client device 10 and the second client device 20.
  • a message prompting a conversation is presented according to the attributes of at least one of the first user and the second user. Thereby, the conversation between the first user and the second user can be further promoted.
  • the fourth modification is an example in which a message corresponding to the relationship between the first user and the second user is presented to at least one of the first user and the second user.
  • step S134 the host device 30 of the modification 4 generates a message according to the relationship between the first user and the second user.
  • the message generation model defines the correlation between the relationship between a plurality of users and the message for prompting the next conversation.
  • the processor 32 uses the relationship included in at least one of the first user information transmitted from the first client device 10 in step S110 and the second user information transmitted from the second client device 20 in step S120 as the message generation model. By inputting, a message to be presented to the first user and the second user is generated, and message data including the message is transmitted to the first client device 10 and the second client device 20.
  • a message prompting a conversation is presented according to the relationship between the first user and the second user. Thereby, the conversation between the first user and the second user can be further promoted.
  • the fifth modification is an example in which a message corresponding to at least one of the first designated age and the second designated age is presented to at least one of the first user and the second user.
  • step S134 the host device 30 of the modification 5 generates a message corresponding to at least one of the first designated age and the second designated age.
  • the message generation model defines the correlation between age and a message to encourage the next conversation.
  • the processor 32 of the first example of the modification 5 has the value of the first designated age transmitted from the first client device 10 in step S111 and the value of the second designated age transmitted from the second client device 20 in step S121. Judge the magnitude relationship of values.
  • the processor 32 generates a message to be presented to the first user and the second user by inputting the magnitude relation into the message generation model, and the message data including the message is transmitted to the first client device 10 and the second user. It is transmitted to the client device 20.
  • the processor 32 of the second example of the modification 5 has the value of the first designated age transmitted from the first client device 10 in step S111 and the value of the second designated age transmitted from the second client device 20 in step S121. Calculate the difference in values (hereinafter referred to as "specified age difference").
  • the processor 32 generates a message to be presented to the first user and the second user by inputting the designated age difference into the message generation model, and generates message data including the message in the first client device 10 and the first client device 10. 2 Transmit to the client device 20.
  • a message prompting a conversation is presented according to the designated age of at least one of the first user and the second user. Thereby, the conversation between the first user and the second user can be further promoted.
  • Modification 6 A modification 6 will be described. Modification 6 is an example of playing back the replay moving images of the first user and the second user.
  • the processor 12 or 22 of the modification 6 transmits the replay request data for requesting the reproduction of the replay moving image to the host device 30 according to the instruction of the user.
  • the processor 32 generates a replay moving image by synthesizing the following information stored in the storage device 31 according to the replay request data transmitted from the first client device 10 or the second client device 20.
  • ⁇ 1st face image ⁇ 1st predicted face image ⁇ 1st voice
  • 2nd face image ⁇ 2nd predicted face image ⁇ 2nd voice
  • the processor 32 transmits the replay moving image to the first client device 10 or the second client device 20.
  • the processor 12 or 22 reproduces the replay moving image transmitted from the first client device 10 or the second client device 20. As a result, the image of the replay moving image is displayed on the display 16 or 26. The sound of the replay moving image is output from the speaker 18 or 28.
  • a replay video that is a record of conversations between the first user and the second user is provided. This can give the user motivation for conversation.
  • the processor 12 or 22 may save the replay moving image file in the host device 30.
  • the host device 30 is a web server
  • the host device 30 assigns a URL (Uniform Resource Locator) to the replay video file.
  • the host device 30 is used by the first user, the second user, and the user who made the browsing request in response to the browsing request of the third user (that is, a third party) different from the first user and the second user.
  • the replay video is presented via the client device.
  • the browsing request is, for example, an access to the address of the web server (for example, a URL (Uniform Resource Locator)) in which the replay video file is stored.
  • the replay moving image can be provided to at least one of the first user to the third user after the conversation is completed.
  • the first aspect of this embodiment is An information processing device (for example, a host device 30) that supports conversations between a plurality of users.
  • a means for acquiring the first face image of the first user (processor 32 that executes the process of step S130) is provided.
  • a means for acquiring the first voice of the first user (processor 32 that executes the process of step S133) is provided.
  • a means for acquiring a second face image of a second user is provided.
  • a means for acquiring the second voice of the second user is provided.
  • a means for presenting the first predicted face image to the second user (processor 32 that executes the process of step S132) is provided.
  • a means for presenting the second predicted face image to the first user (processor 32 that executes the process of step S132) is provided.
  • a means for generating a message prompting at least one of the first user and the second user to speak (processor 32 that executes the process of step S132) is provided.
  • a means for presenting a message to at least one of a first user and a second user (processor 32 that executes the process of step S132) is provided.
  • a means (processor 32 that executes the process of step S133) for presenting the second voice corresponding to the message to the first user is provided.
  • a means (processor 32 that executes the process of step S133) for presenting the first voice corresponding to the message to the second user is provided. It is an information processing device.
  • the first predicted image corresponding to the first designated age of the first user is presented to the second user
  • the second predicted image corresponding to the second designated age of the second user is presented to the first user.
  • the second aspect of this embodiment is A means for analyzing the emotion of the first user based on the first face image (processor 32 that executes the process of step S133) is provided.
  • a means for analyzing the emotion of the second user based on the second face image (processor 32 that executes the process of step S133) is provided.
  • the means for generating a message generates a message according to at least one of the emotions of the first user and the emotions of the second user. It is an information processing device.
  • a message corresponding to at least one of the emotions of the first user and the emotions of the second user is presented to at least one of the first user and the second user.
  • the conversation between the first user and the second user can be further promoted.
  • the third aspect of this embodiment is A means for analyzing the emotion of the first user based on the first voice (processor 32 that executes the process of step S133) is provided.
  • the means for generating a message generates a message according to at least one of the emotions of the first user and the emotions of the second user. It is an information processing device.
  • a message corresponding to at least one of the emotions of the first user and the emotions of the second user is presented. Thereby, the conversation between the first user and the second user can be further promoted.
  • the fourth aspect of this embodiment is A means for analyzing the context of the first voice based on the first voice (for example, the processor 32 of the first modification) is provided.
  • a means for analyzing the context of the second voice based on the second voice (for example, the processor 32 of the first modification) is provided.
  • the means for generating a message generates a message according to at least one of a first voice context and a second voice context. It is an information processing device.
  • a message according to the context of the voice spoken by at least one of the first user and the second user is presented. Thereby, the conversation between the first user and the second user can be further promoted.
  • a fifth aspect of this embodiment is With a means to acquire the first environment information about the environment of the first user, With a means to acquire the second environment information about the environment of the second user, The means for generating a message generates a message corresponding to at least one of the first environment information and the second environment information. It is an information processing device.
  • a message corresponding to the environment of at least one of the first user and the second user is presented. Thereby, the conversation between the first user and the second user can be further promoted.
  • the sixth aspect of this embodiment is The first environmental information and the second environmental information include at least one of temperature information, humidity information, and ultraviolet light information. It is an information processing device.
  • a message corresponding to at least one of the temperature, humidity, and ultraviolet rays in the environment of the first user and the temperature, humidity, and ultraviolet rays in the environment of the second user is presented. Thereby, the conversation between the first user and the second user can be further promoted.
  • the seventh aspect of this embodiment is The means for generating the message generates a message according to the combination of the attributes of the first user and the attributes of the second user. It is an information processing device.
  • a message corresponding to the combination of the attributes of the first user and the attributes of the second user is presented. Thereby, the conversation between the first user and the second user can be further promoted.
  • the eighth aspect of this embodiment is The attribute includes at least one of the user's age and gender, It is an information processing device.
  • a message corresponding to a combination of at least one of the age and gender of the first user and at least one of the age and gender of the second user is presented. Thereby, the conversation between the first user and the second user can be further promoted.
  • the ninth aspect of this embodiment is The means for generating a message generates a message according to the relationship between the first user and the second user. It is an information processing device.
  • a message corresponding to the relationship between the first user and the second user is presented. Thereby, the conversation between the first user and the second user can be further promoted.
  • the tenth aspect of this embodiment is The means for generating a message generates a message according to a combination of a first designated age and a second designated age. It is an information processing device.
  • a message corresponding to the combination of the first designated age of the first user and the second designated age of the second user is presented. Thereby, the conversation between the first user and the second user can be further promoted.
  • the eleventh aspect of this embodiment is The means for generating the message presents a message according to at least one of the magnitude relationship between the first designated age and the second designated age and the designated age difference. It is an information processing device.
  • a message corresponding to at least one of the magnitude relationship between the first designated age of the first user and the second designated age of the second user and the designated age difference is presented. Thereby, the conversation between the first user and the second user can be further promoted.
  • a shielding unit W1 is provided at a position that blocks the line of sight of the first user with respect to the second user and the line of sight of the second user with respect to the first user. It is an information processing device.
  • the shielding unit W1 constructs an environment in which the first user and the second user cannot directly recognize each other's facial expressions.
  • the first user and the second user are guided to talk while looking at the second predicted image and the first predicted image, respectively. Thereby, the conversation between the first user and the second user can be further promoted.
  • the thirteenth aspect of this embodiment is The log data including the combination of the first face image, the second face image, the first predicted face image, the second predicted face image, the first voice, and the second voice is stored in association with the elapsed time of the conversation.
  • the means for example, the processor 32 that executes step S135) is provided.
  • a means for generating a replay video using the log data associated with the elapsed time (for example, the processor 32 of the modification 6) is provided.
  • a means for presenting to at least one of a first user, a second user, and a third user other than the first user and the second user (for example, the processor 32 of the modification 6) is provided. It is an information processing device.
  • the replay video is provided.
  • at least one of the first user to the third user can view the state of the conversation after the conversation is completed.
  • the fourteenth aspect of this embodiment is A means for acquiring the first commemorative image of the first user and the second commemorative image of the second user after the end of the conversation (for example, the processor 32 that executes step S135) is provided. It is an information processing device.
  • a combination of the first commemorative image of the first user and the second commemorative image of the second user is acquired. This makes it possible to save a commemorative image of the conversation.
  • the fifteenth aspect of this embodiment is A means for presenting the first predicted face image and the second predicted face image to the first user and the second user (for example, the processor 32 that executes step S130) is provided. It is an information processing device.
  • the combination of the first predicted image and the second predicted image is presented to the first user and the second user. Thereby, the conversation between the first user and the second user can be further promoted.
  • the sixteenth aspect of this embodiment is The sixteenth aspect of this embodiment is An information processing method that supports conversations between multiple users.
  • the step (step S130) for acquiring the first face image of the first user is provided.
  • the step (step S133) for acquiring the first voice of the first user is provided.
  • the step (step S130) for acquiring the second face image of the second user is provided.
  • the step (step S133) for acquiring the second voice of the second user is provided.
  • a step (step S131) of generating a first predicted face image of a first user at a first designated age that has been aged or decreased from the age of the first user based on the first face image is provided.
  • a step (step S131) of generating a second predicted face image of a second user at a second designated age that has been aged or decreased from the age of the second user based on the second face image is provided.
  • a step (step S132) of presenting the first predicted face image to the second user is provided.
  • a step (step S132) of presenting the second predicted face image to the first user is provided.
  • a step (step S132) of generating a message prompting at least one of the first user and the second user to speak is provided.
  • a step (step S132) of presenting a message to at least one of a first user and a second user is provided.
  • the step (step S133) of presenting the second voice corresponding to the message to the first user is provided.
  • a step (step S133) of presenting the first voice corresponding to the message to the second user is provided. It is an information processing method.
  • the seventeenth aspect of this embodiment is A program for causing a computer (for example, at least one of processors 12, 22, and 32) to function as each of the above means.
  • the storage device 11 may be connected to the first client device 10 via the network NW.
  • the storage device 31 may be connected to the host device 30 via the network NW.
  • Each step of the information processing host device 30 described above can also be executed by the first client device 10 and the second client device 20.
  • the first client device 10 and the second client device 20 function as information processing devices that operate standalone without transmitting a request to the host device 30.
  • the host device 30 may be a server (for example, a web server).
  • the first client device 10 and the second client device 20 are connected to the server via, for example, the Internet.
  • Information processing system 10 First client device 11: Storage device 12: Processor 13: Input / output interface 14: Communication interface 15: Camera 16: Display 17: Microphone 18: Speaker 20: Second client device 21: Storage device 22 : Processor 23: Input / output interface 24: Communication interface 25: Camera 26: Display 27: Microphone 28: Speaker 30: Host device 31: Storage device 32: Processor 33: Input / output interface 34: Communication interface

Abstract

This information processing device for supporting conversation between a plurality of users is provided with: a means for acquiring a first facial image of a first user; a means for acquiring a first voice of the first user; a means for acquiring a second facial image of a second user; a means for acquiring a second voice of the second user; a means for generating a first predicted facial image of the first user at a first designated age, decreased or increased from the age of the first user, on the basis of the first facial image; a means for generating a second predicted facial image of the second user at a second designated age, decreased or increased from the age of the second user, on the basis of the second facial image; a means for presenting the first predicted facial image to the second user; a means for presenting the second predicted facial image to the first user; a means for generating a message prompting at least one of the first user and the second user to speak; a means for presenting the message to at least one of the first user and the second user; a means for presenting the second voice corresponding to the message to the first user; and a means for presenting the first voice corresponding to the message to the second user.

Description

情報処理装置、情報処理方法、及び、プログラムInformation processing equipment, information processing methods, and programs
 本発明は、情報処理装置、情報処理方法、及び、プログラムに関する。 The present invention relates to an information processing device, an information processing method, and a program.
 近年、ユーザ間の会話を促進する技術に注目が集まっている。
 例えば、再表2012-017786号公報は、事実情報(嗜好情報、類似度、及び、アクション履歴)に基づいて会話を促進させる技術を開示している。
In recent years, attention has been focused on technologies that promote conversations between users.
For example, Rev. 2012-017786 discloses a technique for promoting conversation based on factual information (preference information, similarity, and action history).
 実際の会話は、会話の各参加者の会話中の反応(例えば、会話相手の表情及び会話相手が発した言葉の意味)の組合せに応じて、インタラクティブに展開される。 The actual conversation is developed interactively according to the combination of the reactions of each participant in the conversation during the conversation (for example, the facial expression of the conversation partner and the meaning of the words spoken by the conversation partner).
 しかし、再表2012-017786号公報の技術では、会話の前の時点で確定している事実情報のみを参照するので、会話中の反応の組合せに応じた会話の展開に影響を与えるものではない。したがって、複数のユーザの会話の促進には寄与しない。 However, the technology of Retable 2012-017786 does not affect the development of the conversation according to the combination of reactions during the conversation because it refers only to the factual information that has been confirmed at the time before the conversation. .. Therefore, it does not contribute to the promotion of conversation among a plurality of users.
 本発明の目的は、複数のユーザの会話を促進することである。 An object of the present invention is to promote conversation among a plurality of users.
 本発明の一態様は、
 複数のユーザの会話を支援する情報処理装置であって、
 第1ユーザの第1顔画像を取得する手段を備え、
 前記第1ユーザの第1音声を取得する手段を備え、
 第2ユーザの第2顔画像を取得する手段を備え、
 前記第2ユーザの第2音声を取得する手段を備え、
 前記第1顔画像に基づいて、前記第1ユーザの年齢から加齢又は減齢した第1指定年齢における前記第1ユーザの第1予測顔画像を生成する手段を備え、
 前記第2顔画像に基づいて、前記第2ユーザの年齢から加齢又は減齢した第2指定年齢における前記第2ユーザの第2予測顔画像を生成する手段を備え、
 前記第1予測顔画像を前記第2ユーザに提示する手段を備え、
 前記第2予測顔画像を前記第1ユーザに提示する手段を備え、
 前記第1ユーザ及び前記第2ユーザの少なくとも1人に対して発話を促すメッセージを生成する手段を備え、
 前記第1ユーザ及び前記第2ユーザの少なくとも1人に対して前記メッセージを提示する手段を備え、
 前記メッセージに応じた第2音声を前記第1ユーザに提示する手段を備え、
 前記メッセージに応じた第1音声を前記第2ユーザに提示する手段を備える、
情報処理装置である。
One aspect of the present invention is
An information processing device that supports conversations between multiple users.
A means for acquiring the first face image of the first user is provided.
A means for acquiring the first voice of the first user is provided.
Provided with a means for acquiring the second face image of the second user,
A means for acquiring the second voice of the second user is provided.
A means for generating a first predicted face image of the first user at a first designated age aged or decreased from the age of the first user based on the first face image is provided.
A means for generating a second predicted face image of the second user at a second designated age aged or decreased from the age of the second user based on the second face image is provided.
A means for presenting the first predicted face image to the second user is provided.
A means for presenting the second predicted face image to the first user is provided.
A means for generating a message prompting the first user and at least one of the second users to speak is provided.
A means for presenting the message to at least one of the first user and the second user.
A means for presenting a second voice corresponding to the message to the first user is provided.
A means for presenting the first voice corresponding to the message to the second user.
It is an information processing device.
 本発明によれば、複数のユーザの会話を促進することができる。 According to the present invention, it is possible to promote conversations between a plurality of users.
本実施形態の情報処理システムの構成を示すブロック図である。It is a block diagram which shows the structure of the information processing system of this embodiment. 図1の第1クライアント装置の機能ブロック図である。It is a functional block diagram of the 1st client apparatus of FIG. 図2の第2クライアント装置の機能ブロック図である。It is a functional block diagram of the 2nd client apparatus of FIG. 図1のホスト装置の機能ブロック図である。It is a functional block diagram of the host device of FIG. 図1の情報処理システムの形態の一例を示す図である。It is a figure which shows an example of the form of the information processing system of FIG. 本実施形態の概要の説明図である。It is explanatory drawing of the outline of this embodiment. 本実施形態の情報処理のシーケンス図である。It is a sequence diagram of information processing of this embodiment. 図7の情報処理において表示される画面例を示す図である。It is a figure which shows the screen example displayed in the information processing of FIG. 7. 図7の情報処理において表示される画面例を示す図である。It is a figure which shows the screen example displayed in the information processing of FIG. 7. 図7の情報処理において表示される画面例を示す図である。It is a figure which shows the screen example displayed in the information processing of FIG. 7. 図7の情報処理において表示される画面例を示す図である。It is a figure which shows the screen example displayed in the information processing of FIG. 7. 図7の情報処理において表示される画面例を示す図である。It is a figure which shows the screen example displayed in the information processing of FIG. 7.
 以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings. In addition, in the drawing for demonstrating the embodiment, the same components are in principle the same reference numerals, and the repeated description thereof will be omitted.
(1)情報処理システムの構成
 情報処理システムの構成を説明する。図1は、本実施形態の情報処理システムの構成を示すブロック図である。
(1) Configuration of information processing system The configuration of the information processing system will be described. FIG. 1 is a block diagram showing a configuration of an information processing system of the present embodiment.
 図1に示すように、情報処理システム1は、第1クライアント装置10と、第2クライアント装置20と、ホスト装置30とを備える。
 ホスト装置30は、第1クライアント装置10及び第2クライアント装置20に通信可能に接続される。
As shown in FIG. 1, the information processing system 1 includes a first client device 10, a second client device 20, and a host device 30.
The host device 30 is communicably connected to the first client device 10 and the second client device 20.
 第1クライアント装置10は、ホスト装置30にリクエストを送信するコンピュータ(「情報処理装置」の一例)である。第1クライアント装置10は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。 The first client device 10 is a computer (an example of an "information processing device") that transmits a request to the host device 30. The first client device 10 is, for example, a smartphone, a tablet terminal, or a personal computer.
 ホスト装置30は、第1クライアント装置10から送信されたリクエストに応じたレスポンスを第1クライアント装置10に提供するコンピュータ(「情報処理装置」の一例)である。ホスト装置30は、例えば、ウェブホスト装置である。 The host device 30 is a computer (an example of an "information processing device") that provides the first client device 10 with a response in response to a request transmitted from the first client device 10. The host device 30 is, for example, a web host device.
(1-1)第1クライアント装置の構成
 第1クライアント装置10の構成を説明する。図2は、図1の第1クライアント装置の機能ブロック図である。
(1-1) Configuration of First Client Device The configuration of the first client device 10 will be described. FIG. 2 is a functional block diagram of the first client device of FIG.
 図2に示すように、第1クライアント装置10は、記憶装置11と、プロセッサ12と、入出力インタフェース13と、通信インタフェース14と、カメラ15と、ディスプレイ16と、マイクロフォン17と、スピーカ18と、を備える。 As shown in FIG. 2, the first client device 10 includes a storage device 11, a processor 12, an input / output interface 13, a communication interface 14, a camera 15, a display 16, a microphone 17, a speaker 18, and the like. To be equipped with.
 記憶装置11は、プログラム及びデータを記憶するように構成される。記憶装置11は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。 The storage device 11 is configured to store programs and data. The storage device 11 is, for example, a combination of a ROM (Read Only Memory), a RAM (Random Access Memory), and a storage (for example, a flash memory or a hard disk).
 プログラムは、例えば、以下のプログラムを含む。
 ・OS(Operating System)のプログラム
 ・情報処理を実行するアプリケーション(例えば、ウェブブラウザ)のプログラム
The program includes, for example, the following program.
・ OS (Operating System) program ・ Application (for example, web browser) program that executes information processing
 データは、例えば、以下のデータを含む。
 ・情報処理において参照されるデータベース
 ・情報処理を実行することによって得られるデータ(つまり、情報処理の実行結果)
The data includes, for example, the following data.
-Database referenced in information processing-Data obtained by executing information processing (that is, the execution result of information processing)
 プロセッサ12は、記憶装置11に記憶されたプログラムを起動することによって、第1クライアント装置10の機能を実現するように構成される。プロセッサ12は、例えば、CPU(Central Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、又は、これらの組み合わせである。 The processor 12 is configured to realize the function of the first client device 10 by activating the program stored in the storage device 11. The processor 12 is, for example, a CPU (Central Processing Unit), an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), or a combination thereof.
 入出力インタフェース13は、第1クライアント装置10に接続される入力デバイスからユーザの指示を取得し、かつ、第1クライアント装置10に接続される出力デバイスに情報を出力するように構成される。
 入力デバイスは、例えば、ハードキー、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。また、入力デバイスは、カメラ15及びディスプレイ16を含む。
 出力デバイスは、ディスプレイ16及びスピーカ18を含む。
The input / output interface 13 is configured to acquire a user's instruction from an input device connected to the first client device 10 and output information to an output device connected to the first client device 10.
The input device is, for example, a hard key, a keyboard, a pointing device, a touch panel, or a combination thereof. The input device also includes a camera 15 and a display 16.
Output devices include a display 16 and a speaker 18.
 通信インタフェース14は、第1クライアント装置10とホスト装置30との間の通信を制御するように構成される。 The communication interface 14 is configured to control communication between the first client device 10 and the host device 30.
 カメラ15は、画像を取得するように構成される。 The camera 15 is configured to acquire an image.
 ディスプレイ16は、プロセッサ12によって生成された画像を表示するように構成される。 The display 16 is configured to display an image generated by the processor 12.
 マイクロフォン17は、音声を取得するように構成される。 The microphone 17 is configured to acquire voice.
 スピーカ18は、プロセッサ12によって生成された音声を出力するように構成される。 The speaker 18 is configured to output the sound generated by the processor 12.
(1-2)第2クライアント装置の構成
 第2クライアント装置20の構成を説明する。図3は、図2の第2クライアント装置の機能ブロック図である。
(1-2) Configuration of Second Client Device The configuration of the second client device 20 will be described. FIG. 3 is a functional block diagram of the second client device of FIG.
 図3に示すように、第2クライアント装置20は、記憶装置21と、プロセッサ22と、入出力インタフェース23と、通信インタフェース24と、カメラ25と、ディスプレイ26と、マイクロフォン27と、スピーカ28と、を備える。 As shown in FIG. 3, the second client device 20 includes a storage device 21, a processor 22, an input / output interface 23, a communication interface 24, a camera 25, a display 26, a microphone 27, a speaker 28, and the like. To be equipped with.
 記憶装置21は、プログラム及びデータを記憶するように構成される。記憶装置21は、例えば、ROM、RAM、及び、ストレージの組合せである。 The storage device 21 is configured to store programs and data. The storage device 21 is, for example, a combination of a ROM, a RAM, and a storage.
 プログラムは、例えば、以下のプログラムを含む。
 ・OSのプログラム
 ・情報処理を実行するアプリケーション(例えば、ウェブブラウザ)のプログラム
The program includes, for example, the following program.
-OS program-Program of an application (for example, a web browser) that executes information processing
 データは、例えば、以下のデータを含む。
 ・情報処理において参照されるデータベース
 ・情報処理を実行することによって得られるデータ(つまり、情報処理の実行結果)
The data includes, for example, the following data.
-Database referenced in information processing-Data obtained by executing information processing (that is, the execution result of information processing)
 プロセッサ22は、記憶装置21に記憶されたプログラムを起動することによって、第2クライアント装置20の機能を実現するように構成される。プロセッサ22は、例えば、CPU、ASIC、FPGA、又は、これらの組み合わせである。 The processor 22 is configured to realize the function of the second client device 20 by activating the program stored in the storage device 21. The processor 22 is, for example, a CPU, an ASIC, an FPGA, or a combination thereof.
 入出力インタフェース23は、第2クライアント装置20に接続される入力デバイスからユーザの指示を取得し、かつ、第2クライアント装置20に接続される出力デバイスに情報を出力するように構成される。
 入力デバイスは、例えば、ハードキー、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。また、入力デバイスは、カメラ25及びマイクロフォン27を含む。
 出力デバイスは、ディスプレイ26及びスピーカ28を含む。
The input / output interface 23 is configured to acquire a user's instruction from an input device connected to the second client device 20 and output information to an output device connected to the second client device 20.
The input device is, for example, a hard key, a keyboard, a pointing device, a touch panel, or a combination thereof. The input device also includes a camera 25 and a microphone 27.
Output devices include a display 26 and a speaker 28.
 通信インタフェース24は、第2クライアント装置20とホスト装置30との間の通信を制御するように構成される。 The communication interface 24 is configured to control communication between the second client device 20 and the host device 30.
 カメラ25は、画像を取得するように構成される。 The camera 25 is configured to acquire an image.
 ディスプレイ26は、プロセッサ22によって生成された画像を表示するように構成される。 The display 26 is configured to display an image generated by the processor 22.
 マイクロフォン27は、音声を取得するように構成される。 The microphone 27 is configured to acquire voice.
 スピーカ28は、プロセッサ22によって生成された音声を出力するように構成される。 The speaker 28 is configured to output the voice generated by the processor 22.
(1-3)ホスト装置の構成
 ホスト装置30の構成を説明する。図4は、図1のホスト装置の機能ブロック図である。
(1-3) Configuration of Host Device The configuration of the host device 30 will be described. FIG. 4 is a functional block diagram of the host device of FIG.
 図4に示すように、ホスト装置30は、記憶装置31と、プロセッサ32と、入出力インタフェース33と、通信インタフェース34とを備える。 As shown in FIG. 4, the host device 30 includes a storage device 31, a processor 32, an input / output interface 33, and a communication interface 34.
 記憶装置31は、プログラム及びデータを記憶するように構成される。記憶装置31は、例えば、ROM、RAM、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。 The storage device 31 is configured to store programs and data. The storage device 31 is, for example, a combination of a ROM, a RAM, and a storage (for example, a flash memory or a hard disk).
 プログラムは、例えば、以下のプログラムを含む。
 ・OSのプログラム
 ・情報処理を実行するアプリケーションのプログラム
The program includes, for example, the following program.
・ OS program ・ Application program that executes information processing
 データは、例えば、以下のデータを含む。
 ・情報処理において参照されるデータベース
 ・情報処理の実行結果
The data includes, for example, the following data.
・ Database referenced in information processing ・ Execution result of information processing
 プロセッサ32は、記憶装置31に記憶されたプログラムを起動することによって、ホスト装置30の機能を実現するように構成される。プロセッサ32は、例えば、CPU、ASIC、FPGA、又は、これらの組み合わせである。 The processor 32 is configured to realize the function of the host device 30 by activating the program stored in the storage device 31. The processor 32 is, for example, a CPU, an ASIC, an FPGA, or a combination thereof.
 入出力インタフェース33は、ホスト装置30に接続される入力デバイスからユーザの指示を取得し、かつ、ホスト装置30に接続される出力デバイスに情報を出力するように構成される。
 入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
 出力デバイスは、例えば、ディスプレイである。また、出力デバイスは、プリンタを含む。
The input / output interface 33 is configured to acquire a user's instruction from an input device connected to the host device 30 and output information to an output device connected to the host device 30.
The input device is, for example, a keyboard, a pointing device, a touch panel, or a combination thereof.
The output device is, for example, a display. The output device also includes a printer.
 通信インタフェース34は、ホスト装置30と、第1クライアント装置10及び第2クライアント装置20との間の通信を制御するように構成される。 The communication interface 34 is configured to control communication between the host device 30 and the first client device 10 and the second client device 20.
(1-4)情報処理システムの形態
 本実施形態の情報処理システム1の形態の一例を説明する。図5は、図1の情報処理システムの形態の一例を示す図である。
(1-4) Mode of Information Processing System An example of the mode of the information processing system 1 of the present embodiment will be described. FIG. 5 is a diagram showing an example of the form of the information processing system of FIG.
 図5に示すように、情報処理システム1は、第1空間SP1~第3空間SP3を含む。第3空間SPは、第1空間SP1と第2空間SP2との間に配置される。 As shown in FIG. 5, the information processing system 1 includes the first space SP1 to the third space SP3. The third space SP is arranged between the first space SP1 and the second space SP2.
 第1空間SP1は、第1ユーザU1が入室する空間である。第1ユーザU1は、入口ENT1から第1空間SP1に入室可能である。第1空間SP1には、カメラ15と、ディスプレイ16と、マイクロフォン17と、スピーカ18と、が配置される。第1空間SP1と第3空間SPとの境界には、遮蔽部(例えば、壁)W1が配置される。ディスプレイ16は、X-方向を向くように、遮蔽部W1上に配置される。第1ユーザU1は、X+方向に視線を向けることにより、ディスプレイ16に表示された画像を視認することができる。 The first space SP1 is a space in which the first user U1 enters. The first user U1 can enter the first space SP1 from the entrance ENT1. A camera 15, a display 16, a microphone 17, and a speaker 18 are arranged in the first space SP1. A shielding portion (for example, a wall) W1 is arranged at the boundary between the first space SP1 and the third space SP. The display 16 is arranged on the shielding portion W1 so as to face the X- direction. The first user U1 can visually recognize the image displayed on the display 16 by directing the line of sight in the X + direction.
 第2空間SP2は、第2ユーザU2が入室する空間である。第2ユーザU2は、入口ENT2から第2空間SP2に入室可能である。第2空間SP2には、カメラ25と、ディスプレイ26と、マイクロフォン27と、スピーカ28と、が配置される。第2空間SP2と第3空間SPとの境界には、遮蔽部W2が配置される。ディスプレイ26は、X+方向を向くように、遮蔽部W2上に配置される。第2ユーザU2は、X-方向に視線を向けることにより、ディスプレイ26に表示された画像を視認することができる。 The second space SP2 is a space in which the second user U2 enters. The second user U2 can enter the second space SP2 from the entrance ENT2. A camera 25, a display 26, a microphone 27, and a speaker 28 are arranged in the second space SP2. A shielding portion W2 is arranged at the boundary between the second space SP2 and the third space SP. The display 26 is arranged on the shielding portion W2 so as to face the X + direction. The second user U2 can visually recognize the image displayed on the display 26 by directing the line of sight in the X- direction.
 つまり、遮蔽部W1は、第1空間SP1と第2空間SP2とを視覚的に隔離するように構成される。したがって、第1ユーザU1及び第2ユーザU2は、互いに、相手の声及び表情を直接認知できない。 That is, the shielding portion W1 is configured to visually separate the first space SP1 and the second space SP2. Therefore, the first user U1 and the second user U2 cannot directly recognize each other's voice and facial expression.
 第3空間SPには、ホスト装置30が配置される。 A host device 30 is arranged in the third space SP.
(2)実施形態の概要
 本実施形態の概要について説明する。図6は、本実施形態の概要の説明図である。
(2) Outline of the Embodiment The outline of the present embodiment will be described. FIG. 6 is an explanatory diagram of an outline of the present embodiment.
 図1のホスト装置30は、複数のユーザの会話を支援する情報処理装置である。 The host device 30 in FIG. 1 is an information processing device that supports conversations between a plurality of users.
 図6に示すように、ホスト装置30は、以下の手段を備える。
 ・第1ユーザの第1顔画像(複数の静止画又は動画像)を取得する手段
 ・第1ユーザの第1音声を取得する手段
 ・第2ユーザの第2顔画像(複数の静止画又は動画像)を取得する手段
 ・第2ユーザの第2音声を取得する手段
 ・第1顔画像に基づいて、第1ユーザの年齢から加齢又は減齢した第1指定年齢における第1ユーザの第1予測顔画像を生成する手段
 ・第2顔画像に基づいて、第2ユーザの年齢から加齢又は減齢した第2指定年齢における第2ユーザの第2予測顔画像を生成する手段
 ・第1予測顔画像を、第2クライアント装置20を介して第2ユーザに提示する手段
 ・第2予測顔画像を、第1クライアント装置10を介して第1ユーザに提示する手段
 ・第1ユーザ及び第2ユーザの少なくとも1人に対して発話を促すメッセージを生成する手段
 ・第1ユーザ及び前記第2ユーザの少なくとも1人に対してメッセージを提示する手段
 ・メッセージに応じた第2音声を、第1クライアント装置10を介して第1ユーザに提示する手段、
 ・メッセージに応じた第1音声を、第2クライアント装置20を介して第2ユーザに提示する手段
As shown in FIG. 6, the host device 30 includes the following means.
-Means for acquiring the first face image (plural still images or moving images) of the first user-Means for acquiring the first sound of the first user-Second face image (plural still images or moving images) of the second user Means for acquiring an image) -Means for acquiring a second voice of a second user-A first user in a first designated age who has been aged or diminished from the age of the first user based on a first face image. Means for generating a predicted face image-Means for generating a second predicted face image of a second user at a second designated age that has been aged or decreased from the age of the second user based on the second face image-First prediction Means for presenting a face image to a second user via a second client device 20-Means for presenting a second predicted face image to a first user via a first client device 10-First user and second user Means for generating a message prompting at least one person to speak-Means for presenting a message to at least one of the first user and the second user-A second voice corresponding to the message is transmitted to the first client device. Means of presenting to the first user via 10.
-Means for presenting the first voice corresponding to the message to the second user via the second client device 20.
(3)情報処理
 本実施形態の情報処理を説明する。図7は、本実施形態の情報処理のシーケンス図である。図8は、図7の情報処理において表示される画面例を示す図である。図9は、図7の情報処理において表示される画面例を示す図である。図10は、図7の情報処理において表示される画面例を示す図である。図11は、図7の情報処理において表示される画面例を示す図である。図12は、図7の情報処理において表示される画面例を示す図である。
(3) Information processing The information processing of the present embodiment will be described. FIG. 7 is a sequence diagram of information processing of the present embodiment. FIG. 8 is a diagram showing an example of a screen displayed in the information processing of FIG. 7. FIG. 9 is a diagram showing an example of a screen displayed in the information processing of FIG. 7. FIG. 10 is a diagram showing an example of a screen displayed in the information processing of FIG. 7. FIG. 11 is a diagram showing an example of a screen displayed in the information processing of FIG. 7. FIG. 12 is a diagram showing an example of a screen displayed in the information processing of FIG. 7.
 図7に示すように、第1クライアント装置10は、ユーザ情報の受付(S110)を実行する。
 具体的には、プロセッサ12は、画面P10(図8)をディスプレイ16に表示する。
As shown in FIG. 7, the first client device 10 executes the reception of user information (S110).
Specifically, the processor 12 displays the screen P10 (FIG. 8) on the display 16.
 画面P10は、フィールドオブジェクトF10a~F10eと、操作オブジェクトB10と、を含む。 The screen P10 includes field objects F10a to F10e and operation objects B10.
 フィールドオブジェクトF10aは、第1ユーザの名前に関するユーザ入力を受け付けるオブジェクトである。 The field object F10a is an object that accepts user input regarding the name of the first user.
 フィールドオブジェクトF10bは、第1ユーザと第2ユーザとの間の関係に関するユーザ入力を受け付けるオブジェクトである。関係は、例えば、以下の少なくとも1つを含む。
 ・家族(一例として、親子、夫婦、兄弟、及び、親族の少なくとも1つ)
 ・交際関係(つまり、カップル)
 ・友人
 ・職場の同僚
The field object F10b is an object that accepts user input regarding the relationship between the first user and the second user. The relationship includes, for example, at least one of the following:
・ Family (for example, at least one of parent and child, couple, sibling, and relative)
・ Dating (that is, a couple)
・ Friends ・ Colleagues at work
 フィールドオブジェクトF10cは、第1ユーザと第2ユーザとの関係の継続期間(以下「関係期間」という)に関するユーザ入力を受け付けるオブジェクトである。関係期間は、例えば、以下の何れかである。
 ・5年未満
 ・5年以上
The field object F10c is an object that accepts user input regarding the duration of the relationship between the first user and the second user (hereinafter referred to as "relationship period"). The relationship period is, for example, one of the following.
・ Less than 5 years ・ 5 years or more
 フィールドオブジェクトF10dは、第1ユーザの性別に関するユーザ入力を受け付けるオブジェクトである。 The field object F10d is an object that accepts user input regarding the gender of the first user.
 フィールドオブジェクトF10eは、第1ユーザの生年月日に関するユーザ入力を受け付けるオブジェクトである。 The field object F10e is an object that accepts user input regarding the date of birth of the first user.
 操作オブジェクトB10は、フィールドオブジェクトF10a~F10eに対するユーザ入力を確定させるためのユーザ指示を受け付けるオブジェクトである。 The operation object B10 is an object that receives a user instruction for confirming the user input for the field objects F10a to F10e.
 第1ユーザがフィールドオブジェクトF10a~F10eにユーザ入力を与え、且つ、操作オブジェクトB10を操作すると、カメラ15は、第1ユーザの顔の画像(以下「第1ユーザ画像」という)を取得する。
 プロセッサ12は、フィールドオブジェクトF10a~F10eに入力された情報及び第1ユーザ画像の組合せ(以下「第1ユーザ情報」という)をホスト装置30に送信する。
When the first user gives user input to the field objects F10a to F10e and operates the operation object B10, the camera 15 acquires an image of the face of the first user (hereinafter referred to as "first user image").
The processor 12 transmits the combination of the information input to the field objects F10a to F10e and the first user image (hereinafter referred to as “first user information”) to the host device 30.
 第2クライアント装置20は、ユーザ情報の受付(S120)を実行する。
 具体的には、プロセッサ22は、画面P20(図8)をディスプレイ26に表示する。
The second client device 20 executes the reception of user information (S120).
Specifically, the processor 22 displays the screen P20 (FIG. 8) on the display 26.
 画面P20は、フィールドオブジェクトF20a~F20eと、操作オブジェクトB20と、を含む。
 フィールドオブジェクトF20aは、第2ユーザの名前に関するユーザ入力を受け付けるオブジェクトである。
 フィールドオブジェクトF20bは、第1ユーザと第2ユーザとの間の関係に関するユーザ入力を受け付けるオブジェクトである。
 フィールドオブジェクトF20cは、第1ユーザと第2ユーザとの関係期間に関するユーザ入力を受け付けるオブジェクトである。
 フィールドオブジェクトF20dは、第2ユーザの性別に関するユーザ入力を受け付けるオブジェクトである。
 フィールドオブジェクトF20eは、第2ユーザの生年月日に関するユーザ入力を受け付けるオブジェクトである。
 操作オブジェクトB20は、フィールドオブジェクトF20a~F20eに対するユーザ入力を確定させるためのユーザ指示を受け付けるオブジェクトである。
The screen P20 includes field objects F20a to F20e and operation objects B20.
The field object F20a is an object that accepts user input regarding the name of the second user.
The field object F20b is an object that accepts user input regarding the relationship between the first user and the second user.
The field object F20c is an object that accepts user input regarding the period of relationship between the first user and the second user.
The field object F20d is an object that accepts user input regarding the gender of the second user.
The field object F20e is an object that accepts user input regarding the date of birth of the second user.
The operation object B20 is an object that receives a user instruction for confirming a user input for the field objects F20a to F20e.
 第2ユーザがフィールドオブジェクトF20a~F20eにユーザ入力を与え、且つ、操作オブジェクトB20を操作すると、カメラ25は、第2ユーザの顔の画像(以下「第2ユーザ画像」という)を取得する。
 プロセッサ22は、フィールドオブジェクトF20a~F20eに入力された情報及び第2ユーザ画像の組合せ(以下「第2ユーザ情報」という)をホスト装置30に送信する。
When the second user gives user input to the field objects F20a to F20e and operates the operation object B20, the camera 25 acquires an image of the face of the second user (hereinafter referred to as "second user image").
The processor 22 transmits the combination of the information input to the field objects F20a to F20e and the second user image (hereinafter referred to as “second user information”) to the host device 30.
 ステップS110及びS120の後、ホスト装置30は、ユーザ情報の転送(S130)を実行する。
 具体的には、プロセッサ32は、第1クライアント装置10から第1ユーザ情報を取得する。
 プロセッサ32は、第2クライアント装置20から第2ユーザ情報を取得する。
 プロセッサ32は、第1ユーザ情報に含まれる生年月日に基づいて、第1ユーザの現在の年齢(以下「第1現在年齢」という)の値を計算する。
 プロセッサ32は、第2ユーザ情報に含まれる生年月日に基づいて、第2ユーザの現在の年齢(以下「第2現在年齢」という)の値を計算する。
 プロセッサ32は、第1ユーザ情報を第2クライアント装置20に送信する。
 プロセッサ32は、第2ユーザ情報を第1クライアント装置10に送信する。
After steps S110 and S120, the host device 30 executes the transfer of user information (S130).
Specifically, the processor 32 acquires the first user information from the first client device 10.
The processor 32 acquires the second user information from the second client device 20.
The processor 32 calculates the value of the current age of the first user (hereinafter referred to as "first current age") based on the date of birth included in the first user information.
The processor 32 calculates the value of the current age of the second user (hereinafter referred to as "second current age") based on the date of birth included in the second user information.
The processor 32 transmits the first user information to the second client device 20.
The processor 32 transmits the second user information to the first client device 10.
 ステップS131の後、第1クライアント装置10は、指定年齢の受付(S111)を実行する。
 具体的には、プロセッサ12は、画面P11(図9)をディスプレイ16に表示する。
After step S131, the first client device 10 executes the reception (S111) of the designated age.
Specifically, the processor 12 displays the screen P11 (FIG. 9) on the display 16.
 画面P11は、表示オブジェクトA11と、画像オブジェクトIMG11と、フィールドオブジェクトF11a~F11bと、操作オブジェクトB11と、を含む。
 表示オブジェクトA11には、第1ユーザに対して会話を促すメッセージ(例えば、「相手の年齢を選んで下さい。」というメッセージ)が表示される。このメッセージは、予め定められたメッセージである。
 画像オブジェクトIMG11は、ホスト装置30から送信された第2ユーザ情報に含まれる第2ユーザ画像である。
 フィールドオブジェクトF11aは、第1ユーザの架空の年齢(以下「第1指定年齢」という)を指定するためのユーザ入力を受け付けるオブジェクトである。フィールドオブジェクトF11aの初期値は、第1現在年齢の値である。
 フィールドオブジェクトF11bは、第2ユーザの架空の年齢(以下「第2指定年齢」という)を指定するためのユーザ入力を受け付けるオブジェクトである。フィールドオブジェクトF11bの初期値は、第2現在の年齢の値である。
 操作オブジェクトB11aは、フィールドオブジェクトF11a~F11bのユーザ入力を確定させるためのユーザ指示を受け付けるオブジェクトである。
The screen P11 includes a display object A11, an image object IMG11, field objects F11a to F11b, and an operation object B11.
A message prompting the first user to have a conversation (for example, a message "Please select the age of the other party") is displayed on the display object A11. This message is a predetermined message.
The image object IMG 11 is a second user image included in the second user information transmitted from the host device 30.
The field object F11a is an object that accepts user input for designating a fictitious age of the first user (hereinafter referred to as "first designated age"). The initial value of the field object F11a is the value of the first current age.
The field object F11b is an object that accepts user input for designating a fictitious age of the second user (hereinafter referred to as "second designated age"). The initial value of the field object F11b is the value of the second current age.
The operation object B11a is an object that receives a user instruction for confirming the user input of the field objects F11a to F11b.
 第1ユーザがフィールドオブジェクトF11bに任意の値を入力し、且つ、操作オブジェクトB11aを操作すると、プロセッサ12は、フィールドオブジェクトF11bに与えられた値をホスト装置30に送信する。 When the first user inputs an arbitrary value to the field object F11b and operates the operation object B11a, the processor 12 transmits the value given to the field object F11b to the host device 30.
 ステップS131の後、第2クライアント装置20は、指定年齢の受付(S121)を実行する。
 具体的には、プロセッサ22は、画面P21(図9)をディスプレイ26に表示する。
After step S131, the second client device 20 executes the reception (S121) of the designated age.
Specifically, the processor 22 displays the screen P21 (FIG. 9) on the display 26.
 画面P21は、表示オブジェクトA21と、画像オブジェクトIMG21と、フィールドオブジェクトF21a~F21bと、操作オブジェクトB21a~B21bと、を含む。
 表示オブジェクトA21には、第2ユーザに対して会話を促すメッセージ(例えば、「相手の年齢を選んで下さい。」というメッセージ)が表示される。このメッセージは、予め定められたメッセージである。
 画像オブジェクトIMG21は、ホスト装置30から送信された第1ユーザ情報に含まれる第1ユーザ画像である。
 フィールドオブジェクトF21aは、第1指定年齢を指定するためのユーザ入力を受け付けるオブジェクトである。フィールドオブジェクトF21aの初期値は、第1現在年齢の値である。フィールドオブジェクトF21aの値は、フィールドオブジェクトF11aの値と同期している。
 フィールドオブジェクトF21bは、第2指定年齢を指定するためのユーザ入力を受け付けるオブジェクトである。フィールドオブジェクトF21bの初期値は、フィールドオブジェクトF20e(図8)に入力された生年月日から計算される値(つまり、第1ユーザの現在の年齢)である。フィールドオブジェクトF21bの値は、フィールドオブジェクトF11bの値と同期している。
 操作オブジェクトB21aは、フィールドオブジェクトF21a~F21bのユーザ入力を確定させるためのユーザ指示を受け付けるオブジェクトである。
 操作オブジェクトB21bは、会話を終了するためのユーザ指示を受け付けるオブジェクトである。
The screen P21 includes a display object A21, an image object IMG21, field objects F21a to F21b, and operation objects B21a to B21b.
A message prompting the second user to have a conversation (for example, a message "Please select the age of the other party") is displayed on the display object A21. This message is a predetermined message.
The image object IMG 21 is a first user image included in the first user information transmitted from the host device 30.
The field object F21a is an object that accepts user input for designating the first designated age. The initial value of the field object F21a is the value of the first current age. The value of the field object F21a is synchronized with the value of the field object F11a.
The field object F21b is an object that accepts user input for designating the second designated age. The initial value of the field object F21b is a value calculated from the date of birth input to the field object F20e (FIG. 8) (that is, the current age of the first user). The value of the field object F21b is synchronized with the value of the field object F11b.
The operation object B21a is an object that receives a user instruction for confirming the user input of the field objects F21a to F21b.
The operation object B21b is an object that receives a user instruction for ending the conversation.
 第2ユーザがフィールドオブジェクトF21bに任意の値(例えば、第1ユーザの架空の年齢の値)を入力し、且つ、操作オブジェクトB21aを操作すると、プロセッサ12は、フィールドオブジェクトF21bに与えられた値(つまり、第1ユーザの架空の年齢(以下「第1指定年齢」という)の値)をホスト装置30に送信する。 When the second user inputs an arbitrary value (for example, a fictitious age value of the first user) into the field object F21b and operates the operation object B21a, the processor 12 causes the value given to the field object F21b (for example). That is, the fictitious age of the first user (hereinafter referred to as "first designated age") is transmitted to the host device 30.
 ステップS111及びS121の後、ホスト装置30は、モーフィング(S131)を実行する。
 具体的には、記憶装置31には、変換モデルが記憶されている。変換モデルには、人物の現在の年齢及び人物の架空の年齢の組合せと、人物の顔画像を変換するための変換フィルタとの相関関係が規定されている。
 プロセッサ32は、第1クライアント装置10から、フィールドオブジェクトF11bに与えられた第2指定年齢の値を取得する。
 プロセッサ32は、第2クライアント装置20から、フィールドオブジェクトF21aに与えられた第1指定年齢の値を取得する。
 プロセッサ32は、ステップS130で得られた第1現在年齢の値、及び、ステップS111で得られた第1指定年齢の値を変換モデルに与えることにより、第1現在年齢及び第1指定年齢の組合せに対応する変換フィルタを選択する。
 プロセッサ32は、選択された変換フィルタを第1ユーザ画像に適用することにより、第1指定年齢に対応する第1ユーザの顔の画像(以下「第1予測顔画像」という)を生成する。
 プロセッサ32は、ステップS130で得られた第2現在年齢の値、及び、ステップS121で得られた第2指定年齢の値を変換モデルに与えることにより、第2現在年齢及び第2指定年齢の組合せに対応する変換フィルタを選択する。
 プロセッサ32は、選択された変換フィルタを第2ユーザ画像に適用することにより、第2指定年齢に対応する第2ユーザの顔の画像(以下「第2予測顔画像」という)を生成する。
After steps S111 and S121, the host device 30 performs morphing (S131).
Specifically, the conversion model is stored in the storage device 31. The conversion model defines the correlation between the combination of the current age of the person and the fictitious age of the person and the conversion filter for converting the face image of the person.
The processor 32 acquires the value of the second designated age given to the field object F11b from the first client device 10.
The processor 32 acquires the value of the first designated age given to the field object F21a from the second client device 20.
The processor 32 gives a combination of the first current age and the first designated age by giving the value of the first current age obtained in step S130 and the value of the first designated age obtained in step S111 to the conversion model. Select the conversion filter that corresponds to.
The processor 32 applies the selected conversion filter to the first user image to generate an image of the face of the first user corresponding to the first designated age (hereinafter referred to as “first predicted face image”).
The processor 32 gives a combination of the second current age and the second designated age by giving the value of the second current age obtained in step S130 and the value of the second designated age obtained in step S121 to the conversion model. Select the conversion filter that corresponds to.
The processor 32 applies the selected conversion filter to the second user image to generate an image of the face of the second user corresponding to the second designated age (hereinafter referred to as “second predicted face image”).
 ステップS131の後、ホスト装置30は、メッセージの送信(S132)を実行する。 After step S131, the host device 30 executes message transmission (S132).
 具体的には、プロセッサ32は、第1メッセージデータを第1クライアント装置10に送信する。第1メッセージデータは、以下の情報を含む。
 ・第2予測顔画像
 ・所定の初期メッセージ
Specifically, the processor 32 transmits the first message data to the first client device 10. The first message data includes the following information.
・ Second predicted face image ・ Predetermined initial message
 プロセッサ32は、第2メッセージデータを第2クライアント装置20に送信する。第2メッセージデータは、以下の情報を含む。
 ・第1予測顔画像
 ・所定の初期メッセージ
The processor 32 transmits the second message data to the second client device 20. The second message data includes the following information.
・ First predicted face image ・ Predetermined initial message
 ステップS132の後、第1クライアント装置10は、会話情報の受付(S112)を実行する。 After step S132, the first client device 10 executes the reception of conversation information (S112).
 具体的には、プロセッサ12は、画面P12a(図10)をディスプレイ16に表示する。画面P12aは、第1メッセージデータに対応する。 Specifically, the processor 12 displays the screen P12a (FIG. 10) on the display 16. The screen P12a corresponds to the first message data.
 画面P12aは、表示オブジェクトA12aと、画像オブジェクトIMG12と、フィールドオブジェクトF11a~F11bと、操作オブジェクトB11と、を含む。
 表示オブジェクトA12aには、第1メッセージデータに含まれる初期メッセージが表示される。
 画像オブジェクトIMG12は、第1メッセージデータに含まれる第2予測顔画像である。
The screen P12a includes a display object A12a, an image object IMG12, field objects F11a to F11b, and an operation object B11.
The display object A12a displays the initial message included in the first message data.
The image object IMG12 is a second predicted face image included in the first message data.
 第1ユーザが、表示オブジェクトA12aに表示されたメッセージ及び画像オブジェクトIMG12(つまり、第2指定年齢に対応する第2ユーザの顔の画像)を見ながら、且つ、スピーカ18から出力される第2ユーザの音声を聴きながら、第2ユーザに対して発話すると、マイクロフォン17は、第1ユーザの音声(以下「第1発話音声」という)を取得する。
 カメラ15は、会話中の第1ユーザの顔画像(以下「第1顔画像」という)を取得する。
 プロセッサ12は、会話情報をホスト装置30に送信する。会話情報は、以下の情報を含む。
 ・カメラ15によって取得された第1顔画像
 ・マイクロフォン17によって取得された第1発話音声
The second user outputs from the speaker 18 while the first user sees the message displayed on the display object A12a and the image object IMG12 (that is, the image of the face of the second user corresponding to the second designated age). When speaking to the second user while listening to the voice of the first user, the microphone 17 acquires the voice of the first user (hereinafter referred to as "first spoken voice").
The camera 15 acquires a face image of the first user in conversation (hereinafter referred to as "first face image").
The processor 12 transmits the conversation information to the host device 30. The conversation information includes the following information.
-First face image acquired by camera 15-First utterance voice acquired by microphone 17
 ステップS132の後、第2クライアント装置20は、会話情報の受付(S122)を実行する。 After step S132, the second client device 20 executes the reception of conversation information (S122).
 具体的には、プロセッサ22は、画面P22a(図10)をディスプレイ26に表示する。画面P22aは、第2メッセージデータに対応する。 Specifically, the processor 22 displays the screen P22a (FIG. 10) on the display 26. The screen P22a corresponds to the second message data.
 画面P22aは、表示オブジェクトA22aと、画像オブジェクトIMG22と、フィールドオブジェクトF21a~F21bと、操作オブジェクトB21a~B21bと、を含む。
 表示オブジェクトA22aには、第2メッセージデータに含まれる初期メッセージが表示される。
 画像オブジェクトIMG22は、第2メッセージデータに含まれる第1予測顔画像である。
The screen P22a includes display objects A22a, image objects IMG22, field objects F21a to F21b, and operation objects B21a to B21b.
The display object A22a displays the initial message included in the second message data.
The image object IMG22 is a first predicted face image included in the second message data.
 第2ユーザが、表示オブジェクトA22aに表示されたメッセージ及び画像オブジェクトIMG22(つまり、第1指定年齢に対応する第1ユーザの顔の画像)を見ながら、且つ、スピーカ28から出力される第1ユーザの音声を聴きながら、第1ユーザに対して発話すると、マイクロフォン27は、第2ユーザの音声(以下「第2発話音声」という)を取得する。
 カメラ25は、会話中の第2ユーザの顔画像(以下「第2顔画像」という)を取得する。
 プロセッサ22は、会話情報をホスト装置30に送信する。会話情報は、以下の情報を含む。
 ・カメラ25によって取得された第2顔画像
 ・マイクロフォン27によって取得された第2発話音声
The first user outputs from the speaker 28 while the second user sees the message displayed on the display object A22a and the image object IMG22 (that is, the image of the face of the first user corresponding to the first designated age). When speaking to the first user while listening to the voice of the second user, the microphone 27 acquires the voice of the second user (hereinafter referred to as "second spoken voice").
The camera 25 acquires a face image of the second user in conversation (hereinafter referred to as “second face image”).
The processor 22 transmits the conversation information to the host device 30. The conversation information includes the following information.
-Second face image acquired by camera 25-Second utterance voice acquired by microphone 27
 ステップS112及びS122の後、ホスト装置30は、感情解析(S133)を実行する。 After steps S112 and S122, the host device 30 executes emotion analysis (S133).
 ステップS133の第1例では、記憶装置31には、人物の表情と人物の感情との相関関係が規定された感情解析モデルが記憶されている。
 プロセッサ32は、ステップS112で送信された第1発話音声を感情解析モデルに入力することにより、第1ユーザの感情を特定する。
 プロセッサ32は、ステップS122で送信された第2発話音声を感情解析モデルに入力することにより、第2ユーザの感情を特定する。
In the first example of step S133, the storage device 31 stores an emotion analysis model in which the correlation between the facial expression of the person and the emotion of the person is defined.
The processor 32 identifies the emotion of the first user by inputting the first utterance voice transmitted in step S112 into the emotion analysis model.
The processor 32 identifies the emotion of the second user by inputting the second utterance voice transmitted in step S122 into the emotion analysis model.
 ステップS133の第2例では、記憶装置31には、人物の発話音声と人物の感情との相関関係が規定された感情解析モデルが記憶されている。
 プロセッサ32は、ステップS112で送信された第1発話音声を感情解析モデルに入力することにより、第1ユーザの感情を特定する。
 プロセッサ32は、ステップS122で送信された第2発話音声を感情解析モデルに入力することにより、第2ユーザの感情を特定する。
In the second example of step S133, the storage device 31 stores an emotion analysis model in which the correlation between the spoken voice of the person and the emotion of the person is defined.
The processor 32 identifies the emotion of the first user by inputting the first utterance voice transmitted in step S112 into the emotion analysis model.
The processor 32 identifies the emotion of the second user by inputting the second utterance voice transmitted in step S122 into the emotion analysis model.
 ステップS133の後、ホスト装置30は、メッセージの生成(S134)を実行する。
 具体的には、記憶装置31には、メッセージ生成モデルが記憶されている。メッセージ生成モデルには、人物の感情と、次の会話を促すためのメッセージと、の相関関係が規定されている。
After step S133, the host device 30 executes message generation (S134).
Specifically, the storage device 31 stores a message generation model. The message generation model defines the correlation between a person's emotions and a message that encourages the next conversation.
 ステップS133の第1例では、プロセッサ32は、ステップS133で得られた第1ユーザの感情をメッセージ生成モデルに入力することにより、第1ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含む第1メッセージデータを第1クライアント装置10に送信する。
 プロセッサ32は、ステップS133で得られた第2ユーザの感情をメッセージ生成モデルに入力することにより、第2ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含む第2メッセージデータを第2クライアント装置20に送信する。
In the first example of step S133, the processor 32 generates a message to be presented to the first user by inputting the emotion of the first user obtained in step S133 into the message generation model, and generates the message. The first message data including the first message data is transmitted to the first client device 10.
The processor 32 generates a message to be presented to the second user by inputting the emotion of the second user obtained in step S133 into the message generation model, and secondly generates the second message data including the message. It is transmitted to the client device 20.
 ステップS133の第2例では、プロセッサ32は、ステップS133で得られた第1ユーザの感情及び第2ユーザの感情をメッセージ生成モデルに入力することにより、第1ユーザ及び第2ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含むメッセージデータを第1クライアント装置10及び第2クライアント装置20に送信する。 In the second example of step S133, the processor 32 should present the emotions of the first user and the emotions of the second user obtained in step S133 to the first user and the second user by inputting them into the message generation model. A message is generated, and message data including the message is transmitted to the first client device 10 and the second client device 20.
 ステップS134の後、第1クライアント装置10は、会話情報の受付(S112)を再び実行する。
 具体的には、プロセッサ12は、画面P12b(図11)をディスプレイ16に表示する。画面P12bは、ステップS132でホスト装置30から送信されたメッセージデータに対応する。
After step S134, the first client device 10 re-executes the reception of conversation information (S112).
Specifically, the processor 12 displays the screen P12b (FIG. 11) on the display 16. The screen P12b corresponds to the message data transmitted from the host device 30 in step S132.
 画面P12bは、表示オブジェクトA12bと、画像オブジェクトIMG12と、フィールドオブジェクトF11a~F11bと、操作オブジェクトB11と、を含む。
 表示オブジェクトA12bには、ステップS133でホスト装置30から送信されたメッセージが表示される。
The screen P12b includes a display object A12b, an image object IMG12, field objects F11a to F11b, and an operation object B11.
The message transmitted from the host device 30 in step S133 is displayed on the display object A12b.
 第1ユーザが、表示オブジェクトA12bに表示されたメッセージ及び画像オブジェクトIMG12(つまり、第2指定年齢に対応する第2ユーザの顔の画像)を見ながら、且つ、スピーカ18から出力される第2ユーザの音声を聴きながら、第2ユーザに対して発話すると、マイクロフォン17は、第1発話音声を取得する。
 プロセッサ12は、会話情報をホスト装置30に送信する。会話情報は、以下の情報を含む。
 ・カメラ15によって取得された第1顔画像
 ・マイクロフォン17によって取得された第1発話音声
The second user outputs from the speaker 18 while the first user sees the message displayed on the display object A12b and the image object IMG12 (that is, the image of the face of the second user corresponding to the second designated age). When speaking to the second user while listening to the voice of, the microphone 17 acquires the first spoken voice.
The processor 12 transmits the conversation information to the host device 30. The conversation information includes the following information.
-First face image acquired by camera 15-First utterance voice acquired by microphone 17
 ステップS134の後、第2クライアント装置20は、会話情報の受付(S122)を再び実行する。
 具体的には、プロセッサ22は、画面P22b(図11)をディスプレイ26に表示する。画面P22bは、ステップS134でホスト装置30から送信されたメッセージデータに対応する。
After step S134, the second client device 20 re-executes the reception of conversation information (S122).
Specifically, the processor 22 displays the screen P22b (FIG. 11) on the display 26. The screen P22b corresponds to the message data transmitted from the host device 30 in step S134.
 画面P22bは、表示オブジェクトA22bと、画像オブジェクトIMG22と、フィールドオブジェクトF21a~F21bと、操作オブジェクトB21a~B21bと、を含む。
 表示オブジェクトA22bには、第2メッセージデータに含まれるメッセージが表示される。
The screen P22b includes display objects A22b, image objects IMG22, field objects F21a to F21b, and operation objects B21a to B21b.
The message included in the second message data is displayed on the display object A22b.
 第2ユーザが、表示オブジェクトA22bに表示されたメッセージ及び画像オブジェクトIMG22(つまり、第1指定年齢に対応する第1ユーザの顔の画像)を見ながら、且つ、スピーカ28から出力される第1ユーザの音声を聴きながら、第1ユーザに対して発話すると、マイクロフォン27は、第2発話音声を取得する。
 プロセッサ22は、会話情報をホスト装置30に送信する。会話情報は、以下の情報を含む。
 ・カメラ25によって取得された第2顔画像
 ・マイクロフォン27によって取得された第2発話音声
The first user outputs from the speaker 28 while the second user sees the message displayed on the display object A22b and the image object IMG22 (that is, the image of the face of the first user corresponding to the first designated age). When speaking to the first user while listening to the voice of, the microphone 27 acquires the second spoken voice.
The processor 22 transmits the conversation information to the host device 30. The conversation information includes the following information.
-Second face image acquired by camera 25-Second utterance voice acquired by microphone 27
 会話の終了条件を満たすと、第1クライアント装置10は、記念画像の取得(S113)を実行する。
 具体的には、会話の終了条件を満たすと、プロセッサ12は、画面P13(図12)をディスプレイに表示する。
 会話の終了条件は、例えば、以下の少なくとも1つである。
 ・会話の開始(例えば、ステップS111及びS121の終了)から所定時間(例えば、10分)が経過したこと
 ・所定回数のメッセージが提示された(つまり、ステップ134が実行された)こと
 ・第1ユーザ又は第2ユーザから会話を終了するためのユーザ指示(例えば、音声指示、及び、画面に表示されたオブジェクトに対する操作の少なくとも1つ)が与えられたこと
When the end condition of the conversation is satisfied, the first client device 10 executes the acquisition of the commemorative image (S113).
Specifically, when the end condition of the conversation is satisfied, the processor 12 displays the screen P13 (FIG. 12) on the display.
The end condition of the conversation is, for example, at least one of the following.
-A predetermined time (for example, 10 minutes) has elapsed from the start of the conversation (for example, the end of steps S111 and S121) -A predetermined number of messages have been presented (that is, step 134 has been executed) -First A user or second user has given a user instruction (eg, a voice instruction and at least one operation on an object displayed on the screen) to end the conversation.
 画面P13は、画像オブジェクトIMG13と、操作オブジェクトB13と、を含む
 画像オブジェクトIMG13は、ステップS113の実行時点においてカメラ25によって取得されたプレビュー画像である。
 操作オブジェクトB13は、画像オブジェクトIMG13に対応するプレビュー画像を第2ユーザの記念画像(以下「第2記念画像」という)として取得するためのユーザ指示を受け付けるオブジェクトである。
The image object IMG13 including the image object IMG13 and the operation object B13 on the screen P13 is a preview image acquired by the camera 25 at the time of execution of step S113.
The operation object B13 is an object that receives a user instruction for acquiring a preview image corresponding to the image object IMG13 as a commemorative image of the second user (hereinafter referred to as “second commemorative image”).
 第1ユーザが操作オブジェクトB13を操作すると、プロセッサ12は、ホスト装置30に対して、第2記念画像を送信し、且つ、第2クライアント装置20に対して、ステップS113の終了通知を送信する。 When the first user operates the operation object B13, the processor 12 transmits the second commemorative image to the host device 30 and sends the end notification of step S113 to the second client device 20.
 ステップS113の後、第2クライアント装置20は、記念画像の取得(S123)を実行する。
 具体的には、第1ユーザが操作オブジェクトB13を操作すると、プロセッサ12は、画面P23(図12)をディスプレイに表示する。
After step S113, the second client device 20 executes the acquisition of the commemorative image (S123).
Specifically, when the first user operates the operation object B13, the processor 12 displays the screen P23 (FIG. 12) on the display.
 画面P23は、画像オブジェクトIMG23と、操作オブジェクトB23と、を含む
 画像オブジェクトIMG23は、ステップS123の実行時点においてカメラ15によって取得されたプレビュー画像である。
 操作オブジェクトB23は、画像オブジェクトIMG23に対応するプレビュー画像を第1ユーザの記念画像(以下「第1記念画像」という)として取得するためのユーザ指示を受け付けるオブジェクトである。
The image object IMG23 including the image object IMG23 and the operation object B23 on the screen P23 is a preview image acquired by the camera 15 at the time of executing step S123.
The operation object B23 is an object that receives a user instruction for acquiring a preview image corresponding to the image object IMG23 as a commemorative image of the first user (hereinafter referred to as “first commemorative image”).
 第2ユーザが操作オブジェクトB23を操作すると、プロセッサ22は、ホスト装置30に対して、第1記念画像と、ステップS123の終了通知を送信する。 When the second user operates the operation object B23, the processor 22 transmits the first commemorative image and the end notification of step S123 to the host device 30.
 ステップS123の後、ホスト装置30は、ログデータの保存(S135)を実行する。
 具体的には、プロセッサ32は、記憶装置31に、以下の情報を関連付けて記憶する。
 ・ステップS110で第1クライアント装置10から送信された第1ユーザ情報
 ・ステップS120で第2クライアント装置20から送信された第2ユーザ情報
 ・ステップS113で第1クライアント装置10から送信された出力リクエストデータに含まれる第1予測顔画像及び第1音声
 ・ステップS123で第2クライアント装置20から送信された出力リクエストデータに含まれる第2予測顔画像及び第2音声
 ・ステップS111及びS121の実行からステップS113及びS123の少なくとも1つの実行までの時間(つまり、会話の経過時間)
 ・ステップS113で第1クライアント装置10から送信された第2記念画像
 ・ステップS123で第2クライアント装置20から送信された第1記念画像
After step S123, the host device 30 executes saving of log data (S135).
Specifically, the processor 32 stores the following information in association with the storage device 31.
-First user information transmitted from the first client device 10 in step S110-Second user information transmitted from the second client device 20 in step S120-Output request data transmitted from the first client device 10 in step S113 First predicted face image and first voice included in-Second predicted face image and second voice included in output request data transmitted from the second client device 20 in step S123-From execution of steps S111 and S121 to step S113 And the time to at least one execution of S123 (ie, elapsed time of conversation)
-Second commemorative image transmitted from the first client device 10 in step S113-First commemorative image transmitted from the second client device 20 in step S123.
 プロセッサ32は、第1記念画像及び第2記念画像を合成することにより、集合記念画像を生成する。
 プロセッサ32は、第1クライアント装置10及び第2クライアント装置20に第1記念画像と、第2記念画像と、集合記念画像と、を送信する。
The processor 32 generates a set commemorative image by synthesizing the first commemorative image and the second commemorative image.
The processor 32 transmits the first commemorative image, the second commemorative image, and the collective commemorative image to the first client device 10 and the second client device 20.
 ステップS135の後、第1クライアント装置10は、出力リクエスト(S114)を実行する。
 具体的には、プロセッサ12は、画面P14(図12)をディスプレイ16に表示する。
After step S135, the first client device 10 executes an output request (S114).
Specifically, the processor 12 displays the screen P14 (FIG. 12) on the display 16.
 画面P14は、画像オブジェクトIMG14と、操作オブジェクトB14a~B14bと、を含む。
 画像オブジェクトIMG14は、集合記念画像である。
 操作オブジェクトB14aは、集合記念画像をネットワークサービス上で共有するためのユーザ指示を受け付けるオブジェクトである。ネットワークサービスは、例えば、ソーシャルネットワークサービス、チャットサービス、及び、画像共有サービスの少なくとも1つである。
 操作オブジェクトB14bは、集合記念画像を印刷するためのユーザ指示を受け付けるオブジェクトである。
The screen P14 includes an image object IMG14 and operation objects B14a to B14b.
The image object IMG14 is a group commemorative image.
The operation object B14a is an object that receives a user instruction for sharing the group commemorative image on the network service. The network service is, for example, at least one of a social network service, a chat service, and an image sharing service.
The operation object B14b is an object that receives a user instruction for printing a set commemorative image.
 第1ユーザが、操作オブジェクトB14aを操作すると、プロセッサ12は、集合記念画像を共有するためのユーザ指示をホスト装置に送信する。 When the first user operates the operation object B14a, the processor 12 transmits a user instruction for sharing the group commemorative image to the host device.
 ステップS135の後、第2クライアント装置20は、出力リクエスト(S124)を実行する。
 具体的には、第2ユーザが操作オブジェクトB21b(図10~図11)を操作すると、プロセッサ22は、画面P24(図12)をディスプレイに表示する。
After step S135, the second client device 20 executes the output request (S124).
Specifically, when the second user operates the operation object B21b (FIGS. 10 to 11), the processor 22 displays the screen P24 (FIG. 12) on the display.
 画面P24は、画像オブジェクトIMG24と、操作オブジェクトB24a~B24bと、を含む。
 画像オブジェクトIMG24は、集合記念画像である。
 操作オブジェクトB24aは、集合記念画像をネットワークサービス上で共有するためのユーザ指示を受け付けるオブジェクトである。ネットワークサービスは、例えば、ソーシャルネットワークサービス、チャットサービス、及び、画像共有サービスの少なくとも1つである。
 操作オブジェクトB24bは、集合記念画像を印刷するためのユーザ指示を受け付けるオブジェクトである。
The screen P24 includes an image object IMG24 and operation objects B24a to B24b.
The image object IMG24 is a group commemorative image.
The operation object B24a is an object that receives a user instruction for sharing the group commemorative image on the network service. The network service is, for example, at least one of a social network service, a chat service, and an image sharing service.
The operation object B24b is an object that receives a user instruction for printing a group commemorative image.
 第2ユーザが、操作オブジェクトB24bを操作すると、プロセッサ22は、集合記念画像を印刷するためのユーザ指示をホスト装置30に送信する。 When the second user operates the operation object B24b, the processor 22 transmits a user instruction for printing the group commemorative image to the host device 30.
 ステップS135の後、ホスト装置30は、記念画像の出力(S136)を実行する。
 具体的には、プロセッサ32は、ステップS113で第1クライアント装置10から送信されたユーザ指示に応じて、集合記念画像を、ネットワークサービスを提供するウェブサーバに送信する。これにより、ネットワークサービスを介して集合記念画像が第1ユーザ以外のユーザ(例えば、第2ユーザ及び第三者の少なくとも1人)に共有される。
 プロセッサ32は、ステップS123で第2クライアント装置20から送信されたユーザ指示に応じて、集合記念画像をプリンタに送信する。これにより、プリンタを介して集合記念画像が印刷される。
After step S135, the host device 30 executes the output of the commemorative image (S136).
Specifically, the processor 32 transmits the group commemorative image to the web server that provides the network service in response to the user instruction transmitted from the first client device 10 in step S113. As a result, the group commemorative image is shared with users other than the first user (for example, at least one of the second user and a third party) via the network service.
The processor 32 transmits the group commemorative image to the printer in response to the user instruction transmitted from the second client device 20 in step S123. As a result, the group commemorative image is printed via the printer.
 本実施形態によれば、各ユーザに対して、会話中に、会話相手の予測顔画像及び会話を促進するためのメッセージを提示する。これにより、会話中の情報に応じた会話を促進することができる。 According to the present embodiment, each user is presented with a predicted face image of the conversation partner and a message for promoting the conversation during the conversation. As a result, it is possible to promote a conversation according to the information during the conversation.
(4)変形例
 本実施形態の変形例を説明する。
(4) Modification Example A modification of the present embodiment will be described.
(4-1)変形例1
 変形例1を説明する。変形例1は、第1音声の文脈及び第2音声の文脈の少なくとも1つに応じたメッセージを第1ユーザ及び第2ユーザの少なくとも1人に提示する例である。
(4-1) Modification 1
Modification 1 will be described. The first modification is an example in which a message corresponding to at least one of the context of the first voice and the context of the second voice is presented to at least one of the first user and the second user.
 変形例1のホスト装置30は、ステップS134(図7)において、第1音声及び第2音声の文脈の少なくとも1つに応じたメッセージを生成する。
 具体的には、メッセージ生成モデルには、音声の文脈と、次の会話を促すためのメッセージと、の相関関係が規定されている。
In step S134 (FIG. 7), the host device 30 of the first modification generates a message corresponding to at least one of the contexts of the first voice and the second voice.
Specifically, the message generation model defines the correlation between the voice context and the message that prompts the next conversation.
 変形例1の第1例のプロセッサ32は、ステップS133で得られた第1音声をメッセージ生成モデルに入力することにより、第1ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含む第1メッセージデータを第1クライアント装置10に送信する。
 プロセッサ32は、ステップS133で得られた第2音声をメッセージ生成モデルに入力することにより、第2ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含む第2メッセージデータを第2クライアント装置20に送信する。
The processor 32 of the first example of the modification 1 generates a message to be presented to the first user by inputting the first voice obtained in step S133 into the message generation model, and includes the message. 1 Message data is transmitted to the first client device 10.
The processor 32 generates a message to be presented to the second user by inputting the second voice obtained in step S133 into the message generation model, and generates the second message data including the message in the second client device. Send to 20.
 変形例1の第2例のプロセッサ32は、ステップS133で得られた第1音声及び第2音声の組合せをメッセージ生成モデルに入力することにより、第1ユーザ及び第2ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含むメッセージデータを第1クライアント装置10及び第2クライアント装置20に送信する。 The processor 32 of the second example of the modification 1 inputs the combination of the first voice and the second voice obtained in step S133 into the message generation model, so that the message to be presented to the first user and the second user can be presented. The message data that is generated and includes the message is transmitted to the first client device 10 and the second client device 20.
 変形例1によれば、第1ユーザ及び第2ユーザの少なくとも1人が発話した音声の文脈に応じて、会話を促すメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進させることができる。 According to the first modification, a message prompting a conversation is presented according to the context of the voice spoken by at least one of the first user and the second user. Thereby, the conversation between the first user and the second user can be further promoted.
(4-2)変形例2
 変形例2を説明する。変形例2は、第1ユーザの環境及び第2ユーザの環境の少なくとも1つに応じたメッセージを第1ユーザ及び第2ユーザの少なくとも1人に提示する例である。
(4-2) Modification 2
Modification 2 will be described. The second modification is an example in which a message corresponding to at least one of the environment of the first user and the environment of the second user is presented to at least one of the first user and the second user.
 変形例2のホスト装置30は、ステップS134(図7)において、第1ユーザの環境に関する情報(以下「第1環境情報」という)及び第2ユーザの環境に関する情報(以下「第2環境情報」という)の少なくとも1つに応じたメッセージを生成する。
 具体的には、メッセージ生成モデルには、環境と、次の会話を促すためのメッセージと、の相関関係が規定されている。
 情報処理システム1は、環境情報を取得するセンサを備える。環境情報は、以下の少なくとも1つを含む。
 ・第1空間SP1の温度に関する温度情報
 ・第2空間SP2の温度に関する温度情報
 ・第1空間SP1の湿度に関する湿度情報
 ・第2空間SP2の温度に関する湿度情報
In step S134 (FIG. 7), the host device 30 of the second modification includes information on the environment of the first user (hereinafter referred to as “first environment information”) and information on the environment of the second user (hereinafter referred to as “second environment information””. Generate a message corresponding to at least one of).
Specifically, the message generation model defines the correlation between the environment and the message that encourages the next conversation.
The information processing system 1 includes a sensor that acquires environmental information. Environmental information includes at least one of the following:
-Temperature information regarding the temperature of the first space SP1-Temperature information regarding the temperature of the second space SP2-Humidity information regarding the humidity of the first space SP1-Humidity information regarding the temperature of the second space SP2
 変形例2の第1例のプロセッサ32は、センサによって得られた第1環境情報をメッセージ生成モデルに入力することにより、第1ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含む第1メッセージデータを第1クライアント装置10に送信する。
 プロセッサ32は、センサによって得られた第2環境情報をメッセージ生成モデルに入力することにより、第2ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含む第2メッセージデータを第2クライアント装置20に送信する。
The processor 32 of the first example of the modification 2 generates a message to be presented to the first user by inputting the first environment information obtained by the sensor into the message generation model, and includes the message. 1 Message data is transmitted to the first client device 10.
The processor 32 generates a message to be presented to the second user by inputting the second environment information obtained by the sensor into the message generation model, and generates the second message data including the message as the second client device. Send to 20.
 変形例2の第2例のプロセッサ32は、センサによって得られた第1環境情報及び第2環境情報の組合せをメッセージ生成モデルに入力することにより、第1ユーザ及び第2ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含むメッセージデータを第1クライアント装置10及び第2クライアント装置20に送信する。 The processor 32 of the second example of the second modification is a message to be presented to the first user and the second user by inputting the combination of the first environment information and the second environment information obtained by the sensor into the message generation model. Is generated, and message data including the message is transmitted to the first client device 10 and the second client device 20.
 変形例2の第3例の情報処理システム1では、第1空間SP1及び第2空間SP2の少なくとも1つは屋外である。
 環境情報は、以下の少なくとも1つを含む。
 ・第1空間SP1の温度に関する温度情報
 ・第2空間SP2の温度に関する温度情報
In the information processing system 1 of the third example of the modification 2, at least one of the first space SP1 and the second space SP2 is outdoors.
Environmental information includes at least one of the following:
-Temperature information regarding the temperature of the first space SP1-Temperature information regarding the temperature of the second space SP2
 ホスト装置30は、センサに代えて、センサ以外のデバイス(例えば、環境情報を提供するサーバ)から第1環境情報及び第2環境情報の少なくとも1つを取得しても良い。 The host device 30 may acquire at least one of the first environmental information and the second environmental information from a device other than the sensor (for example, a server that provides the environmental information) instead of the sensor.
 変形例2によれば、第1ユーザ及び第2ユーザの少なくとも1人の環境に応じて、会話を促すメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進させることができる。 According to the second modification, a message prompting a conversation is presented according to the environment of at least one of the first user and the second user. Thereby, the conversation between the first user and the second user can be further promoted.
(4-3)変形例3
 変形例3を説明する。変形例3は、第1ユーザの属性及び第2ユーザの属性の少なくとも1つに応じたメッセージを第1ユーザ及び第2ユーザの少なくとも1人に提示する例である。
(4-3) Modification 3
Modification 3 will be described. The third modification is an example in which a message corresponding to at least one of the attributes of the first user and the attribute of the second user is presented to at least one of the first user and the second user.
 変形例3のホスト装置30は、ステップS134(図7)において、第1ユーザの属性に関する情報(以下「第1属性情報」という)及び第2ユーザの属性に関する情報(以下「第2属性情報」という)の少なくとも1つに応じたメッセージを生成する。
 具体的には、メッセージ生成モデルには、属性と、次の会話を促すためのメッセージと、の相関関係が規定されている。属性は、以下の少なくとも1つを含む。
 ・第1ユーザの現在年齢
 ・第2ユーザの現在年齢
 ・第1ユーザの性別
 ・第2ユーザの性別
In step S134 (FIG. 7), the host device 30 of the third modification has information on the attributes of the first user (hereinafter referred to as “first attribute information”) and information on the attributes of the second user (hereinafter referred to as “second attribute information””. Generate a message corresponding to at least one of).
Specifically, the message generation model defines the correlation between the attributes and the message for prompting the next conversation. The attribute includes at least one of the following:
-Current age of the first user-Current age of the second user-Gender of the first user-Gender of the second user
 変形例3の第1例のプロセッサ32は、ステップS110で第1クライアント装置10から送信された第1ユーザ情報に含まれる第1ユーザの属性をメッセージ生成モデルに入力することにより、第1ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含む第1メッセージデータを第1クライアント装置10に送信する。
 プロセッサ32は、ステップS120で第2クライアント装置20から送信された第2ユーザ情報に含まれる第2ユーザの属性をメッセージ生成モデルに入力することにより、第2ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含む第2メッセージデータを第2クライアント装置20に送信する。
The processor 32 of the first example of the modification 3 inputs the attribute of the first user included in the first user information transmitted from the first client device 10 to the message generation model in step S110 to the first user. A message to be presented is generated, and the first message data including the message is transmitted to the first client device 10.
The processor 32 generates a message to be presented to the second user by inputting the attributes of the second user included in the second user information transmitted from the second client device 20 in step S120 into the message generation model. Moreover, the second message data including the message is transmitted to the second client device 20.
 変形例3の第2例のプロセッサ32は、ステップS110で第1クライアント装置10から送信された第1ユーザ情報に含まれる第1ユーザの属性、及び、ステップS120で第2クライアント装置20から送信された第2ユーザ情報に含まれる第2ユーザの属性の組合せをメッセージ生成モデルに入力することにより、第1ユーザ及び第2ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含むメッセージデータを第1クライアント装置10及び第2クライアント装置20に送信する。 The processor 32 of the second example of the modification 3 has the attributes of the first user included in the first user information transmitted from the first client device 10 in step S110, and is transmitted from the second client device 20 in step S120. By inputting the combination of the attributes of the second user included in the second user information into the message generation model, a message to be presented to the first user and the second user is generated, and the message data including the message is generated. It transmits to the first client device 10 and the second client device 20.
 変形例3によれば、第1ユーザ及び第2ユーザの少なくとも1人の属性に応じて、会話を促すメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進させることができる。 According to the third modification, a message prompting a conversation is presented according to the attributes of at least one of the first user and the second user. Thereby, the conversation between the first user and the second user can be further promoted.
(4-4)変形例4
 変形例4を説明する。変形例4は、第1ユーザ及び第2ユーザの関係に応じたメッセージを第1ユーザ及び第2ユーザの少なくとも1人に提示する例である。
(4-4) Modification 4
Modification 4 will be described. The fourth modification is an example in which a message corresponding to the relationship between the first user and the second user is presented to at least one of the first user and the second user.
 変形例4のホスト装置30は、ステップS134(図7)において、第1ユーザ及び第2ユーザの関係に応じたメッセージを生成する。
 具体的には、メッセージ生成モデルには、複数のユーザの関係と、次の会話を促すためのメッセージと、の相関関係が規定されている。
 プロセッサ32は、ステップS110で第1クライアント装置10から送信された第1ユーザ情報及びステップS120で第2クライアント装置20から送信された第2ユーザ情報の少なくとも1つに含まれる関係をメッセージ生成モデルに入力することにより、第1ユーザ及び第2ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含むメッセージデータを第1クライアント装置10及び第2クライアント装置20に送信する。
In step S134 (FIG. 7), the host device 30 of the modification 4 generates a message according to the relationship between the first user and the second user.
Specifically, the message generation model defines the correlation between the relationship between a plurality of users and the message for prompting the next conversation.
The processor 32 uses the relationship included in at least one of the first user information transmitted from the first client device 10 in step S110 and the second user information transmitted from the second client device 20 in step S120 as the message generation model. By inputting, a message to be presented to the first user and the second user is generated, and message data including the message is transmitted to the first client device 10 and the second client device 20.
 変形例4によれば、第1ユーザ及び第2ユーザの関係に応じて、会話を促すメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進させることができる。 According to the modification 4, a message prompting a conversation is presented according to the relationship between the first user and the second user. Thereby, the conversation between the first user and the second user can be further promoted.
(4-5)変形例5
 変形例5を説明する。変形例5は、第1指定年齢及び第2指定年齢の少なくとも1つに応じたメッセージを第1ユーザ及び第2ユーザの少なくとも1人に提示する例である。
(4-5) Modification 5
Modification 5 will be described. The fifth modification is an example in which a message corresponding to at least one of the first designated age and the second designated age is presented to at least one of the first user and the second user.
 変形例5のホスト装置30は、ステップS134(図7)において、第1指定年齢及び第2指定年齢の少なくとも1つに応じたメッセージを生成する。
 具体的には、メッセージ生成モデルには、年齢と、次の会話を促すためのメッセージと、の相関関係が規定されている。
In step S134 (FIG. 7), the host device 30 of the modification 5 generates a message corresponding to at least one of the first designated age and the second designated age.
Specifically, the message generation model defines the correlation between age and a message to encourage the next conversation.
 変形例5の第1例のプロセッサ32は、ステップS111で第1クライアント装置10から送信された第1指定年齢の値、及び、ステップS121で第2クライアント装置20から送信された第2指定年齢の値の大小関係を判定する。
 プロセッサ32は、当該大小関係をメッセージ生成モデルに入力することにより、第1ユーザ及び第2ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含むメッセージデータを第1クライアント装置10及び第2クライアント装置20に送信する。
The processor 32 of the first example of the modification 5 has the value of the first designated age transmitted from the first client device 10 in step S111 and the value of the second designated age transmitted from the second client device 20 in step S121. Judge the magnitude relationship of values.
The processor 32 generates a message to be presented to the first user and the second user by inputting the magnitude relation into the message generation model, and the message data including the message is transmitted to the first client device 10 and the second user. It is transmitted to the client device 20.
 変形例5の第2例のプロセッサ32は、ステップS111で第1クライアント装置10から送信された第1指定年齢の値、及び、ステップS121で第2クライアント装置20から送信された第2指定年齢の値の差(以下「指定年齢差」という)を計算する。
 プロセッサ32は、当該指定年齢差をメッセージ生成モデルに入力することにより、第1ユーザ及び第2ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含むメッセージデータを第1クライアント装置10及び第2クライアント装置20に送信する。
The processor 32 of the second example of the modification 5 has the value of the first designated age transmitted from the first client device 10 in step S111 and the value of the second designated age transmitted from the second client device 20 in step S121. Calculate the difference in values (hereinafter referred to as "specified age difference").
The processor 32 generates a message to be presented to the first user and the second user by inputting the designated age difference into the message generation model, and generates message data including the message in the first client device 10 and the first client device 10. 2 Transmit to the client device 20.
 変形例5によれば、第1ユーザ及び第2ユーザの少なくとも1人の指定年齢に応じて、会話を促すメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進させることができる。 According to the modification 5, a message prompting a conversation is presented according to the designated age of at least one of the first user and the second user. Thereby, the conversation between the first user and the second user can be further promoted.
(4-6)変形例6
 変形例6を説明する。変形例6は、第1ユーザ及び第2ユーザのリプレイ動画を再生する例である。
(4-6) Modification 6
A modification 6 will be described. Modification 6 is an example of playing back the replay moving images of the first user and the second user.
 変形例6のプロセッサ12又は22は、ユーザの指示に応じて、リプレイ動画の再生を要求するためのリプレイリクエストデータをホスト装置30に送信する。 The processor 12 or 22 of the modification 6 transmits the replay request data for requesting the reproduction of the replay moving image to the host device 30 according to the instruction of the user.
 プロセッサ32は、第1クライアント装置10又は第2クライアント装置20から送信されたリプレイリクエストデータに応じて、記憶装置31に記憶された以下の情報を合成することにより、リプレイ動画を生成する。
 ・第1顔画像
 ・第1予測顔画像
 ・第1音声
 ・第2顔画像
 ・第2予測顔画像
 ・第2音声
The processor 32 generates a replay moving image by synthesizing the following information stored in the storage device 31 according to the replay request data transmitted from the first client device 10 or the second client device 20.
・ 1st face image ・ 1st predicted face image ・ 1st voice ・ 2nd face image ・ 2nd predicted face image ・ 2nd voice
 プロセッサ32は、リプレイ動画を第1クライアント装置10又は第2クライアント装置20に送信する。 The processor 32 transmits the replay moving image to the first client device 10 or the second client device 20.
 プロセッサ12又は22は、第1クライアント装置10又は第2クライアント装置20から送信されたリプレイ動画を再生する。これにより、ディスプレイ16又は26には、リプレイ動画の画像が表示される。スピーカ18又は28からは、リプレイ動画の音声が出力される。 The processor 12 or 22 reproduces the replay moving image transmitted from the first client device 10 or the second client device 20. As a result, the image of the replay moving image is displayed on the display 16 or 26. The sound of the replay moving image is output from the speaker 18 or 28.
 変形例6によれば、第1ユーザ及び第2ユーザの会話の記録であるリプレイ動画が提供される。これにより、ユーザに対して、会話のモチベーションを与えることができる。 According to the modification 6, a replay video that is a record of conversations between the first user and the second user is provided. This can give the user motivation for conversation.
 なお、変形例6では、プロセッサ12又は22は、リプレイ動画のファイルをホスト装置30に保存しても良い。
 ホスト装置30がウェブサーバである場合、ホスト装置30は、リプレイ動画のファイルにURL(Uniform Resource Locator)を割り当てる。
 ホスト装置30は、第1ユーザ、第2ユーザ、並びに、第1ユーザ及び第2ユーザとは異なる第3ユーザ(つまり、第三者)の閲覧リクエストに応じて、閲覧リクエストを行ったユーザが使用するクライアント装置を介して、リプレイ動画を提示する。閲覧リクエストは、例えば、リプレイ動画のファイルが保存されたウェブサーバのアドレス(一例として、URL(Uniform Resource Locator))に対するアクセスである。
 これにより、第1ユーザ~第3ユーザの少なくとも1人に対して、会話の終了後にリプレイ動画を提供することができる。
In the sixth modification, the processor 12 or 22 may save the replay moving image file in the host device 30.
When the host device 30 is a web server, the host device 30 assigns a URL (Uniform Resource Locator) to the replay video file.
The host device 30 is used by the first user, the second user, and the user who made the browsing request in response to the browsing request of the third user (that is, a third party) different from the first user and the second user. The replay video is presented via the client device. The browsing request is, for example, an access to the address of the web server (for example, a URL (Uniform Resource Locator)) in which the replay video file is stored.
Thereby, the replay moving image can be provided to at least one of the first user to the third user after the conversation is completed.
(5)本実施形態の小括
 本実施形態について小括する。
(5) Summary of the present embodiment A summary of the present embodiment will be given.
 本実施形態の第1態様は、
 複数のユーザの会話を支援する情報処理装置(例えば、ホスト装置30)であって、
 第1ユーザの第1顔画像を取得する手段(ステップS130の処理を実行するプロセッサ32)を備え、
 第1ユーザの第1音声を取得する手段(ステップS133の処理を実行するプロセッサ32)を備え、
 第2ユーザの第2顔画像を取得する手段(ステップS130の処理を実行するプロセッサ32)を備え、
 第2ユーザの第2音声を取得する手段(ステップS133の処理を実行するプロセッサ32)を備え、
 第1顔画像に基づいて、第1ユーザの年齢から加齢又は減齢した第1指定年齢における第1ユーザの第1予測顔画像を生成する手段(ステップS131の処理を実行するプロセッサ32)を備え、
 第2顔画像に基づいて、第2ユーザの年齢から加齢又は減齢した第2指定年齢における第2ユーザの第2予測顔画像を生成する手段(ステップS131の処理を実行するプロセッサ32)を備え、
 第1予測顔画像を第2ユーザに提示する手段(ステップS132の処理を実行するプロセッサ32)を備え、
 第2予測顔画像を第1ユーザに提示する手段(ステップS132の処理を実行するプロセッサ32)を備え、
 第1ユーザ及び第2ユーザの少なくとも1人に対して発話を促すメッセージを生成する手段(ステップS132の処理を実行するプロセッサ32)を備え、
 第1ユーザ及び第2ユーザの少なくとも1人に対してメッセージを提示する手段(ステップS132の処理を実行するプロセッサ32)を備え、
 メッセージに応じた第2音声を第1ユーザに提示する手段(ステップS133の処理を実行するプロセッサ32)を備え、
 メッセージに応じた第1音声を第2ユーザに提示する手段(ステップS133の処理を実行するプロセッサ32)を備える、
情報処理装置である。
The first aspect of this embodiment is
An information processing device (for example, a host device 30) that supports conversations between a plurality of users.
A means for acquiring the first face image of the first user (processor 32 that executes the process of step S130) is provided.
A means for acquiring the first voice of the first user (processor 32 that executes the process of step S133) is provided.
A means for acquiring a second face image of a second user (processor 32 that executes the process of step S130) is provided.
A means for acquiring the second voice of the second user (processor 32 that executes the process of step S133) is provided.
A means (processor 32 that executes the process of step S131) for generating a first predicted face image of a first user at a first designated age that has been aged or decreased from the age of the first user based on the first face image. Prepare,
A means (processor 32 that executes the process of step S131) for generating a second predicted face image of a second user at a second designated age that has been aged or decreased from the age of the second user based on the second face image. Prepare,
A means for presenting the first predicted face image to the second user (processor 32 that executes the process of step S132) is provided.
A means for presenting the second predicted face image to the first user (processor 32 that executes the process of step S132) is provided.
A means for generating a message prompting at least one of the first user and the second user to speak (processor 32 that executes the process of step S132) is provided.
A means for presenting a message to at least one of a first user and a second user (processor 32 that executes the process of step S132) is provided.
A means (processor 32 that executes the process of step S133) for presenting the second voice corresponding to the message to the first user is provided.
A means (processor 32 that executes the process of step S133) for presenting the first voice corresponding to the message to the second user is provided.
It is an information processing device.
 第1態様によれば、第1ユーザの第1指定年齢に応じた第1予測画像を第2ユーザに提示し、第2ユーザの第2指定年齢に応じた第2予測画像を第1ユーザに提示し、且つ、第1ユーザ及び第2ユーザの少なくとも1人に発話を促すメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話を促進することができる。 According to the first aspect, the first predicted image corresponding to the first designated age of the first user is presented to the second user, and the second predicted image corresponding to the second designated age of the second user is presented to the first user. Present and present a message prompting at least one of the first user and the second user to speak. Thereby, the conversation between the first user and the second user can be promoted.
 本実施形態の第2態様は、
 第1顔画像に基づいて、第1ユーザの感情を解析する手段(ステップS133の処理を実行するプロセッサ32)を備え、
 第2顔画像に基づいて、第2ユーザの感情を解析する手段(ステップS133の処理を実行するプロセッサ32)を備え、
 メッセージを生成する手段は、第1ユーザの感情及び第2ユーザの感情の少なくとも1つに応じたメッセージを生成する、
情報処理装置である。
The second aspect of this embodiment is
A means for analyzing the emotion of the first user based on the first face image (processor 32 that executes the process of step S133) is provided.
A means for analyzing the emotion of the second user based on the second face image (processor 32 that executes the process of step S133) is provided.
The means for generating a message generates a message according to at least one of the emotions of the first user and the emotions of the second user.
It is an information processing device.
 第2態様によれば、第1ユーザの感情及び第2ユーザの感情の少なくとも1つに応じたメッセージを第1ユーザ及び第2ユーザの少なくとも1人に提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進することができる。 According to the second aspect, a message corresponding to at least one of the emotions of the first user and the emotions of the second user is presented to at least one of the first user and the second user. Thereby, the conversation between the first user and the second user can be further promoted.
 本実施形態の第3態様は、
 第1音声に基づいて、第1ユーザの感情を解析する手段(ステップS133の処理を実行するプロセッサ32)を備え、
 第2音声に基づいて、第2ユーザの感情を解析する手段(ステップS133の処理を実行するプロセッサ32)を備え、
 メッセージを生成する手段は、第1ユーザの感情及び第2ユーザの感情の少なくとも1つに応じたメッセージを生成する、
情報処理装置である。
The third aspect of this embodiment is
A means for analyzing the emotion of the first user based on the first voice (processor 32 that executes the process of step S133) is provided.
A means for analyzing the emotion of the second user based on the second voice (processor 32 that executes the process of step S133) is provided.
The means for generating a message generates a message according to at least one of the emotions of the first user and the emotions of the second user.
It is an information processing device.
 第3態様によれば、第1ユーザの感情及び第2ユーザの感情の少なくとも1つに応じたメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進することができる。 According to the third aspect, a message corresponding to at least one of the emotions of the first user and the emotions of the second user is presented. Thereby, the conversation between the first user and the second user can be further promoted.
 本実施形態の第4態様は、
 第1音声に基づいて、第1音声の文脈を解析する手段(例えば、変形例1のプロセッサ32)を備え、
 第2音声に基づいて、第2音声の文脈を解析する手段(例えば、変形例1のプロセッサ32)を備え、
 メッセージを生成する手段は、第1音声の文脈及び第2音声の文脈の少なくとも1つに応じたメッセージを生成する、
情報処理装置である。
The fourth aspect of this embodiment is
A means for analyzing the context of the first voice based on the first voice (for example, the processor 32 of the first modification) is provided.
A means for analyzing the context of the second voice based on the second voice (for example, the processor 32 of the first modification) is provided.
The means for generating a message generates a message according to at least one of a first voice context and a second voice context.
It is an information processing device.
 第4態様によれば、第1ユーザ及び第2ユーザの少なくとも1人が発話した音声の文脈に応じたメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進することができる。 According to the fourth aspect, a message according to the context of the voice spoken by at least one of the first user and the second user is presented. Thereby, the conversation between the first user and the second user can be further promoted.
 本実施形態の第5態様は、
 第1ユーザの環境に関する第1環境情報を取得する手段を備え、
 第2ユーザの環境に関する第2環境情報を取得する手段を備え、
 メッセージを生成する手段は、第1環境情報及び第2環境情報の少なくとも1つに応じたメッセージを生成する、
情報処理装置である。
A fifth aspect of this embodiment is
With a means to acquire the first environment information about the environment of the first user,
With a means to acquire the second environment information about the environment of the second user,
The means for generating a message generates a message corresponding to at least one of the first environment information and the second environment information.
It is an information processing device.
 第5態様によれば、第1ユーザ及び第2ユーザの少なくとも1人の環境に応じたメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進することができる。 According to the fifth aspect, a message corresponding to the environment of at least one of the first user and the second user is presented. Thereby, the conversation between the first user and the second user can be further promoted.
 本実施形態の第6態様は、
 第1環境情報及び第2環境情報は、温度情報、湿度情報、及び、紫外線情報の少なくとも1つを含む、
情報処理装置である。
The sixth aspect of this embodiment is
The first environmental information and the second environmental information include at least one of temperature information, humidity information, and ultraviolet light information.
It is an information processing device.
 第6態様によれば、第1ユーザの環境における温度、湿度、及び、紫外線、並びに、第2ユーザの環境における温度、湿度、及び、紫外線の少なくとも1つに応じたメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進することができる。 According to the sixth aspect, a message corresponding to at least one of the temperature, humidity, and ultraviolet rays in the environment of the first user and the temperature, humidity, and ultraviolet rays in the environment of the second user is presented. Thereby, the conversation between the first user and the second user can be further promoted.
 本実施形態の第7態様は、
 メッセージを生成する手段は、第1ユーザの属性及び第2ユーザの属性の組合せに応じたメッセージを生成する、
情報処理装置である。
The seventh aspect of this embodiment is
The means for generating the message generates a message according to the combination of the attributes of the first user and the attributes of the second user.
It is an information processing device.
 第7態様によれば、第1ユーザの属性及び第2ユーザの属性の組合せに応じたメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進することができる。 According to the seventh aspect, a message corresponding to the combination of the attributes of the first user and the attributes of the second user is presented. Thereby, the conversation between the first user and the second user can be further promoted.
 本実施形態の第8態様は、
 属性は、ユーザの年齢及び性別の少なくとも1つを含む、
情報処理装置である。
The eighth aspect of this embodiment is
The attribute includes at least one of the user's age and gender,
It is an information processing device.
 第7態様によれば、第1ユーザの年齢及び性別の少なくとも1つと、第2ユーザの年齢及び性別の少なくとも1つと、の組合せに応じたメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進することができる。 According to the seventh aspect, a message corresponding to a combination of at least one of the age and gender of the first user and at least one of the age and gender of the second user is presented. Thereby, the conversation between the first user and the second user can be further promoted.
 本実施形態の第9態様は、
 メッセージを生成する手段は、第1ユーザと第2ユーザとの関係に応じたメッセージを生成する、
情報処理装置である。
The ninth aspect of this embodiment is
The means for generating a message generates a message according to the relationship between the first user and the second user.
It is an information processing device.
 第9態様によれば、第1ユーザ及び第2ユーザの関係に応じたメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進することができる。 According to the ninth aspect, a message corresponding to the relationship between the first user and the second user is presented. Thereby, the conversation between the first user and the second user can be further promoted.
 本実施形態の第10態様は、
 メッセージを生成する手段は、第1指定年齢及び第2指定年齢の組合せに応じたメッセージを生成する、
情報処理装置である。
The tenth aspect of this embodiment is
The means for generating a message generates a message according to a combination of a first designated age and a second designated age.
It is an information processing device.
 第10態様によれば、第1ユーザの第1指定年齢及び第2ユーザの第2指定年齢の組合せに応じたメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進することができる。 According to the tenth aspect, a message corresponding to the combination of the first designated age of the first user and the second designated age of the second user is presented. Thereby, the conversation between the first user and the second user can be further promoted.
 本実施形態の第11態様は、
 メッセージを生成する手段は、第1指定年齢及び第2指定年齢の大小関係及び指定年齢差の少なくとも1つに応じたメッセージを提示する、
情報処理装置である。
The eleventh aspect of this embodiment is
The means for generating the message presents a message according to at least one of the magnitude relationship between the first designated age and the second designated age and the designated age difference.
It is an information processing device.
 第11態様によれば、第1ユーザの第1指定年齢及び第2ユーザの第2指定年齢の大小関係及び指定年齢差の少なくとも1つに応じたメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進することができる。 According to the eleventh aspect, a message corresponding to at least one of the magnitude relationship between the first designated age of the first user and the second designated age of the second user and the designated age difference is presented. Thereby, the conversation between the first user and the second user can be further promoted.
 本実施形態の第12態様は、
 第2ユーザに対する第1ユーザの視線と、第1ユーザに対する第2ユーザの視線と、を遮る位置に配置された遮蔽部W1を備える、
情報処理装置である。
The twelfth aspect of this embodiment is
A shielding unit W1 is provided at a position that blocks the line of sight of the first user with respect to the second user and the line of sight of the second user with respect to the first user.
It is an information processing device.
 第12態様によれば、遮蔽部W1が第1ユーザ及び第2ユーザが互いの表情を直接認知できない環境を構築する。第1ユーザ及び第2ユーザは、それぞれ、第2予測画像及び第1予測画像を見ながら会話するように誘導される。これにより、第1ユーザ及び第2ユーザの会話をより促進することができる。 According to the twelfth aspect, the shielding unit W1 constructs an environment in which the first user and the second user cannot directly recognize each other's facial expressions. The first user and the second user are guided to talk while looking at the second predicted image and the first predicted image, respectively. Thereby, the conversation between the first user and the second user can be further promoted.
 本実施形態の第13態様は、
 第1顔画像、第2顔画像、第1予測顔画像、第2予測顔画像、第1音声、及び、第2音声の組合せを含むログデータと、会話の経過時間と、を関連付けて記憶する手段(例えば、ステップS135を実行するプロセッサ32)を備え、
 経過時間に関連付けられたログデータを用いてリプレイ動画を生成する手段(例えば、変形例6のプロセッサ32)を備え、
 第1ユーザ、第2ユーザ、並びに、第1ユーザ及び第2ユーザ以外の第3ユーザの少なくとも1人に提示する手段(例えば、変形例6のプロセッサ32)を備える、
情報処理装置である。
The thirteenth aspect of this embodiment is
The log data including the combination of the first face image, the second face image, the first predicted face image, the second predicted face image, the first voice, and the second voice is stored in association with the elapsed time of the conversation. The means (for example, the processor 32 that executes step S135) is provided.
A means for generating a replay video using the log data associated with the elapsed time (for example, the processor 32 of the modification 6) is provided.
A means for presenting to at least one of a first user, a second user, and a third user other than the first user and the second user (for example, the processor 32 of the modification 6) is provided.
It is an information processing device.
 第13態様によれば、リプレイ動画が提供される。これにより、第1ユーザ~第3ユーザの少なくとも1人は、会話の終了後に、会話の様子を閲覧することができる。 According to the thirteenth aspect, the replay video is provided. As a result, at least one of the first user to the third user can view the state of the conversation after the conversation is completed.
 本実施形態の第14態様は、
 会話の終了後に、第1ユーザの第1記念画像と、第2ユーザの第2記念画像と、を取得する手段(例えば、ステップS135を実行するプロセッサ32)を備える、
情報処理装置である。
The fourteenth aspect of this embodiment is
A means for acquiring the first commemorative image of the first user and the second commemorative image of the second user after the end of the conversation (for example, the processor 32 that executes step S135) is provided.
It is an information processing device.
 第14態様によれば、第1ユーザの第1記念画像及び第2ユーザの第2記念画像の組合せを取得する。これにより、会話の記念画像を保存することができる。 According to the 14th aspect, a combination of the first commemorative image of the first user and the second commemorative image of the second user is acquired. This makes it possible to save a commemorative image of the conversation.
 本実施形態の第15態様は、
 第1予測顔画像及び第2予測画像を第1ユーザ及び第2ユーザに提示する手段(例えば、ステップS130を実行するプロセッサ32)を備える、
情報処理装置である。
The fifteenth aspect of this embodiment is
A means for presenting the first predicted face image and the second predicted face image to the first user and the second user (for example, the processor 32 that executes step S130) is provided.
It is an information processing device.
 第15態様によれば、第1予測画像及び第2予測画像の組合せを、第1ユーザ及び第2ユーザに提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進することができる。 According to the fifteenth aspect, the combination of the first predicted image and the second predicted image is presented to the first user and the second user. Thereby, the conversation between the first user and the second user can be further promoted.
 本実施形態の第16態様は、
 本実施形態の第16態様は、
 複数のユーザの会話を支援する情報処理方法であって、
 第1ユーザの第1顔画像を取得するステップ(ステップS130)を備え、
 第1ユーザの第1音声を取得するステップ(ステップS133)を備え、
 第2ユーザの第2顔画像を取得するステップ(ステップS130)を備え、
 第2ユーザの第2音声を取得するステップ(ステップS133)を備え、
 第1顔画像に基づいて、第1ユーザの年齢から加齢又は減齢した第1指定年齢における第1ユーザの第1予測顔画像を生成するステップ(ステップS131)を備え、
 第2顔画像に基づいて、第2ユーザの年齢から加齢又は減齢した第2指定年齢における第2ユーザの第2予測顔画像を生成するステップ(ステップS131)を備え、
 第1予測顔画像を第2ユーザに提示するステップ(ステップS132)を備え、
 第2予測顔画像を第1ユーザに提示するステップ(ステップS132)を備え、
 第1ユーザ及び第2ユーザの少なくとも1人に対して発話を促すメッセージを生成するステップ(ステップS132)を備え、
 第1ユーザ及び第2ユーザの少なくとも1人に対してメッセージを提示するステップ(ステップS132)を備え、
 メッセージに応じた第2音声を第1ユーザに提示するステップ(ステップS133)を備え、
 メッセージに応じた第1音声を第2ユーザに提示するステップ(ステップS133)を備える、
情報処理方法である。
The sixteenth aspect of this embodiment is
The sixteenth aspect of this embodiment is
An information processing method that supports conversations between multiple users.
The step (step S130) for acquiring the first face image of the first user is provided.
The step (step S133) for acquiring the first voice of the first user is provided.
The step (step S130) for acquiring the second face image of the second user is provided.
The step (step S133) for acquiring the second voice of the second user is provided.
A step (step S131) of generating a first predicted face image of a first user at a first designated age that has been aged or decreased from the age of the first user based on the first face image is provided.
A step (step S131) of generating a second predicted face image of a second user at a second designated age that has been aged or decreased from the age of the second user based on the second face image is provided.
A step (step S132) of presenting the first predicted face image to the second user is provided.
A step (step S132) of presenting the second predicted face image to the first user is provided.
A step (step S132) of generating a message prompting at least one of the first user and the second user to speak is provided.
A step (step S132) of presenting a message to at least one of a first user and a second user is provided.
The step (step S133) of presenting the second voice corresponding to the message to the first user is provided.
A step (step S133) of presenting the first voice corresponding to the message to the second user is provided.
It is an information processing method.
 本実施形態の第17態様は、
 コンピュータ(例えば、プロセッサ12、22、及び、32の少なくとも1つ)を、上記の各手段として機能させるためのプログラムである。
The seventeenth aspect of this embodiment is
A program for causing a computer (for example, at least one of processors 12, 22, and 32) to function as each of the above means.
(6)その他の変形例
 その他の変形例を説明する。
(6) Other Modification Examples Other modification examples will be described.
 記憶装置11は、ネットワークNWを介して、第1クライアント装置10と接続されてもよい。記憶装置31は、ネットワークNWを介して、ホスト装置30と接続されてもよい。 The storage device 11 may be connected to the first client device 10 via the network NW. The storage device 31 may be connected to the host device 30 via the network NW.
 上記の情報処理のホスト装置30の各ステップは、第1クライアント装置10及び第2クライアント装置20でも実行可能である。この場合、第1クライアント装置10及び第2クライアント装置20は、ホスト装置30にリクエストを送信することなく、スタンドアロンで動作する情報処理装置として機能する。 Each step of the information processing host device 30 described above can also be executed by the first client device 10 and the second client device 20. In this case, the first client device 10 and the second client device 20 function as information processing devices that operate standalone without transmitting a request to the host device 30.
 ホスト装置30は、サーバ(例えば、ウェブサーバ)であっても良い。この場合、第1クライアント装置10及び第2クライアント装置20は、例えば、インターネットを介してサーバに接続される。 The host device 30 may be a server (for example, a web server). In this case, the first client device 10 and the second client device 20 are connected to the server via, for example, the Internet.
 以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。 Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited to the above embodiments. Further, the above-described embodiment can be improved or modified in various ways without departing from the spirit of the present invention. Moreover, the above-described embodiment and modification can be combined.
1     :情報処理システム
10    :第1クライアント装置
11    :記憶装置
12    :プロセッサ
13    :入出力インタフェース
14    :通信インタフェース
15    :カメラ
16    :ディスプレイ
17    :マイクロフォン
18    :スピーカ
20    :第2クライアント装置
21    :記憶装置
22    :プロセッサ
23    :入出力インタフェース
24    :通信インタフェース
25    :カメラ
26    :ディスプレイ
27    :マイクロフォン
28    :スピーカ
30    :ホスト装置
31    :記憶装置
32    :プロセッサ
33    :入出力インタフェース
34    :通信インタフェース


 
1: Information processing system 10: First client device 11: Storage device 12: Processor 13: Input / output interface 14: Communication interface 15: Camera 16: Display 17: Microphone 18: Speaker 20: Second client device 21: Storage device 22 : Processor 23: Input / output interface 24: Communication interface 25: Camera 26: Display 27: Microphone 28: Speaker 30: Host device 31: Storage device 32: Processor 33: Input / output interface 34: Communication interface


Claims (17)

  1.  複数のユーザの会話を支援する情報処理装置であって、
     第1ユーザの第1顔画像を取得する手段を備え、
     前記第1ユーザの第1音声を取得する手段を備え、
     第2ユーザの第2顔画像を取得する手段を備え、
     前記第2ユーザの第2音声を取得する手段を備え、
     前記第1顔画像に基づいて、前記第1ユーザの年齢から加齢又は減齢した第1指定年齢における前記第1ユーザの第1予測顔画像を生成する手段を備え、
     前記第2顔画像に基づいて、前記第2ユーザの年齢から加齢又は減齢した第2指定年齢における前記第2ユーザの第2予測顔画像を生成する手段を備え、
     前記第1予測顔画像を前記第2ユーザに提示する手段を備え、
     前記第2予測顔画像を前記第1ユーザに提示する手段を備え、
     前記第1ユーザ及び前記第2ユーザの少なくとも1人に対して発話を促すメッセージを生成する手段を備え、
     前記第1ユーザ及び前記第2ユーザの少なくとも1人に対して前記メッセージを提示する手段を備え、
     前記メッセージに応じた第2音声を前記第1ユーザに提示する手段を備え、
     前記メッセージに応じた第1音声を前記第2ユーザに提示する手段を備える、
    情報処理装置。
    An information processing device that supports conversations between multiple users.
    A means for acquiring the first face image of the first user is provided.
    A means for acquiring the first voice of the first user is provided.
    Provided with a means for acquiring the second face image of the second user,
    A means for acquiring the second voice of the second user is provided.
    A means for generating a first predicted face image of the first user at a first designated age aged or decreased from the age of the first user based on the first face image is provided.
    A means for generating a second predicted face image of the second user at a second designated age aged or decreased from the age of the second user based on the second face image is provided.
    A means for presenting the first predicted face image to the second user is provided.
    A means for presenting the second predicted face image to the first user is provided.
    A means for generating a message prompting the first user and at least one of the second users to speak is provided.
    A means for presenting the message to at least one of the first user and the second user.
    A means for presenting a second voice corresponding to the message to the first user is provided.
    A means for presenting the first voice corresponding to the message to the second user.
    Information processing device.
  2.  前記第1顔画像に基づいて、前記第1ユーザの感情を解析する手段を備え、
     前記第2顔画像に基づいて、前記第2ユーザの感情を解析する手段を備え、
     前記メッセージを生成する手段は、前記第1ユーザの感情及び前記第2ユーザの感情の少なくとも1つに応じたメッセージを生成する、
    請求項1に記載の情報処理装置。
    A means for analyzing the emotion of the first user based on the first face image is provided.
    A means for analyzing the emotion of the second user based on the second face image is provided.
    The means for generating the message generates a message corresponding to at least one of the emotions of the first user and the emotions of the second user.
    The information processing device according to claim 1.
  3.  前記第1音声に基づいて、前記第1ユーザの感情を解析する手段を備え、
     前記第2音声に基づいて、前記第2ユーザの感情を解析する手段を備え、
     前記メッセージを生成する手段は、前記第1ユーザの感情及び前記第2ユーザの感情の少なくとも1つに応じたメッセージを生成する、
    請求項1又は2に記載の情報処理装置。
    A means for analyzing the emotion of the first user based on the first voice is provided.
    A means for analyzing the emotion of the second user based on the second voice is provided.
    The means for generating the message generates a message corresponding to at least one of the emotions of the first user and the emotions of the second user.
    The information processing device according to claim 1 or 2.
  4.  前記第1音声に基づいて、前記第1音声の文脈を解析する手段を備え、
     前記第2音声に基づいて、前記第2音声の文脈を解析する手段を備え、
     前記メッセージを生成する手段は、前記第1音声の文脈及び前記第2音声の文脈の少なくとも1つに応じたメッセージを生成する、
    請求項1~3の何れかに記載の情報処理装置。
    A means for analyzing the context of the first voice based on the first voice is provided.
    A means for analyzing the context of the second voice based on the second voice is provided.
    The means for generating the message generates a message according to at least one of the context of the first voice and the context of the second voice.
    The information processing device according to any one of claims 1 to 3.
  5.  前記第1ユーザの環境に関する第1環境情報を取得する手段を備え、
     前記第2ユーザの環境に関する第2環境情報を取得する手段を備え、
     前記メッセージを生成する手段は、前記第1環境情報及び前記第2環境情報の少なくとも1つに応じたメッセージを生成する、
    請求項1~4の何れかに記載の情報処理装置。
    A means for acquiring the first environment information regarding the environment of the first user is provided.
    A means for acquiring the second environment information regarding the environment of the second user is provided.
    The means for generating the message generates a message corresponding to at least one of the first environmental information and the second environmental information.
    The information processing device according to any one of claims 1 to 4.
  6.  前記第1環境情報及び前記第2環境情報は、温度情報、湿度情報、及び、紫外線情報の少なくとも1つを含む、
    請求項5に記載の情報処理装置。
    The first environmental information and the second environmental information include at least one of temperature information, humidity information, and ultraviolet light information.
    The information processing device according to claim 5.
  7.  前記メッセージを生成する手段は、前記第1ユーザの属性及び前記第2ユーザの属性の組合せに応じたメッセージを生成する、
    請求項1~6の何れかに記載の情報処理装置。
    The means for generating the message generates a message according to the combination of the attributes of the first user and the attributes of the second user.
    The information processing device according to any one of claims 1 to 6.
  8.  前記属性は、ユーザの年齢及び性別の少なくとも1つを含む、
    請求項7に記載の情報処理装置。
    The attribute comprises at least one of the user's age and gender.
    The information processing device according to claim 7.
  9.  前記メッセージを生成する手段は、前記第1ユーザと前記第2ユーザとの関係に応じたメッセージを生成する、
    請求項1~8の何れかに記載の情報処理装置。
    The means for generating the message generates a message according to the relationship between the first user and the second user.
    The information processing device according to any one of claims 1 to 8.
  10.  前記メッセージを生成する手段は、前記第1指定年齢及び前記第2指定年齢の組合せに応じたメッセージを生成する、
    請求項1~9の何れかに記載の情報処理装置。
    The means for generating the message generates a message according to the combination of the first designated age and the second designated age.
    The information processing device according to any one of claims 1 to 9.
  11.  前記メッセージを生成する手段は、前記第1指定年齢及び前記第2指定年齢の大小関係及び指定年齢差の少なくとも1つに応じたメッセージを提示する、
    請求項10に記載の情報処理装置。
    The means for generating the message presents a message corresponding to at least one of the magnitude relationship between the first designated age and the second designated age and the designated age difference.
    The information processing device according to claim 10.
  12.  前記第2ユーザに対する前記第1ユーザの視線と、前記第1ユーザに対する前記第2ユーザの視線と、を遮る位置に配置された遮蔽部を備える、
    請求項1~11の何れかに記載の情報処理装置。
    A shielding unit is provided at a position that blocks the line of sight of the first user with respect to the second user and the line of sight of the second user with respect to the first user.
    The information processing device according to any one of claims 1 to 11.
  13.  前記第1顔画像、前記第2顔画像、前記第1予測顔画像、前記第2予測顔画像、前記第1音声、及び、前記第2音声の組合せを含むログデータと、会話の経過時間と、を関連付けて記憶する手段を備え、
     前記経過時間に関連付けられたログデータを用いてリプレイ動画を生成する手段を備え、
     前記第1ユーザ、前記第2ユーザ、並びに、前記第1ユーザ及び前記第2ユーザ以外の第3ユーザの少なくとも1人に提示する手段を備える、
    請求項1~12の何れかに記載の情報処理装置。
    Log data including a combination of the first face image, the second face image, the first predicted face image, the second predicted face image, the first voice, and the second voice, and the elapsed time of conversation. With means to associate and memorize,
    A means for generating a replay video using the log data associated with the elapsed time is provided.
    A means for presenting to at least one of the first user, the second user, and a third user other than the first user and the second user.
    The information processing device according to any one of claims 1 to 12.
  14.  前記会話の終了後に、前記第1ユーザの第1記念画像と、前記第2ユーザの第2記念画像と、を取得する手段を備える、
    請求項1~13の何れかに記載の情報処理装置。
    After the end of the conversation, the means for acquiring the first commemorative image of the first user and the second commemorative image of the second user is provided.
    The information processing device according to any one of claims 1 to 13.
  15.  前記第1予測顔画像及び第2予測画像を前記第1ユーザ及び前記第2ユーザに提示する手段を備える、
    請求項1~14の何れかに記載の情報処理装置。
    A means for presenting the first predicted face image and the second predicted face image to the first user and the second user is provided.
    The information processing device according to any one of claims 1 to 14.
  16.  複数のユーザの会話を支援する情報処理方法であって、
     第1ユーザの第1顔画像を取得するステップを備え、
     前記第1ユーザの第1音声を取得するステップを備え、
     第2ユーザの第2顔画像を取得するステップを備え、
     前記第2ユーザの第2音声を取得するステップを備え、
     前記第1顔画像に基づいて、前記第1ユーザの年齢から加齢又は減齢した第1指定年齢における前記第1ユーザの第1予測顔画像を生成するステップを備え、
     前記第2顔画像に基づいて、前記第2ユーザの年齢から加齢又は減齢した第2指定年齢における前記第2ユーザの第2予測顔画像を生成するステップを備え、
     前記第1予測顔画像を前記第2ユーザに提示するステップを備え、
     前記第2予測顔画像を前記第1ユーザに提示するステップを備え、
     前記第1ユーザ及び前記第2ユーザの少なくとも1人に対して発話を促すメッセージを生成するステップを備え、
     前記第1ユーザ及び前記第2ユーザの少なくとも1人に対して前記メッセージを提示するステップを備え、
     前記メッセージに応じた第2音声を前記第1ユーザに提示するステップを備え、
     前記メッセージに応じた第1音声を前記第2ユーザに提示するステップを備える、
    情報処理方法。
    An information processing method that supports conversations between multiple users.
    A step of acquiring the first face image of the first user is provided.
    The step of acquiring the first voice of the first user is provided.
    With the step of acquiring the second face image of the second user,
    The step of acquiring the second voice of the second user is provided.
    A step of generating a first predicted face image of the first user at a first designated age aged or decreased from the age of the first user based on the first face image is provided.
    A step of generating a second predicted face image of the second user at a second designated age aged or reduced from the age of the second user based on the second face image is provided.
    A step of presenting the first predicted face image to the second user is provided.
    A step of presenting the second predicted face image to the first user is provided.
    A step of generating a message prompting the first user and at least one of the second users to speak is provided.
    A step of presenting the message to at least one of the first user and the second user is provided.
    A step of presenting a second voice corresponding to the message to the first user is provided.
    A step of presenting a first voice corresponding to the message to the second user is provided.
    Information processing method.
  17.  コンピュータを、請求項1~15の何れかに記載の各手段として機能させるためのプログラム。 A program for making a computer function as each means according to any one of claims 1 to 15.
PCT/JP2020/040558 2019-11-08 2020-10-29 Information processing device, information processing method, and program WO2021090750A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019202887A JP2022176415A (en) 2019-11-08 2019-11-08 Information processing device and program
JP2019-202887 2019-11-08

Publications (1)

Publication Number Publication Date
WO2021090750A1 true WO2021090750A1 (en) 2021-05-14

Family

ID=75849686

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/040558 WO2021090750A1 (en) 2019-11-08 2020-10-29 Information processing device, information processing method, and program

Country Status (2)

Country Link
JP (1) JP2022176415A (en)
WO (1) WO2021090750A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410262A (en) * 2022-10-09 2022-11-29 刘鹏 Face image information prediction system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07255044A (en) * 1993-12-17 1995-10-03 Mitsubishi Electric Corp Animated electronic conference room and video conference system and method
JPH09135427A (en) * 1995-11-10 1997-05-20 Sharp Corp Television camera equipment
JP2009044299A (en) * 2007-08-07 2009-02-26 Nippon Telegr & Teleph Corp <Ntt> Automatic calling system, automatic call control method, terminal, terminal control method, service controller, and service control method
JP2010224802A (en) * 2009-03-23 2010-10-07 Hironobu Otoi Virtual face image creation device and virtual face image creation method
JP2016048569A (en) * 2015-10-16 2016-04-07 洋彰 宮崎 Artificial intelligence apparatus autonomously expanding knowledge by language input
WO2018074516A1 (en) * 2016-10-21 2018-04-26 株式会社Myth Information processing system
JP2019067433A (en) * 2012-12-28 2019-04-25 株式会社ユニバーサルエンターテインメント Subject provision system
JP2019159337A (en) * 2008-11-28 2019-09-19 株式会社半導体エネルギー研究所 Display device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07255044A (en) * 1993-12-17 1995-10-03 Mitsubishi Electric Corp Animated electronic conference room and video conference system and method
JPH09135427A (en) * 1995-11-10 1997-05-20 Sharp Corp Television camera equipment
JP2009044299A (en) * 2007-08-07 2009-02-26 Nippon Telegr & Teleph Corp <Ntt> Automatic calling system, automatic call control method, terminal, terminal control method, service controller, and service control method
JP2019159337A (en) * 2008-11-28 2019-09-19 株式会社半導体エネルギー研究所 Display device
JP2010224802A (en) * 2009-03-23 2010-10-07 Hironobu Otoi Virtual face image creation device and virtual face image creation method
JP2019067433A (en) * 2012-12-28 2019-04-25 株式会社ユニバーサルエンターテインメント Subject provision system
JP2016048569A (en) * 2015-10-16 2016-04-07 洋彰 宮崎 Artificial intelligence apparatus autonomously expanding knowledge by language input
WO2018074516A1 (en) * 2016-10-21 2018-04-26 株式会社Myth Information processing system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410262A (en) * 2022-10-09 2022-11-29 刘鹏 Face image information prediction system

Also Published As

Publication number Publication date
JP2022176415A (en) 2022-11-29

Similar Documents

Publication Publication Date Title
JP6866860B2 (en) Electronic conferencing system
JP6791197B2 (en) Electronic conferencing system
US11061700B2 (en) Virtual assistants using state-based artificial intelligence
US10257241B2 (en) Multimodal stream processing-based cognitive collaboration system
CN102771082B (en) There is the communication session between the equipment of mixed and interface
WO2018077214A1 (en) Information search method and apparatus
KR102428368B1 (en) Initializing a conversation with an automated agent via selectable graphical element
CN110730952A (en) Method and system for processing audio communication on network
WO2013091550A1 (en) Method and device for posting microblog message
WO2019165877A1 (en) Message pushing method, apparatus and device and storage medium
CN103455592A (en) Question answering method, device and system
KR102199434B1 (en) System and method for sharing message of messenger application
WO2021090750A1 (en) Information processing device, information processing method, and program
JP5729844B1 (en) Content evaluation apparatus, system, server apparatus, and terminal apparatus
CN114064943A (en) Conference management method, conference management device, storage medium and electronic equipment
CN116595148B (en) Method and system for realizing dialogue flow by using large language model
CN107783650A (en) A kind of man-machine interaction method and device based on virtual robot
WO2013123853A1 (en) Man-machine conversation method and device
WO2022119737A1 (en) Automated assistant for facilitating communications through dissimilar messaging features of different applications
US11347376B2 (en) Dynamic list composition based on modality of multimodal client device
CN110989910A (en) Interaction method, system, device, electronic equipment and storage medium
US11935530B2 (en) Multimodal responses
CN113767379A (en) Rendering content using content proxies and/or stored content parameters
US11164576B2 (en) Multimodal responses
US20220051675A1 (en) Multimodal responses

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20883810

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20883810

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP