WO2022091426A1 - 顔画像処理システム、顔画像生成用情報提供装置、顔画像生成用情報提供方法および顔画像生成用情報提供プログラム - Google Patents

顔画像処理システム、顔画像生成用情報提供装置、顔画像生成用情報提供方法および顔画像生成用情報提供プログラム Download PDF

Info

Publication number
WO2022091426A1
WO2022091426A1 PCT/JP2020/041819 JP2020041819W WO2022091426A1 WO 2022091426 A1 WO2022091426 A1 WO 2022091426A1 JP 2020041819 W JP2020041819 W JP 2020041819W WO 2022091426 A1 WO2022091426 A1 WO 2022091426A1
Authority
WO
WIPO (PCT)
Prior art keywords
facial expression
expression parameter
dialogue
estimated
face image
Prior art date
Application number
PCT/JP2020/041819
Other languages
English (en)
French (fr)
Inventor
一星 吉田
光理 柳川
Original Assignee
株式会社EmbodyMe
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社EmbodyMe filed Critical 株式会社EmbodyMe
Priority to US18/250,251 priority Critical patent/US20230317054A1/en
Publication of WO2022091426A1 publication Critical patent/WO2022091426A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/027—Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/51—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Definitions

  • the present invention relates to a face image processing system, a face image generation information providing device, a face image generation information providing method, and a face image generation information providing program, and more particularly, a facial expression of another person with respect to a face image of a synthetic target.
  • a facial expression of another person Is suitable for use in a system capable of generating a facial image adjusted with the facial expression of another person.
  • Non-Patent Document 1 a technique for synthesizing and displaying a facial expression of another person's face image with a face image of a person to be a synthetic target (hereinafter, may be referred to as a target face image) (for example, Non-Patent Document 1). reference).
  • some facial expression parameters representing the position and facial expression of the face are extracted from the facial image of the synthetic target, while the facial image of the other person is included in the moving image including the face of the other person.
  • the facial expression parameters of the target facial image By extracting some facial expression parameters that represent facial expressions and adjusting the facial expression parameters of the target facial image using the facial expression parameters of others, each part of the target facial image such as eyes, nose, and mouth is deformed.
  • Patent Documents 1 and 2 there is also known a technique of estimating a facial expression from voice and synthesizing the estimated facial expression with a target facial image and displaying it (see, for example, Patent Documents 1 and 2).
  • the videophone terminal device described in Patent Document 1 generates facial expression data for adding facial expressions to a facial image based on a voice signal input from a voice input unit, while contours, eyes, and the like are generated based on user operations.
  • Generates basic facial expression data showing the size and position of each part of the face such as the mouth. Then, by combining the basic face data and the facial expression data, a portrait image of the speaker is created as a moving image.
  • a facial expression estimation model of a neural network that estimates a speaker's facial expression from a speaker's voice is machine-learned and set on the receiving side, and the speaker's voice is transmitted on the transmitting side.
  • the facial expression of the speaker is estimated, and a moving image of the estimated facial expression of the speaker is generated.
  • Patent Document 3 A system that reproduces facial expressions and mouth shapes from different parameters is also known (see, for example, Patent Document 3).
  • facial expression analysis and facial expression parameter conversion processing are performed on the original facial expression image to obtain facial expression deformation parameters (other than the mouth) for the three-dimensional model, while feature extraction is performed on the original voice.
  • Sound element recognition, and mouth shape parameter conversion are performed to obtain the mouth shape parameter.
  • a decoded image is obtained by transforming the three-dimensional model with the facial expression deformation parameter and the mouth shape parameter.
  • Japanese Unexamined Patent Publication No. 2005-57431 Japanese Patent No. 3485508 Japanese Unexamined Patent Publication No. 5-153581
  • Patent Documents 1 to 3 or Non-Patent Document 1 By using the techniques described in Patent Documents 1 to 3 or Non-Patent Document 1, it is possible to generate and display a facial image in which the facial expression of the speaker is synthesized with the target facial image. It is an object of the present invention to further develop these techniques so that a facial image whose facial expression is adjusted according to the situation when a dialogue is being performed can be displayed.
  • the dialogue voice is based on the dialogue voice generated in response to the dialogue information sent by the user from the client device. While generating an estimated facial expression parameter that represents the facial expression estimated from, the actual facial expression parameter that represents the facial expression appearing in the captured facial image based on the captured facial image obtained by photographing a human face. Is generated, and either the estimated facial expression parameter or the actual facial expression parameter is selected and transmitted to the client device. Then, in the client device, by giving the target facial image a facial expression specified based on the facial expression parameters transmitted from the server device, the facial expression corresponding to the dialogue voice or the human photographed facial image generated by the computer of the server device. I am trying to generate a facial expression image of.
  • a dialogue is performed between the user of the client device and the computer of the server device, or a dialogue is performed between the user of the client device and the person on the server device side.
  • the client device can generate a facial expression whose facial expression is adjusted so as to correspond to either a computer dialogue voice or a human photographed facial image.
  • it is possible to display the facial image whose facial expression is adjusted according to the situation when the dialogue is being performed on the client device.
  • FIG. 1 is a diagram showing a configuration example of a face image processing system according to the present embodiment.
  • the face image processing system according to the present embodiment is configured by connecting a server device 100 and a client device 200 via a communication network 300 such as the Internet or a mobile phone network.
  • a communication network 300 such as the Internet or a mobile phone network.
  • a dialogue using voice and an image is performed between the user of the client device 200 and the computer of the server device 100.
  • a user sends an arbitrary question or request (corresponding to dialogue information in the claims) from the client device 200 to the server device 100, and the server device 100 generates an answer to the question or request to the client device 200.
  • the server device 100 has a so-called chatbot function.
  • the question or request transmitted from the client device 200 may be text information input by the user to the client device 200 using an operation device such as a keyboard or a touch panel, or the user may use the microphone to enter the client device 200. It may be the spoken voice information input to. Alternatively, it may be a tone signal transmitted when a dial key of a telephone associated with a predetermined question or request is operated, a control signal transmitted in response to a predetermined operation, or the like.
  • the answer returned from the server device 100 is synthetic speech information converted from the text information for the response generated by using a predetermined rule-based or machine-learned analysis model. In addition, text information may be returned together with synthetic voice information.
  • facial expression parameters some parameters related to facial expressions (hereinafter referred to as facial expression parameters) are transmitted from the server device 100 to the client device 200, and the facial expressions of the target facial image prepared in advance in the client device 200 are adjusted by the facial expression parameters. By doing so, a facial expression image corresponding to the synthetic voice of the answer is generated and displayed. Details of this will be described later.
  • the user of the client device 200 asks a question or request to the server device 100, and the chatbot of the server device 100 answers, but the content of the dialogue is not limited to this. not.
  • the content that the chatbot of the server device 100 asks a question to the user of the client device 200 and the user of the client device 200 gives an answer may be included in a series of repeated dialogues.
  • the user of the client device 200 and the chatbot of the server device 100 may have a dialogue that is not a question-and-answer format.
  • the dialogue between the user of the client device 200 and the chatbot of the server device 100 is also performed. That is, the dialogue with the chatbot and the dialogue with the operator are appropriately switched.
  • the client device 200 displays a facial image whose facial expression changes as the operator responds to the user.
  • the facial expression parameter is transmitted from the server device 100 to the client device 200, and the facial expression of the target face image prepared in advance is adjusted by the facial expression parameter to generate a facial expression image according to the response of the operator. Display.
  • FIG. 2 is a block diagram showing a functional configuration example of the server device 100 according to the present embodiment.
  • the server device 100 has a dialogue information receiving unit 101, a dialogue voice generation unit 102, a dialogue voice transmission unit 103, an estimated facial expression parameter generation unit 104, and a photographed facial image as functional configurations. It includes an input unit 105, a voice input unit 106, a facial expression parameter generation unit 107, a facial expression parameter selection unit 108, a state determination unit 109, and a facial expression parameter transmission unit 110.
  • the functions provided by the dialogue information receiving unit 101, the dialogue voice generation unit 102, and the dialogue voice transmission unit 103 are chatbot functions, and known techniques can be applied.
  • the estimated facial expression parameter generation unit 104, the actual facial expression parameter generation unit 107, the facial expression parameter selection unit 108, the state determination unit 109, and the facial expression parameter transmission unit 110 correspond to the components of the facial image generation information providing device according to the present invention. do.
  • Each of the above functional blocks 101 to 110 can be configured by any of hardware, DSP (Digital Signal Processor), and software.
  • DSP Digital Signal Processor
  • each of the above functional blocks 101 to 110 is actually configured to include a computer CPU, RAM, ROM, etc., and is a program stored in a recording medium such as RAM, ROM, hard disk, or semiconductor memory. Is realized by the operation of.
  • the functions of the functional blocks 104, 107 to 110 are realized by operating the information providing program for generating a face image.
  • FIG. 3 is a block diagram showing a functional configuration example of the client device 200 according to the present embodiment.
  • the client device 200 according to the present embodiment has, as functional configurations, a dialogue information transmission unit 201, a dialogue voice reception unit 202, a voice output unit 203, a facial expression parameter reception unit 204, a face image generation unit 205, and a face image generation unit 205.
  • the image output unit 206 is provided.
  • the face image generation unit 205 includes a facial expression parameter detection unit 205A, a facial expression parameter adjustment unit 205B, and a rendering unit 205C as more specific functional configurations.
  • the client device 200 includes a target face image storage unit 210 as a storage medium.
  • Each of the above functional blocks 201 to 206 can be configured by any of hardware, DSP, and software.
  • each of the above functional blocks 201 to 206 is actually configured to include a computer CPU, RAM, ROM, etc., and is a program stored in a recording medium such as RAM, ROM, hard disk, or semiconductor memory. Is realized by the operation of.
  • the dialogue information transmission unit 201 of the client device 200 transmits the dialogue information input to the client device 200 by the user to the server device 100.
  • the dialogue information is information related to natural conversation such as a question or request to the server device 100, an answer to a question from the server device 100, and a chat
  • the format of the information is text information, spoken voice information, and tone signal. Other control signals and the like.
  • the dialogue information receiving unit 101 of the server device 100 receives the dialogue information sent from the client device 200.
  • the dialogue voice generation unit 102 generates dialogue voice to be used in response to the dialogue information received by the dialogue information receiving unit 101.
  • the dialogue voice generation unit 102 analyzes the dialogue information sent from the client device 200 by using a predetermined rule-based or machine-learned analysis model, and is for a response corresponding to the dialogue information. Generate textual information for. Then, the dialogue voice generation unit 102 generates a synthetic voice from the text information, and outputs the synthetic voice as the dialogue voice.
  • the dialogue voice generated by using the chatbot function of the server device 100 in this way may be referred to as “bot voice”.
  • the dialogue voice transmission unit 103 transmits the dialogue voice (bot voice) generated by the dialogue voice generation unit 102 to the client device 200.
  • the dialogue voice receiving unit 202 of the client device 200 receives the dialogue voice (bot voice) transmitted from the server device 100.
  • the voice output unit 203 outputs the dialogue voice (bot voice) received by the dialogue voice reception unit 202 from a speaker (not shown).
  • the estimated facial expression parameter generation unit 104 of the server device 100 generates an estimated facial expression parameter representing a facial expression estimated from the dialogue voice based on the dialogue voice generated by the dialogue voice generation unit 102.
  • the estimated facial expression parameter generation unit 104 sets a facial expression estimation model by machine learning a neural network so as to estimate a facial expression from a dialogue voice and output a facial expression parameter.
  • the estimated facial expression parameter generation unit 104 inputs the dialogue voice generated by the dialogue voice generation unit 102 into this facial expression estimation model to obtain an estimated facial expression parameter representing the facial expression estimated from the dialogue voice. Generate.
  • the estimated facial expression parameter generated by the estimated facial expression parameter generation unit 104 is information that can specify the movement of each part of the face such as eyes, nose, mouth, eyebrows, and cheeks.
  • the movement of each part is a change between the position and shape of each part at a certain sampling time t and the position and shape of each part at the next sampling time t + 1.
  • the facial expression parameter that can specify this movement may be, for example, information representing the position and shape of each part of the face at each sampling time. Alternatively, it may be vector information representing a change in position and shape between sampling times.
  • the estimated facial expression parameter generation unit 104 identifies the dialogue content by, for example, voice recognition and natural language analysis of the dialogue voice, and inputs information representing the dialogue content into the facial expression estimation model to respond to the dialogue content. Generates an estimated facial expression parameter that represents the movement of the mouth. Further, the estimated facial expression parameter generation unit 104 estimates emotions by performing acoustic analysis on the dialogue voice, and inputs information expressing the emotions to the facial expression estimation model, so that each part corresponding to the emotions can be used. Generates estimated facial expression parameters that represent movement. Emotion estimation may be made taking into account the results of acoustic analysis of the dialogue speech, as well as the dialogue content identified by speech recognition and natural language analysis of the dialogue speech.
  • the photographed face image input unit 105 inputs a photographed face image obtained by photographing a human face with a camera (not shown).
  • the human is an operator who interacts with the user of the client device 200 on behalf of the chatbot (dialogue voice generated by the dialogue voice generation unit 102).
  • the chatbot interacts with the user in the initial state, but when a predetermined state is reached, the operator interacts with the user in place of the chatbot.
  • the photographed face image input unit 105 inputs the photographed face image when the operator is interacting with the user as a moving image from the camera (installed at the place where the operator is).
  • the voice input unit 106 inputs the utterance voice of the operator from a microphone (installed in the place where the operator is) (not shown) when the operator is interacting with the user on behalf of the chatbot.
  • the dialogue voice input by the voice input unit 106 when the operator is having a dialogue with the user of the client device 200 may be referred to as "operator voice”.
  • the dialogue voice (operator voice) input by the voice input unit 106 is transmitted to the client device 200 by the dialogue voice transmission unit 103.
  • the appearance facial expression parameter generation unit 107 generates an appearance facial expression parameter representing the facial expression appearing in the photographed face image based on the photographed face image input by the photographed face image input unit 105.
  • the appearing facial expression parameter generation unit 107 expresses the facial expression appearing in the photographed face image by analyzing the photographed face image when the operator's spoken voice is input by the voice input unit 106. Generate facial expression parameters.
  • the facial expression parameter generation unit 107 sets a facial expression detection model by machine learning a neural network so as to output facial expression parameters representing the position and shape of each part of the face from the facial image. Then, the appearing facial expression parameter generation unit 107 expresses a facial expression from the photographed face image by inputting the photographed face image input as a moving image by the photographed face image input unit 105 into this facial expression detection model for each frame. Facial expression parameters are detected frame by frame.
  • the facial expression parameter in this case is information representing the position and shape of each part of the face for each frame.
  • the facial expression parameter generation unit 107 uses information indicating the position and shape of each part of the face for each frame to generate vector information indicating changes between frames with respect to the position and shape of each part, and this is used. It may be generated as an appearance facial expression parameter.
  • the facial expression parameter selection unit 108 selects either the estimated facial expression parameter generated by the estimated facial expression parameter generation unit 104 or the actual facial expression parameter generated by the actual facial expression parameter generation unit 107.
  • the facial expression parameter selection unit 108 selects the estimated facial expression parameter when the chatbot is interacting with the user in the initial state, and selects the actual facial expression parameter when the operator is interacting with the user. ..
  • the state determination unit 109 determines whether the dialogue information receiving unit 101 is in a predetermined state in relation to at least one of the dialogue information received from the client device 200 and the dialogue voice generated by the dialogue voice generation unit 102. ..
  • the facial expression parameter selection unit 108 selects the estimated facial expression parameter in the initial state, and when the state determination unit 109 determines that the state is a predetermined state, the selection is switched from the estimated facial expression parameter to the actual facial expression parameter.
  • the state determination unit 109 determines whether or not the dialogue voice cannot be generated in response to the dialogue information.
  • the state determination unit 109 recognizes the utterance voice and has a meaning. Determine if it is interpretable. Then, when the state determination unit 109 determines that the dialogue voice cannot be generated, the facial expression parameter selection unit 108 switches the selection from the estimated facial expression parameter to the actual facial expression parameter.
  • the state determination unit 109 determines that the dialogue voice cannot be generated in the following cases, for example. (1) When the volume of the spoken voice received by the dialogue information receiving unit 101 is too low to recognize the voice. (2) When the accent of the spoken voice is too strong to recognize the voice. (3) When voice recognition is possible, but the meaning of the utterance content cannot be interpreted only with the dictionary data prepared in advance. (4) When the meaning cannot be interpreted because the utterance content is not related to the task given in advance to the chatbot. This (4) is a judgment condition that can be applied even when dialogue information is sent as text information.
  • the state determination unit 109 determines whether or not the content of the dialogue information received by the dialogue information receiving unit 101 is the content for which the response by the operator is requested instead of the response by the dialogue voice. May be good.
  • the facial expression parameter selection unit 108 switches the selection from the estimated facial expression parameter to the actual facial expression parameter when the state determination unit 109 determines that the dialogue information is the content for which the response by the operator is requested.
  • the state determination unit 109 the content of the dialogue information received by the dialogue information receiving unit 101 or the content of the dialogue voice generated by the dialogue voice generation unit 102 satisfies a predetermined condition. It may be determined whether or not. For example, a condition corresponding to the chatbot and a condition corresponding to the operator are set according to the content of the dialogue information, and the state determination unit 109 determines which condition is satisfied. Alternatively, depending on the content of the dialogue voice, a condition for the chatbot to continue the correspondence and a condition for switching to the operator's correspondence are set, and the state determination unit 109 determines which condition is satisfied. Then, the facial expression parameter selection unit 108 switches the selection from the estimated facial expression parameter to the actual facial expression parameter when the state determination unit 109 determines that the operator satisfies the corresponding condition.
  • the state determination unit 109 instructs the facial expression parameter selection unit 108 to switch the selection from the estimated facial expression parameter to the actual facial expression parameter, and at the same time, instructs the dialogue voice generation unit 102 to stop the processing by the dialogue voice generation unit 102.
  • the dialogue voice transmission unit 103 is instructed to switch the dialogue voice to be transmitted to the client device 200 from the bot voice to the operator voice.
  • the dialogue voice transmission unit 103 transmits the operator voice input by the voice input unit 106 to the client device 200 in place of the bot voice generated by the dialogue voice generation unit 102.
  • the announcement voice to that effect may be transmitted from the dialogue voice transmission unit 103 to the client device 200.
  • the operator who can take over the dialogue from the chatbot may be searched for and selected, and the selected operator may be notified.
  • the terminal used by the operator who has received the notification and performed the consent operation may be made to display the dialogue history by the chatbot, the information collected from the user during the dialogue by the chatbot, and the like.
  • the operator can recognize the dialogue information received by the dialogue information receiving unit 101. For example, when the dialogue information received by the dialogue information receiving unit 101 is the spoken voice information of the user, the spoken voice is output from the speaker for the operator. If the dialogue information is text information, a tone signal, or a control signal, the content indicated by the information is displayed on the operator's display. As a result, the operator can continue the dialogue with respect to the dialogue information by the user continuously transmitted from the client device 200.
  • the facial expression parameter transmission unit 110 transmits either the estimated facial expression parameter or the actual facial expression parameter selected by the facial expression parameter selection unit 108 to the client device 200.
  • the estimated facial expression parameter is generated based on the bot voice transmitted by the dialogue voice transmission unit 103. Therefore, the facial expression parameter transmission unit 110 uses the estimated facial expression parameter generated by the estimated facial expression parameter generation unit 104 so as to synchronize with the bot voice transmitted by the dialogue voice transmission unit 103 (or in association with the bot voice). It is transmitted to the client device 200.
  • the appearance facial expression parameter is generated from the photographed face image input from the photographed face image input unit 105 when the operator voice is input from the voice input unit 106. Therefore, the facial expression parameter transmission unit 110 synchronizes with the operator voice transmitted by the dialogue voice transmission unit 103 (or in association with the operator voice), and the actual facial expression parameter generated by the estimation facial expression parameter generation unit 104. Is transmitted to the client device 200.
  • the facial expression parameter receiving unit 204 of the client device 200 receives either the estimated facial expression parameter or the actual facial expression parameter transmitted from the server device 100.
  • the face image generation unit 205 is specified based on either the estimated facial expression parameter or the actual facial expression parameter received by the facial expression parameter receiving unit 204 with respect to the target facial image stored in advance in the target facial image storage unit 210. By giving a facial expression, a facial image corresponding to the bot voice or the photographed facial image of the operator is generated.
  • the image output unit 206 displays the face image generated by the face image generation unit 205 on a display (not shown).
  • the target face image stored in advance in the target face image storage unit 210 is, for example, a photographed image of an arbitrary person.
  • the facial expression of the target facial image may be any, but for example, it can be an expressionless facial image without emotions.
  • the target face image may be set as desired by the user. For example, it may be possible to freely set a face image of oneself, a face image of a favorite celebrity, a face image of a favorite painting, and the like. Although an example of using a photographed image has been described here, a face image or a CG image of a character appearing in a favorite manga may be used.
  • the facial expression parameter detection unit 205A of the face image generation unit 205 detects the facial expression parameter representing the facial expression of the target face image by analyzing the target face image stored in the target face image storage unit 210. For example, the facial expression parameter detection unit 205A sets a facial expression detection model by machine learning a neural network so as to output facial expression parameters representing the position and shape of each part of the face from the facial image. Then, the facial expression parameter detection unit 205A detects the facial expression parameter representing the facial expression from the target facial image by inputting the target facial image stored in the target facial image storage unit 210 into the facial expression detection model.
  • the facial expression parameter adjusting unit 205B adjusts the facial expression parameters of the target facial image detected by the facial expression parameter detecting unit 205A by the estimated facial expression parameters or the appearing facial expression parameters received by the facial expression parameter receiving unit 204. For example, the facial expression parameter adjusting unit 205B determines the facial expression parameters of the target facial image so that each part of the face in the target facial image is deformed according to the movement of each part of the face indicated by the estimated facial expression parameter or the actual facial expression parameter. Make changes to.
  • the rendering unit 205C corresponds to the bot voice or the photographed face image of the operator by using the target face image stored in the target face image storage unit 210 and the facial expression parameters of the target face image adjusted by the facial expression parameter adjusting unit 205B. Generates a facial expression in which the facial expression is given to the target facial image (that is, the facial expression of the target facial image is modified to a facial expression estimated from the bot voice or a facial expression corresponding to the actual facial expression of the operator). ..
  • the rendering unit 205C not only corrects the position, shape, and size of each part indicated by the facial expression parameters, but also corrects the peripheral area in accordance with the correction of each part, so that the entire face image is natural. Make it move. Further, when the target face image is in the state where the mouth is closed, but the mouth is in the open state which is adjusted based on the facial expression parameter, the image in the mouth is complemented and generated.
  • FIG. 4 is a flowchart showing an operation example of the server device 100 according to the present embodiment configured as described above.
  • the flowchart shown in FIG. 4 starts with receiving the first dialogue information from the client device 200 as a trigger when the server device 100 is in standby as an initial state.
  • the facial expression parameter selection unit 108 is set to a state in which it is selected to transmit the estimated facial expression parameter to the client device 200.
  • the dialogue information receiving unit 101 of the server device 100 determines whether or not the dialogue information by the user has been received from the client device 200 (step S1). If the dialogue information has not been received, the dialogue information receiving unit 101 continues the determination in step S1.
  • the dialogue voice generation unit 102 when the dialogue information receiving unit 101 receives the dialogue information from the client device 200, the dialogue voice generation unit 102 generates a dialogue voice (bot voice) to be used in response to the received dialogue information (bot voice). Step S2). Further, the estimated facial expression parameter generation unit 104 generates an estimated facial expression parameter representing a facial expression estimated from the bot voice based on the bot voice generated by the dialogue voice generation unit 102 (step S3).
  • the dialogue voice transmission unit 103 transmits the bot voice generated by the dialogue voice generation unit 102 to the client device 200 (step S4), and the estimated facial expression parameter generated by the estimation facial expression parameter generation unit 104 is used as the facial expression parameter.
  • the transmission unit 110 transmits to the client device 200 (step S5).
  • the state determination unit 109 determines whether the state is a predetermined state in relation to at least one of the dialogue information by the user and the bot voice generated from the dialogue information (step S6). Here, if the state determination unit 109 determines that the state is not a predetermined state, the process returns to step S1.
  • the dialogue voice generation unit 102 stops the bot voice generation process in response to the instruction from the state determination unit 109 (step S7), and the facial expression parameter.
  • the selection unit 108 switches the selection from the estimated facial expression parameter selected in the initial state to the actual facial expression parameter in response to the instruction from the state determination unit 109 (step S8).
  • the captured face image input unit 105 inputs the photographed face image of the operator from the camera (step S9), and the voice input unit 106 inputs the utterance voice of the operator from the microphone (step S10).
  • the appearance facial expression parameter generation unit 107 generates an appearance facial expression parameter representing the facial expression appearing in the photographed face image based on the photographed face image input by the photographed face image input unit 105 (step). S11).
  • the operator voice input by the voice input unit 106 is transmitted by the dialogue voice transmission unit 103 to the client device 200 (step S12), and the facial expression parameter generated by the facial expression parameter generation unit 107 is used as the facial expression parameter.
  • the transmission unit 110 transmits to the client device 200 instead of the estimated facial expression parameters up to that point (step S13).
  • the dialogue information by the user received by the dialogue information receiving unit 101 is presented to the operator. That is, if the dialogue information received by the dialogue information receiving unit 101 is the spoken voice information of the user, the spoken voice is output from the speaker for the operator, and if the dialogue information is text information, it is displayed on the display for the operator. Will be done. This allows the operator to continue the dialogue with respect to the dialogue information by the user.
  • the server device 100 determines whether or not to end the dialogue process with the client device 200 (step S14).
  • the dialogue processing is terminated, for example, the user or the operator determines that the task requested by the user has been completed or it is difficult to continue the task by a series of dialogue processing, and the dialogue processing is performed by the user or the operator. When instructed to end. If it is not instructed to end the dialogue process, the process returns to step S9. On the other hand, when it is instructed to end the dialogue processing, the processing of the flowchart shown in FIG. 4 is terminated.
  • the present invention is not limited to this.
  • the dialogue with the operator may be returned to the dialogue with the chatbot.
  • the dialogue voice generation unit 102 restarts the bot voice generation process, and the facial expression parameter selection unit 108 switches the selection from the actual facial expression parameter to the estimated facial expression parameter.
  • the operator may be able to specify the bot voice to be generated first. As an example, it is conceivable that the operator specifies the bot voice at any stage in the preset dialogue scenario. Instead of the operator specifying the bot voice to be generated first after restarting the processing of the dialogue voice generation unit 102, the dialogue voice generation unit 102 automatically determines the content of the bot voice according to a predetermined rule. You may do it.
  • the message is sent from the client device 200 in the server device 100.
  • the estimated facial expression parameter representing the facial expression estimated from the dialogue voice is generated by the estimated facial expression parameter generation unit 104 and the client. It is transmitted to the device 200.
  • the shooting is performed based on the captured facial image obtained by shooting the operator's face in the server device 100.
  • the facial expression parameter generation unit 107 generates an appearance facial expression parameter representing the facial expression of the face appearing in the face image, and transmits the generation to the client device 200. Then, in the client device 200, by giving the facial expression specified based on the facial expression parameter transmitted from the server device 100 to the target facial image, a facial image of the facial expression corresponding to the bot voice or the photographed facial image of the operator is generated. I am trying to display it.
  • a dialogue is being performed between the user of the client device 200 and the chat bot of the server device 100, or the user of the client device 200 and the operator on the server device 100 side. It is possible for the client device 200 to generate a face image whose facial expression is adjusted so as to correspond to either the bot voice or the photographed face image of the operator in the situation where the dialogue is performed between the two. Thereby, according to the present embodiment, the client device 200 can display the facial image whose facial expression is adjusted according to the situation when the dialogue is being performed. At this time, it is possible to generate and display a facial expression whose facial expression is adjusted for the favorite target facial image selected by the user.
  • an estimated facial expression parameter representing a facial expression estimated from the operator voice is generated.
  • the actual facial expression parameter representing the actual facial expression of the operator is generated based on the photographed facial expression image obtained by photographing the operator's face.
  • the target face image is stored in the target face image storage unit 210 of the client device 200 in advance, but the present invention is not limited to this.
  • the target face image may be transmitted from the server device 100 to the client device 200 together with the facial expression parameters.
  • the dialogue partner with the user is a chatbot in the initial state of the dialogue and the chatbot is switched to the operator
  • the present invention is not limited to this.
  • the above embodiment can be applied to a case where the dialogue partner with the user is an operator in the initial state of the dialogue and the operator switches to the chatbot. It is also applicable when the chatbot and the operator are switched alternately to continue the dialogue.
  • Dialogue information receiving unit 102
  • Dialogue voice generation unit 103
  • Dialogue voice transmission unit 104
  • Estimated facial expression parameter generation unit 105
  • Photographed facial image input unit 106
  • Voice input unit 107
  • Appearing facial expression parameter generation unit 108
  • Facial expression parameter selection unit 109
  • Status Judgment unit 110 Facial expression parameter transmission unit 200
  • Client device 201
  • Dialogue information transmission unit 202
  • Voice output unit 204
  • Facial expression parameter reception unit 205
  • Facial expression parameter generation unit 205
  • Facial expression parameter detection unit 205
  • Facial expression parameter adjustment unit 205C
  • Rendering unit 206 Image Output unit 210
  • Target facial expression storage unit 210

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

ユーザによる対話情報に応じて生成される対話用音声から推定される顔の表情を表す推定表情パラメータを生成する推定表情パラメータ生成部１０４と、オペレータの顔を撮影して得られる撮影顔画像に現れている顔の表情を表す現出表情パラメータを生成する現出表情パラメータ生成部１０７と、推定表情パラメータまたは現出表情パラメータの何れかを選択してクライアント装置に送信する表情パラメータ送信部１１０とをサーバ装置１００が備え、クライアント装置において、サーバ装置１００から送信された表情パラメータに基づき特定される表情をターゲット顔画像に与えることにより、サーバ装置１００により生成される対話用音声またはオペレータの撮影顔画像に対応した表情の顔画像を生成する。

Description

顔画像処理システム、顔画像生成用情報提供装置、顔画像生成用情報提供方法および顔画像生成用情報提供プログラム
　本発明は、顔画像処理システム、顔画像生成用情報提供装置、顔画像生成用情報提供方法および顔画像生成用情報提供プログラムに関し、特に、合成ターゲットの顔画像に対して他者の顔の表情を付与することにより、他者の表情で調整した顔画像を生成することができるようになされたシステムに用いて好適なものである。
　従来、合成ターゲットとする人の顔画像（以下、ターゲット顔画像ということがある）に対して他者の顔画像の表情を合成して表示する技術が提供されている（例えば、非特許文献１参照）。この非特許文献１に記載の技術では、合成ターゲットの顔画像から顔の位置および表情を表すいくつかの表情パラメータを抽出する一方、他者の顔が含まれる動画像から当該他者の顔の表情を表すいくつかの表情パラメータを抽出し、他者の表情パラメータを用いてターゲット顔画像の表情パラメータを調整することにより、ターゲット顔画像の目、鼻、口などの各部位を変形させる。
　また、音声から顔の表情を推定し、推定した顔の表情をターゲットの顔画像に合成して表示する技術も知られている（例えば、特許文献１，２参照）。特許文献１に記載のテレビ電話端末装置では、音声入力部から入力された音声信号に基づいて、顔画像に表情を付加するための表情データを生成する一方、ユーザ操作に基づいて輪郭、目、口などの顔の各部分のサイズや位置などを示す基本顔データを生成する。そして、基本顔データと表情データとを組み合わせることにより、話者の似顔絵画像を動画として作成する。
　特許文献２に記載の顔画像伝送システムでは、話者の発する音声から話者の表情を推定するニューラルネットワークの表情推定モデルを機械学習して受信側に設定し、話者の発する音声を送信側から受信側に送信して表情推定モデルに与えることにより、話者の表情を推定し、推定した話者の表情の動画像を生成する。
　顔の表情と口の形状を別のパラメータから再現するようにしたシステムも知られている（例えば、特許文献３参照）。特許文献３に記載のシステムでは、顔原画像に対して表情分析および表情パラメータ変換の処理を行うことにより、３次元モデルに対する表情変形パラメータ（口以外）を求める一方、原音声に対して特徴抽出、音素認識、口形状パラメータ変換の処理を行うことにより、口形状パラメータを求める。そして、表情変形パラメータと口形状パラメータにより３次元モデルを変形することにより、復号画像を得る。
特開２００５－５７４３１号公報 特許第３４８５５０８号公報 特開平５－１５３５８１号公報
"Xpression：mobile real-time facial expression transfer"（SA'18：SIGGRAPH Asia 2018 Emerging Technologies, December 2018, Article No.18）
　上記特許文献１～３または非特許文献１に記載の技術を用いることにより、ターゲット顔画像に話者の表情を合成した顔画像を生成して表示することが可能である。本発明は、これらの技術を更に発展させ、対話が行われているときの状況に応じて表情を調整した顔画像を表示させることができるようにすることを目的とする。
　上記した課題を解決するために、本発明の顔画像処理システムでは、サーバ装置において、クライアント装置から送られてくるユーザによる対話情報に応じて生成される対話用音声に基づいて、当該対話用音声から推定される顔の表情を表す推定表情パラメータを生成する一方、人間の顔を撮影して得られる撮影顔画像に基づいて、当該撮影顔画像に現れている顔の表情を表す現出表情パラメータを生成し、推定表情パラメータまたは現出表情パラメータの何れかを選択してクライアント装置に送信する。そして、クライアント装置において、サーバ装置から送信された表情パラメータに基づき特定される表情をターゲット顔画像に与えることにより、サーバ装置のコンピュータにより生成される対話用音声または人間の撮影顔画像に対応した表情の顔画像を生成するようにしている。
　上記のように構成した本発明によれば、クライアント装置のユーザとサーバ装置のコンピュータとの間で対話が行われているか、クライアント装置のユーザとサーバ装置側の人間との間で対話が行われているかの状況において、コンピュータの対話用音声または人間の撮影顔画像の何れかに対応するように表情を調整した顔画像をクライアント装置にて生成することが可能となる。これにより、本発明によれば、対話が行われているときの状況に応じて表情を調整した顔画像をクライアント装置に表示させることができる。
本実施形態による顔画像処理システムの構成例を示す図である。 本実施形態によるサーバ装置の機能構成例を示すブロック図である。 本実施形態によるクライアント装置の機能構成例を示すブロック図である。 本実施形態によるサーバ装置の動作例を示すフローチャートである。
　以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による顔画像処理システムの構成例を示す図である。図１に示すように、本実施形態による顔画像処理システムは、サーバ装置１００とクライアント装置２００とがインターネットや携帯電話網等の通信ネットワーク３００を介して接続されて構成される。
　本実施形態による顔画像処理システムでは、一例として、クライアント装置２００のユーザとサーバ装置１００のコンピュータとの間で、音声および画像を用いた対話を行う。例えば、クライアント装置２００からユーザがサーバ装置１００に対して任意の質問や要求（特許請求の範囲の対話情報に相当）を送り、サーバ装置１００が質問や要求に対する回答を生成してクライアント装置２００に返信する。このためにサーバ装置１００は、いわゆるチャットボット機能を備えている。
　ここで、クライアント装置２００から送信する質問や要求は、ユーザがキーボードやタッチパネル等の操作デバイスを用いてクライアント装置２００に入力したテキスト情報であってもよいし、ユーザがマイクを用いてクライアント装置２００に入力した発話音声情報であってもよい。あるいは、所定の質問や要求に対応付けられた電話のダイヤルキーを操作したときに発信されるトーン信号や、所定の操作に応じて発信される制御信号などであってもよい。一方、サーバ装置１００から返信する回答は、所定のルールベースまたは機械学習された解析モデルを用いて生成される応答用のテキスト情報から変換した合成音声情報である。なお、合成音声情報と共にテキスト情報を返信するようにしてもよい。
　ここでは、サーバ装置１００からクライアント装置２００への回答として合成音声を用いる例について説明したが、これに限定されない。例えば、所定の質問や要求に対して固定内容の回答を返信すればよいケースのために、その回答内容を人間が発話した音声をあらかじめ録音してデータベースに記憶しておき、この録音音声をデータベースから読み出して返信するようにしてもよい。なお、以下では説明を簡略化するため、サーバ装置１００からクライアント装置２００への返信には合成音声情報を用いるものとして説明する。
　本実施形態では、サーバ装置１００からクライアント装置２００に回答を返信するのに合わせて、回答の合成音声に合わせて表情が変化する顔画像をクライアント装置２００に表示させる。本実施形態では特に、サーバ装置１００から表情に関するいくつかのパラメータ（以下、表情パラメータという）をクライアント装置２００に送信し、クライアント装置２００においてあらかじめ用意されたターゲット顔画像の表情を表情パラメータによって調整することにより、回答の合成音声に対応する表情の顔画像を生成して表示させる。これについての詳細は後述する。
　なお、ここでは一例として、クライアント装置２００のユーザからサーバ装置１００に質問や要求を行い、サーバ装置１００のチャットボットが回答を行うものとして説明したが、対話の内容はこれに限定されるものではない。例えば、サーバ装置１００のチャットボットからクライアント装置２００のユーザに質問を行い、クライアント装置２００のユーザが回答を行うといった内容が、繰り返される一連の対話の中に含まれていてもよい。また、クライアント装置２００のユーザとサーバ装置１００のチャットボットとが質疑応答形式ではない対話を行うようにしてもよい。
　本実施形態では、クライアント装置２００のユーザとサーバ装置１００のチャットボットとの対話に加え、クライアント装置２００のユーザとサーバ装置１００側のオペレータとの対話も行う。すなわち、チャットボットとの対話とオペレータとの対話を適宜切り替えて行うようにしている。ユーザとオペレータとの間で対話を行う場合、オペレータがユーザに対して応答するのに合わせて表情が変化する顔画像をクライアント装置２００に表示させる。この場合も、サーバ装置１００から表情パラメータをクライアント装置２００に送信し、あらかじめ用意されたターゲット顔画像の表情を表情パラメータによって調整することにより、オペレータの応答に合わせた表情の顔画像を生成して表示させる。
　図２は、本実施形態によるサーバ装置１００の機能構成例を示すブロック図である。図２に示すように、本実施形態によるサーバ装置１００は、機能構成として、対話情報受信部１０１、対話用音声生成部１０２、対話用音声送信部１０３、推定表情パラメータ生成部１０４、撮影顔画像入力部１０５、音声入力部１０６、現出表情パラメータ生成部１０７、表情パラメータ選択部１０８、状態判定部１０９および表情パラメータ送信部１１０を備えている。
　ここで、対話情報受信部１０１、対話用音声生成部１０２および対話用音声送信部１０３により提供される機能は、チャットボット機能であり、公知の技術を適用可能である。また、推定表情パラメータ生成部１０４、現出表情パラメータ生成部１０７、表情パラメータ選択部１０８、状態判定部１０９および表情パラメータ送信部１１０は、本発明による顔画像生成用情報提供装置の構成要素に相当する。
　上記各機能ブロック１０１～１１０は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１０１～１１０は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。特に、機能ブロック１０４，１０７～１１０の機能は、顔画像生成用情報提供プログラムが動作することによって実現される。
　図３は、本実施形態によるクライアント装置２００の機能構成例を示すブロック図である。図３に示すように、本実施形態によるクライアント装置２００は、機能構成として、対話情報送信部２０１、対話用音声受信部２０２、音声出力部２０３、表情パラメータ受信部２０４、顔画像生成部２０５および画像出力部２０６を備えている。顔画像生成部２０５は、より具体的な機能構成として、表情パラメータ検出部２０５Ａ、表情パラメータ調整部２０５Ｂおよびレンダリング部２０５Ｃを備えている。また、クライアント装置２００は、記憶媒体として、ターゲット顔画像記憶部２１０を備えている。
　上記各機能ブロック２０１～２０６は、ハードウェア、ＤＳＰ、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック２０１～２０６は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。
　クライアント装置２００の対話情報送信部２０１は、ユーザによりクライアント装置２００に入力された対話情報をサーバ装置１００に送信する。対話情報は、上述したように、サーバ装置１００に対する質問や要求、サーバ装置１００からの質問に対する回答、雑談などの自然会話に関する情報であり、情報の形式は、テキスト情報、発話音声情報、トーン信号その他の制御信号などである。
　サーバ装置１００の対話情報受信部１０１は、クライアント装置２００から送られてきた対話情報を受信する。対話用音声生成部１０２は、対話情報受信部１０１にて受信した対話情報に対する応答に用いるための対話用音声を生成する。上述したように、対話用音声生成部１０２は、所定のルールベースまたは機械学習された解析モデルを用いて、クライアント装置２００から送られてきた対話情報を解析し、当該対話情報に対応する応答用のテキスト情報を生成する。そして、対話用音声生成部１０２は、そのテキスト情報から合成音声を生成し、この合成音声を対話用音声として出力する。以下、このようにサーバ装置１００のチャットボット機能を用いて生成される対話用音声を「ボット音声」ということがある。
　対話用音声送信部１０３は、対話用音声生成部１０２により生成された対話用音声（ボット音声）をクライアント装置２００に送信する。クライアント装置２００の対話用音声受信部２０２は、サーバ装置１００から送信された対話用音声（ボット音声）を受信する。音声出力部２０３は、対話用音声受信部２０２にて受信した対話用音声（ボット音声）を図示しないスピーカから出力する。
　サーバ装置１００の推定表情パラメータ生成部１０４は、対話用音声生成部１０２により生成される対話用音声に基づいて、当該対話用音声から推定される顔の表情を表す推定表情パラメータを生成する。例えば、推定表情パラメータ生成部１０４は、対話用音声から顔の表情を推定して表情パラメータを出力するようにニューラルネットワークを機械学習した表情推定モデルを設定しておく。そして、推定表情パラメータ生成部１０４は、対話用音声生成部１０２により生成された対話用音声をこの表情推定モデルに入力することにより、対話用音声から推定される顔の表情を表す推定表情パラメータを生成する。
　推定表情パラメータ生成部１０４により生成する推定表情パラメータは、例えば、目、鼻、口、眉、頬などの顔の各部位の動きを特定可能な情報である。各部位の動きとは、あるサンプリング時刻ｔにおける各部位の位置および形状と、次のサンプリング時刻ｔ＋１における各部位の位置および形状との変化である。この動きを特定可能な表情パラメータは、例えば、サンプリング時刻ごとの顔の各部位の位置および形状を表す情報であってよい。あるいは、サンプリング時刻間の位置および形状の変化を表すベクトル情報であってもよい。
　推定表情パラメータ生成部１０４は、例えば、対話用音声を音声認識および自然言語解析することによって対話内容を特定し、その対話内容を表す情報を表情推定モデルに入力することにより、対話内容に応じた口の動きを表す推定表情パラメータを生成する。また、推定表情パラメータ生成部１０４は、対話用音声に対して音響的解析を行うことによって感情を推定し、その感情を表す情報を表情推定モデルに入力することにより、感情に応じた各部位の動きを表す推定表情パラメータを生成する。感情の推定は、対話用音声に対する音響的解析の結果に加えて、対話用音声を音声認識および自然言語解析することによって特定される対話内容も考慮して行うようにしてもよい。
　撮影顔画像入力部１０５は、図示しないカメラによって人間の顔を撮影して得られる撮影顔画像を入力する。本実施形態において人間は、チャットボット（対話用音声生成部１０２により生成される対話用音声）に代わってクライアント装置２００のユーザとの間で対話を行うオペレータである。後述するように、本実施形態では一例として、初期状態ではチャットボットがユーザと対話を行うが、所定の状態になった場合に、オペレータがチャットボットに代わってユーザと対話を行う。撮影顔画像入力部１０５は、オペレータがユーザと対話を行っているときの撮影顔画像をカメラ（オペレータがいる場所に設置される）より動画像として入力する。
　音声入力部１０６は、オペレータがチャットボットに代わってユーザと対話を行っているときに、図示しないマイク（オペレータがいる場所に設置される）からオペレータの発話音声を入力する。以下、このようにオペレータがクライアント装置２００のユーザと対話を行っているときに音声入力部１０６により入力される対話用音声を「オペレータ音声」ということがある。音声入力部１０６により入力された対話用音声（オペレータ音声）は、対話用音声送信部１０３によりクライアント装置２００に送信される。
　現出表情パラメータ生成部１０７は、撮影顔画像入力部１０５により入力された撮影顔画像に基づいて、当該撮影顔画像に現れている顔の表情を表す現出表情パラメータを生成する。特に、現出表情パラメータ生成部１０７は、音声入力部１０６によりオペレータの発話音声が入力されているときにおける撮影顔画像を解析することにより、当該撮影顔画像に現れている顔の表情を表す現出表情パラメータを生成する。
　例えば、現出表情パラメータ生成部１０７は、顔画像から顔の各部位の位置および形状を表す表情パラメータを出力するようにニューラルネットワークを機械学習した表情検出モデルを設定しておく。そして、現出表情パラメータ生成部１０７は、撮影顔画像入力部１０５により動画像として入力される撮影顔画像をフレームごとにこの表情検出モデルに入力することにより、撮影顔画像から顔の表情を表す表情パラメータをフレームごとに検出する。この場合の表情パラメータは、フレームごとの顔の各部位の位置および形状を表す情報である。
　なお、現出表情パラメータ生成部１０７は、フレームごとの顔の各部位の位置および形状を表す情報を用いて、各部位の位置および形状についてフレーム間の変化を表すベクトル情報を生成し、これを現出表情パラメータとして生成するようにしてもよい。
　表情パラメータ選択部１０８は、推定表情パラメータ生成部１０４により生成された推定表情パラメータまたは現出表情パラメータ生成部１０７により生成された現出表情パラメータの何れかを選択する。表情パラメータ選択部１０８は、一例として、初期状態においてチャットボットがユーザと対話を行っているときは推定表情パラメータを選択し、オペレータがユーザと対話を行っているときは現出表情パラメータを選択する。
　チャットボットによる対話からオペレータによる対話への切り替えは、状態判定部１０９による判定の結果に基づいて行う。状態判定部１０９は、対話情報受信部１０１がクライアント装置２００から受信する対話情報および対話用音声生成部１０２により生成される対話用音声の少なくとも一方に関連して所定の状態であるかを判定する。表情パラメータ選択部１０８は、初期状態では推定表情パラメータを選択しており、状態判定部１０９により所定の状態であると判定された場合に、推定表情パラメータから現出表情パラメータへと選択を切り替える。
　例えば、状態判定部１０９は、対話情報に対応して対話用音声を生成不可能な状態か否かを判定する。一例として、クライアント装置２００から送信される対話情報が、ユーザがマイクを用いてクライアント装置２００に入力した発話音声情報である場合において、状態判定部１０９は、その発話音声を音声認識して意味を解釈可能か否かを判定する。そして、対話用音声を生成可能な状態ではないと状態判定部１０９により判定された場合に、表情パラメータ選択部１０８は、推定表情パラメータから現出表情パラメータへと選択を切り替える。
　状態判定部１０９は、例えば次のような場合に、対話用音声を生成できない状態と判定する。
(1)対話情報受信部１０１により受信された発話音声の音量が小さくて音声認識をすることができない場合。
(2)発話音声の訛りが強くて音声認識をすることができない場合。
(3)音声認識はできるものの、あらかじめ用意された辞書データだけでは発話内容の意味を解釈できない場合。
(4)チャットボットに対してあらかじめ与えられたタスクに関連のない発話内容であるために意味を解釈できない場合。この(4)に関しては、対話情報がテキスト情報として送られている場合にも適用可能な判定条件である。
　別の例として、状態判定部１０９は、対話情報受信部１０１により受信された対話情報の内容が、対話用音声による応答ではなくオペレータによる応答を求める内容であるか否かを判定するようにしてもよい。表情パラメータ選択部１０８は、対話情報がオペレータによる応答を求める内容であると状態判定部１０９により判定された場合に、推定表情パラメータから現出表情パラメータへと選択を切り替える。
　更に別の例として、状態判定部１０９は、対話情報受信部１０１により受信された対話情報の内容または対話用音声生成部１０２により生成された対話用音声の内容が、あらかじめ定められた条件を満たすか否かを判定するようにしてもよい。例えば、対話情報の内容に応じて、チャットボットが対応する条件とオペレータが対応する条件とを設定しておき、状態判定部１０９はどちらの条件を満たすかを判定する。あるいは、対話用音声の内容に応じて、チャットボットが引き続き対応を継続する条件とオペレータの対応に切り替える条件とを設定しておき、状態判定部１０９はどちらの条件を満たすかを判定する。そして、表情パラメータ選択部１０８は、オペレータが対応する条件を満たすと状態判定部１０９により判定された場合に、推定表情パラメータから現出表情パラメータへと選択を切り替える。
　状態判定部１０９は、推定表情パラメータから現出表情パラメータへと選択を切り替えることを表情パラメータ選択部１０８に指示すると同時に、対話用音声生成部１０２による処理の停止を対話用音声生成部１０２に指示するとともに、クライアント装置２００に送信する対話用音声をボット音声からオペレータ音声に切り替えることを対話用音声送信部１０３に指示する。この指示を受けて、対話用音声送信部１０３は、対話用音声生成部１０２により生成されるボット音声に代えて、音声入力部１０６により入力されるオペレータ音声をクライアント装置２００に送信する。
　なお、クライアント装置２００に送信する対話用音声をボット音声からオペレータ音声に切り替える際に、その旨のアナウンス音声を対話用音声送信部１０３からクライアント装置２００に送信するようにしてもよい。また、待機中のオペレータが複数人いる場合は、チャットボットから対話を引き継がせるオペレータを検索して選定し、選定したオペレータに通知を行うようにしてもよい。この場合、通知を受けて了解の操作をしたオペレータが使用する端末に対して、チャットボットによる対話履歴や、チャットボットによる対話中にユーザから収集された情報などを表示させるようにしてもよい。
　ユーザとの対話相手をチャットボットからオペレータに切り替えた後は、対話情報受信部１０１により受信される対話情報をオペレータが認識できるようにする。例えば、対話情報受信部１０１により受信される対話情報がユーザの発話音声情報の場合は、その発話音声をオペレータ用のスピーカから出力する。また、対話情報がテキスト情報やトーン信号または制御信号の場合は、これらの情報で示される内容をオペレータ用のディスプレイに表示させる。これにより、オペレータは、クライアント装置２００から引き続いて送られてくるユーザによる対話情報に対して対話を継続することが可能である。
　表情パラメータ送信部１１０は、表情パラメータ選択部１０８により選択された推定表情パラメータまたは現出表情パラメータの何れかをクライアント装置２００に送信する。ここで、推定表情パラメータは、対話用音声送信部１０３により送信されるボット音声に基づいて生成されたものである。そこで、表情パラメータ送信部１１０は、対話用音声送信部１０３により送信されるボット音声と同期するように（あるいはボット音声と対応付けて）、推定表情パラメータ生成部１０４により生成された推定表情パラメータをクライアント装置２００に送信する。
　また、現出表情パラメータは、音声入力部１０６からオペレータ音声が入力されているときに撮影顔画像入力部１０５より入力された撮影顔画像から生成されたものである。そこで、表情パラメータ送信部１１０は、対話用音声送信部１０３により送信されるオペレータ音声と同期するように（あるいはオペレータ音声と対応付けて）、推定表情パラメータ生成部１０４により生成された現出表情パラメータをクライアント装置２００に送信する。
　クライアント装置２００の表情パラメータ受信部２０４は、サーバ装置１００から送信された推定表情パラメータまたは現出表情パラメータの何れかを受信する。顔画像生成部２０５は、ターゲット顔画像記憶部２１０にあらかじめ記憶されているターゲット顔画像に対して、表情パラメータ受信部２０４により受信された推定表情パラメータまたは現出表情パラメータの何れかに基づき特定される表情を与えることにより、ボット音声またはオペレータの撮影顔画像に対応した表情の顔画像を生成する。画像出力部２０６は、顔画像生成部２０５により生成された顔画像を図示しないディスプレイに表示させる。
　ターゲット顔画像記憶部２１０にあらかじめ記憶されているターゲット顔画像は、例えば、任意の人物の撮影画像である。ターゲット顔画像の表情はどんなものであってもよいが、例えば喜怒哀楽のない無表情の顔画像とすることが可能である。ターゲット顔画像は、ユーザが所望するものを設定できるようにしてもよい。例えば、自分の顔画像、好みの有名人の顔画像、好みの絵画の顔画像などを自由に設定することを可能としてもよい。なお、ここでは撮影画像を用いる例について説明したが、好みのマンガに登場するキャラクタの顔画像、ＣＧ画像を用いてもよい。
　顔画像生成部２０５の表情パラメータ検出部２０５Ａは、ターゲット顔画像記憶部２１０に記憶されているターゲット顔画像を解析することにより、ターゲット顔画像の顔の表情を表す表情パラメータを検出する。例えば、表情パラメータ検出部２０５Ａは、顔画像から顔の各部位の位置および形状を表す表情パラメータを出力するようにニューラルネットワークを機械学習した表情検出モデルを設定しておく。そして、表情パラメータ検出部２０５Ａは、ターゲット顔画像記憶部２１０に記憶されているターゲット顔画像をこの表情検出モデルに入力することにより、ターゲット顔画像から顔の表情を表す表情パラメータを検出する。
　表情パラメータ調整部２０５Ｂは、表情パラメータ検出部２０５Ａにより検出されたターゲット顔画像の表情パラメータを、表情パラメータ受信部２０４により受信された推定表情パラメータまたは現出表情パラメータによって調整する。例えば、表情パラメータ調整部２０５Ｂは、ターゲット顔画像における顔の各部位が、推定表情パラメータまたは現出表情パラメータにより示される顔の各部位の動きに応じて変形するように、ターゲット顔画像の表情パラメータに変更を加える。
　レンダリング部２０５Ｃは、ターゲット顔画像記憶部２１０に記憶されているターゲット顔画像および表情パラメータ調整部２０５Ｂにより調整されたターゲット顔画像の表情パラメータを用いて、ボット音声またはオペレータの撮影顔画像に対応する表情がターゲット顔画像に対して付与された顔画像（すなわち、ターゲット顔画像の表情が、ボット音声から推定された表情またはオペレータの実際の表情に対応する表情に修正された顔画像）を生成する。
　レンダリング部２０５Ｃは、表情パラメータで示される各部位の位置、形状、大きさを修正するのみならず、当該各部位の修正に合わせてその周辺領域も修正することにより、顔画像の全体が自然な動きとなるようにする。また、ターゲット顔画像が口を閉じた状態のものであるのに対し、表情パラメータに基づいて調整される口が開いた状態になる場合は、口の中の画像を補完して生成する。
　図４は、以上のように構成した本実施形態によるサーバ装置１００の動作例を示すフローチャートである。図４に示すフローチャートは、サーバ装置１００が初期状態として待機中のときに、クライアント装置２００から最初の対話情報を受信することをトリガとして開始する。なお、初期状態において、表情パラメータ選択部１０８は、推定表情パラメータをクライアント装置２００に送信することを選択した状態に設定されている。
　まず、サーバ装置１００の対話情報受信部１０１は、クライアント装置２００からユーザによる対話情報を受信したか否かを判定する（ステップＳ１）。対話情報を受信していない場合、対話情報受信部１０１はステップＳ１の判定を継続する。
　一方、対話情報受信部１０１がクライアント装置２００から対話情報を受信した場合、対話用音声生成部１０２は、当該受信された対話情報に対する応答に用いるための対話用音声（ボット音声）を生成する（ステップＳ２）。また、推定表情パラメータ生成部１０４は、対話用音声生成部１０２により生成されたボット音声に基づいて、当該ボット音声から推定される顔の表情を表す推定表情パラメータを生成する（ステップＳ３）。
　次いで、対話用音声生成部１０２により生成されたボット音声を対話用音声送信部１０３がクライアント装置２００に送信するとともに（ステップＳ４）、推定表情パラメータ生成部１０４により生成された推定表情パラメータを表情パラメータ送信部１１０がクライアント装置２００に送信する（ステップＳ５）。
　その後、状態判定部１０９は、ユーザによる対話情報およびそれから生成されたボット音声の少なくとも一方に関連して所定の状態であるかを判定する（ステップＳ６）。ここで、状態判定部１０９により所定の状態ではないと判定された場合、処理はステップＳ１に戻る。
　一方、状態判定部１０９により所定の状態であると判定された場合、対話用音声生成部１０２は状態判定部１０９からの指示に応じてボット音声の生成処理を停止し（ステップＳ７）、表情パラメータ選択部１０８は状態判定部１０９からの指示に応じて、初期状態で選択していた推定表情パラメータから現出表情パラメータへと選択を切り替える（ステップＳ８）。
　次いで、撮影顔画像入力部１０５がオペレータの撮影顔画像をカメラより入力するとともに（ステップＳ９）、音声入力部１０６がオペレータの発話音声をマイクより入力する（ステップＳ１０）。そして、現出表情パラメータ生成部１０７は、撮影顔画像入力部１０５により入力された撮影顔画像に基づいて、当該撮影顔画像に現れている顔の表情を表す現出表情パラメータを生成する（ステップＳ１１）。
　そして、音声入力部１０６により入力されたオペレータ音声を対話用音声送信部１０３がクライアント装置２００に送信するとともに（ステップＳ１２）、現出表情パラメータ生成部１０７により生成された現出表情パラメータを表情パラメータ送信部１１０がそれまでの推定表情パラメータに代えてクライアント装置２００に送信する（ステップＳ１３）。
　このようにオペレータがチャットボットから引き継いでユーザとの対話を行っている間、対話情報受信部１０１により受信されるユーザによる対話情報はオペレータに提示される。すなわち、対話情報受信部１０１により受信された対話情報がユーザの発話音声情報の場合はその発話音声がオペレータ用のスピーカから出力され、対話情報がテキスト情報の場合はそれがオペレータ用のディスプレイに表示される。これにより、オペレータは、ユーザによる対話情報に対して対話を継続することが可能である。
　上記ステップＳ１３の処理の後、サーバ装置１００は、クライアント装置２００との対話処理を終了するか否かを判定する（ステップＳ１４）。対話処理を終了する場合とは、例えば、一連の対話処理によって、ユーザが求めるタスクが終了したこと、またはタスクの継続が困難であることなどをユーザまたはオペレータが判断し、ユーザまたはオペレータによって対話処理を終了することが指示された場合である。対話処理を終了することが指示されていない場合、処理はステップＳ９に戻る。一方、対話処理を終了することが指示された場合、図４に示すフローチャートの処理を終了する。
　なお、ここでは、ユーザとチャットボットとの対話からユーザとオペレータとの対話に切り替えられた後、ユーザまたはオペレータの指示によって対話処理を終了する例について説明したが、これに限定されない。例えば、ユーザが求めるタスクが最後まで終了したとき、または、ユーザが求めるタスクの一部が終了したとき（例えば、チャットボットでは対応が困難な部分のタスクがオペレータとの対話で終了した場合など）に、オペレータとの対話からチャットボットの対話に戻すようにしてもよい。
　この場合、対話用音声生成部１０２はボット音声の生成処理を再開し、表情パラメータ選択部１０８は現出表情パラメータから推定表情パラメータへと選択を切り替える。対話用音声生成部１０２の処理を再開するに当たり、最初に生成するボット音声をオペレータが指定できるようにしてもよい。一例として、あらかじめ設定されている対話シナリオの中の何れかの段階のボット音声をオペレータが指定するといったことが考えられる。対話用音声生成部１０２の処理を再開した後に最初に生成するボット音声をオペレータが指定することに代えて、所定のルールに従ってボット音声の内容を対話用音声生成部１０２が自動的に決定するようにしてもよい。
　以上詳しく説明したように、本実施形態では、クライアント装置２００のユーザとサーバ装置１００のチャットボットとの間で対話が行われているときは、サーバ装置１００において、クライアント装置２００から送られてくるユーザによる対話情報に応じて生成される対話用音声（ボット音声）に基づいて、当該対話用音声から推定される顔の表情を表す推定表情パラメータを推定表情パラメータ生成部１０４にて生成してクライアント装置２００に送信する。一方、クライアント装置２００のユーザとサーバ装置１００側のオペレータとの間で対話が行われているときは、サーバ装置１００において、オペレータの顔を撮影して得られる撮影顔画像に基づいて、当該撮影顔画像に現れている顔の表情を表す現出表情パラメータを現出表情パラメータ生成部１０７にて生成してクライアント装置２００に送信する。そして、クライアント装置２００において、サーバ装置１００から送信された表情パラメータに基づき特定される表情をターゲット顔画像に与えることにより、ボット音声またはオペレータの撮影顔画像に対応した表情の顔画像を生成して表示させるようにしている。
　以上のように構成した本実施形態によれば、クライアント装置２００のユーザとサーバ装置１００のチャットボットとの間で対話が行われているか、クライアント装置２００のユーザとサーバ装置１００側のオペレータとの間で対話が行われているかの状況において、ボット音声またはオペレータの撮影顔画像の何れかに対応するように表情を調整した顔画像をクライアント装置２００にて生成することが可能となる。これにより、本実施形態によれば、対話が行われているときの状況に応じて表情を調整した顔画像をクライアント装置２００に表示させることができる。このとき、ユーザが選んだ好みのターゲット顔画像について表情を調整した顔画像を生成して表示させることができる。
　また、本実施形態では、クライアント装置２００のユーザとサーバ装置１００側のオペレータとの間で対話が行われているときに、オペレータ音声から推定される顔の表情を表す推定表情パラメータを生成するのではなく、オペレータの顔を撮影して得られる撮影顔画像に基づいて、オペレータの実際の顔の表情を表す現出表情パラメータを生成するようにしている。これにより、ユーザがオペレータとの間で対話を行っているときに、そのときの対話の内容や雰囲気、話者の感情などに応じたよりリアルな表情の顔画像を表示させることができる。
　なお、上記実施形態では、ターゲット顔画像をクライアント装置２００のターゲット顔画像記憶部２１０にあらかじめ記憶しておく例について説明したが、本発明はこれに限定されない。例えば、ターゲット顔画像を表情パラメータと共にサーバ装置１００からクライアント装置２００に送信するようにしてもよい。
　また、上記実施形態では、対話の初期状態においてユーザとの対話相手がチャットボットであり、チャットボットからオペレータへの切り替えを行う例について説明したが、本発明はこれに限定されない。例えば、上記実施形態は、対話の初期状態においてユーザとの対話相手がオペレータであり、オペレータからチャットボットへの切り替えを行う場合にも適用可能である。また、チャットボットとオペレータとを交互に切り替えて対話を続ける場合にも適用可能である。
　その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
　１００　サーバ装置
　１０１　対話情報受信部
　１０２　対話用音声生成部
　１０３　対話用音声送信部
　１０４　推定表情パラメータ生成部
　１０５　撮影顔画像入力部
　１０６　音声入力部
　１０７　現出表情パラメータ生成部
　１０８　表情パラメータ選択部
　１０９　状態判定部
　１１０　表情パラメータ送信部
　２００　クライアント装置
　２０１　対話情報送信部
　２０２　対話用音声受信部
　２０３　音声出力部
　２０４　表情パラメータ受信部
　２０５　顔画像生成部
　２０５Ａ　表情パラメータ検出部
　２０５Ｂ　表情パラメータ調整部
　２０５Ｃ　レンダリング部
　２０６　画像出力部
　２１０　ターゲット顔画像記憶部

Claims (9)

  1. 　サーバ装置とクライアント装置とが通信ネットワークを介して接続されて成る顔画像処理システムであって、
    　上記サーバ装置は、
    　上記クライアント装置から送られてくるユーザによる対話情報に対する応答に用いるための対話用音声を生成する対話用音声生成部と、
    　上記対話用音声生成部により生成された対話用音声に基づいて、当該対話用音声から推定される顔の表情を表す推定表情パラメータを生成する推定表情パラメータ生成部と、
    　人間の顔を撮影して得られる撮影顔画像を入力する撮影顔画像入力部と、
    　上記撮影顔画像入力部により入力された上記撮影顔画像に基づいて、当該撮影顔画像に現れている顔の表情を表す現出表情パラメータを生成する現出表情パラメータ生成部と、
    　上記推定表情パラメータ生成部により生成された上記推定表情パラメータまたは上記現出表情パラメータ生成部により生成された上記現出表情パラメータの何れかを選択する表情パラメータ選択部と、
    　上記表情パラメータ選択部により選択された上記推定表情パラメータまたは上記現出表情パラメータの何れかを上記クライアント装置に送信する表情パラメータ送信部とを備え、
    　上記クライアント装置は、
    　上記サーバ装置から送信された上記推定表情パラメータまたは上記現出表情パラメータの何れかを受信する表情パラメータ受信部と、
    　上記表情パラメータ受信部により受信された上記推定表情パラメータまたは上記現出表情パラメータの何れかに基づき特定される表情をターゲットの顔画像に対して与えることにより、上記対話用音声または上記撮影顔画像に対応した表情の顔画像を生成する顔画像生成部とを備えた
    ことを特徴とする顔画像処理システム。
  2. 　上記サーバ装置は、
    　上記対話情報および上記対話用音声の少なくとも一方に関連して所定の状態であるかを判定する状態判定部を更に備え、
    　上記表情パラメータ選択部は、上記状態判定部による判定の結果に応じて、上記推定表情パラメータまたは上記現出表情パラメータの何れかを選択する
    ことを特徴とする請求項１に記載の顔画像処理システム。
  3. 　上記状態判定部は、上記対話情報に対応して上記対話用音声を生成不可能か否かを判定し、
    　上記表情パラメータ選択部は、上記対話情報に対応して上記対話用音声を生成不可能であると上記状態判定部により判定された場合に、上記現出表情パラメータを選択する
    することを特徴とする請求項２に記載の顔画像処理システム。
  4. 　上記状態判定部は、上記対話情報の内容が、上記対話用音声による応答ではなく上記人間による応答を求める内容であるか否かを判定し、
    　上記表情パラメータ選択部は、上記対話情報の内容が、上記人間による応答を求める内容であると上記状態判定部により判定された場合に、上記現出表情パラメータを選択する
    ことを特徴とする請求項２に記載の顔画像処理システム。
  5. 　上記状態判定部は、上記対話情報の内容または上記対話用音声の内容が、あらかじめ定められた条件を満たすか否かを判定し、
    　上記表情パラメータ選択部は、上記対話情報の内容または上記対話用音声の内容が、あらかじめ定められた条件を満たすと上記状態判定部により判定された場合に、上記現出表情パラメータを選択する
    することを特徴とする請求項２に記載の顔画像処理システム。
  6. 　クライアント装置が表情パラメータに基づき特定される表情の顔画像を生成することができるようにするために、顔画像生成用の表情パラメータを上記クライアント装置に提供する顔画像生成用情報提供装置であって、
    　コンピュータにより生成される対話用音声に基づいて、当該対話用音声から推定される顔の表情を表す推定表情パラメータを生成する推定表情パラメータ生成部と、
    　人間の顔を撮影して得られる撮影顔画像に基づいて、当該撮影顔画像に現れている顔の表情を表す現出表情パラメータを生成する現出表情パラメータ生成部と、
    　上記推定表情パラメータ生成部により生成された上記推定表情パラメータまたは上記現出表情パラメータ生成部により生成された上記現出表情パラメータの何れかを選択する表情パラメータ選択部と、
    　上記表情パラメータ選択部により選択された上記推定表情パラメータまたは上記現出表情パラメータの何れかを上記クライアント装置に送信する表情パラメータ送信部とを備えた
    ことを特徴とする顔画像生成用情報提供装置。
  7. 　上記クライアント装置から送られてくるユーザによる対話情報に対する応答に用いるための上記対話用音声を生成する対話用音声生成部と、
    　上記対話情報および上記対話用音声の少なくとも一方に関連して所定の状態であるかを判定する状態判定部とを更に備え、
    　上記表情パラメータ選択部は、上記状態判定部による判定の結果に応じて、上記推定表情パラメータまたは上記現出表情パラメータの何れかを選択する
    ことを特徴とする請求項６に記載の顔画像生成用情報提供装置。
  8. 　クライアント装置が表情パラメータに基づき特定される表情の顔画像を生成することができるようにするために、顔画像生成用の表情パラメータを上記クライアント装置に提供する顔画像生成用情報提供方法であって、
    　コンピュータの対話用音声生成部が、上記クライアント装置から送られてくるユーザによる対話情報に対する応答に用いるための対話用音声を生成する第１のステップと、
    　上記コンピュータの推定表情パラメータ生成部が、上記対話用音声生成部により生成された対話用音声に基づいて、当該対話用音声から推定される顔の表情を表す推定表情パラメータを生成する第２のステップと、
    　上記コンピュータの表情パラメータ送信部が、上記推定表情パラメータ生成部により生成された上記推定表情パラメータを上記クライアント装置に送信する第３のステップと、
    　上記コンピュータの状態判定部が、上記対話情報および上記対話用音声の少なくとも一方に関連して所定の状態であるかを判定する第４のステップと、
    　上記状態判定部により上記所定の状態であると判定された場合に、上記コンピュータの表情パラメータ選択部が、上記推定表情パラメータから現出表情パラメータへと選択を切り替える第５のステップと、
    　上記状態判定部により上記所定の状態であると判定された場合に、上記コンピュータの撮影顔画像入力部が、人間の顔を撮影して得られる撮影顔画像を入力する第６のステップと、
    　上記コンピュータの現出表情パラメータ生成部が、上記撮影顔画像入力部により入力された上記撮影顔画像に基づいて、当該撮影顔画像に現れている顔の表情を表す上記現出表情パラメータを生成する第７のステップと、
    　上記コンピュータの上記表情パラメータ送信部が、上記推定表情パラメータに代えて上記現出表情パラメータを上記クライアント装置に送信する第８のステップとを有する
    ことを特徴とする顔画像生成用情報提供方法。
  9. 　クライアント装置が表情パラメータに基づき特定される表情の顔画像を生成することができるようにするために、顔画像生成用の表情パラメータを上記クライアント装置に提供する処理をコンピュータに実行させる顔画像生成用情報提供プログラムであって、
    　コンピュータにより生成される対話用音声に基づいて、当該対話用音声から推定される顔の表情を表す推定表情パラメータを生成する推定表情パラメータ生成手段、
    　人間の顔を撮影して得られる撮影顔画像に基づいて、当該撮影顔画像に現れている顔の表情を表す現出表情パラメータを生成する現出表情パラメータ生成手段、
    　上記推定表情パラメータ生成手段により生成された上記推定表情パラメータまたは上記現出表情パラメータ生成手段により生成された上記現出表情パラメータの何れかを選択する表情パラメータ選択手段、および
    　上記表情パラメータ選択手段により選択された上記推定表情パラメータまたは上記現出表情パラメータの何れかを上記クライアント装置に送信する表情パラメータ送信手段
    としてコンピュータを機能させるための顔画像生成用情報提供プログラム。
     
PCT/JP2020/041819 2020-10-29 2020-11-10 顔画像処理システム、顔画像生成用情報提供装置、顔画像生成用情報提供方法および顔画像生成用情報提供プログラム WO2022091426A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/250,251 US20230317054A1 (en) 2020-10-29 2020-11-10 Face image processing system, face image generation information providing apparatus, face image generation information providing method, and face image generation information providing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020181126A JP7253269B2 (ja) 2020-10-29 2020-10-29 顔画像処理システム、顔画像生成用情報提供装置、顔画像生成用情報提供方法および顔画像生成用情報提供プログラム
JP2020-181126 2020-10-29

Publications (1)

Publication Number Publication Date
WO2022091426A1 true WO2022091426A1 (ja) 2022-05-05

Family

ID=81382145

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/041819 WO2022091426A1 (ja) 2020-10-29 2020-11-10 顔画像処理システム、顔画像生成用情報提供装置、顔画像生成用情報提供方法および顔画像生成用情報提供プログラム

Country Status (3)

Country Link
US (1) US20230317054A1 (ja)
JP (1) JP7253269B2 (ja)
WO (1) WO2022091426A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7445933B2 (ja) 2022-06-02 2024-03-08 ソフトバンク株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05153581A (ja) * 1991-12-02 1993-06-18 Seiko Epson Corp 顔画像符号化方式
JP2005057431A (ja) * 2003-08-01 2005-03-03 Victor Co Of Japan Ltd テレビ電話端末装置
JP2020047240A (ja) * 2018-09-20 2020-03-26 未來市股▲ふん▼有限公司 インタラクティブ応答方法及びそれを利用するコンピュータ・システム
JP2020113857A (ja) * 2019-01-10 2020-07-27 株式会社Ｚｉｚａｉ キャラクタを使ったライブ通信システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001209820A (ja) 2000-01-25 2001-08-03 Nec Corp 感情表出装置及びプログラムを記録した機械読み取り可能な記録媒体
JP3760761B2 (ja) 2000-11-28 2006-03-29 オムロン株式会社 情報提供システム及び方法
US20200279553A1 (en) 2019-02-28 2020-09-03 Microsoft Technology Licensing, Llc Linguistic style matching agent

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05153581A (ja) * 1991-12-02 1993-06-18 Seiko Epson Corp 顔画像符号化方式
JP2005057431A (ja) * 2003-08-01 2005-03-03 Victor Co Of Japan Ltd テレビ電話端末装置
JP2020047240A (ja) * 2018-09-20 2020-03-26 未來市股▲ふん▼有限公司 インタラクティブ応答方法及びそれを利用するコンピュータ・システム
JP2020113857A (ja) * 2019-01-10 2020-07-27 株式会社Ｚｉｚａｉ キャラクタを使ったライブ通信システム

Also Published As

Publication number Publication date
JP2022071968A (ja) 2022-05-17
JP7253269B2 (ja) 2023-04-06
US20230317054A1 (en) 2023-10-05

Similar Documents

Publication Publication Date Title
CN110446000B (zh) 一种生成对话人物形象的方法和装置
CN111508511A (zh) 实时变声方法及装置
CN111583944A (zh) 变声方法及装置
JP2005202854A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP7279494B2 (ja) 会議支援装置、および会議支援システム
EP1723637A1 (en) Speech receiving device and viseme extraction method and apparatus
US20220327309A1 (en) METHODS, SYSTEMS, and MACHINE-READABLE MEDIA FOR TRANSLATING SIGN LANGUAGE CONTENT INTO WORD CONTENT and VICE VERSA
CN110874137A (zh) 一种交互方法以及装置
CN110794964A (zh) 虚拟机器人的交互方法、装置、电子设备及存储介质
WO2022091426A1 (ja) 顔画像処理システム、顔画像生成用情報提供装置、顔画像生成用情報提供方法および顔画像生成用情報提供プログラム
CN113689879A (zh) 实时驱动虚拟人的方法、装置、电子设备及介质
CN110139021B (zh) 辅助拍摄方法及终端设备
KR102433964B1 (ko) 관계 설정을 이용한 실감형 인공지능기반 음성 비서시스템
CN116934926A (zh) 一种基于多模态数据融合的识别方法和系统
JP2021117371A (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2006065683A (ja) アバタ通信システム
JP2020067562A (ja) ユーザの顔の映像に基づいて発動タイミングを推定する装置、プログラム及び方法
JP7423490B2 (ja) ユーザの感情に応じたキャラクタの傾聴感を表現する対話プログラム、装置及び方法
JP6730651B1 (ja) 音声変換装置、音声変換システム及びプログラム
CN114708849A (zh) 语音处理方法、装置、计算机设备及计算机可读存储介质
JP2008021058A (ja) 翻訳機能付き携帯電話装置、音声データ翻訳方法、音声データ翻訳プログラムおよびプログラム記録媒体
JP6582157B1 (ja) 音声処理装置、およびプログラム
CN113780013A (zh) 一种翻译方法、设备和可读介质
JP2018132623A (ja) 音声対話装置
CN112632262A (zh) 一种对话方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20959940

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20959940

Country of ref document: EP

Kind code of ref document: A1