JP7253269B2 - 顔画像処理システム、顔画像生成用情報提供装置、顔画像生成用情報提供方法および顔画像生成用情報提供プログラム - Google Patents

Description

本発明は、顔画像処理システム、顔画像生成用情報提供装置、顔画像生成用情報提供方法および顔画像生成用情報提供プログラムに関し、特に、合成ターゲットの顔画像に対して他者の顔の表情を付与することにより、他者の表情で調整した顔画像を生成することができるようになされたシステムに用いて好適なものである。

従来、合成ターゲットとする人の顔画像（以下、ターゲット顔画像ということがある）に対して他者の顔画像の表情を合成して表示する技術が提供されている（例えば、非特許文献１参照）。この非特許文献１に記載の技術では、合成ターゲットの顔画像から顔の位置および表情を表すいくつかの表情パラメータを抽出する一方、他者の顔が含まれる動画像から当該他者の顔の表情を表すいくつかの表情パラメータを抽出し、他者の表情パラメータを用いてターゲット顔画像の表情パラメータを調整することにより、ターゲット顔画像の目、鼻、口などの各部位を変形させる。

また、音声から顔の表情を推定し、推定した顔の表情をターゲットの顔画像に合成して表示する技術も知られている（例えば、特許文献１，２参照）。特許文献１に記載のテレビ電話端末装置では、音声入力部から入力された音声信号に基づいて、顔画像に表情を付加するための表情データを生成する一方、ユーザ操作に基づいて輪郭、目、口などの顔の各部分のサイズや位置などを示す基本顔データを生成する。そして、基本顔データと表情データとを組み合わせることにより、話者の似顔絵画像を動画として作成する。

特許文献２に記載の顔画像伝送システムでは、話者の発する音声から話者の表情を推定するニューラルネットワークの表情推定モデルを機械学習して受信側に設定し、話者の発する音声を送信側から受信側に送信して表情推定モデルに与えることにより、話者の表情を推定し、推定した話者の表情の動画像を生成する。

顔の表情と口の形状を別のパラメータから再現するようにしたシステムも知られている（例えば、特許文献３参照）。特許文献３に記載のシステムでは、顔原画像に対して表情分析および表情パラメータ変換の処理を行うことにより、３次元モデルに対する表情変形パラメータ（口以外）を求める一方、原音声に対して特徴抽出、音素認識、口形状パラメータ変換の処理を行うことにより、口形状パラメータを求める。そして、表情変形パラメータと口形状パラメータにより３次元モデルを変形することにより、復号画像を得る。

特開２００５－５７４３１号公報 特許第３４８５５０８号公報 特開平５－１５３５８１号公報

"Xpression：mobile real-time facial expression transfer"（SA'18：SIGGRAPH Asia 2018 Emerging Technologies, December 2018, Article No.18）

上記特許文献１～３または非特許文献１に記載の技術を用いることにより、ターゲット顔画像に話者の表情を合成した顔画像を生成して表示することが可能である。本発明は、これらの技術を更に発展させ、対話が行われているときの状況に応じて表情を調整した顔画像を表示させることができるようにすることを目的とする。

上記した課題を解決するために、本発明の顔画像処理システムでは、サーバ装置において、クライアント装置から送られてくるユーザによる対話情報に応じて生成される対話用音声に基づいて、当該対話用音声から推定される顔の表情を表す推定表情パラメータを生成する一方、人間の顔を撮影して得られる撮影顔画像に基づいて、当該撮影顔画像に現れている顔の表情を表す現出表情パラメータを生成し、推定表情パラメータまたは現出表情パラメータの何れかを選択してクライアント装置に送信する。そして、クライアント装置において、サーバ装置から送信された表情パラメータに基づき特定される表情をターゲット顔画像に与えることにより、サーバ装置のコンピュータにより生成される対話用音声または人間の撮影顔画像に対応した表情の顔画像を生成するようにしている。

上記のように構成した本発明によれば、クライアント装置のユーザとサーバ装置のコンピュータとの間で対話が行われているか、クライアント装置のユーザとサーバ装置側の人間との間で対話が行われているかの状況において、コンピュータの対話用音声または人間の撮影顔画像の何れかに対応するように表情を調整した顔画像をクライアント装置にて生成することが可能となる。これにより、本発明によれば、対話が行われているときの状況に応じて表情を調整した顔画像をクライアント装置に表示させることができる。

本実施形態による顔画像処理システムの構成例を示す図である。 本実施形態によるサーバ装置の機能構成例を示すブロック図である。 本実施形態によるクライアント装置の機能構成例を示すブロック図である。 本実施形態によるサーバ装置の動作例を示すフローチャートである。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による顔画像処理システムの構成例を示す図である。図１に示すように、本実施形態による顔画像処理システムは、サーバ装置１００とクライアント装置２００とがインターネットや携帯電話網等の通信ネットワーク３００を介して接続されて構成される。

本実施形態による顔画像処理システムでは、一例として、クライアント装置２００のユーザとサーバ装置１００のコンピュータとの間で、音声および画像を用いた対話を行う。例えば、クライアント装置２００からユーザがサーバ装置１００に対して任意の質問や要求（特許請求の範囲の対話情報に相当）を送り、サーバ装置１００が質問や要求に対する回答を生成してクライアント装置２００に返信する。このためにサーバ装置１００は、いわゆるチャットボット機能を備えている。

ここで、クライアント装置２００から送信する質問や要求は、ユーザがキーボードやタッチパネル等の操作デバイスを用いてクライアント装置２００に入力したテキスト情報であってもよいし、ユーザがマイクを用いてクライアント装置２００に入力した発話音声情報であってもよい。あるいは、所定の質問や要求に対応付けられた電話のダイヤルキーを操作したときに発信されるトーン信号や、所定の操作に応じて発信される制御信号などであってもよい。一方、サーバ装置１００から返信する回答は、所定のルールベースまたは機械学習された解析モデルを用いて生成される応答用のテキスト情報から変換した合成音声情報である。なお、合成音声情報と共にテキスト情報を返信するようにしてもよい。

ここでは、サーバ装置１００からクライアント装置２００への回答として合成音声を用いる例について説明したが、これに限定されない。例えば、所定の質問や要求に対して固定内容の回答を返信すればよいケースのために、その回答内容を人間が発話した音声をあらかじめ録音してデータベースに記憶しておき、この録音音声をデータベースから読み出して返信するようにしてもよい。なお、以下では説明を簡略化するため、サーバ装置１００からクライアント装置２００への返信には合成音声情報を用いるものとして説明する。

本実施形態では、サーバ装置１００からクライアント装置２００に回答を返信するのに合わせて、回答の合成音声に合わせて表情が変化する顔画像をクライアント装置２００に表示させる。本実施形態では特に、サーバ装置１００から表情に関するいくつかのパラメータ（以下、表情パラメータという）をクライアント装置２００に送信し、クライアント装置２００においてあらかじめ用意されたターゲット顔画像の表情を表情パラメータによって調整することにより、回答の合成音声に対応する表情の顔画像を生成して表示させる。これについての詳細は後述する。

なお、ここでは一例として、クライアント装置２００のユーザからサーバ装置１００に質問や要求を行い、サーバ装置１００のチャットボットが回答を行うものとして説明したが、対話の内容はこれに限定されるものではない。例えば、サーバ装置１００のチャットボットからクライアント装置２００のユーザに質問を行い、クライアント装置２００のユーザが回答を行うといった内容が、繰り返される一連の対話の中に含まれていてもよい。また、クライアント装置２００のユーザとサーバ装置１００のチャットボットとが質疑応答形式ではない対話を行うようにしてもよい。

本実施形態では、クライアント装置２００のユーザとサーバ装置１００のチャットボットとの対話に加え、クライアント装置２００のユーザとサーバ装置１００側のオペレータとの対話も行う。すなわち、チャットボットとの対話とオペレータとの対話を適宜切り替えて行うようにしている。ユーザとオペレータとの間で対話を行う場合、オペレータがユーザに対して応答するのに合わせて表情が変化する顔画像をクライアント装置２００に表示させる。この場合も、サーバ装置１００から表情パラメータをクライアント装置２００に送信し、あらかじめ用意されたターゲット顔画像の表情を表情パラメータによって調整することにより、オペレータの応答に合わせた表情の顔画像を生成して表示させる。

図２は、本実施形態によるサーバ装置１００の機能構成例を示すブロック図である。図２に示すように、本実施形態によるサーバ装置１００は、機能構成として、対話情報受信部１０１、対話用音声生成部１０２、対話用音声送信部１０３、推定表情パラメータ生成部１０４、撮影顔画像入力部１０５、音声入力部１０６、現出表情パラメータ生成部１０７、表情パラメータ選択部１０８、状態判定部１０９および表情パラメータ送信部１１０を備えている。

ここで、対話情報受信部１０１、対話用音声生成部１０２および対話用音声送信部１０３により提供される機能は、チャットボット機能であり、公知の技術を適用可能である。また、推定表情パラメータ生成部１０４、現出表情パラメータ生成部１０７、表情パラメータ選択部１０８、状態判定部１０９および表情パラメータ送信部１１０は、本発明による顔画像生成用情報提供装置の構成要素に相当する。

上記各機能ブロック１０１～１１０は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１０１～１１０は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。特に、機能ブロック１０４，１０７～１１０の機能は、顔画像生成用情報提供プログラムが動作することによって実現される。

図３は、本実施形態によるクライアント装置２００の機能構成例を示すブロック図である。図３に示すように、本実施形態によるクライアント装置２００は、機能構成として、対話情報送信部２０１、対話用音声受信部２０２、音声出力部２０３、表情パラメータ受信部２０４、顔画像生成部２０５および画像出力部２０６を備えている。顔画像生成部２０５は、より具体的な機能構成として、表情パラメータ検出部２０５Ａ、表情パラメータ調整部２０５Ｂおよびレンダリング部２０５Ｃを備えている。また、クライアント装置２００は、記憶媒体として、ターゲット顔画像記憶部２１０を備えている。

上記各機能ブロック２０１～２０６は、ハードウェア、ＤＳＰ、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック２０１～２０６は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。

クライアント装置２００の対話情報送信部２０１は、ユーザによりクライアント装置２００に入力された対話情報をサーバ装置１００に送信する。対話情報は、上述したように、サーバ装置１００に対する質問や要求、サーバ装置１００からの質問に対する回答、雑談などの自然会話に関する情報であり、情報の形式は、テキスト情報、発話音声情報、トーン信号その他の制御信号などである。

サーバ装置１００の対話情報受信部１０１は、クライアント装置２００から送られてきた対話情報を受信する。対話用音声生成部１０２は、対話情報受信部１０１にて受信した対話情報に対する応答に用いるための対話用音声を生成する。上述したように、対話用音声生成部１０２は、所定のルールベースまたは機械学習された解析モデルを用いて、クライアント装置２００から送られてきた対話情報を解析し、当該対話情報に対応する応答用のテキスト情報を生成する。そして、対話用音声生成部１０２は、そのテキスト情報から合成音声を生成し、この合成音声を対話用音声として出力する。以下、このようにサーバ装置１００のチャットボット機能を用いて生成される対話用音声を「ボット音声」ということがある。

対話用音声送信部１０３は、対話用音声生成部１０２により生成された対話用音声（ボット音声）をクライアント装置２００に送信する。クライアント装置２００の対話用音声受信部２０２は、サーバ装置１００から送信された対話用音声（ボット音声）を受信する。音声出力部２０３は、対話用音声受信部２０２にて受信した対話用音声（ボット音声）を図示しないスピーカから出力する。

サーバ装置１００の推定表情パラメータ生成部１０４は、対話用音声生成部１０２により生成される対話用音声に基づいて、当該対話用音声から推定される顔の表情を表す推定表情パラメータを生成する。例えば、推定表情パラメータ生成部１０４は、対話用音声から顔の表情を推定して表情パラメータを出力するようにニューラルネットワークを機械学習した表情推定モデルを設定しておく。そして、推定表情パラメータ生成部１０４は、対話用音声生成部１０２により生成された対話用音声をこの表情推定モデルに入力することにより、対話用音声から推定される顔の表情を表す推定表情パラメータを生成する。

推定表情パラメータ生成部１０４により生成する推定表情パラメータは、例えば、目、鼻、口、眉、頬などの顔の各部位の動きを特定可能な情報である。各部位の動きとは、あるサンプリング時刻ｔにおける各部位の位置および形状と、次のサンプリング時刻ｔ＋１における各部位の位置および形状との変化である。この動きを特定可能な表情パラメータは、例えば、サンプリング時刻ごとの顔の各部位の位置および形状を表す情報であってよい。あるいは、サンプリング時刻間の位置および形状の変化を表すベクトル情報であってもよい。

推定表情パラメータ生成部１０４は、例えば、対話用音声を音声認識および自然言語解析することによって対話内容を特定し、その対話内容を表す情報を表情推定モデルに入力することにより、対話内容に応じた口の動きを表す推定表情パラメータを生成する。また、推定表情パラメータ生成部１０４は、対話用音声に対して音響的解析を行うことによって感情を推定し、その感情を表す情報を表情推定モデルに入力することにより、感情に応じた各部位の動きを表す推定表情パラメータを生成する。感情の推定は、対話用音声に対する音響的解析の結果に加えて、対話用音声を音声認識および自然言語解析することによって特定される対話内容も考慮して行うようにしてもよい。

撮影顔画像入力部１０５は、図示しないカメラによって人間の顔を撮影して得られる撮影顔画像を入力する。本実施形態において人間は、チャットボット（対話用音声生成部１０２により生成される対話用音声）に代わってクライアント装置２００のユーザとの間で対話を行うオペレータである。後述するように、本実施形態では一例として、初期状態ではチャットボットがユーザと対話を行うが、所定の状態になった場合に、オペレータがチャットボットに代わってユーザと対話を行う。撮影顔画像入力部１０５は、オペレータがユーザと対話を行っているときの撮影顔画像をカメラ（オペレータがいる場所に設置される）より動画像として入力する。

音声入力部１０６は、オペレータがチャットボットに代わってユーザと対話を行っているときに、図示しないマイク（オペレータがいる場所に設置される）からオペレータの発話音声を入力する。以下、このようにオペレータがクライアント装置２００のユーザと対話を行っているときに音声入力部１０６により入力される対話用音声を「オペレータ音声」ということがある。音声入力部１０６により入力された対話用音声（オペレータ音声）は、対話用音声送信部１０３によりクライアント装置２００に送信される。

現出表情パラメータ生成部１０７は、撮影顔画像入力部１０５により入力された撮影顔画像に基づいて、当該撮影顔画像に現れている顔の表情を表す現出表情パラメータを生成する。特に、現出表情パラメータ生成部１０７は、音声入力部１０６によりオペレータの発話音声が入力されているときにおける撮影顔画像を解析することにより、当該撮影顔画像に現れている顔の表情を表す現出表情パラメータを生成する。

例えば、現出表情パラメータ生成部１０７は、顔画像から顔の各部位の位置および形状を表す表情パラメータを出力するようにニューラルネットワークを機械学習した表情検出モデルを設定しておく。そして、現出表情パラメータ生成部１０７は、撮影顔画像入力部１０５により動画像として入力される撮影顔画像をフレームごとにこの表情検出モデルに入力することにより、撮影顔画像から顔の表情を表す表情パラメータをフレームごとに検出する。この場合の表情パラメータは、フレームごとの顔の各部位の位置および形状を表す情報である。

なお、現出表情パラメータ生成部１０７は、フレームごとの顔の各部位の位置および形状を表す情報を用いて、各部位の位置および形状についてフレーム間の変化を表すベクトル情報を生成し、これを現出表情パラメータとして生成するようにしてもよい。

表情パラメータ選択部１０８は、推定表情パラメータ生成部１０４により生成された推定表情パラメータまたは現出表情パラメータ生成部１０７により生成された現出表情パラメータの何れかを選択する。表情パラメータ選択部１０８は、一例として、初期状態においてチャットボットがユーザと対話を行っているときは推定表情パラメータを選択し、オペレータがユーザと対話を行っているときは現出表情パラメータを選択する。

チャットボットによる対話からオペレータによる対話への切り替えは、状態判定部１０９による判定の結果に基づいて行う。状態判定部１０９は、対話情報受信部１０１がクライアント装置２００から受信する対話情報および対話用音声生成部１０２により生成される対話用音声の少なくとも一方に関連して所定の状態であるかを判定する。表情パラメータ選択部１０８は、初期状態では推定表情パラメータを選択しており、状態判定部１０９により所定の状態であると判定された場合に、推定表情パラメータから現出表情パラメータへと選択を切り替える。

例えば、状態判定部１０９は、対話情報に対応して対話用音声を生成不可能な状態か否かを判定する。一例として、クライアント装置２００から送信される対話情報が、ユーザがマイクを用いてクライアント装置２００に入力した発話音声情報である場合において、状態判定部１０９は、その発話音声を音声認識して意味を解釈可能か否かを判定する。そして、対話用音声を生成可能な状態ではないと状態判定部１０９により判定された場合に、表情パラメータ選択部１０８は、推定表情パラメータから現出表情パラメータへと選択を切り替える。

状態判定部１０９は、例えば次のような場合に、対話用音声を生成できない状態と判定する。
(1)対話情報受信部１０１により受信された発話音声の音量が小さくて音声認識をすることができない場合。
(2)発話音声の訛りが強くて音声認識をすることができない場合。
(3)音声認識はできるものの、あらかじめ用意された辞書データだけでは発話内容の意味を解釈できない場合。
(4)チャットボットに対してあらかじめ与えられたタスクに関連のない発話内容であるために意味を解釈できない場合。この(4)に関しては、対話情報がテキスト情報として送られている場合にも適用可能な判定条件である。

別の例として、状態判定部１０９は、対話情報受信部１０１により受信された対話情報の内容が、対話用音声による応答ではなくオペレータによる応答を求める内容であるか否かを判定するようにしてもよい。表情パラメータ選択部１０８は、対話情報がオペレータによる応答を求める内容であると状態判定部１０９により判定された場合に、推定表情パラメータから現出表情パラメータへと選択を切り替える。

更に別の例として、状態判定部１０９は、対話情報受信部１０１により受信された対話情報の内容または対話用音声生成部１０２により生成された対話用音声の内容が、あらかじめ定められた条件を満たすか否かを判定するようにしてもよい。例えば、対話情報の内容に応じて、チャットボットが対応する条件とオペレータが対応する条件とを設定しておき、状態判定部１０９はどちらの条件を満たすかを判定する。あるいは、対話用音声の内容に応じて、チャットボットが引き続き対応を継続する条件とオペレータの対応に切り替える条件とを設定しておき、状態判定部１０９はどちらの条件を満たすかを判定する。そして、表情パラメータ選択部１０８は、オペレータが対応する条件を満たすと状態判定部１０９により判定された場合に、推定表情パラメータから現出表情パラメータへと選択を切り替える。

状態判定部１０９は、推定表情パラメータから現出表情パラメータへと選択を切り替えることを表情パラメータ選択部１０８に指示すると同時に、対話用音声生成部１０２による処理の停止を対話用音声生成部１０２に指示するとともに、クライアント装置２００に送信する対話用音声をボット音声からオペレータ音声に切り替えることを対話用音声送信部１０３に指示する。この指示を受けて、対話用音声送信部１０３は、対話用音声生成部１０２により生成されるボット音声に代えて、音声入力部１０６により入力されるオペレータ音声をクライアント装置２００に送信する。

なお、クライアント装置２００に送信する対話用音声をボット音声からオペレータ音声に切り替える際に、その旨のアナウンス音声を対話用音声送信部１０３からクライアント装置２００に送信するようにしてもよい。また、待機中のオペレータが複数人いる場合は、チャットボットから対話を引き継がせるオペレータを検索して選定し、選定したオペレータに通知を行うようにしてもよい。この場合、通知を受けて了解の操作をしたオペレータが使用する端末に対して、チャットボットによる対話履歴や、チャットボットによる対話中にユーザから収集された情報などを表示させるようにしてもよい。

ユーザとの対話相手をチャットボットからオペレータに切り替えた後は、対話情報受信部１０１により受信される対話情報をオペレータが認識できるようにする。例えば、対話情報受信部１０１により受信される対話情報がユーザの発話音声情報の場合は、その発話音声をオペレータ用のスピーカから出力する。また、対話情報がテキスト情報やトーン信号または制御信号の場合は、これらの情報で示される内容をオペレータ用のディスプレイに表示させる。これにより、オペレータは、クライアント装置２００から引き続いて送られてくるユーザによる対話情報に対して対話を継続することが可能である。

表情パラメータ送信部１１０は、表情パラメータ選択部１０８により選択された推定表情パラメータまたは現出表情パラメータの何れかをクライアント装置２００に送信する。ここで、推定表情パラメータは、対話用音声送信部１０３により送信されるボット音声に基づいて生成されたものである。そこで、表情パラメータ送信部１１０は、対話用音声送信部１０３により送信されるボット音声と同期するように（あるいはボット音声と対応付けて）、推定表情パラメータ生成部１０４により生成された推定表情パラメータをクライアント装置２００に送信する。

また、現出表情パラメータは、音声入力部１０６からオペレータ音声が入力されているときに撮影顔画像入力部１０５より入力された撮影顔画像から生成されたものである。そこで、表情パラメータ送信部１１０は、対話用音声送信部１０３により送信されるオペレータ音声と同期するように（あるいはオペレータ音声と対応付けて）、推定表情パラメータ生成部１０４により生成された現出表情パラメータをクライアント装置２００に送信する。

クライアント装置２００の表情パラメータ受信部２０４は、サーバ装置１００から送信された推定表情パラメータまたは現出表情パラメータの何れかを受信する。顔画像生成部２０５は、ターゲット顔画像記憶部２１０にあらかじめ記憶されているターゲット顔画像に対して、表情パラメータ受信部２０４により受信された推定表情パラメータまたは現出表情パラメータの何れかに基づき特定される表情を与えることにより、ボット音声またはオペレータの撮影顔画像に対応した表情の顔画像を生成する。画像出力部２０６は、顔画像生成部２０５により生成された顔画像を図示しないディスプレイに表示させる。

ターゲット顔画像記憶部２１０にあらかじめ記憶されているターゲット顔画像は、例えば、任意の人物の撮影画像である。ターゲット顔画像の表情はどんなものであってもよいが、例えば喜怒哀楽のない無表情の顔画像とすることが可能である。ターゲット顔画像は、ユーザが所望するものを設定できるようにしてもよい。例えば、自分の顔画像、好みの有名人の顔画像、好みの絵画の顔画像などを自由に設定することを可能としてもよい。なお、ここでは撮影画像を用いる例について説明したが、好みのマンガに登場するキャラクタの顔画像、ＣＧ画像を用いてもよい。

顔画像生成部２０５の表情パラメータ検出部２０５Ａは、ターゲット顔画像記憶部２１０に記憶されているターゲット顔画像を解析することにより、ターゲット顔画像の顔の表情を表す表情パラメータを検出する。例えば、表情パラメータ検出部２０５Ａは、顔画像から顔の各部位の位置および形状を表す表情パラメータを出力するようにニューラルネットワークを機械学習した表情検出モデルを設定しておく。そして、表情パラメータ検出部２０５Ａは、ターゲット顔画像記憶部２１０に記憶されているターゲット顔画像をこの表情検出モデルに入力することにより、ターゲット顔画像から顔の表情を表す表情パラメータを検出する。

表情パラメータ調整部２０５Ｂは、表情パラメータ検出部２０５Ａにより検出されたターゲット顔画像の表情パラメータを、表情パラメータ受信部２０４により受信された推定表情パラメータまたは現出表情パラメータによって調整する。例えば、表情パラメータ調整部２０５Ｂは、ターゲット顔画像における顔の各部位が、推定表情パラメータまたは現出表情パラメータにより示される顔の各部位の動きに応じて変形するように、ターゲット顔画像の表情パラメータに変更を加える。

レンダリング部２０５Ｃは、ターゲット顔画像記憶部２１０に記憶されているターゲット顔画像および表情パラメータ調整部２０５Ｂにより調整されたターゲット顔画像の表情パラメータを用いて、ボット音声またはオペレータの撮影顔画像に対応する表情がターゲット顔画像に対して付与された顔画像（すなわち、ターゲット顔画像の表情が、ボット音声から推定された表情またはオペレータの実際の表情に対応する表情に修正された顔画像）を生成する。

レンダリング部２０５Ｃは、表情パラメータで示される各部位の位置、形状、大きさを修正するのみならず、当該各部位の修正に合わせてその周辺領域も修正することにより、顔画像の全体が自然な動きとなるようにする。また、ターゲット顔画像が口を閉じた状態のものであるのに対し、表情パラメータに基づいて調整される口が開いた状態になる場合は、口の中の画像を補完して生成する。

図４は、以上のように構成した本実施形態によるサーバ装置１００の動作例を示すフローチャートである。図４に示すフローチャートは、サーバ装置１００が初期状態として待機中のときに、クライアント装置２００から最初の対話情報を受信することをトリガとして開始する。なお、初期状態において、表情パラメータ選択部１０８は、推定表情パラメータをクライアント装置２００に送信することを選択した状態に設定されている。

まず、サーバ装置１００の対話情報受信部１０１は、クライアント装置２００からユーザによる対話情報を受信したか否かを判定する（ステップＳ１）。対話情報を受信していない場合、対話情報受信部１０１はステップＳ１の判定を継続する。

一方、対話情報受信部１０１がクライアント装置２００から対話情報を受信した場合、対話用音声生成部１０２は、当該受信された対話情報に対する応答に用いるための対話用音声（ボット音声）を生成する（ステップＳ２）。また、推定表情パラメータ生成部１０４は、対話用音声生成部１０２により生成されたボット音声に基づいて、当該ボット音声から推定される顔の表情を表す推定表情パラメータを生成する（ステップＳ３）。

次いで、対話用音声生成部１０２により生成されたボット音声を対話用音声送信部１０３がクライアント装置２００に送信するとともに（ステップＳ４）、推定表情パラメータ生成部１０４により生成された推定表情パラメータを表情パラメータ送信部１１０がクライアント装置２００に送信する（ステップＳ５）。

その後、状態判定部１０９は、ユーザによる対話情報およびそれから生成されたボット音声の少なくとも一方に関連して所定の状態であるかを判定する（ステップＳ６）。ここで、状態判定部１０９により所定の状態ではないと判定された場合、処理はステップＳ１に戻る。

一方、状態判定部１０９により所定の状態であると判定された場合、対話用音声生成部１０２は状態判定部１０９からの指示に応じてボット音声の生成処理を停止し（ステップＳ７）、表情パラメータ選択部１０８は状態判定部１０９からの指示に応じて、初期状態で選択していた推定表情パラメータから現出表情パラメータへと選択を切り替える（ステップＳ８）。

次いで、撮影顔画像入力部１０５がオペレータの撮影顔画像をカメラより入力するとともに（ステップＳ９）、音声入力部１０６がオペレータの発話音声をマイクより入力する（ステップＳ１０）。そして、現出表情パラメータ生成部１０７は、撮影顔画像入力部１０５により入力された撮影顔画像に基づいて、当該撮影顔画像に現れている顔の表情を表す現出表情パラメータを生成する（ステップＳ１１）。

そして、音声入力部１０６により入力されたオペレータ音声を対話用音声送信部１０３がクライアント装置２００に送信するとともに（ステップＳ１２）、現出表情パラメータ生成部１０７により生成された現出表情パラメータを表情パラメータ送信部１１０がそれまでの推定表情パラメータに代えてクライアント装置２００に送信する（ステップＳ１３）。

このようにオペレータがチャットボットから引き継いでユーザとの対話を行っている間、対話情報受信部１０１により受信されるユーザによる対話情報はオペレータに提示される。すなわち、対話情報受信部１０１により受信された対話情報がユーザの発話音声情報の場合はその発話音声がオペレータ用のスピーカから出力され、対話情報がテキスト情報の場合はそれがオペレータ用のディスプレイに表示される。これにより、オペレータは、ユーザによる対話情報に対して対話を継続することが可能である。

上記ステップＳ１３の処理の後、サーバ装置１００は、クライアント装置２００との対話処理を終了するか否かを判定する（ステップＳ１４）。対話処理を終了する場合とは、例えば、一連の対話処理によって、ユーザが求めるタスクが終了したこと、またはタスクの継続が困難であることなどをユーザまたはオペレータが判断し、ユーザまたはオペレータによって対話処理を終了することが指示された場合である。対話処理を終了することが指示されていない場合、処理はステップＳ９に戻る。一方、対話処理を終了することが指示された場合、図４に示すフローチャートの処理を終了する。

なお、ここでは、ユーザとチャットボットとの対話からユーザとオペレータとの対話に切り替えられた後、ユーザまたはオペレータの指示によって対話処理を終了する例について説明したが、これに限定されない。例えば、ユーザが求めるタスクが最後まで終了したとき、または、ユーザが求めるタスクの一部が終了したとき（例えば、チャットボットでは対応が困難な部分のタスクがオペレータとの対話で終了した場合など）に、オペレータとの対話からチャットボットの対話に戻すようにしてもよい。

この場合、対話用音声生成部１０２はボット音声の生成処理を再開し、表情パラメータ選択部１０８は現出表情パラメータから推定表情パラメータへと選択を切り替える。対話用音声生成部１０２の処理を再開するに当たり、最初に生成するボット音声をオペレータが指定できるようにしてもよい。一例として、あらかじめ設定されている対話シナリオの中の何れかの段階のボット音声をオペレータが指定するといったことが考えられる。対話用音声生成部１０２の処理を再開した後に最初に生成するボット音声をオペレータが指定することに代えて、所定のルールに従ってボット音声の内容を対話用音声生成部１０２が自動的に決定するようにしてもよい。

以上詳しく説明したように、本実施形態では、クライアント装置２００のユーザとサーバ装置１００のチャットボットとの間で対話が行われているときは、サーバ装置１００において、クライアント装置２００から送られてくるユーザによる対話情報に応じて生成される対話用音声（ボット音声）に基づいて、当該対話用音声から推定される顔の表情を表す推定表情パラメータを推定表情パラメータ生成部１０４にて生成してクライアント装置２００に送信する。一方、クライアント装置２００のユーザとサーバ装置１００側のオペレータとの間で対話が行われているときは、サーバ装置１００において、オペレータの顔を撮影して得られる撮影顔画像に基づいて、当該撮影顔画像に現れている顔の表情を表す現出表情パラメータを現出表情パラメータ生成部１０７にて生成してクライアント装置２００に送信する。そして、クライアント装置２００において、サーバ装置１００から送信された表情パラメータに基づき特定される表情をターゲット顔画像に与えることにより、ボット音声またはオペレータの撮影顔画像に対応した表情の顔画像を生成して表示させるようにしている。

以上のように構成した本実施形態によれば、クライアント装置２００のユーザとサーバ装置１００のチャットボットとの間で対話が行われているか、クライアント装置２００のユーザとサーバ装置１００側のオペレータとの間で対話が行われているかの状況において、ボット音声またはオペレータの撮影顔画像の何れかに対応するように表情を調整した顔画像をクライアント装置２００にて生成することが可能となる。これにより、本実施形態によれば、対話が行われているときの状況に応じて表情を調整した顔画像をクライアント装置２００に表示させることができる。このとき、ユーザが選んだ好みのターゲット顔画像について表情を調整した顔画像を生成して表示させることができる。

また、本実施形態では、クライアント装置２００のユーザとサーバ装置１００側のオペレータとの間で対話が行われているときに、オペレータ音声から推定される顔の表情を表す推定表情パラメータを生成するのではなく、オペレータの顔を撮影して得られる撮影顔画像に基づいて、オペレータの実際の顔の表情を表す現出表情パラメータを生成するようにしている。これにより、ユーザがオペレータとの間で対話を行っているときに、そのときの対話の内容や雰囲気、話者の感情などに応じたよりリアルな表情の顔画像を表示させることができる。

なお、上記実施形態では、ターゲット顔画像をクライアント装置２００のターゲット顔画像記憶部２１０にあらかじめ記憶しておく例について説明したが、本発明はこれに限定されない。例えば、ターゲット顔画像を表情パラメータと共にサーバ装置１００からクライアント装置２００に送信するようにしてもよい。

また、上記実施形態では、対話の初期状態においてユーザとの対話相手がチャットボットであり、チャットボットからオペレータへの切り替えを行う例について説明したが、本発明はこれに限定されない。例えば、上記実施形態は、対話の初期状態においてユーザとの対話相手がオペレータであり、オペレータからチャットボットへの切り替えを行う場合にも適用可能である。また、チャットボットとオペレータとを交互に切り替えて対話を続ける場合にも適用可能である。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ サーバ装置
１０１ 対話情報受信部
１０２ 対話用音声生成部
１０３ 対話用音声送信部
１０４ 推定表情パラメータ生成部
１０５ 撮影顔画像入力部
１０６ 音声入力部
１０７ 現出表情パラメータ生成部
１０８ 表情パラメータ選択部
１０９ 状態判定部
１１０ 表情パラメータ送信部
２００ クライアント装置
２０１ 対話情報送信部
２０２ 対話用音声受信部
２０３ 音声出力部
２０４ 表情パラメータ受信部
２０５ 顔画像生成部
２０５Ａ 表情パラメータ検出部
２０５Ｂ 表情パラメータ調整部
２０５Ｃ レンダリング部
２０６ 画像出力部
２１０ ターゲット顔画像記憶部

Claims (9)

1. サーバ装置とクライアント装置とが通信ネットワークを介して接続されて成る顔画像処理システムであって、
   上記サーバ装置は、
   上記クライアント装置から送られてくるユーザによる対話情報に対する応答に用いるための対話用音声を生成する対話用音声生成部と、
   上記対話用音声生成部により生成された対話用音声に基づいて、当該対話用音声から推定される顔の表情を表す推定表情パラメータを生成する推定表情パラメータ生成部と、
   人間の顔を撮影して得られる撮影顔画像を入力する撮影顔画像入力部と、
   上記撮影顔画像入力部により入力された上記撮影顔画像に基づいて、当該撮影顔画像に現れている顔の表情を表す現出表情パラメータを生成する現出表情パラメータ生成部と、
   上記推定表情パラメータ生成部により生成された上記推定表情パラメータまたは上記現出表情パラメータ生成部により生成された上記現出表情パラメータの何れかを選択する表情パラメータ選択部と、
   上記表情パラメータ選択部により選択された上記推定表情パラメータまたは上記現出表情パラメータの何れかを上記クライアント装置に送信する表情パラメータ送信部とを備え、
   上記クライアント装置は、
   上記サーバ装置から送信された上記推定表情パラメータまたは上記現出表情パラメータの何れかを受信する表情パラメータ受信部と、
   上記表情パラメータ受信部により受信された上記推定表情パラメータまたは上記現出表情パラメータの何れかに基づき特定される表情をターゲットの顔画像に対して与えることにより、上記対話用音声または上記撮影顔画像に対応した表情の顔画像を生成する顔画像生成部とを備えた
   ことを特徴とする顔画像処理システム。
2. 上記サーバ装置は、
   上記対話情報および上記対話用音声の少なくとも一方に関連して所定の状態であるかを判定する状態判定部を更に備え、
   上記表情パラメータ選択部は、上記状態判定部による判定の結果に応じて、上記推定表情パラメータまたは上記現出表情パラメータの何れかを選択する
   ことを特徴とする請求項１に記載の顔画像処理システム。
3. 上記状態判定部は、上記対話情報に対応して上記対話用音声を生成不可能か否かを判定し、
   上記表情パラメータ選択部は、上記対話情報に対応して上記対話用音声を生成不可能であると上記状態判定部により判定された場合に、上記現出表情パラメータを選択する
   することを特徴とする請求項２に記載の顔画像処理システム。
4. 上記状態判定部は、上記対話情報の内容が、上記対話用音声による応答ではなく上記人間による応答を求める内容であるか否かを判定し、
   上記表情パラメータ選択部は、上記対話情報の内容が、上記人間による応答を求める内容であると上記状態判定部により判定された場合に、上記現出表情パラメータを選択する
   ことを特徴とする請求項２に記載の顔画像処理システム。
5. 上記状態判定部は、上記対話情報の内容または上記対話用音声の内容が、あらかじめ定められた条件を満たすか否かを判定し、
   上記表情パラメータ選択部は、上記対話情報の内容または上記対話用音声の内容が、あらかじめ定められた条件を満たすと上記状態判定部により判定された場合に、上記現出表情パラメータを選択する
   することを特徴とする請求項２に記載の顔画像処理システム。
6. クライアント装置が表情パラメータに基づき特定される表情の顔画像を生成することができるようにするために、顔画像生成用の表情パラメータを上記クライアント装置に提供する顔画像生成用情報提供装置であって、
   コンピュータにより生成される対話用音声に基づいて、当該対話用音声から推定される顔の表情を表す推定表情パラメータを生成する推定表情パラメータ生成部と、
   人間の顔を撮影して得られる撮影顔画像に基づいて、当該撮影顔画像に現れている顔の表情を表す現出表情パラメータを生成する現出表情パラメータ生成部と、
   上記推定表情パラメータ生成部により生成された上記推定表情パラメータまたは上記現出表情パラメータ生成部により生成された上記現出表情パラメータの何れかを選択する表情パラメータ選択部と、
   上記表情パラメータ選択部により選択された上記推定表情パラメータまたは上記現出表情パラメータの何れかを上記クライアント装置に送信する表情パラメータ送信部とを備えた
   ことを特徴とする顔画像生成用情報提供装置。
7. 上記クライアント装置から送られてくるユーザによる対話情報に対する応答に用いるための上記対話用音声を生成する対話用音声生成部と、
   上記対話情報および上記対話用音声の少なくとも一方に関連して所定の状態であるかを判定する状態判定部とを更に備え、
   上記表情パラメータ選択部は、上記状態判定部による判定の結果に応じて、上記推定表情パラメータまたは上記現出表情パラメータの何れかを選択する
   ことを特徴とする請求項６に記載の顔画像生成用情報提供装置。
8. クライアント装置が表情パラメータに基づき特定される表情の顔画像を生成することができるようにするために、顔画像生成用の表情パラメータを上記クライアント装置に提供する顔画像生成用情報提供方法であって、
   コンピュータの対話用音声生成部が、上記クライアント装置から送られてくるユーザによる対話情報に対する応答に用いるための対話用音声を生成する第１のステップと、
   上記コンピュータの推定表情パラメータ生成部が、上記対話用音声生成部により生成された対話用音声に基づいて、当該対話用音声から推定される顔の表情を表す推定表情パラメータを生成する第２のステップと、
   上記コンピュータの表情パラメータ送信部が、上記推定表情パラメータ生成部により生成された上記推定表情パラメータを上記クライアント装置に送信する第３のステップと、
   上記コンピュータの状態判定部が、上記対話情報および上記対話用音声の少なくとも一方に関連して所定の状態であるかを判定する第４のステップと、
   上記状態判定部により上記所定の状態であると判定された場合に、上記コンピュータの表情パラメータ選択部が、上記推定表情パラメータから現出表情パラメータへと選択を切り替える第５のステップと、
   上記状態判定部により上記所定の状態であると判定された場合に、上記コンピュータの撮影顔画像入力部が、人間の顔を撮影して得られる撮影顔画像を入力する第６のステップと、
   上記コンピュータの現出表情パラメータ生成部が、上記撮影顔画像入力部により入力された上記撮影顔画像に基づいて、当該撮影顔画像に現れている顔の表情を表す上記現出表情パラメータを生成する第７のステップと、
   上記コンピュータの上記表情パラメータ送信部が、上記推定表情パラメータに代えて上記現出表情パラメータを上記クライアント装置に送信する第８のステップとを有する
   ことを特徴とする顔画像生成用情報提供方法。
9. クライアント装置が表情パラメータに基づき特定される表情の顔画像を生成することができるようにするために、顔画像生成用の表情パラメータを上記クライアント装置に提供する処理をコンピュータに実行させる顔画像生成用情報提供プログラムであって、
   コンピュータにより生成される対話用音声に基づいて、当該対話用音声から推定される顔の表情を表す推定表情パラメータを生成する推定表情パラメータ生成手段、
   人間の顔を撮影して得られる撮影顔画像に基づいて、当該撮影顔画像に現れている顔の表情を表す現出表情パラメータを生成する現出表情パラメータ生成手段、
   上記推定表情パラメータ生成手段により生成された上記推定表情パラメータまたは上記現出表情パラメータ生成手段により生成された上記現出表情パラメータの何れかを選択する表情パラメータ選択手段、および
   上記表情パラメータ選択手段により選択された上記推定表情パラメータまたは上記現出表情パラメータの何れかを上記クライアント装置に送信する表情パラメータ送信手段
   としてコンピュータを機能させるための顔画像生成用情報提供プログラム。
   

Images