JP7471826B2 - 動画生成装置および動画生成プログラム - Google Patents

Description

特許法第３０条第２項適用 令和１年９月２５日および令和１年９月２６日に、Ｕｎｉｔｅ Ｔｏｋｙｏ ２０１９にて発表。

本発明は、動画像を生成する技術、に関する。

スマートフォンの普及にともない、ＳＮＳ（Social Networking Service）を介したコミュニケーションが一般化している。ＳＮＳでは、テキストだけでなく写真や動画像などさまざまなコンテンツを気軽に共有できる。ＳＮＳは、人と人との「絆（つながり）」を強く感じさせるツールである。

一方、コンピュータゲームの分野においては、ユーザがキャラクタ（コンピュータ）と会話をしながらプレイするゲームがある。ユーザは、現実には存在しないキャラクタに対して強い思い入れをもつことが多い。

特開２０１２－２３１２８１号公報

キャラクタは、ゲームデザイナーによってつくられた仮想的存在であり、人間のような実在感をもたない。その一方、キャラクタは、非実在性に起因する独特の魅力をもつ。本発明者らは、キャラクタ特有の魅力と人間同士特有の「リアルなつながり」の双方を取り込むことにより、新しいコミュニケーション方法を提案できるのではないかと考えた。

具体的には、配信者（人間）と視聴者（人間）の会話を想定する。配信者は、ちょうどテレビアニメの声優のようにキャラクタの代弁者となり、キャラクタを通して視聴者と会話する。このようなコミュニケーションを想定した場合、視聴者はキャラクタと言葉以上の関わりをもつことができれば、視聴者のキャラクタに対する思い入れをいっそう強めることができると考えられる。

配信者の化身であるキャラクタは、表情を豊かに変化させることが望ましい。また、多数の配信者が多数のキャラクタを通してサービスを提供することでサービス水準も向上していくと考えられる。本発明者らはこのような背景から、活き活きとしたキャラクタを生み出しやすい環境、いいかえれば、キャラクタの動画像を効率的に生成する仕組みが必要であると考えた。

本発明は、上記認識に基づいて完成された発明であり、その主たる目的は、静止画像としての顔画像から動画像を生成する技術、特に、生成された動画像に基づいてキャラクタと視聴者の非言語コミュニケーションを実現する技術、を提供することにある。

本発明のある態様における動画生成装置は、静止画像としての顔画像を取得する画像取得部と、顔画像に含まれる特定の部分領域を変化させた画像として、複数の派生画像を自動生成する派生画像生成部と、複数の派生画像に基づいて、顔画像を動画表示させる画像表示部と、を備える。

本発明のある態様におけるライブ通信システムは、配信者により操作される配信装置、視聴者により操作される視聴装置およびサーバを含む。
サーバは、ユーザにより造形されたキャラクタの静止図像としての顔画像を取得する顔画像取得部と、顔画像に含まれる特定の部分領域を変化させた画像として、複数の派生画像を自動生成する派生画像生成部と、複数の派生画像を視聴装置に送信する画像送信部と、を備える。
配信装置は、配信者を撮像する撮像部と、配信者の撮像画像から、配信者の動作の特徴を示す動作情報を生成する動作情報生成部と、配信者から第１メッセージを受け付ける第１メッセージ取得部と、動作情報および第１メッセージを送信する送信部と、を備える。
視聴装置は、動作情報および第１メッセージを受信する受信部と、視聴装置の画面にキャラクタを表示させ、動作情報に応じて複数の派生画像から表示対象となる派生画像を選択することにより、キャラクタを動作させる視聴キャラクタ表示部と、キャラクタの動作に合わせて第１メッセージを出力する第１メッセージ出力部と、を備える。

本発明によれば、静止画像としての顔画像から豊かな表情変化をつくりだしやすくなる。

ライブ通信システムのハードウェア構成図である。 ライブ通信システムによる会話サービスを説明するための模式図である。 配信装置およびサーバの機能ブロック図である。 視聴装置の機能ブロック図である。 視聴装置に表示される視聴者会話画面の画面図である。 配信装置に表示される配信者会話画面の画面図である。 配信装置および視聴装置の双方においてキャラクタを表示させる処理のシーケンス図である。 図８（ａ）は、キャラクタ静止画像のうち、キャラクタの顔の拡大図である。図８（ｂ）は、キャラクタ静止画像から抽出された特定部位を示す図である。 キャラクタ静止画像における左目を示す図である。 左目において半眼となったときの状態を示す図である。 左目において閉眼となったときの状態を示す図である。 左目のキャラクタ動画像を示す図である。 図１３（ａ）は、キャラクタの閉口時の顔の拡大図である。図１３（ｂ）は、キャラクタの開口時の顔の拡大図である。 派生画像の生成過程を示すフローチャートである。 左上眼瞼の低下方法の別例を説明するための図である。

図１は、ライブ通信システム１００のハードウェア構成図である。
ライブ通信システム１００においては、サーバ１０２に対して、複数の配信装置１０４ａ、１０４ｂ・・・１０４ｍ（以下、まとめて言うときや特に区別しないときには「配信装置１０４」と総称する）および複数の視聴装置１０８ａ、１０８ｂ・・・１０８ｎ（以下、まとめて言うときや特に区別しないときには「視聴装置１０８」と総称する）がインターネット１０６を介して接続される。配信装置１０４および視聴装置１０８としては、スマートフォンを想定しているが、ラップトップＰＣなどの汎用コンピュータであってもよい。

配信装置１０４を使用するユーザを「配信者」とよぶ。視聴装置１０８を使用するユーザを「視聴者」とよぶ。配信者がサービスの提供者となり、視聴者がサービスの享受者となる。

図２は、ライブ通信システム１００による会話サービスを説明するための模式図である。
本実施形態においては、１つの配信装置１０４に対して多数の視聴装置１０８が同時接続できる。以下、１対多通信を前提として説明する。図２は、１人の配信者１１０に対して、３人の視聴者１１２ａ、１１２ｂ、１１２ｃ（以下、まとめて言うときや特に区別しないときには「視聴者１１２」と総称する）がグループで会話をする状況を想定している。

配信者１１０にはあらかじめキャラクタが対応づけられる。配信装置１０４には配信者１１０に対応づけられる配信キャラクタ１１４ａが表示される。視聴装置１０８にも視聴キャラクタ１１４ｂが表示される。配信キャラクタ１１４ａと視聴キャラクタ１１４ｂはまったく同じキャラクタである。以下、配信キャラクタ１１４ａと視聴キャラクタ１１４ｂを特に区別しないときには単に「キャラクタ１１４」とよぶ。

配信者１１０が配信装置１０４の前でしゃべると、その音声データは視聴装置１０８に一斉送信される。配信装置１０４は配信者の口の動きを検出し、配信キャラクタ１１４ａの口も動かす。また、これに連動して、視聴装置１０８は視聴キャラクタ１１４ｂの口も動かす。視聴者１１２には、配信者ではなく、あたかも視聴キャラクタ１１４ｂが自らの意思でしゃべっているように見える。いわば、配信者１１０は「声優」としてキャラクタ１１４の代弁者となる。以下、配信者１１０により入力される音声メッセージを「第１メッセージ」とよぶ。

視聴者１１２は、テキストにて視聴装置１０８にメッセージ（以下、「第２メッセージ」とよぶ）を入力する。第２メッセージは、配信装置１０４および視聴装置１０８に一斉送信される。視聴者１１２は、視聴キャラクタ１１４ｂの話を聞きながら、第２メッセージを入力することでキャラクタ１１４（配信者１１０）と会話する。

キャラクタ１１４の基本設定（キャラクタ１１４の容姿や表情変化の豊かさなど）と配信者１１０の声質や会話力によって、キャラクタ１１４の個性がかたちづくられる。

図３は、配信装置１０４およびサーバ１０２の機能ブロック図である。
配信装置１０４およびサーバ１０２の各構成要素は、ＣＰＵ（Central Processing Unit）および各種コプロセッサなどの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され、演算器に処理命令を供給するソフトウェアによって実現される。コンピュータプログラムは、デバイスドライバ、オペレーティングシステム、それらの上位層に位置する各種アプリケーションプログラム、また、これらのプログラムに共通機能を提供するライブラリによって構成されてもよい。以下に説明する各ブロックは、ハードウェア単位の構成ではなく、機能単位のブロックを示している。
視聴装置１０８についても同様である。

（配信装置１０４）
配信装置１０４は、ユーザインタフェース処理部１１６、撮像部１１８、データ処理部１２０、通信部１２２およびデータ格納部１２４を含む。
通信部１２２は、通信処理を担当する。撮像部１１８は、配信者１１０を撮像する。ユーザインタフェース処理部１１６は、配信者１１０からの操作を受け付けるほか、画像表示や音声出力など、ユーザインタフェースに関する処理を担当する。データ格納部１２４はキャラクタ１１４の画像データを含む各種データを格納する。データ処理部１２０は、通信部１２２、ユーザインタフェース処理部１１６、撮像部１１８により取得されたデータおよびデータ格納部１２４に格納されているデータに基づいて各種処理を実行する。データ処理部１２０は、ユーザインタフェース処理部１１６、撮像部１１８、通信部１２２およびデータ格納部１２４のインタフェースとしても機能する。

通信部１２２は、送信部１４８と受信部１５０を含む。

ユーザインタフェース処理部１１６は、配信者１１０からの入力を受け付ける入力部１２６と配信者１１０に各種情報を出力する出力部１２８を含む。
入力部１２６は、動作検出部１３０および第１メッセージ取得部１３２を含む。動作検出部１３０は、撮像部１１８を介して配信者１１０の表情の変化を検出する。第１メッセージ取得部１３２は、第１メッセージ（音声メッセージ）を取得する。

出力部１２８は、配信キャラクタ表示部１３８および第２メッセージ出力部１４０を含む。
配信キャラクタ表示部１３８は配信装置１０４に配信キャラクタ１１４ａを表示させる。第２メッセージ出力部１４０は視聴者１１２による第２メッセージ（テキストメッセージ）を配信装置１０４に表示させる。

データ処理部１２０は、動作情報生成部１４４を含む。
動作情報生成部１４４は、動作検出部１３０の検出結果から「動作情報」を生成する。本実施形態における動作情報とは、配信者１１０の表情を示す特徴ベクトル、たとえば、眉の角度、目や口の開度を示す数値など、配信者１１０の動作状態、特に、表情を示す数値データである。

（サーバ１０２）
サーバ１０２は、通信部１５２、データ処理部１５４およびデータ格納部１５６を含む。
通信部１５２は、通信処理を担当する。データ格納部１５６は各種データを格納する。データ処理部１５４は、通信部１５２により取得されたデータおよびデータ格納部１５６に格納されているデータに基づいて各種処理を実行する。データ処理部１５４は、通信部１５２およびデータ格納部１５６のインタフェースとしても機能する。

通信部１５２は、送信部２１０と受信部２１２を含む。
送信部２１０は、画像送信部２１４を含む。画像送信部２１４は、キャラクタ１１４の動画像を形成するための画像群（以下、まとめて「キャラクタ動画像」とよぶ）を配信装置１０４および視聴装置１０８に送信する。受信部２１２は、画像取得部２１６を含む。画像取得部２１６は、キャラクタ１１４の顔画像を含む静止画像（以下、「キャラクタ静止画像」とよぶ）を配信装置１０４などの外部装置から取得する。

データ処理部１５４は、ライブ制御部２１８、部分抽出部２２０および派生画像生成部２２２を含む。
ライブ制御部２１８は、配信装置１０４と視聴装置１０８のコミュニケーションを仲介・統括する。部分抽出部２２０は、キャラクタ静止画像から、口、目などの特定部位に対応する画像領域を抽出する。派生画像生成部２２２は、特定部位を対象として後述の「派生画像」を生成する。キャラクタ静止画像と複数の派生画像の集合としてキャラクタ動画像が生成されるが、詳細は図１２に関連して後述する。

データ格納部１５６は、複数のキャラクタ１１４それぞれのキャラクタ動画像を格納するキャラクタ格納部１５８を含む。このほか、データ格納部１５６は後述の機械学習モデル（以下、「画像認識モデル」とよぶ）も格納する。

図４は、視聴装置１０８の機能ブロック図である。
視聴装置１０８は、ユーザインタフェース処理部１６２、データ処理部１６６、通信部１６４およびデータ格納部１６８を含む。
通信部１６４は、通信処理を担当する。ユーザインタフェース処理部１６２は、視聴者１１２からの操作を受け付けるほか、画像表示や音声出力など、ユーザインタフェースに関する処理を担当する。データ格納部１６８はキャラクタ動画像を含む各種データを格納する。配信装置１０４と視聴装置１０８はどちらもキャラクタ動画像をそれぞれ格納する。データ処理部１６６は、通信部１６４およびユーザインタフェース処理部１６２により取得されたデータおよびデータ格納部１６８に格納されているデータに基づいて各種処理を実行する。データ処理部１６６は、ユーザインタフェース処理部１６２、通信部１６４およびデータ格納部１６８のインタフェースとしても機能する。

通信部１２２は、送信部１８６と受信部１９０を含む。

ユーザインタフェース処理部１６２は、視聴者１１２からの入力を受け付ける入力部１７０と視聴者１１２に各種情報を出力する出力部１７２を含む。
入力部１７０は、第２メッセージ取得部１７４およびキャラクタ選択部１７６を含む。第２メッセージ取得部１７４は、第２メッセージ（テキストメッセージ）を取得する。キャラクタ選択部１７６は、会話対象となるキャラクタ１１４の選択を受け付ける。

出力部１７２は、視聴キャラクタ表示部１８０、第１メッセージ出力部１８２および第２メッセージ出力部１８４を含む。
視聴キャラクタ表示部１８０は、視聴装置１０８に視聴キャラクタ１１４ｂを表示させる。第１メッセージ出力部１８２は配信者１１０による第１メッセージを視聴装置１０８から音声出力する。第２メッセージ出力部１８４は視聴者１１２による第２メッセージを視聴装置１０８に画面表示させる。

ライブ通信サービスの開始時において、サーバ１０２のライブ制御部２１８は、視聴装置１０８にキャラクタ選択画面（図示せず）を表示させる。視聴者１１２は、視聴装置１０８に表示されたキャラクタ選択画面において会話したい視聴キャラクタ１１４ｂ（配信者１１０）を選ぶ。ライブ制御部２１８は、会話可能な状態（スタンバイ状態）にある配信者１１０に対応するキャラクタ１１４を会話可能なキャラクタとしてキャラクタ選択画面に提示する。キャラクタ選択部１７６は視聴キャラクタ１１４ｂの選択を受け付ける。
以下、視聴者１１２は視聴キャラクタ１１４ｂ１（図５参照）との会話を楽しむものとして説明する。

図５は、視聴装置１０８に表示される視聴者会話画面１９６の画面図である。
視聴装置１０８の視聴キャラクタ表示部１８０は、おしゃべりの相手として選ばれた視聴キャラクタ１１４ｂ１を動画表示させる。視聴者１１２は、視聴キャラクタ１１４ｂ１との会話を楽しむ。視聴者１１２からは配信者１１０の姿が見えることはない。視聴装置１０８の第１メッセージ出力部１８２は、視聴キャラクタ１１４ｂ１を担当する配信者１１０からの音声（第１メッセージ）を出力する。視聴者１１２は、テキストにより視聴キャラクタ１１４ｂ１へのメッセージ（第２メッセージ）を入力する。サーバ１０２は、第１メッセージおよび第２メッセージを配信装置１０４、視聴装置１０８の間で共有させる。

第２メッセージ出力部１８４はメッセージ領域１９８に第２メッセージをテキスト表示させる。１人の配信者１１０が複数の視聴者１１２と同時並行にて会話する方式であるため、サーバ１０２は各視聴者１１２の第２メッセージを配信装置１０４および複数の視聴者１１２に一斉配信する。視聴者１１２は、メッセージ領域１９８により自分の第２メッセージだけでなく他の視聴者１１２の第２メッセージも視認できる。第２メッセージ出力部１８４は第２メッセージを受信順に並べて表示させる。

図６は、配信装置１０４に表示される配信者会話画面２０６の画面図である。
図６に示す配信者会話画面２０６は、配信キャラクタ１１４ａ１（視聴キャラクタ１１４ｂ１に対応）を担当する配信者１１０の配信装置１０４に表示される。配信キャラクタ表示部１３８は、配信キャラクタ１１４ａ１を動画表示させる。視聴キャラクタ１１４ｂ１と配信キャラクタ１１４ａは同一キャラクタであり、動きも同じである。配信者１１０は、自らの分身である配信キャラクタ１１４ａ１の動きを配信装置１０４にて確認しながら複数の視聴者１１２（視聴キャラクタ１１４ｂ１を会話の相手として選んだ視聴者１１２）と会話する。配信者１１０は、配信装置１０４に向かって音声にて第１メッセージを入力する。送信部１４８は第１メッセージをサーバ１０２に送信し、サーバ１０２のライブ制御部２１８は第１メッセージを複数の視聴装置１０８に配信する。

第２メッセージ出力部１４０は、視聴者１１２からの第２メッセージをメッセージ領域１９８に時系列順にて表示させる。配信者１１０はメッセージ領域１９８に次々に表示される第２メッセージをみながら不特定多数の視聴者１１２に話しかける。配信装置１０４のカメラ２０８（撮像部１１８）は、配信者１１０を撮像する。動作検出部１３０は、撮像画像から配信者１１０の表情を検出し、動作情報生成部１４４は動作情報を生成する。配信キャラクタ表示部１３８は、動作情報に基づいて配信キャラクタ１１４ａ１の動きを決定する。また、詳細は後述するが視聴キャラクタ１１４ｂ１も同じ動作情報に基づいて視聴装置１０８にて動画表示される。

図７は、配信装置１０４および視聴装置１０８の双方においてキャラクタ１１４を表示させる処理のシーケンス図である。
配信装置１０４の動作検出部１３０は、配信者１１０の動作を検出する（Ｓ１０）。本実施形態においては１１０の右目および左目の開眼度合い（以下、「開眼度」とよぶ）と、口の開口度合い（以下、「開口度」とよぶ）を検出する。動作情報生成部１４４は、開眼度および開口度を示す数値データとして動作情報を生成する（Ｓ１２）。

配信装置１０４の送信部１４８は、サーバ１０２経由にて、各視聴装置１０８に動作情報を送信する（Ｓ１４）。配信キャラクタ表示部１３８は、動作情報に基づいて配信キャラクタ１１４ａ１の動画像を生成し（Ｓ１６）、配信装置１０４に配信キャラクタ１１４ａ１を動画表示させる（Ｓ１８）。

一方、視聴装置１０８の視聴キャラクタ表示部１８０も、受信された動作情報に基づいて視聴キャラクタ１１４ｂ１の動画像を生成し（Ｓ２０）、視聴装置１０８に視聴キャラクタ１１４ｂ１を動画表示させる（Ｓ２２）。

配信キャラクタ１１４ａ１と視聴キャラクタ１１４ｂ１は、同一のキャラクタであり、かつ、同一の動作情報に基づいて動きが決まるため、配信装置１０４および視聴装置１０８それぞれにおいて配信キャラクタ１１４ａ１と視聴キャラクタ１１４ｂは同じように表情を変化させる。

配信装置１０４は、キャラクタ１１４の動画像（キャラクタ画像）そのものを視聴装置１０８に送信しているのではなく、キャラクタ１１４の動作を定義する動作情報のみを送信している。動画像そのものを送信するよりも送信データ量が少ないため、配信キャラクタ１１４ａ１と視聴キャラクタ１１４ｂ１それぞれの動きを速やかに連動させやすい。いいかえれば、動作情報が配信キャラクタ１１４ａ１の動きとして反映されるまでの時間と、同じ動作情報が視聴キャラクタ１１４ｂ１の動きとして反映されるまでの時間の差分が小さいため、視聴者１１２はキャラクタ１１４（配信者１１０）との快適な会話を楽しむことができる。

第１メッセージ（音声メッセージ）と動作情報は一体化して配信装置１０４から視聴装置１０８に送信されてもよい。この場合には、視聴キャラクタ表示部１８０は、視聴キャラクタ１１４ｂ１の動作と音声メッセージがずれにくくなる。また、動画像そのものではなく、動画像を決定するための動作情報を送信することは、インターネット１０６に対する通信負荷を抑制する上でも有効である。

図８（ａ）は、キャラクタ静止画像２２４のうち、キャラクタ１１４の顔の拡大図である。図８（ｂ）は、キャラクタ静止画像２２４から抽出された特定部位を示す図である。
キャラクタ静止画像２２４を生成したユーザ（以下、「デザイナー」とよぶ）は、配信装置１０４などの端末装置からサーバ１０２に自作のキャラクタ静止画像２２４を送信する。サーバ１０２の画像取得部２１６は、キャラクタ静止画像２２４を取得する。

部分抽出部２２０はキャラクタ静止画像２２４から、特定部位の画像領域（以下、「部分領域」とよぶ）を特定する。以下、キャラクタ静止画像２２４から部分領域を特定する機能を「部分特定機能」とよぶ。

本実施形態の部分抽出部２２０は、キャラクタ１１４の口に対応する口領域２３２、右目に対応する右目領域２３０Ｒ、左目に対応する左目領域２３０Ｌを部分領域として特定する。以下、右目領域２３０Ｒと左目領域２３０Ｌをまとめていうときや特に区別しないときには単に「目領域２３０」とよぶ。目領域２３０からは、更に、上眼瞼２２６と眼球部２２８を特定する。右目領域２３０Ｒは、右上眼瞼２２６Ｒおよび右眼球部２２８Ｒを含む。左目領域２３０Ｌは、左上眼瞼２２６Ｌと左眼球部２２８Ｌを含む。上眼瞼２２６は、目のうち、睫毛および上瞼皮に対応する。眼球部２２８は、目のうち、眼球および下眼瞼に対応する。

サーバ１０２のデータ格納部１５６は、部分特定機能を実現するための機械学習モデルである画像認識モデルを格納する。ライブ通信サービスの開始前に、あらかじめ多種多様なキャラクタ静止画像２２４を画像認識モデルに学習させておく。本実施形態の画像認識モデルとしては、多数の中間層を有するニューラルネットワーク・モデル（ディープラーニング・モデル）を想定する。

まず、あるキャラクタ静止画像２２４を画像認識モデルの入力データとして与えるとともに、キャラクタ静止画像２２４の部分領域を教師データとして指定する。画像認識モデルは、既知の教師あり学習方式により、内部パラメータを調整することでキャラクタ静止画像２２４から部分領域を抽出する方法を学習する。別のキャラクタ静止画像２２４についても同様の処理を繰り返すことで画像認識モデルの学習を繰り返す。

画像認識モデルは、回答（出力データ）と正解（教師データ）の差分に基づいて誤差逆伝播法（Backpropagation）等の修正アルゴリズムにより、内部パラメータを調整する。数万から数十万種類のキャラクタ静止画像２２４を画像認識モデルに入力し、それぞれのキャラクタ静止画像２２４について回答（教師データ）を与えて内部パラメータの修正を繰り返すことにより、画像認識モデルの部分特定機能を鍛えていく。

本実施形態においては、部分抽出部２２０は、右上眼瞼２２６Ｒ、左上眼瞼２２６Ｌ、右眼球部２２８Ｒ、左眼球部２２８Ｌ、口領域２３２の５領域を部分領域として抽出するものとして説明する。このほかにも、鼻や眉毛、髪の毛など他の部分領域を抽出してもよい。

図９は、キャラクタ静止画像２２４における左目２３４を示す図である。
まず、キャラクタ１１４の左目２３４を対象として、キャラクタ静止画像２２４からキャラクタ動画像を生成する方法について説明する。上述したように、キャラクタ静止画像２２４の左目２３４からは左上眼瞼２２６Ｌおよび左眼球部２２８Ｌが抽出される。キャラクタ１１４が開眼しているとき、左上眼瞼２２６Ｌは「睫毛」のみが表示される。

図１０は、左目２３４において半眼となったときの状態を示す図である。
派生画像生成部２２２は、キャラクタ静止画像２２４の上眼瞼２２６の位置を下降させ、半眼となった左目の画像を自動生成する。以下、このようにキャラクタ静止画像２２４から自動生成される画像を「派生画像」とよぶ。派生画像生成部２２２は、左目領域２３０Ｌ内において、左上眼瞼２２６Ｌ（睫毛）の位置を下方に移動させる。このとき、派生画像生成部２２２は、左上眼瞼２２６Ｌのうち左目領域２３０Ｌからはみ出す部分である外部分２５２は派生画像からカットする。また、派生画像生成部２２２は、左上眼瞼２２６Ｌ（睫毛）が下降したときの上部（瞼皮部２３６）を所定色で塗りつぶす。本実施形態においては、派生画像生成部２２２は瞼皮部２３６を所定の肌色で塗りつぶす。

このように、派生画像生成部２２２は、左上眼瞼２２６Ｌ（睫毛）を左目領域２３０Ｌの範囲内にて下降させ、睫毛の上部である瞼皮部２３６を肌色に塗色した派生画像を生成する。このとき、瞳は動かさない。瞼皮部２３６の色は、キャラクタ１１４の肌色、たとえば、頬部分の色と同一色としてもよい。あるいは、瞼皮部２３６の色は、キャラクタ１１４の頬、額、顎、首などの複数の所定領域の色の平均色としてもよい。このようは制御方法により、派生画像生成部２２２は左目２３４における開眼状態の左目から、半眼状態の派生画像を自動的に生成する。

図１１は、左目２３４において閉眼となったときの状態を示す図である。
派生画像生成部２２２は、複数の開眼度に対応して複数の派生画像、いいかえれば、左上眼瞼２２６Ｌの下降度が異なる複数の派生画像を生成する。派生画像生成部２２２は、上眼瞼２２６Ｌの睫毛ラインが左目領域２３０Ｌの下部まで到達し、左目領域２３０Ｌ全体が瞼皮部２３６に覆われる派生画像を生成することで左目２３４の閉眼を表現する。

図１２は、左目２３４のキャラクタ動画像２４２を示す図である。
上述したように、派生画像生成部２２２は開眼状態のキャラクタ静止画像２２４から、複数の派生画像２４０を生成する。キャラクタ静止画像２２４に派生画像２４０を重ねることで、さまざまな開眼度に対応したキャラクタ１１４の画像を用意する。１枚のキャラクタ静止画像２２４と複数の派生画像２４０の集合により、キャラクタ動画像２４２が形成される。右目（右目領域２３０Ｒ）についても同様にして、派生画像生成部２２２は複数の派生画像を生成する。口についても同様である（後述）。

１枚のキャラクタ静止画像２２４から、右目に関する複数の派生画像２４０、左目に関する複数の派生画像２４０および口に関する複数の派生画像２４０の３種類の画像グループが形成される。これら３種類の画像グループに含まれる多数枚の派生画像２４０と１枚のキャラクタ静止画像２２４を組み合わせることにより、キャラクタ１１４の右目の開眼度、左目の開眼度および口の開口度を多様に表現できる。
以下、キャラクタ静止画像２２４から複数の派生画像を自動生成する機能を「派生画像生成機能」とよぶ。

図１３（ａ）は、キャラクタ１１４の閉口時の顔の拡大図である。図１３（ｂ）は、１１４の開口時の顔の拡大図である。
部分抽出部２２０は、キャラクタ静止画像２２４から口領域２３２を抽出する。部分抽出部２２０は、次に、口の状態が開口または閉口のいずれであるかを判定する。開口・閉口判定も上述した画像認識モデルに基づいて判定すればよい。図１３（ａ）に示すように閉口しているときには、派生画像生成部２２２は口を囲む位置に長方形の開口範囲２４４を設定する。開口範囲２４４は、キャラクタ１１４の顔幅Ｘ等に基づいて適正な大きさに定められる。開口範囲２４４のサイズも画像認識モデルに基づいて部分領域特定機能と同様の方式により設定されればよい。

派生画像生成部２２２は、口領域２３２を上下左右に輪状に拡げることで複数の派生画像２４０を生成する。派生画像生成部２２２は、開口時の口の中を赤系統の所定色により塗りつぶす。派生画像生成部２２２は、開口サイズが開口範囲２４４に達するまでキャラクタ１１４を開口させる（図１３（ｂ））。

一方、キャラクタ静止画像２２４においてキャラクタ１１４が開口しているときには、派生画像生成部２２２は、キャラクタ静止画像２２４の口を徐々に閉口させつつ複数の派生画像２４０を作成すればよい。このような制御方法により、キャラクタ静止画像２２４に基づいて閉口状態から開口状態までの複数の派生画像２４０を生成する。

複数のキャラクタ静止画像２２４を対象として機械学習させることにより、キャラクタ静止画像２２４ごとに適正サイズの開口範囲２４４を決定すればよい。別の方法として、部分抽出部２２０は、キャラクタ１１４の顔幅Ｘと、鼻から顎までの距離Ｙを算出し、開口範囲２４４の横幅Ｘ１をＸ×ｎ１、縦幅Ｙ１をＹ×ｎ２と設定してもよい。ここで、ｎ１およびｎ２はあらかじめ設定された所定倍率である。

図１４は、派生画像の生成過程を示すフローチャートである。
サーバ１０２の画像取得部２１６は、まず、キャラクタ静止画像を取得する（Ｓ１０）。部分抽出部２２０は、画像認識モデル（機械学習モデル）に基づいて、まず、キャラクタ静止画像から目に該当する部分領域（目領域２３０）を特定する（Ｓ１２）。より具体的には、図８（ｂ）に関連して説明したように、右上眼瞼２２６Ｒ、右眼球部２２８Ｒ、左上眼瞼２２６Ｌおよび左眼球部２２８Ｌの４つの部分領域を特定する。

部分抽出部２２０は、キャラクタ１１４の口に対応する部分領域（口領域２３２）を特定する（Ｓ１４）。派生画像生成部２２２は、右目領域２３０Ｒおよび左目領域２３０Ｌのそれぞれについて派生画像群を生成する（Ｓ１６）。また、派生画像生成部２２２は、口領域２３２について派生画像群を生成する（Ｓ１８）。派生画像生成部２２２は、右目、左目、口それぞれについて形成される派生画像群とキャラクタ静止画像をまとめてキャラクタ動画像として登録する。サーバ１０２の画像送信部２１４は、生成されたキャラクタ動画像を配信装置１０４および視聴装置１０８の双方に送信する（Ｓ２０）。

キャラクタ動画像の送信後、このキャラクタ１１４によるライブ通信サービスが可能となる。
配信者１１０が右目を開閉させるとき、動作検出部１３０は配信者１１０の右目の開眼度を検出する。配信者１１０の右目の開眼度を示す特徴データは動作情報として、配信装置１０４からサーバ１０２に送信される。また、この動作情報はサーバ１０２から視聴装置１０８にも送信される。

配信装置１０４の配信キャラクタ表示部１３８は、動作情報に含まれる右目の開眼度に対応する派生画像２４０を選択し、キャラクタ静止画像２２４の右目部分に選択した派生画像２４０を重畳する。たとえば、配信者１１０が右目を半眼にしたときには、配信キャラクタ表示部１３８はキャラクタ静止画像２２４の右目部分に半眼状態の派生画像２４０を重畳する。

一方、視聴装置１０８の視聴キャラクタ表示部１８０も、動作情報に含まれる右目の開眼度に対応する派生画像２４０を選択し、キャラクタ静止画像２２４の右目部分に選択した派生画像２４０を重畳する。このような制御方法によれば、配信者１１０の右目の動き（開眼度）に対して、配信キャラクタ１１４ａおよび視聴キャラクタ１１４ｂの右目の動き（開眼度）を追従させることができる。左目および口に関しても同様である。

＜総括＞
以上、実施形態に基づいてライブ通信システム１００について説明した。
ライブ通信システム１００による会話サービスを盛り上げるためには、多数の配信者１１０がサービスを競い合う環境を作ることが望ましい。多数の配信者１１０がライブ通信システム１００に参加するためには、多数のキャラクタ動画像を準備する必要がある。複数のイメージ画像の差分を補完することにより、あるイメージ画像から別のイメージ画像へ徐々に変化させていくモーフィング（morphing）技術を適用する場合、複数のイメージ画像に相当する複数のキャラクタ静止画像２２４を準備する必要があり、手間がかかる。本実施形態においては、たった一枚のキャラクタ静止画像２２４を準備するだけで、キャラクタ１１４の目と口の変化を表現可能なキャラクタ動画像（派生画像群）を自動的に生成できる。キャラクタのデザイナーは１人のキャラクタ１１４のために複数のキャラクタ静止画像２２４を作図する必要がないため、キャラクタ動画像の生産性を高めることができる。配信者１１０自身がデザイナーとなり、自ら演じてみたいキャラクタ１１４のキャラクタ静止画像２２４を自作してもよい。

本実施形態においては、右目、左目および口という３つの特定部位について、３種類の派生画像群が生成される。３種類の派生画像群からそれぞれ１枚ずつ派生画像を選んで組合せることにより、たった１枚のキャラクタ静止画像２２４に基づいて多様な表情を作ることができる。いいかえれば、右目の開眼度、左目の開眼度および口の開口度それぞれを独立に制御できる。このあめ、キャラクタ１１４が右目を半眼にし、左目を大きく見開き、口は閉じる、といった複雑な表情であっても簡単に作成することができる。

本実施形態においては、画像認識モデルにより、キャラクタ静止画像２２４から口や目などの部分領域を自動的に特定できる。特に、女の子を表すキャラクタ１１４は目が大きく睫毛を濃く描かれる傾向にあるため、上眼瞼２２６と眼球部２２８を高精度で特定しやすい。

なお、本発明は上記実施形態や変形例に限定されるものではなく、要旨を逸脱しない範囲で構成要素を変形して具体化することができる。上記実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることにより種々の発明を形成してもよい。また、上記実施形態や変形例に示される全構成要素からいくつかの構成要素を削除してもよい。

本実施形態においては、サーバ１０２が「動画生成装置」としての主要機能を担う。動画生成装置としての機能の一部は、サーバ１０２だけでなく、視聴装置１０８等の他の装置が担当してもよい。たとえば、部分特定機能、派生画像生成機能をサーバ１０２以外の装置が担ってもよい。また、動画表示機能は、配信装置１０４および視聴装置１０８が担ってもよいし、サーバ１０２自身が動画表示機能を実現してもよい。

［変形例］
大量のキャラクタ静止画像２２４を画像認識モデル（機械学習モデル）に読み込ませ、画像認識モデルは回答データとして部分領域を特定する。ユーザ（教育者）は、キャラクタ静止画像２２４の部分領域を手動で指定し、これを教師データ（正解）として画像認識モデルに与える。画像認識モデルは、回答データと教師データの差分を最小化すべく内部調整、具体的には、ニューラルネットワークに含まれる中間ノードの重みを調整する。

デザイナーが新たなキャラクタ静止画像２２４を作成したとき、画像認識モデルはこのキャラクタ静止画像２２４から部分領域を特定し、デザイナーに提示する。デザイナーは画像認識モデルが特定した部分領域を手動で修正してもよい。このような制御方法によれば、画像認識モデルにより部分領域を特定し、デザイナーは手動で部分領域を補正することで部分領域の抽出精度を高めることができる。

変形例として、画像認識モデルを使用することなくデザイナーが部分領域をキャラクタ静止画像２２４から直接指定してもよい。たとえば、デザイナーはキャラクタ静止画像２２４において右上眼瞼２２６Ｒに対応する部分領域で指定し、これをサーバ１０２に通知してもよい。画像認識モデルによる部分特定機能を使わないためデザイナーの手間は増えるが、デザイナーは画像認識モデルに頼ることなくキャラクタ静止画像２２４の部分領域を精密に設定できる。

瞬きのように、右目と左目は同時に開閉してもよい。このほかにも、ウィンクのように片目を開き、片目を閉じる動きを表現することもできる。

動作対象となる部分領域は、目、口以外にも設定可能である。たとえば、眉毛を部分領域として特定し、配信者１１０の眉毛の角度を動作情報として検出してもよい。派生画像生成部２２２は、あらかじめ複数の眉毛の角度に対応して複数の派生画像２４０を生成しておく。配信キャラクタ表示部１３８等は配信者１１０の眉毛の動きに応じてキャラクタ１１４の眉毛の形を変化させてもよい。キャラクタ１１４の頬を部分領域として設定してもよい。配信者１１０の頬の膨らみ具合を動作情報として検出し、キャラクタ１１４のフェイスラインを配信者１１０の頬に連動させて変化させてもよい。この場合には、派生画像生成部２２２は、あらかじめ複数段階の頬の膨らみに対応して複数の派生画像２４０を生成しておけばよい。

眉間を部分領域として特定してもよい。配信者１１０の眉間の皺を動作情報として検出し、配信者１１０の眉間に皺をしめす筋目を入れることで、配信者１１０とキャラクタ１１４の表情を連動させてもよい。

口に関しては、開閉だけではなく、引き結ぶ、両方の口角を上げる、片方の口角を上げる、両方の口角を下げるなど複数のパターンに対応した派生画像群を生成しておき、配信キャラクタ表示部１３８等は、配信者１１０の口の形状に合わせてキャラクタ１１４の口を変化させてもよい。

部分抽出部２２０は、キャラクタ静止画像２２４からキャラクタ１１４の頭部全体を部分領域として抽出し、派生画像生成部２２２はキャラクタ１１４が頭部を傾ける複数の派生画像２４０を生成してもよい。動作検出部１３０は、配信者１１０の首の傾きを動作情報として検出し、配信キャラクタ表示部１３８等は配信者１１０の首の傾きに応じてキャラクタ１１４の首の傾きを変化させてもよい。

部分抽出部２２０は、キャラクタ静止画像２２４からキャラクタ１１４の髪に対応する部分領域を抽出してもよい。派生画像生成部２２２は、髪の揺れや乱れに対応する複数の派生画像２４０を生成してもよい。キャラクタ１１４の表示中において、配信キャラクタ表示部１３８等はキャラクタ１１４の髪を揺らせることにより、配信者１１０の動作に変化がないときでもキャラクタ１１４の髪が風に吹かれているかのような動きを表現してもよい。

部分抽出部２２０は、目領域２３０から瞳に対応する部分領域を抽出してもよい。派生画像生成部２２２は、目領域２３０内部において瞳を上下左右に移動させた派生画像を生成してもよい。配信キャラクタ表示部１３８等は、配信者１１０の瞳の位置（視線方向）を示す動作情報に基づいて、キャラクタ１１４の瞳の位置を変化させてもよい。

本実施形態においては、派生画像２４０の瞼皮部２３６を肌色系の所定色で塗色するとして説明した。肌色系に限らず、青系などアイシャドーを模した他の色により瞼皮部２３６を塗色してもよい。

図１５は、左上眼瞼２２６Ｌの低下方法の別例を説明するための図である。
本実施形態においては、左上眼瞼２２６Ｌの形状を変化させることなく、左目領域２３０Ｌ内において左上眼瞼２２６Ｌの睫毛ラインを真っ直ぐに下降させながら複数の派生画像２４０を生成するとして説明した。変形例として、左目領域２３０Ｌ内において左上眼瞼２２６Ｌを下げるごとに左上眼瞼２２６Ｌの睫毛ラインの形状を変化させてもよい。

具体的には、左目２３４の目頭と目尻を結ぶ曲線２５０を設定し、この曲線に合わせて左上眼瞼２２６Ｌの睫毛ラインの形状を変化させてもよい。派生画像生成部２２２は、開眼度が小さくなるほど（閉眼に近づくほど）、曲線２５０を上に凸から下に凸に変化させる。派生画像生成部２２２は、左上眼瞼２２６Ｌの睫毛ラインを曲線２５０に沿った形状に変化させる、このような制御方法によれば、開眼度に応じて左上眼瞼２２６Ｌの形状が変化するため、眼球の僅かな丸みを表現できる。右目についても同様である。

部分抽出部２２０は、キャラクタ静止画像２２４におけるキャラクタ１１４の開口度を判定してもよい。部分抽出部２２０は、まず、口領域２３２を特定し、開口範囲２４４を設定する。開口範囲２４４の縦幅に比べて口領域２３２の縦幅が所定割合以上であれば開口と判定し、所定割合未満であれば閉口と判定してもよい。派生画像生成部２２２は、開口時には閉口状態に向かう複数の派生画像２４０を生成し、閉口時には開口状態に向かう複数の派生画像２４０を生成すればよい。なお、派生画像生成部２２２は、開口状態のキャラクタ静止画像２２４のみを対象として派生画像２４０を生成するとしてもよいし、閉口状態のキャラクタ静止画像２２４のみを対象として派生画像２４０を生成するとしてもよい。

部分抽出部２２０は、画像認識モデル（機械学習モデル）に基づいて開口範囲２４４を設定してもよい。変形例として、デザイナーはキャラクタ静止画像２２４において手動で開口範囲２４４を設定してもよい。このような制御方法によれば、デザイナーはキャラクタ１１４の最大開口サイズを指定できる。キャラクタ１１４をあまり大きく開口させたくないときや、キャラクタ１１４を極めて大きく開口させたいときにはデザイナーは自由に開口範囲２４４のサイズを決めることでキャラクタ１１４の最高開口度を調整すればよい。

本実施形態においては、キャラクタ静止画像２２４は、デザイナーにより造形されたキャラクタ１１４の顔画像を含むとして説明した。変形例として、実在の人物の顔画像を含む静止画像から同様の方法により動画像を生成してもよい。あるいは、実在の人形を撮像した静止画像から同様の方法により動画像を生成してもよい。

本実施形態においては、サーバ１０２がキャラクタ静止画像２２４を取得し、複数の派生画像２４０を生成することでキャラクタ動画像を準備するとして説明した。キャラクタ動画像の生成機能は、サーバ１０２ではなく、配信装置１０４等の端末装置が備えてもよい。具体的には、配信装置１０４が部分特定機能および派生画像生成機能を搭載してもよい。たとえば、配信者１１０はキャラクタ静止画像２２４を配信装置１０４に入力し、配信装置１０４の部分抽出部２２０および派生画像生成部２２２はキャラクタ静止画像２２４からキャラクタ動画像２４２を生成してもよい。配信者１１０は、配信装置１０４においてキャラクタ動画像２４２を動作確認し、必要に応じて、部分領域等の修正をした上で、サーバ１０２に修正後のキャラクタ動画像をアップロードしてもよい。

本実施形態においては、キャラクタ静止画像２２４から生成した派生画像２４０をライブ通信システム１００によるライブ通信サービスに適用するとして説明した。キャラクタ静止画像２２４から派生画像２４０を生成する技術は、ライブ通信以外のサービスにも応用可能である。たとえば、小さな子どもが描いた顔の絵（キャラクタ静止画像２２４）から、派生画像２４０を生成することで、お絵描きの楽しみとともに、絵が動く楽しさを提供してもよい。

１００ ライブ通信システム、１０２ サーバ、１０４ 配信装置、１０６ インターネット、１０８ 視聴装置、１１０ 配信者、１１２ 視聴者、１１４ キャラクタ、１１４ａ 配信キャラクタ、１１４ｂ 視聴キャラクタ、１１６ ユーザインタフェース処理部、１１８ 撮像部、１２０ データ処理部、１２２ 通信部、１２４ データ格納部、１２６ 入力部、１２８ 出力部、１３０ 動作検出部、１３２ 第１メッセージ取得部、１３８ 配信キャラクタ表示部、１４０ 第２メッセージ出力部、１４４ 動作情報生成部、１４８ 送信部、１５０ 受信部、１５２ 通信部、１５４ データ処理部、１５６ データ格納部、１５８ キャラクタ格納部、１６２ ユーザインタフェース処理部、１６４ 通信部、１６６ データ処理部、１６８ データ格納部、１７０ 入力部、１７２ 出力部、１７４ 第２メッセージ取得部、１７６ キャラクタ選択部、１８０ 視聴キャラクタ表示部、１８２ 第１メッセージ出力部、１８４ 第２メッセージ出力部、１８６ 送信部、１９０ 受信部、１９６ 視聴者会話画面、１９８ メッセージ領域、２０６ 配信者会話画面、２０８ カメラ、２１０ 送信部、２１２ 受信部、２１４ 画像送信部、２１６ 画像取得部、２１８ ライブ制御部、２２０ 部分抽出部、２２２ 派生画像生成部、２２４ キャラクタ静止画像、２２６ 上眼瞼、２２６Ｌ 左上眼瞼、２２６Ｒ 右上眼瞼、２２８ 眼球部、２２８Ｌ 左眼球部、２２８Ｒ 右眼球部、２３０ 目領域、２３０Ｌ 左目領域、２３０Ｒ 右目領域、２３２ 口領域、２３４ 左目、２３６ 瞼皮部、２４０ 派生画像、２４２ キャラクタ動画像、２４４ 開口範囲、２５０ 曲線、２５２ 外部分

Claims (7)

1. 静止画像としての顔画像を取得する画像取得部と、
   顔画像から部分領域を抽出する部分抽出部と、
   顔画像に含まれる特定の前記部分領域を変化させた画像として、複数の派生画像を自動生成する派生画像生成部と、
   前記複数の派生画像に基づいて、顔画像を動画表示させる画像表示部と、を備え、
   前記部分抽出部は、前記部分領域として顔画像のうち開眼状態の目に対応する目領域を抽出し、更に、前記目領域から上眼瞼に対応する上眼瞼領域と眼球部に対応する眼球領域を特定し、
   前記派生画像生成部は、前記上眼瞼領域を前記目領域内において複数段階を経て下降させるとともに、前記上眼瞼領域が前記眼球領域からはみだす部分を削除することにより、顔画像に含まれる開眼状態の目領域が閉眼状態に移行する過程を示す複数の派生画像を生成し、
   前記画像表示部は、複数の派生画像を連続表示させることにより、瞬きを示す動画を表示させることを特徴とする動画生成装置。
2. 前記派生画像生成部は、単一の静止画像としての顔画像から複数の派生画像を自動生成することを特徴とする請求項１に記載の動画生成装置。
3. 前記部分抽出部は、あらかじめ用意された複数の顔画像それぞれにおいて指定される部分領域を教師データとする機械学習モデルにより、前記取得された顔画像における部分領域を抽出することを特徴とする請求項１または２に記載の動画生成装置。
4. 前記静止画像としての顔画像は、実在人物を撮像した顔画像ではなく、ユーザにより造形されたキャラクタの静止図像としての顔画像であることを特徴とする請求項１から３のいずれかに記載の動画生成装置。
5. 前記派生画像生成部は、前記上眼瞼領域を前記目領域内において複数段階を経て下降させるとともに前記上眼瞼に対応する部分を所定色によって塗色することにより複数の派生画像を生成することを特徴とする請求項１に記載の動画生成装置。
6. 前記部分抽出部は、更に、前記部分領域として顔画像のうち口に対応する領域を抽出し、
   前記派生画像生成部は、顔画像に含まれる開口状態の口領域が閉口状態に移行する過程を示す複数の派生画像、または、顔画像に含まれる閉口状態の口領域が開口状態に移行する過程を示す複数の派生画像を生成し、
   前記画像表示部は、複数の派生画像を連続表示させることにより、口の開閉を示す動画を表示させることを特徴とする請求項１から５のいずれかに記載の動画生成装置。
7. 静止画像としての顔画像を取得する画像取得機能と、
   顔画像から部分領域を抽出する部分抽出機能と、
   顔画像に含まれる特定の前記部分領域を変化させた画像として、複数の派生画像を自動生成する派生画像生成機能と、
   前記複数の派生画像に基づいて、顔画像を動画表示させる画像表示機能と、をコンピュータに発揮させ、
   前記部分抽出機能は、前記部分領域として顔画像のうち開眼状態の目に対応する目領域を抽出し、更に、前記目領域から上眼瞼に対応する上眼瞼領域と眼球部に対応する眼球領域を特定し、
   前記派生画像生成機能は、前記上眼瞼領域を前記目領域内において複数段階を経て下降させるとともに、前記上眼瞼領域が前記眼球領域からはみだす部分を削除することにより、顔画像に含まれる開眼状態の目領域が閉眼状態に移行する過程を示す複数の派生画像を生成し、
   前記画像表示機能は、複数の派生画像を連続表示させることにより、瞬きを示す動画を表示させることを特徴とする動画生成プログラム。

Images