JP2024005023A

JP2024005023A - プログラム、方法、情報処理装置

Info

Publication number: JP2024005023A
Application number: JP2022104993A
Authority: JP
Inventors: 鉄平倉橋; Teppei Kurahashi
Original assignee: Cover Corp
Current assignee: Cover Corp
Priority date: 2022-06-29
Filing date: 2022-06-29
Publication date: 2024-01-17
Anticipated expiration: 2042-06-29
Also published as: JP2024006906A; JP7204984B1

Abstract

【課題】アバターの顔の部位の態様の変化をより一層自然に見せる技術を提供する。【解決手段】プロセッサを備えるコンピュータによって実行されるプログラムであって、プログラムは、プロセッサに、演者の顔の部位であって、１または複数の顔の部位の動きをセンシングするステップと、センシングした１または複数の顔の部位の動きに基づいて、演者に対応するアバターの１または複数の顔の部位の態様を変化させるステップと、アバターの１または複数の顔の部位の態様を、センシングされた結果に追随させる度合いの設定を受け付けるステップと、を実行させ、変化させるステップにおいて、度合いの設定に従って、アバターの１または複数の顔の部位の態様を変化させる、プログラム。【選択図】図１１

Description

本開示は、プログラム、方法、情報処理装置に関する。

ユーザの表情等をアバターにリアルタイムに反映させる技術が知られている。

特許文献１には、人の声の第１フォルマントと第２フォルマントの周波数の組み合わせから、日本語のどの母音（あいうえお）が発生されているのかを推定し、各母音に対応する口の形にアバターの口の形を変化させる技術が記載されている。

特開２０１６－１２６５００号公報

特許文献１の技術では、マイクロフォンから取得した音声に基づいて、日本語のどの母音を発生しているのかを推定し、アバターの口の形と大きさを決定し変化させる技術が開示されている。
しかしながら、特許文献１の技術では、あくまで音声に基づいてアバターの口の形を変化させるに留まり、例えば、アバターの顔の部位のうち、口以外の部位の態様を変化させる際には、ユーザの音声からでは十分に変化の度合いを反映できず、アバターが不自然な動きになり、視聴者に違和感を与えてしまう恐れがある。
そのため、アバターの顔の部位の態様の変化をより一層自然に見せる技術が必要とされている。

一実施形態によると、プロセッサを備えるコンピュータによって実行されるプログラムであって、プログラムは、プロセッサに、演者の顔の部位であって、１または複数の顔の部位の動きをセンシングするステップと、センシングした１または複数の顔の部位の動きに基づいて、演者に対応するアバターの１または複数の顔の部位の態様を変化させるステップと、アバターの１または複数の顔の部位の態様を、センシングされた結果に追随させる度合いの設定を受け付けるステップと、を実行させ、変化させるステップにおいて、度合いの設定に従って、アバターの１または複数の顔の部位の態様を変化させる、プログラムが提供される。

本開示によれば、アバターの顔の部位の態様の変化をより一層自然に見せる技術を提供することができる。

システム１全体の構成を示すブロック図である。端末装置１０の機能的な構成を示す図である。サーバ２０の機能的な構成を示す図である。サーバ２０の記憶部に記憶されているユーザ情報データベース（ＤＢ）、アバター情報ＤＢ、ウェアラブルデバイス情報ＤＢのデータ構造である。ユーザの発話の音声スペクトルを取得し、取得した音声スペクトルに基づいて、ユーザに対応したアバターの口の態様を演者の発話に応じて変化させる際の一連の処理を表すフローチャートである。ユーザが自身の母音の音声スペクトルをシステム１に登録する際の画面例である。ユーザがアバターの口、または顔の部位の態様の変化の程度の設定を行う際の画面例を示す。ユーザの発話から、ユーザの１または複数の感情の候補を推定し、当該推定したユーザの１または複数の感情に基づいて、アバターの態様を変化させる画面例を示す。ユーザが人間とは異なる属性のアバターに対し、音声スペクトル等に基づいて各種設定を行う画面例を示す。ユーザの顔の部位であって、１または複数の顔の部位の動きをセンシングし、センシングした１または複数の顔の部位の動きに基づいて、ユーザに対応するアバターの１または複数の顔の部位の態様を変化させる際の一連の処理を表すフローチャートである。ユーザの１または複数の顔の部位の動きをセンシングし、当該センシングした１または複数の顔の部位の動きに基づいて、対応するアバターの１または複数の顔の部位の態様を変化させる際の画面例を示す。ユーザの１または複数の感情を候補を推定し、ユーザから選択された感情に基づいて、対応するアバターの１または複数の顔の部位の態様を変化させる際の画面例を示す。ユーザの１または複数の顔の部位のうち、関連づけられている部位の少なくとも１つのセンシング結果が取得できない場合のアバターの態様の変化の程度の度合いを設定する際の画面例を示す。ユーザが眼鏡等のウェアラブルデバイスを装着している際に、アバターの態様の変化の程度の度合いを補正する際の画面例を示す。ユーザの口の動きがセンシングできない場合に、発話の変化の程度に基づいて、アバターの口の態様を変化させる際の画面例を示す。アバターの１または複数の顔の部位のうち、予め関連付けられている部位同士で、度合いの設定の差異が所定の閾値を超過した場合に、所定の通知をユーザに提示する際の画面例を示す。所定の通知をユーザに提示する際、度合いの差を、所定の範囲内に設定した場合の少なくとも１または複数の顔の部位が変化する様子をユーザに提示する際の画面例を示す。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

＜第１の実施の形態＞
＜概要＞
以下の実施形態では、アバターを操作する演者であるユーザの音声スペクトルに基づいて、アバターの口の態様を変化させる技術について説明する。
ここで、本開示にかかる技術を実現する際において適宜使用される装置等に関しては限定されず、ユーザの所持しているスマートフォン、タブレット端末などの端末装置の場合もあれば、据え置き型のPC（Personal Computer）より提示されることもある。

マイク等の集音装置を介して取得したユーザの音声に基づいて、アバターの口の動きを制御する技術が知られている。しかし、当該システムでは、ユーザの実際の口の動きと、アバターの動きが正確に同期せず、視聴者に違和感をあたえてしまうおそれがある。

そこで、システム１では、アバターの口の態様の変化をより一層自然に見せる技術を提供する。

システム１は、例えば、動画配信サイト等において、ユーザ（演者）の動きをトラッキングしたアバターを利用するライブストリーミング配信等の場面において使用され得る。例えば、システム１は、ユーザが使用する端末装置（ＰＣ等）に備わっているカメラ（撮像装置）を介して、ユーザの動きなどをトラッキングしてアバターの動きに反映する。また、システム１は、同じくユーザの端末装置に備えられているマイク（集音装置）を介して、演者の発話の音声スペクトルを取得し、取得した音声スペクトルに基づいて、演者に対応したアバターの口の態様を演者の発話に応じて変化させる。
このとき、システム１は、演者に対応したアバター及び演者の音声を視聴者に提示し、アバターの口の態様を演者の発話に応じて変化させる程度の設定を、演者の発話の変化よりも低い程度とすることが可能に受け付ける。システム１は、当該処理を実行することで、アバターの口の態様を、演者の発話に応じて変化させることがあり得る。
これにより、アバターの口の態様の変化をより一層自然に見せることができる。

＜１システム全体の構成図＞
図１は、第１の実施の形態におけるシステム１の全体の構成を表している。

図１に示すように、システム１は、複数の端末装置（図１では端末装置１０Ａおよび端末装置１０Ｂを示している。以下、総称して「端末装置１０」ということもある。また、さらに複数の端末装置１０Ｃ等が構成に含まれていてもよい。）と、サーバ２０とを含む。端末装置１０とサーバ２０とは、ネットワーク８０を介して通信接続する。

端末装置１０は、各ユーザが操作する装置である。端末装置１０は、移動体通信システムに対応したスマートフォン、タブレット等の携帯端末などにより実現される。この他に、端末装置１０は、例えば据え置き型のＰＣ（Personal Computer）、ラップトップＰＣ等であるとしてもよい。図１に端末装置１０Ｂとして示すように、端末装置１０は、通信ＩＦ（Interface）１２と、入力装置１３と、出力装置１４と、メモリ１５と、記憶部１６と、プロセッサ１９とを備える。サーバ２０は、通信ＩＦ２２と、入出力ＩＦ２３と、メモリ２５と、ストレージ２６と、プロセッサ２９とを備える。

端末装置１０は、ネットワーク８０を介してサーバ２０と通信可能に接続される。端末装置１０は、５Ｇ、ＬＴＥ（Long Term Evolution）などの通信規格に対応した無線基地局８１、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１などの無線ＬＡＮ（Local Area Network）規格に対応した無線ＬＡＮルータ８２等の通信機器と通信することによりネットワーク８０に接続される。

通信ＩＦ１２は、端末装置１０が外部の装置と通信するため、信号を入出力するためのインタフェースである。入力装置１３は、ユーザからの入力操作を受け付けるための入力装置（例えば、タッチパネル、タッチパッド、マウス等のポインティングデバイス、キーボード等）である。出力装置１４は、ユーザに対し情報を提示するための出力装置（ディスプレイ、スピーカ等）である。メモリ１５は、プログラム、および、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。記憶部１６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）である。プロセッサ１９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。

サーバ２０は、ユーザがアバターを利用したライブストリーミング等を行う際に設定する情報等を管理する。サーバ２０は、例えば、ユーザの情報、アバターの情報、ユーザが着用しているウェアラブルデバイスの情報等を記憶する。

通信ＩＦ２２は、サーバ２０が外部の装置と通信するため、信号を入出力するためのインタフェースである。入出力ＩＦ２３は、ユーザからの入力操作を受け付けるための入力装置、および、ユーザに対し情報を提示するための出力装置とのインタフェースとして機能する。メモリ２５は、プログラム、および、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。ストレージ２６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）である。プロセッサ２９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。

本実施形態において、各装置（端末装置、サーバ等）を情報処理装置として把握することもできる。すなわち、各装置の集合体を１つの「情報処理装置」として把握することができ、システム１を複数の装置の集合体として形成してもよい。１つ又は複数のハードウェアに対して本実施形態に係るシステム１を実現することに要する複数の機能の配分の仕方は、各ハードウェアの処理能力及び／又はシステム１に求められる仕様等に鑑みて適宜決定することができる。

＜１．１端末装置１０の構成＞
図２は、実施の形態１のシステム１を構成する端末装置１０のブロック図である。図２に示すように、端末装置１０は、複数のアンテナ（アンテナ１１１、アンテナ１１２）と、各アンテナに対応する無線通信部（第１無線通信部１２１、第２無線通信部１２２）と、操作受付部１３０（タッチ・センシティブ・デバイス１３０１およびディスプレイ１３０２を含む）と、音声処理部１４０と、マイク１４１と、スピーカ１４２と、位置情報センサ１５０と、カメラ１６０と、モーションセンサ１７０と、記憶部１８０と、制御部１９０と、を含む。端末装置１０は、図２では特に図示していない機能及び構成（例えば、電力を保持するためのバッテリ、バッテリから各回路への電力の供給を制御する電力供給回路など）も有している。図２に示すように、端末装置１０に含まれる各ブロックは、バス等により電気的に接続される。

アンテナ１１１は、端末装置１０が発する信号を電波として放射する。また、アンテナ１１１は、空間から電波を受信して受信信号を第１無線通信部１２１へ与える。

アンテナ１１２は、端末装置１０が発する信号を電波として放射する。また、アンテナ１１２は、空間から電波を受信して受信信号を第２無線通信部１２２へ与える。

第１無線通信部１２１は、端末装置１０が他の無線機器と通信するため、アンテナ１１１を介して信号を送受信するための変復調処理などを行う。第２無線通信部１２２は、端末装置１０が他の無線機器と通信するため、アンテナ１１２を介して信号を送受信するための変復調処理などを行う。第１無線通信部１２１と第２無線通信部１２２とは、チューナー、ＲＳＳＩ（Received Signal Strength Indicator）算出回路、ＣＲＣ（Cyclic Redundancy Check）算出回路、高周波回路などを含む通信モジュールである。第１無線通信部１２１と第２無線通信部１２２とは、端末装置１０が送受信する無線信号の変復調、および周波数変換を行い、受信信号を制御部１９０へ与える。

操作受付部１３０は、ユーザの入力操作を受け付けるための機構を有する。具体的には、操作受付部１３０は、タッチスクリーンとして構成され、タッチ・センシティブ・デバイス１３０１と、ディスプレイ１３０２とを含む。タッチ・センシティブ・デバイス１３０１は、端末装置１０のユーザの入力操作を受け付ける。タッチ・センシティブ・デバイス１３０１は、例えば静電容量方式のタッチパネルを用いることによって、タッチパネルに対するユーザの接触位置を検出する。タッチ・センシティブ・デバイス１３０１は、タッチパネルにより検出したユーザの接触位置を示す信号を入力操作として制御部１９０へ出力する。また、端末装置１０は、物理的に入力可能なキーボード（図示せず）を備え、当該キーボードを介して、ユーザの入力操作を受け付けてもよい。

ディスプレイ１３０２は、制御部１９０の制御に応じて、画像、動画、テキストなどのデータを表示する。ディスプレイ１３０２は、例えばＬＣＤ（Liquid Crystal Display）、または有機ＥＬ（Electro-Luminescence）ディスプレイによって実現される。

音声処理部１４０は、音声信号の変復調を行う。音声処理部１４０は、マイク１４１から与えられる信号を変調して、変調後の信号を制御部１９０へ与える。また、音声処理部１４０は、音声信号をスピーカ１４２へ与える。音声処理部１４０は、例えば音声処理用のプロセッサによって実現される。マイク１４１は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部１４０へ与える。スピーカ１４２は、音声処理部１４０から与えられる音声信号を音声に変換して当該音声を端末装置１０の外部へ出力する。

位置情報センサ１５０は、端末装置１０の位置を検出するセンサであり、例えばＧＰＳ（Global Positioning System）モジュールである。ＧＰＳモジュールは、衛星測位システムで用いられる受信装置である。衛星測位システムでは、少なくとも３個または４個の衛星からの信号を受信し、受信した信号に基づいて、ＧＰＳモジュールが搭載される端末装置１０の現在位置を検出する。位置情報センサ１５０は、情報機器間の近距離通信システムで用いられる通信規格に基づく送受信装置であるとしてもよい。具体的には、位置情報センサ１５０は、Bluetooth（登録商標）モジュールなど２．４ＧＨｚ帯を使用して、Bluetooth（登録商標）モジュールを搭載した他の情報機器からのビーコン信号を受信する。

カメラ１６０は、受光素子により光を受光して、撮影画像として出力するためのデバイスである。カメラ１６０は、例えば、カメラ１６０から撮影対象までの距離を検出できる深度カメラである。
また、カメラ１６０は、端末装置１０を使用するユーザの身体の動きを取得する。具体的には、例えば、カメラ１６０は、ユーザの口の動き、顔の各部位（目、眉等）の動きを取得する。当該動きの取得は、既存のあらゆる技術を利用してよい。

モーションセンサ１７０は、ジャイロセンサ、加速度センサ等により構成され、端末装置１０の傾きを検出する。

記憶部１８０は、例えばフラッシュメモリ等により構成され、端末装置１０が使用するデータおよびプログラムを記憶する。ある局面において、記憶部１８０は、ユーザ情報１８０１、アバター情報１８０２、ウェアラブルデバイス情報１８０３等を記憶する。当該情報は、端末装置１０の記憶部１８０に保持される他、後述するサーバの記憶部２０２にデータベースとして記憶されたものを、ネットワーク８０を介して取得してもよい。

ユーザ情報１８０１は、ユーザを識別するＩＤ、ユーザ名、ユーザに対応するアバターの情報等の情報である。ここで、ユーザとは、マイク１４１、またはカメラ１６０を介して取得した情報に基づいてアバターを動かす演者を示す。ユーザ情報に含まれる情報の詳細は、後述する。

アバター情報１８０２は、ユーザに対応するアバターに関する各種情報である。アバター情報１８０２は、例えば、対応するユーザ、ユーザが普段使用する設定等の情報を保持しており、ユーザがライブストリーミング等の配信において、スムーズにアバターを操作するために参照される情報である。アバター情報に含まれる情報の詳細は、後述する。
ユーザが普段使用する設定は、例えば、アバターの態様の変化の度合いの基本設定、普段の配信でデフォルトとして表示させる感情、ユーザのセンシング感度等、アバターを使用して配信する際にユーザが調整可能なパラメータ、条件である。

ウェアラブルデバイス情報１８０３は、ユーザが配信時に着用しているウェアラブルデバイスに関する各種情報である。各種情報は、例えば、下記を含む。
・ウェアラブルデバイスの種類
・ウェアラブルデバイスのサイズ
・ウェアラブルデバイスの透過率
・電子的な情報取得の可否
ウェアラブルデバイス情報１８０３は、例えば、ユーザが着用している眼鏡、スマートグラス等のアイウェア、ヘッドマウントディスプレイ（ＨＭＤ）等の各種器具、デバイスに関する各種情報を保持する。ウェアラブルデバイス情報１８０３に含まれる情報の詳細は、後述する。

制御部１９０は、記憶部１８０に記憶されるプログラムを読み込んで、プログラムに含まれる命令を実行することにより、端末装置１０の動作を制御する。制御部１９０は、例えばアプリケーションプロセッサである。制御部１９０は、プログラムに従って動作することにより、入力操作受付部１９０１と、送受信部１９０２と、データ処理部１９０３と、報知制御部１９０４としての機能を発揮する。

入力操作受付部１９０１は、タッチ・センシティブ・デバイス１３１等の入力装置に対するユーザの入力操作を受け付ける処理を行う。入力操作受付部１９０１は、タッチ・センシティブ・デバイス１３０１に対してユーザが指などを接触させた座標の情報に基づき、ユーザの操作がフリック操作であるか、タップ操作であるか、ドラッグ（スワイプ）操作であるか等の操作の種別を判定する。

送受信部１９０２は、端末装置１０が、サーバ２０等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。

データ処理部１９０３は、端末装置１０が入力を受け付けたデータに対し、プログラムに従って演算を行い、演算結果をメモリ等に出力する処理を行う。

データ処理部１９０３は、カメラ１６０により取得されたユーザの口などの動きを受け付け、各種処理を実行させるための処理を制御する。例えば、データ処理部１９０３は、カメラ１６０により取得したユーザの口の動きに基づいて、ユーザと対応するアバターの口の動きを制御する処理を実行させる。

報知制御部１９０４は、表示画像をディスプレイ１３２に表示させる処理、音声をスピーカ１４２に出力させる処理、振動をカメラ１６０に発生させる処理を行う。

＜１．２サーバ２０の機能的な構成＞
図３は、サーバ２０の機能的な構成を示す図である。図３に示すように、サーバ２０は、通信部２０１と、記憶部２０２と、制御部２０３としての機能を発揮する。

通信部２０１は、サーバ２０が外部の装置と通信するための処理を行う。

記憶部２０２は、サーバ２０が使用するデータ及びプログラムを記憶する。記憶部２０２は、ユーザ情報データベース２０２１と、アバター情報データベース２０２２と、ウェアラブルデバイス情報データベース２０２３等を記憶する。

ユーザ情報データベース２０２１は、アバターを操作する演者に関する各種情報を保持するためのデータベースである。当該データベースが保持する各レコードの詳細は後述する。

アバター情報データベース２０２２は、ユーザが操作するアバターに関する各種情報を保持するためのデータベースである。詳細は後述する。

ウェアラブルデバイス情報データベース２０２３は、アバターを操作するユーザが装着しているアイウェアに関する各種情報を保持するためのデータベースである。詳細は後述する。

制御部２０３は、例えばプロセッサ２９により構成され、このプロセッサ２９がプログラムに従って処理を行うことにより、各種モジュールとして受信制御モジュール２０３１、送信制御モジュール２０３２、ユーザ情報取得モジュール２０３３、アバター情報取得モジュール２０３４、音声スペクトル取得モジュール２０３５、アバター変化モジュール２０３６、アバター提示モジュール２０３７、設定受付モジュール２０３８、ウェアラブルデバイス情報取得モジュール２０３９、変化補正モジュール２０４０等に示す機能を発揮する。

受信制御モジュール２０３１は、サーバ２０が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。

送信制御モジュール２０３２は、サーバ２０が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。

ユーザ情報取得モジュール２０３３は、アバターを操作する演者であるユーザの各種情報を取得する処理を制御する。各種情報は、例えば、下記を含む。
・ユーザの氏名、識別ＩＤ
・ユーザに対応するアバターの情報
・ユーザが着用しているデバイス（眼鏡等）
具体的には、例えば、ユーザ情報取得モジュール２０３３は、ユーザが利用する端末装置１０の記憶部１８０からユーザ情報１８０１を参照することにより、当該情報を取得しても良い。また、ユーザ情報取得モジュール２０３３は、後述するサーバ２０の記憶部２０２に保持されているユーザ情報データベース２０２１を参照することにより当該情報を取得してもよい。他にも、ユーザ情報取得モジュール２０３３は、ユーザから直接ユーザに関する各種情報の入力を受け付けることで、当該情報を取得してもよい。

アバター情報取得モジュール２０３４は、ユーザが操作するアバターの各種情報を取得する。各種情報は、例えば、下記を含む。
・アバターを識別するＩＤの情報
・アバターの属性（人間、人間以外等）の情報
・対応するユーザがデフォルトで設定している口、顔、またはそれ以外の身体の部位の態様の情報
・アバターごとに個別に設定されている、口、顔、またはそれ以外の身体の部位の専用の設定
具体的には、例えば、アバター情報取得モジュール２０３４は、各ユーザに紐づけられたアバターの情報を、アバター情報１８０２、またはユーザ情報データベース２０２１を参照することで取得してもよい。
また、ある局面において、サーバ２０は、ユーザからアバターの口、顔、またはそれ以外の身体の部位の態様の変化の度合いに対する設定の入力を受け付け、当該設定をデフォルトとして再設定する操作を受け付けると、アバター情報１８０２等に保持しているアバター情報を更新する処理を行ってもよい。これにより、ユーザは、適宜アバターの態様の変化の度合いのうち、よく使用する設定をデフォルトとして設定でき、アバターの操作を容易に行うことができる。

なお、アバターの情報は、各ユーザに対して１つでなくともよい。例えば、ユーザに対し予め複数のアバターの情報が紐づけられていてもよいし、追加でユーザに紐づけされてもよい。

また、ある局面において、アバターＩＤは、下記の情報を包含していてもよい。
・アバターの外観に関する情報（性別、瞳の色、髪型、口、顔の部位、またはそれ以外の身体の部位の大きさ、髪の色、肌の色等）
・アバターの口、顔、またはそれ以外の身体の部位の態様に関する情報（変化する態様の種類の多寡、変化する態様の変化量の多寡等）
ここで、サーバ２０は、上記アバター情報を、コンテンツの種類と紐づけて記憶してもよい。具体的には、例えば、サーバ２０は、ユーザがライブ配信等で提供するコンテンツの種類（雑談、歌、演技等）と、口、顔、その他の身体の部位に対する態様の変化の度合いの設定を紐づけておき、ユーザがどのコンテンツを提供するかを選択する操作を受け付けると、当該コンテンツに対応する設定をアバターに反映させてもよい。

これにより、ユーザは、視聴者に提供するコンテンツに合わせて、アバターの態様を適切に変化させることができるため、視聴者に没入感を与えることができる。

また、サーバ２０は、ユーザから使用するアバターの選択を受け付けたのち、態様の変化の度合いの設定を自動で反映させるのではなく、ユーザからの選択を受けつけ、同時にユーザに所定の通知（ダイアログ等）を提示してもよい。例えば、サーバ２０は、ユーザが使用するアバターを選択後、アバター毎に設定されている専用の設定ではなく、通常使用する汎用的な設定を選択した際「通常設定で問題ないか否か」等の通知を提示してもよい。

これにより、ユーザは、間違った設定を反映させてライブ配信をすることを防ぐことができ、視聴者の没入感を削ぐことを防止することができる。

また、サーバ２０は、上記態様の変化の度合いの設定を、ライブ配信中に受け付け反映させてもよい。具体的には、例えば、サーバ２０は、ユーザからライブ配信中に態様の変化の度合いの設定の変更を受け付けると、設定の変更を受け付けた後、所定の時間経過後に取得したユーザの音声スペクトル、またはユーザのセンシング結果に基づいてアバターの態様を変化させる際、変更後の設定に基づいてアバターの態様を変化させる処理を実行してもよい。
これにより、ユーザは、ライブ配信中に適宜態様の変化の設定を変更し反映させることができるため、ライブ配信中に提供するコンテンツを切り替えても、ユーザに違和感なくアバターの態様の変化を見せることができる。

音声スペクトル取得モジュール２０３５は、ユーザの発話の音声スペクトルを取得する処理を制御する。具体的には、例えば、音声スペクトル取得モジュール２０３５は、マイク１４１を介して取得したユーザが発話した音声から、音声スペクトルを取得する処理を制御する。例えば、音声スペクトル取得モジュール２０３５は、マイク１４１を介して、ユーザの音声を取得し、当該音声に含まれる音声スペクトルを取得する。例えば、音声スペクトル取得モジュール２０３５は、マイク１４１から取得した音声をフーリエ変換し、音声に含まれる音声スペクトルの情報を取得してもよい。このとき、音声スペクトルを取得する演算は、フーリエ変換に限られず、既存のあらゆる方法であってもよい。
また、ある局面において、音声スペクトル取得モジュール２０３５は、ユーザの音声から母音の音声スペクトルの情報を取得してもよい。例えば、音声スペクトル取得モジュール２０３５は、予めユーザから入力する母音の設定を受け付けておき、その後、ユーザからの発声を、マイク１４１を介して受け付けることで、受け付けた母音の設定と取得した音声スペクトルとを関連付けて記憶する。
また、ある局面において、音声スペクトル取得モジュール２０３５は、子音に起因する音声の情報である「ｔ」、「ｃ」、「ｈ」、「ｋ」、「ｍ」、「ｒ」、「ｓ」、「ｎ」、「ｗ」等の音を取得し、当該記憶した母音の情報と組み合わせることで、ユーザが発話した言葉を推定してもよい。
これにより、システム１では、ユーザの音声スペクトルのうち、母音に関する音声スペクトルを別に特徴付けして記憶することができるため、アバターの口の態様の動きをより正確に変化させることができる。

アバター変化モジュール２０３６は、取得した音声スペクトルに基づいて、演者に対応したアバターの口の態様を演者の発話に応じて変化させる処理を制御する。具体的には、例えば、アバター変化モジュール２０３６は、音声スペクトル取得モジュール２０３５が取得したユーザの音声スペクトルから、ユーザが発話した言葉を推定し、当該推定した言葉に応じてアバターの口の態様を変化させる。例えば、アバター変化モジュール２０３６は、ユーザの音声スペクトルからユーザが発話した母音の情報を推定し、当該母音にあわせて口の態様を変化させる。例えば、アバター変化モジュール２０３６は、音声スペクトル取得モジュール２０３５が取得したユーザの音声スペクトルが「あ」である場合に、アバターの口の態様を「あ」に対応した形に変化させる。

アバター提示モジュール２０３７は、演者に対応したアバター及びユーザの音声を視聴者に提示する処理を制御する。具体的には、例えば、アバター提示モジュール２０３７は、ユーザに対応するアバターの映像と、ユーザの音声とを、視聴者が使用する端末装置１０のディスプレイ１３０２及びスピーカ１４２に送信し当該視聴者に提示する。このとき、視聴者は一人とは限らず、複数の視聴者の端末装置１０にアバター及び音声とを提示してもよい。

設定受付モジュール２０３８は、アバターの口の態様をユーザの発話に応じて変化させる程度の設定を、ユーザの発話の変化よりも低い程度とすることが可能に受け付ける処理を制御する。具体的には、例えば、設定受付モジュール２０３８は、ユーザから、アバターの口の態様を変化させる程度の設定として、ユーザの発話をアバターの口の態様に反映させる時間間隔の設定を受け付ける。例えば、設定受付モジュール２０３８は、下記を含む設定を受け付けてもよい。
・アバターの口の態様がユーザの音声スペクトルから推定される発話の音声に対応した態様に変化するまでの所要時間の設定
・一定期間内にユーザの発話に基づいてアバターの動作を変更・更新する頻度（例えば、１秒間の更新数）の設定
ここで、ユーザの発話の変化について定義する。ユーザの発話の変化は、例えば、ユーザの発話の速度であり、下記に基づいて算出されてもよい。
・ユーザが発話した母音が変化する時間間隔（例えば、母音が「あ」から「い」に変化する際の時間間隔）
このとき、サーバ２０は、子音に由来する音（ｃ、ｋ等）を同時に取得し、同一の母音を連続して取得した場合でも、別の単語を発話しているとして発話の速度を推定してもよい。
・所定期間内に発せられる母音の数
このとき、設定受付モジュール２０３８は、当該設定を、ユーザの発話の変化から推定されるアバターの変化の程度よりも低い程度とすることが可能に受け付けてもよい。例えば、設定受付モジュール２０３８は、予めユーザの音声スペクトルから推定された発話（母音）に対応するように口の態様を変化させる際の所要時間を受け付けておいてもよい。サーバ２０は、受け付けた所要時間に基づいて、ユーザの音声スペクトルから、ユーザが母音を発話した時間の情報を取得し、予め設定された所要時間との比率を算出し、態様の変化量に乗算し、アバターの口の態様の変化量を算出する。サーバ２０は、取得した発話時間と、変化量とに基づき、口の態様を変化させる。例えば、ユーザが所要時間「１秒」でアバターの口が「あ」の態様に変化する設定を入力したとする。例えば、完全に「あ」の態様になるときを「１００」とし、「１秒」で「１００」になるように設定する。
このとき、サーバ２０は、１秒で態様が変化する際の度合い（口の変化量、速度）についても、ユーザから受けてつけておいてもよい。（すなわち、１秒間で口の態様が変化するうち、最初の０．５秒と残りの０．５秒とで態様の変化量に差分を設定してもよい）
サーバ２０は、ユーザが１秒間「あ」の音を発声した場合には、上記の変化量の設定等に基づき、１秒かけてアバターの口の態様を「あ」の態様に変化させる。しかし、ユーザが「あ」の発声を「０．５秒」しかしなかった場合には、サーバ２０は、アバターの口の態様の変化量を「５０」まで変化させる処理を行ってもよい。

また、サーバ２０は、ユーザが連続して発話した場合（例えば、「あいうえお」と発話）には、それぞれの母音の発話時間を取得し、上記処理を行ってもよい。つまり、サーバ２０は、それぞれの母音の発話時間から、それぞれの母音に対応したアバターの口の態様の変化量を算出し、アバターの口の態様を変化させてもよい。例えば、各母音に対応したアバターの口の態様に変化するまでの所要時間を「１秒」とし、「あ」を「０．２秒」、「い」を「０．３」秒発話していた場合、「あ」に対応した変化量は「２０」であり、「い」に対応した変化量は「３０」である。また、ユーザが所要時間よりも長い時間発話した場合には、サーバ２０は、アバターの口の態様を、所用時間後もその状態を維持してもよい。
これにより、ユーザは、「あ」の音声を発声した場合に即時的にアバターを口の態様が「あ」になるのではなく、自身の発話時間に応じて徐々にアバターの口の態様を変化させることができる。また、所用時間を設定し、当該時間に満たない発話の場合に、口の態様の変化量を乗算して変化させることで、ユーザが軽く発話した際でもアバターの口の態様が大きく変化する（例えば、３０程度の口の開きでもアバターの口の態様は１００として変化する）ことを防ぐことができる。これにより、ユーザは、視聴者にユーザの発話とアバターの口の態様の変化とに生じる違和感を与えることを防ぐことができるため、より視聴者に没入感を与えることができる。

ある局面において、サーバ２０は、ユーザから取得した音声スペクトルの大きさ、高さ等の情報等に基づいて、アバターの口の態様を変化させてもよい。具体的には、例えば、サーバ２０は、ユーザの音声スペクトルの周波数（Ｈｚ）、音圧（ｄＢ）の情報を取得し、当該情報が所定の閾値を超過した場合等に、アバターの口の態様を変化させてもよい。例えば、サーバ２０は、所用時間「１秒」でアバターの口の態様を変化させる設定を受け付けており、ユーザの発話時間が「１秒」であったとする。このとき、サーバ２０は、ユーザが「０．８秒」の時点で閾値を越す音圧で発声したことを検知した場合には、アバターの口の態様を、通常よりも大きく変化（大きく口を開けた態様にする）させてもよい。このとき、サーバ２０は、口だけでなく、顔の部位、身体の部位についても同様の設定を反映させてもよい。
これにより、ユーザは、急に大声を上げた場合でも、アバターの口の態様に反映させることができ、より自然なアバターの動きを視聴者に見せることができる。

他にも、設定受付モジュール２０３８は、ユーザの発話から推定される発話の速度から推定されるアバターの動作の更新頻度よりも低い値になるよう、アバターの口の態様の変化の程度の設定を受け付けてもよい。
その後、サーバ２０は設定受付モジュール２０３８により設定した情報をアバター変化モジュール２０３６に送信し、アバターの口の態様を、設定に応じて変化させ、その後、アバター提示モジュール２０３７により視聴者にアバター及びユーザの音声を提示する。
これにより、ユーザは、母音の変化よりゆるやかにアバターの口の態様を変化させることで、より自身の発話に合わせて滑らかにアバターの口の態様を変化させることができる。これにより、ユーザは、アバターの口の態様が繊細に動きすぎて不自然な動きにすることを防ぐことができるため、視聴者により自然な口の動きを提示することができ、視聴者の没入感を高めることができる。

ウェアラブルデバイス情報取得モジュール２０３９は、ユーザが着用しているウェアラブルデバイスの情報を取得する処理を制御する。具体的には、例えば、ウェアラブルデバイス情報取得モジュール２０３９は、ユーザの情報を取得すると、後述するウェアラブルデバイス情報データベース２０２３を参照し、ユーザが着用しているウェアラブルデバイスの情報を取得する。サーバ２０は、取得したウェアラブルデバイスの情報を、変化補正モジュール２０４０に送信する。

変化補正モジュール２０４０は、ウェアラブルデバイス情報取得モジュール２０３９が取得したウェアラブルデバイスの情報に基づいて、アバターに反映させる態様の変化の度合いの設定を補正する処理を制御する。具体的には、例えば、変化補正モジュール２０４０は、ウェアラブルデバイス情報取得モジュール２０３９が取得したウェアラブルデバイスの情報から、ユーザの顔の部位のうち、ウェアラブルデバイスに覆われている、遮蔽されている部位の態様の変化の度合いの設定を補正する。サーバ２０は、ユーザの顔の所定の部位（口、目、眉、鼻等）のセンシング結果を取得し、当該センシング結果と、ユーザから受け付けた設定（センシング結果を反映させる度合い、パラメータの設定等）とを反映させ、アバターの態様を変化させる。このとき、例えば、変化補正モジュール２０４０は、ユーザが眼鏡を着用している場合、当該情報に基づいて、ユーザに対応するアバターの目の態様の変化の度合いをユーザから受け付けた時、予め設定されている補正値に基づいて補正して反映する、補正とは、例えば、ウェアラブルデバイスごとにユーザの顔の部位のセンシングの精度が低下する場合、当該低下率（あるいは減衰率）を予め設定しておき、当該設定に基づいて、センシング、トラッキング時のアバターへの動きの反映の度合いを補正する処理を示す。
これにより、ユーザは、眼鏡等を着用していても、アバターの態様の変化を自然に視聴者に提示することができる。

他にも、変化補正モジュール２０４０は、アバター情報取得モジュール２０３４が取得したアバターの属性に応じて、アバターの態様の変化の度合いを補正してもよい。
具体的には、例えば、変化補正モジュール２０４０は、ユーザが操作するアバターが人間、または人間とは態様の変化の様子が異なる人間以外のいずれかであるかの情報を取得し、当該情報に基づいて、アバターの態様の変化の程度を補正する処理を実行してもよい。例えば、ユーザが操作するアバターの属性が「竜」である場合には、目、口等の動きが、人間とは異なる挙動を示す可能性がある。その場合、変化補正モジュール２０４０は、当該「竜」の属性に基づいて、口角の変化量、眼球の変化量等を、アバターに沿った形に補正してもよい。
これにより、ユーザは、人間とは異なるアバターを操作していても、自身の発話、顔のセンシング結果に基づいて、より自然な動きを視聴者に提示することができる。

なお、本開示における実施形態において、上記構成は必須ではない。すなわち、端末装置１０がサーバ２０の役割を担い、サーバ２０の制御部２０３を構成する各種モジュールと同じ処理を実行してもよい。また、端末装置１０は、ネットワーク８０を介さずとも、端末装置１０に備えられたマイク１４１、カメラ１６０等を介して取得した情報をもとに、本発明において開示される各種機能を実施してもよい。

＜２データ構造＞
図４は、サーバ２０が記憶するユーザ情報データベース２０２１、アバター情報データベース２０２２、ウェアラブルデバイス情報データベース２０２３のデータ構造を示す図である。

図４に示すように、ユーザ情報データベース２０２１は、項目「ＩＤ」と、項目「対応アバター」と、項目「使用デバイス」と、項目「専用プリセット（口）」と、項目「専用プリセット（顔）」と、項目「基本設定」と、項目「よく使う感情」と、項目「備考」等を含む。

項目「ＩＤ」は、アバターを操作する演者であるユーザそれぞれを識別する情報である。

項目「対応アバター」は、各ユーザに対応するアバターそれぞれを識別する情報である。

項目「使用デバイス」は、各ユーザが着用しているデバイス、例えば、ユーザが着用しているウェアラブルデバイスそれぞれを識別する情報である。

項目「専用プリセット（口）」は、各ユーザがアバターを操作する際の、アバターの口の態様を変化させる程度の度合いについて、ユーザ毎に予め設定された条件を示す情報である。具体的には、例えば、ユーザが操作するアバターが所定の状況下（例えば、口の態様を大きく変化させる等）になった際に、アバターに応じて個別に設定された各種条件を示す。プリセットに含まれる情報は、例えば、口角の高さ、唇の形等の情報が含まれていて良い。サーバ２０は、ユーザから当該プリセットの選択を受け付けることで、アバターに当該設定を反映させ、視聴者に提示してもよい。
これにより、ユーザは、自身に対応するアバターに特有の口の態様の変化を即座に反映させ、視聴者に提示することができるため、より自然にアバターが動く様子を視聴者に見せることができる。

項目「専用プリセット（顔）」は、各ユーザがアバターを操作する際の、アバターの顔の部位の態様を変化させる程度の度合いについて、ユーザ毎に予め設定された条件を示す情報である。具体的には、例えば、ユーザが操作するアバターが所定の状況下（例えば、アバターの表情を大きく変化させる等）になった際に、アバターに応じて個別に設定された各種条件を示す。プリセットに含まれる情報は、例えば、眉の向き、目の形、瞳孔の大きさ、頬の紅潮、発話又はユーザの表情のセンシング等の情報が含まれていて良い。サーバ２０は、ユーザから当該プリセットの選択を受け付けることで、アバターに当該設定を反映させ、視聴者に提示してもよい。
例えば、ユーザが人間以外の属性のアバター（モンスター、無機物、ロボット等）を使用しているとする。その場合、アバターの各種部位（口、顔、身体）の態様の変化は、ユーザの音声スペクトル、センシング結果とは完全に一致しない可能性がある。そのため、サーバ２０は、上記に例示した専用プリセット（口）、または専用プリセット（顔）の設定をユーザから受け付けてよい。これにより、ユーザは、ライブ配信等の際に当該プリセットを選択することで、あらゆるアバターを使用した時でも、違和感なくユーザの音声スペクトル、センシング結果をアバターの態様の変化に反映させることができる。

また、サーバ２０は、他にも、ユーザが提供するコンテンツの種類に応じた専用のプリセットの設定を受け付けてもよい。例えば、ユーザが歌を配信する際の設定として、普段雑談する際よりも大きくアバターの口、顔の部位、身体の部位を変化させる設定などを受け付けていてもよい。
これにより、ユーザは、自身に対応するアバターに特有の顔の態様の変化を即座に反映させ、視聴者に提示することができるため、より自然にアバターが動く様子を視聴者に見せることができる。

項目「基本設定」は、ユーザが通常使用する変化の程度の度合いの設定を示す。具体的には、例えば、アバターを操作するユーザが普段の配信、ライブ配信・ライブストリーミングにおいて、口、顔、その他身体の部位の態様を変化させる際に、通常（汎用的に）使用する変化の程度の度合いの条件を示す。例えば、条件は、ユーザのセンシング結果に追随させる度合いの程度等を含んでもよい。センシング結果に追随させる度合いとは、例えば、センシング結果を直接アバターの態様の変化に反映させた際を１００とした感度の度合い、ユーザの顔の変化量と比較したアバターの態様の変化量、センシング結果から推定されるアバターの単位時間あたりの変化量に対してアバターの動きに反映させる変化量の程度等を含む。
これにより、ユーザは、配信のたびに変化の程度の度合いを設定することなく、簡易に配信を始めることができる。

このとき、サーバ２０は、基本設定と専用プリセットとを組み合わせて、コンテンツに応じた設定として受け付けてもよい。具体的には、例えば、コンテンツに応じたアバターの設定を下記に例示する。
・ＡＳＭＲ（Autonomous Sensory Meridian Response）モード（ささやきモード）
口は専用プリセット（感度を低めにし、小声感を出す）を使用しつつ、表情については基本設定を使用する。または、専用の表情の設定を併用する。
・アクションゲーム配信モード
口は専用プリセット（感度を高めにし、オーバーリアクションになるようにする）を使用しつつ、表情についても感度を高めにする。
・ホラーゲーム配信モード
口は専用プリセット（感度を低めにし、検出する周波数の閾値を低く設定する）を使用しつつ、表情も同様の感度設定を行う。または、専用の設定を使用する。
・雑談モード（基本設定を使用）

また、ある局面において、サーバ２０は、上記モードの切り替えについて、ユーザに切り替えボタンを提示し、当該ボタンのユーザからの押下操作を受け付けることにより、アバターにモードに基づいて態様の変化の度合いの設定を反映させてもよい。
このとき、サーバ２０は、切り替えボタンを、視聴者には見えず、かつユーザには視認可能な状態でユーザに提示してもよい。また、サーバ２０は、当該切り替えボタンの配置をユーザの操作により変更してもよい。
これにより、ユーザは、視聴者に提供するコンテンツに応じて、プリセットを使い分けることができ、より幅広い表現が可能となる。

また、サーバ２０は、仮想空間上の背景に関する情報を紐づけて記憶していてもよく、モードの切り替えに応答して、背景を変化させてもよい。他にも、サーバ２０は、下記に例示する所定のオブジェクトを紐づけて記憶しておき、モードの切り替えに応答して当該オブジェクトを仮想空間上に表示してもよい。
・音楽ライブ配信時のマイク、楽器などの機材オブジェクト
・ゲーム配信時のゲーム機器のオブジェクト
・汎用的なオブジェクト（観葉植物、部屋の家具など）
これにより、サーバ２０は、モードの切り替え時の読み込み処理を軽減でき、遅延などが生じ視聴者に違和感を与えることを防ぐことができる。

上記設定は、基本設定等と組み合わせて使用されてもよい。組み合わせは、ユーザから任意の設定を受け付けてよく、ユーザ毎に専用の組み合わせとして、記憶部に保持してもよい。また、サーバ２０は、複数のプリセットにおいて、使用頻度の情報を取得してもよい。サーバ２０は、当該使用頻度の情報に基づいて、ユーザに対し、使用頻度の高いプリセットを「よく使う設定」、または「基本設定」として保持するかの通知を提示してもよい。サーバ２０は、ユーザから「よく使う設定」等に設定する旨の指示を受け付けると、当該プリセットを「よく使う設定」として記憶部に保持してもよい。

項目「よく使う感情」は、ユーザがアバターを操作する際に、よく使用する感情の設定を示す。具体的には、例えば、ユーザが配信中に「喜び」の感情をよく使用する場合、サーバ２０は、当該感情に基づいたアバターの態様の変化の条件を予めデータベース内に保持していてもよい。このとき、態様の変化の条件は、口の態様の変化の程度の度合い、「喜び」の感情を表現する際に動作する顔の各種部位の変化量、センシング結果に追随させる度合いの程度、等を含む。
サーバ２０は、当該保持している感情の設定の選択をユーザから受け付けると、当該感情に基づいてアバターの態様を変化させ、視聴者に提示してもよい。
これにより、ユーザは、普段の配信で使用する感情に応じたアバターの態様の変化を即座に設定することができ、簡易に配信を行うことができる。

項目「備考」は、ユーザの情報に特記事項などがある場合に保持される情報である。

図４に示すように、アバター情報データベース２０２２は、項目「ＩＤ」と、項目「対応ユーザ」と、項目「属性」と、項目「関連付け部位」と、項目「特殊部位の有無」と、項目「特殊部位の動作設定」と、項目「標準変化速度」と、項目「よく使う感情」と、項目「備考」等を含む。

項目「ＩＤ」は、配信に使用され、視聴者に提示されるアバターそれぞれを識別する情報である。

項目「対応ユーザ」は、アバターを対応するユーザを識別する情報である。

項目「属性」は、アバター毎に設定されている属性を識別する情報である。具体的には、属性は、例えば、アバターが人間、または人間とは態様の変化の様子が異なる人間以外のいずれかであるかを特定する情報を示す。
属性は、例えば、下記の情報を含む
・人間
・人間とは異なる生物（動物、植物等）
・空想上の生物（竜、天使、悪魔等）
・機械
・不定形の存在（ファンタジーにおけるスライム、ゴースト等）
ある局面において、当該レコードは下位概念の情報として、定義された属性に特有の情報を保持していてもよい。具体的には、例えば、属性が「無機物」である場合には、「目が存在しない」といった下位概念を保持していてもよく、属性が「仮想生物」である場合には、「目が複数ある」等の情報を保持していてもよい。サーバ２０は、当該属性の情報に基づいて、アバターの態様の変化の程度の度合いを補正するための情報を保持していてもよい。
これにより、ユーザは、人間以外のアバターを操作する際にも、適切に口、顔の態様を変化させることができる。

項目「関連付け部位」は、アバターの１または複数の顔の部位のうち、関連付けられた部位に関する情報である。具体的には、関連付け部位は、例えば、アバターの顔の部位のうち「眉」同士が関連付けられている場合等に当該情報を保持してもよい。サーバ２０は、当該関連付けられた部位同士に対し、同一の態様の変化の程度の設定を受け付けてもよい。
これにより、ユーザは、関連付けられている部位に対し、個別に態様の変化の程度の設定をすることがないため、態様の変化の程度の設定の手間を軽減することができる。

項目「特殊部位の有無」は、アバターに特殊部位があるか否かを識別するための情報である。具体的には、例えば、サーバ２０は、アバターの属性が人間以外である場合に、「角」、「尻尾」等の部位が存在する場合に、当該情報を保持していてもよい。ここで、特殊部位は、アバターの身体に属している必要はなく、アバターの周囲に浮遊しているオブジェクト等であってもよい。
特殊部位は、上記に限られない。例えば、アバターとは異なる生物等のオブジェクトが周囲に配置されていてもよい。

項目「特殊部位の動作設定」は、アバターの特殊部位を動作させる設定に関する情報である。具体的には、例えば、サーバ２０は、アバターに特殊部位（例えば、「角」、「尻尾」等）が存在する場合に、当該部位がどのような条件をトリガーとして動作するかの情報をこのレコードに保持していてもよい。例えば、特殊部位「角」を持つアバターにおいて、「目全体の動きと連動」となっている場合、サーバ２０は、ユーザが設定した目の態様の変化の程度の設定を、当該角に反映し、態様を変化させてもよい。
また、ある局面において、サーバ２０は、特殊部位ごとにユーザからの態様の変化の程度の設定を受け付けてもよい。例えば、特殊部位として、アバターの身体に接続されているものではなく、アバターの周囲に浮遊しているオブジェクトの態様が変化する場合等に、サーバ２０は、当該オブジェクトそれぞれに対し、ユーザからの設定の入力を受け付けてもよい。ただし、サーバ２０は、当該オブジェクトについても、アバターの部位（口、顔等）の設定を反映し態様を変化させてもよい。

また、サーバ２０は、特殊部位が、アバターとは異なる生物等のオブジェクトであり、アバターの周囲に存在している場合に、当該オブジェクトが有する部位（例えば、目、口等）が、ユーザの音声スペクトル、またはセンシング結果に基づいて態様を変化させる度合いの程度の設定を受け付けてもよい。例えば、サーバ２０は、当該オブジェクトの目の変化量を、アバターの変化量に所定の割合乗算して設定してもよいし、オブジェクトの部位ごとにユーザからの設定を受け付けてもよい。
これにより、ユーザは、人間以外のアバターを操作する場合でも、そのアバターの特性に合った操作を行うことができる。

項目「備考」は、アバターの情報に特記事項などがある場合に保持される情報である。

図４に示すように、ウェアラブルデバイス情報データベース２０２３は、項目「ＩＤ」と、項目「種類」と、項目「検出精度」と、項目「補正量」と、項目「備考」と、を含む。

項目「ＩＤ」は、ユーザが着用しているウェアラブルデバイスそれぞれを識別する情報である。

項目「種類」は、ユーザが着用しているウェアラブルデバイスの種類を示す情報である。ユーザが着用しているウェアラブルデバイスは特に限定されず、眼鏡等のアイウェア、ＨＭＤ等の頭部を覆うデバイスでもよい。

項目「検出精度」は、ユーザがウェアラブルデバイスを装着している際の、ユーザの目、または顔の動きのセンシングの検出精度を示す。具体的には、例えば、サーバ２０は、ユーザが着用しているウェアラブルデバイスそれぞれに対し、センシングの検出精度をスコアリングし、当該情報を保持してもよい。例えば、透過率が高く、裸眼とほぼ変わらない眼鏡をユーザが着用している場合には、検出精度「〇」として情報を保持しておいてもよい。このとき、サーバ２０が保持するスコアは「〇」等の記号ではなく、透過率などを基準とした「１００」等の数値でもよいし、「Ａ」、「良」等の表記でも良く、限定されない。

項目「補正量」は、ウェアラブルデバイスごとに設定された、アバターの変化の程度の補正量を示す。具体的には、例えば、サーバ２０は、前述の検出精度の値に基づいて、アバターの態様の変化の程度の補正量を設定する。例えば、ユーザが眼鏡を着用している場合には、その透過率等に基づいて所定の倍率を変化の程度に乗算する処理を実行してもよい。
ある局面において、サーバ２０は、ユーザがＨＭＤ等のデバイスを着用しており、検出精度は低い場合でも、当該デバイスからユーザの目、または顔のセンシング結果が取得できる場合には、特に補正の処理を実行しないこととしてもよい。
サーバ２０が保持するウェアラブルデバイスの情報は、他にも、マスク、眼帯等の情報であってもよい。その場合、サーバ２０は、マスク、眼帯などで遮蔽されている部位について、センシング結果に基づいた態様の変化ではなく、ユーザの発話、または遮蔽されていない他の部位の設定を反映する等により、当該部位の動きをアバターに反映させてもよい。
これにより、ユーザは、配信時の自身の姿を気にすることなく、配信に臨むことができる。

項目「備考」は、ウェアラブルデバイスの情報に特記事項等がある場合に保持される情報である。

＜３動作＞
以下、システム１が、ユーザの発話の音声スペクトルを取得し、取得した音声スペクトルに基づいて、ユーザに対応したアバターの口の態様を演者の発話に応じて変化させる際の一連の処理について説明する。

図５は、ユーザの発話の音声スペクトルを取得し、取得した音声スペクトルに基づいて、ユーザに対応したアバターの口の態様を演者の発話に応じて変化させる際の一連の処理を表すフローチャートである。なお、本フローチャートでは、ユーザが使用する端末装置１０の制御部１９０が一連の処理を実行する例を開示するが、これに限られない。すなわち、一部の情報を端末装置１０がサーバ２０に送信し、当該処理をサーバ２０で実行してもよいし、サーバ２０が一連の全ての処理を実行してもよい。

ステップＳ５０１において、端末装置１０の制御部１９０は、アバターを操作する演者であるユーザの発話の音声スペクトルを取得する。具体的には、例えば、端末装置１０の制御部１９０は、サーバ２０の音声スペクトル取得モジュール２０３５と同様に、マイク１４１を介して取得したユーザが発話した音声から、音声スペクトルを取得する処理を制御する。例えば、制御部１９０は、マイク１４１を介して、ユーザの音声を取得し、当該音声に含まれる音声スペクトルを取得する。例えば、制御部１９０は、マイク１４１から取得した音声をフーリエ変換し、音声に含まれる音声スペクトルの情報を取得してもよい。このとき、音声スペクトルを取得する演算は、フーリエ変換に限られず、既存のあらゆる方法であってもよい。
また、ある局面において、制御部１９０は、ユーザの音声から母音の音声スペクトルの情報を取得してもよい。例えば、制御部１９０は、予めユーザから入力する母音の設定を受け付けておき、その後、ユーザからの発声を、マイク１４１を介して受け付けることで、受け付けた母音の設定と取得した音声スペクトルとを関連付けて記憶する。
また、ある局面において、音声スペクトル取得モジュール２０３５は、子音に起因する音声の情報である「ｔ」、「ｃ」、「ｈ」、「ｋ」、「ｍ」、「ｒ」、「ｓ」、「ｎ」、「ｗ」等の音を取得し、当該記憶した母音の情報と組み合わせることで、ユーザが発話した言葉を推定してもよい。
これにより、システム１では、ユーザの音声スペクトルのうち、母音に関する音声スペクトルを別に特徴付けして記憶することができるため、アバターの口の態様の動きをより正確に変化させることができる。

ステップＳ５０２において、端末装置１０の制御部１９０は、取得した音声スペクトルに基づいて、ユーザに対応したアバターの口の態様をユーザの発話に応じて変化させる。具体的には、例えば、端末装置１０の制御部１９０は、サーバ２０のアバター変化モジュール２０３６と同様に、取得したユーザの音声スペクトルから、ユーザが発話した言葉を推定し、当該推定した言葉に応じてアバターの口の態様を変化させる。例えば、制御部１９０は、取得したユーザの音声スペクトルが「あ」である場合に、アバターの口の態様を「あ」に対応した形に変化させる。

ステップＳ５０３において、端末装置１０の制御部１９０は、ユーザに対応したアバター及びユーザの音声を視聴者に提示する。具体的には、例えば、端末装置１０の制御部１９０は、サーバ２０のアバター提示モジュール２０３７と同様に、ユーザに対応するアバターの映像と、ユーザの音声とを、視聴者が使用する端末装置１０のディスプレイ１３０２及びスピーカ１４２に送信し当該視聴者に提示する。このとき、視聴者は一人とは限らず、複数の視聴者の端末装置１０にアバター及び音声とを提示してもよい。

ステップＳ５０４において、端末装置１０の制御部１９０は、アバターの口の態様を演者の発話に応じて変化させる程度の設定を、ユーザの発話の変化よりも低い程度とすることが可能に受け付ける。具体的には、例えば、端末装置１０の制御部１９０は、サーバ２０の設定受付モジュール２０３８と同様に、下記を含む設定を受け付けてもよい。
・一定期間内にユーザの発話に基づいてアバターの動作を変更・更新する頻度（例えば、１秒間の更新数）の設定
ここで、ユーザの発話の変化について定義する。ユーザの発話の変化は、例えば、ユーザの発話の速度であり、下記に基づいて算出されてもよい。
・ユーザが発話した母音が変化する時間間隔（例えば、母音が「あ」から「い」に変化する際の時間間隔）
このとき、制御部１９０は、子音に由来する音（ｃ、ｋ等）を同時に取得し、同一の母音を連続して取得した場合でも、別の単語を発話しているとして発話の速度を推定してもよい。
・所定期間内に発せられる母音の数
また、このとき、制御部１９０は、当該設定を、ユーザの発話の変化から推定されるアバターの変化の程度よりも低い程度とすることが可能に受け付けてもよい。例えば、制御部１９０は、予めユーザの音声スペクトルから推定された発話（母音）に対応するように口の態様を変化させる際の所要時間を受け付けておいてもよい。制御部１９０は、受け付けた所要時間に基づいて、ユーザの音声スペクトルから、ユーザが母音を発話した時間の情報を取得し、予め設定された所要時間との比率を算出し、態様の変化量に乗算し、アバターの口の態様の変化量を算出する。制御部１９０は、取得した発話時間と、変化量とに基づき、口の態様を変化させる。例えば、ユーザが所要時間「１秒」でアバターの口が「あ」の態様に変化する設定を入力したとする。例えば、完全に「あ」の態様になるときを「１００」とし、「１秒」で「１００」になるように設定する。
このとき、制御部１９０は、１秒で態様が変化する際の度合い（口の変化量、速度）についても、ユーザから受けてつけておいてもよい。（すなわち、１秒間で口の態様が変化するうち、最初の０．５秒と残りの０．５秒とで態様の変化量に差分を設定してもよい）
制御部１９０は、ユーザが１秒間「あ」の音を発声した場合には、上記の変化量の設定等に基づき、１秒かけてアバターの口の態様を「あ」の態様に変化させる。しかし、ユーザが「あ」の発声を「０．５秒」しかしなかった場合には、制御部１９０は、アバターの口の態様の変化量を「５０」まで変化させる処理を行ってもよい。

また、制御部１９０は、ユーザが連続して発話した場合（例えば、「あいうえお」と発話）には、それぞれの母音の発話時間を取得し、上記処理を行ってもよい。つまり、制御部１９０は、それぞれの母音の発話時間から、それぞれの母音に対応したアバターの口の態様の変化量を算出し、アバターの口の態様を変化させてもよい。例えば、各母音に対応したアバターの口の態様に変化するまでの所要時間を「１秒」とし、「あ」を「０．２秒」、「い」を「０．３」秒発話していた場合、「あ」に対応した変化量は「２０」であり、「い」に対応した変化量は「３０」である。また、ユーザが所要時間よりも長い時間発話した場合には、制御部１９０は、アバターの口の態様を所用時間後もその状態を維持してもよい。
これにより、ユーザは、「あ」の音声を発声した場合に即時的にアバターを口の態様が「あ」になるのではなく、自身の発話時間に応じて徐々にアバターの口の態様を変化させることができる。また、所用時間を設定し、当該時間に満たない発話の場合に、口の態様の変化量を乗算して変化させることで、ユーザが軽く発話した際でもアバターの口の態様が大きく変化する（例えば、３０程度の口の開きでもアバターの口の態様は１００として変化する）ことを防ぐことができる。これにより、ユーザは、視聴者にユーザの発話とアバターの口の態様の変化とに生じる違和感を与えることを防ぐことができるため、より視聴者に没入感を与えることができる。

ある局面において、制御部１９０は、ユーザから取得した音声スペクトルの大きさ、高さ等の情報等に基づいて、アバターの口の態様を変化させてもよい。具体的には、例えば、制御部１９０は、ユーザの音声スペクトルの周波数（Ｈｚ）、音圧（ｄＢ）の情報を取得し、当該情報が所定の閾値を超過した場合等に、アバターの口の態様を変化させてもよい。例えば、制御部１９０は、所用時間「１秒」でアバターの口の態様を変化させる設定を受け付けており、ユーザの発話時間が「１秒」であったとする。このとき、制御部１９０は、ユーザが「０．８秒」の時点で閾値を越す音圧で発声したことを検知した場合には、アバターの口の態様を、通常よりも大きく変化（大きく口を開けた態様にする）させてもよい。このとき、制御部１９０は、口だけでなく、顔の部位、身体の部位についても同様の設定を反映させてもよい。
これにより、ユーザは、急に大声を上げた場合でも、アバターの口の態様に反映させることができ、より自然なアバターの動きを視聴者に見せることができる。

他にも、制御部１９０は、ユーザの発話から推定される発話の速度から推定されるアバターの動作の更新頻度よりも低い値になるよう、アバターの口の態様の変化の程度の設定を受け付けてもよい。
例えば、制御部１９０は、ユーザの発話を一定の時間間隔で区切り、その時間間隔の最初と最後の母音に対応した口の態様にアバターを変化させる。例えば、制御部１９０は、１秒間で「あいうえお」と変化した場合、このうち「あいうえお」の初めの「あ」のタイミングの口の形状、および「お」の口の態様をアバターに反映させることとしてもよい。
他にも制御部１９０は、ユーザの発話をバッファとして一時メモリに保持する場合、「あ」から「お」へと、一定の時間間隔（例えば１秒間）をかけて変化させてもよい。また、制御部１９０は、ユーザの母音が変化する際に経過した時間よりも遅くアバターの口の態様が変化するように設定を受け付けてもよい。例えば、サーバ２０は、ユーザの母音が「あ」から「う」に変化し、変化に１秒を要した際、アバターの口の態様が「あ」から「う」に変化するのに１．５秒の時間を要してもよい。また、このとき、サーバ２０は、態様の変化を補完する処理を実行してもよい。すなわち、サーバ２０は、アバターの態様を「あ」から即座に「う」に変化させるのではなく、「あ」と「う」の中間となる口の形を経由しながら口の態様を変化させてよい。
これにより、ユーザは、単語ごとに即座にアバターの口が切り替わるのではなく、実際の人の口の動きに近い態様でアバターの口の態様を変化させることができるため、視聴者がアバターを視聴する際の違和感を低減することができる。
このとき、制御部１９０は、ユーザから、程度の設定を、ユーザの発話速度よりも低く設定することが可能に受け付けてもよい。具体的には、例えば、制御部１９０は、ユーザから受け付けた発話の音声スペクトルから、ユーザの発話の速度を算出してもよい。その後、制御部１９０は、当該算出したユーザの発話の速度から、ユーザから受け付け可能なアバターの態様の単位時間あたりの変化量の上限値を設定することで、ユーザから程度の設定を、ユーザの発話速度よりも低く設定するように受け付ける。
これにより、ユーザは、自身の発話の変化よりも遅くアバターの変化の程度を設定でき、より滑らかにアバターの態様を変化させることができる。

ステップＳ５０５において、端末装置１０の制御部１９０は、アバターの口の態様を、設定に応じて変化させる。具体的には、例えば、端末装置１０の制御部１９０は、ステップＳ６０４において設定した情報に基づいて、アバターの口の態様を、設定に応じて変化させ、その後、視聴者にアバター及びユーザの音声を提示する。
これにより、ユーザは、より自身の発話に合わせて滑らかにアバターの口の態様を変化させることができ、視聴者により自然な口の動きを提示することができる。
ある局面において、端末装置１０の制御部１９０は、アバターの口の態様を変化させる際、音声スペクトルの強弱、または高低からなる群の少なくとも１つに基づいて前記口の態様を変化させてもよい。
具体的には、例えば、制御部１９０は、音声スペクトルの下記のパラメータを分析することで、強弱および高低を判定する。
・音声スペクトルの強弱のパラメータ：デジベル（dB）
・音声スペクトルの高低のパラメータ：ヘルツ（Hz）
例えば、制御部１９０は、基準となる音声スペクトルのデシベルよりも大きい音声スペクトルを取得した際に、アバターの口の態様を、基準時の口の態様の変化よりも大きく変化させてもよい。
これにより、ユーザは、繊細な音声の変化に基づいて、アバターの態様を変化させることができ、視聴者に違和感を与えることを低減することができる。

ある局面において、端末装置１０の制御部１９０は、音声スペクトルを検出する周波数の範囲の設定を受け付け、設定される範囲の音声スペクトルを検出したことに応答して、程度の第１の設定に基づいて、アバターの口の態様を変化させてもよい。具体的には、例えば、制御部１９０は、ステップS６０４において、ユーザから、音声スペクトルを検出する周波数の範囲として、上限、下限の値の設定を受け付ける。制御部１９０は、マイク１４１を介して取得したユーザの発話の音声スペクトルを解析し、音声スペクトルの周波数が当該範囲内にあるか否かを判定する。周波数が範囲内にある場合に、制御部１９０は、ステップＳ６０５において、程度の第１の設定、すなわち、ユーザにより予め設定されている、アバターの態様の変化の程度の設定に基づいて、アバターの態様を変化させてもよい。

また、ある局面において、端末装置１０の制御部１９０は、設定される範囲外の音声スペクトルを検出したことに応答して、予め定められた程度の設定であって第１の設定とは異なる第２の設定に基づいて、アバターの口の態様を変化させてもよい。具体的には、例えば、制御部１９０は、ユーザから受け付けた、音声スペクトルを検出する周波数の範囲外の周波数を検出した時、通常の設定（第１の設定）とは異なる設定（第２の設定）に基づいてアバターの態様を変化させてもよい。例えば、ユーザが通常使用する周波数の範囲外の音声（例えば、極端な金切声等）を発話した場合、音声スペクトルは検出の範囲外となる。その場合、制御部１９０は、ユーザから受け付けた変化の設定（第１の設定）ではなく、検出範囲外にのみ適用される設定（第２の設定）を適用し、アバターの態様を変化させてもよい。
これにより、ユーザは、通常とは異なる動作、発話を行っても、それに応じたアバターの態様の変化をすることができ、視聴者に、より没入感を与えることができる。

ある局面において、制御部１９０は、設定される範囲外の音声スペクトルを検出したことに応答して、口以外の顔の部位、身体の部位の態様を変化させてもよい。具体的には、例えば、制御部１９０は、設定される範囲外の音声スペクトルを検出したことに応答して、アバターに下記のような動作をさせてもよい。
・顔の部位（眉、目尻、目頭、口角等）の態様を変化させる
・身体の部位（腕、手、肩等）の態様を変化させる
このほかにも、制御部１９０は、設定される範囲外の音声スペクトルを検出したことに応答して、視聴者が視聴する画面上に、所定のオブジェクトを表示してもよい。
これにより、制御部１９０は、例えば、ユーザが急に大声を上げる、金切声を上げる等した際に、顔の部位、身体の部位の態様の変化、オブジェクトの表示等により、よりユーザの感情を視聴者に伝えることができる。

ある局面において、端末装置１０の制御部１９０は、ユーザの１または複数の感情の候補を推定し、推定したユーザの１または複数の感情の候補をユーザに提示してもよい。また、その後、制御部１９０は、ユーザから、１または複数の感情の候補のうち、１つの感情を選択するための入力操作を受け付け、ユーザから感情の選択を受け付けた場合に、選択された感情に基づいて、アバターの口の態様を変化させる処理を実行してもよい。具体的には、例えば、制御部１９０は、ユーザから取得した音声スペクトルを分析し、ユーザが発話した時の感情の候補を推定する。
このとき、感情の候補は、例えば、下記を含む。
・怒り、激昂
・喜び、楽しみ
・驚き、恐怖
・悲しみ、嘆き
・平穏、安らぎ
ここで、音声スペクトルから感情の候補を推定する処理について例示する。例えば、制御部１９０は、ユーザから予め感情に対応した音声スペクトルの情報を受け付け、記憶部１８０等に記憶しておくことで、ユーザの音声スペクトルとユーザの感情とを関連付けておいてよい。その後、制御部１９０は、ユーザから音声スペクトルを取得すると、当該取得した音声スペクトルと波形の類似している音声スペクトルと関連付けられた感情の候補を推定する。波形が類似している、とは、例えば、複数の音声スペクトルの波形同士の類似度を判定し、波形が所定の割合一致している、あるいは複数の音声スペクトルの波形同士が所定の割合乖離している（例えば、±１０％の範囲等で一致している）ことを示す。
ある局面において、音声スペクトルからユーザの感情の候補を推定する方法として、学習済みモデルを利用してもよい。例えば、端末装置１０は、複数のユーザの音声スペクトルと、当該ユーザに対応する感情とを関連付けた学習済みモデルを記憶部１８０に保持していてもよい。その後、端末装置１０の制御部１９０は、ユーザから音声スペクトルの入力を受け付けると、学習済みモデルに基づいて、当該ユーザの音声スペクトルに対応する感情の候補を推定し、ユーザに提示してもよい。

制御部１９０は、当該推定した感情の候補をユーザに提示し、ユーザからの選択を受け付けてもよい。また、制御部１９０は、感情毎の口の態様の変化の程度の設定を予め受け付けており、当該ユーザから感情の選択を受け付けると、対応する感情の設定に基づいてアバターの口の態様を変化させる。
これにより、ユーザは、発話から推定される感情に基づいてアバターの態様を変化させることができる。

このとき、制御部１９０は、ユーザの感情を推定できない場合は、ユーザが予め設定した条件に基づいて口の態様を変化させてもよい。具体的には、例えば、制御部１９０は、ユーザから取得した音声スペクトルから、ユーザの感情の候補が推定できない、すなわち、類似した音声スペクトルが推定できない場合には、予めユーザが設定した条件に基づいてアバターの口の態様を変化させてもよい。
例えば、制御部１９０は、ユーザから正確に音声スペクトルが取得できない場合、取得した音声スペクトルに類似する感情の候補が推定できない場合等に、ユーザから「平穏」の口の対応の設定を受け付けていると、アバターの口の態様を、「平穏」の感情に基づいた態様に変化させる。
これにより、ユーザは、感情が推定できない場合でも、アバターを予め設定した態様に変化させることができるため、視聴者への違和感を抑えることができる。

また、ある局面において、制御部１９０は、推定された感情に基づいて、アバターの口とは異なる身体の部位を動作させてもよい。具体的には、例えば、制御部１９０は、アバターの口とは異なる身体の部位として、肩、腕、手等の部位を動作させてもよい。他にも、制御部１９０は、アバターの口とは異なる身体の部位として、特殊部位（例えば、アバターが人間以外の場合、羽、尻尾、周囲に浮遊するオブジェクト等）を動作させてもよい。例えば、制御部１９０は、ユーザから取得した音声スペクトルから推定された感情が「怒り」等であった場合、アバターの腕を振り上げる動作をしてもよい。
また、このとき、制御部１９０は、取得した音声スペクトルから推定した感情ではなく、ユーザに感情の候補を提示し、ユーザから選択された感情に基づいて、アバターの口とは異なる身体の部位を動作させてもよい。

この他にも、制御部１９０は、取得した音声スペクトルから推定される感情に基づいて、態様を変化させるアバターの口とは異なる１または複数の身体の部位の候補をユーザに提示し、ユーザからの態様を変化させる部位の選択を受け付けることに応答して、当該部位の態様を変化させてもよい、
これにより、ユーザは、自身の音声スペクトルから推定された感情に基づいて、アバターの口以外の部位も動作させることができ、より視聴者に没入感を与えることができる。

ある局面において、端末装置１０の制御部１９０は、ユーザの発話速度が、ユーザにより設定されている口の態様の変化の程度から推定される発話速度よりも、所定の速度乖離した場合には、ユーザにより設定された程度の設定ではなく、発話速度に基づいて口の態様を変化させてもよい。具体的には、例えば、制御部１９０は、ユーザの発話から発話速度を算出する。発話速度の算出方法は、例えば、制御部１９０は、ユーザから取得した音声スペクトルからユーザが単位時間あたりの単語数を算出することで、発話速度の値として定義してもよい。また、制御部１９０は、ユーザにより設定されている口の態様の変化の程度から、単位時間当たりの発話数を算出し、アバターの口の態様の変化の程度から推定されるユーザの発話速度を算出する。その後、制御部１９０は、当該ユーザの発話から算出した発話速度と、アバターの口の態様の変化の程度から推定される発話速度との間で、所定の速度乖離した場合には、ユーザにより設定された程度の設定ではなく、ユーザの発話から算出された発話速度に基づいて口の態様を変化させてもよい。
これにより、ユーザは、自身の発話速度が、あまりにもアバターの口の態様の変化の程度から推定される発話速度よりも乖離する場合には、発話速度に基づいてアバターの口の態様を変化させることができる。そのため、視聴者に違和感を与えることを低減することができる。

ある局面において、端末装置１０の制御部１９０は、ユーザからアバターの属性を受け付け、当該属性に基づいて、アバターの口の態様の変化量を補正してもよい。具体的には、例えば、制御部１９０は、アバターの属性として、人間、または人間とは口の態様の変化の様子が異なる人間以外のいずれかの情報を受け付け、当該属性に基づいて、口の態様の変化量を補正してもよい。例えば、制御部１９０は、サーバ２０の変化補正モジュール２０４０と同様に、ユーザが操作するアバターが人間、または人間とは態様の変化の様子が異なる人間以外のいずれかであるかの情報を取得し、当該情報に基づいて、アバターの態様の変化の程度を補正する処理を実行してもよい。例えば、ユーザが操作するアバターの属性が「竜」である場合には、目、口等の動きが、人間とは異なる挙動を示す可能性がある。その場合、制御部１９０は、当該「竜」の属性に基づいて、口角の変化量、眼球の変化量等を、アバターに沿った形に補正してもよい。
これにより、ユーザは、人間とは異なるアバターを操作していても、自身の発話、顔のセンシング結果に基づいて、より自然な動きを視聴者に提示することができる。

＜４画面例＞
図６～図９は、本発明において開示される、システム１を利用し、アバターを操作する演者であるユーザがアバターを操作する際の各種画面例を示す図である。

図６は、ユーザが自身の母音の音声スペクトルをシステム１に登録する際の画面例である。

図６において、端末装置１０の制御部１９０は、ディスプレイ１３０２に、設定画面６０１、アバター６０２等を表示する。
設定画面６０１は、ユーザから各母音に対応した音声スペクトルの情報を取得し関連付ける際にユーザに表示される設定画面である。例えば、端末装置１０の制御部１９０は、ユーザの音声スペクトルと関連付ける母音として「Ａ」「Ｉ」「Ｕ」「Ｅ」「Ｏ」「Ｎ」の６文字の設定画面を当該画面に表示する。その際、制御部１９０は、現在ユーザの音声スペクトルと関連付けている母音の情報を、当該画面の上部に表示していてもよい。
また、制御部１９０は、設定画面６０１の下部に、ユーザが使用しているマイク１４１の情報を表示してもよい。制御部１９０は、ユーザが使用するマイク１４１の種類により周波数特性が異なる場合には、使用されるマイク１４１毎にユーザの音声スペクトルと母音の情報とを関連付けてもよい。

アバター６０２は、ユーザの発話に応じて口の態様を変化させる対象となるアバターである。制御部１９０は、ユーザから取得した音声スペクトルに応答させて、当該アバター６０２の口の態様を変化させる。例えば、制御部１９０は、ユーザが「あ（Ａ）」の母音を発声すると、当該発声が、母音の「あ（Ａ）」として保持されている音声スペクトルと合致するかを判定する。その後、ユーザの発声が「あ（Ａ）」である場合に、制御部１９０は、アバター６０２の口の態様を「あ（Ａ）」の形に変化させる。
これにより、ユーザは、母音ごとに正確にアバターの口の態様を変化させることができる。

図７は、ユーザがアバターの口、または顔の部位の態様の変化の程度の設定を行う際の画面例を示す。

図７において、端末装置１０の制御部１９０は、ディスプレイ１３０２に、情報表示画面７０１、ユーザ映像７０２、設定画面７０３、アバター７０４等を表示する。

情報表示画面７０１は、ユーザから取得した音声スペクトルの周波数、および検出可能な音声スペクトルの範囲、検出範囲外となった場合の態様の設定等を表示する画面である。他にも、端末装置１０は、ユーザの発話から算出されるユーザの発話の速度、ユーザが設定可能な態様の変化の程度。ユーザの顔のセンシング結果等を当該画面に表示し、ユーザが設定可能な各種条件を視覚的に表示してもよい。

ユーザ映像７０２は、端末装置１０に備えられているカメラ１６０を介して撮影されたユーザ自身の映像を表示する画面である。端末装置１０の制御部１９０は、ユーザが端末装置１０の前で何かしらの発声を行うことで、端末装置１０に備えられているカメラ１６０およびマイク１４１により、ユーザ自身の映像と、ユーザの発話の音声スペクトル等の情報を、ユーザ映像７０２および情報表示画面７０１に表示する。

設定画面７０３は、ユーザがアバターの態様の変化の程度を設定するための画面である。端末装置１０の制御部１９０は、例えば、下記の設定をユーザに提示し、入力を受け付ける。
・口の切り替え速さ
口の切り替え速さは、ユーザから取得した音声スペクトルに対し、どの程度の時間で最大の大きさ（１００）に到達するかの所要時間に関する情報である。
・目の動き：上方向の最大値
・目の動き：下方向の最大値
・目の動き：横方向の最大値
・目の動き：感度（端末のセンシング感度）
感度とは、ユーザの目等をセンシングした際に、アバターに反映させる感度のことを示す。具体的には、例えば、感度は、ユーザが真正面を向いている際の目等の位置の座標を「０」とした時に、左右方向に目等を移動させた際に、アバターの目等を実際の目等の移動量に対しどの程度反映させるかを設定するパラメータである。このとき、感度は、１００の時に比例関数であり、０に近づくほど下に凸の関数であってもよい。つまり、感度１００の場合は、ユーザの目の動きとアバターの目の動きは完全に同期しており、感度が５０等の場合には、ユーザの目等が中心からあまり動かない場合にはアバターの目等の動きはユーザの目の移動距離よりも小さく反映され、目尻などに目が移動した場合には、アバターの目等の動きはユーザの目の移動距離よりも大きく反映される。これにより、ユーザがあまり目を動かさない場合に、アバターの目が即時的に反映され「ギョロギョロ」と動くことを防ぐことができる。
また、上記感度の設定は、目に限られない。目以外の顔の部位、身体の部位についても、同様の設定を受け付けてもよい。
このとき、端末装置１０の制御部１９０は、ユーザから受け付け可能な変化の程度の設定として、ユーザの発話の変化よりも低い程度で受け付けてよい。例えば、制御部１９０は、ユーザの発話から推定さえるアバターの変化の度合い（オブジェクトの変化量、オブジェクトの変化速度）よりも低くなるよう、ユーザから当該設定を受け付けてもよい。このとき、制御部１９０は、ユーザが設定可能範囲にない数値等を設定しようとした場合には、所定のアラートを表示しても良いし、設定画面がスライダ式などの場合には、予めその数値にならないようにロックしていてもよい。
これにより、ユーザは、自身の発話の変化よりもアバターを緩やかに動かすことで、視聴者に与えるアバターの変化の度合いを滑らかにすることができ、より視聴者に没入感を与えることができる。

アバター７０４は、ユーザから受け付けた設定に基づいて態様を変化させるアバターである。端末装置１０の制御部１９０は、ユーザから設定画面７０３の設定を受け付けると、ユーザ映像７０２とアバター７０４とを同期させてユーザに表示させてもよい。
これにより、ユーザは、自身の設定によりアバターの態様を変化させる際に、事前に違和感などを確認することができる。

図８は、ユーザの発話から、ユーザの１または複数の感情の候補を推定し、当該推定したユーザの１または複数の感情に基づいて、アバターの態様を変化させる画面例を示す。

図８において、端末装置１０の制御部１９０は、ディスプレイ１３０２に、情報表示画面８０１、ユーザ映像８０２、アバター８０３等を表示する。

情報表示画面８０１は、図７における、情報表示画面７０１と同様に、ユーザから取得した音声スペクトルの周波数等を表示する画面であり、図８においては、音声スペクトルから推定した１または複数の感情の候補、およびユーザがアバターの態様に反映させる感情の設定の候補を提示してもよい。
制御部１９０は、当該提示された設定の候補に対するユーザからの選択を受け付けることで、アバターの態様の変化、例えば、アバターの口の態様、口以外の顔の部位の態様を変化させてもよい。

ユーザ映像８０２は、図７におけるユーザ映像７０２と同様に、端末装置１０に備えられているカメラ１６０を介して撮影されたユーザ自身の映像を表示する画面である。

アバター８０３は、図７におけるアバター７０４と同様に、ユーザから受け付けた感情の設定に基づいて態様を変化させるアバターである。端末装置１０の制御部１９０は、ユーザから受け付けた感情の設定に基づいて、アバターの態様（例えば、口）を変化させユーザに表示する。このとき、制御部１９０は、アバターの口の態様に限らず、アバターの他の部位の態様を変化、または動作させてもよい。例えば、制御部１９０は、ユーザから選択を受け付けた感情が「怒り」である場合に、アバターの口の態様を「怒り」の感情に基づいて変化させ、かつ、アバターの他の部位として、顔の眉、目尻等の部位の態様を変化させてもよい。他にも、制御部１９０は、アバターの身体の部位（例えば、腕を振り上げる動作をさせるなど）を当該感情に基づいて動作させてもよい。他にも、制御部１９０は、当該感情に基づいて、アバターを表示させる画面に感情に対応した所定のオブジェクトなどを表示させてもよい。
これにより、ユーザは、発話から推定される感情に基づいて、アバターに様々な変化、動作をさせることができるため、視聴者により没入感を与えることができる。

また、ある局面において、制御部１９０は、ユーザ情報１８０１またはユーザ情報データベース２０２１を参照し、ユーザがよく使う感情の情報を取得し、アバターに反映する感情の候補として提示してもよい。
これにより、ユーザは、発話に関係なく、演出等でアバターの態様を変化させようとしている時でも、簡易にアバターの態様を変化させることができる。

図９は、ユーザが人間とは異なる属性のアバターに対し、音声スペクトル等に基づいて各種設定を行う画面例を示す。

図９において、端末装置１０の制御部１９０は、ディスプレイ１３０２に、情報表示画面９０１、ユーザ映像９０２、設定画面９０３、アバター９０４等を表示する。

情報表示画面９０１は、図７、図８における情報表示画面７０１、８０１と同様に、ユーザから取得した音声スペクトルの周波数、および検出可能な音声スペクトルの範囲、検出範囲外となった場合の態様の設定等を表示する画面である。このとき、制御部１９０は、情報表示画面９０１において、ユーザと対応するアバターの属性に関する情報を表示してもよい。例えば、制御部１９０は、ユーザ情報１８０１またはユーザ情報データベース２０２１を参照し、ユーザと対応するアバターの情報を取得することで、当該画面にアバターの属性に関する情報を表示してもよい。

ユーザ映像９０２は、図７、図８におけるユーザ映像７０２、８０２と同様に、端末装置１０に備えられているカメラ１６０を介して撮影されたユーザ自身の映像を表示する画面である。

設定画面９０３は、図７における設定画面７０３と同様に、ユーザがアバターの態様の変化の程度を設定するための画面である。図９において、制御部１９０は、設定画面７０３においてユーザに提示した画面の他に、アバターの属性に基づいて推奨される設定のサジェスト等を表示してもよい。具体的には、例えば、制御部１９０は、アバター情報１８０２、またはアバター情報データベース２０２２等を参照し、アバターによる態様の変化の度合いの補正量に関する情報を取得し、通常の人間のアバターの態様を変化させる際の基本的な設定に、当該補正結果を乗算した設定を、ユーザに提示してもよい。
これにより、ユーザは、自身のアバターが人間とは異なる属性である場合にも、違和感のない態様の変化の設定を行うことができる。
また、ある局面において、制御部１９０は、アバターに特殊部位が存在する場合に、ユーザに対し、当該部位の態様の変化の度合いを設定するための画面を表示してもよい。制御部１９０は、例えば、他の部位の設定と同期する場合には、当該他のアバターの部位の変化の設定を反映してもよいし、ユーザに対し、別途詳細に態様の変化の度合いを設定する画面を提示してもよい。
これにより、ユーザは、自身のアバターに特殊な部位が存在する場合でも、自由に態様の変化の度合いを設定することができ、視聴者により没入感を与えることができる。

アバター９０４は、図７、図８におけるアバター７０４、８０３と同様に、ユーザから受け付けた感情の設定に基づいて態様を変化させるアバターである。図９において、制御部１９０は。アバター９０４にアバターの特殊部位等を同時に表示していてもよい。
これにより、ユーザは、アバターに特殊部位が存在する場合でも、その態様の変化を確認しながら視聴者に配信を行うことができる。

＜第２の実施形態＞
これまでは、ユーザの発話の音声スペクトルから、アバターの口の態様を変化させる一連の処理について説明した。
第２の実施形態に係る発明では、ユーザの発話の音声スペクトル以外にも、ユーザのセンシング結果に基づいて、アバターの態様、例えば、１または複数の顔の部位の態様を変化させることができる。以下、当該一連の処理について説明する。なお、第１の実施形態と共通の構成を持つ部分（例えば、端末装置１０、サーバ２０等）についての説明は省略し、第２の実施形態に特有の構成、処理についてのみ説明する。

＜５第２の実施形態における動作＞
以下、システム１が、ユーザの顔の部位であって、１または複数の顔の部位の動きをセンシングし、センシングした１または複数の顔の部位の動きに基づいて、ユーザに対応するアバターの１または複数の顔の部位の態様を変化させる際の一連の処理について説明する。

図１０は、ユーザの顔の部位であって、１または複数の顔の部位の動きをセンシングし、センシングした１または複数の顔の部位の動きに基づいて、ユーザに対応するアバターの１または複数の顔の部位の態様を変化させる際の一連の処理を表すフローチャートである。なお、本フローチャートにおいても、ユーザが使用する端末装置１０の制御部１９０が一連の処理を実行する例を開示するが、これに限られない。すなわち、一部の情報を端末装置１０がサーバ２０に送信し、当該処理をサーバ２０で実行してもよいし、サーバ２０が一連の全ての処理を実行してもよい。

ステップＳ１００１において、端末装置１０の制御部１９０は、ユーザの顔の部位であって、１または複数の顔の部位の動きをセンシングする。具体的には、例えば、端末装置１０の制御部１９０は、ユーザが端末装置１０に備えられたカメラ１６０の前で顔を動作させた際のユーザの１または複数の顔の部位をセンシングする。このとき、制御部１９０が行うセンシングの方法は、既存のあらゆる技術であってよい。例えば、制御部１９０は、カメラ１６０にセンシング機能を備えさせてユーザの顔の部位をセンシングしても良いし、モーションセンサ１７０によりユーザの顔の部位をセンシングしても良い。
このとき、端末装置１０の制御部１９０は、ユーザの１または複数の顔の部位として、ユーザの眉、瞼、目頭、目尻、眼球、瞳孔、口からなる群の少なくとも１つをセンシングする。しかし、当該部位は限定されず、他の顔の部位（頬、額等）であってもよい。

ステップＳ１００２において、端末装置１０の制御部１９０は、センシングした１または複数の顔の部位の動きに基づいて、ユーザに対応するアバターの１または複数の顔の部位の態様を変化させる。具体的には、例えば、制御部１９０は、ユーザの１または複数の顔の部位と、アバターの１または複数の顔の部位を予め対応付けておく。その後、制御部１９０は、センシングにより取得したユーザの１または複数の顔の部位と対応するアバターの顔の部位の態様を、当該センシング結果に基づいて変化させる。例えば、制御部１９０は、ユーザの目とアバターの目とを対応付けていた場合、ユーザの目のセンシング結果に基づいて、アバターの目の態様を変化させる。

ステップＳ１００３において、端末装置１０の制御部１９０は、アバターの１または複数の顔の部位の態様を、センシングされた結果に追随させる度合いの設定を受け付け、度合いの設定に従って、アバターの１または複数の顔の部位の態様を変化させる。具体的には、例えば、制御部１９０は、ユーザのセンシング結果に追随させる度合いとして、下記を含む条件の設定を受け付ける。
・アバターの態様の変化量（例えば、目等の開閉の変化量等）
これにより、ユーザは、自身のセンシング結果にアバターの態様の変化を追随させる度合いを細かく調整でき、動きの違和感を視聴者に与えることを防ぐことができる。

第２の実施形態において、制御部１９０は、第１の実施形態における、アバターの口の態様の変化の度合いの設定と同様に、アバターの顔の部位、顔以外の身体の部位の態様の変化の度合いについても、ユーザからの設定を受け付けてもよい。すなわち、制御部１９０は、予めユーザから、ユーザが各種母音に対応する口の態様、各種顔、身体の部位をセンシングにより取得しておいてもよい。制御部１９０は、ユーザのセンシング結果から、予め取得していたユーザの口、顔の部位、身体の部位の変化との差異を特定し、予め取得しておいたセンシング結果との比率を算出し、態様の変化量に乗算することで、アバターの口、顔の部位、身体の部位の態様の変化量を算出してもよい。制御部１９０は、算出した変化量に基づき、アバターの口、顔の部位、身体の部位の態様を変化させてもよい。例えば、ユーザが口、眉を一部しか動かさない（予め１００の位置を設定しておき、センシング結果から、５０の位置までしかユーザが口、眉等を動かしていない）等の場合には、アバターの口、眉等も５０までしか動かさない等の処理を行ってよい。
これにより、ユーザは、自身のセンシング結果に応じて徐々にアバターの態様を変化させることができ、自然な動きを視聴者に見せることができる。これにより、ユーザは、視聴者にユーザの動作とアバターの態様の変化とに生じる違和感を与えることを防ぐことができるため、より視聴者に没入感を与えることができる。

ある局面において、制御部１９０は、アバターの１または複数の顔の部位のうち、関連付けられた所定の部位同士について、同一の設定を受け付けてもよい。具体的には、制御部１９０は、ユーザから、アバターの１または複数の顔の部位のうち、例えば、下記の部位同士を関連付ける設定を受け付け、当該部位同士に対して度合いの設定に関する同一の設定を受け付けてもよい。
・眉、目等の顔の部位のうち対になっている部位
・眉と目のように連動して動作する部位
・顔の部位と顔以外の身体の部位（肩、腕、足、首等）
他にも、制御部１９０は、後述するアバターの属性によって、顔の部位と顔以外の特殊部位とを関連付ける設定を受け付けてもよい。
これにより、ユーザは、複数の顔の部位のうち、対になっている部位、連動して動作する部位などに対し、個別に度合いを設定することがなく、簡易にアバターの態様を変化させ配信することができる。

ある局面において、端末装置１０の制御部１９０は、ユーザに対し、センシングされた結果に追随させる度合いの設定の１または複数の候補を提示し、ユーザから１または複数の度合いの設定の候補の選択を受け付けてもよい。また、その後、制御部１９０は、選択を受け付けた度合いの設定に基づいて、アバターの１または複数の顔の部位の態様を変化させてもよい。具体的には、例えば、制御部１９０は、ユーザのセンシング結果を取得した際に、ユーザからセンシング結果に追随させる度合いの設定を受け付けるのではなく、追随の程度を１または複数の候補（プリセット）として提示してもよい。このとき、候補の提示方法として、制御部１９０は、予めユーザから使用する追随の程度の１または複数の候補の情報を受け付けておき、当該情報に基づいて候補を提示してもよい。
これにより、ユーザは、センシング結果に基づいてアバターの顔の部位の態様を変化させる際、逐一追随の程度を設定せずともよく、より配信を簡易に行うことができる。

また、ある局面において、端末装置１０の制御部１９０は、ユーザからアバターの属性を受け付け、当該属性に基づいて、度合いを補正してもよい。ここで、制御部１９０は、属性として、人間、または人間とは１または複数の顔の部位の態様の変化の様子が異なる人間以外のいずれかの情報を受け付け、当該属性に基づいて度合いを補正してもよい。例えば、制御部１９０は、サーバ２０の変化補正モジュール２０４０と同様に、ユーザが操作するアバターが人間、または人間とは態様の変化の様子が異なる人間以外のいずれかであるかの情報を取得し、当該情報に基づいて、アバターの態様の変化の程度を補正する処理を実行してもよい。例えば、ユーザが操作するアバターの属性が「竜」である場合には、目、口等の動きが、人間とは異なる挙動を示す可能性がある。その場合、制御部１９０は、当該「竜」の属性に基づいて、口角の変化量、眼球の変化量等を、アバターに沿った形に補正してもよい。
これにより、ユーザは、人間とは異なるアバターを操作していても、自身の発話、顔のセンシング結果に基づいて、より自然な動きを視聴者に提示することができる。

他にも、ある局面において、端末装置１０の制御部１９０は、ユーザの音声スペクトルを取得し、取得した音声スペクトルから、ユーザの発話の変化の程度の情報を取得してもよい。その後、制御部１９０は、度合いの設定を、ユーザの発話の変化の程度に関連付けられた範囲で設定可能に受け付け、当該度合いの設定に従って、アバターの１または複数の顔の部位の態様を変化させてもよい。具体的には、例えば、制御部１９０は、マイク１４１等を介し、ユーザの発話から音声スペクトルを取得し、ユーザの発話の変化の程度として、下記の情報を取得してもよい。
・ユーザが単位時間に発話した単語の量（発話の速度）
・ユーザの音声の大小の変化
・ユーザの音声の高低の変化
例えば、制御部１９０は、下記のような処理を実行することで、ユーザの発話の変化から推定されるアバターの変化の程度よりも低くアバターの態様を変化させる。
・ユーザから取得した音声スペクトルにおける母音の変化にかかわらず、一定の時間間隔で、口の動きをアバターに反映させる
制御部１９０は、当該取得した発話の変化の程度の情報に基づいて、センシング結果に追随する度合いの程度の設定可能な範囲を特定する。例えば、制御部１９０は、上記取得した発話の変化の程度から前述の変化量等が、当該発話の変化の程度を超えないようにユーザからの度合いの設定を受け付けることとしてもよい。
これにより、ユーザは、センシング結果だけでなく、音声スペクトルの情報に基づいてアバターの顔の態様を変化させることができ、より自然な動きでアバターを視聴者に見せることができる。

このとき、制御部１９０は、音声スペクトルを検出する周波数の範囲の設定を受け付け、当該設定される範囲の音声スペクトルを検出したことに応答して、度合いの第１の設定に基づいて、アバターの１または複数の顔の部位の態様を変化させてもよい。具体的には、例えば、制御部１９０は、ユーザの発話から音声スペクトルを取得する際、検出可能な範囲の設定をユーザから受け付けていてもよい。制御部１９０は、ユーザから取得した音声スペクトルが当該周波数の範囲内にある場合には、上述したユーザから受け付けた度合いの設定に基づいてアバターの顔の態様を変化させてもよい。
また、制御部１９０は、設定される範囲外の音声スペクトルを検出したことに応答して、予め定められた度合いの設定であって、第１の度合いの設定とは異なる第２の度合いの設定に基づいて、アバターの１または複数の顔の部位の態様を変化させてもよい。このとき、第２の度合いの設定は、例えば、ユーザが極端に高い周波数の声（金切声等）を発した場合等に、ユーザから受け付けた度合い（第１の度合い）の設定ではなく、予め設定されていた、当該周波数に対応した度合い（第２の度合い）を反映してアバターの顔の態様を変化させてもよい。
これにより、ユーザは、通常発声しない周波数の発声を行った場合でも、アバターの顔の態様を変化させることができ、視聴者により没入感を与えることができる。

また、ある局面において、端末装置１０の制御部１９０は、ユーザの口の動きがセンシングできない場合には、ユーザの発話の変化の程度に基づいて、アバターの口の態様を変化させてもよい。具体的には、例えば、制御部１９０は、下記のような場合に、前述したように、ユーザのセンシング結果ではなく、ユーザの発話の音声スペクトルから、アバターの口の態様を変化させてもよい。
・ユーザが口にマスク等を着用しており、口の動きをセンシングできない場合
・端末装置１０のセンシング機能のエラーにより口の動きをセンシングできない場合
・外部環境により口の動きをセンシングできない場合
これにより、ユーザは、例えば、マスクを着用して配信しなければならない時などでも、アバターの口の態様を自身の発話に合わせて変化させることができる。

ある局面において、端末装置１０の制御部１９０は、ユーザの１または複数の感情の候補を推定し、推定したユーザの１または複数の感情の候補をユーザに提示してもよい。その後、制御部１９０は、ユーザから、１または複数の感情の候補のうち、１つの感情を選択するための入力操作を受け付け、選択された感情に基づいて、ユーザに対応するアバターの１または複数の顔の部位の態様を変化させてもよい。具体的には、例えば、制御部１９０は、ユーザから予め、ユーザの感情に応じた顔の部位のセンシング結果を取得して関連付けておいてもよい。その後、制御部１９０は、カメラ１６０等を介してユーザの顔のセンシングを行い、当該関連付けた感情に含まれる顔のセンシング結果と全て、または一部が合致するかを判定する。その後、制御部１９０は、当該判定結果に基づいて、ユーザの感情の候補を提示し、ユーザからの選択を受け付け、当該選択された感情に基づいて、アバターの顔の態様を変化させてもよい。
また、このとき、ユーザの感情を推定できない場合、制御部１９０は、ユーザが予め設定した設定に基づいて１または複数の顔の部位の態様を変化させてもよい。
例えば、制御部１９０は、ユーザの顔の部位のセンシングが正確に行えない場合、センシング結果に類似する感情の候補が推定できない場合等に、ユーザから「平穏」の口の対応の設定を受け付けていると、アバターの口の態様を、「平穏」の感情に基づいた態様に変化させる。
これにより、ユーザは、センシングが正確に行えない場合でも、感情の候補を選択することで、アバターの態様の変化にユーザの感情を反映させることができる。

また、ある局面において、端末装置１０の制御部１９０は、ユーザの１または複数の顔の部位のうち、関連づけられている部位の少なくとも１つのセンシング結果が取得できない場合、センシング結果が取得できた部位の度合いを、関連付けられている、当該部位に適用してもよい。具体的には、例えば、制御部１９０は、ユーザが眼帯等を着用しており、片目のセンシングが困難、または不可能である場合、センシング結果を取得したもう一方の目の変化の度合いを反映させてもよい。これにより、ユーザは、眼帯などを着用している場合でも、ユーザに対応するアバターはその影響を受けずに態様を変化させることができる。

さらに、ある局面において、端末装置１０の制御部１９０は、ユーザが装着しているウェアラブルデバイスの情報を取得し、取得したウェアラブルデバイスの情報に基づいて、度合いの設定を補正してもよい。また、制御部１９０は、度合いの設定を補正する際、ユーザから、補正の度合いを調整するための入力操作を受け付けてもよい。具体的には、例えば、制御部１９０は、ウェアラブルデバイス情報１８０３、またはウェアラブルデバイス情報データベース２０２３を参照し、ユーザが着用しているウェアラブルデバイスの情報を取得する。その後、制御部１９０は、前述のサーバ２０における変化補正モジュール２０４０と同様の処理を実行し、度合いの設定を補正してもよい。

ある局面において、端末装置１０の制御部１９０は、アバターの１または複数の顔の部位のうち、予め関連付けられている部位同士で、度合いの設定の差異が所定の閾値を超過した場合に、所定の通知をユーザに提示してもよい。具体的には、制御部１９０は、アバターの１または複数の顔の部位のうち、例えば、眉等の対になっている部位を関連付け、当該部位同士で、変化の度合いが所定の差異を超えないように度合いの数値を受け付け可能に設定する。その後、制御部１９０は、ユーザから当該部位の変化の度合いの入力を受け付ける際に、当該閾値を超過する数値の入力を受け付けた場合に、ユーザに対しアラート等の通知を提示してもよい。
これにより、ユーザは、関連付けて態様を変化させる部位に対し、極端に変化の度合いに差が生じた状態で態様を変化させることを防ぐことができる。
また、制御部１９０は、当該設定を対になる部位以外にも、頬と眉等、連動して変化する部位（特殊部位等も含んでいてもよい）に対して設定しても良い。

このとき、制御部１９０は、所定の通知をユーザに提示する際、度合いの差が所定の閾値を超過した部位を異なる態様で当該数値とともにユーザに提示してもよい。具体的には、例えば、制御部１９０は、ユーザから目の態様の変化の程度の度合いの入力を受け付けた際、両方の目の変化の程度の度合いが大きすぎる（例えば、片目の変化量が大きすぎる等）場合に、目を異なる態様（例えば、異なる色の態様）でユーザに通知と共に提示してもよい。このとき、制御部１９０が提示する異なる態様は、色、ポップアップ通知、該当する部位の形状を変化させるなど、限定されない。
さらに、制御部１９０は、所定の通知をユーザに提示する際、度合いの差を、所定の範囲内に設定した場合の少なくとも１または複数の顔の部位が変化する様子をユーザに提示してもよい。例えば、制御部１９０は、上述した通知を表示する画面とは異なる画面上に、度合いの差が適正範囲（視聴者に違和感を与えない範囲）である場合のアバターの態様の変化の様子を表示してもよい。
これにより、ユーザは、自身が設定した態様の変化の程度の度合いが所定の閾値を超過した場合に、適切な数値に設定した場合の態様の変化の様子とともに確認することができる。

また、ある局面において、端末装置１０の制御部１９０は、度合いの設定を受け付けた１または複数の顔の部位と関連する部位の度合いを、予め定められた値に設定してもよい。また、制御部１９０は、アバターの１または複数の部位ごとに、予め定められた範囲内で度合いの設定を受け付けてもよい。具体的には、例えば、制御部１９０は、アバターの１または複数の顔の部位と関連する部位として、下記の部位を関連付け、ユーザから度合いの設定を受け付けてもよい。
・角、尻尾、羽等、アバターが人間以外であった場合に備えている特殊部位
・アバターの顔とは異なる身体の部位（腕、肩、足など）
これにより、ユーザは、アバターが人間以外、また、無機物などであった場合にも、自身のセンシング結果に追随して態様を変化させることができる。

＜６第２の実施形態における画面例＞
図１１～図１７は、第２の実施形態において開示される、ユーザのセンシング結果に基づいてアバターの態様を変化させる際の各種画面例を示す図である。

図１１は、ユーザの１または複数の顔の部位の動きをセンシングし、当該センシングした１または複数の顔の部位の動きに基づいて、対応するアバターの１または複数の顔の部位の態様を変化させる際の画面例を示す。

図１１において、端末装置１０の制御部１９０は、ディスプレイ１３０２に、情報表示画面１１０１、ユーザ映像１１０２、設定画面１１０３、アバター１１０４等を表示する。

情報表示画面１１０１は、ユーザの顔の部位のセンシング結果、顔の部位のうち、関連付けられている部位、予め設定されている態様の変化の程度の度合いの候補（プリセット）等を表示する画面である。このとき、端末装置１０の制御部１９０は、下記の選択をユーザから受け付けてもよい。
・ユーザの顔の部位のうち、センシングを実行する部位の選択
・センシングした部位のうち、関連付ける部位の選択
・変化の度合いの候補の選択
これにより、ユーザは、場合によりセンシング箇所を減らすこともでき、配信時の負荷を減らすことができる。

ユーザ映像１１０２は、端末装置１０に備えられているカメラ１６０を介して撮影されたユーザ自身の映像を表示する画面である。端末装置１０の制御部１９０は、端末装置１０に備えられているカメラ１６０により、ユーザ自身の映像を、ユーザ映像１１０２に表示する。

設定画面１１０３は、ユーザがアバターの態様の変化の程度を設定するための画面である。端末装置１０の制御部１９０は、例えば、下記の設定をユーザに提示し、入力を受け付ける。
・口の切り替え速さ
・目の動き：上方向の最大値
・目の動き：下方向の最大値
・目の動き：横方向の最大値
・目の動き：感度
このとき、端末装置１０の制御部１９０は、アバターの１または複数の顔の部位の態様を、センシングされた結果に追随させる度合いの設定として、演者の発話の変化の程度に関連付けられた範囲で設定可能に受け付けてよい。例えば、制御部１９０は、ユーザの発話から推定さえるアバターの変化の度合い（オブジェクトの変化量、オブジェクトの変化速度）よりも低くなるよう、ユーザから当該設定を受け付けてもよい。このとき、制御部１９０は、ユーザが設定可能範囲にない数値等を設定しようとした場合には、所定のアラートを表示しても良いし、設定画面がスライダ式などの場合には、予めその数値にならないようにロックしていてもよい。
これにより、ユーザは、自身の発話の変化よりもアバターを緩やかに動かすことで、視聴者に与えるアバターの変化の度合いを滑らかにすることができ、より視聴者に没入感を与えることができる。

アバター１１０４は、ユーザから受け付けた設定に基づいて態様を変化させるアバターである。端末装置１０の制御部１９０は、ユーザから設定画面１１０３の設定を受け付けると、ユーザ映像１１０２とアバター１１０４とを同期させてユーザに表示させてもよい。
これにより、ユーザは、自身の設定によりアバターの態様を変化させる際に、事前に違和感などを確認することができる。

図１２は、ユーザの１または複数の感情を候補を推定し、ユーザから選択された感情に基づいて、対応するアバターの１または複数の顔の部位の態様を変化させる際の画面例を示す。

図１２において、端末装置１０の制御部１９０は、ディスプレイ１３０２に、情報表示画面１２０１、ユーザ映像１２０２、設定画面１２０３、アバター１２０４等を表示する。

情報表示画面１２０１は、図１１における情報表示画面と同様に、ユーザの顔の部位のセンシング結果、顔の部位のうち、関連付けられている部位、予め設定されている態様の変化の程度の度合いの候補（プリセット）等を表示する画面である。このほか、制御部１９０は、当該画面に、センシング結果から特定されるユーザの１または複数の感情の候補の情報を表示してもよい。
制御部１９０は、ユーザから感情の候補の選択を受け付けると、当該感情に対応したアバターの態様の変化の程度の度合いを反映させる。
例えば、制御部１９０は、ユーザから予め、ユーザの感情に応じた顔の部位のセンシング結果を取得して関連付けておいてもよい。その後、制御部１９０は、カメラ１６０等を介してユーザの顔のセンシングを行い、当該関連付けた感情に含まれる顔のセンシング結果と全て、または一部が合致するかを判定する。その後、制御部１９０は、当該判定結果に基づいて、ユーザの感情の候補を提示し、ユーザからの選択を受け付け、当該選択された感情に基づいて、アバターの顔の態様を変化させてもよい。
また、このとき、ユーザの感情を推定できない場合、制御部１９０は、ユーザが予め設定した設定に基づいて１または複数の顔の部位の態様を変化させてもよい。
これにより、ユーザは、センシングが正確に行えない場合でも、感情の候補を選択することで、アバターの態様の変化にユーザの感情を反映させることができる。

ユーザ映像１２０２は、図１１におけるユーザ映像１１０２と同様に、端末装置１０に備えられているカメラ１６０を介して撮影されたユーザ自身の映像を表示する画面である。

設定画面１２０３は、図１１における設定画面１１０３と同様に、ユーザがアバターの態様の変化の程度を設定するための画面である。

アバター１２０４は、図１１におけるアバター１１０４と同様に、ユーザから受け付けた設定に基づいて態様を変化させるアバターである。

図１３は、ユーザの１または複数の顔の部位のうち、関連づけられている部位の少なくとも１つのセンシング結果が取得できない場合のアバターの態様の変化の程度の度合いを設定する際の画面例を示す。

図１３において、端末装置１０の制御部１９０は、ディスプレイ１３０２に、情報表示画面１３５１、ユーザ映像１３５２、設定画面１３５３、アバター１３５４等を表示する。

情報表示画面１３５１は、図１２における情報表示画面１２０１と同様に、ユーザの顔の部位のセンシング結果、顔の部位のうち、関連付けられている部位、予め設定されている態様の変化の程度の度合いの候補（プリセット）等を表示する画面である。このほか、制御部１９０は、当該画面に、ユーザが着用しており、ユーザの顔の一部を遮蔽する備品、装着具等の情報を表示してもよい。
例えば、制御部１９０は、ユーザが眼帯等を着用しており、片目のセンシングが困難、または不可能である場合、センシング結果を取得したもう一方の目の変化の度合いを反映させてもよい。これにより、ユーザは、眼帯などを着用している場合でも、ユーザに対応するアバターはその影響を受けずに態様を変化させることができる。

ユーザ映像１３５２は、図１２におけるユーザ映像１２０２と同様に、端末装置１０に備えられているカメラ１６０を介して撮影されたユーザ自身の映像を表示する画面である。

設定画面１３５３は、図１２における設定画面１２０３と同様に、ユーザがアバターの態様の変化の程度を設定するための画面である。

アバター１３５４は、図１２におけるアバター１２０４と同様に、ユーザから受け付けた設定に基づいて態様を変化させるアバターである。

図１４は、ユーザが眼鏡等のウェアラブルデバイスを装着している際に、アバターの態様の変化の程度の度合いを補正する際の画面例を示す。

図１４において、端末装置１０の制御部１９０は、ディスプレイ１３０２に、情報表示画面１４０１、ユーザ映像１４０２、設定画面１４０３、アバター１４０４等を表示する。

情報表示画面１４０１は、図１３における情報表示画面１３５１と同様に、ユーザの顔の部位のセンシング結果、顔の部位のうち、関連付けられている部位、予め設定されている態様の変化の程度の度合いの候補（プリセット）等を表示する画面である。このほか、制御部１９０は、当該画面に、ユーザが着用しているウェアラブルデバイスの情報、ウェアラブルデバイスごとの変化の度合いの補正量の情報等を表示してもよい。
例えば、制御部１９０は、ウェアラブルデバイス情報１８０３、またはウェアラブルデバイス情報データベース２０２３を参照し、ユーザが着用しているウェアラブルデバイスの情報を取得する。その後、制御部１９０は、前述のサーバ２０における変化補正モジュール２０４０と同様の処理を実行し、度合いの設定を補正してもよい。

ユーザ映像１４０２は、図１３におけるユーザ映像１３５２と同様に、端末装置１０に備えられているカメラ１６０を介して撮影されたユーザ自身の映像を表示する画面である。

設定画面１４０３は、図１３における設定画面１３５３と同様に、ユーザがアバターの態様の変化の程度を設定するための画面である。

アバター１４０４は、図１３におけるアバター１３５４と同様に、ユーザから受け付けた設定に基づいて態様を変化させるアバターである。

図１５は、ユーザの口の動きがセンシングできない場合に、発話の変化の程度に基づいて、アバターの口の態様を変化させる際の画面例を示す。

図１５において、端末装置１０の制御部１９０は、ディスプレイ１３０２に、情報表示画面１５０１、ユーザ映像１５０２、設定画面１５０３、アバター１５０４等を表示する。

情報表示画面１５０１は、図１４における情報表示画面１４０１と同様に、ユーザの顔の部位のセンシング結果、顔の部位のうち、関連付けられている部位、予め設定されている態様の変化の程度の度合いの候補（プリセット）等を表示する画面である。このほか、制御部１９０は、当該画面に、ユーザが着用しているマスク等の情報、ユーザの発話から取得した音声スペクトルの情報等を表示してもよい。
例えば、制御部１９０は、ユーザが口にマスク等を着用しており、口の動きをセンシングできない場合には、前述したように、ユーザのセンシング結果ではなく、ユーザの発話の音声スペクトルから、アバターの口の態様を変化させてもよい。
これにより、ユーザは、例えば、マスクを着用して配信しなければならない時などでも、アバターの口の態様を自身の発話に合わせて変化させることができる。

ユーザ映像１５０２は、図１４におけるユーザ映像１４０２と同様に、端末装置１０に備えられているカメラ１６０を介して撮影されたユーザ自身の映像を表示する画面である。

設定画面１５０３は、図１４における設定画面１４０３と同様に、ユーザがアバターの態様の変化の程度を設定するための画面である。

アバター１５０４は、図１４におけるアバター１４０４と同様に、ユーザから受け付けた設定に基づいて態様を変化させるアバターである。

図１６は、アバターの１または複数の顔の部位のうち、予め関連付けられている部位同士で、度合いの設定の差異が所定の閾値を超過した場合に、所定の通知をユーザに提示する際の画面例を示す。

図１６において、端末装置１０の制御部１９０は、ディスプレイ１３０２に、情報表示画面１６０１、ユーザ映像１６０２、設定画面１６０３、アバター１６０４等を表示する。

情報表示画面１６０１は、図１５における情報表示画面１５０１と同様に、ユーザの顔の部位のセンシング結果、顔の部位のうち、関連付けられている部位、予め設定されている態様の変化の程度の度合いの候補（プリセット）等を表示する画面である。

ユーザ映像１６０２は、図１５におけるユーザ映像１５０２と同様に、端末装置１０に備えられているカメラ１６０を介して撮影されたユーザ自身の映像を表示する画面である。

設定画面１６０３は、図１５における設定画面１５０３と同様に、ユーザがアバターの態様の変化の程度を設定するための画面である。制御部１９０は、このとき、当該画面において、例えば、ユーザから顔の部位の態様の変化の程度の度合いの入力を受け付けた際、対になる、または関連する部位（両目等）の変化の程度の度合いが大きすぎる（例えば、片目の変化量が大きすぎる等）場合に、当該箇所が異常な設定値であることと、推奨される設定について表示してもよい。

アバター１６０４は、図１５におけるアバター１５０４と同様に、ユーザから受け付けた設定に基づいて態様を変化させるアバターである。制御部１９０は、上述の設定画面１５０３において、ユーザから顔の態様の変化の程度の度合いの入力を受け付けた際、対になる、または関連する部位の変化の程度の度合いが大きすぎる場合に、当該部位を異なる態様（例えば、異なる色の態様）でユーザに通知と共に提示してもよい。このとき、制御部１９０が提示する異なる態様は、色、ポップアップ通知、該当する部位の形状を変化させるなど、限定されない。

これにより、ユーザは、アバターの顔の部位の態様を変化させるための設定を行う際、異常値を入力した場合でも視覚的に判断することができ、視聴者に違和感を与えることを防ぐことができる。

図１７は、所定の通知をユーザに提示する際、度合いの差を、所定の範囲内に設定した場合の少なくとも１または複数の顔の部位が変化する様子をユーザに提示する際の画面例を示す。

図１７において、端末装置１０の制御部１９０は、ディスプレイ１３０２に、設定画面１７０１、アバター１７０２、設定プレビュー画面１７０３、アバタープレビュー画面１７０４等を表示する。

設定プレビュー画面１７０３は、設定画面１７０１において、アバターの顔の部位等において、対になる、関連する部位同士で変化の程度の度合いに異常値があった場合に、推奨される設定を表示する画面である。端末装置１０の制御部１９０は、設定プレビュー画面１７０３に、設定画面１７０１に入力された設定とは異なる設定の態様の変化の程度の度合いを表示する。このとき、制御部１９０は、数値、またはオブジェクトなどを、設定画面１７０１において表示されている態様とは異なる態様で表示してもよい。（例えば、異なる色、大きさ、図形等）

アバタープレビュー画面１７０４は、設定プレビュー画面１７０３において推奨される設定を反映させたアバターを表示する画面である。例えば、端末装置１０の制御部１９０は、上述した通知を表示する画面とは異なる画面上に、度合いの差が適正範囲（視聴者に違和感を与えない範囲）である場合のアバターの態様の変化の様子を表示してもよい。
これにより、ユーザは、自身が設定した態様の変化の程度の度合いが所定の閾値を超過した場合に、適切な数値に設定した場合の態様の変化の様子とともに確認することができる。

＜７変形例＞
本実施形態の変形例について説明する。すなわち、以下のような態様を採用してもよい。
（１）情報処理装置であって、このプログラムが予めインストールされていてもよいし、事後的にインストールされてもよいし、このようなプログラムを外部の非一時的な記憶媒体に記憶させてもよいし、クラウドコンピューティングで動作させてもよい。
（２）方法であって、コンピュータを情報処理装置として機能させ、当該情報処理装置に、このプログラムが予めインストールされていてもよいし、事後的にインストールされてもよいし、このようなプログラムを外部の非一時的な記憶媒体に記憶させてもよいし、クラウドコンピューティングで動作させてもよい。

＜６付記＞
以上の各実施形態で説明した事項を以下に付記する。

（付記１）
プロセッサ２９を備えるコンピュータ２０によって実行されるプログラムであって、プログラムは、プロセッサ２９に、演者の顔の部位であって、１または複数の顔の部位の動きをセンシングするステップ（Ｓ１００１）と、センシングした１または複数の顔の部位の動きに基づいて、演者に対応するアバターの１または複数の顔の部位の態様を変化させるステップ（Ｓ１００２）と、アバターの１または複数の顔の部位の態様を、センシングされた結果に追随させる度合いの設定を受け付けるステップ（Ｓ１００３）と、を実行させ、変化させるステップ（Ｓ１００２）において、度合いの設定に従って、アバターの１または複数の顔の部位の態様を変化させる、プログラム。

（付記２）
センシングするステップ（Ｓ１００１）において、１または複数の顔の部位として、演者の眉、瞼、目頭、目尻、眼球、瞳孔、口からなる群の少なくとも１つをセンシングする、付記１に記載のプログラム。

（付記３）
設定を受け付けるステップ（Ｓ１００３）において、アバターの１または複数の顔の部位のうち、関連付けられた所定の部位同士について、同一の設定を受け付ける、付記１または２に記載のプログラム。

（付記４）
プログラムは、プロセッサ２９に、さらに、演者に対し、センシングされた結果に追随させる度合いの設定の１または複数の候補を提示するステップと、演者から１または複数の度合いの設定の候補の選択を受け付けるステップと、を実行させ、変化させるステップにおいて、選択を受け付けた度合いの設定に基づいて、アバターの１または複数の顔の部位の態様を変化させる、付記１から３のいずれかに記載のプログラム。

（付記５）
プログラムは、プロセッサ２９に、さらに、演者の音声スペクトルを取得するステップと、取得した音声スペクトルから、演者の発話の変化の程度の情報を取得するステップと、を実行させ、度合いの設定を受け付けるステップにおいて、度合いの設定を、演者の発話の変化の程度に関連付けられた範囲で設定可能に受け付け、変化させるステップにおいて、度合いの設定に従って、アバターの１または複数の顔の部位の態様を変化させる、付記１から４のいずれかに記載のプログラム。

（付記６）
設定を受け付けるステップ（Ｓ１００３）において、音声スペクトルを検出する周波数の範囲の設定を受け付けており、
変化させるステップ（Ｓ１００２）において、設定される範囲の音声スペクトルを検出したことに応答して、度合いの第１の設定に基づいて、アバターの１または複数の顔の部位の態様を変化させる、付記５に記載のプログラム。

（付記７）
変化させるステップ（Ｓ１００２）において、設定される範囲外の音声スペクトルを検出したことに応答して、予め定められた度合いの設定であって、第１の度合いの設定とは異なる第２の度合いの設定に基づいて、アバターの１または複数の顔の部位の態様を変化させる、付記６に記載のプログラム。

（付記８）
センシングするステップ（Ｓ１００１）において、演者の口の動きがセンシングできない場合には、変化させるステップ（Ｓ１００２）において、発話の変化の程度に基づいて、アバターの口の態様を変化させる、付記５に記載のプログラム。

（付記９）
設定を受け付けるステップ（Ｓ１００３）において、演者からアバターの属性を受け付け、当該属性に基づいて、度合いを補正する、付記１から８のいずれかに記載のプログラム。

（付記１０）
設定を受け付けるステップ（Ｓ１００３）において、属性として、人間、または人間とは１または複数の顔の部位の態様の変化の様子が異なる人間以外のいずれかの情報を受け付け、当該属性に基づいて度合いを補正する、付記９に記載のプログラム。

（付記１１）
プログラムは、プロセッサ２９に、さらに、演者の１または複数の感情の候補を推定するステップと、推定した演者の１または複数の感情の候補を演者に提示するステップと、演者から、演者の１または複数の感情の候補のうち、１つの感情を選択するための入力操作を受け付けるステップと、を実行させ、変化させるステップ（Ｓ１００２）において、演者から選択された感情に基づいて、演者に対応するアバターの１または複数の顔の部位の態様を変化させる、付記１から１０のいずれかに記載のプログラム。

（付記１２）
推定するステップにおいて、演者の感情を推定できない場合、変化させるステップ（Ｓ１００２）において、演者が予め設定した設定に基づいて１または複数の顔の部位の態様を変化させる、付記１１に記載のプログラム。

（付記１３）
プログラムは、プロセッサ２９に、さらに、演者の１または複数の顔の部位のうち、関連づけられている部位の少なくとも１つセンシング結果が取得できない場合、センシング結果が取得できた部位の度合いを、関連付けられている、当該部位に適用するステップを実行させる、付記１から１２のいずれかに記載のプログラム。

（付記１４）
プログラムは、プロセッサ２９に、さらに、演者が装着しているウェアラブルデバイスの情報を取得するステップと、当該取得したウェアラブルデバイスの情報に基づいて、度合いの設定を補正するステップと、を実行させる、付記１から１３のいずれかに記載のプログラム。

（付記１５）
度合いの設定を補正するステップにおいて、演者から、補正の度合いを調整するための入力操作を受け付ける、付記１４に記載のプログラム。

（付記１６）
プログラムは、プロセッサに、さらに、アバターの１または複数の顔の部位のうち、予め関連付けられている部位同士で、度合いの設定の差異が所定の閾値を超過した場合に、所定の通知を演者に提示するステップを実行させる、付記１から１５のいずれかに記載のプログラム。

（付記１７）
設定を受け付けるステップ（Ｓ１００３）において、度合いの設定を受け付けた１または複数の顔の部位と関連する部位の度合いを、予め定められた値に設定する、付記１から１６のいずれかに記載のプログラム。

（付記１８）
所定の通知を演者に提示するステップにおいて、度合いの差が所定の閾値を超過した部位を異なる態様で当該数値とともに演者に提示する、付記１６に記載のプログラム。

（付記１９）
所定の通知を演者に提示するステップにおいて、プログラムは、度合いの差を、所定の範囲内に設定した場合の少なくとも１または複数の顔の部位が変化する様子を演者に提示する、付記１８に記載のプログラム。

（付記２０）
設定を受け付けるステップ（Ｓ１００３）において、アバターの１または複数の部位ごとに、予め定められた範囲内で度合いの設定を受け付ける、付記１から１９のいずれかに記載のプログラム。

（付記２１）
プロセッサ２９を備えるコンピュータ２０によって実行される方法であって、方法は、プロセッサ２９が、演者の顔の部位であって、１または複数の顔の部位の動きをセンシングするステップ（Ｓ１００１）と、センシングした１または複数の顔の部位の動きに基づいて、演者に対応するアバターの１または複数の顔の部位の態様を変化させるステップ（Ｓ１００２）と、アバターの１または複数の顔の部位の態様を、センシングされた結果に追随させる度合いの設定を受け付けるステップ（Ｓ１００３）と、を実行し、変化させるステップ（Ｓ１００２）において、度合いの設定に従って、アバターの１または複数の顔の部位の態様を変化する、方法。

（付記２２）
制御部２０３を備える情報処理装置２０であって、制御部２０３が、演者の顔の部位であって、１または複数の顔の部位の動きをセンシングするステップ（Ｓ１００１）と、センシングした１または複数の顔の部位の動きに基づいて、演者に対応するアバターの１または複数の顔の部位の態様を変化させるステップ（Ｓ１００２）と、アバターの１または複数の顔の部位の態様を、センシングされた結果に追随させる度合いの設定を受け付けるステップ（Ｓ１００３）と、を実行し、変化させるステップ（Ｓ１００２）において、度合いの設定に従って、アバターの１または複数の顔の部位の態様を変化する、情報処理装置２０。

１０端末装置、１２通信インタフェース、１３入力装置、１４出力装置、１５メモリ、１６記憶部、１９プロセッサ、２０サーバ、２２通信インタフェース、２３入出力インタフェース、２５メモリ、２６ストレージ、２９プロセッサ、８０ネットワーク、１８０１ユーザ情報、１８０２アバター情報、１８０３ウェアラブルデバイス情報、１９０１入力操作受付部、１９０２送受信部、１９０３データ処理部、１９０４報知制御部、１３０２ディスプレイ、１４０音声処理部、１４１マイク、１４２スピーカ、１５０位置情報センサ、１６０カメラ、１７０モーションセンサ、２０２１ユーザ情報データベース、２０２２アバター情報データベース、２０２３ウェアラブルデバイス情報データベース、２０３１受信制御モジュール、２０３２送信制御モジュール、２０３３ユーザ情報取得モジュール、２０３４アバター情報取得モジュール、２０３５音声スペクトル取得モジュール、２０３６アバター変化モジュール、２０３７アバター提示モジュール、２０３８設定受付モジュール、２０３９ウェアラブルデバイス情報取得モジュール、２０４０変化補正モジュール。

Claims

プロセッサを備えるコンピュータによって実行されるプログラムであって、前記プログラムは、前記プロセッサに、
演者の顔の部位であって、１または複数の顔の部位の動きをセンシングするステップと、
前記センシングした前記１または複数の顔の部位の動きに基づいて、前記演者に対応するアバターの１または複数の顔の部位の態様を変化させるステップと、
前記アバターの前記１または複数の顔の部位の態様を、前記センシングされた結果に追随させる度合いの設定を受け付けるステップと、を実行させ、
前記変化させるステップにおいて、前記度合いの設定に従って、前記アバターの１または複数の顔の部位の態様を変化させる、プログラム。
前記センシングするステップにおいて、前記１または複数の顔の部位として、前記演者の眉、瞼、目頭、目尻、眼球、瞳孔、口からなる群の少なくとも１つをセンシングする、請求項１に記載のプログラム。
前記設定を受け付けるステップにおいて、前記アバターの前記１または複数の顔の部位のうち、関連付けられた所定の部位同士について、同一の設定を受け付ける、請求項１に記載のプログラム。
前記プログラムは、前記プロセッサに、さらに、前記演者に対し、前記センシングされた結果に追随させる度合いの設定の１または複数の候補を提示するステップと、
前記演者から前記１または複数の前記度合いの設定の候補の選択を受け付けるステップと、を実行させ、
前記変化させるステップにおいて、前記選択を受け付けた度合いの設定に基づいて、前記アバターの１または複数の顔の部位の態様を変化させる、請求項１に記載のプログラム。
前記プログラムは、前記プロセッサに、さらに、前記演者の音声スペクトルを取得するステップと、
前記取得した音声スペクトルから、前記演者の発話の変化の程度の情報を取得するステップと、を実行させ、
前記度合いの設定を受け付けるステップにおいて、前記度合いの設定を、前記演者の発話の変化の程度に関連付けられた範囲で設定可能に受け付け、
前記変化させるステップにおいて、前記度合いの設定に従って、前記アバターの１または複数の顔の部位の態様を変化させる、請求項１に記載のプログラム。
前記設定を受け付けるステップにおいて、前記音声スペクトルを検出する周波数の範囲の設定を受け付けており、
前記変化させるステップにおいて、前記設定される範囲の音声スペクトルを検出したことに応答して、前記度合いの第１の設定に基づいて、前記アバターの１または複数の顔の部位の態様を変化させる、請求項５に記載のプログラム。
前記変化させるステップにおいて、前記設定される範囲外の音声スペクトルを検出したことに応答して、予め定められた前記度合いの設定であって、前記度合いの第１の設定とは異なる度合いの第２の設定に基づいて、前記アバターの１または複数の顔の部位の態様を変化させる、請求項６に記載のプログラム。
前記センシングするステップにおいて、前記演者の口の動きがセンシングできない場合には、前記変化させるステップにおいて、前記発話の変化の程度に基づいて、前記アバターの口の態様を変化させる、請求項５に記載のプログラム。
前記設定を受け付けるステップにおいて、
前記演者から前記アバターの属性を受け付け、当該属性に基づいて、前記度合いを補正する、請求項１に記載のプログラム。
前記設定を受け付けるステップにおいて、前記属性として、人間、または人間とは１または複数の顔の部位の態様の変化の様子が異なる人間以外のいずれかの情報を受け付け、当該属性に基づいて前記度合いを補正する、請求項９に記載のプログラム。
前記プログラムは、前記プロセッサに、さらに、前記演者の１または複数の感情の候補を推定するステップと、
前記推定した前記演者の１または複数の感情の候補を前記演者に提示するステップと、前記演者から、前記演者の１または複数の感情の候補のうち、１つの感情を選択するための入力操作を受け付けるステップと、を実行させ、
前記変化させるステップにおいて、前記演者から選択された前記感情に基づいて、前記演者に対応するアバターの１または複数の顔の部位の態様を変化させる、請求項１に記載のプログラム。
前記推定するステップにおいて、前記演者の感情を推定できない場合、前記変化させるステップにおいて、前記演者が予め設定した設定に基づいて前記１または複数の顔の部位の態様を変化させる、請求項１１に記載のプログラム。
前記プログラムは、前記プロセッサに、さらに、前記演者の１または複数の顔の部位のうち、関連づけられている部位の少なくとも１つセンシング結果が取得できない場合、センシング結果が取得できた部位の前記度合いを、前記関連付けられている、当該部位に適用するステップを実行させる、請求項１に記載のプログラム。
前記プログラムは、前記プロセッサに、さらに、前記演者が装着しているウェアラブルデバイスの情報を取得するステップと、
当該取得した前記ウェアラブルデバイスの情報に基づいて、前記度合いの設定を補正するステップと、を実行させる、請求項１に記載のプログラム。
前記度合いの設定を補正するステップにおいて、前記演者から、補正の度合いを調整するための入力操作を受け付ける、請求項１４に記載のプログラム。
前記プログラムは、前記プロセッサに、さらに、前記アバターの１または複数の顔の部位のうち、予め関連付けられている部位同士で、前記度合いの設定の差異が所定の閾値を超過した場合に、所定の通知を前記演者に提示するステップを実行させる、請求項１に記載のプログラム。
前記設定を受け付けるステップにおいて、前記度合いの設定を受け付けた前記１または複数の顔の部位と関連する部位の度合いを、予め定められた値に設定する、請求項１に記載のプログラム。
前記所定の通知を前記演者に提示するステップにおいて、前記度合いの差が前記所定の閾値を超過した部位を異なる態様で当該数値とともに前記演者に提示する、請求項１６に記載のプログラム。
前記所定の通知を前記演者に提示するステップにおいて、前記プログラムは、前記度合いの差を、前記所定の範囲内に設定した場合の前記少なくとも１または複数の顔の部位が変化する様子を前記演者に提示する、請求項１８に記載のプログラム。
前記設定を受け付けるステップにおいて、前記アバターの１または複数の部位ごとに、予め定められた範囲内で前記度合いの設定を受け付ける、請求項１に記載のプログラム。
プロセッサを備えるコンピュータによって実行される方法であって、前記方法は、前記プロセッサが、
演者の顔の部位であって、１または複数の顔の部位の動きをセンシングするステップと、
前記センシングした前記１または複数の顔の部位の動きに基づいて、前記演者に対応するアバターの１または複数の顔の部位の態様を変化させるステップと、
前記アバターの前記１または複数の顔の部位の態様を、前記センシングされた結果に追随させる度合いの設定を受け付けるステップと、を実行し、
前記変化させるステップにおいて、前記度合いの設定に従って、前記アバターの１または複数の顔の部位の態様を変化する、方法。
制御部を備える情報処理装置であって、前記制御部が、
演者の顔の部位であって、１または複数の顔の部位の動きをセンシングするステップと、
前記センシングした前記１または複数の顔の部位の動きに基づいて、前記演者に対応するアバターの１または複数の顔の部位の態様を変化させるステップと、
前記アバターの前記１または複数の顔の部位の態様を、前記センシングされた結果に追随させる度合いの設定を受け付けるステップと、を実行し、
前記変化させるステップにおいて、前記度合いの設定に従って、前記アバターの１または複数の顔の部位の態様を変化する、情報処理装置。