JP7371820B1 - アニメーション操作方法、アニメーション操作プログラム及びアニメーション操作システム - Google Patents

Abstract

アニメーション操作方法は、操作装置によって検出されるユーザの手及び指の少なくとも一方の所定の動作に対して、予め設定された所定のアニメーションの動作が対応付けられており、所定の動作が操作装置によって検出された場合、所定の動作に対応する所定のアニメーションの動作を実行させる。

Description

本開示の一側面は、アニメーション操作方法、アニメーション操作プログラム及びアニメーション操作システムに関する。
本出願は、２０２２年４月２６日出願の日本出願第２０２２－０７２１７１号に基づく優先権を主張し、前記日本出願に記載された全ての記載内容を援用するものである。

コンピュータを用いるコミュニケーションに関して、例えば特開２０１５－３８７２５号公報（特許文献１）は、顔画像を生成する発話アニメーション生成装置を開示する。この発話アニメーション生成装置は、予め用意された音響モデル、言語モデル、及び複数の音素と複数の視覚素との間の対応表を使用して、音声信号に対して音声認識を漸次的に行って視覚素系列を生成する。発話アニメーション生成装置はさらに、生成した視覚素系列を平滑化して複数の視覚素ごとの混合重みを生成し、複数の視覚素ごとの混合重みに従って、複数の視覚素それぞれに対応する複数の顔モデルを混合することにより、顔画像を生成する。

特開２０１５－３８７２５号公報

本開示の一側面に係るアニメーション操作方法は、非言語情報を表現する耳を模したアニメーションの動作を操作する操作方法であって、検出装置によって検出されるユーザの手及び指の少なくとも一方の所定の動作に対して、予め設定された所定のアニメーションの動作が対応付けられており、所定の動作が検出装置によって検出された場合、所定の動作に対応する所定のアニメーションの動作を実行させる。

図１は、一実施形態に係るコミュニケーション支援システムの概略構成の例を示す図である。 図２は、一実施形態に係るコミュニケーション支援システムによって提供されるコミュニケーションの例を示す図である。 図３は、端末及びサーバの機能ブロックの例を示す図である。 図４は、第一実施形態に係る操作装置の斜視図である。 図５は、図４に示す操作装置の機能ブロックの例を示す図である。 図６の動作パターンは、耳アニメーションの動作の一例を示す図であり、図６のユーザ動作は、図６の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図７の動作パターンは、耳アニメーションの動作の一例を示す図であり、図７のユーザ動作は、図７の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図８の動作パターンは、耳アニメーションの動作の一例を示す図であり、図８のユーザ動作は、図８の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図９の動作パターンは、耳アニメーションの動作の一例を示す図であり、図９のユーザ動作は、図９の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図１０の動作パターンは、耳アニメーションの動作の一例を示す図であり、図１０のユーザ動作は、図１０の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図１１の動作パターンは、耳アニメーションの動作の一例を示す図であり、図１１のユーザ動作は、図１１の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図１２は、第二実施形態に係る操作装置の斜視図である。 図１３は、図１２に示す操作装置の機能ブロックの例を示す図である。 図１４の動作パターンは、耳アニメーションの動作の一例を示す図であり、図１４のユーザ動作は、図１４の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図１５の動作パターンは、耳アニメーションの動作の一例を示す図であり、図１５のユーザ動作は、図１５の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図１６の動作パターンは、耳アニメーションの動作の一例を示す図であり、図１６のユーザ動作は、図１６の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図１７の動作パターンは、耳アニメーションの動作の一例を示す図であり、図１７のユーザ動作は、図１７の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図１８の動作パターンは、耳アニメーションの動作の一例を示す図であり、図１８のユーザ動作は、図１８の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図１９の動作パターンは、耳アニメーションの動作の一例を示す図であり、図１９のユーザ動作は、図１９の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図２０は、第三実施形態に係る操作装置を示す図である。 図２１は、操作装置がユーザの指に装着されている状態を示す図である。 図２２は、操作装置の機能ブロックの例を示す図である。 図２３の動作パターンは、耳アニメーションの動作の一例を示す図であり、図２３のユーザ動作は、図２３の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図２４の動作パターンは、耳アニメーションの動作の一例を示す図であり、図２４のユーザ動作は、図２４の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図２５の動作パターンは、耳アニメーションの動作の一例を示す図であり、図２５のユーザ動作は、図２４の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図２６の動作パターンは、耳アニメーションの動作の一例を示す図であり、図２６のユーザ動作は、図２６の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図２７の動作パターンは、耳アニメーションの動作の一例を示す図であり、図２７のユーザ動作は、図２７の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図２８の動作パターンは、耳アニメーションの動作の一例を示す図であり、図２８のユーザ動作は、図２８の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図２９は、第四実施形態に係る操作装置の斜視図である。 図３０は、図２９に示す操作装置の機能ブロックの例を示す図である。 図３１の動作パターンは、耳アニメーションの動作の一例を示す図であり、図３１のユーザ動作は、図３１の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図３２の動作パターンは、耳アニメーションの動作の一例を示す図であり、図３２のユーザ動作は、図３２の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図３３の動作パターンは、耳アニメーションの動作の一例を示す図であり、図３３のユーザ動作は、図３３の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図３４の動作パターンは、耳アニメーションの動作の一例を示す図であり、図３４のユーザ動作は、図３４の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。

［本開示が解決しようとする課題］
ビデオ会議（ＷＥＢ会議）等では、通信環境（帯域制限等）やプライバシーの観点から、カメラを使用せずに、音声のみで会議に参加する場合がある。この場合、各ユーザの端末には、会議に参加しているユーザのアイコン等が表示される。アイコン等の表示からは、通話相手が発話に対して関心を示しているか等の状態・状況を認識（把握）することが困難である。そのため、円滑なコミュニケーションを図ることが難しい。

そこで、円滑なコミュニケーションを図るために、ユーザの状態を耳アニメーション（動物の耳を模したアニメーション）で示す方法がある。アニメーションは、端末によって取得された音声データ及び画像データに基づいて、ユーザの状態を推定して生成される。この場合、ユーザの状態がアニメーションにリアルタイムで反映されるため、通話相手である他のユーザの状態を認識することができる。そのため、端末を用いて行う通話において円滑なコミュニケーションの実現が可能となり得る。

ここで、ユーザの状態がリアルタイムでアニメーションに反映されることが、必ずしも好ましい形態とはならない場合もある。例えば、ユーザがビデオ会議中に他の動作（メールの確認等）を行っている場合、他の動作を行いながらビデオ会議に参加していることを他のユーザに知られたくない場合もある。また、ユーザの状態が推定されてリアルタイムでアニメーションに反映される場合、ユーザが緊張感を覚えることがある。そのため、ユーザの意図するタイミングにおいて、必要な動作だけをアニメーションに反映させることが望まれる。

本開示の一側面は、ユーザの意図に応じてアニメーションを動作させることができるアニメーション操作方法、アニメーション操作プログラム及びアニメーション操作システムを提供することを目的とする。

［本開示の効果］
本開示の一側面によれば、ユーザの意図に応じてアニメーションを動作させることができる。

［本開示の実施形態の説明］
最初に、本開示の実施形態の内容を列記して説明する。以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。

（１）本開示の一側面に係るアニメーション操作方法は、非言語情報を表現する耳を模したアニメーションの動作を操作する操作方法であって、検出装置によって検出されるユーザの手及び指の少なくとも一方の所定の動作に対して、予め設定された所定のアニメーションの動作が対応付けられており、所定の動作が検出装置によって検出された場合、所定の動作に対応する所定のアニメーションの動作を実行させる。

本開示の一側面に係るアニメーション操作方法では、検出装置によって検出されるユーザの手及び指の少なくとも一方の所定の動作に対して、予め設定された所定のアニメーションの動作が対応付けられており、所定の動作が検出装置によって検出された場合、所定の動作に対応する所定のアニメーションの動作を実行させる。これにより、ユーザの動作が所定の動作が検出装置によって検出されない場合には、アニメーションは動作しない。また、所定のアニメーションは、検出装置において特定の動作が検出された場合に動作する。そのため、例えば、単に手や指を移動させたりするような動作の場合には、アニメーションは動作しない。このように、ユーザの意図するタイミングにおいて、必要な動作だけをアニメーションに反映させることができる。したがって、ユーザの意図に応じてアニメーションを動作させることができる。

（２）上記（１）において、所定のアニメーションの動作と、ユーザの手及び指の少なくとも一方の所定の動作とが類似していてもよい。これにより、所定のアニメーションに類似（関連）する所定の動作を行うことによって、所定のアニメーションが実行される。したがって、直感的な操作が可能となる。

（３）上記（１）又は（２）において、ユーザの指の動作を検出する検出装置を使用し、検出装置によって検出されるユーザの指の所定の動作に対して、予め設定された所定のアニメーションの動作が対応付けられており、指の所定の動作が検出装置によって検出された場合、所定の動作に対応する所定のアニメーションの動作を実行させてもよい。これにより、所定のアニメーションは、検出装置において特定の指の動作が検出された場合に動作する。そのため、例えば、単に指を動かすような動作の場合には、アニメーションは動作しない。このように、ユーザの意図するタイミングにおいて、必要な動作だけをアニメーションに反映させることができる。したがって、ユーザの意図に応じてアニメーションを動作させることができる。

（４）上記（１）又は（２）において、検出装置の角速度を検出する角速度検出部を有する検出装置を使用し、角速度検出部によって検出される角速度の所定値に対して、予め設定された所定のアニメーションの動作が対応付けられており、ユーザによる検出装置の操作により、所定値の角速度が角速度検出部によって検出された場合、所定値に対応する所定のアニメーションの動作を実行させてもよい。これにより、ユーザによって検出装置の操作が行われない場合には、アニメーションは動作しない。また、所定のアニメーションは、検出装置の角速度が所定値となるような特定の操作が行われた場合に動作する。そのため、例えば、検出装置を単に移動させるような操作の場合には、アニメーションは動作しない。このように、ユーザの意図するタイミングにおいて、必要な動作だけをアニメーションに反映させることができる。したがって、ユーザの意図に応じてアニメーションを動作させることができる。

（５）上記（４）において、ユーザの指に検出装置を装着して使用してもよい。これにより、ユーザの指（手）の動作によって、アニメーションの動作を操作することができる。

（６）上記（４）において、ユーザの手に検出装置を保持して使用してもよい。これにより、ユーザの手の動作によって、アニメーションの動作を操作することができる。

（７）上記（４）～（６）のいずれかにおいて、アニメーションを表示する表示部を有する検出装置を使用してもよい。これにより、検出装置の表示部にアニメーションが表示されるため、アニメーションを確認しながら検出装置を操作することができる。

（８）上記（４）から（７）のいずれかにおいて、所定のアニメーションの動作を実行させるための所定の入力又は操作がユーザによって行われた場合に、所定のアニメーションの動作を実行させてもよい。これにより、所定の入力又は操作がユーザによって行われない場合には、所定のアニメーションが動作しない。そのため、ユーザの意図に反してアニメーションが動作することを回避できる。

（９）上記（８）において、ユーザによって押下される押下部を有する検出装置を使用し、ユーザによって押下部が押下された場合に、所定のアニメーションの動作を実行させてもよい。このように、ユーザによる所定の動作として、検出装置の押下部が押下された場合に、所定のアニメーションの動作を実行させる。これにより、ユーザによって押下部が押下されない場合には、所定のアニメーションが動作しない。そのため、ユーザの意図に反してアニメーションが動作することを回避できる。

（１０）上記（８）において、ユーザの音声を入力する入力部を有する検出装置を使用し、ユーザの音声が入力部に入力された場合に、所定のアニメーションの動作を実行させてもよい。このように、ユーザによる所定の動作として、検出装置の入力部にユーザの音声が入力された場合に、所定のアニメーションの動作を実行させる。これにより、ユーザによって音声が入力されない場合には、所定のアニメーションが動作しない。そのため、ユーザの意図に反してアニメーションが動作することを回避できる。

（１１）上記（８）において、ユーザによる検出装置の操作によって、角速度検出部により検出される角速度が一定値以上となった場合に、所定のアニメーションの動作を実行させてもよい。角速度の一定値は、角速度の上記所定値以上に設定され得る。これにより、ユーザが特別の操作（ボタンの押下等）を行わなくても、所定のアニメーションの動作を操作することができる。

（１２）上記（１）～（１１）のいずれかにおいて、検出装置の加速度を検出する加速度検出部を有する検出装置を使用し、加速度検出部によって検出される加速度の所定値に対して、予め設定された所定のアニメーションの動作が対応付けられており、ユーザによる検出装置の操作により、所定値の加速度が加速度検出部によって検出された場合、所定値に対応する所定の前記アニメーションの動作を実行させてもよい。これにより、ユーザによって検出装置の操作が行われない場合には、アニメーションは動作しない。また、所定のアニメーションは、検出装置の加速度が所定値となるような特定の操作が行われた場合に動作する。そのため、例えば、検出装置を単に移動させるような操作の場合には、アニメーションは動作しない。このように、ユーザの意図するタイミングにおいて、必要な動作だけをアニメーションに反映させることができる。したがって、ユーザの意図に応じてアニメーションを動作させることができる。

（１３）上記（１）～（１２）のいずれかにおいて、ユーザの手及び指の少なくとも一方の、動作速度及び移動量の少なくとも一方を検出する検出装置を使用し、動作速度及び移動量の少なくとも一方に基づいて、所定のアニメーションの動作を変化させてもよい。この方法では、アニメーションは、動作速度又は移動量によって、動作速度が変化したり、動作量が変化したりする。これにより、アニメーションにおいて、ユーザの状況に応じた機微な非言語情報の表現（表出）を行うことができる。そのため、ユーザの感情（気持ち）がよりアニメーションに表現されるため、円滑なコミュニケーションを実現することができる。

（１４）本開示の一側面に係るアニメーション操作プログラムは、非言語情報を表現する耳を模したアニメーションの動作を操作する操作プログラムであって、検出装置によって検出されるユーザの手及び指の少なくとも一方の所定の動作に対して、予め設定された所定のアニメーションの動作が対応付けられており、所定の動作が検出装置によって検出された場合、所定の動作に対応する所定のアニメーションの動作を実行させるステップを、コンピュータに実行させる。

本開示の一側面に係るアニメーション操作プログラムでは、検出装置によって検出されるユーザの手及び指の少なくとも一方の所定の動作に対して、予め設定された所定のアニメーションの動作が対応付けられており、所定の動作が検出装置によって検出された場合、所定の動作に対応する所定のアニメーションの動作を実行させる。これにより、ユーザの動作が所定の動作が検出装置によって検出されない場合には、アニメーションは動作しない。また、所定のアニメーションは、検出装置において特定の動作が検出された場合に動作する。そのため、例えば、単に手や指を移動させたりするような動作の場合には、アニメーションは動作しない。このように、ユーザの意図するタイミングにおいて、必要な動作だけをアニメーションに反映させることができる。したがって、ユーザの意図に応じてアニメーションを動作させることができる。

（１５）本開示の一側面に係るアニメーション操作システムは、非言語情報を表現する耳を模したアニメーションの動作を操作する操作システムであって、検出装置によって検出されるユーザの手及び指の少なくとも一方の所定の動作に対して、予め設定された所定のアニメーションの動作が対応付けられており、所定の動作が検出装置によって検出された場合、所定の動作に対応する所定のアニメーションの動作を実行させる。

本開示の一側面に係るアニメーション操作システムでは、検出装置によって検出されるユーザの手及び指の少なくとも一方の所定の動作に対して、予め設定された所定のアニメーションの動作が対応付けられており、所定の動作が検出装置によって検出された場合、所定の動作に対応する所定のアニメーションの動作を実行させる。これにより、ユーザの動作が所定の動作が検出装置によって検出されない場合には、アニメーションは動作しない。また、所定のアニメーションは、検出装置において特定の動作が検出された場合に動作する。そのため、例えば、単に手や指を移動させたりするような動作の場合には、アニメーションは動作しない。このように、ユーザの意図するタイミングにおいて、必要な動作だけをアニメーションに反映させることができる。したがって、ユーザの意図に応じてアニメーションを動作させることができる。

［本開示の実施形態の詳細］
本開示の実施形態の具体例を、以下に図面を参照しつつ説明する。本開示はこれらの例示に限定されるものではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

図１は、コミュニケーション支援システム（アニメーション操作システム）（以下、単に「システム」という場合もある。）の概略構成の例を示す図である。システム１００は、コミュニケーションを支援するコンピュータシステムである。コミュニケーションの例は、テレビ会議、診察、カウンセリング、面接（人物評価）、テレワーク等、他のユーザとの通話を伴うものである。

＜システムの構成＞
システム１００は、端末１０、端末２０及び端末３０を含む。図１に示される例では、端末１０は、ユーザＵ１が使用するラップトップ型のパーソナルコンピュータ（ＰＣ）である。端末２０は、ユーザＵ２が使用する携帯電話機（スマートフォン等）である。端末３０は、ユーザＵ３が使用するデスクトップ型のＰＣである。端末１０、端末２０及び端末３０は、ネットワークＮに接続可能である。この例では、端末１０はアクセスポイントＡＰを介して、端末２０は基地局ＢＳを介して、端末３０は有線（不図示）により、それぞれネットワークＮに接続される。端末１０、端末２０及び端末３０には、上述のＰＣ、携帯電話機以外にも、タブレット端末、ウェアラブル端末、ヘッドマウントディスプレイ（ＨＭＤ）端末、その他さまざまな端末が用いられてよい。なお、システム１００に含まれる端末の数は、図１の例に限定されない。

システム１００は、サーバ４０を含む。サーバ４０は、ネットワークＮに接続される。したがって、端末１０、端末２０、端末３０及びサーバ４０は、ネットワークＮを介して互いに通信可能である。なお、システム１００に含まれるサーバの数は、図１の例に限定されない。

ネットワークＮの構成は限定されない。例えば、ネットワークＮは、インターネット（公衆網）、通信キャリアネットワーク、事業者ネットワーク等を含んで構成されてよい。

図２は、システム１００によって提供されるコミュニケーションの例を示す図である。コミュニケーションは、コンピュータによって表現される通話画面Ｇで行われる。通話画面Ｇは、端末１０、端末２０及び端末３０に表示されることで、ユーザＵ１、ユーザＵ２及びユーザＵ３に提示される。ユーザＵ１，Ｕ２，Ｕ３は、互いにコミュニケーション対象である。図２に示す例では、ユーザＵ１のキャラクタＣ１、ユーザＵ２のキャラクタＣ２及びユーザＵ３のキャラクタＣ３が、コミュニケーションの参加者として通話画面Ｇに現れている。キャラクタＣ１，Ｃ２，Ｃ３は、例えば、同じサイズで通話画面Ｇに表示される。

図２に示す例では、キャラクタＣ１，Ｃ２，Ｃ３は、一つの空間（連続背景空間）に表示されている。一つの空間には、例えば、オブジェクトとしてテーブルＴが表示されている。キャラクタＣ１，Ｃ２，Ｃ３は、テーブルＴを囲んで向かい合うように表示される。キャラクタＣ１，Ｃ２，Ｃ３は、テーブルＴにおいて、例えば、等間隔（６０°間隔）で配置される。図２に示す例では、キャラクタＣ１とキャラクタＣ２とは、斜めを向いた状態で、テーブルＴを囲んで向かい合うように表示される。キャラクタＣ３は、画面中央において、背後側となるように表示される。図２に示される画面がユーザＵ３の端末３０の画面である場合、デフォルトとして、ユーザＵ３のキャラクタＣ３が背後となるように表示されるようにしてもよい。この場合、他のユーザＵ１，Ｕ２のキャラクタＣ１，Ｃ２の耳アニメーションＥが見易くなるため、他のユーザＵ１，Ｕ２の状態を正確に把握することができる。

テーブルＴを回転させることにより、キャラクタＣ１，Ｃ２，Ｃ３の位置を変更することができる。また、観察視点を変更することができる。例えば、キャラクタＣ１，Ｃ２，Ｃ３を上方から見下ろすような視点（鳥瞰的視点、俯瞰的視点）に変更することができる。視点の変更は、キーボード等における手動操作によって行われてもよいし、ウェアラブルセンサのセンシングに基づいて行われてもよい。このように、連続した一つの空間にキャラクタＣ１、キャラクタＣ２及びキャラクタＣ３を表示させることにより、同一空間での存在感を生成することができる。これにより、臨場感、一体感のある会話を実現することができる。

キャラクタＣ１，Ｃ２，Ｃ３は、通話画面ＧにおいてユーザＵ１，Ｕ２，Ｕ３を示すものである。キャラクタＣ１，Ｃ２，Ｃ３は、ダイナミックなキャラクタである。キャラクタＣ１，Ｃ２，Ｃ３は、ユーザＵ１，Ｕ２，Ｕ３の実際の像（撮像データ等）とは独立した画像素材によって生成される。画像素材は、アニメーションキャラクタを生成するための素材である。キャラクタＣ１，Ｃ２，Ｃ３は二次元又は三次元のコンピュータグラフィック（ＣＧ）によって描画されてもよい。

キャラクタＣ１，Ｃ２，Ｃ３は、ボディＢ及び耳アニメーションＥを含んで構成される。キャラクタＣ１，Ｃ２，Ｃ３では、ボディＢと耳アニメーションＥとが通話画面Ｇにおいて、一体的に表示される。一体的に表示されるとは、キャラクタＣ１，Ｃ２，Ｃ３を見たときに、視覚的にボディＢと耳アニメーションＥとが一つのまとまりとして認識されることを意味する。すなわち、一体的に表示されるとは、ボディＢと耳アニメーションＥとが結びついている（対応している）ことを一見して認識できる状態であればよい。そのため、一体的に表示されるとは、ボディＢと耳アニメーションＥとが接触している状態であってもよいし、ボディＢと耳アニメーションＥとが離隔している状態であってもよい。

ボディＢは、通話相手であるユーザを識別可能な識別情報である。ボディＢは、ユーザを示す画像及びユーザを示すテキストの少なくとも一方を含む。キャラクタＣ１，Ｃ２，Ｃ３には、影が表示される。ボディＢは、球状を呈しており、ユーザを識別可能なテキスト（「Ａ」、「Ｂ」、「Ｃ」）を含んでいる。キャラクタＣ１，Ｃ２，Ｃ３は、発話アニメーション（図示省略）を含んで構成されていてもよいし、腕アニメーションＡを含んで構成されていてもよい。

耳アニメーションＥは、非言語情報を表現するアニメーションである。耳アニメーションＥは、ユーザの状態（動作）を示すアニメーションである。耳アニメーションＥは、ユーザの状態を、ユーザの実際の動作部位とは異なる形態で表現したアニメーションである。耳アニメーションＥは、動的に変化する顔表情を含まない。耳アニメーションＥは、ボディＢの表示領域の外側に表示領域から突出するように表示される。耳アニメーションＥは、動物（例えば、うさぎ等）の耳を模したアニメーションであり、ユーザの状態の変化に応じて動作する。耳アニメーションＥは、ユーザの動作に応じて動作する。耳アニメーションＥは、例えば、伸縮、折り曲げ、揺動等の動作をする。

システム１００では、通話画面Ｇに表示されるキャラクタＣ１，Ｃ２，Ｃ３の耳アニメーションＥによって、ユーザＵ１，Ｕ２，Ｕ３の状態、リアクション等を確認することができる。

図３は、端末１０、端末２０、端末３０、及びサーバ４０の機能ブロックの例を示す図である。端末２０及び端末３０の機能ブロックは、端末１０の機能ブロックと同様であるので、以下では端末１０及びサーバ４０について説明する。はじめに端末１０について説明し、次にサーバ４０について説明する。

＜端末の構成＞
端末１０は、入力部１１を含む。入力部１１は、ユーザＵ１の音声データ及び画像データが入力される部分である。入力部１１は、ユーザＵ１の映像データが入力されてもよい。映像は、ユーザＵ１の音声データ及び画像データを含む。

端末１０は、制御部１２を含む。制御部１２は、ユーザＵ１の制御データを生成する部分である。ユーザＵ１の制御データは、操作装置（検出装置）５０から出力された動作データに基づいて生成される。本実施形態では、制御データとして、キャラクタＣ１の耳アニメーションＥを、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」及び「驚き」の６つの動作をさせるデータを生成する。

制御データは、動作データに対応付けられている。本実施形態では、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」及び「驚き」のそれぞれの制御データに対して、動作データが対応付けられている。動作データは、操作装置５０から送信されるデータである。制御部１２は、動作データが制御データに対応している場合、制御データを生成する。

制御データは、入力部１１に入力されたユーザＵ１の音声データ及び画像データに基づいて生成されてもよい。画像データは、連続する複数の単位フレームによって構成される。単位フレームは、通常、ユーザＵ１の画像情報を含む。例えば６０フレーム／秒の画像データは、一秒間に６０個の単位フレームを含む。制御部１２による制御データの生成の詳細については後述する。

制御部１２は、画像データに基づいて検出されたユーザの視線に基づいて、キャラクタＣ１の動作を制御する制御データを生成する。例えば、ユーザＵ１がキャラクタＣ２を見つめている場合には、キャラクタＣ１がキャラクタＣ２を向くようにする。すなわち、キャラクタＣ１のボディＢ及び耳アニメーションＥをＺ軸（鉛直方向の軸）を中心に例えば３０°回転させて、キャラクタＣ１がキャラクタＣ２を向くようにする。これにより、キャラクタＣ１の耳アニメーションＥがキャラクタＣ２と正対する。ユーザＵ１の視線がキャラクタＣ２，Ｃ３上にない場合には、キャラクタＣ１は、前を向くようにしてもよい。

視線に係る情報に基づくキャラクタＣ１の動作は、ユーザＵ１の視線と完全に一致していなくてもよい。例えば、ユーザＵ１がキャラクタＣ２に視線を合わせた後、直ぐに視線を外した場合であっても、一定時間はキャラクタＣ１がキャラクタＣ２を向いているようにしてもよい。すなわち、一定時間向き合った状態で停止するように、停止時間が設定できるようにしてもよい。また、ユーザＵ１がキャラクタＣ２に視線を移動させる速度と、キャラクタＣ１が回転する速度とが一致していなくてもよい。すなわち、キャラクタＣ１の回転速度を設定できるようにしてもよい。これらの設定により、ユーザＵ１の視線に合わせてキャラクタＣ１が頻繁に動作（回転）しないようにできるため、キャラクタＣ１の動きが会話の妨げとなることを回避できる。

制御部１２は、ユーザＵ１の視線に係る情報を含む視線データ生成する。制御部１２は、視線データを通信部１４に出力する。

制御部１２は、上記の制御データにおいて、キャラクタＣ１の動作のリズムを制御する内容を含めることができる。制御部１２は、耳アニメーションＥの動作（折り曲げ、伸縮、振動、色変化等）に対して、リズムを調整（設定）した制御データを生成する。

制御部１２は、音声データに基づいて発話速度を検出し、耳アニメーションＥの動作に発話速度に基づくリズムを反映させる。制御部１２は、音声モデル又は音響モデルに基づいて音声データをサブワード分割し、発話速度を検出し得る。制御部１２は、キャラクタＣ１の耳アニメーションＥの動作に、ユーザＵ１の発話速度に基づくリズムを反映させる。

制御部１２は、画像データに基づいてユーザＵ１の身体の動作（揺れ等）速度を検出し、耳アニメーションＥの動作に動作速度に基づくリズムを反映させる。制御部１２は、姿勢推定モデルに基づいてキーポイント（身体の関節点）を検出し、時系列のシーンから所定時間の間隔での同一キーポイントの動きの軌跡を検出し、動作速度を検出し得る。制御部１２は、キャラクタＣ１の耳アニメーションＥの動作に、ユーザＵ１の動作速度に基づくリズムを反映させる。

制御部１２は、制御データに基づいて、キャラクタＣ１，Ｃ２，Ｃ３の動作を制御する部分でもある。制御部１２は、生成した制御データ及び受信した制御データに基づいて、通話画面ＧにキャラクタＣ１，Ｃ２，Ｃ３を表示させると共に、キャラクタＣ１，Ｃ２，Ｃ３の耳アニメーションＥの動作を制御する。

制御部１２は、ユーザＵ１が受話者（聞き手）である場合、受信した制御データに基づいて、キャラクタＣ１の耳アニメーションＥの動作を、発話者のキャラクタＣ２又はキャラクタＣ３の発話速度に基づくリズムに同調させてもよい。制御部１２は、発話者が存在していない（ユーザが発言していない）場合、規定のリズム（全てのユーザのキャラクタに適用されるリズム）で、キャラクタＣ１，Ｃ２，Ｃ３の耳アニメーションＥを動作させる。

制御部１２は、通話画面Ｇの映像データを生成する部分でもある。通話画面Ｇの映像データは、制御データに基づいて制御されるキャラクタＣ１、キャラクタＣ２及びキャラクタＣ３の映像データを含む。この他に、通話画面Ｇに現れるさまざまなオブジェクトが、通話画面Ｇの映像データに含まれてよい。

端末１０は、記憶部１３を含む。記憶部１３は、端末１０の制御（処理）に必要な情報を記憶する部分である。図３には、記憶部１３に記憶される情報として、端末プログラム１３Ｐが例示される。端末プログラム１３Ｐは、端末１０を動作させるためのプログラムであり、制御部１２による制御等が実行されるようにコンピュータを動作させる。システム１００がコミュニケーション支援システムであるので、端末プログラム１３Ｐは、コミュニケーション支援プログラム（アニメーション操作プログラム）ともいえる。

端末１０は、通信部１４を含む。通信部１４は、ネットワークＮ（図１参照）を介して、端末１０の外部装置と通信する部分である。端末１０の外部装置の例は、端末２０、端末３０、サーバ４０及び操作装置５０である。通信部１４は、音声データ及び制御部１２が生成した制御データをサーバ４０に送信したり、音声データ及び制御データをサーバ４０から受信したりする。通信部１４は、操作装置５０と通信する部分である。通信部１４は、視線データを操作装置５０に送信したり、動作データを操作装置５０から受信したりする。

端末１０は、出力部１５を含む。出力部１５は、通話画面Ｇの映像を出力する。通話画面Ｇの映像は、制御部１２によって生成された通話画面Ｇの映像データに基づく映像である。

＜サーバの構成＞
サーバ４０は、制御部４２を含む。制御部４２は、サーバ４０の動作を制御する。サーバ４０は、記憶部４３を含む。記憶部４３は、サーバ４０の制御に必要な情報を記憶する部分である。図３には、記憶部４３に記憶される情報として、サーバプログラム４３Ｐ及び受信データ４３Ｓが例示される。サーバプログラム４３Ｐは、サーバ４０を動作させるためのプログラムであり、制御部４２による制御等が実行されるようにコンピュータを動作させる。受信データ４３Ｓは、端末１０、端末２０及び端末３０からサーバ４０に送られるデータであり、端末１０、端末２０及び端末３０が生成した制御データを含み得る。

サーバ４０は、通信部４４を含む。通信部４４は、ネットワークＮ（図１参照）を介して、サーバ４０の外部装置と通信する部分である。サーバ４０の外部装置の例は、端末１０、端末２０及び端末３０である。通信部４４は、ユーザＵ１の制御データ、ユーザＵ２の制御データ及びユーザＵ３の制御データを端末１０、端末２０及び端末３０からそれぞれ受信したり、端末１０、端末２０及び端末３０が生成した制御データを端末１０、端末２０及び端末３０のそれぞれに送信したりする。

＜ハードウェア構成＞
端末１０及びサーバ４０の各機能部分に関するハードウェア構成の例を説明する。サーバ４０の通信部４４は、ネットワークＮにアクセスできるように、ネットワークカード又は無線通信デバイスを用いて構成され得る。サーバ４０の制御部４２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサと、クロックと、内蔵メモリとを用いて構成され得る。制御部４２は、プロセッサ、クロック、内蔵メモリ、記憶部４３及び通信部４４を集積した一つのハードウェア（ＳｏＣ：Ｓｙｓｔｅｍ Ｏｎ ａ Ｃｈｉｐ）として構成されてもよい。制御部４２は、サーバプログラム４３Ｐに基づいて動作することで、サーバコンピュータをサーバ４０として動作させる。サーバ４０の記憶部４３は、フラッシュメモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）等の不揮発性記憶媒体を用いて構成され得る。

端末１０の入力部１１は、マイクロフォン、カメラ等を用いて構成され得る。マイクロフォンにより、ユーザＵ１の音声が取得される。すなわち、マイクロフォンは、音声を取得する音声センサの一種である。カメラにより、ユーザＵ１の画像が取得される。すなわち、カメラは、画像を取得する画像センサの一種である。さらに、入力部１１は、キーボード、マウス、タッチパネルの操作デバイスも用いて構成されてよい。端末１０の制御部１２は、サーバ４０の制御部４２と同様に構成され得る。制御部１２は、端末プログラム１３Ｐに基づいて動作することで、汎用コンピュータを端末１０として動作させる。端末１０の記憶部１３は、サーバ４０の記憶部４３と同様に構成され得る。端末１０の通信部１４は、サーバ４０の通信部４４と同様に構成され得る。端末１０の出力部１５は、液晶パネル、有機ＥＬパネル等（タッチパネルでもよい）等のディスプレイ装置を用いて構成され得る。さらに、出力部１５は、スピーカも用いて構成されてよい。

［第一実施形態］
＜操作装置の構成＞
図４は、第一実施形態に係る操作装置５０の斜視図である。図４では、操作装置５０がユーザＵ１，Ｕ２，Ｕ３の指Ｆによって操作されている状態を示す図である。操作装置５０は、ユーザＵ１，Ｕ２，Ｕ３によって操作される装置である。ユーザＵ１，Ｕ２，Ｕ３による操作装置５０の操作によって、耳アニメーションＥが動作する。操作装置５０は、タッチパッドである。タッチパッドの方式としては、静電容量方式、感圧タッチ式、超音波方式等を採用することができる。

図４に示されるように、操作装置５０は、ハードウェア構成として、本体５１を備えている。本体５１は、操作面５１Ａを有する。操作装置５０は、ユーザＵ１，Ｕ２，Ｕ３の手Ｈの指Ｆによって操作される。操作装置５０は、単体で設けられていてもよいし、テレビディスプレイ等を操作するリモコンの一部に設けられていてもよい。すなわち、操作装置５０は、機器の一部であってもよい。

図５は、操作装置５０の機能ブロックの例を示す図である。図５に示されるように、操作装置５０は、通信部５２を含む。通信部５２は、無線通信又は有線通信によって、外部装置と通信する部分である。無線通信は、例えば、ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉｆｉ等である。外部装置の例は、端末１０、端末２０及び端末３０である。通信部５２は、制御部５４から出力された動作データを端末１０、端末２０及び端末３０に送信したり、視線データを端末１０、端末２０及び端末３０から受信したりする。

操作装置５０は、入力部５３を含む。入力部５３は、操作面５１ＡにおけるユーザＵ１，Ｕ２，Ｕ３の操作を入力する部分である。入力部５３は、ユーザＵ１，Ｕ２，Ｕ３による操作面５１Ａの操作（ジェスチャ）を検出する。操作としては、クリック、タップ、スライド、スクロール等が挙げられる。入力部５３は、操作信号を制御部５４に出力する。

操作装置５０は、制御部５４を含む。制御部５４は、入力部５３の操作信号に基づいて、動作データを生成する。制御部５４は、動作データを通信部５２に出力する。制御部５４は、通信部１４から視線データが出力された場合、振動部５５を所定時間振動させる。振動部５５を振動させる所定時間は、適宜設定される。

制御部５４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサと、クロックと、内蔵メモリとを用いて構成され得る。制御部５４は、プロセッサ、クロック、内蔵メモリ、通信部５２を集積した一つのハードウェア（ＳｏＣ：Ｓｙｓｔｅｍ Ｏｎ ａ Ｃｈｉｐ）として構成されてもよい。

操作装置５０は、振動部５５を含む。振動部５５は、本体５１の操作面５１Ａを振動させる。振動部５５は、モータ、圧電素子等によって構成され得る。振動部５５は、制御部５４により制御される。

操作装置５０は、バッテリ５６を含む。バッテリ５６は、操作装置５０の各部に電力を供給する。バッテリ５６は、本体５１に充電ケーブルが装着されることによって充電される。なお、操作装置５０が端末１０，２０，３０にケーブルによって接続される場合には、端末１０，２０，３０から電力が供給されてもよい。すなわち、操作装置５０が端末１０，２０，３０にケーブルによって接続される場合には、操作装置５０はバッテリ５６を含んでいなくてもよい。

続いて、キャラクタＣ（Ｃ１，Ｃ２，Ｃ３）の耳アニメーションＥを、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」又は「驚き」として動作させる場合の、ユーザＵ１，Ｕ２，Ｕ３による操作装置５０の操作について説明する。すなわち、キャラクタＣの耳アニメーションＥの動作と、操作装置５０によって検出されるユーザＵ１，Ｕ２，Ｕ３の動作との関係について説明する。耳アニメーションＥの動作と、耳アニメーションＥを動作させるためのユーザＵ１，Ｕ２，Ｕ３の指Ｆの動作とは類似（関連）している。例えば、「うなずき」の耳アニメーションＥを動作させる場合には、うなずく動作に似た動作を操作装置５０の操作面５１Ａ上で指Ｆによって行う。すなわち、ユーザＵ１，Ｕ２，Ｕ３は、動作させたい耳アニメーションＥと似た動作を操作装置５０において行うことで、耳アニメーションＥを動作させることができる。類似動作は、耳アニメーションＥの動作を連想させたり、表出イメージに対応していたりするものであり、容易に動作の区分けが理解できるような動きである。

図６の動作パターン～図１１の動作パターンは、耳アニメーションＥの動作の一例を示す図である。図６のユーザ動作～図１１のユーザ動作は、図６の動作パターン～図１１の動作パターンに示す耳アニメーションＥを動作させるときのユーザＵ１，Ｕ２，Ｕ３の指Ｆの動きの一例を示す図である。

図６の動作パターンでは、耳アニメーションＥにおける「うなずき」の動作を示している。図６の動作パターンに示されるように、「うなずき」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳の上部１／２部分が前方に折り曲がる。「うなずき」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図６のユーザ動作に示されるように、操作装置５０の本体５１の操作面５１Ａを二本の指Ｆ（例えば、人差し指、中指）でタッチする。或いは、ユーザＵ１，Ｕ２，Ｕ３は、操作面５１Ａに二本の指Ｆをタッチさせた状態で、二本の指Ｆをスライドさせる。指Ｆをスライドさせるスライド量は、例えば、１ｃｍ～２ｃｍである。

操作装置５０は、図６のユーザ動作に示される動作が行われた場合、当該動作を入力部５３で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「うなずき」として動作させる制御データを生成する。なお、図６のユーザ動作において指Ｆをスライドさせて場合において、指Ｆのスライド後に指Ｆの動作が停止された場合には、耳アニメーションＥにおいて耳が折れ曲がった状態で停止するようにしてもよい。

図７の動作パターンでは、耳アニメーションＥにおける「同意」の動作を示している。「同意」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳が全体的に前方に折り曲がる。「同意」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図７のユーザ動作に示されるように、ユーザＵ１，Ｕ２，Ｕ３は、操作面５１Ａに二本の指Ｆ（例えば、人差し指、中指）をタッチさせた状態で、二本の指Ｆをスライドさせる。指Ｆをスライドさせるスライド量は、例えば、２ｃｍよりも長く、例えば、３ｃｍ～４ｃｍである。すなわち、「同意」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、「うなずき」の動作を耳アニメーションＥに実行させる場合よりも、指Ｆのスライド量を長くする。

操作装置５０は、７のユーザ動作に示される動作が行われた場合、当該動作を入力部５３で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「同意」として動作させる制御データを生成する。

図８の動作パターンでは、耳アニメーションＥにおける「拍手（賞賛）」の動作を示している。「拍手（賞賛）」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳が近づいたり離れたりする。「拍手（賞賛）」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図８のユーザ動作に示されるように、操作面５１Ａに二本の指Ｆ（例えば、親指と人差し指、又は、人差し指と中指）をタッチさせた状態で、二本の指Ｆを近接（接触）させたり離間させたりする。

操作装置５０は、図２５のユーザ動作に示される動作が行われた場合、当該動作を入力部５３で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「拍手（賞賛）」として動作させる制御データを生成する。端末１０，２０，３０の制御部１２は、二本の指Ｆを近接させたり離間させたりする一回の動作に係る動作データに対して、複数回拍手するように制御データを生成してもよい。

図９の動作パターンでは、耳アニメーションＥにおける「質問」の動作を示している。「質問」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳が絡まる。「質問」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図９のユーザ動作に示されるように、操作面５１Ａに二本の指Ｆ（例えば、人差し指と中指）をタッチさせた状態で、半円（円弧）を描くようにスライドさせる。

操作装置５０は、図９のユーザ動作に示される動作が行われた場合、当該動作を入力部５３で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「質問」として動作させる制御データを生成する。

図１０の動作パターンでは、耳アニメーションＥにおける「挙手」の動作を示している。「挙手」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳が伸びる。「挙手」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図１０のユーザ動作に示されるように、ユーザＵ１，Ｕ２，Ｕ３は、操作面５１Ａに二本の指Ｆ（例えば、人差し指、中指）をタッチさせた状態で、一方の指Ｆ（中指）のみを上方にスライドさせる。

操作装置５０は、図１０のユーザ動作に示される動作が行われた場合、当該動作を入力部５３で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「挙手」として動作させる制御データを生成する。

図１１の動作パターンでは、耳アニメーションＥにおける「驚き」の動作を示している。「驚き」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳の先端が大きくなる。このとき、キャラクタＣのボディＢが後ろに反る。「驚き」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図１１のユーザ動作に示されるように、操作面５１Ａに二本の指Ｆ（例えば、人差し指、中指）をタッチさせた状態で、二本の指Ｆをスライドさせつつ離間させる。

操作装置５０は、図１１のユーザ動作に示される動作が行われた場合、当該動作を入力部５３で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「驚き」として動作させる制御データを生成する。

なお、操作装置５０は、図６のユーザ動作、図７のユーザ動作、図８のユーザ動作、図９のユーザ動作、図１０のユーザ動作又は図１１のユーザ動作の何れかに示される動作において、操作面５１Ａが一本又は三本以上の指Ｆによって操作された場合には、動作データを生成しない。すなわち、操作装置５０は、操作面５１Ａにおいて、二本の指Ｆによって所定の操作がされた場合にのみ、動作データを生成する。

＜耳アニメ－ションの動作の操作方法＞
続いて、キャラクタＣの耳アニメーションＥの動作の操作方法について説明する。耳アニメーションＥを操作する場合には、ユーザＵ１，Ｕ２，Ｕ３は、図６のユーザ動作、図７のユーザ動作、図８のユーザ動作、図９のユーザ動作、図１０のユーザ動作又は図１１のユーザ動作の何れかに示される動作を行う。これにより、操作装置５０において動作データが生成される。操作装置５０は、動作データを端末１０，２０，３０に送信する。

端末１０，２０，３０は、動作データを受信すると、動作データに対応する制御データを生成する。これにより、端末１０，２０，３０の通話画面Ｇにおいて、キャラクタＣ１，Ｃ２，Ｃ３の耳アニメーションＥが、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」又は「驚き」の何れかの動作を行う。このように、ユーザＵ１，Ｕ２，Ｕ３による操作装置５０の操作により、キャラクタＣの耳アニメーションＥの動作を操作する。

［効果］
以上説明したように、本実施形態に係るシステム１００では、操作装置５０を備えている。操作装置５０は、ユーザＵ１，Ｕ２，Ｕ３の指Ｆの動作を検出し、動作データを生成して端末１０，２０，３０に送信する。端末１０，２０，３０は、動作データに対応する制御データを生成し、耳アニメーションＥの動作を実行させる。これにより、システム１００では、ユーザＵ１，Ｕ２，Ｕ３によって操作装置５０の操作が行われない場合には、耳アニメーションＥは動作しない。また、耳アニメーションＥは、操作装置５０において特定の操作が行われた場合に動作する。そのため、例えば、操作装置５０に単に接触するような操作の場合には、耳アニメーションＥは動作しない。このように、ユーザＵ１，Ｕ２，Ｕ３の意図するタイミングにおいて、必要な動作だけを耳アニメーションＥに反映させることができる。したがって、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて耳アニメーションＥを動作させることができる。

例えば、マイクやカメラによって取得される音声データ及び画像データに基づいて、ユーザＵ１，Ｕ２，Ｕ３の状態を推定して耳アニメーションＥを動作させる形態において、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて耳アニメーションＥを動作させるために、耳アニメーションＥを動作させたいときにマイクやカメラをオンにする、あるいは、耳アニメーションＥを動作させないときにマイクやカメラをオフにする方法が考えられる。しかしながら、その都度カメラやマイクをオン／オフにすることは、煩に堪えない。また、マイクやカメラをオフにし忘れた場合、ユーザＵ１，Ｕ２，Ｕ３の意図に反して耳アニメーションＥが動作する。これに対して、システム１００では、ユーザＵ１，Ｕ２，Ｕ３によって、操作装置５０において特定の操作が行われた場合にのみ耳アニメーションＥの動作が実行される。そのため、システム１００では、煩わしい操作を行うことなく、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて耳アニメーションＥを動作させることができる。

本実施形態に係るシステム１００では、耳アニメーションＥの動作と、ユーザＵ１，Ｕ２，Ｕ３の指Ｆの所定の動作とが類似している。これにより、耳アニメーションＥに類似（関連）する所定の動作を行うことによって、耳アニメーションＥが実行される。したがって、直感的な操作が可能となる。

本実施形態に係るシステム１００では、端末１０，２０，３０は、ユーザＵ１，Ｕ２，Ｕ３の視線に係る情報を含む視線データ生成し、視線データを操作装置５０に送信する。操作装置５０は、視線データに基づいて、振動部５５を一定時間振動させる。これにより、操作装置５０を操作しているユーザＵ１，Ｕ２，Ｕ３は、自身のキャラクタＣ１，Ｃ２，Ｃ３に他のユーザＵ１，Ｕ２，Ｕ３の視線が向けられていることを体感的に感じることができる。

本実施形態に係るシステム１００では、操作装置５０は、操作面５１Ａにおいて、予め設定された本数（本実施形態では二本）の指Ｆによって所定の操作がされた場合にのみ、動作データを生成する。これにより、ユーザＵ１，Ｕ２，Ｕ３の指Ｆが操作装置５０の操作面５１Ａに無意識に接触したような場合等には動作データが生成されないため、耳アニメーションＥは動作しない。したがって、ユーザＵ１，Ｕ２，Ｕ３の意図するタイミングにおいて、必要な動作だけを耳アニメーションＥに反映させることができるため、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて耳アニメーションＥを動作させることができる。

［第二実施形態］
続いて、第二実施形態について説明する。第二実施形態では、操作装置の構成が第一実施形態と異なっている。第二実施形態において、制御部１２は、ユーザＵ１の制御データを生成する部分である。ユーザＵ１の制御データは、操作装置（検出装置）６０から出力された動作データに基づいて生成される。本実施形態では、制御データとして、キャラクタＣ１の耳アニメーションＥを、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」及び「驚き」の６つの動作をさせるデータを生成する。

制御データは、動作データに対応付けられている。本実施形態では、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」及び「驚き」のそれぞれの制御データに対して、動作データが対応付けられている。動作データは、操作装置６０から送信されるデータである。動作データは、操作装置（検出装置）６０の加速度センサ６５によって検出された値、及び、ジャイロセンサ６６によって検出された値を含む。加速度センサ６５によって検出される加速度の所定値、及び、ジャイロセンサ６６によって検出される角速度の所定値に対して、予め設定された所定の耳アニメーションＥが対応付けられている。例えば、「うなずき」の動作の場合、ジャイロセンサ６６によって検出される角速度の所定値は、１８０ｄｅｇ／ｓ程度に設定され得る。「同意」の場合、ジャイロセンサ６６によって検出される角速度の所定値は、９０ｄｅｇ／ｓ程度に設定され得る。所定値は、所定の数値範囲を含み得る。具体的には、所定値は、加速度である場合は〇〇ｍ／ｓ^２～〇〇ｍ／ｓ^２、角速度である場合は〇〇ｄｅｇ／ｓ～〇〇ｄｅｇ／ｓのように設定されていてもよい。制御部１２は、動作データが制御データに対応している場合、制御データを生成する。

図１２は、第二実施形態に係る操作装置６０の斜視図である。図１２は、操作装置７０がユーザＵ１，Ｕ２，Ｕ３の指Ｆに装着されている状態を示す図である。図１２に示されるように、操作装置６０は、ハードウェア構成として、本体６１と、スイッチ６２と、を備えている。操作装置６０は、ユーザＵ１，Ｕ２，Ｕ３によって操作される装置である。ユーザＵ１，Ｕ２，Ｕ３による操作装置６０の操作によって、耳アニメーションＥが動作する。

本体６１は、ユーザＵ１，Ｕ２，Ｕ３によって保持される。本実施形態では、本体６１は、ユーザＵ１，Ｕ２，Ｕ３の手Ｈ（１４のユーザ動作参照）に把持される。本体６１は、十字状を呈している。本体６１は、樹脂、金属等によって形成することができる。本実施形態では、本体６１は、第一本体部６１Ａと、第二本体部６１Ｂと、突起部６１Ｃと、を有している。第一本体部６１Ａ及び第二本体部６１Ｂは、長尺の直方体形状を呈している。第一本体部６１Ａと第二本体部６１Ｂとは、その延在方向が互いに直交するように配置されている。突起部６１Ｃは、例えば、円柱状を呈している。突起部６１Ｃは、第一本体部６１Ａと第二本体部６１Ｂとが交差する部分において、第一本体部６１Ａ及び第二本体部６１Ｂの表面から突出している。

スイッチ６２は、本体６１の第二本体部６１Ｂの側面（端面）に配置されている。スイッチ６２は、例えば、機械式のスイッチである。スイッチ６２は、第二本体部６１Ｂの側面から突出している。スイッチ６２は、ユーザＵ１，Ｕ２，Ｕ３によって押下されると、作動信号を入力部６４に出力する。

操作装置６０の本体６１は、ユーザＵ１，Ｕ２，Ｕ３の手Ｈに把持される。具体的には、操作装置６０は、例えば、ユーザＵ１，Ｕ２，Ｕ３の左手に把持される。詳細には、操作装置６０は、突起部６１Ｃが左手の人差し指と中指との間に挿入され、第二本体部６１Ｂが指の第三関節に位置するように把持される。これにより、操作装置６０のスイッチ６２が親指側を向くように把持される。そのため、親指によってスイッチ６２を操作することができる。

図１３は、操作装置６０の機能ブロックの例を示す図である。図１３に示されるように、操作装置６０は、通信部６３を含む。通信部６３は、無線通信又は有線通信によって、外部装置と通信する部分である。無線通信は、例えば、ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉｆｉ等である。外部装置の例は、端末１０、端末２０及び端末３０である。通信部６３は、制御部６７から出力された動作データを端末１０、端末２０及び端末３０に送信したり、視線データを端末１０、端末２０及び端末３０から受信したりする。

操作装置６０は、入力部６４を含む。入力部６４は、スイッチ６２の作動信号を入力する部分である。入力部６４は、作動信号を制御部６７に出力する。

操作装置６０は、加速度センサ（加速度検出部）６５を含む。加速度センサ６５は、本体６１の加速度を検出する。すなわち、加速度センサ６５は、操作装置６０を把持したユーザＵ１，Ｕ２，Ｕ３の手Ｈの加速度を検出する。加速度センサ６５の検出感度は、適宜設定することができる。加速度センサ６５は、検出値を制御部６７に出力する。

操作装置６０は、ジャイロセンサ（角速度検出部）６６を含む。ジャイロセンサ６６は、本体６１の角速度を検出する。ジャイロセンサ６６は、三軸（Ｘ軸、Ｙ軸、Ｚ軸）のジャイロセンサである。ジャイロセンサ６６は、本体６１の回転や向きの変化を角速度として検出する。すなわち、ジャイロセンサ６６は、操作装置６０を把持したユーザＵ１，Ｕ２，Ｕ３の手Ｈの角速度を検出する。ジャイロセンサ６６の検出感度は、適宜設定することができる。ジャイロセンサ６６は、検出値を制御部６７に出力する。

操作装置６０は、制御部６７を含む。制御部６７は、加速度センサ６５及びジャイロセンサ６６の検出結果に基づいて、動作データを生成する。制御部６７は、入力部６４から作動信号が出力された場合、動作データを生成する。制御部６７は、作動信号が出力された場合、作動信号が入力されてからの所定時間（例えば、５秒）内に加速度センサ６５及びジャイロセンサ６６から出力された検出結果を含む動作データを生成する。すなわち、制御部６７は、スイッチ６２が押下されたことをトリガーとして、動作データを生成する。所定時間は、ユーザによって適宜設定することができる。制御部６７は、動作データを通信部６３に出力する。

なお、制御部６７は、スイッチ６２が押下されている間、すなわち作動信号が出力されている間に、加速度センサ６５及びジャイロセンサ６６から出力された検出結果を含む動作データを生成してもよい。また、制御部６７は、スイッチ６２が押下されてから、もう一度スイッチ６２が押下されるまでの間に、加速度センサ６５及びジャイロセンサ６６から出力された検出結果を含む動作データを生成してもよい。

制御部６７は、通信部１４から視線データが出力された場合、振動部６８を所定時間振動させる。振動部６８を振動させる所定時間は、適宜設定される。

制御部６７は、ＣＰＵ、ＧＰＵ等のプロセッサと、クロックと、内蔵メモリとを用いて構成され得る。制御部７７は、プロセッサ、クロック、内蔵メモリ、通信部６３を集積した一つのハードウェアとして構成されてもよい。

操作装置６０は、振動部６８を含む。振動部６８は、本体６１を振動させる。振動部６８は、モータ、圧電素子等によって構成され得る。振動部６８は、制御部６７により制御される。

操作装置６０は、バッテリ６９を含む。バッテリ６９は、操作装置６０の各部に電力を供給する。バッテリ６９は、本体６１に充電ケーブルが装着されることによって充電されてもよい、ワイヤレス電力伝送によって充電されてもよい。

続いて、キャラクタＣ（Ｃ１，Ｃ２，Ｃ３）の耳アニメーションＥを、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」又は「驚き」として動作させる場合の、ユーザＵ１，Ｕ２，Ｕ３による操作装置６０の操作について説明する。すなわち、キャラクタＣの耳アニメーションＥの動作と、操作装置６０によって検出されるユーザＵ１，Ｕ２，Ｕ３の動作との関係について説明する。図１４の動作パターン～図１９の動作パターンは、耳アニメーションＥの動作の一例を示す図である。図１４のユーザ動作～図１９のユーザ動作は、図１４の動作パターン～図１９の動作パターンに示す耳アニメーションＥを動作させるときのユーザＵ１，Ｕ２，Ｕ３の手Ｈの動きの一例を示す図である。

図１４の動作パターンでは、耳アニメーションＥにおける「うなずき」の動作を示している。図１４の動作パターンに示されるように、「うなずき」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳の上部１／２部分が前方に折り曲がる。「うなずき」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図１４のユーザ動作に示されるように、操作装置６０を把持した手Ｈを、手首を中心に前方に軽く折り曲げる。

操作装置６０は、図１４のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ６５及びジャイロセンサ６６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「うなずき」として動作させる制御データを生成する。なお、図１４のユーザ動作に示される位置で手Ｈの動作が停止された場合には、耳アニメーションＥにおいて耳が折れ曲がった状態で停止するようにしてもよい。

図１５の動作パターンでは、耳アニメーションＥにおける「同意」の動作を示している。「同意」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳が全体的に前方に折り曲がる。「同意」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図１５のユーザ動作に示されるように、操作装置６０が装着された手Ｈを前方に深く折り曲げる。深く折り曲げるとは、図１４のユーザ動作に示される動作よりも深く折り曲げることを意味する。

操作装置６０は、図１５のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ６５及びジャイロセンサ６６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「同意」として動作させる制御データを生成する。

図１６の動作パターンでは、耳アニメーションＥにおける「拍手（賞賛）」の動作を示している。「拍手（賞賛）」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳が近づいたり離れたりする。「拍手（賞賛）」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図１６のユーザ動作に示されるように、操作装置６０を把持した手Ｈを左右（前後）に水平移動させる。なお、ユーザＵ１，Ｕ２，Ｕ３は、操作装置６０を把持した手Ｈともう一方の手とにより拍手する動作を行ってもよい。

操作装置６０は、図１６のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ６５及びジャイロセンサ６６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「拍手（賞賛）」として動作させる制御データを生成する。

図１７の動作パターンでは、耳アニメーションＥにおける「質問」の動作を示している。「質問」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳が絡まる。「質問」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図１７のユーザ動作に示されるように、操作装置６０を把持した手Ｈを手首を軸として往復回転させる動作を行う。

操作装置６０は、図１７のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ６５及びジャイロセンサ６６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「質問」として動作させる制御データを生成する。

図１８の動作パターンでは、耳アニメーションＥにおける「挙手」の動作を示している。「挙手」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳が伸びる。「挙手」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図１８のユーザ動作に示されるように、操作装置６０を把持した手Ｈを上方に挙げる動作を行う。

操作装置６０は、図１８のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ６５及びジャイロセンサ６６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「挙手」として動作させる制御データを生成する。

図１９の動作パターンでは、耳アニメーションＥにおける「驚き」の動作を示している。「驚き」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳の先端が大きくなる。このとき、キャラクタＣのボディＢが後ろに反る。「驚き」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図１９のユーザ動作に示されるように、操作装置６０を把持した手Ｈを手首を中心に後方に反らせる。

操作装置６０は、図１９のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ６５及びジャイロセンサ６６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「驚き」として動作させる制御データを生成する。

＜耳アニメ－ションの動作の操作方法＞
続いて、キャラクタＣの耳アニメーションＥの動作の操作方法について説明する。耳アニメーションＥを操作する場合には、ユーザＵ１，Ｕ２，Ｕ３は、操作装置６０のスイッチ６２を押下する。ユーザＵ１，Ｕ２，Ｕ３は、操作装置６０のスイッチ６２を押下してから所定の時間内に、図１４のユーザ動作、図１５のユーザ動作、図１６のユーザ動作、図１７のユーザ動作、図１８のユーザ動作又は図１９のユーザ動作の何れかに示される動作を行う。これにより、操作装置６０において動作データが生成される。操作装置６０は、動作データを端末１０，２０，３０に送信する。

端末１０，２０，３０は、動作データを受信すると、動作データに対応する制御データを生成する。これにより、端末１０，２０，３０の通話画面Ｇにおいて、キャラクタＣ１，Ｃ２，Ｃ３の耳アニメーションＥが、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」又は「驚き」の何れかの動作を行う。このように、ユーザＵ１，Ｕ２，Ｕ３による操作装置６０の操作により、キャラクタＣの耳アニメーションＥの動作を操作する。

［効果］
以上説明したように、本実施形態に係る操作装置６０は、加速度センサ６５及びジャイロセンサ６６を有している。操作装置６０は、操作装置６０を把持したユーザＵ１，Ｕ２，Ｕ３の動作を加速度センサ６５及びジャイロセンサ６６によって検出し、動作データを生成して端末１０，２０，３０に送信する。端末１０，２０，３０は、動作データに対応する制御データを生成し、耳アニメーションＥの動作を実行させる。これにより、システム１００では、ユーザＵ１，Ｕ２，Ｕ３によって操作装置６０の操作が行われない場合には、耳アニメーションＥは動作しない。また、耳アニメーションＥは、操作装置６０の加速度及び角速度が所定値となるような特定の操作が行われた場合に動作する。そのため、例えば、操作装置６０を単に移動させるような操作の場合には、耳アニメーションＥは動作しない。このように、ユーザＵ１，Ｕ２，Ｕ３の意図するタイミングにおいて、必要な動作だけを耳アニメーションＥに反映させることができる。したがって、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて耳アニメーションＥを動作させることができる。

本実施形態に係る操作装置６０は、ユーザＵ１，Ｕ２，Ｕ３の手Ｈに把持される。そのため、ユーザＵ１，Ｕ２，Ｕ３は、手Ｈの動きによって、耳アニメーションＥの動作を操作することができる。そのため、操作装置５０を操作するための広い操作スペースが必要とならない。また、ユーザＵ１，Ｕ２，Ｕ３による手Ｈの動きによって操作装置６０を操作するため、自然と楽に操作することができる。また、手Ｈは多様な動作が可能であるため、動作データに対応する耳アニメーションＥのバリエーションを増やすことができる。

本実施形態に係る操作装置６０は、スイッチ６２を有している。操作装置６０では、スイッチ６２が押下された場合に動作データを生成して、動作データを端末１０，２０，３０に送信する。このように、操作装置６０では、スイッチ６２が押下された場合にのみ、動作データを生成する。すなわち、スイッチ６２が押下されない場合には、操作装置６０において特定の操作が行われた場合であっても、動作データが生成されない。そのため、操作装置６０では、ユーザＵ１，Ｕ２，Ｕ３の意図に反して動作データが生成されることがない。したがって、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて耳アニメーションＥを動作させることができる。

本実施形態では、端末１０，２０，３０は、ユーザＵ１，Ｕ２，Ｕ３の視線に係る情報を含む視線データ生成し、視線データを操作装置６０に送信する。操作装置６０は、視線データに基づいて、振動部６８を一定時間振動させる。これにより、操作装置６０を装着しているユーザＵ１，Ｕ２，Ｕ３は、自身のキャラクタＣ１，Ｃ２，Ｃ３に他のユーザＵ１，Ｕ２，Ｕ３の視線が向けられていることを体感的に感じることができる。

［第三実施形態］
続いて、第三実施形態について説明する。第三実施形態では、操作装置の構成が第一実施形態及び第二実施形態と異なっている。第三実施形態において、制御部１２は、ユーザＵ１の制御データを生成する部分である。ユーザＵ１の制御データは、操作装置（検出装置）７０から出力された動作データに基づいて生成される。本実施形態では、制御データとして、キャラクタＣ１の耳アニメーションＥを、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」及び「驚き」の６つの動作をさせるデータを生成する。

制御データは、動作データに対応付けられている。本実施形態では、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」及び「驚き」のそれぞれの制御データに対して、動作データが対応付けられている。動作データは、操作装置７０から送信されるデータである。動作データは、操作装置７０の加速度センサ７５によって検出された値、及び、ジャイロセンサ７６によって検出された値を含む。加速度センサ７５によって検出される加速度の所定値、及び、ジャイロセンサ７６によって検出される角速度の所定値に対して、予め設定された所定の耳アニメーションＥが対応付けられている。例えば、「うなずき」の動作の場合、ジャイロセンサ７６によって検出される角速度の所定値は、１８０ｄｅｇ／ｓ程度に設定され得る。「同意」の場合、ジャイロセンサ７６によって検出される角速度の所定値は、９０ｄｅｇ／ｓ程度に設定され得る。所定値は、所定の数値範囲を含み得る。具体的には、所定値は、加速度である場合は〇〇ｍ／ｓ^２～〇〇ｍ／ｓ^２、角速度である場合は〇〇ｄｅｇ／ｓ～〇〇ｄｅｇ／ｓのように設定されていてもよい。制御部１２は、動作データが制御データに対応している場合、制御データを生成する。

＜操作装置の構成＞
図２０は、第三実施形態に係る操作装置７０を示す図である。図２１は、操作装置７０がユーザＵ１，Ｕ２，Ｕ３の指Ｆに装着されている状態を示す図である。図２０に示されるように、操作装置７０は、ハードウェア構成として、本体７１と、スイッチ７２と、を備えている。操作装置７０は、ユーザＵ１，Ｕ２，Ｕ３によって操作される装置である。ユーザＵ１，Ｕ２，Ｕ３による操作装置７０の操作によって、耳アニメーションＥが動作する。

本体７１は、ユーザＵ１，Ｕ２，Ｕ３の身体に装着される。本実施形態では、本体７１は、ユーザＵ１，Ｕ２，Ｕ３の手Ｈの指Ｆ（図２１参照）に装着される。本体７１は、指輪のような形状を呈している。本体７１は、樹脂、金属等によって形成することができる。本実施形態では、本体７１は、一対のアーム７１Ａ，７１Ｂを有している。一対のアーム７１Ａ，７１Ｂによって、指Ｆが挿入される開口部７１Ｃが形成されている。一対のアーム７１Ａ，７１Ｂは、弾性部材によって形成されていることが好ましい。この場合、一対のアーム７１Ａ，７１Ｂを広げることができるため、装着性の向上が図れる。

スイッチ７２は、本体７１のアーム７１Ａの側面に配置されている。スイッチ７２は、例えば、機械式のスイッチである。スイッチ７２は、アーム７１Ａの側面から突出している。スイッチ７２は、ユーザＵ１，Ｕ２，Ｕ３によって押下されると、作動信号を入力部７４に出力する。

図２１に示されるように、操作装置７０の本体７１は、ユーザＵ１，Ｕ２，Ｕ３の手Ｈの指Ｆに装着される。具体的には、操作装置７０は、例えば、人差し指Ｆに装着される。詳細には、操作装置７０は、人差し指Ｆの第二関節の上方に装着することができる。操作装置７０は、スイッチ７２が親指側を向くように装着される。これにより、親指によってスイッチ７２を操作することができる。

図２２は、操作装置７０の機能ブロックの例を示す図である。図２２に示されるように、操作装置７０は、通信部７３を含む。通信部７３は、無線通信又は有線通信によって、外部装置と通信する部分である。無線通信は、例えば、ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉｆｉ等である。外部装置の例は、端末１０、端末２０及び端末３０である。通信部７３は、制御部７７から出力された動作データを端末１０、端末２０及び端末３０に送信したり、視線データを端末１０、端末２０及び端末３０から受信したりする。

操作装置７０は、入力部７４を含む。入力部７４は、スイッチ７２の作動信号を入力する部分である。入力部７４は、作動信号を制御部７７に出力する。

操作装置７０は、加速度センサ（加速度検出部）７５を含む。加速度センサ７５は、本体７１の加速度を検出する。すなわち、加速度センサ７５は、操作装置７０を装着したユーザＵ１，Ｕ２，Ｕ３の指Ｆの加速度を検出する。加速度センサ７５の検出感度は、適宜設定することができる。加速度センサ７５は、検出値を制御部７７に出力する。

操作装置７０は、ジャイロセンサ（角速度検出部）７６を含む。ジャイロセンサ７６は、本体７１の角速度を検出する。ジャイロセンサ７６は、三軸（Ｘ軸、Ｙ軸、Ｚ軸）のジャイロセンサである。ジャイロセンサ７６は、本体７１の回転や向きの変化を角速度として検出する。すなわち、ジャイロセンサ７６は、操作装置７０を装着したユーザＵ１，Ｕ２，Ｕ３の指Ｆの角速度を検出する。ジャイロセンサ７６の検出感度は、適宜設定することができる。ジャイロセンサ７６は、検出値を制御部７７に出力する。

操作装置７０は、制御部７７を含む。制御部７７は、加速度センサ７５及びジャイロセンサ７６の検出結果に基づいて、動作データを生成する。制御部７７は、入力部７４から作動信号が出力された場合、動作データを生成する。制御部７７は、作動信号が出力された場合、作動信号が入力されてからの所定時間（例えば、５秒）内に加速度センサ７５及びジャイロセンサ７６から出力された検出結果を含む動作データを生成する。すなわち、制御部７７は、スイッチ７２が押下されたことをトリガーとして、動作データを生成する。所定時間は、ユーザによって適宜設定することができる。制御部７７は、動作データを通信部７３に出力する。

なお、制御部７７は、スイッチ７２が押下されている間、すなわち作動信号が出力されている間に、加速度センサ７５及びジャイロセンサ７６から出力された検出結果を含む動作データを生成してもよい。また、制御部７７は、スイッチ７２が押下されてから、もう一度スイッチ７２が押下されるまでの間に、加速度センサ７５及びジャイロセンサ７６から出力された検出結果を含む動作データを生成してもよい。

制御部７７は、通信部１４から視線データが出力された場合、振動部７８を所定時間振動させる。振動部７８を振動させる所定時間は、適宜設定される。

制御部７７は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサと、クロックと、内蔵メモリとを用いて構成され得る。制御部７７は、プロセッサ、クロック、内蔵メモリ、通信部７３を集積した一つのハードウェア（ＳｏＣ：Ｓｙｓｔｅｍ Ｏｎ ａ Ｃｈｉｐ）として構成されてもよい。

操作装置７０は、振動部７８を含む。振動部７８は、本体７１を振動させる。振動部７８は、モータ、圧電素子等によって構成され得る。振動部７８は、制御部７７により制御される。

操作装置７０は、バッテリ７９を含む。バッテリ７９は、操作装置７０の各部に電力を供給する。バッテリ７９は、本体７１に充電ケーブルが装着されることによって充電されてもよい、ワイヤレス電力伝送によって充電されてもよい。

続いて、キャラクタＣ（Ｃ１，Ｃ２，Ｃ３）の耳アニメーションＥを、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」又は「驚き」として動作させる場合の、ユーザＵ１，Ｕ２，Ｕ３による操作装置７０の操作について説明する。すなわち、キャラクタＣの耳アニメーションＥの動作と、操作装置７０によって検出されるユーザＵ１，Ｕ２，Ｕ３の動作との関係について説明する。図２３の動作パターン～図２８の動作パターンは、耳アニメーションＥの動作の一例を示す図である。図２３のユーザ動作～図２８のユーザ動作は、図２３の動作パターン～図２８の動作パターンに示す耳アニメーションＥを動作させるときのユーザＵ１，Ｕ２，Ｕ３の手Ｈ（指Ｆ）の動きの一例を示す図である。

図２３の動作パターンでは、耳アニメーションＥにおける「うなずき」の動作を示している。図２３の動作パターンに示されるように、「うなずき」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳の上部１／２部分が前方に折り曲がる。「うなずき」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図２３のユーザ動作に示されるように、操作装置７０が装着された指Ｆを前方に軽く折り曲げる。

操作装置７０は、図２３のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ７５及びジャイロセンサ７６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「うなずき」として動作させる制御データを生成する。なお、図２３のユーザ動作に示される位置で指Ｆの動作が停止された場合には、耳アニメーションＥにおいて耳が折れ曲がった状態で停止するようにしてもよい。

図２４の動作パターンでは、耳アニメーションＥにおける「同意」の動作を示している。「同意」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳が全体的に前方に折り曲がる。「同意」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図２４のユーザ動作に示されるように、操作装置７０が装着された指Ｆを前方に深く折り曲げる。深く折り曲げるとは、図２３のユーザ動作に示される動作よりも深く折り曲げることを意味する。

操作装置７０は、図２４のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ７５及びジャイロセンサ７６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「同意」として動作させる制御データを生成する。

図２５の動作パターンでは、耳アニメーションＥにおける「拍手（賞賛）」の動作を示している。「拍手（賞賛）」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳が近づいたり離れたりする。「拍手（賞賛）」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図２５のユーザ動作に示されるように、操作装置７０が装着された手Ｈで拍手する動作を行う。なお、ユーザＵ１，Ｕ２，Ｕ３は、操作装置７０が装着された手Ｈで机等を叩いてもよい。

操作装置７０は、図２５のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ７５及びジャイロセンサ７６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「拍手（賞賛）」として動作させる制御データを生成する。

図２６の動作パターンでは、耳アニメーションＥにおける「質問」の動作を示している。「質問」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳が絡まる。「質問」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図２６のユーザ動作に示されるように、操作装置７０が装着された手Ｈを手首を軸として往復回転させる動作を行う。

操作装置７０は、図２６のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ７５及びジャイロセンサ７６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「質問」として動作させる制御データを生成する。

図２７の動作パターンでは、耳アニメーションＥにおける「挙手」の動作を示している。「挙手」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳が伸びる。「挙手」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図２７のユーザ動作に示されるように、操作装置７０が装着された手Ｈを上方に挙げる動作を行う。

操作装置７０は、図２７のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ７５及びジャイロセンサ７６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「挙手」として動作させる制御データを生成する。

図２８の動作パターンでは、耳アニメーションＥにおける「驚き」の動作を示している。「驚き」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳の先端が大きくなる。このとき、キャラクタＣのボディＢが後ろに反る。「驚き」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図２８のユーザ動作に示されるように、操作装置７０が装着された手Ｈを手首を中心に後方に反らせる。

操作装置７０は、図２８のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ７５及びジャイロセンサ７６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「驚き」として動作させる制御データを生成する。

＜耳アニメ－ションの動作の操作方法＞
続いて、キャラクタＣの耳アニメーションＥの動作の操作方法について説明する。耳アニメーションＥを操作する場合には、ユーザＵ１，Ｕ２，Ｕ３は、操作装置７０のスイッチ７２を押下する。ユーザＵ１，Ｕ２，Ｕ３は、操作装置７０のスイッチ７２を押下してから所定の時間内に、図２３のユーザ動作、図２４のユーザ動作、図２５のユーザ動作、図２６のユーザ動作、図２７のユーザ動作又は図２８のユーザ動作の何れかに示される動作を行う。これにより、操作装置７０において動作データが生成される。操作装置７０は、動作データを端末１０，２０，３０に送信する。

端末１０，２０，３０は、動作データを受信すると、動作データに対応する制御データを生成する。これにより、端末１０，２０，３０の通話画面Ｇにおいて、キャラクタＣ１，Ｃ２，Ｃ３の耳アニメーションＥが、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」又は「驚き」の何れかの動作を行う。このように、ユーザＵ１，Ｕ２，Ｕ３による操作装置７０の操作により、キャラクタＣの耳アニメーションＥの動作を操作する。

［効果］
以上説明したように、本実施形態に係るシステム１００では、操作装置７０を備えている。操作装置７０は、加速度センサ７５及びジャイロセンサ７６を有している。操作装置７０は、操作装置７０を装着したユーザＵ１，Ｕ２，Ｕ３の動作を加速度センサ７５及びジャイロセンサ７６によって検出し、動作データを生成して端末１０，２０，３０に送信する。端末１０，２０，３０は、動作データに対応する制御データを生成し、耳アニメーションＥの動作を実行させる。これにより、システム１００では、ユーザＵ１，Ｕ２，Ｕ３によって操作装置７０の操作が行われない場合には、耳アニメーションＥは動作しない。また、耳アニメーションＥは、操作装置７０の加速度及び角速度が所定値となるような特定の操作が行われた場合に動作する。そのため、例えば、操作装置７０を単に移動させるような操作の場合には、耳アニメーションＥは動作しない。このように、ユーザＵ１，Ｕ２，Ｕ３の意図するタイミングにおいて、必要な動作だけを耳アニメーションＥに反映させることができる。したがって、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて耳アニメーションＥを動作させることができる。

例えば、マイクやカメラによって取得される音声データ及び画像データに基づいて、ユーザＵ１，Ｕ２，Ｕ３の状態を推定して耳アニメーションＥを動作させる形態において、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて耳アニメーションＥを動作させるために、耳アニメーションＥを動作させたいときにマイクやカメラをオンにする、あるいは、耳アニメーションＥを動作させないときにマイクやカメラをオフにする方法が考えられる。しかしながら、その都度カメラやマイクをオン／オフにすることは、煩に堪えない。また、マイクやカメラをオフにし忘れた場合、ユーザＵ１，Ｕ２，Ｕ３の意図に反して耳アニメーションＥが動作する。これに対して、システム１００では、ユーザＵ１，Ｕ２，Ｕ３によって、操作装置７０において特定の操作が行われた場合にのみ耳アニメーションＥの動作が実行される。そのため、システム１００では、煩わしい操作を行うことなく、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて耳アニメーションＥを動作させることができる。

本実施形態に係る操作装置７０は、ユーザＵ１，Ｕ２，Ｕ３の指Ｆに装着される。そのため、ユーザＵ１，Ｕ２，Ｕ３は、指Ｆの動きによって、耳アニメーションＥの動作を操作することができる。そのため、操作装置７０を操作するための広い操作スペースが必要とならない。また、ユーザＵ１，Ｕ２，Ｕ３による指Ｆの動きによって操作装置７０を操作するため、自然と楽に操作することができる。また、指Ｆは多様な動作が可能であるため、動作データに対応する耳アニメーションＥのバリエーションを増やすことができる。

本実施形態に係る操作装置７０は、スイッチ７２を有している。操作装置７０では、スイッチ７２が押下された場合に動作データを生成して、動作データを端末１０，２０，３０に送信する。このように、操作装置７０では、スイッチ７２が押下された場合にのみ、動作データを生成する。すなわち、スイッチ７２が押下されない場合には、操作装置７０において特定の操作が行われた場合であっても、動作データが生成されない。そのため、操作装置７０では、ユーザＵ１，Ｕ２，Ｕ３の意図に反して動作データが生成されることがない。したがって、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて耳アニメーションＥを動作させることができる。

本実施形態に係るシステム１００では、端末１０，２０，３０は、ユーザＵ１，Ｕ２，Ｕ３の視線に係る情報を含む視線データ生成し、視線データを操作装置７０に送信する。操作装置７０は、視線データに基づいて、振動部７８を一定時間振動させる。これにより、操作装置７０を装着しているユーザＵ１，Ｕ２，Ｕ３は、自身のキャラクタＣ１，Ｃ２，Ｃ３に他のユーザＵ１，Ｕ２，Ｕ３の視線が向けられていることを体感的に感じることができる。

［第四実施形態］
＜操作装置の構成＞
図２９は、第四実施形態に係る操作装置８０の斜視図である。図２９では、操作装置８０がユーザＵ１，Ｕ２，Ｕ３の指Ｆによって操作されている状態を示す図である。操作装置８０は、ユーザＵ１，Ｕ２，Ｕ３によって操作される装置である。ユーザＵ１，Ｕ２，Ｕ３による操作装置８０の操作によって、耳アニメーションＥが動作する。操作装置８０は、マウスである。マウスの方式としては、光学式、レーザ式、Ｂｌｕｅ ＬＥＤ、ＩＲ ＬＥＤ、ボール式等を採用することができる。操作装置８０は、本体８１と、右ボタン８２と、左ボタン８３と、ホイール８４と、を有している。

図３０は、操作装置８０の機能ブロックの例を示す図である。図３０に示されるように、操作装置８０は、通信部８５を含む。通信部８５は、無線通信又は有線通信によって、外部装置と通信する部分である。無線通信は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、２．４ＧＨｚ方式等である。外部装置の例は、端末１０、端末２０及び端末３０である。通信部８５は、制御部８７から出力された動作データを端末１０、端末２０及び端末３０に送信したり、視線データを端末１０、端末２０及び端末３０から受信したりする。

操作装置８０は、入力部８６を含む。入力部８６は、ユーザＵ１，Ｕ２，Ｕ３の操作を入力する部分である。入力部８６は、ユーザＵ１，Ｕ２，Ｕ３による右ボタン８２、左ボタン８３及びホイール８４の操作を検出する。入力部８６は、操作信号を制御部８７に出力する。

操作装置８０は、制御部８７を含む。制御部８７は、入力部８６の操作信号に基づいて、動作データを生成する。制御部８７は、動作データを通信部８５に出力する。制御部８７は、通信部１４から視線データが出力された場合、振動部８８を所定時間振動させる。振動部８８を振動させる所定時間は、適宜設定される。

制御部８７は、ＣＰＵ、ＧＰＵ等のプロセッサと、クロックと、内蔵メモリとを用いて構成され得る。制御部８７は、プロセッサ、クロック、内蔵メモリ、通信部８５を集積した一つのハードウェア（ＳｏＣ：Ｓｙｓｔｅｍ Ｏｎ ａ Ｃｈｉｐ）として構成されてもよい。

操作装置８０は、振動部８８を含む。振動部８８は、本体８１を振動させる。振動部８８は、モータ、圧電素子等によって構成され得る。振動部８８は、制御部８７により制御される。

操作装置８０は、無線通信を行う場合、バッテリ８９を含む。バッテリ８９は、操作装置８０の各部に電力を供給する。

続いて、キャラクタＣ（Ｃ１，Ｃ２，Ｃ３）の耳アニメーションＥを、「うなずき」、「同意」、「驚き」、「賞賛（拍手）」又は「質問」として動作させる場合の、ユーザＵ１，Ｕ２，Ｕ３による操作装置８０の操作について説明する。すなわち、キャラクタＣの耳アニメーションＥの動作と、操作装置８０によって検出されるユーザＵ１，Ｕ２，Ｕ３の動作との関係について説明する。

図３１の動作パターン～図３４の動作パターンは、耳アニメーションＥの動作の一例を示す図である。図３１のユーザ動作～図３４のユーザ動作は、図３１の動作パターン～図３４の動作パターンに示す耳アニメーションＥを動作させるときのユーザＵ１，Ｕ２，Ｕ３の指Ｆの動きの一例を示す図である。

図３１の動作パターンでは、耳アニメーションＥにおける「うなずき」の動作を示している。図３１の動作パターンに示されるように、「うなずき」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳の上部１／２部分が前方に折り曲がる。「うなずき」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図３１のユーザ動作に示されるように、操作装置８０のホイール８４を指Ｆ（例えば、人差し指）によって後方に回転させる。

操作装置８０は、図３０のユーザ動作に示される動作が行われた場合、当該動作を入力部８６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「うなずき」として動作させる制御データを生成する。なお、図３１のユーザ動作において、ホイール８４の回転速度に基づいて耳アニメーションＥの動作速度が変化するようにしてもよい。例えば、ホイール８４の回転速度が遅い場合には、耳アニメーションＥの動作速度を遅くしてもよい。また、ホイール８４の回転量に基づいて耳アニメーションＥの動作が変化してもよい。例えば、ホイール８４の回転量が所定値未満である場合には、「うなずき」の動作を行い、ホイール８４の回転量が所定値以上である場合には、「同意」の動作を行うようにしてもよい。

図３２の動作パターンでは、耳アニメーションＥにおける「驚き」の動作を示している。「驚き」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳の先端が大きくなる。このとき、キャラクタＣのボディＢが後ろに反る。「驚き」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図３２のユーザ動作に示されるように、ホイール８４を指Ｆ（例えば、人差し指）によって前方に回転させる。

操作装置８０は、図３２のユーザ動作に示される動作が行われた場合、当該動作を入力部８６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「驚き」として動作させる制御データを生成する。

図３３の動作パターンでは、耳アニメーションＥにおける「拍手（賞賛）」の動作を示している。「拍手（賞賛）」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳が近づいたり離れたりする。「拍手（賞賛）」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図３３のユーザ動作に示されるように、右ボタン８２及び左ボタン８３を二本の指Ｆ（例えば、人差し指と中指）によって同時にクリックする。

操作装置８０は、図３３のユーザ動作に示される動作が行われた場合、当該動作を入力部８６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「拍手（賞賛）」として動作させる制御データを生成する。端末１０，２０，３０の制御部１２は、右ボタン８２及び左ボタン８３を一回クリックする動作に係る動作データに対して、複数回拍手するように制御データを生成してもよい。

図３４の動作パターンでは、耳アニメーションＥにおける「質問」の動作を示している。「質問」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳が絡まる。「質問」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図３４のユーザ動作に示されるように、右ボタン８２及び左ボタン８３を二本の指Ｆ（例えば、人差し指と中指）によって交互にクリックする。

操作装置８０は、図３４のユーザ動作に示される動作が行われた場合、当該動作を入力部８６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「質問」として動作させる制御データを生成する。

＜耳アニメ－ションの動作の操作方法＞
続いて、キャラクタＣの耳アニメーションＥの動作の操作方法について説明する。耳アニメーションＥを操作する場合には、ユーザＵ１，Ｕ２，Ｕ３は、図３１のユーザ動作、図３２のユーザ動作、図３３のユーザ動作又は図３４のユーザ動作の何れかに示される動作を行う。これにより、操作装置８０において動作データが生成される。操作装置８０は、動作データを端末１０，２０，３０に送信する。

端末１０，２０，３０は、動作データを受信すると、動作データに対応する制御データを生成する。これにより、端末１０，２０，３０の通話画面Ｇにおいて、キャラクタＣ１，Ｃ２，Ｃ３の耳アニメーションＥが、「うなずき（同意）」、「驚き」、「賞賛（拍手）」又は「質問」の何れかの動作を行う。このように、ユーザＵ１，Ｕ２，Ｕ３による操作装置８０の操作により、キャラクタＣの耳アニメーションＥの動作を操作する。

［効果］
以上説明したように、本実施形態に係る操作装置８０は、右ボタン８２、左ボタン８３及びホイール８４を有している。操作装置８０は、ユーザＵ１，Ｕ２，Ｕ３の動作を右ボタン８２、左ボタン８３又はホイール８４によって検出し、動作データを生成して端末１０，２０，３０に送信する。端末１０，２０，３０は、動作データに対応する制御データを生成し、耳アニメーションＥの動作を実行させる。これにより、システム１００では、ユーザＵ１，Ｕ２，Ｕ３によって操作装置８０の操作が行われない場合には、耳アニメーションＥは動作しない。また、例えば、操作装置８０を単に移動させるような操作の場合には、耳アニメーションＥは動作しない。このように、ユーザＵ１，Ｕ２，Ｕ３の意図するタイミングにおいて、必要な動作だけを耳アニメーションＥに反映させることができる。したがって、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて耳アニメーションＥを動作させることができる。

以上、本発明の実施形態について説明してきたが、本発明は必ずしも上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で様々な変更が可能である。

上記実施形態では、耳アニメーションＥを、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」又は「驚き」の何れかで動作させる形態を一例に説明した。しかし、ユーザの動作に応じた耳アニメーションＥの動作はこれに限定されない。耳アニメーションＥの動作は、他の動作であってもよいし、更に他の動作を含んでいてもよい。例えば、耳アニメーションＥにおいて「ＯＫ」の動作をさせてもよい。第一実施形態において、「ＯＫ」の動作を耳アニメーションＥに動作させる場合には、ユーザＵ１，Ｕ２，Ｕ３が操作面５１Ａに二本の指Ｆ（例えば、人差し指と中指）をタッチさせた状態で、例えば円を描くようにスライドさせる。

また、耳アニメーションＥを、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」又は「驚き」の何れかで動作させる場合のユーザＵ１，Ｕ２，Ｕ３の動作について、動作パターンとユーザ動作との対応関係は上記実施形態の一例に限定されない。例えば、第一実施形態において、図９の「質問」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３が操作面５１Ａに二本の指Ｆ（例えば、人差し指と中指）をタッチさせた状態で、半円（円弧）を描くようにスライドさせる形態を一例に説明したが、∞（無限）を描くようスライドさせてもよい。動作パターンとユーザ動作との対応関係は、適宜設定可能である。

上記実施形態では、操作装置５０、操作装置６０、操作装置７０及び操作装置８０のいずれかによってユーザＵ１，Ｕ２，Ｕ３の手Ｈ又は指Ｆの動作を検出する形態を一例に説明した。しかし、ユーザＵ１，Ｕ２，Ｕ３の手Ｈ又は指Ｆは、画像センサ（カメラ、レーザ等）によって検出してもよい。

上記実施形態において、操作装置は、加速度及び角速度を検出できるものであればよい。操作装置は、例えば、耳アニメーションＥを表示するディスプレイ（表示部）を有する携帯電話機（スマートフォン等）であってもよい。携帯電話機である場合、操作装置５０，６０，７０，８０と同様に携帯電話機を操作することによって、動作データが生成される。

具体的には、「うなずき」の動作を耳アニメーションＥに実行させる場合には、例えば、携帯電話機を前方に傾ける。「同意」の動作を耳アニメーションＥに実行させる場合には、携帯電話機を「うなずき」よりも深く前方に傾ける。「賞賛（拍手）」の動作を耳アニメーションＥに実行させる場合には、携帯電話機を小刻みに振る。「質問」の動作を耳アニメーションＥに実行させる場合には、携帯電話機を往復回転させる。「挙手」の動作の耳アニメーションＥを実行させる場合には、携帯電話機を上方に持ち上げる。

操作装置が携帯電話機である場合には、操作装置のディスプレイに耳アニメーションＥ（キャラクタＣ）が表示されるため、耳アニメーションＥを確認しながら操作装置を操作することができる。また、操作装置と耳アニメーションＥを表示するディスプレイとが一体化されているため、構成の簡易化を図ることができる。

上記第一実施形態では、操作装置５０が振動部５５を有し、視線データに基づいて振動部５５を作動させる（本体５１をバイブレーションさせる）形態を一例に説明した。しかし、操作装置５０は、振動部５５を有していなくてもよい。また、操作装置５０は、例えば、発光部（例えば、ＬＥＤ）等を有していてもよい。この構成では、視線データに基づいて発光部を発光させる。

上記第一実施形態に加えて、操作装置５０は、動作データに基づいて、振動部５５を振動させてもよい。動作データに対応して、振動パターンを設定することができる。振動パターンは、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」又は「驚き」のそれぞれに対応して設定することができる。例えば、「うなずき」の場合には短時間の振動、「同意」の場合には「うなずき」の振動よりも長時間の振動にすることができる。この構成では、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて操作装置５０が振動するため、動作の一体感を得ることができる。

上記第一実施形態において、耳アニメーションＥは、操作装置５０におけるユーザＵ１，Ｕ２，Ｕ３の指Ｆ（手Ｈ）の動作速度及び移動量の少なくとも一方に基づいて、動作が変化してもよい。すなわち、操作装置５０におけるユーザＵ１，Ｕ２，Ｕ３の指Ｆ（手Ｈ）の動作速度及び移動量の少なくとも一方を、耳アニメーションＥの動作に反映させてもよい。

例えば、耳アニメーションＥの動作速度は、指Ｆの動作速度に応じて変化してもよい。具体的には、例えば、図６の動作パターンに示される「うなずき」の動作において、ユーザＵ１，Ｕ２，Ｕ３が操作装置５０の操作面５１Ａをスライドさせる指Ｆの速度を速くした場合には、耳アニメーションＥにおいて、耳が折り曲がる速度を速くし、操作面５１Ａをスライドさせる指Ｆの速度を遅くした場合には、耳が折り曲がる速度を遅くしてもよい。また、例えば、図６の動作パターンに示される「うなずき」の動作において、ユーザＵ１，Ｕ２，Ｕ３が操作面５１Ａのスライド量（移動量）を大きくした場合には、耳アニメーションＥにおいて、耳が折り曲がる角度を大きくし、操作面５１Ａのスライド量を小さくした場合には、耳が折り曲がる角度を小さくしてもよい。他の耳アニメーションＥの動作についても、適宜設定することができる。操作装置５０におけるユーザＵ１，Ｕ２，Ｕ３の指Ｆ（手Ｈ）の動作速度及び移動量に対する耳アニメーションＥの動作の感度の設定は、耳アニメーションＥの動作を実際に確認しながら行うことができる。

上記のように、ユーザＵ１，Ｕ２，Ｕ３の手Ｈ及び指Ｆの少なくとも一方の、動作速度及び移動量の少なくとも一方を検出する操作装置５０を使用し、動作速度及び移動量の少なくとも一方に基づいて、耳アニメーションＥの動作を変化させる。この方法では、耳アニメーションＥは、動作速度又は移動量によって、動作速度が変化したり、動作量が変化したりする。これにより、耳アニメーションＥにおいて、ユーザＵ１，Ｕ２，Ｕ３の状況（会話内容、文脈等も含む）に応じた機微な非言語情報の表現（表出）を行うことができる。そのため、ユーザＵ１，Ｕ２，Ｕ３の感情（気持ち）がより耳アニメーションＥに表現されるため、円滑なコミュニケーションを実現することができる。他の実施形態についても、ユーザＵ１，Ｕ２，Ｕ３の手Ｈ及び指Ｆの少なくとも一方の、動作速度及び移動量の少なくとも一方を操作装置６０，７０，８０によって検出し、動作速度及び移動量の少なくとも一方に基づいて、耳アニメーションＥの動作を変化させることができる。

上記第二実施形態では、操作装置６０を手Ｈに一つ把持して耳アニメーションＥの動作を操作する形態を一例に説明した。しかし、操作装置６０を複数把持して耳アニメーションＥの動作を操作してもよい。例えば、操作装置６０は、両手のそれぞれに把持することができる。この構成では、二つの操作装置６０において生成される動作データを連携させて、耳アニメーションＥの動作の多様化を図ることができる。

上記第二実施形態では、操作装置６０が加速度センサ６５を有している形態を一例に説明した。しかし、操作装置６０は、加速度センサ６５を有していなくてもよい。すなわち、操作装置６０は、ジャイロセンサ６６のみを有していてもよい。

上記第二実施形態では、操作装置６０がスイッチ６２を備える形態を一例に説明した。しかし、操作装置６０は、スイッチ６２を備えていなくてもよい。この構成では、操作装置６０の加速度センサ６５及び／又はジャイロセンサ６６において検出される値が一定値以上となった場合に、制御部６７が動作データを生成してもよい。一定値は、加速度センサ６５及び／又はジャイロセンサ６６の上記所定値以上に設定され得る。これにより、ユーザＵ１，Ｕ２，Ｕ３が特別の操作を行わなくても、耳アニメーションＥの動作を操作することができる。

また、操作装置６０が、ユーザＵ１，Ｕ２，Ｕ３の音声を入力する入力部を有していてもよい。この構成では、ユーザＵ１，Ｕ２，Ｕ３の音声が入力部に入力された場合に、動作データを生成する。操作装置６０は、入力部において所定の音声、例えば「うんうん」等が入力されて場合に、動作データを生成する。動作データを生成するために入力される音声は、他のユーザに伝送されないようにしてもよい。

上記第二実施形態では、操作装置６０が振動部６８を有し、視線データに基づいて振動部６８を作動させる（本体６１をバイブレーションさせる）形態を一例に説明した。しかし、操作装置６０は、振動部６８を有していなくてもよい。また、操作装置６０は、例えば、発光部（例えば、ＬＥＤ）等を有していてもよい。この構成では、視線データに基づいて発光部を発光させる。

上記第二実施形態に加えて、操作装置６０は、動作データに基づいて、振動部６８を振動させてもよい。動作データに対応して、振動パターンを設定することができる。振動パターンは、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」及び「驚き」のそれぞれに対応して設定することができる。例えば、「うなずき」の場合には短時間の振動、「同意」の場合には「うなずき」の振動よりも長時間の振動にすることができる。この構成では、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて操作装置６０が振動するため、動作の一体感を得ることができる。

上記第三実施形態では、操作装置７０を指Ｆに一つ装着して耳アニメーションＥの動作を操作する形態を一例に説明した。しかし、操作装置７０を複数装着して耳アニメーションＥの動作を操作してもよい。例えば、操作装置７０は、人差し指と中指とに装着してもよいし、両手の指のそれぞれに装着することもできる。この構成では、二つの操作装置７０において生成される動作データを連携させて、耳アニメーションＥの動作の多様化を図ることができる。

上記第三実施形態では、操作装置７０が加速度センサ７５を有している形態を一例に説明した。しかし、操作装置７０は、加速度センサ７５を有していなくてもよい。すなわち、操作装置７０は、ジャイロセンサ７６のみを有していてもよい。

上記実施形態では、操作装置７０がスイッチ７２を備える形態を一例に説明した。しかし、操作装置７０は、スイッチ７２を備えていなくてもよい。この構成では、操作装置７０の加速度センサ７５及び／又はジャイロセンサ７６において検出される値が一定値以上となった場合に、制御部７７が動作データを生成してもよい。一定値は、加速度センサ７５及び／又はジャイロセンサ７６の上記所定値以上に設定され得る。これにより、ユーザＵ１，Ｕ２，Ｕ３が特別の操作を行わなくても、耳アニメーションＥの動作を操作することができる。

また、操作装置７０が、ユーザＵ１，Ｕ２，Ｕ３の音声を入力する入力部を有していてもよい。この構成では、ユーザＵ１，Ｕ２，Ｕ３の音声が入力部に入力された場合に、動作データを生成する。操作装置７０は、入力部において所定の音声、例えば「うんうん」等が入力されて場合に、動作データを生成する。動作データを生成するために入力される音声は、他のユーザに伝送されないようにしてもよい。

上記実施形態では、操作装置７０が振動部７８を有し、視線データに基づいて振動部７８を作動させる（本体７１をバイブレーションさせる）形態を一例に説明した。しかし、操作装置７０は、振動部７８を有していなくてもよい。また、操作装置７０は、例えば、発光部（例えば、ＬＥＤ）等を有していてもよい。この構成では、視線データに基づいて発光部を発光させる。

上記実施形態に加えて、操作装置７０は、動作データに基づいて、振動部７８を振動させてもよい。動作データに対応して、振動パターンを設定することができる。振動パターンは、「うなずき」、「同意」、「賞賛（拍手）」、「質問」及び「挙手」のそれぞれに対応して設定することができる。例えば、「うなずき」の場合には短時間の振動、「同意」の場合には「うなずき」の振動よりも長時間の振動にすることができる。この構成では、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて操作装置７０が振動するため、動作の一体感を得ることができる。

上記第四実施形態では、操作装置８０が振動部８８を有し、視線データに基づいて振動部８８を作動させる（本体８１をバイブレーションさせる）形態を一例に説明した。しかし、操作装置８０は、振動部８８を有していなくてもよい。また、操作装置８０は、例えば、発光部（例えば、ＬＥＤ）等を有していてもよい。この構成では、視線データに基づいて発光部を発光させる。

上記第四実施形態に加えて、操作装置８０は、動作データに基づいて、振動部８８を振動させてもよい。動作データに対応して、振動パターンを設定することができる。振動パターンは、「うなずき」、「驚き」、「賞賛（拍手）」及び「質問」のそれぞれに対応して設定することができる。この構成では、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて操作装置８０が振動するため、動作の一体感を得ることができる。

上記実施形態では、端末１０、端末２０及び端末３０において制御データを生成する形態を一例に説明した。しかし、制御データは、サーバ４０によって生成されてもよい。この構成では、端末１０、端末２０及び端末３０は、動作データをサーバ４０に送信し、サーバ４０は、動作データに基づいて、制御データを生成する。

上記実施形態では、キャラクタＣ１，Ｃ２，Ｃ３のボディＢが球状である形態を一例に説明した。しかし、キャラクタＣ１，Ｃ２，Ｃ３のボディＢの形状は球状に限定されない。ボディＢは、ディスプレイを模した形態であってもよい。この場合、例えば、ボディＢに、資料、発話者の発話内容の翻訳文（例えば、「Ｈｅｌｌｏ！」等）、ユーザＵ１，Ｕ２，Ｕ３の顔画像等が表示されるようにしてもよい。また、発話内容をＡＩとリンクさせて、会話に応じた図、テキスト、動画又は音声等をボディＢのディスプレイに自動的に表示させてもよい。

また、ボディＢは、車を模した形状であってもよいし、目覚まし時計を模した形状であってもよいし、木を模した形状であってもよい。ボディＢは、ユーザの状態等に応じて、変化、変形等してもよい。また、キャラクタＣ１，Ｃ２，Ｃ３は、ロボット等の頭部に耳アニメーションＥが表示される形態であってもよい。この場合、耳アニメーションＥに加えて、ボディＢの一部（例えば、半円形状）が表示されてもよい。この構成では、ロボット等の頭部に、耳アニメーションＥの帽子が被されるように表示され得る。この場合、ボディＢは、ディスプレイになってよい。なお、耳アニメーションＥを有するヘッドフォン等がロボット等と一緒に表示されてもよい。さらに、キャラクタＣ１，Ｃ２，Ｃ３は、足のアニメーションを有していてもよい。この場合、ユーザＵ１，Ｕ２，Ｕ３の足の動きを検出するセンサの検出結果に基づいて、キャラクタＣ１，Ｃ２，Ｃ３の足のアニメーションが動作してもよい。

上記実施形態では、図２に示されるように、コミュニケーションに参加する全てのユーザＵ１，Ｕ２，Ｕ３のキャラクタＣ１，Ｃ２，Ｃ３が通話画面Ｇに表示される形態を一例に説明した。しかし、コミュニケーション対象であるユーザのキャラクタのみが通話画面に表示されてもよい。例えば、ユーザＵ１の端末１０の通話画面Ｇには、ユーザＵ２のキャラクタＣ２及びユーザＵ３のキャラクタＣ３のみが表示されてもよい。

また、図２では、キャラクタＣ１，Ｃ２，Ｃ３が、テーブルＴを囲んで向かい合うように表示される形態を例示している。しかし、キャラクタＣ１，Ｃ２，Ｃ３の配置等は、これに限定されない。例えば、キャラクタＣ１，Ｃ２，Ｃ３がステージに配置されていてもよい。ステージは、移動可能であってもよい。ステージ上において、キャラクタＣ１，Ｃ２，Ｃ３は、ユーザＵ１，Ｕ２，Ｕ３の操作に応じて、ダンスや体操を行うことができる。

また、ボディＢがディスプレイを模した形態である場合において、通話画面Ｇには、資料等が表示されるディスプレイが表示されてもよい。これにより、講義、研修会、講演会等を行うことができる。このとき、ボディＢのディスプレイには、ユーザＵ１，Ｕ２，Ｕ３の属性（国籍、居住国等）に応じた翻訳文を表示することができる。

上記実施形態では、端末１０，２０，３０の通話画面ＧにボディＢ及び耳アニメーションＥ等が表示される形態を一例に説明した。しかし、端末がウェアラブル端末、ヘッドマウントディスプレイ（ＨＭＤ）端末である場合には、ボディＢ及び耳アニメーションＥ等がレンズ等に表示されてもよいし、ホログラムで表示されてもよい。すなわち、サイバー空間において、キャラクタＣ１，Ｃ２，Ｃ３を表示させる。サイバー空間には、ＶＲ（Virtual Reality：仮想現実）、ＡＲ（Augmented Reality：拡張現実）、ＭＲ（Mixed Reality：混合現実）が含まれ得る。

上記実施形態では、テレビ会議等において通話画面Ｇに表示されるキャラクタＣ１，Ｃ２，Ｃ３の耳アニメーションＥの動作を操作する形態を一例に説明した。しかし、アニメーション操作方法は、ダンスや歌のパフォーマンスを行うキャラクタの耳アニメーションの動作の操作に適用されてもよい。

１０…端末、１１…入力部、１２…制御部、１３…記憶部、１３Ｐ…端末プログラム、１４…通信部、１５…出力部、２０…端末、３０…端末、４０…サーバ、４２…制御部、４３…記憶部、４３Ｐ…サーバプログラム、４３Ｓ…受信データ、４４…通信部、５０…操作装置（検出装置）、５１…本体、５１Ａ…操作面、５２…通信部、５３…入力部、５４…制御部、５５…振動部、５６…バッテリ、５８…振動部、６０…操作装置（検出装置）、６１Ａ…第一本体部、６１Ｂ…第二本体部、６１Ｃ…突起部、６２…スイッチ、６３…通信部、６４…入力部、６５…加速度センサ（加速度検出部）、６６…ジャイロセンサ（角速度検出部）、６７…制御部、６８…振動部、６９…バッテリ、７０…操作装置（検出装置）、７１Ａ…アーム、７１Ｂ…アーム、７１Ｃ…開口部、７２…スイッチ、７３…通信部、７４…入力部、７５…加速度センサ（加速度検出部）、７６…ジャイロセンサ（角速度検出部）、７７…制御部、７８…振動部、７９…バッテリ、８０…操作装置（検出装置）、８１…本体、８２…右ボタン、８３…左ボタン、８４…ホイール、８５…通信部、８６…入力部、８７…制御部、８８…振動部、８９…バッテリ、１００…システム、Ａ…腕アニメーション、ＡＰ…アクセスポイント、Ｂ…ボディ、ＢＳ…基地局、Ｃ…キャラクタ、Ｃ１…キャラクタ、Ｃ２…キャラクタ、Ｃ３…キャラクタ、Ｅ…耳アニメーション、Ｆ…指、Ｇ…通話画面、Ｈ…手、Ｎ…ネットワーク、Ｔ…テーブル、Ｕ１…ユーザ、Ｕ２…ユーザ、Ｕ３…ユーザ。

Claims (8)

1. 非言語情報を表現する耳を模したアニメーションの動作を操作する操作方法であって、
   ユーザの指の動作を検出する検出装置であって、前記指の動作を検出するときに前記指と接触する前記検出装置を使用し、
   前記検出装置によって検出される前記ユーザの前記指の所定の動作に対して、予め設定された所定の前記アニメーションの動作として、うなずき、同意、驚き、質問及び拍手のうちの少なくとも一つが対応付けられており、
   所定の前記アニメーションの動作と、前記ユーザの前記指の前記所定の動作とが類似しており、
   前記所定の動作が前記検出装置によって検出された場合、前記所定の動作に対応する所定の前記アニメーションの動作を実行させる、アニメーション操作方法。
2. 前記ユーザの前記指の動作速度及び移動量の少なくとも一方を検出する前記検出装置を使用し、
   前記動作速度及び前記移動量の少なくとも一方に基づいて、所定の前記アニメーションの動作速度又は動作量を変化させる、請求項１に記載のアニメーション操作方法。
3. 前記検出装置の物理量を検出する検出部を有する前記検出装置を使用し、
   前記物理量は、角速度及び加速度の少なくとも一方であり、
   前記検出部によって検出される前記物理量の所定値に対して、予め設定された所定の前記アニメーションの動作が対応付けられており、
   前記ユーザによる前記検出装置の操作により、前記所定値の物理量が前記検出部によって検出された場合、前記所定値に対応する所定の前記アニメーションの動作を実行させる、請求項１又は請求項２に記載のアニメーション操作方法。
4. 前記ユーザの指に前記検出装置を装着して使用する、請求項３に記載のアニメーション操作方法。
5. 所定の前記アニメーションの動作を実行させるための所定の入力又は操作が前記ユーザによって行われた場合に、所定の前記アニメーションの動作を実行させる、請求項１又は請求項２に記載のアニメーション操作方法。
6. 前記ユーザによって押下される押下部を有する前記検出装置を使用し、
   前記ユーザによって前記押下部が押下された場合に、所定の前記アニメーションの動作を実行させる、請求項５に記載のアニメーション操作方法。
7. 非言語情報を表現する耳を模したアニメーションの動作を操作する操作プログラムであって、
   ユーザの指の動作を検出する検出装置であって、前記指の動作を検出するときに前記指と接触する前記検出装置を使用し、
   前記検出装置によって検出される前記ユーザの前記指の所定の動作に対して、予め設定された所定の前記アニメーションの動作として、うなずき、同意、驚き、質問及び拍手のうちの少なくとも一つが対応付けられており、
   所定の前記アニメーションの動作と、前記ユーザの前記指の前記所定の動作とが類似しており、
   前記所定の動作が前記検出装置によって検出された場合、前記所定の動作に対応する所定の前記アニメーションの動作を実行させるステップを、コンピュータに実行させる、アニメーション操作プログラム。
8. 非言語情報を表現する耳を模したアニメーションの動作を操作する操作システムであって、
   ユーザの指の動作を検出する検出装置であって、前記指の動作を検出するときに前記指と接触する前記検出装置を使用し、
   前記検出装置によって検出される前記ユーザの前記指の所定の動作に対して、予め設定された所定の前記アニメーションの動作として、うなずき、同意、驚き、質問及び拍手のうちの少なくとも一つが対応付けられており、
   所定の前記アニメーションの動作と、前記ユーザの前記指の前記所定の動作とが類似しており、
   前記所定の動作が前記検出装置によって検出された場合、前記所定の動作に対応する所定の前記アニメーションの動作を実行させる、アニメーション操作システム。

Images