JP7300925B2 - キャラクタを使ったライブ通信システム - Google Patents

Description

特許法第３０条第２項適用 （１）平成３０年９月１８日にＡｐｐｌｅ Ｉｎｃ．のＴｅｓｔＦｌｉｇｈｔ（ｈｔｔｐｓ：／／ｄｅｖｅｌｏｐｅｒ．ａｐｐｌｅ．ｃｏｍ／ｊｐ／ｔｅｓｔｆｌｉｇｈｔ／）を介して発表。 （２）平成３０年１０月４日にｈｔｔｐｓ：／／ｉｒｉａｍ．ｃｏｍ／およびｈｔｔｐｓ：／／ｔｗｉｔｔｅｒ．ｃｏｍ／ｉｒｉａｍ＿ｏｆｆｉｃｉａｌにて発表。 （３）平成３０年１０月４日にｈｔｔｐｓ：／／ｉｔｕｎｅｓ．ａｐｐｌｅ．ｃｏｍ／ｊｐ／ａｐｐ／ｉｒｉａｍ－％Ｅ３％８２％Ａ４％Ｅ３％８３％ＡＡ％Ｅ３％８２％Ａ２％Ｅ３％８３％Ａ０／ｉｄ１３５８０５７２９６？ｍｔ＝８にて発表。 （４）平成３０年１０月４日にｈｔｔｐｓ：／／ｐｌａｙ．ｇｏｏｇｌｅ．ｃｏｍ／ｓｔｏｒｅ／ａｐｐｓ／ｄｅｔａｉｌｓ？ｉｄ＝ｊｐ．ｃｏ．ｄｕｏ７．ｖｒ．ｉｒｉａｍにて発表。 （５）平成３１年４月２７日および平成３１年４月２８日に、ニコニコ超会議２０１９にて発表。 （６）平成３１年４月２７日および平成３１年４月２８日に、ニコニコ生放送（ｈｔｔｐｓ：／／ｌｉｖｅ．ｎｉｃｏｖｉｄｅｏ．ｊｐ／ｇａｔｅ／ｌｖ３１９５１２２９７およびｈｔｔｐｓ：／／ｌｉｖｅ．ｎｉｃｏｖｉｄｅｏ．ｊｐ／ｇａｔｅ／ｌｖ３１９５１２３４２）にて発表。

本発明は、通信ネットワークを介した視覚的なコミュニケーション技術、に関する。

スマートフォンの普及にともない、ＳＮＳ（Social Networking Service）を介したコミュニケーションが一般化している。ＳＮＳでは、テキストだけでなく写真や動画像などさまざまなコンテンツを気軽に共有できる。ＳＮＳは、人と人との「絆（つながり）」を強く感じさせるツールである。

一方、コンピュータゲームの分野においては、ユーザがキャラクタ（コンピュータ）と会話をしながらプレイするゲームも多い。ユーザは、現実には存在しないキャラクタに対して強い思い入れをもつことが多い。

特開２０１２－２３１２８１号公報 特願２０１９－００２２７１号

キャラクタは、ゲームデザイナーによってつくられた仮想的存在であり、人間のような実在感をもたない。その一方、キャラクタは、非実在感に起因する独特の魅力をもつ。本発明者らは、キャラクタ特有の魅力と人間特有の「リアルなつながり」の双方を取り込むことにより、新しいコミュニケーション方法を提案できるのではないかと考えた。

具体的には、配信者（人間）と視聴者（人間）の会話を想定する。配信者は、ちょうどテレビアニメの声優のようにキャラクタの代弁者となり、キャラクタを通して視聴者と会話する。このようなコミュニケーションを想定した場合、視聴者はキャラクタと言葉以上の関わりをもつことができれば、視聴者のキャラクタに対する思い入れをいっそう強めることができると考えられる。

本発明は、上記認識に基づいて完成された発明であり、その主たる目的は、キャラクタを介したコミュニケーションにおいて、特に、キャラクタと視聴者の非言語コミュニケーションを深化させるための技術、を提供することにある。

本発明のある態様におけるライブ通信システムは、配信者により操作される配信装置と視聴者により操作される視聴装置を含む。
配信装置は、配信者を撮像する撮像部と、配信者の撮像画像から、配信者の動作の特徴を示す動作情報を生成する動作情報生成部と、配信者の手の位置に対応する第１手座標を検出する第１手検出部と、配信者から第１メッセージを受け付ける第１メッセージ取得部と、動作情報、第１手座標および第１メッセージを送信する送信部と、を備える。
視聴装置は、動作情報、第１手座標および第１メッセージを受信する受信部と、視聴者の手の位置に対応する第２手座標を検出する第２手検出部と、視聴装置の画面にキャラクタを動画表示させ、動作情報に応じてキャラクタを動作させる視聴キャラクタ表示部と、キャラクタの動作に合わせて第１メッセージを出力する第１メッセージ出力部と、第１手座標および第２手座標に基づいて、配信者の手画像である第１手および視聴者の手画像である第２手を視聴装置の画面に表示させる手表示部と、を備える。
手表示部は、第１手座標と第２手座標の距離が第１の閾値以内であるとき、第１手と第２手の握手を表示させる。

本発明によれば、キャラクタを介した豊かなコミュニケーションを実現しやすくなる。

ライブ通信システムのハードウェア構成図である。 ライブ通信システムによる会話サービスを説明するための模式図である。 会話ブースの外観図である。 配信装置とサーバの機能ブロック図である。 視聴装置の機能ブロック図である。 視聴装置に表示される視聴者会話画面の画面図である。 配信装置に表示される配信者会話画面の画面図である。 配信装置および視聴装置の双方においてキャラクタを表示させる処理のシーケンス図である。 視聴者がキャラクタと握手する前の視聴装置の画面図である。 視聴者がキャラクタと握手したときの視聴装置の画面図である。 握手の動きを説明するための模式図である。 キャラクタとの会話開始時における視聴装置の画面図である。 視聴者がキャラクタにタッチしたときの視聴装置の画面図である。 キャラクタにグッズをプレゼントしたときの処理過程を示すシーケンス図である。 キャラクタにグッズを提供したときの視聴装置の画面図である。 デジタルサイネージ装置の外観図である。 デジタルサイネージ装置の機能ブロック図である。 キャラクタとの手遊びをするときの視聴装置の画面図である。

図１は、ライブ通信システム１００のハードウェア構成図である。
ライブ通信システム１００においては、サーバ１０２に対して、複数の配信装置１０４ａ、１０４ｂ・・・１０４ｍ（以下、まとめて言うときや特に区別しないときには「配信装置１０４」と総称する）および複数の視聴装置１０８ａ、１０８ｂ・・・１０８ｎ（以下、まとめて言うときや特に区別しないときには「視聴装置１０８」と総称する）がインターネット１０６を介して接続される。配信装置１０４としては、スマートフォンを想定しているが、ラップトップＰＣなどの汎用コンピュータであってもよい。視聴装置１０８としては大型のタッチパッドを想定しているが、スマートフォンなどの他の情報機器であってもよい。

配信装置１０４を使用するユーザを「配信者」とよぶ。視聴装置１０８を使用するユーザを「視聴者」とよぶ。配信者がサービスの提供者となり、視聴者がサービスの享受者となる。

サーバ１０２には、デジタルサイネージ装置３００が接続される。デジタルサイネージ装置３００は配信者と視聴者の会話をライブ中継または録画再生する。詳細については図１６以降に関連して後述する。ライブ通信システム１００にとってデジタルサイネージ装置３００は必須構成ではない。

図２は、ライブ通信システム１００による会話サービスを説明するための模式図である。
本出願人による特許文献２に開示したライブ通信システム１００においては、１つの配信装置１０４に対して多数の視聴装置１０８が同時接続し、１対多通信を前提として説明した。本実施形態にけるライブ通信システム１００は、配信者１１０と視聴者１１２が１対１通信にて会話するものとして説明する。

配信者１１０にはあらかじめキャラクタが対応づけられる。配信装置１０４には配信者１１０に対応づけられる配信キャラクタ１１４ａが表示される。視聴装置１０８にも視聴キャラクタ１１４ｂが表示される。配信キャラクタ１１４ａと視聴キャラクタ１１４ｂはまったく同じキャラクタである。以下、配信キャラクタ１１４ａと視聴キャラクタ１１４ｂを特に区別しないときには単に「キャラクタ１１４」とよぶ。

配信者１１０が配信装置１０４の前でしゃべると、その音声データは視聴装置１０８に送信される。配信装置１０４は配信者１１０の口の動きを検出し、配信キャラクタ１１４ａの口も動かす。また、これに連動して、視聴装置１０８は視聴キャラクタ１１４ｂの口も動かす。視聴者１１２には、配信者ではなく、あたかも視聴キャラクタ１１４ｂが自らの意思でしゃべっているように見える。いわば、配信者１１０は「声優」としてキャラクタ１１４の代弁者となる。以下、配信者１１０により入力される音声メッセージを「第１メッセージ」とよぶ。

視聴者１１２が視聴装置１０８の前でしゃべると、その音声データは視聴者１１２本人の撮像画像（動画像）とともに配信装置１０４に送信される。以下、視聴者１１２により入力される音声メッセージを「第２メッセージ」とよぶ。特許文献２においては、視聴者１１２はテキストにより第２メッセージを入力するとして説明したが、本実施形態においては配信者１１０および視聴者１１２はお互いに音声にて会話をする。配信者１１０は視聴者１１２の容姿を見ることができるが（図７に関連して後述）、視聴者１１２は配信者１１０が演じる視聴キャラクタ１１４ｂだけを視認する。

キャラクタ１１４の基本設定（キャラクタ１１４の容姿や表情変化の豊かさなど）と配信者１１０の声質や会話力によって、キャラクタ１１４の個性がかたちづくられる。

視聴者１１２は、普段はスマートフォンなどでキャラクタ１１４と１対多の会話を楽しみながら、キャラクタ１１４に対する思い入れを深めていく（特許文献２参照）。本実施形態においては、思い入れを深めたキャラクタ１１４との「握手会（１対１で会える機会）」を想定する。視聴者１１２は、ライブ通信システム１００の運営者がセッティングする会場（以下、「イベント会場」とよぶ）に来場する。イベント会場では、視聴者１１２はキャラクタ１１４と１対１の音声会話を楽しむことができる。ただし、会話の「制限時間」は１分間に設定される。会話においては、後述の方法により会話だけでなく握手も楽しむことができる。

図３は、会話ブース３０２の外観図である。
イベント会場には、キャラクタ１１４ごとに会話ブース３０２が用意される。視聴者１１２は、お気に入りのキャラクタ１１４に対応する会話ブース３０２に並ぶ。視聴者１１２はネームプレートをつけておく。視聴者１１２は順番が来たら会話ブース３０２に入る。会話ブース３０２は、衝立により仕切られた半閉鎖空間であり、視聴者１１２がキャラクタ１１４との会話に集中しやすい構成となっている。会話ブース３０２の正面には視聴装置１０８が設置され、視聴装置１０８に視聴キャラクタ１１４ｂが表示される。会話ブース３０２においては、視聴者１１２は、普段は他の視聴者１１２たちとともに多人数で会話をしているアイドルのようなキャラクタ１１４との会話時間を独占できる。

視聴装置１０８の上部には視聴者１１２を撮像するためのカメラ３０４が取り付けられる。視聴者１１２の撮像画像は配信装置１０４に転送される。視聴装置１０８の下部にはプレゼントボックス３０６が設置される。視聴者１１２は、帽子や花束などのプレゼント（以下、「グッズ」とよぶ）をプレゼントボックス３０６の投入口３０８に投入できる。グッズ（物理的なオブジェクト）にはタグが設置されており、投入口３０８の内部にある検出装置３１０によってグッズのＩＤ（以下、「グッズＩＤ」とよぶ）が検出される。グッズの投入に関しては図１４，図１５に関連して後述する。

図４は、配信装置１０４およびサーバ１０２の機能ブロック図である。
配信装置１０４およびサーバ１０２の各構成要素は、ＣＰＵ（Central Processing Unit）および各種コプロセッサなどの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され、演算器に処理命令を供給するソフトウェアによって実現される。コンピュータプログラムは、デバイスドライバ、オペレーティングシステム、それらの上位層に位置する各種アプリケーションプログラム、また、これらのプログラムに共通機能を提供するライブラリによって構成されてもよい。以下に説明する各ブロックは、ハードウェア単位の構成ではなく、機能単位のブロックを示している。
視聴装置１０８およびデジタルサイネージ装置３００についても同様である。

（配信装置１０４）
配信装置１０４は、ユーザインタフェース処理部１１６、撮像部１１８、データ処理部１２０、通信部１２２およびデータ格納部１２４を含む。
通信部１２２は、通信処理を担当する。撮像部１１８は、配信者１１０を撮像する。ユーザインタフェース処理部１１６は、配信者１１０からの操作を受け付けるほか、画像表示や音声出力など、ユーザインタフェースに関する処理を担当する。データ格納部１２４はキャラクタ１１４の画像データを含む各種データを格納する。データ処理部１２０は、通信部１２２、ユーザインタフェース処理部１１６、撮像部１１８により取得されたデータおよびデータ格納部１２４に格納されているデータに基づいて各種処理を実行する。データ処理部１２０は、ユーザインタフェース処理部１１６、撮像部１１８、通信部１２２およびデータ格納部１２４のインタフェースとしても機能する。

通信部１２２は、送信部１４８と受信部１５０を含む。

ユーザインタフェース処理部１１６は、配信者１１０からの入力を受け付ける入力部１２６と配信者１１０に各種情報を出力する出力部１２８を含む。
入力部１２６は、動作検出部１３０と第１メッセージ取得部１３２を含む。動作検出部１３０は、撮像部１１８を介して配信者１１０の表情や体の動きを検出する。第１メッセージ取得部１３２は、配信者１１０の発話から第１メッセージ（音声メッセージ）を取得する。
動作検出部１３０は、第１手検出部１３４を含む。第１手検出部１３４は、配信者１１０の手の動きを検出する。

出力部１２８は、配信キャラクタ表示部１３８、第２メッセージ出力部１４０、手表示部１４２、装飾部３１２、オブジェクト表示部３１４およびライブ画像出力部３３２を含む。
配信キャラクタ表示部１３８は、配信キャラクタ１１４ａを表示させる。第２メッセージ出力部１４０は視聴者１１２による第２メッセージ（音声メッセージ）を出力する。手表示部１４２は、キャラクタ１１４（配信者１１０）および視聴者１１２の手を模した画像（後述）を画面表示させる。装飾部３１２は、キャラクタ１１４と視聴者１１２が握手をしたときなどの所定の機会において視覚的効果として各種装飾画像を表示させる。握手と装飾画像については図９、図１０、図１１、図１３等に関連して後述する。オブジェクト表示部３１４は、視聴者１１２からプレゼントされたグッズに対応する画像（以下、「グッズ画像」とよぶ）を画面表示させる。グッズ画像（仮想オブジェクト）の画面表示については図１５に関連して後述する。ライブ画像出力部３３２は視聴者１１２の撮像画像を動画表示させる（図７に関連して後述する）。

データ処理部１２０は、動作情報生成部１４４を含む。
動作情報生成部１４４は、動作検出部１３０の検出結果から「動作情報」を生成する。動作情報とは、配信者１１０の表情を示す特徴ベクトル（例：眉の角度、目や口の開度を示す数値、配信者１１０と配信装置１０４との相対的な位置関係（前後左右）を示す数値など、配信者１１０の動作状態を示す数値データである。

（サーバ１０２）
サーバ１０２は、通信部１５２、ライブ制御部１５４およびデータ格納部１５６を含む。
通信部１５２は、通信処理を担当する。データ格納部１５６は各種データを格納する。ライブ制御部１５４は、通信部１５２により取得されたデータおよびデータ格納部１５６に格納されているデータに基づいて配信装置１０４と視聴装置１０８のコミュニケーションを仲介・統括する。ライブ制御部１５４は、通信部１５２およびデータ格納部１５６のインタフェースとしても機能する。
データ格納部１５６は、複数のキャラクタ１１４のデータを格納するキャラクタ格納部１５８を含む。また、データ格納部１５６は、グッズＩＤとグッズ画像を対応づけて登録する。

図５は、視聴装置１０８の機能ブロック図である。
視聴装置１０８は、ユーザインタフェース処理部１６２、データ処理部１６６、通信部１６４、撮像部３１６およびデータ格納部１６８を含む。
通信部１６４は、通信処理を担当する。ユーザインタフェース処理部１６２は、視聴者１１２からの操作を受け付けるほか、画像表示や音声出力など、ユーザインタフェースに関する処理を担当する。撮像部３１６は、カメラ３０４を介して視聴者１１２を撮像する。データ格納部１６８はキャラクタ１１４の画像データを含む各種データを格納する。配信装置１０４と視聴装置１０８はどちらもキャラクタ１１４のデータをそれぞれ格納する。データ処理部１６６は、通信部１６４およびユーザインタフェース処理部１６２により取得されたデータおよびデータ格納部１６８に格納されているデータに基づいて各種処理を実行する。データ処理部１６６は、ユーザインタフェース処理部１６２、通信部１６４、撮像部３１６およびデータ格納部１６８のインタフェースとしても機能する。

通信部１２２は、送信部１８６と受信部１９０を含む。

ユーザインタフェース処理部１６２は、視聴者１１２からの入力を受け付ける入力部１７０と視聴者１１２に各種情報を出力する出力部１７２を含む。
入力部１７０は、第２メッセージ取得部１７４、第２手検出部３１８、オブジェクト投入部３２０およびオブジェクト特定部３２２を含む。第２メッセージ取得部１７４は、視聴者１１２の発話から第２メッセージ（音声メッセージ）を取得する。第２手検出部３１８は、視聴者１１２の手の動きを検出する。オブジェクト投入部３２０は、投入口３０８へのグッズ（物理オブジェクト）の投入を検出する。オブジェクト特定部３２２は、投入口３０８に投入されたグッズのグッズＩＤを読み取ることにより、グッズの種類を特定する。グッズＩＤが特定されたとき、通信部１６４の送信部１８６はグッズＩＤをサーバ１０２に送信する。

出力部１７２は、視聴キャラクタ表示部１８０、第１メッセージ出力部１８２、手表示部３２４、装飾部３２６、オブジェクト表示部３２８および幕表示部３３０を含む。
視聴キャラクタ表示部１８０は、視聴装置１０８に視聴キャラクタ１１４ｂを表示させる。第１メッセージ出力部１８２は配信者１１０による第１メッセージを視聴装置１０８から音声出力する。手表示部３２４は、キャラクタ１１４（配信者１１０）および視聴者１１２の手の画像を画面表示させる。装飾部３２６は、各種装飾画像を表示させる。オブジェクト表示部３２８は、視聴者１１２がプレゼントしたグッズに対応するグッズ画像を画面表示させる。幕表示部３３０は会話の開始時と終了時に幕を模した画像を表示させる。幕については図１２に関連して後述する。

データ処理部１６６は、会話管理部２９０を含む。会話管理部２９０は、視聴者１１２とキャラクタ１１４の会話時間を管理する。会話管理部２９０は、所定の制限時間、たとえば、１分間が経過したとき視聴者１１２とキャラクタ１１４の会話を終了させる。

図６は、視聴装置１０８に表示される視聴者会話画面１９６の画面図である。
視聴キャラクタ表示部１８０は、おしゃべりの相手として選ばれた視聴キャラクタ１１４ｂを動画表示させる。視聴者１１２は、視聴装置１０８において視聴キャラクタ１１４ｂとの会話を楽しむ。視聴者１１２からは配信者１１０の姿が見えることはない。視聴者１１２は、配信者１１０ではなく、視聴キャラクタ１１４ｂそのものと会話しているかのような感覚を楽しむことができる。視聴装置１０８の第１メッセージ出力部１８２は、視聴キャラクタ１１４ｂを担当する配信者１１０からの音声（第１メッセージ）を出力する。視聴者１１２は、視聴キャラクタ１１４ｂに音声で話しかける（第２メッセージ）。サーバ１０２のライブ制御部１５４は、第１メッセージおよび第２メッセージを中継する。

図７は、配信装置１０４に表示される配信者会話画面２０６の画面図である。
図７に示す配信者会話画面２０６は、配信キャラクタ１１４ａ（視聴キャラクタ１１４ｂに対応）を担当する配信者１１０の配信装置１０４に表示される。配信者会話画面２０６は、視聴者表示領域３３６とキャラクタ表示領域３３４に上下分割される。配信キャラクタ表示部１３８は、配信キャラクタ１１４ａをキャラクタ表示領域３３４に動画表示させる。視聴キャラクタ１１４ｂと配信キャラクタ１１４ａは同一キャラクタであり、動きも同じである。配信者１１０は、自らの分身である配信キャラクタ１１４ａの動きを配信装置１０４にて確認しながら視聴者１１２と会話する。配信者１１０は、配信装置１０４に向かって音声にて第１メッセージを入力する。送信部１４８は第１メッセージをサーバ１０２に送信し、サーバ１０２のライブ制御部１５４は第１メッセージを視聴装置１０８に配信する。

第２メッセージ出力部１４０は、視聴者１１２からの音声（第２メッセージ）を出力する。視聴者１１２の撮像画像は視聴装置１０８からサーバ１０２を介して配信装置１０４に送信される。ライブ画像出力部３３２は視聴者１１２の撮像画像（動画像）を視聴者表示領域３３６に表示させる。配信者１１０は視聴者１１２の様子（態度や表情）を見ながら、視聴者１１２と会話できる。

配信装置１０４のカメラ２０８（撮像部１１８）は、配信者１１０を撮像する。動作検出部１３０は、撮像画像から配信者１１０の表情および動作を検出し、動作情報生成部１４４は動作情報を生成する。配信キャラクタ表示部１３８は、動作情報に基づいて配信キャラクタ１１４ａの動きを決定する。視聴キャラクタ１１４ｂも同じ動作情報に基づいて視聴装置１０８にて動画表示される。

以上のように、視聴者１１２は視聴キャラクタ１１４ｂと音声にて会話する。配信者１１０は視聴キャラクタ１１４ｂとして視聴者１１２と会話する。視聴者１１２は配信者１１０の姿を見ることはできないが、配信者１１０は視聴者１１２と配信キャラクタ１１４ａ双方の姿を見ながら会話する。

図８は、配信装置１０４および視聴装置１０８の双方においてキャラクタ１１４を表示させる処理のシーケンス図である。
配信装置１０４の動作検出部１３０は、配信者１１０の動作を検出する（Ｓ１０）。動作情報生成部１４４は、動作情報を生成する（Ｓ１２）。動作情報は、配信者１１０の表情、体の角度、配信者１１０の撮像部１１８からの遠近などを示す数値データである（Ｓ１２）。

配信装置１０４の送信部１４８は、サーバ１０２経由にて、視聴装置１０８に動作情報を送信する（Ｓ１４）。配信キャラクタ表示部１３８は、動作情報に基づいて配信キャラクタ１１４ａの動画像を生成し（Ｓ１６）、配信装置１０４に配信キャラクタ１１４ａを動画表示させる（Ｓ１８）。

一方、視聴装置１０８の視聴キャラクタ表示部１８０も、受信された動作情報に基づいて視聴キャラクタ１１４ｂの動画像を生成し（Ｓ２０）、視聴装置１０８に視聴キャラクタ１１４ｂを動画表示させる（Ｓ２２）。

配信キャラクタ１１４ａと視聴キャラクタ１１４ｂは、同一のキャラクタであり、かつ、同一の動作情報に基づいて動きが決まるため、配信装置１０４および視聴装置１０８それぞれにおいて配信キャラクタ１１４ａと視聴キャラクタ１１４ｂは同じ姿にて同じ動作を行う。

配信装置１０４は、キャラクタ１１４の動画像（キャラクタ画像）そのものを視聴装置１０８に送信しているのではなく、キャラクタ１１４の動作を定義する動作情報のみを送信している。動画像そのものを送信するよりも送信データ量が少ないため、配信キャラクタ１１４ａと視聴キャラクタ１１４ｂそれぞれの動きを速やかに連動させやすい。いいかえれば、動作情報が配信キャラクタ１１４ａの動きとして反映されるまでの時間と、同じ動作情報が視聴キャラクタ１１４ｂの動きとして反映されるまでの時間の差分が小さいため、視聴者１１２はキャラクタ１１４（配信者１１０）との快適な会話を楽しむことができる。

第１メッセージ（音声メッセージ）と動作情報は一体化して配信装置１０４から視聴装置１０８に送信されてもよい。この場合には、視聴キャラクタ１１４ｂの動作と音声メッセージがずれにくくなる。また、動画像そのものではなく、動画像を決定するための動作情報を送信することは、インターネット１０６に対する通信負荷を抑制する上でも有効である。

配信者１１０が体を左右に傾けると、動作検出部１３０は体の傾斜を検出する。動作情報生成部１４４は、傾斜角および傾斜方向を動作情報に含める。視聴キャラクタ表示部１８０は、動作情報にしたがって、視聴キャラクタ１１４ｂを傾斜させる。配信キャラクタ表示部１３８も、同じ動作情報にしたがって配信キャラクタ１１４ａを傾斜させる。このように、配信者１１０が体を左右に傾けると、配信側と視聴側双方のキャラクタ１１４は配信者１１０に合わせて体を傾ける。配信者１１０が体を前後に傾けたときにも、キャラクタ１１４は同様にして体を前後させる。動作検出部１３０は、配信者１１０の前傾後傾を撮像画像に映る配信者１１０の大きさから認識すればよい。

一般的には、体の傾斜に人間の心理が現れるといわれる。たとえば、会話に興味をもっているときに人間は前傾姿勢（聞こうという体勢）になりやすく、動揺しているときには体は左右に揺れるともいわれる。配信者１１０の体の動きをキャラクタ１１４にも反映させることにより、視聴者１１２はキャラクタ１１４（配信者１１０）の心理を感じ取ることができる。

配信者１１０が表情を変化させるとき、動作検出部１３０は配信者１１０の表情、具体的には、目の大きさ、口の形、眉毛の角度、眉間のシワの深さや方向などを検出する。動作情報生成部１４４は、これらの検出値に基づいて表情を定義する特徴ベクトルを生成する。特徴ベクトルは動作情報の一部となる。配信者１１０が片目をつぶったとき（ウィンク）、視聴キャラクタ表示部１８０は視聴キャラクタ１１４ｂをウィンクさせる。配信キャラクタ１１４ａについても同様である。

このほかにも、舌を出す、口角を上げるなど、さまざまな表情を特徴ベクトル（動作情報）で数値表現することにより、配信者１１０の表情もキャラクタ１１４に反映させることができる。配信者１１０が微笑むときにはキャラクタ１１４も微笑む。配信者１１０が口をすぼめるとキャラクタ１１４も口をすぼめる。配信者１１０の表情とキャラクタ１１４の表情を連動させることにより、視聴者１１２はキャラクタ１１４の存在をいっそう身近に感じることができる。

図９は、視聴者１１２がキャラクタ１１４と握手する前の視聴装置１０８の画面図である。
視聴者１１２が視聴装置１０８の画面（以下、単に「視聴画面」とよぶ）にタッチしたとき、視聴装置１０８の第２手検出部３１８はタッチ地点の座標（以下、「第２手座標３４６」とよぶ）を検出する。配信者１１０が配信装置１０４の画面（以下、単に「配信画面」とよぶ）にタッチしたとき、配信装置１０４の第１手検出部１３４はタッチ地点の座標（以下、「第１手座標３４０」とよぶ）を検出する。視聴装置１０８は第２手座標３４６を配信装置１０４に送信し、配信装置１０４は第１手座標３４０を視聴装置１０８に送信する。視聴画面と配信画面には同一の座標系が設定されているものとする。たとえば、配信画面における第１手座標３４０が（ｘ１，ｙ１）のときには、視聴画面における第１手座標３４０も（ｘ１，ｙ１）となる。第２手座標３４６についても同様である。

視聴装置１０８の手表示部３２４は、第１手座標３４０に第１手３４２を表示させる。第１手３４２は視聴キャラクタ１１４ｂ（配信者１１０）の手を模した画像である。図９においては、視聴キャラクタ１１４ｂの画像とは別に第１手３４２を表示しているが、視聴キャラクタ１１４ｂ本人の手を第１手座標３４０の位置に動かしてもよい。手表示部３２４は、また、視聴者１１２がタッチした地点である第２手座標３４６に第２手３４４を表示させる。第２手３４４は視聴者１１２の手を模した画像である。
配信装置１０４の手表示部１４２も、配信画面に第１手３４２と第２手３４４を表示させる。

配信者１１０と視聴者１１２の双方がそれぞれ配信画面と視聴画面にタッチしているとき「握手可能状態」となる。一方、いずれか一方が画面から手を離すと「握手不能状態」となる。握手可能状態にあるとき、手表示部１４２は、第１手座標３４０と第２手座標３４６の距離（以下、「手距離ｄ」とよぶ）を定期的に計算する。配信装置１０４の手表示部１４２も同様である。

図１０は、視聴者１１２がキャラクタ１１４と握手したときの視聴装置１０８の画面図である。
握手可能状態にあるときであって、手距離ｄが第１閾値以内となったとき、手表示部３２４は第２手３４４と第１手３４２が握手する画像である握手画像３３８を表示させる。すなわち、配信者１１０と視聴者１１２がタッチ状態のまま互いの指（タッチ地点）を近づけることで「握手」が成立する。装飾部３２６は、握手が成立したとき、第１手３４２および第２手３４４の周辺に星型の装飾画像３６０を表示させる。装飾画像３６０は、握手の達成を演出する。

このように、配信者１１０と視聴者１１２がそれぞれのタッチ地点を近づけることにより、視聴キャラクタ１１４ｂ（二次元）と視聴者１１２（三次元）の「次元」を超えた握手が可能となる。会話だけではなく、キャラクタ１１４の手を握った、キャラクタ１１４が手を握ってくれたという感覚を視聴者１１２にもたせることにより、視聴者１１２とキャラクタ１１４の出会いをいっそう盛り上げることができる。
配信装置１０４においても同様の処理方法により、握手画像３３８が表示される。

図１１は、握手の動きを説明するための模式図である。
時刻ｔ１における第１手座標３４０を「第１手座標３４０（ｔ１）」のように表記する。時刻ｔ１においては、第１手座標３４０（ｔ１）と第２手座標３４６（ｔ１）の握手が成立しているものとする。また、第１手座標３４０（ｔ１）と第２手座標３４６（ｔ１）の手距離ｄ（ｔ１）は第２閾値以内であるとする。握手成立後も、手距離ｄが第２閾値以内である限り握手は継続する。

手表示部１４２は、第１手座標３４０（ｔ１）と第２手座標３４６（ｔ１）の中間点である握手点３４８（ｔ１）に握手画像３３８（第１手３４２と第２手３４４）を表示させる。第１手座標３４０と第２手座標３４６が十分に近づけば、第２手座標３４６と第１手座標３４０が完全一致しなくても第１手３４２と第２手３４４の握手は成立する。

次に、時刻ｔ２において第１手座標３４０と第２手座標３４６はそれぞれ変位したとする。時刻ｔ２における手距離ｄ（ｔ２）も第２閾値以内であるとする。握手は維持され、握手点３４８は変位する。握手画像３３８は握手点３４８（ｔ１）から握手点３４８（ｔ２）に移動するため、握手の「動き」が表現される。握手画像３３８が所定距離以上移動したとき、あるいは、握手画像３３８が所定速度以上で移動したとき、装飾部３２６は装飾画像３６０を追加する。このような制御方法によれば、キャラクタ１１４（配信者１１０）と視聴者１１２が息を合わせて第１手３４２と第２手３４４をいっしょに動かすことで、いいかえれば、第１手座標３４０と第２手座標３４６の手距離ｄが第２閾値よりも大きくならないようにお互いの手をタイミングよく動かすことで握手を続けることができる。また、握手を続けるほど多数の装飾画像３６０を出現させることにより、握手の場面を盛り上げることができる。

第１閾値と第２閾値は同一でもよいが、上述したように第１閾値よりも第２閾値を大きく設定してもよい。この場合には、第１手座標３４０と第２手座標３４６を十分に近づけなければ握手できないが、いったん握手できればほどけにくいという操作感を実現できる。このような設定によれば、視聴者１１２はキャラクタ１１４との握手を継続しやすくなる。

なお、配信装置１０４においても同様の表示がなされるため、配信者１１０も視聴者１１２と握手する感覚を共有する。特に、配信者１１０は視聴者表示領域３３６において視聴者１１２の姿や表情を視認できるため、視聴者１１２がキャラクタ１１４と握手をしているときの楽しさや嬉しさを感じとることができる。

図１２は、キャラクタ１１４との会話開始時における視聴装置１０８の画面図である。
視聴者１１２は、会話ブース３０２に入るとき、視聴装置１０８の幕表示部３３０は視聴画面に幕３５０を表示させる。幕３５０により視聴キャラクタ１１４ｂは当初は遮蔽されている。視聴者がキャラクタ１１４を呼びかける、会話ブース３０２への入室を人感センサで検出する、あるいは、配信者１１０からの開幕指示入力がなされる、などを契機として、幕表示部３３０は幕３５０が開く動画像を表示させる。幕３５０の後ろにキャラクタ１１４が表示される。幕３５０が開いてお目当てのキャラクタ１１４が現れる演出により、視聴者１１２とキャラクタ１１４の対面を演出する。

幕表示部３３０は所定の開幕時間をかけて幕３５０を開ける演出を実行する。本実施形態における開幕時間は３秒間である。幕３５０の開幕あるいは閉幕に際しては、視聴装置１０８の出力部１７２は所定のオープニング音楽を流してもよい。

開幕後、会話管理部２９０は会話時間を計測する。制限時間（例：１分間）が経過したとき、会話管理部２９０は幕表示部３３０に指示して幕３５０を閉じさせる。幕表示部３３０は幕３５０が閉じていく動画像を表示させることでキャラクタ１１４を徐々に遮蔽する。幕表示部３３０は所定の閉幕時間をかけて幕３５０を閉じる演出を実行する。本実施形態における閉幕時間は１０秒間であるとする。

開幕時間よりも閉幕時間を長くすることで、視聴者１１２に「名残惜しい気持ち」をいだかせることができる。ゆっくりと閉幕させてキャラクタ１１４を少しずつ隠していくことにより、キャラクタ１１４との別れを惜しむ時間を演出し、キャラクタ１１４に再会したいという気持ちを視聴者１１２に喚起させることができる。幕３５０が完全に閉じるとキャラクタ１１４が隠され、会話時間は終了する。会話時間が終了すると、配信者１１０は視聴装置１０８から出て、次の配信者１１０が会話ブース３０２に入室する。
なお、配信装置１０４にも幕表示部を設け、配信画面においても同様の制御方法により幕３５０を表示してもよい。

図１３は、視聴者１１２がキャラクタ１１４にタッチしたときの視聴装置１０８の画面図である。
視聴者１１２は、握手に限らず、視聴キャラクタ１１４ｂにタッチすることもできる。視聴者１１２は、視聴キャラクタ１１４ｂの頭部にタッチし、頭部をこする操作をすることで、第２手３４４（視聴者１１２の手）で視聴キャラクタ１１４ｂを「撫でる」ことができる。より具体的には、第２手検出部３１８は、タッチに際して第２手座標３４６を検出し、第２手座標３４６の検出地点が視聴キャラクタ１１４ｂの頭部領域にあるかを判定する。頭部領域をタッチしたときであって、第２手座標３４６が往復運動をするとき、第２手検出部３１８は「撫でる」操作がなされていると判定する。

視聴キャラクタ１１４ｂを撫でるとき、装飾部３２６は、頭部付近にハート型の装飾画像３６０を表示させる。視聴キャラクタ１１４ｂを撫でれば撫でるほど、装飾部３２６は多くの装飾画像３６０を表示させる。視聴者１１２は、第２手３４４をつかって視聴キャラクタ１１４ｂを撫でることにより、キャラクタ１１４に対する親愛の情を行動表現できる。視聴キャラクタ表示部１８０は、視聴者１１２が視聴キャラクタ１１４ｂの頭部を撫でたとき、視聴キャラクタ１１４ｂの動作と表情を変化させる。たとえば、眼を閉じる、微笑む、くすぐったがる、肩をすくめるなどの動作や表情により、撫でる操作に対するキャラクタ１１４のリアクションを表現する。

このほかにも、視聴者１１２は視聴キャラクタ１１４ｂの頬にタッチしてスワイプすることにより、視聴キャラクタ１１４ｂの頬を引っ張るアクションを実行してもよい。また、眼や胸のように、視聴キャラクタ１１４ｂに触ってはいけない領域（以下、「不適切領域」とよぶ）を設定してもよい。視聴者１１２が第２手３４４により不適切領域をタッチしたときには、会話管理部２９０は会話の制限時間を短縮してもよいし、会話を打ち切って閉幕させてもよい。会話管理部２９０は不適切領域へのタッチが検出されるごとに会話時間を短縮するとしてもよい。装飾部３２６は、不適切領域へのタッチが検出されたときには警告を示す装飾画像３６０を表示させてもよい。このような制御方法によれば、視聴者１１２は視聴キャラクタ１１４ｂを無分別にタッチしなくなるため、視聴者１１２にキャラクタ１１４の人格を尊重する気持ちをもたせることができる。視聴者１１２がキャラクタ１１４を不快にさせないように関わろうとすることは、キャラクタ１１４の実在感をいっそう高めることに寄与する。

上述したように会話時間の終了時には幕３５０がゆっくりと閉幕する。視聴者１１２は幕３５０の向こうに消えていくキャラクタ１１４を幕３５０の隙間からタッチすることで名残惜しい気持ちを行動表現できる。

図１４は、キャラクタ１１４にグッズをプレゼントしたときの処理過程を示すシーケンス図である。
視聴者１１２は、お気に入りのキャラクタ１１４のためにグッズをプレゼントすることもできる。イベント会場では、花束、帽子、リボン、お菓子などさまざまなグッズ（物理オブジェクト）が販売されている。これらのグッズは物理的実体であり、グッズＩＤを記録したタグが貼付されている。このタグはＲＦＩＤ（Radio Frequency IDentifier）タグでもよいし、ＱＲコード（登録商標）を記録したシールであってもよい。

視聴者１１２は、購入したグッズをプレゼントボックス３０６に投入することで、キャラクタ１１４にグッズをプレゼントする。オブジェクト投入部３２０は、まず、検出装置３１０によりグッズの通過を検出する（Ｓ３０）。オブジェクト特定部３２２はグッズＩＤを光学的に読み取る（Ｓ３２）。視聴装置１０８の送信部１８６は、グッズＩＤをサーバ１０２に送信する（Ｓ３４）。サーバ１０２の通信部１５２は、グッズ画像（仮想オブジェクト）のデータを配信装置１０４と視聴装置１０８に送信する（Ｓ３６、Ｓ３７）。

配信装置１０４のオブジェクト表示部３１４は、グッズ画像を配信画面に表示させる（Ｓ３８）。同様にして、視聴装置１０８のオブジェクト表示部３２８は、グッズ画像を視聴画面に表示させる（Ｓ４０）。サーバ１０２のライブ制御部１５４は、プレゼントされたグッズについて、グッズＩＤ、提供日時、提供した視聴者１１２のユーザＩＤと提供された配信者１１０（キャラクタ１１４）のキャラクタＩＤを対応づけて購入履歴として登録する（Ｓ４２）。以上の処理過程により、視聴者１１２からキャラクタ１１４にグッズがプレゼントされる。

図１５は、キャラクタ１１４にグッズを提供したときの視聴装置１０８の画面図である。
視聴者１１２は、帽子（物理的実体としてのグッズ）を購入し、これをキャラクタ１１４にプレゼントしたとする。このとき、オブジェクト表示部３１４は帽子画像２１２（仮想的実体としてのグッズ画像）を表示させる。図１５においては、視聴キャラクタ１１４ｂはプレゼントされた帽子画像２１２をかぶっている。視聴者１１２は、自分がプレゼントした帽子をキャラクタ１１４が着用してくれれば、自分の真心がキャラクタ１１４に通じたかのような満足感を味わえる。３次元の帽子が２次元の帽子画像２１２に変換されるため、視聴者１１２はキャラクタ１１４との「次元を超えたつながり」をいっそう感じることができる。また、視聴者１１２は、グッズをプレゼントすることにより、お気に入りのキャラクタ１１４のファッションの変化を楽しむことができる。視聴者１１２は、同時に複数種類のグッズをキャラクタ１１４にプレゼントしてもよい。

グッズの購入金額の一部はキャラクタ１１４を演じる配信者１１０に配分される。また、実際に購入されたグッズは配信者１１０に与えられてもよい。視聴者１１２はグッズを購入することでキャラクタ１１４に対する愛情や応援する気持ちを表現できる。グッズ収入をインセンティブとすることにより、配信者１１０にも会話力向上など「愛されるための努力」を促すことができる。

図１６は、デジタルサイネージ装置３００の外観図である。
デジタルサイネージ装置３００は、不特定多数の通行者を対象とした大型の広告表示装置である。本実施形態におけるデジタルサイネージ装置３００は、駅や広場などに立てられる自立型の構造物であるとして説明する。

図１に関連して説明したように、デジタルサイネージ装置３００はサーバ１０２と接続される。デジタルサイネージ装置３００は、配信者１１０（キャラクタ１１４）と視聴者１１２の会話をライブ中継する。デジタルサイネージ装置３００のには、視聴装置１０８と同様の表示形式にてキャラクタ１１４が表示される。画面下部には会話表示領域３６２が設けられ、第１メッセージ（配信者１１０の音声）と第２メッセージ（視聴者１１２の音声）はいずれもテキスト表示される。通行者は、デジタルサイネージ装置３００を視認することにより、キャラクタ１１４（配信者１１０）と視聴者１１２の会話を楽しむことができる。デジタルサイネージ装置３００で会話を公開することは、配信者１１０にとってもキャラクタ１１４の魅力を多くの人にアピールする機会となる。ただし、視聴者１１２とキャラクタ１１４の会話をデジタルサイネージ装置３００にて公開する場合には、視聴者１１２の承諾を取ることが必須条件である。

図１７は、デジタルサイネージ装置３００の機能ブロック図である。
デジタルサイネージ装置３００は、通信部３５２、表示部３５４およびデータ処理部３５６を含む。
通信部３５２は、通信処理を担当する。表示部３５４は画像を表示する。データ処理部３５６は、通信部３５２により取得されたデータに基づいて各種処理を実行する。データ処理部３５６は、通信部３５２および表示部３５４のインタフェースとしても機能する。

通信部３５２は、送信部３５８と受信部３６８を含む。

データ処理部３５６は、文字変換部３６６を含む。サーバ１０２のライブ制御部１５４は第１メッセージと第２メッセージをデジタルサイネージ装置３００にも送信する。文字変換部３６６は、第１メッセージおよび第２メッセージを音声から文字列（テキスト）に変換する。

表示部３５４は、キャラクタ表示部３７０とメッセージ表示部３６４を含む。キャラクタ表示部３７０は、サーバ１０２から動作情報を受信し、キャラクタ１１４を表示させる。メッセージ表示部３６４は文字変換された各種メッセージを会話表示領域３６２に表示させる。

＜総括＞
以上、実施形態に基づいて、ライブ通信システム１００について説明した。
本実施形態によれば、会話ブース３０２において、視聴者１１２はキャラクタ１１４と１対１の会話を楽しめるだけでなく、「握手」を模した操作をできるため、視聴者１１２とキャラクタ１１４（配信者１１０）の親密度をいっそう高めることができる。配信者１１０と視聴者１１２が同時に画面にタッチし、かつ、二人が指を近づけることで握手が成立する。握手を成立させるためには視聴者１１２とキャラクタ１１４（配信者１１０）には暗黙の意思疎通が必要となる。握手が成立したときに配信者１１０はキャラクタ１１４と呼吸が合ったかのような、意思が疎通したかのような独特の感覚をもつことができる。

また、握手が成立したとき、キャラクタ１１４（配信者１１０）と視聴者１１２はお互いの指が離れすぎないように動かすことで握手を揺らすことができる。握手を揺らすほど、多数の装飾画像３６０が表示される。視聴者１１２とキャラクタ１１４（配信者１１０）が息を合わせて握手を継続することで、視聴者１１２はキャラクタ１１４に対する親近感をいっそう高めることができる。

本実施形態においては、幕３５０によって会話の開始と終了を演出する。幕３５０が開いてキャラクタ１１４を登場させることにより、キャラクタ１１４と１対１で会話できる貴重な機会に対する視聴者１１２の期待感を効果的に高めることができる。また、会話終了時には幕３５０はゆっくりと閉まるので、キャラクタ１１４と別れることの名残惜しさを演出できる。視聴者１１２は、幕３５０によって隠されていくキャラクタ１１４に対して最後になにか伝えようという気持ちになりやすい。また、この名残惜しさがキャラクタ１１４との再会を望む気持ちを視聴者１１２に喚起させることができる。

視聴者１１２は、キャラクタ１１４本人にタッチすることにより、握手以外のスキンシップを楽しむことができる。一方、視聴者１１２がキャラクタ１１４の不適切領域をタッチしたときには会話時間短縮などのペナルティが与えられる。配信者１１０は、以後、不適切行為をした視聴者１１２との握手を拒否することで「拒否感」を表現してもよい。このような制御方法によれば、相手の人格性を尊重したキャラクタ１１４との関わり方を視聴者１１２に促すことができる。

デジタルサイネージ装置３００において、キャラクタ１１４と視聴者１１２の会話をライブ中継または録画表示することにより、キャラクタ１１４とのライブ通信会話に興味を持たない、あるいは、ライブ通信会話を知らなかったユーザにも、ライブ通信システム１００の魅力を広く伝えることができる。また、配信者１１０にとっても、キャラクタ１１４の容姿や会話力を広くアピールできる機会となるため、配信者１１０という仕事に対する誇りを高める上でもデジタルサイネージ装置３００は有用と考えられる。

視聴者１１２は、グッズを購入し、これをキャラクタ１１４にプレゼントできる。視聴装置１０８にはグッズ（三次元オブジェクト）に対応するグッズ画像（二次元オブジェクト）が表示される。このため、仮想の世界の住人であるキャラクタ１１４に対して、実在の世界のグッズをプレゼントすることで、視聴者１１２にはキャラクタ１１４に対する親愛の情を示す機会が提供される。

なお、本発明は上記実施形態や変形例に限定されるものではなく、要旨を逸脱しない範囲で構成要素を変形して具体化することができる。上記実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることにより種々の発明を形成してもよい。また、上記実施形態や変形例に示される全構成要素からいくつかの構成要素を削除してもよい。

［変形例］
＜手あそび＞
図１８は、キャラクタ１１４との手遊びをするときの視聴装置１０８の画面図である。
本実施形態においては、配信者１１０と視聴者１１２はそれぞれ配信画面と視聴画面にタッチすることで第１手３４２と第２手３４４を表示させるとして説明した。変形例として、配信画面等へのタッチではなく、画像認識により配信者１１０と視聴者１１２の手の位置を検出してもよい。配信者１１０と視聴者１１２は、たとえば、白い手袋を嵌めてもよい。この場合には、第１手検出部１３４および第２手検出部３１８は、撮像画像から配信者１１０と視聴者１１２の手の位置をより確実に認識しやすくなる。

第１手検出部１３４は配信者１１０の手を画像認識により検出し、手の検出位置に基づいて第１手座標３４０を特定する。撮像画像に映る物体の位置を画面に投影することで画面上の座標に変換する技術は既知技術の応用により可能である。同様にして、第２手検出部３１８は視聴者１１２の手の位置を画像認識により検出し、第２手座標３４６を特定する。

第１手検出部１３４は、配信者１１０の手の位置だけでなく手の形状（手指の状態）を画像認識する。第２手検出部３１８も、視聴者１１２の手の形状を画像認識する。手表示部１４２等は、配信者１１０および視聴者１１２それぞれの手の形状に基づいて第１手３４２および第２手３４４の手の形状を変化させる。このような制御方法によれば、たとえば、視聴者１１２はキャラクタ１１４（配信者１１０）との「じゃんけん」のような手遊びを楽しむこともできる。

視聴者１１２の顔の向きは配信者１１０から視認できる。配信者１１０の顔の向きはキャラクタ１１４の動作として反映される。手の形状だけでなく顔の向きも相互認識できれば「あっち向いてホイ」のような体をつかった遊びも可能である。手遊びの勝敗は配信者１１０と視聴者１１２が自主的に判断してもよいし、サーバ１０２に「勝敗判定部」を設けてもよい。勝敗判定部は、たとえば、じゃんけんの場合には配信者１１０の手の形状と視聴者１１２の手の形状それぞれから「グー」「チョキ」「パー」を認識し、キャラクタ１１４（配信者１１０）と視聴者１１２のどちらが勝ったかを判定する。

また、勝敗に応じて、視聴者１１２にメリットまたはデメリットを与えてもよい。たとえば、手遊びに勝てば会話時間を延長してもよいし、視聴者１１２に頼まれたセリフをキャラクタ１１４（配信者１１０）が発話するとしてもよいし、キャラクタ１１４にキーホルダーなどのノベルティを与えるとしてもよい。

＜キャラクタ１１４との撮影＞
配信者１１０はキャラクタ１１４と記念撮影をしてもよい。視聴装置１０８の撮像部３１６は視聴者１１２を撮像する。視聴装置１０８のデータ処理部１６６は「画像生成部」を備えてもよい。画像生成部は、視聴者１１２の撮像画像とキャラクタ１１４を合成することで２ショットの記念写真を生成する。視聴装置１０８の送信部１８６は、記念写真を視聴者１１２の携帯端末に送信してもよい。

記念写真に限らず動画撮影によるショートムービーを作成してもよい。視聴者１１２は、記念撮影にあたってキャラクタ１１４にポーズを要求してもよいし、言ってほしいセリフを求めてもよい。キャラクタ１１４の動画像と視聴者１１２の撮像画像（動画像）を組み合わせて視聴者１１２とキャラクタ１１４が映るショートムービーを来場記念として視聴者１１２にプレゼントしてもよい。

＜手の動かし方＞
視聴者１１２がキャラクタ１１４をタッチしたときの手の動かし方によって、キャラクタ１１４への関わり方を表現してもよい。たとえば、視聴者１１２が視聴画面をタッチしたまま手をゆっくりと左右に動かすときには第２手３４４によりやさしくキャラクタ１１４を撫でている様子を表現してもよい。具体的には、第２手検出部３１８は視聴者１１２の手の動きを検出し、手の動く速度が所定範囲内であれば「撫でる」と判定してもよい。また、視聴者１１２が手をすばやく動かすときには、第２手３４４がキャラクタ１１４を叩いている様子を表現してもよい。この場合には、不適切行為としてキャラクタ１１４にペナルティを与えてもよい。キャラクタ１１４へのタッチ箇所だけでなくタッチ方法によって、装飾部３２６はさまざまな装飾画像３６０を画面表示させてもよい。

＜その他＞
ライブ制御部１５４は、不適切行為をしたキャラクタ１１４をブラックリストに登録してもよい。ライブ制御部１５４は、キャラクタ１１４に会いに来た視聴者１１２、視聴者１１２から提供されたグッズのほか、視聴者１１２による不適切行為の有無を登録してもよい。会話の開始にあたっては、ライブ制御部１５４は配信者１１０に対して視聴者１１２に関する各種の属性情報を送信して提示する。配信者１１０はこの属性情報を参照することにより、初めて会いに来た視聴者１１２なのか、前回プレゼントをくれた視聴者１１２なのかなどさまざまな個人情報を確認できるため、多種多様な視聴者１１２（ファン）に対して適切な対応が可能となる。たとえば、前回の会話のときに帽子をくれた視聴者１１２であれば、帽子をくれたお礼をすることによりこの視聴者１１２はキャラクタ１１４が自分を覚えてくれていたことを知って安心するかもしれない。

同様にして、不適切行為（不適切領域へのタッチや不愉快な発言など）をしたことのある視聴者１１２に対しては、キャラクタ１１４（配信者１１０）は握手拒否や会話時間の短縮などにより視聴者１１２に不快感を伝えることができる。このような方法によれば、キャラクタ１１４（アイドル）に対する視聴者１１２（ファン）のマナーが醸成されていくため、視聴者１１２のキャラクタ１１４を一人格として尊重する気持ちを高めやすくなる。また、こういったマナーはキャラクタ１１４の実在感や重要感をいっそう高め点においても有効であると考えられる。

本実施形態においては、キャラクタ１１４の画像とは別に第１手３４２を表示するとして説明した。手表示部３２４等はキャラクタ１１４そのものを動かすことで視聴者１１２とキャラクタ１１４の握手を表現してもよい。また、視聴者１１２がキャラクタ１１４の手をタッチすることで握手を成立させてもよい。

視聴装置１０８の出力部１７２は、握手が成立したとき効果音を出力してもよいし、内蔵バイブレータにより視聴者１１２に触感を与えてもよい。また、出力部１７２は、会話ブース３０２に設置される照明装置（図示せず）を操作して、握手が成立したときに照明光量や照明色を変化させることで握手を演出してもよい。出力部１７２は、効果などの演出をキャラクタ１１４ごと、あるいは、握手の回数や時間ごとに異ならせてもよい。装飾部３２６はキャラクタ１１４ごとに複数種類の装飾画像３６０を表示してもよい。

配信装置１０４は「文字変換部」を備えてもよい。配信装置１０４の文字変換部は第１メッセージ（音声）と第２メッセージ（音声）を文字変換し、配信画面に表示させてもよい。このような制御方法によれば配信者１１０は視聴者１１２との会話内容を確認しながら会話を続けることができる。ライブ制御部１５４は、キャラクタ１１４（配信者１１０）と視聴者１１２の会話を文字情報として記録しておき、会話開始時においては配信者１１０に過去の会話記録を提供してもよい。過去の会話記録を提供することにより配信者１１０は多数の視聴者１１２に対してきめ細かい対応をしやすくなる。

本実施形態においては握手について説明したが、握手に限らず手合わせやハイタッチをしてもよい。視聴者１１２は視聴画面に手のひらを載せる。配信者１１０も配信画面に手のひらを載せる。二人の手座標が所定範囲内に近づいたとき、手表示部３２４等は手合わせやハイタッチなどのアニメーションを表示させてもよい。このときにも、装飾部３２６は装飾画像３６０を表示させてもよい。

＜他の応用例＞
ライブ通信システム１００は、無人店舗による接客にも利用できる。たとえば、現在、コンビニエンスストアなどで普及しつつあるセルフレジに視聴装置１０８を設置してもよい。遠隔地にいる店員（配信者１１０）はキャラクタ１１４として来店者（視聴者１１２）と対話する。来店者はキャラクタ１１４と対話しながら買い物を楽しむことができる。また、服などの買い物についてキャラクタ１１４（配信者１１０）からアドバイスを受けてもよい。ライブ通信システム１００を応用すれば、来店者は無人店舗であっても接客の温かみを感じることができる。また、配信者１１０を店舗に常駐させる必要がないため、店舗側としても運営負担を軽減できるメリットがある。

店舗に限らず、老人ホームや幼稚園など、遠隔地からのキャラクタ１１４を介した会話サービスも考えられる。キャラクタ１１４という非日常性と配信者１１０の実在感を融合させることにより、キャラクタ１１４を相手とする気安さと配信者１１０の人格性を融合させる。配信者１１０は同時に複数の視聴者１１２に対して接客できることもメリットである。

ライブ通信システム１００を使った遠隔授業も考えられる。たとえば、英語教師が配信者１１０となり、生徒が視聴者１１２となる。配信者１１０（英語教師）はキャラクタ１１４として視聴者１１２（生徒）に遠隔地から英語レッスンサービスを提供してもよい。

ライブ通信システム１００により、キャラクタ１１４同士のディスカッションも可能である。たとえば、ユーザＸはキャラクタ１１４ｘを演じ、ユーザＹはキャラクタ１１４ｙを演じるとする。ユーザＸの通信端末にはキャラクタ１１４ｙが表示され、ユーザＹの通信端末にはキャラクタ１１４ｘが表示される。このような制御方法によれば、ユーザＸとユーザＹはお互いにキャラクタ１１４という「仮面」をかぶった状態で匿名的な会話を楽しむことができる。このほかにも遠隔宴会（合同コンパ）なども考えられる。ユーザはキャラクタ１１４を介して出会うため容姿ではなく人格本位の会話ができる可能性がある。

１００ ライブ通信システム、１０２ サーバ、１０４ 配信装置、１０６ インターネット、１０８ 視聴装置、１１０ 配信者、１１２ 視聴者、１１４ キャラクタ、１１４ａ 配信キャラクタ、１１４ｂ 視聴キャラクタ、１１６ ユーザインタフェース処理部、１１８ 撮像部、１２０ データ処理部、１２２ 通信部、１２４ データ格納部、１２６ 入力部、１２８ 出力部、１３０ 動作検出部、１３２ 第１メッセージ取得部、１３４ 第１手検出部、１３８ 配信キャラクタ表示部、１４０ 第２メッセージ出力部、１４２ 手表示部、１４４ 動作情報生成部、１４８ 送信部、１５０ 受信部、１５２ 通信部、１５４ ライブ制御部、１５６ データ格納部、１５８ キャラクタ格納部、１６２ ユーザインタフェース処理部、１６４ 通信部、１６６ データ処理部、１６８ データ格納部、１７０ 入力部、１７２ 出力部、１７４ 第２メッセージ取得部、１８０ 視聴キャラクタ表示部、１８２ 第１メッセージ出力部、１８６ 送信部、１９０ 受信部、１９６ 視聴者会話画面、２０６ 配信者会話画面、２０８ カメラ、２１２ 帽子画像、２９０ 会話管理部、３００ デジタルサイネージ装置、３０２ 会話ブース、３０４ カメラ、３０６ プレゼントボックス、３０８ 投入口、３１０ 検出装置、３１２ 装飾部、３１４ オブジェクト表示部、３１６ 撮像部、３１８ 第２手検出部、３２０ オブジェクト投入部、３２２ オブジェクト特定部、３２４ 手表示部、３２６ 装飾部、３２８ オブジェクト表示部、３３０ 幕表示部、３３２ ライブ画像出力部、３３４ キャラクタ表示領域、３３６ 視聴者表示領域、３３８ 握手画像、３４０ 第１手座標、３４２ 第１手、３４４ 第２手、３４６ 第２手座標、３４８ 握手点、３５０ 幕、３５２ 通信部、３５４ 表示部、３５６ データ処理部、３５８ 送信部、３６０ 装飾画像、３６２ 会話表示領域、３６４ メッセージ表示部、３６６ 文字変換部、３６８ 受信部、３７０ キャラクタ表示部、ｄ 手距離

Claims (10)

1. 配信者により操作される配信装置と視聴者により操作される視聴装置を含み、
   前記配信装置は、
   配信者を撮像する撮像部と、
   配信者の撮像画像から、配信者の動作の特徴を示す動作情報を生成する動作情報生成部と、
   配信者の手の位置に対応する第１手座標を検出する第１手検出部と、
   配信者から第１メッセージを受け付ける第１メッセージ取得部と、
   前記動作情報、前記第１手座標および前記第１メッセージを送信する送信部と、を備え、
   前記視聴装置は、
   前記動作情報、前記第１手座標および前記第１メッセージを受信する受信部と、
   視聴者の手の位置に対応する第２手座標を検出する第２手検出部と、
   前記視聴装置の画面にキャラクタを動画表示させ、前記動作情報に応じて前記キャラクタを動作させる視聴キャラクタ表示部と、
   前記キャラクタの動作に合わせて前記第１メッセージを出力する第１メッセージ出力部と、
   前記第１手座標および前記第２手座標に基づいて、配信者の手画像である第１手および視聴者の手画像である第２手を前記視聴装置の画面に表示させる手表示部と、を備え、
   前記配信装置の前記第１手検出部は、前記配信装置の画面に配信者がタッチしたときのタッチ地点に基づいて前記第１手座標を検出し、
   前記視聴装置の前記第２手検出部は、前記視聴装置の画面に視聴者がタッチしたときのタッチ地点に基づいて前記第２手座標を検出し、
   前記視聴装置の前記手表示部は、前記第１手座標と前記第２手座標の距離が第１の閾値以内であるとき、第１手と第２手の握手を表示させることを特徴とするライブ通信システム。
2. 前記視聴装置は、
   第１手と第２手が握手をするとき、装飾画像を表示させる装飾部、を更に備えることを特徴とする請求項１に記載のライブ通信システム。
3. 前記視聴装置の手表示部は、第１手および第２手が握手するときには、前記第１手座標および前記第２手座標の中間に第１手と第２手の握手を表示させ、
   前記視聴装置の装飾部は、握手の位置が変化するときに装飾画像を追加し、
   前記視聴装置の手表示部は、握手の開始後、前記第１手座標と前記第２手座標の距離が第２の閾値よりも離れたとき第１手と第２手の握手を解消することを特徴とする請求項２に記載のライブ通信システム。
4. 前記視聴装置は、前記視聴者から第２メッセージを受け付ける第２メッセージ取得部、を更に備え、
   前記配信装置は、
   前記第２メッセージを受信する受信部と、
   前記第２メッセージを前記配信者に対して出力する第２メッセージ出力部と、を更に備え、
   前記視聴装置は、
   前記キャラクタを介した配信者と視聴者の会話の開始に際して前記キャラクタを遮蔽する幕を除去し、会話の終了に際して前記幕により前記キャラクタを遮蔽する幕表示部、を更に備え、
   前記幕表示部は、幕の除去よりも遮蔽に要する時間を長く設定することを特徴とする請求項１から３のいずれかに記載のライブ通信システム。
5. 前記視聴装置の前記視聴キャラクタ表示部は、視聴者が前記視聴装置の画面において前記キャラクタをタッチしたとき、前記キャラクタのタッチ部位およびタッチ態様の双方または一方に応じて前記キャラクタの反応を変化させることを特徴とする請求項１から４のいずれかに記載のライブ通信システム。
6. 前記視聴装置は、前記キャラクタを介した配信者と視聴者の会話中において、前記キャラクタの所定部位をタッチしたときには、配信者と視聴者の会話時間を短縮する会話管理部、を更に備えることを特徴とする請求項１から５のいずれかに記載のライブ通信システム。
7. 前記配信装置の前記第１手検出部は、更に、配信者の手指の状態を検出し、
   前記配信装置の前記送信部は、更に、配信者の手指の状態を示す手指情報を前記視聴装置に送信し、
   前記視聴装置の前記第２手検出部は、更に、視聴者の手指の状態を検出し、
   前記視聴装置の前記手表示部は、配信者の手指情報に基づいて第１手を変化させるとともに視聴者の手指の状態に基づいて第２手を変化させることを特徴とする請求項１から６のいずれかに記載のライブ通信システム。
8. デジタルサイネージ装置を更に備え、
   前記デジタルサイネージ装置は、
   音声としての前記第１メッセージ、視聴者による音声としての第２メッセージおよび前記動作情報を受信する受信部と、
   前記第１メッセージおよび前記第２メッセージを文字変換する文字変換部と、
   デジタルサイネージ画面にキャラクタを動画表示させ、前記動作情報に応じて前記キャラクタを動作させるキャラクタ表示部と、
   文字変換後の第１メッセージおよび第２メッセージを前記デジタルサイネージ画面に表示させるメッセージ表示部と、を備えることを特徴とする請求項１から７のいずれかに記載のライブ通信システム。
9. 前記視聴装置は、
   視聴者による物理オブジェクトの投入を検出するオブジェクト投入部と、
   前記投入された物理オブジェクトのＩＤを検出するオブジェクト特定部と、
   前記検出されたＩＤに対応する仮想オブジェクトを前記視聴装置の画面に表示させるオブジェクト表示部と、を更に備えることを特徴とする請求項１から８のいずれかに記載のライブ通信システム。
10. 配信者を撮像する機能と、
    配信者の撮像画像から、配信者の動作の特徴を示す動作情報を生成する機能と、
    配信装置の画面に配信者がタッチしたときのタッチ地点に基づいて、配信者の手の位置に対応する第１手座標を検出する機能と、
    配信者から第１メッセージを受け付ける機能と、
    前記動作情報、前記第１手座標および前記第１メッセージを送信する機能と、を前記配信装置において発揮させる第１のプログラムと、
    前記動作情報、前記第１手座標および前記第１メッセージを受信する機能と、
    視聴装置の画面に視聴者がタッチしたときのタッチ地点に基づいて、視聴者の手の位置に対応する第２手座標を検出する機能と、
    前記視聴装置の画面にキャラクタを動画表示させ、前記動作情報に応じて前記キャラクタを動作させる機能と、
    前記キャラクタの動作に合わせて前記第１メッセージを出力する機能と、
    前記第１手座標および前記第２手座標に基づいて、配信者の手画像である第１手および視聴者の手画像である第２手を前記視聴装置の画面に表示させる機能と、
    前記第１手座標と前記第２手座標の距離が第１の閾値以内であるとき、第１手と第２手の握手を表示させる機能と、を視聴装置において発揮させる第２のプログラムと、を含むことを特徴とするライブ通信プログラム。

Images