JP6227459B2 - 遠隔操作方法ならびにシステムならびにそのユーザ端末および視聴端末 - Google Patents

Description

本発明は、各視聴者のユーザ端末でTV、セット・トップ・ボックス（Set Top Box：STB）、カーナビまたはデジタルフォトフレームなどの複数人に共用される視聴端末を遠隔操作するシステムならびにそのユーザ端末および視聴端末に係り、特に、キャラクタ対話型UIを用いることで操作対象端末の相違をユーザに意識させることなく、統一的な方式で遠隔操作できる遠隔操作方法ならびにシステムならびにそのユーザ端末および視聴端末に関する。

テレビなどの複数人に共用される視聴端末を遠隔操作する装置として赤外線リモコンが一般に普及している。しかしながら、赤外線リモコンでは、その発光部が視聴端末の受光部に向いてない場合、受光部に蛍光灯などの強い照明光が当たっている場合、リモコンと視聴端末との間に障害物がある場合などに操作の反応が悪くなることがある。

また、リモコンの高機能化につれて操作が煩雑になり、さらに視聴端末ごとにリモコンのボタン位置や操作方法が統一されていないので、複数台の視聴端末を操作するユーザには戸惑いが生じ得る。

一方、近年になって視聴端末へのWi-FiやBluetooth（登録商標）の搭載が進み、スマートフォンやタブレット端末などのユーザ端末との連携が実現可能となった。

特許文献１には、ユーザが発声した音声を認識し、視聴端末の制御コードに変換する技術が開示されている。

特許文献２には、Bluetooth（登録商標）通信方式を利用し、携帯電話と視聴端末との間でコンテンツの再生時刻を連動させる携帯リモコンによる再生技術が開示されている。

特許文献３には、視聴端末の画面領域を携帯電話と関連づけて記憶しておき、携帯電話から視聴端末に無線接続すると、割り当てられた画面領域を携帯リモコンから操作できる技術が開示されている。

特許文献４には、テレビや、ビデオプレイ、MACコンピュータ、タブレットなど、異なる機器に対して難しい操作をしなくても使えるユニバーサルリモコンの技術が開示されている。

特許文献５には、擬人化されたキャラクタを複数の端末で表示させながら、ユーザと対話してタスクを実行するエージェントソフトウェアが開示されている。このエージェントソフトウェアは、キャラクタの表示機能、音声認識エンジン、デバイス制御のためのスクリプトおよびそれを解釈する実行部を備え、他端末を遠隔操作時に前記ソフトウェア自身を主端末から他端末にインストールして実行することで、異なる端末上で同じ動作を実現できるようになる。

特開2006-350221号公報 特開2009-43309号公報 特開2009-27485号公報 United States Patent Application No.20120019371 特開2006-154926号公報

特許文献１では、リモコンに対して電源のON/OFF、再生、早送り等の音声を発話すると視聴端末を遠隔制御できるが、どの画面でどの操作を可能にするか、どの音声命令を発話すればよいか等はユーザが記憶しておく必要がある。

特許文献２、３では、Wi-FiやBluetooth（登録商標）などの無線通信方式を使って視聴端末をアプリケーションから遠隔操作できるが、視聴端末の同異にかかわらず統一的で簡単に操作できるUIの実現は困難である。

特許文献４は、ハードウェアからソフトウェア、オペレーティングシステムまで全体を統合的に開発する強みを持っているアップル社の技術であるが、特許文献２、３と同様に、視聴端末の同異にかかわらず統一的で簡単に操作できるUIの実現は容易ではない。実際にも、Apple TV操作用のiPhone（登録商標）版リモコンとiPad（登録商標）版リモコンのUIとには違いが多く存在し、ITリテラシの低いユーザにとっては戸惑いを感じる声もあった。

さらに、上記の各先行技術はいずれもリモコン操作の範疇に留まっており、多様な機器をいかに統一的で簡単に操作できるか、異なる視聴端末を跨いてユーザの生活習慣や好みを踏まえた機能・コンテンツ推薦がいかに実現できるか、などの課題を残している。

一方、特許文献５では、キャラクタの表示部、音声認識エンジン、デバイス制御のためのスクリプトおよびそれを解釈する実行部などから構成されるエージェントソフトウェアがすべて端末間に転送されるので遅延が大きい。また、異なる機器の操作はモバイル端末から転送されたスクリプトで共通化できるが、一元管理されたユーザプロファイルに基づいたパーソナライズサービスの提供は実現できない。

本発明の目的は、上記の技術課題を解決し、複数人に時分割で共用される視聴端末を、各人の一元化されたユーザプロファイルに基づいて固有の応答を返す対話エージェントとの会話形式で遠隔操作する遠隔操作方法ならびにシステムならびにそのユーザ端末および視聴端末を提供することにある。

上記の目的を達成するために、本発明は、対話エージェントを模したキャラクタをユーザ端末から遠隔操作対象の視聴端末へディスプレイ上で移動させてキャラクタ対話方式で遠隔操作する遠隔操作方法ならびにシステムならびにそのユーザ端末および視聴端末において、以下のような手段を講じた点に特徴がある。

(1)本発明のユーザ端末は、視聴端末との間に無線接続を確立する無線通信手段と、ユーザプロファイルを蓄積する手段と、ユーザプロファイルを視聴端末へ提供する手段と、ユーザの音声を検出して発声内容を理解する手段と、前記発声内容を視聴端末へ提供する手段と、ユーザの発声内容およびユーザプロファイルに基づいて応答内容を決定する手段と、前記応答内容に基づいて音声メッセージを出力する音声応答手段と、キャラクタのアニメーションを前記応答内容に応じて制御する第１アニメーション制御手段と、ユーザプロファイルの更新情報を視聴端末から取得する手段と、前記更新情報に基づいてユーザプロファイルを更新する手段とを具備した。

(2)本発明のユーザ端末は、キャラクタのジャンプインおよびジャンプアウトのアニメーションを制御する第２アニメーション制御手段をさらに具備し、ユーザプロファイルがキャラクタのジャンプアウト演出を伴って視聴端末へ提供され、ユーザプロファイルの更新情報がキャラクタのジャンプイン演出を伴って視聴端末から取得されるようにした。

(3)本発明の視聴端末は、ユーザ端末との間に無線接続を確立する無線通信手段と、ユーザ端末からユーザプロファイルを取得する手段と、取得したユーザプロファイルを蓄積する手段と、ユーザの発声内容およびユーザプロファイルに基づいて応答内容を決定する手段と、応答内容に基づいて音声メッセージを出力する手段と、キャラクタのアニメーションを前記応答内容に応じて制御する第１アニメーション制御手段と、前記応答内容に基づいて前記ユーザプロファイルを更新する手段と、前記応答内容に基づいて視聴サービスを制御する手段と、ユーザプロファイルの更新情報をユーザ端末へ提供する手段とを具備した。

(4)本発明の視聴端末は、キャラクタのジャンプインおよびジャンプアウトのアニメーションを制御する第２アニメーション制御手段をさらに具備し、ユーザプロファイルがキャラクタのジャンプイン演出を伴ってユーザ端末から取得され、ユーザプロファイルの更新情報がキャラクタのジャンプアウト演出を伴ってユーザ端末へ提供されるようにした。

(5)本発明の遠隔操作方法は、ユーザ端末が既登録のユーザプロファイルを遠隔操作対象の視聴端末へ提供する手順と、視聴端末に実装された対話エージェントが、前記提供されたユーザプロファイルに基づいて会話形式で各遠隔操作要求に対して固有の応答を出力する手順と、視聴端末が、前記会話内容に応じて前記提供されたユーザプロファイルを更新する手順と、視聴端末が、更新後のユーザプロファイルをユーザ端末に送信する手順と、ユーザ端末が、前記更新後のユーザプロファイルに基づいて自身のユーザプロファイルを更新する手順とを含むようにした。

本発明によれば、以下のような効果が達成される。

(1) ユーザ端末に登録されているユーザプロファイルが遠隔操作対象の視聴端末に提供され、視聴端末では対話エージェントが前記提供されたユーザプロファイルに基づいて会話形式で各遠隔操作に対して固有の応答を返す一方、会話内容に応じて前記ユーザプロファイルを更新し、遠隔操作が完了すると更新後のユーザプロファイルをユーザ端末に戻して既登録のユーザプロファイルが更新されるので、複数の視聴端末をユーザごとに一元管理された最新のユーザプロファイルに基づいて遠隔操作できるようになる。

(2) ユーザと仮想的に対話する一のキャラクタが、操作対象となる視聴端末の切り替えに応答して各端末のディスプレイ間を移動して操作対象機器のディスプレイ上に出現するので、ユーザは操作対象にかかわらず、ディスプレイ上に表示された共通のキャラクタとの対話形式で遠隔操作を要求できる。したがって、ユーザは視聴端末の同異を意識せずに統一的な手法で各機器を遠隔操作できるようになる。

本発明による遠隔操作方法の概要を模式的に表現した図である。 本発明を適用した遠隔操作システムの機能ブロック図である。 本発明による遠隔操作の動作を示したシーケンスフローである。

以下、図面を参照して本発明の実施の形態について詳細に説明する。ここでは初めに、図１の模式図を参照しながら、本発明のキャラクタ対話型UIにより視聴端末をユーザ端末１と連動させて対話方式で遠隔操作する方法について説明する。

ユーザ端末１（ここでは、スマートフォンを想定）において遠隔操作アプリケーションが起動されると、同図(a)に示したように、対話エージェントを擬人化したキャラクタのアニメーションが端末ディスプレイに重畳表示される。対話エージェントは、予め登録されているユーザの興味や嗜好等のプロファイル情報（ユーザプロファイル）に基づいてTVの番組プログラムを検索し、ユーザの興味や嗜好に合致した番組プログラムが見つかると、例えば「○○君（ユーザ名）の好きなプロ野球中継の時間だよ」といった音声メッセージを合成して前記キャラクタから擬似的に発声させる。

ここで、ユーザが「つけて！」、「TV ON」、「この番組を見たい」などと発声すると、当該音声がユーザ端末１のマイクロフォンで検知されて音声認識処理に付される。ここでは、ユーザの発声内容が視聴端末２（ここでは、TVを想定）の電源スイッチをオン操作する遠隔操作要求と認識されるので、ユーザ端末１では視聴端末２をオン操作する遠隔制御用の信号が生成されて送信される。

対話エージェントは、ユーザに視聴推薦したプロ野球中継のチャンネルを把握しているので、ここでは、視聴端末２に適合した「スイッチオン操作」および「チャンネル指定操作」の各制御信号が生成されて視聴端末２へ送信される。

視聴端末２では、図１(b)に示したように、前記各制御信号に応答しての電源スイッチがオンされ、かつチャンネルが指定チャンネルに切り替えられてプロ野球中継を含むメニュー画面が表示される。

さらに、これと前後してキャラクタがユーザ端末１のディスプレイからジャンプアウトして視聴端末２のディスプレイへジャンプインし、このキャラクタ移動に同期して、遠隔操作対象がユーザ端末１から視聴端末２へ切り替わる。このとき、前記ユーザプロファイルおよびキャラクタを視聴端末２のディスプレイ上に表示させて各種の演出を行わせるために必要なキャラクタデータ（キャラクタの表示に必要な3Dモデルファイルおよびモーションファイルなど）もユーザ端末１から視聴端末２へ提供される。

このように、本実施形態では対話エージェントを擬人化したキャラクタに、各端末１，２のディスプレイ上でジャンプアウト、ジャンプインといった画面を跨ぐ統一感のある演出を行わせる。これにより、一つの対話エージェントがあたかもユーザ端末１から視聴端末２へ乗り移ったようなイメージをユーザに感じさせることができ、遠隔操作の対象がユーザ端末１から視聴端末２に変更されたことをユーザに直感的に知らしめることができる。

ここで、ユーザが例えば「負けているな。他の番組は？」と発声すると、これがユーザ端末１のマイクロフォンにより検知されて音声認識処理に付され、音声認識結果が生視聴端末２へ転送される。視聴端末２では、前記音声認識の結果に基づいて他の番組プログラムの推薦要求と判別されるので、前記提供されたユーザプロファイルに基づいて、ユーザの興味や嗜好に合致した他の番組プログラムが放送中であるか否かが番組表を参照することで判定される。

他のチャンネルでサッカーの試合を中継中であることが解ると、同図(c)に示したように、その開始時刻「７：３０」や内容「日本代表戦」が番組表から取得されて音声合成され、視聴端末２の対話エージェントにより、例えば「７：３０からサッカー日本代表戦だよ」という音声メッセージが前記キャラクタから発声される。

この音声メッセージに対して、ユーザが例えば「それにして」と応答すると、その音声がユーザ端末１のマイクロフォンにより検知されて音声認識処理に付され、音声認識結果が視聴端末２へ転送される。

視聴端末２では、前記音声認識の結果に基づいてサッカー中継へのチャンネル切り替えが要求されたと認識されるので、チャンネルがサッカー中継のチャンネルへ切り替えられる。その結果、視聴端末２のディスプレイには、同図(d)に示したように、野球中継に代えてサッカー中継が映し出されることになる。

このように、ユーザプロファイルに基づいて選択された野球中継の視聴が、ユーザからの要求に基づいてサッカー中継の視聴に変更されると、ユーザプロファイルに既登録のテレビ視聴に関する嗜好情報に関して、サッカー中継の優先度がより上位に更新される。同等に、あるタレントの出演する番組視聴が要求されたような場合には、ユーザプロファイルに既登録のタレントに関する嗜好情報に関して、当該タレントの優先度がより上位に更新される。

その後、サッカーの試合が終了してTV番組の終了時間が近づくと、同図(e)に示したように、再びディスプレイ上にキャラクタが出現する。なお、TV番組再生中であっても、ユーザがキャラクタの名前、名称、愛称などを発生して呼び出すとキャラクタが出現する。ここで、ユーザが例えば「『やったね！おめでとう！』とツイートして」と発声すると、これがユーザ端末１のマイクロフォンにより検知されて音声認識が実行され、音声認識の結果が視聴端末２へ転送される。

視聴端末２では、前記音声認識の結果に基づいてツイート要求と認識されるので、操作対象を視聴端末２からユーザ端末１に戻すべく、キャラクタが視聴端末２のディスプレイ上からジャンプアウトすると同時にユーザ端末１のディスプレイ上へジャンプインする。

ユーザ端末１では、ツイート用のアプリケーションが起動されると共に前記メッセージが音声認識されてテキスト変換され、ツイート用アプリケーションのメッセージ入力フィールドに入力される。テキスト入力が完了すると、同図(f)に示したように、入力内容と共にキャラクタが表示され、入力内容の了承を得るためのメッセージとして、例えば「これでいい？」という音声メッセージが前記キャラクタから発声される。

この問い掛けに対して、ユーザが例えば「いいよ」と音声で応答すると、これがユーザ端末１のマイクロフォンにより検知されて音声認識され、了承と判定されれば前記スイートが所定のアドレスへ送信される。

なお、視聴端末２のスイッチをオフにしたい場合は、ユーザが「TVを閉じて」、「TV OFF」、「疲れたから今から寝るね」などの音声を発話すると、当該音声がユーザ端末１のマイクロフォンで検知されて音声認識部処理に付され、ここではユーザの発声内容が視聴端末２のスイッチをオフ操作する遠隔操作要求と認識されるので、視聴端末２の電源スイッチをオフ操作する遠隔制御用の信号が生成されて視聴端末２へ送信される。

視聴端末２では、前記オフ操作用の遠隔制御用信号を受信すると、前記更新されたユーザプロファイルの全部又は差分のみをユーザ端末１へ送信し、その後、電源スイッチをオフにする。ユーザ端末１では、視聴端末２から受信したユーザプロファイルに基づいて、自身に既登録のユーザプロファイルを更新することにより、その内容を最新状態に維持して一元管理できる。なお、ユーザの個人情報およびプライバシーを守るため、共用される視聴端末に蓄積されたユーザプロファイルは、その電源スイッチがオフにされる操作に連動して削除することが望ましい。

このように、本発明ではユーザ端末を含む複数種類の情報機器を一元的に操作・連携させるべく、動きを伴ってユーザと仮想的に対話する一のキャラクタを、操作対象機器の切り替えに応答して各種の情報と共に各機器のディスプレイ間で移動させて情報を伝えるというキャラクタ対話型UIを採用することにより、第１に、遠隔操作対象として選択されている機器をユーザが簡単に認識できるようになり、第２に、ユーザに操作対象機器の違いを意識させない統一的な操作性を実現している。

更に、本発明ではユーザプロファイルがユーザ端末１から遠隔操作対象の視聴端末２へ提供されて各ユーザの嗜好に適合した制御を可能にするために利用される一方、視聴端末２は、ユーザからの要求を当該ユーザプロファイルに反映することで、その内容を更新し、その後、更新されたユーザプロファイルをユーザ端末１へ提供して既登録のユーザプロファイルの更新に利用できるので、ユーザ端末１のユーザプロファイルを常に最新の状態に保つことができるようになる。

図２は、以上の遠隔操作を実現できる本発明の一実施例に係る視聴端末制御システムの主要部の構成を示したブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。

本実施例では、複数のユーザに共用される遠隔操作対象の視聴端末としてSTBに着目し、視聴端末としてのTV２がSTB３に接続され、ディスプレイ機能はTV２が担う一方、ディスプレイ機能以外の視聴端末機能はSTB３が担うものとする。したがって、ここではSTB３をユーザ端末１と連動させて対話方式で遠隔操作する場合を例にして説明する。

ユーザ端末１において、ユーザプロファイル蓄積部１０１には、当該端末ユーザに固有のユーザプロファイルとして、ユーザ端末に固有の端末ID（MACアドレスや携帯電話番号など）が記憶され、さらにユーザ属性として氏名、年齢、性別、趣味、嗜好、好みの番組、贔屓の俳優名、タレント名などが蓄積されている。このようなユーザ属性は、ユーザのプライバシーを考慮しつつ、ユーザの了承を得たうえ、対話エージェントとユーザとの日常生活の対話から抽出されて蓄積される。

前記ユーザプロファイル蓄積部１０１には更に、実行タスクと関連づけられた状態を保持する対話コンテキストも記憶されている。これにより、「TV番組の検索」や「録画予約」など、対話エージェントがユーザ端末間に移動しても、該当ユーザの対話セッションの状態が保持されるので継続的なタスク実行が可能になる。

対話応答PF（プラットフォーム）１０５は、前記対話エージェントの主要機能であり、端末ユーザに能動的に質問したり、端末ユーザからのリクエストに対する回答文を生成したりする。対話応答PFの内部には、端末ユーザとの対話パターンや、視聴要求に対応づけられた機器操作の制御コード（チャネル切替、音量調整、アプリ起動など）、状態遷移のテーブルが登録されている。

無線通信部１０２は、STB３の無線通信部３０１との間にWi-FiやBluetooth（登録商標）などによる無線接続を確立し、ユーザの発話を理解したテキスト、ユーザ端末に固有の端末ID、ユーザの氏名・年齢、ユーザの好みなどを含むプロファイル情報、キャラクタ対話型UIの実行データなどをSTB３へ無線送信する。

音声認識部１０３および意味理解部１０４は、マイクロフォン（図示省略）で検知された端末ユーザの音声を認識し、発話内容からユーザの要求を理解する。

キャラクタ表示部１０６および音声合成部１０７は、擬人化されたキャラクタのアニメーション表示および音声合成による人間的で自然な会話を実現する。音声合成部１０７はさらに、前記対話応答PF１０５が生成した回答文などのテキストを音声に変換する機能も備える。

前記キャラクタ表示部１０６は、ディスプレイ上でキャラクタのアニメーションを応答内容に応じて制御する第１アニメーション制御部１０６ａおよびキャラクタをジャンプアウトおよびジャンプインさせる第２アニメーション制御部１０６ｂを含む。

接続先選択部１０８は、各視聴端末が発信するハローメッセージ等を検知して接続先一覧を生成し、これをユーザに提示して選択させることで接続先を決定する。更新部１０９は、STB3から戻された更新後のユーザプロファイルに基づいて前記ユーザプロファイルを更新する。

STB３において、対話応答PF３０２は、キャラクタがユーザ端末１からSTB３に移動した後、端末ユーザに能動的に質問したり、端末ユーザからのリクエストに対する回答文を生成したりする。

当該対話応答PF３０２にも、ユーザ端末側と同様に、端末ユーザの日常生活の雑談対話パターンや状態遷移のテーブルが登録されているほか、前記ユーザとの対話から解析された視聴要求に対応づけられたSTB３の機器操作の制御コード（チャネル切替、音量調整、アプリ起動など）が登録されている。

キャラクタ表示部３０３および音声合成部３０４は、擬人化されているキャラクタのアニメーション表示および音声合成による人間的で自然な会話を実現する。音声合成部３０４はさらに、前記対話応答PFが生成した回答文などのテキストを音声に変換する機能を備える。

番組検索部３０５は、ユーザ端末１を識別し、当該ユーザ端末１のユーザ属性（端末ID、氏名、性別、年齢、好み情報）や対話コンテキスト（検索したい番組）に対応した各コンテンツのレイティング情報（視聴制限情報）を参照する。そして、視聴要求されたコンテンツのレイティング情報をユーザが満たしているか否かを判定し、満たしていれば当該コンテンツの再生を、例えばVOD (Video On Demand) サービス部３０６に対して許可する。

前記レイティング情報には、２０歳未満の視聴を禁止するR20、１８歳未満の視聴を禁止するR18および１５歳未満の視聴を禁止するR15などがある。アプリ部３０７はYouTube（登録商標）やカラオケ、辞書などサードパティより提供されているアプリケーションを管理する。制御部３０８は、遠隔操作に基づいて視聴サービスやアプリケーションの操作を制御する。

ユーザプロファイル蓄積部３０９には、ユーザ端末１から提供されるユーザプロファイルが一時記憶される。これにより、ユーザプロファイルの実質的な一元管理が可能になる。更新部３１０は、前記対話応答PF３０２による応答内容に基づいて前記ユーザプロファイルを更新する。更新反映部３１１は、更新後のユーザプロファイルを、その提供元のユーザ端末１へ戻して既登録のユーザプロファイルの更新に利用させる。

次いで、前記キャラクタ表示部１０６，３０３におけるキャラクタのアニメーション演出について説明する。

本実施例では、各機器が同様のキャラクタ表示、音声合成および対話応答の実行フレームワークを備える。効率的かつ継続的なキャラクタ移動・情報提示を実現するためには、キャラクタの実行に必要な3Dモデルファイル、モーションファイルおよび対話用のテキストファイルのみを転送すればよい。また、これらの転送データはテキストのフォーマットであるため送受信の遅延も少ない。

本実施例では、前記3DモデルファイルおよびモーションファイルにMiku Miku Dance（MMD：3DCGムービー製作ツール）のフォーマットを採用し、描画する際に、読み込まれたモーションファイルに3Dモデルファイルに紐づけると、さまざまな組み合わせの3DCGアニメーションを実現できる。この3Dモデルファイルは、3Dポリゴンモデラーソフトにより作成されており、ポリゴン単位で立体のObjectを生成・編集できる。

また、前記モーションファイルは、モーションキャプチャをするための専用機材・ソフトを用いて、実際に人間の動きのサンプリング情報を取り込んでテキストファイル化したものである。実際には、映画などのコンピュータアニメーションおよびゲームなどにおけるキャラクタの人間らしい動きの再現にもよく利用されている。このモーションファイルのデータは、前記3Dモデルファイルと同様のモデルの骨格、およびフレームごとの骨格・関節の差分情報を記述している。実行時に毎秒３０フレームずつ描画すれば、連続的に自然な動きを表現できる。

さらに、本実施例ではキャラクタにテキスト情報を発生させる音声合成に規則音声合成技術を利用している。モバイル端末では処理能力やメモリ容量に制限があり、また音声モデルのデータベース容量も十分に確保できないので、音声読み上げ機能の利用時には携帯電話回線等のネットワーク経由でサーバ側に処理してもらう必要ある。

そのために、本実施例では声質のデータをより小さくすることができるHMM音声合成方式を採用し、テキストと音声のデータを対にしたデータをHMMという統計モデルに与えることによってHMMの挙動を決めるパラメータを学習し、学習済のHMMにテキストデータを与えることで音声合成に必要なパラメータを生成する。

こうした軽量化技術により、本実施例では、処理能力やメモリ容量の不十分なSTB、スマホ・タブレット、車載器などでもテキストから自然な音声コンテンツを生成でき、リアルタイムの情報読み上げやナレーション作成が可能になる。

次いで、キャラクタ表示部１０６の第２アニメーション制御部１０６ｂによる複数のデバイス間(ユーザ端末・STB)でのキャラクタ移動表現について説明する。

本実施例では、キャラクタが一方のディスプレイAからジャンプアウトすると同時に他方のディスプレイBへジャンプインする、といった連続的なディスプレイ間移動を実現するために、２つのディスプレイA，Bを仮想的に１つの描画領域として扱っている。

例えば、ディスプレイAからキャラクタの一部（例えば、頭部）がジャンプアウトした時点でディスプレイBにはキャラクタの頭部だけが表示され、次いでディスプレイAから胴体がジャンプアウトするとディスプレイBには胴体がジャンプインする。

このようなキャラクタの同期は、ユーザ端末１のキャラクタ・ジャンプアウト演出とSTB３のキャラクタ・ジャンプイン演出とのモーションファイルのフレームを同期させることで実現できる。

ユーザ端末１において、キャラクタ・ジャンプアウト演出のモーションフレームを画面上に一枚ずつ描画しつつ、Syncコマンドを描画中のフレームIDと共にSTB３へ送信する。STB３はSyncコマンドを受信するとフレームIDを解析し、それに対応するキャラクタ・ジャンプイン演出のモーションフレームIDを用いてテレビの画面上に描画する。

次いで、キャラクタ移動の前後のユーザ端末１およびSTB３の動作について説明する。ユーザは日常的にユーザ端末１のディスプレイ上のキャラクタと対話し、ユーザ端末１はユーザからのテレビ視聴要求が検出されると、STB３に無線接続してキャラクタをTV２の画面にジャンプインさせる。このとき、ユーザ端末１がTV２のマイク（音声入力用）となり、ユーザの発話は音声認識、意味理解でテキストに変換され、STB３の対話応答PF３０２へ転送される。

その後、STB３の対話応答PF３０２はユーザの操作意図を推定し、キャラクタがビジュアル的なフィードバックおよび音声の返事をすると共にSTB３の機器操作を実行する。ユーザ端末１およびSTB３上に、同一または同等のキャラクタのビジュアルデータ・音声合成用モデルを格納するエンジンを構築したことで、ユーザ端末１とSTB３との間では、テキスト情報のみを受け渡すだけで横断的なキャラクタ対話型UIを実現できる。

次いで、ユーザ端１とSTB３との間で送受信される各種メッセージのパケット構造について説明する。本実施例では、TCP/IP Socket通信を利用することで端末同士が無線接続されている状態を想定し、パケットはHEADER，CMD，PARAM，END，SUMの各フィールドにより構成される。

HEADERには開始マークが登録される。CMDには実行命令（コマンド）が登録される。PARAMは複数のValueフィールドを含む。ENDには終了マークが登録される。SUMフィールドにはメッセージの整合性をチェックするためのチェックサムが登録される。

例えば、ユーザ端末１からSTB３へ送信される接続要求メッセージでは、CMDフィールドには「ユーザ検証」に対応したコマンドが登録され、PARAMフィールドにはユーザ属性（ここでは、名前、年齢および好み情報など）や端末IDが登録される。

また、ユーザの発話を意味理解したメッセージであれば、CMDフィールドには「制御コード」に対応したコマンド（ここでは、テレビの開閉、番組検索、チャンネル切替など）が登録され、PARAMフィールドには、ユーザ発話のキーワード、それぞれのキーワードの品詞（名詞、動詞、地名、俳優の名前など）、端末ID（ここでは、端末製造ID）が登録される。

例えば、番組を検索するコマンドを実行する際に、PARAMから解析したそれぞれのキーワードを用いて番組表を検索する。前記番組表の検索には、番組の内容、俳優、カテゴリなどの絞り検索が可能である。

次いで、対話応答PF１０５（３０２）の機能について説明する。対話応答PF１０５（３０２）は、対話シナリオに基づいてユーザとインタラクションを行うプラットフォームである。

対話シナリオは１つ以上の状態ノードから構成され、各状態ノードでそれぞれの対話パターンが実行される。例えば、最初の状態ノード(1)でユーザがキャラクタに放送中の番組を聞くと、キャラクタがユーザの好みに応じた推薦を行って次の状態ノード(2)へ移る。状態ノード(2)において、ユーザが前記推薦された番組を見たいと発話すると、STB３の電源がオンされてキャラクタがユーザ端末１からTV２の画面上にジャンプインして状態ノード(3)へ移る。

状態ノード(3)では、ユーザが番組の再生中に他のチャンネルの切り換えや、TV番組表の検索、VODコンテンツアプリ、YouTube（登録商標）やカラオケなどその他のアプリ３０７の起動などのコマンドが受け付けられる。ここで、例えばVODコンテンツアプリが起動されると状態ノード(4)へ移り、ユーザからの検索キーワードの発話に備えて待機する。

対話シナリオの状態ノードおよび各状態ノード間の遷移は、実際の視聴ユースケースの統計に基づき、状態ノード遷移図を作成したものである。ユーザの入力により正確に返答するため、多数のユーザの視聴関連の事例の収集から、まず汎用的かつ基本的な状態ノードと遷移ルールを作成する。そして、徐々に状態ノード、遷移ルールのパターン追加・修正の繰り返しにより、ユーザの多様な視聴操作に関連する対話精度を向上できる。

次いで、ユーザ属性に基づく視聴操作やコンテンツ推薦について説明する。STB３では、ユーザ端末１から送信された接続要求のメッセージが検知されると、当該メッセージから端末IDおよびユーザプロファイルが抽出されてメモリに記憶される。その後の対話でユーザから要求された視聴操作が規制対象であるか否かが判定され、音量調節や明るさ調整のようにレイティングと無関係な要求であれば、要求に応じた制御が実行される。

これに対して、要求がレイティングの設定されているコンテンツの視聴要求であれば、要求されたコンテンツのレイティングが番組表から読み込まれ、前記抽出された端末IDと対応付けられているユーザプロファイル（ここでは、年齢）とレイティング情報とが比較される。そして、ユーザ年齢が制限対象外であれば視聴が許可される一方、ユーザ年齢が制限対象であれば視聴が拒否される。

また、ユーザ端末１のユーザプロファイル蓄積部１０１には、当該ユーザの嗜好情報が蓄積されており、ユーザ端末１とSTB３との接続が確立されると、これらの嗜好情報がキャラクタ情報と共にSTB３へ転送され、番組検索やコンテンツ推薦に利用される。

ユーザの嗜好情報には、favoritetvprogram（好みの番組名）、favoritetvgenre（好みのカテゴリ）、favoritetetalent（好みの俳優名）、favoriteplace（好みの場所）、favaritesports（好みのスポーツ）などがあり、区切り記号"／"により繋ぎ合わされ、以下のような情報が紐付けられている。
favoritetvprogram/笑っていいとも/スッキリ
favoritetvgenre/ニュース/ドキュメンタリー/アニメ
favoritetetalent/宮根誠司/AKB/船越英一郎
favoriteplace/東京/韓国
favaritesports/野球/ゴルフ

次いで、ユーザ属性に基づいた情報推薦のアルゴリズムについて説明する。ユーザ属性から読み込まれたユーザの好みのキーワードは、上記のように区切り記号"／"に基づいて分割され、検索クエリを構成する。検索により複数の推薦結果が得られた場合は、文書中の単語に関する重みを計算するtf-idf法に基づいて優先順位が付される。

tf-idf法は、tf（frequency：単語の出現頻度）とidf（inverse document frequency：逆文書頻度）の二つの指標に基づいて計算される。tfとは、検索対象文章内でキーワードがどれだけ多く使用されているのかを示す指標であり、キーワードを多く含む文章ほど、そのキーワードについて詳しく説明しているものと考えられる。

一方、idfとは、そのキーワードがどれだけの数の文章で使用されているかを示す指標であり、多くの文章で使用されているキーワードより、少ない文章で使用されているキーワードの方が、その文章の特長をよく表すものと考えられる。

次式(1)-(3)はtf-idfの式を示しており、ni,jは単語iの文書jにおける出現回数、|D| は総ドキュメント数、|{d: d∋ti}|は単語iを含むドキュメント数である。なお、複数のキーワードで検索された場合、tf1*idf1 + tf2*idf2 +… tfn*idfnの総和によるスコアが求められる。

次いで、ユーザ端末１によるSTB３の自動発見および自動接続の手順について説明する。一般的に、STB３のIPアドレスはCATVプロバイダもしくはローカルルータのDHCPにより取得されるために一意に特定することは難しい。そこで、本発明ではSTB３のIPアドレスがユーザ端末１に通知される仕組みを導入する。

本実施例では、ローカルネットワークに接続されたユーザ端末１がUDP経由でBroadcast探索を実行し、STB３は自分に割り当てられているIPアドレス、通信ポートおよび使用状況を返信する。他のユーザにより使用中でなければ、ユーザ端末１は、返信されたIPアドレスおよび通信ポート等の接続情報を用いてSTB3へ自動的に接続を要求する。これにより、端末ユーザはSTB３のIPアドレスを解析し、更には解析結果に基づいて手動接続する操作から解放される。

また、ローカルネットワークに複数の遠隔操作対象が存在する場合、それぞれの操作対象が事前に決められた通信ポートに基づき、ハローメッセージを構成してユーザ端末に通知する。指定できる通信ポートの番号の範囲は0から65535（16ビット符号無し整数）である。例えば、STB３は1000、ビデオプレイヤーは1001、デジタルフォトフレームは1002となる。これにより、ユーザ端末１の接続先選択部１０８は、受信された各ハローメッセージから接続先一覧を生成し、これをユーザに提示して選択させることで接続先を決定する。

図３は、図１の遠隔操作における図２の主要部の動作を示したシーケンスフローであり、ユーザ端末１の意味理解部１０４において、TV２/STB３のスイッチをオン操作する音声信号が認識されると、時刻t1，t2では、電源ON信号が対話応答PF１０５から無線通信部１０２を経由してSTB３の無線通信部３０１へ送信される。時刻t3では、STB３の無線通信部３０１からユーザ端末１へACK信号（電源ON完了）が返信される。

時刻t4，t5では、ユーザプロファイル蓄積部３０１に蓄積されているユーザプロファイルおよび前記キャラクタをTV２のディスプレイ上に表示させて各種の演出を行わせるために必要なキャラクタデータが、ユーザ端末１の対話応答PF１０５から無線通信部１０２を経由してSTB３の無線通信部３０１へ送信される。

時刻t6，t7では、前記ユーザプロファイルおよびキャラクタデータに対するACK（情報送信完了）がSTB３の無線通信部３０１からユーザ端末１の無線通信部１０２を経由して対話応答PF１０５へ返信される。これと並行して、時刻t８ではSTB３の無線通信部３０１から対話応答PF３０２へ前記ユーザプロファイルおよびキャラクタデータが転送され、ユーザプロファイルは蓄積部３０９へ転送されて蓄積される。

その後、ユーザ端末１の対話応答PF１０５から、時刻t9においてキャラクタ表示部１０６へジャンプアウト描画要求が送信されると、端末ディスプレイ上ではキャラクタのジャンプアウト表示が演出される。

時刻t10では、対話応答PF１０５から無線通信部１０２へジャンプアウト完了が通知される。時刻t11，t12では、当該無線通信部１０２からSTB３の無線通信部３０１を介して対話応答PF３０２へ、前記ジャンプアウト完了が送信される。時刻t13では、STB３の対話応答PF３０２からキャラクタ表示部３０３へ前記ジャンプイン描画要求が転送され、TV2において、キャラクタのジャンプイン表示が演出される。

以上のようにして、遠隔操作対象がSTB３に設定されると、時刻t14では、ユーザ端末１で検知された音声信号または操作信号に基づくSTB３の遠隔操作が開始され、STB３は遠隔操作内容を理解して応答動作する。TV2上では、前記キャラクタが応答内容に応じて動作する。また、前記ユーザプロファイル蓄積部３０９に蓄積されているユーザプロファイルにユーザの選択や要求が反映されて、その内容が更新される。

その後、時刻t15において、ユーザ端末１の対話応答PF１０５が電源OFF要求を検知すると、時刻t16では、電源OFF信号が無線通信部１０２を経由してSTB３の無線通信部３０１へ送信される。時刻t17では、無線通信部３０１から対話応答PF３０２へジャンプアウトの開始が指示され、時刻t18では、対話応答PF３０２からキャラクタ表示部３０３へ前記キャラクタのジャンプアウト描画が指示される。

ジャンプアウト描画が完了すると、時刻t19では、キャラクタ表示部３０３から対話応答PF３０２へジャンプアウトの完了が通知される。時刻t20，t21では、前記ユーザプロファイル蓄積部３０９に蓄積されているユーザプロファイルが更新要求のメッセージと共に、対話応答PF３０２から無線通信部３０１を経由してユーザ端末１の無線通信部１０２へ送信される。

時刻t22では、無線通信部１０２から無線通信部３０１へACK（情報受信完了）が送信される。時刻t23では、無線通信部３０１が前記ACKに応答して対話応答PF３０２へ前記ユーザプロファイルの削除を要求し、前記ユーザプロファイル蓄積部３０９に蓄積されているユーザプロファイルが削除される。

時刻t24では、無線通信部１０２から対話応答PF１０５へユーザプロファイルの更新が指示され、前記ユーザプロファイル蓄積部１０１に既登録のユーザプロファイルが、前記STB３から送信されたユーザプロファイルに基づいて更新される。

時刻t25，t26では、無線通信部３０１から無線通信部１０２を介して対話応答PF１０５へACK（電源OFF完了）が送信される。時刻t27では、対話応答PF１０５からキャラクタ表示部１０６へキャラクタのジャンプイン描画が要求される。

なお、上記の実施形態では、視聴端末がSTBである場合を例にして説明したが、本発明はこれのみに限定されるものではなく、カーナビゲーションシステムやデジタルフォトフレームなど、ディスプレイを備えて無線による遠隔操作が可能な機器であれば、どのような視聴端末にも同様に適用できる。

本実施形態によれば、ユーザ端末に登録されているユーザプロファイルが遠隔操作対象の視聴端末に提供され、視聴端末では対話エージェントが前記提供されたユーザプロファイルに基づいて会話形式で各遠隔操作に対して固有の応答を返す一方、会話内容に応じて前記ユーザプロファイルを更新し、遠隔操作が完了すると更新後のユーザプロファイルをユーザ端末に戻して既登録のユーザプロファイルが更新されるので、複数の視聴端末をユーザごとに一元管理された最新のユーザプロファイルに基づいて遠隔操作できるようになる。

さらに、本実施形態によれば、ユーザと仮想的に対話する一のキャラクタが、操作対象となる視聴端末の切り替えに応答して各端末のディスプレイ間を移動して操作対象機器のディスプレイ上に出現するので、ユーザは操作対象にかかわらず、ディスプレイ上に表示された共通のキャラクタとの対話形式で遠隔操作を要求できる。したがって、ユーザは視聴端末の同異を意識せずに統一的な手法で各機器を遠隔操作できるようになる。

１…ユーザ端末，２…TV，３…STB，１０２，３０１…無線通信部，１０３…音声認識部，１０４…意味理解部，１０５，３０２…対話応答PF，１０６，３０３…キャラクタ表示部，１０７…音声合成部，１０８…接続先選択部，１０９…更新部，３０４…音声合成部，３０５…番組検索部，３０６…VODサービス部，３０７…アプリ部，３０８…制御部，３０９…ユーザプロファイル蓄積部，３１０…更新部，３１１…更新反映部

Claims (12)

1. 対話エージェントを模したキャラクタをユーザ端末から遠隔操作対象の視聴端末へディスプレイ上で移動させてキャラクタ対話方式で遠隔操作する遠隔操作システムにおいて、
   ユーザ端末が、
   ユーザプロファイルを蓄積する手段と、
   前記ユーザプロファイルを視聴端末へ提供する手段と、
   ユーザの音声を検出して発声内容を理解する手段と、
   前記発声内容を視聴端末へ提供する手段と、
   前記ユーザプロファイルの更新情報を視聴端末から取得する手段と、
   前記更新情報に基づいて前記ユーザプロファイルを更新する手段とを具備し、
   ユーザ端末および視聴端末が、
   相互に無線接続を確立する無線通信手段と、
   ユーザの発声内容およびユーザプロファイルに基づいて応答内容を決定する手段と、
   前記応答内容に基づいて音声メッセージを出力する手段と、
   キャラクタのアニメーションを前記応答内容に応じて制御する第１アニメーション制御手段とを具備し、
   前記視聴端末がさらに、
   ユーザ端末からユーザプロファイルを取得する手段と、
   前記取得したユーザプロファイルを蓄積する手段と、
   前記応答内容に基づいて視聴サービスを制御する手段と、
   前記応答内容に基づいて前記ユーザプロファイルを更新する手段と、
   前記ユーザプロファイルの更新情報をユーザ端末へ提供する手段とを具備したことを特徴とする遠隔操作システム。
2. 前記ユーザ端末および視聴端末が、キャラクタのジャンプインおよびジャンプアウトのアニメーションを制御する第２アニメーション制御手段をさらに具備し、
   前記ユーザ端末において、
   前記ユーザプロファイルがキャラクタのジャンプアウト演出を伴って視聴端末へ提供され、
   前記ユーザプロファイルの更新情報がキャラクタのジャンプイン演出を伴って視聴端末から取得され、
   前記視聴端末において、
   前記ユーザプロファイルがキャラクタのジャンプイン演出を伴ってユーザ端末から取得され、
   前記ユーザプロファイルの更新情報がキャラクタのジャンプアウト演出を伴ってユーザ端末へ提供されることを特徴とする請求項１に記載の遠隔操作システム。
3. 前記ユーザ端末は、ユーザと対話して遠隔操作対象の視聴端末を選択する手段をさらに具備したことを特徴とする請求項１または２に記載の遠隔操作システム。
4. 前記ユーザプロファイルが、実行タスクと関連づけられた状態を保持する対話コンテキストを含むことを特徴とする請求項１ないし３のいずれかに記載の遠隔操作システム。
5. 対話エージェントを模したキャラクタをユーザ端末から遠隔操作対象の視聴端末へディスプレイ上で移動させてキャラクタ対話方式で遠隔操作する遠隔操作システムのユーザ端末において、
   視聴端末との間に無線接続を確立する無線通信手段と、
   ユーザプロファイルを蓄積する手段と、
   前記ユーザプロファイルを視聴端末へ提供する手段と、
   ユーザの音声を検出して発声内容を理解する手段と、
   前記発声内容を視聴端末へ提供する手段と、
   ユーザの発声内容およびユーザプロファイルに基づいて応答内容を決定する手段と、
   前記応答内容に基づいて音声メッセージを出力する音声応答手段と、
   キャラクタのアニメーションを前記応答内容に応じて制御する第１アニメーション制御手段と、
   前記ユーザプロファイルの更新情報を視聴端末から取得する手段と、
   前記更新情報に基づいて前記ユーザプロファイルを更新する手段とを具備したことを特徴とする遠隔操作システムのユーザ端末。
6. 前記ユーザ端末が、キャラクタのジャンプインおよびジャンプアウトのアニメーションを制御する第２アニメーション制御手段をさらに具備し、
   前記ユーザプロファイルがキャラクタのジャンプアウト演出を伴って視聴端末へ提供され、
   前記ユーザプロファイルの更新情報がキャラクタのジャンプイン演出を伴って視聴端末から取得されることを特徴とする請求項５に記載の遠隔操作システムのユーザ端末。
7. 前記ユーザ端末は、ユーザと対話して遠隔操作対象の視聴端末を選択する手段をさらに具備したことを特徴とする請求項５または６に記載の遠隔操作システムのユーザ端末。
8. 前記ユーザプロファイルが、実行タスクと関連づけられた状態を保持する対話コンテキストを含むことを特徴とする請求項５ないし７のいずれかに記載の遠隔操作システムのユーザ端末。
9. 対話エージェントを模したキャラクタをユーザ端末から遠隔操作対象の視聴端末へディスプレイ上で移動させてキャラクタ対話方式で遠隔操作する遠隔操作システムの視聴端末において、
   ユーザ端末との間に無線接続を確立する無線通信手段と、
   ユーザ端末からユーザプロファイルを取得する手段と、
   前記取得したユーザプロファイルを蓄積する手段と、
   ユーザの発声内容およびユーザプロファイルに基づいて応答内容を決定する手段と、
   前記応答内容に基づいて音声メッセージを出力する手段と、
   キャラクタのアニメーションを前記応答内容に応じて制御する第１アニメーション制御手段と、
   前記応答内容に基づいて前記ユーザプロファイルを更新する手段と、
   前記応答内容に基づいて視聴サービスを制御する手段と、
   前記ユーザプロファイルの更新情報をユーザ端末へ提供する手段とを具備したことを特徴とする遠隔操作システムの視聴端末。
10. 前記視聴端末が、キャラクタのジャンプインおよびジャンプアウトのアニメーションを制御する第２アニメーション制御手段をさらに具備し
    前記ユーザプロファイルがキャラクタのジャンプイン演出を伴ってユーザ端末から取得され、
    前記ユーザプロファイルの更新情報がキャラクタのジャンプアウト演出を伴ってユーザ端末へ提供されることを特徴とする請求項９に記載の遠隔操作システムの視聴端末。
11. 対話エージェントを模したキャラクタをユーザ端末から遠隔操作対象の視聴端末へディスプレイ上で移動させてキャラクタ対話方式で遠隔操作する遠隔操作方法において、
    ユーザ端末が、既登録のユーザプロファイルを遠隔操作対象の視聴端末へ提供する手順と、
    視聴端末に実装された対話エージェントが、前記提供されたユーザプロファイルに基づいて会話形式で各遠隔操作要求に対して固有の応答を出力する手順と、
    視聴端末が、前記会話内容に応じて前記提供されたユーザプロファイルを更新する手順と、
    視聴端末が、更新後のユーザプロファイルをユーザ端末に送信する手順と、
    ユーザ端末が、前記更新後のユーザプロファイルに基づいて自身のユーザプロファイルを更新する手順とを含むことを特徴とする遠隔操作方法。
12. 前記視聴端末においては、
    前記ユーザプロファイルがキャラクタのジャンプアウト演出を伴って視聴端末へ提供され、
    前記ユーザプロファイルの更新情報がキャラクタのジャンプイン演出を伴って視聴端末から取得されることを特徴とする請求項１１に記載の遠隔操作方法。