JP4368316B2 - コンテンツ視聴システム - Google Patents

Description

本発明は、コンテンツ視聴システムに関し、具体的には、ロボット（物理的なロボット、ＣＧなどのキャラクタ）に代表される家庭内機器と一緒にコンテンツを視聴するときに使用されるものである。

昨今、パーソナルコンピュータやＤＶＤプレイヤ等のデジタル機器が普及し、ブロードバンドの普及による高速ネットワーク化が進み、さらには、デジタル放送が開始された状況で、デジタルコンテンツ提供サービスを利用するにあたって、ユーザを取り巻く環境が大きく変化しようとしている。

しかし、現在のテレビ放送では、放送局で作成されたコンテンツを家庭にあるテレビ受信機で受信して、ディスプレイに表示するだけであり、視聴者は番組制作者が意図した映像・音響情報のみしか視聴できない。

これを解決する方法として、特許文献１では、放送局側で、キャラクタの動作情報を入力して配信すると同時に、背景映像を入力して配信する。受信機側では、予め保存された複数のキャラクタ・モデルから１つを選択し、該モデルと受信された動作情報を用いてキャラクタ映像を生成し、キャラクタ映像と受信された背景映像を合成し表示する。これにより、視聴者が、好みのキャラクタを選択し、放送されている番組を、同キャラクタが出演する番組として視聴可能とするための手段を提供している。

また、特許文献２では、放送局から配信された映像情報と動作情報を受信機で受信し、映像情報をテレビ等の映像表示装置へ出力すると同時に、該動作情報に含まれる同期情報を基に映像情報に同期して該動作情報に含まれる動作指令をロボットへ出力する。これにより、視聴者が所有するロボットと放送される番組が対話したり、協調したりする映像・音響情報のみではない番組を視聴可能とするための手段を提供している。
特開２０００−１８４３３９号公報 特開２００３−１６９３０５号公報

しかしながら、上記の特許文献１，２のいずれにおいても、キャラクタやロボットへの動作信号は放送局から送られることを前提としており、放送局から送られた動作信号の通りに動くようになっている。即ち、番組と連動して動作を行うキャラクタやロボットは、動作、発話など、今までの視聴環境（映像、音響）とは異なるモダリティを提供しているが、放送局から配信された決められた動作しか行えないため、機器の振る舞いは固定されており、テレビを一緒に見ているという感覚よりもむしろ、テレビの表現手段が増えたというイメージである。

したがって、テレビを一緒に見ているという感覚にまで昇華させるためには、放送局から動作情報を送出するのではなく、あくまで家庭内機器（もしくは家庭内の受信機、ロボット、コンピュータなど）がその動作を生成する必要がある。

本発明は、上述のような実情を考慮してなされたものであって、ユーザがコンテンツを視聴するときに、楽しみを倍加してくれるコンテンツ視聴システムを提供することを目的とする。

上記課題を解決するために、本発明は、ユーザが指定したコンテンツを受信して表示するコンテンツ受信装置と、 前記コンテンツを視聴している前記ユーザの反応を前記コンテンツ受信装置に常時送信するとともに、視聴者に擬制されて動作するロボットと、を備え、前記コンテンツ受信装置が前記ロボットから受信した前記ユーザの反応に対応する前記ロボットの動作指令を前記ロボットに送信し、前記ロボットが前記コンテンツ受信装置から受信した動作指令に応じて動作するコンテンツ視聴システムであって、前記ロボットは、少なくとも前記ユーザの動作の撮影、前記ユーザが発声した音声の集音および前記ユーザの生体情報の一つまたは複数を含むユーザの状態情報を検出し、前記コンテンツ受信装置に送信する送信部と、前記コンテンツ受信装置から受信した動作指令によって当該ロボットを動作させる動作部と、を備え、前記コンテンツ受信装置は、予め、当該ロボットが擬制された視聴者としてのコンテンツに対する嗜好と、当該嗜好情報に対応する情動を表わす当該ロボットの動作と、ユーザのコンテンツに対する嗜好を記憶し、前記視聴コンテンツの特徴シーンを示すイベント情報を抽出するコンテンツ解析部と、前記抽出したイベント情報に対する前記ユーザの情動を前記ロボットから受信した前記ユーザの状態情報に基づいて推定するユーザ行動推定部と、前記ロボットと前記ユーザの嗜好が共通のときには、前記ユーザと同じ情動を表わす前記ロボットの動作指令を生成して送信し、反対のときには、前記ユーザと反対の情動を表わす前記ロボットの動作指令を生成して送信する行動生成部と、を備えている。

上記のコンテンツ視聴システムは、複数台のロボットを有し、前記コンテンツ受信装置は、コンテンツに対する異なる嗜好を前記ロボットごとに記憶して、前記行動生成部は、ロボットごとに異なる動作指令を生成して送信するようにする。

本発明によれば、これまでの視聴するためだけの放送やコンテンツから、ユーザがロボット等の家庭内機器と対話したり、一緒に番組を視聴し応援したり、番組のデータ放送と連動して番組に参加したりするというデジタル放送時代の新しい楽しみ方が実現できる。

以下、図面を参照して、本発明の好適な実施形態について説明する。

図１は、本発明の実施形態に係るコンテンツ視聴システムの構成図である。同図において、家庭には、家庭内ＬＡＮ１０７を介して、ホームゲートウェイ１０５、記録再生装置１０６、コンテンツ受信装置１００が接続されて設置されている。
このホームゲートウェイ１０５は、コンテンツ受信装置１００の要求に応じてインターネットを介して情報を授受する。また、ポータルサイト１０２やインターネット放送局１０３の送信要求（プッシュ型配信）に応じて、コンテンツ受信装置１００と情報を授受する。
記録再生装置１０６は、放送やネットワーク配信されたコンテンツを、記録媒体（ＤＶＤやＢＤなど）に記録したり、その記録されたコンテンツを再生する。

また、コンテンツ受信装置１００には、映像や音響を出力するディスプレイ／スピーカ（通常のテレビジョンでも可）１２５、ロボット等のコンテンツ視聴用家庭内機器１２６が接続している。このコンテンツ受信装置１００と家庭内機器１２６の接続形態は、有線による接続だけでなく、無線（例えば、無線ＬＡＮ、赤外線、ブルートゥース等）による接続であっても構わない。

このコンテンツ受信装置１００は、コンテンツ受信部１０８、データ受信部１０９、遅延処理部１１０、コンテンツ解析部１１１、行動生成部１１２、動作指令生成部１１３、ユーザ行動解析部１１４、対話エンジン部１１５、ユーザ情報設定部１１６、および各種データベース（以下、データベースをＤＢと略記する）１１７等から構成される。
各種ＤＢ１１７には、コンテンツ知識ＤＢ１１８、個性ＤＢ１１９、視聴履歴ＤＢ１２０、ユーザ情報ＤＢ１２１、行動ＤＢ１２３、動作指令ＤＢ１２４が含まれている。

また、コンテンツ視聴用家庭内機器１２６は、動作指令生成部１１３で生成された動作指令にしたがって動作する物理的に存在するロボットやＣＧ等により表現される仮想キャラクタである。本実施形態では、コンテンツ視聴用家庭内機器を物理的なロボットとして説明するが、これに限定されるものではなく、ユーザからは見えない場所で機能するロボット（センサ型ロボット）についてももちろん適用することができる。

また、このコンテンツ視聴用家庭内機器１２６には、ユーザの様子を観察、取得するセンサ（例えば、カメラやマイクや赤外線センサなど）が備えられており、ここで取得したユーザの映像や音声、位置情報、動き量の情報などに代表されるユーザ情報は随時コンテンツ受信装置１００のユーザ行動解析部１１４へ送信される。

さらに、コンテンツ視聴用家庭内機器１２６を動作させるために、個性ＤＢ１１９、行動ＤＢ１２３と動作指令ＤＢ１２４を利用する。
個性ＤＢ１１９は、コンテンツ視聴用家庭内機器（ロボット）１２６ごとの嗜好を表すデータベースである。例えば、野球であればどのチーム、どの選手をひいきにしているか、応援の方法などのデータを格納する。これにより、ロボットはユーザと独立した価値観を持って応援、対話することができる。

行動ＤＢ１２３は、コンテンツの状況、ユーザの状況などから、コンテンツ視聴用家庭内機器１２６ごとに自身の行なう行動を決定する際に利用するデータベースである。例えば、試合中にヒットが出た場合に、「拍手をする」といった行動を生成する際に利用される。

また、動作指令ＤＢ１２４（図２）は、コンテンツ視聴用家庭内機器ごとに、行動生成部１１２で生成された抽象度の高い動作（例えば、拍手や手を振り上げる動作等）と、実際のモータ制御の具体的なモータ駆動信号に変換するためデータ（例えば、関節角度のシーケンス）とを対応させて保持するデータベースである。例えば、「拍手をする」という動作は、はじめに「関節１をx1°」および「関節２をy1°」回転させ、次に「関節１をx2°」および「関節２をy2°」回転させるというように変換する。
これらの動作ＤＢ１２３や動作指令ＤＢ１２４は、ポータルサイト、放送番組あるいは記録媒体から更新することができる。

次に、コンテンツ受信装置１００について詳細に説明する。
コンテンツ受信装置１００は、電源が供給されると、ユーザの視聴有無とは独立に、ユーザの番組の好みや指定された特定番組ジャンルの放送有無についてＥＰＧ（Electronic Program Guide）など、放送番組情報を提供している媒体を利用して調べ、現在放送中の該当番組がある場合には、これに対応可能なコンテンツ知識や家庭内機器の行動データベースの有無を調べ、既にあればアップデート情報を確認して、更新情報が存在する場合には更新する。対応可能でない場合には、当該データベースの受信を開始する。
あるいは、現在放送中の該当番組がない場合には、最も早く放送される番組に対応可能なコンテンツ知識や家庭内機器の行動データベースの有無を調べ、上記同様に、データベースの更新を行う。
ここで、新規に取得されるデータあるいは更新されるデータは、ポータルサイト、放送番組あるいは記録媒体に保持されている。

これにより、コンテンツ知識や行動データベースといった大規模データの受信を予め行なっておくことができ、ユーザはストレスなくサービスを享受することができる。また、既に存在するコンテンツ知識や行動データベースを常に最新の状態に保つことができ、例えば、野球や相撲中継の場合、本日の予告先発や本日の取組みといった知識を提供することができる。

その後、コンテンツ受信装置１００は、放送局１０１やインターネット放送局１０３から放送波を受信したり、あるいは記録再生装置１０６でコンテンツを再生したり、ポータルサイト１０２に保持したコンテンツを読み込んで、コンテンツの映像や音響等をディスプレイ／スピーカ１２５へ出力するとともに、ロボット等のコンテンツ視聴用家庭内機器１２６を同期させながら動作させる。

コンテンツ受信部１０８は、放送局１０１からの放送波を、アンテナを介してチューナで受信し、コンテンツ情報、データ情報および映像・音響情報にデコードして、コンテンツ情報はコンテンツ解析部１１１へ、データ情報はデータの種類に対応するデータベースを更新し、映像・音響情報は遅延処理部１１０へ渡される。

データ受信部１０９は、ポータルサイト１０２から取得したデータがコンテンツに関するものであるときには、コンテンツ情報および映像・音響情報にデコードして、コンテンツ情報はコンテンツ解析部１１１へ、映像・音響情報は遅延処理部１１０へ渡される。また、ポータルサイト１０２から取得したデータがコンテンツ以外のときには、データの種類に対応するデータベースを更新する。

さらに、データ受信部１０９は、インターネット放送局１０３から取得したコンテンツ、あるいは、記録再生装置１０６で再生されたコンテンツについては、このコンテンツをコンテンツ情報、データ情報および映像・音響情報にデコードして、コンテンツ情報はコンテンツ解析部１１１へ、データ情報はデータの種類に対応するデータベースを更新し、映像・音響情報は遅延処理部１１０へ渡される。

コンテンツ知識ＤＢ１１８は、コンテンツの種類ごとに、コンテンツを理解するためのコンテンツ知識が保持され、コンテンツ中のイベント認識、ユーザからの質問に対する答えの検索、対話文生成のための知識データベース、行動生成のためのデータベースとして利用される。このようなコンテンツ知識は、放送番組、ポータルサイトや記録媒体等からデータを取得することができるので、新しい種類のコンテンツやルール変更などがあった場合においても対応することができる。

例えば、コンテンツ知識ＤＢ１１８には、コンテンツの種類を「相撲」とした場合、図３に示したように、相撲規則、相撲用語、試合の流れ、決まり手、番付、力士情報、取組表、豆知識などが含まれる。また、それぞれの項目は、例えば、力士情報であれば、所属部屋、本名、四股名、生年月日、今場所の成績、得意技等の情報を、さらに戦歴であれば、生涯成績、幕内戦歴、幕内優勝、相手との戦歴等の情報を階層的に保持する。

さらに、コンテンツの種類が野球やサッカーなど、観客が選手に対して応援歌により働きかけるようなスポーツにおいては、応援歌の歌詞、メロディー、ダンスなどを蓄積してもよい。このようなデータを含むことで、バッターが打席に入ったときの応援をロボット等のコンテンツ視聴用家庭内機器１２６に行なわせることができ、ユーザはその様子を見ることでよりコンテンツに没入することができる。

コンテンツ受信部１０８やデータ受信部１０９でデコードしたものが、動作指令に関する場合には、アップデート情報を確認し、更新情報が存在すれば動作指令ＤＢ１２４を更新する。このように、更新する機能を持たせることで、新しい動作のスタイルを外部から取得し、よりコンテンツに適した動作を実現することができる。

遅延処理部１１０は、コンテンツ解析に必要な時間、行動生成に必要な時間、動作指令生成に必要な時間、家庭内機器の動作遅れ、ディスプレイ系の遅れおよび通信系による遅れ等により、映像・音響情報の出力と家庭内機器の動作の間で同期しなくなるため、映像・音響情報を一時蓄積し、コンテンツ知識ＤＢ１１８に記録されているディレイ時間分遅延してディスプレイ／スピーカ１２５へ出力する。
これらのディレイ時間は、テーブルに固定的に設定したり、ユーザが予め設定したりしてもよいし、また、ロボット等の家庭内機器が動作するまでの遅延時間を自動取得して設定してもよい。

コンテンツ解析部１１１は、現在視聴している番組を確認し、該当するコンテンツ知識ＤＢ１１８を読み込み、この知識ベースをもとに、渡されたコンテンツ中のイベントを認識して、認識結果を行動生成部１１２へ渡す。認識方法としては、コンテンツの画像認識、音声認識、字幕情報の解析などを用いた特徴シーンの抽出およびそのシーンの注釈付けなどを用いる。
また、コンテンツ解析部１１１は、取得した試合の状況をコンテンツ知識ＤＢ１１８へ記憶する。

ユーザ行動解析部１１４は、ロボット等の家庭内機器１２６から受信したユーザの映像・音声に代表される情報を解析し、ユーザの状態を家庭内機器１２６との対話、家庭内機器１２６への質問、ディスプレイ／スピーカ１２５への発話等の状態に認識する。この認識には、ユーザを観察する際に通常良く用いられる画像認識、音声認識のほかに、血圧、縮瞳率などの生体指標等を用いてもよい。
家庭内機器１２６との対話の場合には対話文の解析・生成を行い、質問の場合には対話エンジン部１１５によってユーザからの質問の回答を検索し、ディスプレイ／スピーカ１２５への発話（即ち、放送された内容に対するユーザの声援等の反応）の場合には応援強度認識を行って、それぞれ行動生成部１１２へ渡す。
また、ユーザ行動解析部１１４は、得られたユーザ情報をユーザに対応させてユーザ情報ＤＢ１２１へ格納する。

行動生成部１１２は、コンテンツ解析部１１１で解析されたコンテンツのイベント状況を取得し、ユーザ行動解析部１１４からユーザの状態を取得する。この取得結果と現在の試合の情報とインターネット経由でとれる試合に関する記事を利用し、ユーザ情報ＤＢ１２１および個性ＤＢ１１９を参照して、行動戦略を決定する。
また、ユーザの状態やコンテンツの状況に応じてユーザに話しかけるようにしてもよい。例えば、試合前や試合の途中で対戦結果の予測を行って、応援や対話を行う行動戦略を決定するようにしてもよい。

行動戦略決定後は、各戦略ごとにコンテンツ知識ＤＢ１１８、ユーザ情報ＤＢ１２１および行動ＤＢ１２３を参照し、家庭内機器１２６を動かす行動情報を生成して動作指令生成部１１３へ渡す。ここでいう行動とは、対話の場合であれば、ユーザへ話しかける適切な対話文の生成および行動を選択する。また、質問に対する回答であれば、ユーザの対話文中に含まれる質問をもとに、コンテンツ知識ＤＢ１１８やポータルサイト１０２を検索して、対話文の生成および行動を選択する。また、応援動作であれば、コンテンツおよびユーザに適切な動作、歓声などを生成する。

また、ユーザと家庭内機器との対話や家庭内機器への質問をしている際に、家庭内機器から情報提供されたタイミングと、コンテンツ解析部１１１からのコンテンツの状況の変化のタイミングとが一致したときには、いずれかへの対応の順番を決定し、その順序で家庭内機器の動作を行わせるようにする。

例えば、家庭内機器に対してユーザが選手の成績等を問い合わせているときに、その選手がホームランを打った場合には、家庭内機器では成績を先に表示させるのではなく、喜びを示す動作や歓声等を行ってから、選手の成績を表示するように、情報提供の順序を変更させる。

また、これまでに視聴したコンテンツの放送時間帯、録画されたものか、何回目の視聴であるかを視聴履歴ＤＢ１２０に記録しておき、履歴に応じて、録画コンテンツとライブ放送とで応援のパターンを変えるようにする。
例えば、応援のパターンは１回〜４回までは持っているが、５回目以降は、乱数で応援の種類を決めたり、ポータルサイトから新しい応援パターンをダウンロードして応援するようにする。

これにより、同じコンテンツを２度以上視聴しても、同じ動作を行わないようにできる。また、視聴履歴を参照することによって、ユーザから問い合わせがなくてもロボット等の家庭内機器１２６から話しかけるようにすることもできる。

動作指令生成部１１３は、動作指令ＤＢ１２４を参照して、渡された行動情報に対応する動作を実現するための動作指令を生成して、家庭内機器１２６へ送信する。
例えば、図２を参照すると、抽象的な行動を物理的なロボットで言えばモータを何度動かすといったロボットの部位を駆動するのに必要な動作指令列を生成する。
家庭内機器１２６では、この動作指令に従いモータを駆動していくことで、当該機器を動作させることができる。

ユーザ情報設定部１１６は、コンテンツ視聴システムを利用するユーザ自身によって操作され、または、コンテンツ解析部１１１の結果とユーザ行動解析部１１４での結果から生成され、ユーザごとに、名前、年齢などの個人プロフィール情報、好きなチーム、選手などの嗜好情報等をユーザ情報ＤＢ１２１に設定する（図４参照）。

このユーザ情報ＤＢ１２１は、次のような場合に利用する。
例えば、ユーザ情報ＤＢ１２１にユーザの好きなチームに関する情報を設定しておき、ロボット等の家庭内機器１２６がユーザのパートナとして動作するときには、喜びの歓声をあげるべきか、あるいは落胆のしぐさをとるべきかの戦略を決定することができる。
これにより、一緒にコンテンツを視聴するロボットとしては、ユーザの気持ちを考慮した動作ができる。また、ユーザとロボットとが対立する立場で応援する場合にも、コンテンツの状況に応じて、ユーザの気持ちとは反対の動作を行える。

上記のような構成とすることにより、コンテンツの状況、ユーザの状況、ユーザの嗜好に適したコンテンツ視聴システムを実現することができる。つまり、ロボット等の家庭内機器と一緒にコンテンツを視聴するシステムを提供することができる。

以下、本実施形態における動作について説明する。
図５は、コンテンツ視聴システムの動作を示すフローチャートである。
まず、システムへ電源が供給されると、ユーザの視聴有無とは独立にデータベースの更新を開始する（ステップＳ２０１）。
ここで、ユーザの番組の好みや指定された特定番組ジャンルの放送有無についてＥＰＧ（Electronic Program Guide）など、放送番組情報を提供している媒体を利用して調べ、現在放送中の該当番組がある場合には、これに対応可能なコンテンツ知識や家庭内機器の行動データベースの有無を調べ、既にあればアップデート情報を確認して、更新情報が存在する場合には更新する。対応可能でない場合には、当該データベースの受信を開始する。
あるいは、現在放送中の該当番組がない場合には、最も早く放送される番組に対応可能なコンテンツ知識や家庭内機器の行動データベースの有無を調べ、上記同様に、データベースの更新を行う。

ＴＶ（ディスプレイ／スピーカ１２５）の電源がＯｆｆの場合には（ステップＳ２０２のＯｆｆ）、ステップＳ２０１へ戻る。
また、ロボット等の家庭内機器の電源がＯｆｆであれば（ステップＳ２０３のＯｆｆ）、通常のＴＶの視聴中であるとして、ステップＳ２０１へ戻る。

ロボット等の家庭内機器の電源がＯｎとなると（ステップＳ２０３のＯｎ）、ディレイ処理を開始する（ステップＳ２０４）。
このディレイ処理は、コンテンツ知識ＤＢ１１８に記録されているディレイ時間を読み出して設定し、このディレイ時間が経過後に、ロボット等の家庭内機器とユーザとが一緒になって中継を視聴開始できるようになる。

放送局１０１やインターネット放送局１０３からの放送波を受信したり、あるいは記録再生装置１０６でコンテンツを再生したり、ポータルサイト１０２に保持したコンテンツを読み込み、このコンテンツ情報を解析してコンテンツの状況を取得し（ステップＳ２０６）、解析したコンテンツの状況をコンテンツ知識ＤＢ１１８へ格納する（ステップＳ２０５）。

次に、ユーザ行動を解析してユーザの状態を取得し（ステップＳ２０７）、そのユーザ状態をユーザ情報ＤＢ１２１へ格納する（ステップＳ２０８）。
ここで、コンテンツ情報解析（ステップＳ２０５とＳ２０６）とユーザ行動解析（ステップＳ２０７とＳ２０８）とは、逆順に実行されてもかまわない（即ち、並行に実行されてもよい）。

これにより、コンテンツの状況およびユーザの状態から家庭内機器の行動戦略を決定する（ステップＳ２０９）。
行動戦略決定後は、各戦略ごとにコンテンツ知識を参照し、ユーザ情報ＤＢや個性ＤＢを参照して、家庭内機器の行動を決定する。ここでいう行動とは、対話の場合であれば、ユーザへ話しかける適切な対話文の生成および行動の選択を意味し、質問に対する回答であれば、ユーザの対話文中に含まれる質問をもとに対話エンジン部１１５を使って、コンテンツ知識やポータルサイトを検索し、対話文の生成、行動の選択を意味し、応援動作であればコンテンツおよびユーザに適切な動作、歓声などの生成を意味する。

行動の決定を受けて、動作指令ＤＢ１２４を参照して、行動（拍手や手を振り上げる動作など）と実際の動作を実現するためのデータ、例えば、関節角度のシーケンスを生成して、家庭内機器１２６へ送信する（ステップＳ２１０）。
家庭内機器１２６では、予め設定したディレイ時間分遅延して表示されているコンテンツに対して、受信した動作指令のタイミングが合うように時間調整してから（ステップＳ２１１）、動作指令に従ってモータを駆動する（ステップＳ２１２）。

次に、図６は、コンテンツ知識を外部から取得するときの動作を示すフローチャートである。
受信したコンテンツに必要となるコンテンツ知識が蓄積されているかを確認し（ステップＳ３０１）、このコンテンツ知識が存在する場合（ステップＳ３０２のＹＥＳ）、アップデート情報を受信し（ステップＳ３０３）、アップデート情報が存在する場合（ステップＳ３０５のＹＥＳ）には、このアップデート情報でコンテンツ知識ＤＢ１１８を更新する（ステップＳ３０６）。
一方、アップデート情報がなければ（ステップＳ３０５のＮＯ）、処理を終了する。
他方、コンテンツ知識が存在しない場合（ステップＳ３０２のＮＯ）は、コンテンツ知識をダウンロードしてコンテンツ知識ＤＢ１１８へ記憶し（ステップＳ３０４）、処理を終了する。

これにより、コンテンツを理解するためのコンテンツ知識がコンテンツの種類ごとに保持されるとともに、システムに既に存在するコンテンツ知識ＤＢを常に最新の状態に保つことができるので、例えば、本日の予告先発や本日の取組みといった知識を提供することができる。

図７は、コンテンツ解析部１１１の動作を示すフローチャートである。
現在視聴している番組のジャンルを確認し（ステップＳ７０１）、該当するコンテンツ知識（映像文法、音声文法、字幕文法等）を読み込む（ステップＳ７０２）。
そのコンテンツ知識をもとに、画像認識、音声認識、字幕情報の解析などを用いた特徴シーンの抽出やそのシーンの注釈付けなどによって、試合の流れを認識するとともに、試合の流れをコンテンツ知識ＤＢ１１８へ格納する（ステップＳ７０３）。
試合の流れの中にイベントが発生していることを検出したときは（ステップＳ７０４のＹＥＳ）、イベントの状況を出力する（ステップＳ７０５）。

図８は、ユーザ行動解析部の動作を示すフローチャートである。
ロボット等の家庭内機器から送られてきた音声情報を音声認識して、ユーザの発話文を解析する（ステップＳ８０１）。
また、ロボット等の家庭内機器から送られてきた映像・音声情報を、画像認識、音声認識や、血圧、縮瞳率などの生体指標等を用いて、ユーザのしぐさや動作から盛り上がり度を検出する（ステップＳ８０２）。
このユーザの盛り上がり度は、例えば、コンテンツへの集中度／散漫度、応援の強度、発話の強度、発話速度等、行動生成部１１２で必要となる情報である。

ユーザが「家庭内機器との対話」や「家庭内機器への質問」であった場合（ステップＳ８０３のＹＥＳ）、対話エンジン部１１５を動作させる（ステップＳ８０４）。

図９は、対話エンジン部１１５の動作を示すフローチャートである。
ユーザが家庭内機器へ発話した内容が質問であった場合（ステップＳ９０１のＹＥＳ）、ユーザの対話文中に含まれる質問をもとにコンテンツ知識ＤＢ１１８やポータルサイトを検索し（ステップＳ９０２）、回答の対話文を生成する（ステップＳ９０３）。
一方、ユーザが家庭内機器へ発話した内容が質問でなかった場合（ステップＳ９０１のＮＯ）、ユーザへ話しかける適切な対話文を生成する（ステップＳ９０３）。

上述の実施形態では、ユーザとコンテンツ視聴用家庭内機器とを、１対１に対応させていたが、次のように１人のユーザに対して複数台の家庭内機器を対応させた構成としてもよい。以下の説明では、コンテンツ視聴用家庭内機器をロボットと表現することにするが、このロボットは物理的なロボットやＣＧなどのキャラクタのいずれであってもよい。

（１）ユーザの傍に複数台のロボットを置く場合：
図１０（Ａ）に示すように、ユーザの嗜好に合わせたパートナとなるロボットＡと、このロボットＡとは動作を異にするロボットＢとを用意する。
例えば、野球の試合の番組を視聴するときに、ロボットＡはユーザ自身と同じチームの応援をし、ロボットＢには相手のチームを応援させるようにする場合が考えられる。
また、上例において、ロボットＡには声援や応援動作を行わせ、ロボットＢには選手の戦績、予想等を質問する役割や野球解説者の役割を持たせるようにしてもよい。

また、各ユーザがそれぞれパートナとして１台乃至複数台のロボットを対応付けて、同じコンテンツを同時に視聴することもできる。ユーザとロボットとの対応付けは、例えば、各ユーザに識別可能な無線タグを所持させ、この無線タグを各ロボットに識別させる。
このように、複数のロボットに別々の役割を持たせて、さらに、映像の表示や音響の出力と各ロボットの動作タイミングを同期させることによって、コンテンツを視聴するときの楽しみを盛り上げてくれる。

（２）ユーザの傍と離れた場所に複数台のロボットを置く場合：
図１０（Ｂ）に示すように、ユーザＡと離れた場所にいる友人のユーザＢとが同じコンテンツを同時に視聴するとき、例えば、それぞれのお気に入りの野球チームの試合を見るときを想定する。
このとき、ユーザＡのパートナとなるロボットＡ_１と、このロボットＡ_１と同じ動作をするロボットＡ_２とを用意し、このロボットＡ_２をユーザＢの傍に置く。また、ユーザＢのパートナとなるロボットＢ_１と、このロボットＢ_１と同じ動作をするロボットＢ_２とを用意し、このロボットＢ_２をユーザＡの傍に置く。

さらに、ロボットＡ_１とＡ_２、乃至、ロボットＢ_１とＢ_２とは、インターネット等を介して通信可能としておく。
そして、これらのすべてのロボットと各家庭におかれたディスプレイ（ＴＶ）とがすべて同期した状態で動作するようにする。

このように、離れた場所に自分の分身のようなロボットを置くことによって、友人が傍にいなくとも、コンテンツを視聴するときの楽しみが倍加したものとなる。

また、上述した実施形態は、１台のコンテンツ受信装置ですべてのロボットの動作を制御するように、コンテンツ受信装置と家庭内機器とを機能分担させているが、これに限ったものではない。
例えば、コンテンツ受信装置では、放送局からの放送の受信やこれまでのユーザの履歴やすべてのコンテンツのコンテンツ知識等のデータベースを保持するようにし、受信あるいは読み取ったコンテンツの状況解析、遅延処理までを行う。ロボットでは、コンテンツ受信装置から送られてきた１つのコンテンツの状況解析およびコンテンツ知識や視聴履歴から自分自身の行動を決定して動作を行うとともに、ユーザの状態に応じて、対話や応援の動作を行う。

さらに、コンテンツ視聴用家庭内機器がコンテンツ受信装置の全てを含むようにしてもよい。
さらに、インターネット上のポータルサイト等に、各種データベース１１７をユーザに共通なＤＢと個別に用意するＤＢとに分けて用意し、コンテンツ解析部１１１、行動生成部１１２、動作指令生成部１１３、対話エンジン部１１５やユーザ行動解析部１１４についても、各家庭、各ユーザ毎に用意し、家庭内には、コンテンツ視聴用家庭内機器１２６、ディスプレイ／スピーカ１２５があるだけの構成でもよい。もちろん、コンテンツ視聴用家庭内機器１２６にディスプレイ／スピーカ１２５が含まれてもよい。また、逆にディスプレイ／スピーカ１２５にコンテンツ視聴用家庭内機器１２６が含まれてもよい。

なお、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲内で各種の変形、修正が可能であるのは勿論である。
例えば、本発明のコンテンツ受信装置を、家庭内の家電機器以外、例えば、テレビの中のソフトウェアエージェントとし、このエージェントを動作させるように実現することも可能である。

本発明の実施形態に係るコンテンツ視聴システムの構成図である。 動作指令データベースの例である。 コンテンツ知識ＤＢの例である。 ユーザ情報データベースの例である。 コンテンツ視聴システムの動作を示すフローチャートである。 コンテンツ知識を外部から取得するときの動作を示すフローチャートである。 コンテンツ解析部の動作を示すフローチャートである。 ユーザ行動解析部の動作を示すフローチャートである。 対話エンジン部の動作を示すフローチャートである。 複数台のロボットの配置例である。

符号の説明

１００…コンテンツ受信装置、１０１…放送局、１０２…ポータルサイト、１０３…インターネット放送局、１０５…ホームゲートウェイ、１０６…記録再生装置、１０７…家庭内ＬＡＮ、１０８…コンテンツ受信部、１０９…データ受信部、１１０…遅延処理部、１１１…コンテンツ解析部、１１２…行動生成部、１１３…動作指令生成部、１１４…ユーザ行動解析部、１１５…対話エンジン部、１１６…ユーザ情報設定部、１１７…各種ＤＢ、１１８…コンテンツ知識ＤＢ、１１９…個性ＤＢ、１２０…視聴履歴ＤＢ、１２１…ユーザ情報ＤＢ、１２３…行動ＤＢ、１２４…動作指令ＤＢ、１２５…ディスプレイ／スピーカ、１２６…コンテンツ視聴用家庭内機器（ロボット）。

Claims (2)

1. ユーザが指定したコンテンツを受信して表示するコンテンツ受信装置と、 前記コンテンツを視聴している前記ユーザの反応を前記コンテンツ受信装置に常時送信するとともに、視聴者に擬制されて動作するロボットと、を備え、
   前記コンテンツ受信装置が前記ロボットから受信した前記ユーザの反応に対応する前記ロボットの動作指令を前記ロボットに送信し、前記ロボットが前記コンテンツ受信装置から受信した動作指令に応じて動作するコンテンツ視聴システムであって、
   前記ロボットは、少なくとも前記ユーザの動作の撮影、前記ユーザが発声した音声の集音および前記ユーザの生体情報の一つまたは複数を含むユーザの状態情報を検出し、前記コンテンツ受信装置に送信する送信部と、前記コンテンツ受信装置から受信した動作指令によって当該ロボットを動作させる動作部と、を備え、
   前記コンテンツ受信装置は、予め、当該ロボットが擬制された視聴者としてのコンテンツに対する嗜好と、当該嗜好情報に対応する情動を表わす当該ロボットの動作と、ユーザのコンテンツに対する嗜好を記憶し、前記視聴コンテンツの特徴シーンを示すイベント情報を抽出するコンテンツ解析部と、前記抽出したイベント情報に対する前記ユーザの情動を前記ロボットから受信した前記ユーザの状態情報に基づいて推定するユーザ行動推定部と、前記ロボットと前記ユーザの嗜好が共通のときには、前記ユーザと同じ情動を表わす前記ロボットの動作指令を生成して送信し、反対のときには、前記ユーザと反対の情動を表わす前記ロボットの動作指令を生成して送信する行動生成部と、を備える
   ことを特徴とするコンテンツ視聴システム。
2. 請求項１に記載のコンテンツ視聴システムにおいて、複数台のロボットを有し、前記コンテンツ受信装置は、コンテンツに対する異なる嗜好を前記ロボットごとに記憶し、前記行動生成部は、ロボットごとに異なる動作指令を生成することを特徴とするコンテンツ視聴システム。

Images