JPH10214024A

JPH10214024A - 対話型映画システム

Info

Publication number: JPH10214024A
Application number: JP1690097A
Authority: JP
Inventors: Ryohei Nakatsu; 良平中津; Naoko Tosa; 尚子土佐
Original assignee: ATR CHINOU EIZO TSUSHIN KENKYU; ATR CHINOU EIZO TSUSHIN KENKYUSHO KK
Current assignee: ATR CHINOU EIZO TSUSHIN KENKYU; ATR CHINOU EIZO TSUSHIN KENKYUSHO KK
Priority date: 1997-01-30
Filing date: 1997-01-30
Publication date: 1998-08-11
Anticipated expiration: 2017-01-30
Also published as: JP2874858B2

Abstract

(57)【要約】【課題】ユーザの音声、動作のみならず感情に対応し
てストーリが展開される対話型映画システムを提供す
る。【解決手段】音声認識部４、感情認識部５および画像
認識部６は、インタラクション制御部３の制御を受け
て、シーンｎに対応するユーザの音声、動作、音声に含
まれる感情を認識する。インタラクション制御部３は、
これらの認識結果を統合する。スクリプト制御部１は、
シーン制御部２を介して、この統合された結果を受け
て、複数のシーンの中から次に遷移するシーンｋを決定
する。シーン制御部２は、決定されたシーンｋに応じ
て、映像、音声の出力を指示をするとともに、インタラ
クション開始時間に、シーンｋに対応した認識を行なう
ように、インタラクション制御部３に指示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、対話型映画システ
ムに関し、特に、ユーザの音声に含まれる感情に反応し
てストーリが展開される対話型映画システムに関するも
のである。本発明は、映画市場を広げるとともに、新し
いメディアとして、テレビ、ラジオ、小説などの従来型
のメディアにも刺激を与え、産業界全体に大きなインパ
クトを与えることが期待される。

【０００２】

【従来の技術】映画や小説といったメディアが提供する
世界（ストーリ）の主人公となって、登場するキャラク
タとインタラクションしながら、ストーリを体験したい
というのは人々の長年の素朴な夢であった。

【０００３】このような、対話型のメディアシステム
は、観客とのインタラクションの結果によって、ストー
リを多様に変化させる必要がある。従って、対話型のメ
ディアシステムを実現するためには、あらかじめ複数の
ストーリを用意しておき、コンピュータによって、スト
ーリの切り替えを自動的に行なう処理機能が必要とされ
る。また、観客とメディアの提供するキャラクタとのイ
ンタラクションをどのように行なわせるかを具体化する
必要がある。

【０００４】しかし、従来のメディアシステム（映画や
小説等）は、いわば手作りのメディアであり、ストーリ
の切り替えを行なう処理機能を備えておらず、ストーリ
の組み立てが固定されていた。また、観客とメディアの
提供するキャラクタとのインタラクションをどのように
行なわせるかについてなんら提案がなされていなかっ
た。

【０００５】これに対して、近年のディジタル技術やコ
ンピュータ・グラフィック技術に代表されるコンピュー
タ技術の急激な進展により、新しい状況が生じている。

【０００６】たとえば映画の分野では、こうした新しい
技術を駆使した新世代の映画へと移行しつつある。「ト
イ・ストーリ」（商標）や「ジュラシック・パーク」
（商標）等の映画が、その代表例といえる。

【０００７】このように、コンピュータの導入により、
映画のストーリの展開をコンピュータでコントロールす
ることができる可能性が出てきた。

【０００８】一方、テレビゲームの分野では、簡単な入
力装置からのボタン操作により、ゲーム世界の主人公に
なってストーリを楽しめることができるロール・プレイ
ング・ゲーム（ＲＰＧ）が登場した。ＲＰＧは、ユーザ
とのインタラクション（ボタン操作）の結果に基づき、
展開するストーリを変化させる、いわば、対話型のメデ
ィアシステムの一例といえる。

【０００９】ＲＰＧでは、ユーザは、ゲーム世界の主人
公になってストーリを楽しめることができる。ＲＰＧ
が、子供たちを中心として熱狂的に受け入れられている
のは、こうした簡単なボタン操作によるインタラクショ
ンの結果を受けて、ストーリが多様に変化するからであ
ると考えられる。

【００１０】したがって、ＲＰＧの技術を利用して、イ
ンタラクションの結果に応じてストーリが展開される対
話型の映画システムを実現することも考えられる。

【００１１】

【発明が解決しようとする課題】しかし、上記に示した
従来の対話型メディアシステムを用いて対話型の映画シ
ステムを実現しようとした場合、以下に示す問題があ
る。

【００１２】ＲＰＧに代表される対話型のメディアシス
テムは、上記に示したようにインタラクション機能を持
ち、ユーザが主人公となってメディアの世界を体験する
ことができると言う点では意義がある。しかし、メディ
アシステムとの間のインタラクションの手段が、我々の
日常生活でおこなう行動形式とは異なるボタン操作に限
定されている。したがって、観客は、メディアが実現す
る世界に対する感情移入が起こりにくく、観客がメディ
アの世界に十分没入できないといった問題があげられ
る。

【００１３】このことは、日常生活での人間同士のイン
タラクションを例にとって考えてみるとわかりやすい。
人間同士の場合、インタラクションは、音声や、動作に
よって行なっている。さらに、人間は、音声や動作に加
えて、その音声に含まれる感情をも有効に活用してイン
タラクションを行なっている。

【００１４】これに対して、従来の対話型メディアシス
テムでは、上記に示したようにインタラクションの手段
は単純で非日常的な操作に限定されている。

【００１５】したがって、単に従来型のメディアシステ
ムを用いて対話型映画システムを実現したのでは、観客
により高い感動と楽しみとを与えることができない。

【００１６】それゆえ、本発明は上記に示した問題を解
決するためになされたもので、その目的は、観客がユー
ザとなって、映画のなかのキャラクタと日常生活と同じ
手段でインタラクションすることができる対話型映画シ
ステムを提供することにある。

【００１７】また、本発明のもう一つの目的は、音声に
含まれる感情を交えたインタラクションによって、ユー
ザが現実に体験しているようにストーリを展開すること
ができる対話型映画システムを提供することにある。

【００１８】さらに、本発明のもう一つの目的は、音
声、動作そして感情の認識結果を統合して、ストーリを
多様に展開できる対話型映画システムを提供することに
ある。

【００１９】

【課題を解決するための手段】請求項１に係る対話型映
画システムは、シーンを構成する映像および音声を出力
して、シーンを生成する生成手段と、生成されたシーン
に対するユーザの感情を認識する認識手段と、認識手段
で認識された感情に基づき、生成されたシーンの次に遷
移するシーンを、複数のシーンの候補の中から決定する
スクリプト制御手段と、決定されたシーンに基づき、生
成手段を制御し、さらに、決定されたシーンに対応する
所定のタイミングで、決定されたシーンに基づき認識手
段を制御する制御手段とを備える。

【００２０】請求項２に係る対話型映画システムは、請
求項１に係る対話型映画システムであって、認識手段
は、ユーザの音声に含まれる感情を認識する。

【００２１】請求項３に係る対話型映画システムは、シ
ーンを構成する映像および音声を出力して、シーンを生
成する生成手段と、生成されたシーンに対するユーザの
音声および動作の少なくともいずれか一方と、感情とを
認識する認識手段と、認識手段での認識結果を統合し
て、ユーザのインタラクションの結果を決定する統合手
段と、統合手段によるインタラクションの結果に基づ
き、生成されたシーンの次に遷移するシーンを、複数の
シーンの候補の中から決定するスクリプト制御手段と、
決定されたシーンに基づき、生成手段を制御し、さら
に、決定されたシーンに対応する所定のタイミングで、
決定されたシーンに基づき認識手段を制御する制御手段
とを備える。

【００２２】請求項４に係る対話型映画システムは、請
求項３に係る対話型映画システムであって、認識手段
は、ユーザの音声を認識する音声認識手段と、ユーザの
動作を認識する動作認識手段と、ユーザの音声に含まれ
るユーザの感情を認識する感情認識手段とを備える。

【００２３】

【発明の実施の形態】

［実施の形態１］この発明は、対話型映画システムにお
いて、ユーザの音声、動作、そして音声に含まれる感情
をインタラクションの手段とし、これらを統合した結果
に基づきストーリを展開させることを可能としたもので
ある。

【００２４】図１は、本発明の実施の形態１における対
話型映画システム１００の基本構成を示す概略ブロック
図である。

【００２５】図１を参照して、対話型映画システム１０
０は、スクリプト制御部１と、シーン制御部２と、イン
タラクション制御部３と、音声認識部４と、感情認識部
５と、画像認識部６と、映像表示制御部７と、サウンド
出力制御部８とを備える。

【００２６】まず、スクリプト制御部１について説明す
る。スクリプト制御部１は、ストーリの展開を制御す
る。

【００２７】図２は、本発明の実施の形態１におけるス
クリプト制御部１の構成を示す概略ブロック図である。
図２を参照して、スクリプト制御部１は、遷移制御部１
１と、スクリプトデータ格納部１２とを備える。

【００２８】スクリプトデータ格納部１２には、スクリ
プト（脚本）の構成を予め格納する。

【００２９】図３は、本発明の実施の形態１のスクリプ
ト格納部１２に格納されるスクリプトの構成を説明する
ための図であり、参考のため、図４には従来の映画シス
テムでのスクリプトの構成を示す。

【００３０】図４を参照して、従来の映画システムで
は、シーン１、シーン２、シーン３…と一方向のシーン
の連なりが全体のストーリを形成していた。すなわち、
従来の映画システムにおいては、シーンの移行が単一で
あり、ストーリが固定されていた。

【００３１】これに対して、本発明の対話型映画システ
ム１００においては、図３に示すように、あるシーンか
ら次のシーンへの移行が単一でなく、複数のシーンのい
ずれかに移行することができる。例えば、図３を参照し
て、シーン２１からは、シーン３１、シーン３２、もし
くはシーン３３のいずれか一つのシーンに遷移すること
が可能である。従って、従来の映画システムと異なり、
ストーリの展開に自由度が生じている。

【００３２】ここで、対話型映画システム１００におけ
る各シーンの間には、式（１）に示す関係が成立してい
る。

【００３３】現在のシーン＋インタラクションの結果 → 次のシーン …（１）式（１）を参照して、遷移する次のシーンは、現在のシ
ーンと現在のシーンにおけるインタラクションの結果に
基づき決定される。なお、インタラクションの結果と
は、音声認識部４、感情認識部５、画像認識部６（以
下、いずれかを指す場合には、認識部と呼ぶ）での認識
結果を統合した結果である。

【００３４】図３および式（１）を参照して、対話型映
画システム１００におけるストーリの構成は、シーンを
状態とするマルコフ遷移と考えることができる。従っ
て、シーンの遷移を、状態遷移図で記述することが可能
であり、このような状態遷移図をベースとした記述が適
しているといえる。

【００３５】図２を参照して、遷移制御部１１は、スク
リプトデータ格納部１２に格納されているスクリプトの
構成（状態遷移図）に基づき、インタラクションの結果
を用いて、現在のシーンから次に遷移するシーンを決定
する。そして、次のシーンｎを表わすシーン番号ｎを、
シーン制御部２に出力する。

【００３６】続いて、図１に示したシーン制御部２につ
いて説明する。シーン制御部２は、シーンを記述し、シ
ーンを実現するための制御を行なう。

【００３７】図５は、本発明の実施の形態１におけるシ
ーン制御部２の構成を示す概略ブロック図である。図５
を参照して、シーン制御部２は、シーン生成制御部２１
と、シーンデータ格納部２２とを備える。

【００３８】シーンデータ格納部２２には、シーンを構
成する要素に関するデータ（以下、シーン記述データと
呼ぶ）を予め格納する。

【００３９】図６は、本発明の実施の形態１におけるシ
ーンデータ格納部２２に格納されるシーン記述データの
一例を示す図であり、代表的に、シーンｎのシーン記述
データが示されている。

【００４０】図６を参照して、対話型映画システム１０
０における各シーンは、（背景、登場キャラクタ、イン
タラクション）を基本要素として構成される。

【００４１】シーンの単位を何にするかについては種々
の方法が挙げられるが、対話型映画システム１００にお
いては、一例として、シーンの開始時点（前シーンの終
了時点）から、インタラクションの結果がインタラクシ
ョン制御部３から送られてくるまでを一単位のシーンと
する。これは、インタラクションをシーンの切換の契機
とする考え方に基づくものであり、インタラクションの
結果に応じて次のシーンを決定して、シーン制御部２に
指示するスクリプト制御部１の処理の流れに対応した単
位である。

【００４２】以下、シーンを構成する背景、登場キャラ
クタ、およびインタラクションについて簡単に説明す
る。

【００４３】背景としては、コンピュータグラフィック
で構成された背景、実写をベースとした背景、もしくは
これらを合成して生成した背景等が考えられる。これら
の内容は、いずれもスクリプトを構成する段階で決定し
て作成しておく。また、背景にあわせた音楽も予め用意
しておく。そして、図６に示すように、シーンデータ格
納部２２には、シーン毎に、背景映像の種類、各背景映
像の開始時間、背景音楽の種類、および各背景音楽の開
始時間を記述しておく。

【００４４】登場キャラクタに関しては、インタラクシ
ョンにより動作を変化させるので、基本的には、コンピ
ュータグラフィックで各キャラクタを生成しておく。な
お、インタラクションの結果考えられる登場キャラクタ
の動きを全て考慮して、それらに対応した実写映像を用
意しておく方法もある。また、各キャラクタの映像のみ
ならず、各キャラクタがしゃべる台詞に対応する音声デ
ータもしくは効果音データを用意しておく。そして、図
６に示すように、シーンデータ格納部２２には、シーン
毎に、各キャラクタの登場時間および台詞をしゃべる開
始時間等を記述しておく。

【００４５】インタラクションに関しては、シーン毎
に、インタラクション開始時間と、インタラクションの
種類と、インタラクションの内容（期待される反応）と
を予め決定しておく。ここで、インタラクションの種類
とは、感情、音声もしくは動作、もしくはこれらの組合
せをいう。感情は、感情認識部５において、音声は、音
声認識部４において、動作は、画像認識部６においてそ
れぞれ認識される。

【００４６】例えば、あるインタラクション開始時間に
おいて、ユーザの「音声もしくは感情」から、「ｙｅｓ
かｎｏ」の答えを期待する場合には、インタラクション
の内容は（ｙｅｓ、ｎｏ）、インタラクションの種類は
（音声、感情）となる。図６に示すように、シーンデー
タ格納部２２には、シーン毎に、インタラクション開始
時間、インタラクションの種類、およびインタラクショ
ンの内容を記述しておく。

【００４７】図７は、本発明の実施の形態１におけるシ
ーン生成制御部２１の動作を説明するためのフロー図で
ある。シーン生成制御部２１は、スクリプト制御部１か
ら受けたシーン番号ｎに基づき、シーンデータ格納部２
２のデータに応じて、シーンを生成するための制御を行
なう。図７を参照して、シーン生成制御部２１の機能と
動作について説明する。

【００４８】ステップｓ７−１では、スクリプト制御部
１から生成すべき次のシーン番号ｎを受ける。ステップ
ｓ７−２では、シーンデータ格納部２２から、シーン番
号ｎに対応したシーン記述データを読み出す。ステップ
ｓ７−３では、読み出したシーン記述データに基づき、
必要なタイミングで、後述する映像表示制御部７および
サウンド出力制御部８に、背景映像、背景音楽、キャラ
クタ映像、およびキャラクタの台詞を出力するように指
示する。また、読み出したシーン記述データに基づき、
インタラクションの開始時間になると、後述するインタ
ラクション制御部３に、インタラクションの種類および
インタラクションの内容に関するデータ（以下、インタ
ラクションデータＩＤと呼ぶ）を送信する。

【００４９】ステップｓ７−４では、インタラクション
制御部３から送信されてくるインタラクションの結果を
スクリプト制御部１に送信する（スクリプト制御部１
は、上記に説明したように、このインタラクションの結
果に基づき、遷移する次のシーンを決定する）。

【００５０】スクリプト制御部１が、インタラクション
の結果を受けて次のシーンを決定した場合には、ステッ
プｓ７−１に戻り、再びステップｓ７−１〜ｓ７−４の
処理を行なう。

【００５１】図１を参照して、映像表示制御部７につい
て説明する。映像表示制御部７は、シーン制御部２から
指示された映像（シーンの背景映像、キャラクタの映
像）を出力する。映像表示制御部７は、これらの映像を
予め蓄積しておき、シーン制御部２から出力すべきデー
タの指示があった場合に、図示しないスクリーンやディ
スプレイに表示出力する。

【００５２】図１を参照して、サウンド出力制御部８に
ついて説明する。サウンド出力制御部８は、シーン制御
部２から指示されたサウンド（シーンの背景音楽、キャ
ラクタの台詞もしくは、効果音）を出力する。サウンド
出力制御部８は、これらのサウンドに関するデータを予
め蓄積しておき、シーン制御部２から出力すべきデータ
の指示があった場合に、それらを図示しないスピーカか
ら出力する。

【００５３】続いて、図１に示したインタラクション制
御部３について説明する。インタラクション制御部３
は、各シーンにおけるインタラクションを制御する。

【００５４】具体的には、シーン制御部２から、インタ
ラクション開始の指示と、それに伴なうインタラクショ
ンデータＩＤを受けて、該当する認識部を制御する。そ
して、これらから出力される認識結果を統合して、イン
タラクションの結果としてシーン制御部２に送信する。

【００５５】図８は、本発明の実施の形態１におけるイ
ンタラクション制御部３の構成を示す概略ブロック図で
ある。図８を参照して、インタラクション制御部３は、
認識制御部３１と、認識辞書格納部３２と、認識結果統
合部３３とを備える。

【００５６】認識辞書格納部３２には、認識部において
認識すべき内容に関するデータ辞書を予め格納してお
く。例えば、インタラクションの内容が（ｙｅｓ、ｎ
ｏ）であり、インタラクションの種類が（音声、感情）
である場合には、以下の内容のデータを用意しておく。

【００５７】ｙｅｓ：音声認識部４が認識すべき内容→（「はい］、「そうです」、「ええ」などの肯定的音声）感情認識部５が認識すべき内容→（「喜び」などの正の感情）ｎｏ：音声認識部４が認識すべき内容→（「いいえ］、「違います」、「ノー」などの否定的音声）感情認識部５が認識すべき内容→（「悲しみ」などの負の感情）音声認識部４は、肯定的な音声であるか、否定的な音声
であるかを認識し、感情認識部５は、正の感情である
か、負の感情であるかを認識する。

【００５８】認識結果統合部３３は、認識部からの認識
結果を受けてこれらを統合して、最終的な認識結果であ
るインタラクションの結果を決定する。具体的な統合方
法については、種々のものが考えられる。この統合結果
は、インタラクションの結果として、認識制御部３１に
出力される。

【００５９】図９は、本発明の実施の形態１における認
識制御部３１の動作を説明するためのフロー図である。
図９を参照して、認識制御部３１の機能と動作について
説明する。

【００６０】ステップｓ９−１では、シーン制御部２か
らインタラクションの指示と、インタラクションデータ
ＩＤとを受ける。ステップｓ９ー２では、制御すべき認
識部を決定し、かつ認識辞書格納部３２から認識すべき
対象の辞書を読み出す。

【００６１】ステップｓ９−３では、この辞書を、動作
させる認識部に送信すると共に認識動作を開始させる。
ステップｓ９−４では、認識部から認識結果を受けて、
認識結果統合部３３にこれらを出力する（認識結果統合
部３３は、複数の認識結果をを統合して、インタラクシ
ョンの結果を決定する）。

【００６２】スッテプｓ９−５では、認識結果統合部３
３からインタラクションの結果を受けて、シーン制御部
２に送信する。

【００６３】続いて、図１に示した音声認識部４、感情
認識部５、および画像認識部６について説明する。

【００６４】音声認識部４は、図示しないマイクから入
力したユーザの音声を認識する。画像認識部６は、図示
しないカメラで撮影したユーザの動作を認識する。

【００６５】音声認識部４と、画像認識部６について
は、種々の研究が行なわれており、すでに実用化されて
いるのでここでの説明は省略する。

【００６６】感情認識部５は、図示しないマイクから入
力したユーザの音声に基づき、ユーザの感情を認識す
る。このような感情認識部５の一例として、１９９６年
６月の第４回日立中研研究会予稿集の第７５頁〜第８２
頁の土佐尚子、中津良平による「芸術とテクノロジー：
Ｌｉｆｅ−ｌｉｋｅＡｕｔｏｎｏｍｏｕｓＣｈａｒ
ａｃｔｅｒ”ＭＩＣ” ＆ＦｅｅｌｉｎｇＳｅｓｓ
ｉｏｎＣｈａｒａｃｔｅｒ”ＭＵＳＥ”」に発表され
たものが挙げられる。以下にその処理の概要について簡
単に説明する。

【００６７】図１０は、入力した音声から感情を認識す
る処理の一例を説明するためのフロー図である。図１０
を参照して、感情認識は、音声の特徴を抽出する音声処
理ｓ１０−１および抽出された音声の特徴に基づき感情
を認識する感情認識処理ｓ１０−２から構成される。

【００６８】音声処理ｓ１０−１について説明する。音
声処理ｓ１０−１は、３つの処理から構成される。音声
特徴計算処理ｓ１０−１１は、入力した音声から音声特
徴パラメータをリアルタイムで抽出する。音声区間抽出
処理Ｓ１０−１２は、音声パワーを用いて、音声区間の
抽出を行なう。音声特徴量抽出処理Ｓ１０−１３は、抽
出された音声区間を用いて、音声特徴量を決定する。

【００６９】続いて、感情認識処理Ｓ１０−２について
説明する。感情認識処理ｓ１０−２は、ニューラルネッ
トワークを用いた感情認識（ｓ１０−２１）、感情平面
への写像（ｓ１０−２２）、およびニューラルネットワ
ークの学習（ｓ１０−２３）から構成される。

【００７０】図１１は、感情認識のためのニューラルネ
ットワーク５０の構造を概略的に示すブロック図であ
る。

【００７１】図１１を参照して、ニューラルネットワー
クシステム５０は、８つ並列に配置さらたサブニューラ
ルネットワークＮ１〜Ｎ８と、これらのサブニューラル
ネットワークＮ１〜Ｎ８からの出力を統合する論理部５
１から構成される。

【００７２】ニューラルネットワークシステム５０で
は、感情によって感情認識の困難さが大きく異なるた
め、一つの感情に対して一個のサブニューラルネットワ
ークを対応づけている。８つの各々のサブニューラルネ
ットＮ１〜Ｎ８は、８つの感情（怒り、悲しみ、喜び、
恐れ、驚き、愛想をつかす、からかい、および普通）を
それぞれ認識する。

【００７３】ここで、感情認識を行なうためには、予め
８つのサブニューラルネットＮ１〜Ｎ８を学習させてお
く（図１０のｓ１０−２３）必要がある。以下、感情の
学習について簡単に説明する。ニューラルネットワーク
システム５０は、不特定話者、コンテキスト独立型の感
情認識を可能とするするために、複数の話者が発声した
８つの感情で表現した１００個の単語（音韻バランスの
とれた単語）の音声サンプルを用いて学習する。

【００７４】図１２は、感情認識に用いられるサブニュ
ーラルネットワークの構成を概略的に示す図であり、サ
ブニューラルネットワークＮ１の構成が代表的に示され
ている。図１２を参照して、サブニューラルネットワー
クＮ１は、入力層６１、中間層６２、および出力層６３
から構成される。各層は、複数のノード（図１２の○）
から構成される。入力層６１のノードは、音声特徴量の
次元に対応している。入力層の各ノードには、音声処理
（図１０のｓ１０−１）で抽出された音声特徴量を同時
に入力する。出力層６３のノードは、８つの感情の中の
いずれか１の感情に対応した感情認識結果（実数値）を
出力する。

【００７５】学習したサブニューラルネットワークＮｊ
（但し、ｊ＝１〜８）の出力（認識結果）を、ｖｊと表
すとすれば、サブニューラルネットワークＮ１〜Ｎ８全
体からの出力は、式（２）に示すようにベクトルで表現
される。

【００７６】Ｖ＝（ｖ１、ｖ２、…、ｖ８） …（２）図１１に示した論理部５１は、式（２）で表現される学
習したサブニューラルネットワークＮ１〜Ｎ８の出力Ｖ
を論理処理して、２次元の感情平面Ｅへの写像を行な
う。

【００７７】図１３は、感情認識のためのニューラルネ
ットワークシステム５０で用いる感情平面Ｅの構成を概
略的に表した図である。図１３を参照して、感情平面Ｅ
上には、８つの感情（怒り、悲しみ、喜び、恐れ、驚
き、愛想をつかす、からかい、および普通）が、それぞ
れ配置されている。

【００７８】ｍ１を、８つの実数値（ｖ１〜ｖ８）の最
大値とし、ｍ２を、ｍ１を除く７つの実数値（ｖ１〜ｖ
８のいずれか７つ）の最大値とし、さらに、ｍ１、ｍ２
に対応する感情平面Ｅ上の感情位置を（ｘｍ１、ｙｍ
１）、（ｘｍ２、ｙｍ２）とする。論理部５１は、ｘｍ
１、ｙｍ１、ｘｍ２、およびｙｍ２の値から、最終的な
感情認識結果である値ｘを導き出す。

【００７９】インタラクションの種類が、感情のみであ
る場合には、この感情認識結果ｘからインタラクション
の結果が導き出される。

【００８０】以上の説明を参考にして、簡単なストーリ
を用いて、本発明の実施の形態１における対話型映画シ
ステム１００の動作を説明する。

【００８１】図１４に、本発明の実施の形態１における
動作を説明するための一例となるスクリプト構成を示
す。図１４においては、シーン１およびシーン１から遷
移可能なシーン２１と、シーン２２とが示されている。

【００８２】シーン１では、子供Ａ、Ｂが亀を苛めてい
る。このシーン１に対して、インタラクションの結果
が、”亀を助ける”であればシーン２１に移り、亀は、
主人公である子供Ｃを龍宮城に案内する。一方、インタ
ラクションの結果が、”亀を助けない”であればシーン
２２に移り、亀は死んでしまう。

【００８３】図１５に、図１４におけるシーン１を構成
するシーン記述データの一例を示す。図１５を参照し
て、シーン１は、背景映像１および背景音楽１、２で構
成される。また、キャラクタは、子供Ａ、Ｂ、亀から構
成される。インタラクションの種類は（感情）、インタ
ラクションの内容は（亀を助ける、亀を助けない）であ
る。

【００８４】スクリプト制御部１は、シーン制御部２に
シーン１の生成を指示するとともに、シーン制御部２か
らインタラクションの結果が送られてくるのを待つ。

【００８５】シーン制御部２は、シーン１に対応したシ
ーン記述データ（図１５参照）をシーンデータ格納部２
２から読出す。

【００８６】図１６は、図１５に示したシーン記述デー
タに基づく、対話型映画システム１００の動作を生成す
るためのタイミングチャートである。図１５〜図１６を
参照して、対話型映画システム１００の具体的な動作に
ついて説明する。

【００８７】シーン制御部２は、時間ｔ０に、映像表示
制御部７に背景映像１の表示を、サウンド出力制御部８
に背景音楽１の出力をそれぞれ指示する。続いて、時間
ｔ１に、映像表示制御部７に亀のアニメーションの表示
を指示する。また、時間ｔ２には、映像表示制御部７に
子供Ａ、Ｂのアニメーションの表示を、サウンド出力制
御部８に背景音楽２の出力をそれぞれ指示する。時刻ｔ
３、ｔ４にそれぞれ子供Ａ、Ｂの台詞の出力をサウンド
出力制御部８に指示する。時間ｔ５になると、インタラ
クション制御部３に対して、インタラクションの種類、
インタラクションの内容に関するインタラクションデー
タＩＤを送信するとともに、インタラクションの開始を
指示する。

【００８８】インタラクション制御部３は、このインタ
ラクションデータＩＤに基づき、感情認識部５の動作を
開始させる。感情認識部５は、ユーザの音声を入力とし
て受けた場合、感情認識を行い、認識結果をインタラク
ション制御部３に送信する。

【００８９】インタラクション制御部３では、この感情
認識結果から、シーン１を見たユーザが、亀を助けたい
のか否かを判断する。例えば、悲しい、怒りなどの負の
感情が認識されると、ユーザが亀が苛められていること
にネガティブな感情を抱いており、亀を助けたいと考え
ていると判断する。一方、楽しいなどの正の感情が認識
されると、ユーザが亀が苛められていることに快感を感
じていて、亀を助けたがっていないと判断する。

【００９０】このインタラクションの結果は、シーン制
御部２を介して、スクリプト制御部１に送られる。スク
リプト制御部１は、例えば、亀を助けたいという結果が
送られてきた場合には、シーン２１（そうでない場合に
は、シーン２２）を次のシーンに決定して、シーン制御
部２に指示する。

【００９１】以上のように、本発明の対話型映画システ
ム１００は、ユーザが映画の主人公になり、映画の中の
キャラクタとインタラクションしながら、映画のストー
リを体験できる新しいエンターテインメントを提供する
ことができる。この結果、ユーザに、より高いレベルの
感動と楽しさとを与えることができる。

【００９２】

【発明の効果】以上のように、本発明による対話型映画
システムによれば、ユーザは、映画のキャラクタと日常
生活と同じ手段でインタラクションすることが可能とな
る。

【００９３】また、本発明による対話型映画システムに
よれば、音声に含まれる感情を交えたインタラクション
によって、ユーザが現実に体験しているようにストーリ
を展開することができる。

【００９４】さらに、本発明による対話型映画システム
によれば、複数のインタラクションを認識して、これら
を統合することにより、ストーリを多様に展開すること
ができる。

【図面の簡単な説明】

【図１】本発明の実施の形態１における対話型映画シス
テム１００の全体構成を示す概略ブロック図である。

【図２】本発明の実施の形態１におけるスクリプト制御
部１の構成を示す概略ブロック図である。

【図３】本発明の実施の形態１におけるスクリプトの構
成を説明するための図である。

【図４】従来の映画システムにおけるスクリプトの構成
を説明するための図である。

【図５】本発明の実施の形態１におけるシーン制御部２
の構成を示す概略ブロック図である。

【図６】本発明の実施の形態１におけるシーンデータ格
納部２２に格納されるシーン記述データの一例を説明す
るための図である。

【図７】本発明の実施の形態１におけるシーン生成制御
部２１の動作を説明するためのフロー図である。

【図８】本発明の実施の形態１におけるインタラクショ
ン制御部３の構成を示す概略ブロック図である。

【図９】本発明の実施の形態１におけ認識制御部３１の
動作を説明するためのフロー図である。

【図１０】入力した音声から感情を認識する処理の一例
を説明するためのフロー図である。

【図１１】感情認識のためのニューラルネットワークシ
ステム５０の構成を概略的に示すブロック図である。

【図１２】感情認識に用いるサブニューラルネットワー
クＮ１〜Ｎの構成を概略的に示す図である。

【図１３】感情認識のためのニューラルネットワーク５
０で用いる感情平面Ｅの構成を概略的に示す図である。

【図１４】本発明の実施の形態１における動作を説明す
るためのスクリプト構成の一例を示す図である。

【図１５】図１４に示したシーン１を構成するシーン記
述データの一例を示す図である。

【図１６】図１５に示したシーン記述データに基づく、
対話型映画システム１００の動作を説明するためのタイ
ミングチャートである。

【符号の説明】１スクリプト制御部２シーン制御部３インタラクション制御部４音声認識部５感情認識部６画像認識部７映像表示制御部８サウンド出力制御部１１遷移制御部１２スクリプトデータ格納部２１シーン生成制御部２２シーンデータ格納部３１認識制御部３２認識辞書格納部３３認識結果統合部１００対話型映画システム

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩＧ１０Ｌ 3/00 ５７１Ｇ１０Ｌ 9/10 ３０１Ｃ 9/10 ３０１Ｇ０６Ｆ 15/20 Ｚ

Claims

【特許請求の範囲】

【請求項１】シーンを構成する映像および音声を出力
して、前記シーンを生成する生成手段と、前記生成されたシーンに対するユーザの感情を認識する
認識手段と、前記認識手段で認識された前記感情に基づき、前記生成
されたシーンの次に遷移する前記シーンを、複数の前記
シーンの候補の中から決定するスクリプト制御手段と、前記決定されたシーンに基づき、前記生成手段を制御
し、さらに、前記決定されたシーンに対応する所定のタ
イミングで、前記決定されたシーンに基づき前記認識手
段を制御する制御手段とを備えた、対話型映画システ
ム。
【請求項２】前記認識手段は、前記ユーザの音声に含
まれる前記感情を認識する、請求項１記載の対話型映画
システム。
【請求項３】シーンを構成する映像および映像を出力
して、前記シーンを生成する生成手段と、前記生成されたシーンに対するユーザの音声および動作
の少なくともいずれか一方と、感情とを認識する認識手
段と、前記認識手段での認識結果を統合して、前記ユーザのイ
ンタラクションの結果を決定する統合手段と、前記統合手段によるインタラクションの結果に基づき、
前記生成されたシーンの次に遷移する前記シーンを、複
数の前記シーンの候補の中から決定するスクリプト制御
手段と、前記決定されたシーンに基づき、前記生成手段を制御
し、さらに、前記決定されたシーンに対応する所定のタ
イミングで、前記決定されたシーンに基づき前記認識手
段を制御する制御手段とを備えた、対話型映画システ
ム。
【請求項４】前記認識手段は、前記ユーザの音声を認識する音声認識手段と、前記ユーザの動作を認識する動作認識手段と、前記ユーザの音声に含まれる前記ユーザの感情を認識す
る感情認識手段とを備える、請求項３記載の対話型映画
システム。