JPH08279055A - 映像生成／表示システム - Google Patents

Abstract

(57)【要約】 【目的】全体として展開されるドラマを、異なる視点か
らそれぞれ独立に映像化することができる映像生成／表
示システムを提供する。 【構成】バーチャルワールドを構築する要素として、人
として扱われる複数の人的登場体、物として扱われる複
数の物的登場体、および、複数のローカル空間について
の特徴情報と、バーチャルワールド全体においてドラマ
を進行させるシナリオ情報とを記憶装置３００に予め記
憶させておく。情報処理装置１００は、記憶装置３００
からシナリオ情報を読みだして、シナリオの記述に従っ
てバーチャルワールドの全空間においてドラマを進行さ
せ、複数のローカル空間のうち、指定されたローカル空
間について、当該ローカル空間内でのドラマを記述する
シナリオ情報が示すドラマの内容を、上記記憶されてい
る特徴情報を参照して映像化して、表示装置６００に表
示する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、バーチャルワールドを
仮想的に生成し、そこで生起されるドラマを、予め用意
したシナリオに沿って展開し、当該ドラマを映像化して
表示する映像生成／表示システムおよび映像生成／表示
方法に関する。

【０００２】

【従来の技術】従来、映画等では、予め定められたスト
ーリに沿って、それぞれの登場人物がそれぞれの役割を
演じて、ドラマを進行させている。例えば、映画では、
シナリオに沿って種々のシーンが撮影され、それらを編
集して映像作品が構成される。これは、記録媒体がフィ
ルムかビデオテープかの違いがあっても、テレビジョン
におけるドラマにおいても同様である。また、アニメー
ションの場合でも、シナリオに沿って、各シーン毎に原
画が作成され、それを映像化して、例えば、ビデオテー
プに記録し、それを編集することにより、映像作品が構
成される。

【０００３】このような従来の映像作品の再生は、映画
であれば、映写機によりフィルムを順次送りつつ、スク
リーン上に映写して、動きのある映像をスクリーン上に
表示することにより行なわれる。テレビジョンであれ
ば、例えば、ビデオテープをＶＴＲにより再生して、モ
ニタに表示することにより行なわれる。これは、アニメ
ーションでも同様である。

【０００４】

【発明が解決しようとする課題】このような従来の映像
表示システムを分析すると、次のような特徴が存在する
ことがわかる。すなわち、従来のシステムでは、再生さ
れた映像は、製作者の意図した視点でしか見ることがで
きないという点である。これは、シナリオ自体が、ある
視点から見ることを想定して書かれたものであること、
および、映像も、そのシナリオに従って製作されること
による。このため、再生も、与えられた視点から見るこ
とにならざるを得ない。例えば、逃亡者と追跡者のドラ
マを考える。この種のドラマは、従来の映像表示システ
ムでは、ある時点では、逃亡者側でのドラマが描かれ、
他の時点では、追跡者側でのドラマが描かれ、それら
が、交互に提供されて、全体としてドラマを構成してい
る。このようにして製作されたドラマを見る視聴者は、
製作されたとおりに、ドラマを観賞することとなる。

【０００５】ところで、近年、マルチメディアの発達に
見られるように、ユーザは、単に情報を一方的に与えら
れるだけでは飽き足らず、自らの意志で、知りたい情報
を積極的に得るようにアクセスできることを望んでい
る。これは、ドラマの世界であっても同様と考えられ
る。すなわち、与えられた視点からに限らず、自らの視
点で、ドラマを見てみたいという潜在的な要望があると
思われる。例えば、上述した逃亡者と追跡者のドラマで
あれば、一方側のみの立場でドラマを見ることにより、
その立場の登場者と一体感がより高まることが期待され
る。より具体的にいえば、逃亡者の視点でドラマを見る
と、見えない追跡者におびえつつ、逃亡を図る逃亡者の
心理とスリルとがより深く共感できるであろう。一方、
追跡者側の視点に立てば、逃亡者の所在を突き止めつ
つ、追跡する謎解きの醍醐味をより深く味わえるであろ
う。

【０００６】しかし、従来の映画等では、このような要
望の実現は困難であった。その理由は、第１に、そのよ
うな新しい映像の生成および表示についての潜在的な要
求が拾い上げられていなかったことにある。第２は、そ
のような新しい考え方が存在していなかったことにあ
る。さらに、第３は、そのために用いられるシステムが
存在していなかったことにある。

【０００７】本発明の目的は、全体として展開されるド
ラマを、異なる視点からそれぞれ独立に映像化すること
ができる映像生成／表示システムおよび映像生成／表示
方法を提供することにある。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、本発明は、バーチャルワールドを仮想的に生成し、
そこで生起されるドラマを、予め用意したシナリオに沿
って展開し、当該ドラマを映像化して表示する映像生成
／表示システムにおいて、バーチャルワールドを構築す
ると共に、ドラマを進行させるために必要な情報を記憶
するための記憶手段と、記憶手段に記憶される情報に基
づいて、バーチャルワールド内でドラマを進行させると
共に、当該ドラマを映像化する情報処理手段と、情報処
理手段で生成された映像を表示するための出力手段と、
情報処理手段に対して指示を入力するための入力手段と
を備え、上記記憶手段は、バーチャルワールドを構築す
る要素として各々仮想的に設定された、それぞれ人のよ
うに振る舞うことができ、人として扱われる複数の人的
登場体、物として扱われる複数の物的登場体、および、
それらが存在し得る複数のローカル空間についての特徴
情報を格納し、かつ、バーチャルワールド全体において
ドラマを進行させるストーリを構成するための情報とし
て、シナリオ情報を格納し、上記情報処理手段は、シナ
リオ情報を読みだして、シナリオの記述に従ってバーチ
ャルワールドの全空間においてドラマを進行させる進行
管理手段と、上記進行管理手段で進行管理されるシナリ
オ情報のうち、バーチャルワールドの指定されたローカ
ル空間に関する情報について、上記特徴情報を参照し
て、それに含まれるバーチャルワールドの構成要素の映
像を生成して、上記出力手段に表示させる映像生成手段
とを備えることを特徴とする。

【０００９】本発明のより具体的な第１の態様によれ
ば、バーチャルワールドを仮想的に生成し、そこで生起
されるドラマを、予め用意したシナリオに沿って展開
し、当該ドラマを映像化して表示する映像生成／表示シ
ステムにおいて、映像情報を提供する映像情報提供シス
テムと、映像情報提供システムと接続されて、映像情報
提供システムから提供される映像情報に基づいて、映像
を生成して表示する１以上の視聴者システムとを有し、
映像情報提供システムは、バーチャルワールドを構築す
ると共に、ドラマを進行させるために必要な情報を記憶
するための記憶装置と、記憶装置に記憶される情報に基
づいて、バーチャルワールド内でドラマを進行させると
共に、当該ドラマを映像化するための情報を視聴者シス
テムに送る処理を行なうための情報処理装置と、通信を
行なうための通信制御装置とを備え、上記記憶装置は、
バーチャルワールドを構築する要素として各々仮想的に
設定された、それぞれ人のように振る舞うことができ、
人として扱われる複数の人的登場体、物として扱われる
複数の物的登場体、および、それらが存在し得る複数の
ローカル空間についての特徴情報を格納し、かつ、バー
チャルワールド全体においてドラマを進行させるストー
リを構成するための情報として、シナリオ情報を格納
し、上記情報処理装置は、シナリオ情報を読みだして、
シナリオの記述に従ってバーチャルワールドの全空間に
おいてドラマを進行させる進行管理手段を有し、視聴者
システムは、映像情報提供システムから送られた情報を
格納する記憶装置と、映像情報提供システムから送られ
た情報に基づいて、ドラマを映像化する処理を行なうた
めの情報処理装置と、情報処理装置で生成された映像を
表示するための表示装置と、情報処理装置に対して指示
を入力するための入力装置と、通信を行なうための通信
制御装置とを備え、上記情報処理装置は、上記進行管理
手段で進行管理されるシナリオ情報のうち、バーチャル
ワールドの指定されたローカル空間に関する情報につい
て、上記特徴情報を参照して、それに含まれるバーチャ
ルワールドの構成要素の映像を生成して、上記表示装置
に表示させる映像生成手段を備えることを特徴とする映
像生成／表示システムが提供される。

【００１０】本発明の第２の態様によれば、バーチャル
ワールドを仮想的に生成し、そこで生起されるドラマ
を、予め用意したシナリオに沿って展開し、当該ドラマ
を映像化して表示する映像生成／表示システムにおい
て、映像情報を提供する映像情報提供システムと、映像
情報提供システムと接続されて、映像情報提供システム
から提供される映像情報に基づいて、映像を生成して表
示する１以上の視聴者システムとを有し、映像情報提供
システムは、ドラマを上映するためのバーチャルワール
ドを構築すると共に、ドラマを進行させるために必要な
情報を記憶するための記憶装置と、視聴者システムから
の要求に応じて、記憶装置に記憶されるドラマを映像化
するための情報を視聴者システムに送る処理を行なうた
めの情報処理装置と、通信を行なうための通信制御装置
とを備え、上記記憶装置は、バーチャルワールドを構築
する要素として各々仮想的に設定された、それぞれ人の
ように振る舞うことができ、人として扱われる複数の人
的登場体、物として扱われる複数の物的登場体、およ
び、それらが存在し得る複数のローカル空間についての
特徴情報を格納し、かつ、バーチャルワールド全体にお
いてドラマを進行させるストーリを構成するための情報
として、シナリオ情報を格納し、視聴者システムは、映
像情報提供システムから送られた情報を格納するための
記憶装置と、映像情報提供システムから送られる情報を
受けとって記憶装置に格納すると共に、その情報に基づ
いて、ドラマを映像化する処理を行なうための情報処理
装置と、情報処理装置で生成された映像を表示するため
の表示装置と、情報処理装置に対して指示を入力するた
めの入力装置と、通信を行なうための通信制御装置とを
備え、上記情報処理装置は、シナリオ情報を読みだし
て、シナリオの記述に従ってバーチャルワールドの全空
間においてドラマを進行させる進行管理手段と、上記進
行管理手段で進行管理されるシナリオ情報のうち、バー
チャルワールドの指定されたローカル空間に関する情報
について、上記特徴情報を参照して、それに含まれるバ
ーチャルワールドの構成要素の映像を生成して、上記表
示装置に表示させる映像生成手段を備えることを特徴と
する映像生成／表示システムが提供される。

【００１１】本発明によれば、この他にも種々の態様が
実現できる。以下、その一部を例示する。

【００１２】本発明の第３の態様によれば、バーチャル
ワールドを仮想的に生成し、そこで生起されるドラマ
を、予め用意したシナリオに沿って展開し、当該ドラマ
を映像化して表示する映像生成／表示システムにおい
て、バーチャルワールドを構築すると共に、ドラマを進
行させるために必要な情報を記憶するための記憶装置
と、記憶装置に記憶される情報に基づいて、バーチャル
ワールド内でドラマを進行させると共に、当該ドラマを
映像化する情報処理装置と、情報処理装置で生成された
映像を表示するための表示装置と、情報処理装置に対し
て指示を入力するための入力装置とを備え、上記記憶装
置は、バーチャルワールドを構築する要素として各々仮
想的に設定された、それぞれ人のように振る舞うことが
でき、人として扱われる複数の人的登場体、物として扱
われる複数の物的登場体、および、それらが存在し得る
複数のローカル空間についての特徴情報を格納し、か
つ、バーチャルワールド全体においてドラマを進行させ
るストーリを構成するための情報として、シナリオ情報
を格納し、上記情報処理装置は、シナリオ情報を読みだ
して、シナリオの記述に従ってバーチャルワールドの全
空間においてドラマを進行させる進行管理手段と、上記
進行管理手段で進行管理されるシナリオ情報のうち、バ
ーチャルワールドの指定されたローカル空間に関する情
報について、上記特徴情報を参照して、それに含まれる
バーチャルワールドの構成要素の映像を生成して、上記
表示装置に表示させる映像生成手段とを備えることを特
徴とする映像生成／表示システムが提供される。

【００１３】また、本発明の第４の態様によれば、バー
チャルワールドを仮想的に生成し、そこで生起されるド
ラマを、予め用意したシナリオに沿って展開し、当該ド
ラマを映像化して表示する映像生成／表示方法におい
て、バーチャルワールドを構築する要素として各々仮想
的に設定された、それぞれ人のように振る舞うことがで
き、人として扱われる複数の人的登場体、物として扱わ
れる複数の物的登場体、および、それらが存在し得る複
数のローカル空間についての特徴情報と、バーチャルワ
ールド全体においてドラマを進行させるストーリを構成
するための情報であるシナリオ情報とを、記憶装置に予
め記憶させておき、記憶装置からシナリオ情報を読みだ
して、シナリオの記述に従ってバーチャルワールドの全
空間においてドラマを進行させ、上記複数のローカル空
間のうち、指定されたローカル空間について、当該ロー
カル空間内でのドラマを記述するシナリオ情報が示すド
ラマの内容を、上記記憶されている特徴情報を参照して
映像化して、表示装置に表示することを特徴とする映像
生成／表示方法が提供される。

【００１４】また、本発明の第５の態様によれば、バー
チャルワールドを仮想的に生成し、そこで生起されるド
ラマを、予め用意したシナリオに沿って展開し、当該ド
ラマを映像化して表示する映像生成／表示システムにお
いて、バーチャルワールドを構築する複数のローカル空
間の特徴、ならびに、バーチャルワールド中に登場する
各人物および各物体のそれぞれの特徴を記述する特徴情
報と、予め定めた複数の登場人物のそれぞれについての
ドラマを進行させるストーリを構成するための情報であ
るシナリオ情報とを記憶する手段と、シナリオ情報を読
みだして、シナリオの記述に従って各登場人物ごとにド
ラマを生成すると共に、これらのドラマを同期して進行
させる進行管理手段と、バーチャルワールドにおける映
像化を行なうべき登場人物の指定を行なう映像化人物指
定手段と、上記進行管理手段で進行管理されるシナリオ
情報のうち、指定された登場人物に関するドラマの部分
の情報について、上記特徴情報を参照して、それに含ま
れるバーチャルワールドの構成要素の映像を生成して、
上記表示装置に表示させる映像生成手段とを備えること
を特徴とする映像生成／表示システムが提供される。

【００１５】また、本発明の第６の態様によれば、バー
チャルワールドを仮想的に生成し、そこで生起されるド
ラマを、予め用意したシナリオに沿って展開し、当該ド
ラマを映像化して表示する映像生成／表示システムにお
いて、バーチャルワールドを構築する複数のローカル空
間の特徴、ならびに、バーチャルワールド中に登場する
各人物および各物体のそれぞれの特徴を記述する特徴情
報と、各ローカル空間でのドラマを進行させるストーリ
を構成するための情報であるシナリオ情報とを記憶する
手段と、シナリオ情報を読みだして、シナリオの記述に
従って各ローカル空間ごとにドラマを生成すると共に、
これらのドラマを同期して進行させる進行管理手段と、
バーチャルワールドにおける映像化を行なうべきローカ
ル空間の指定を行なう映像化空間指定手段と、上記進行
管理手段で進行管理されるシナリオ情報のうち、指定さ
れたローカル空間に関する情報について、上記特徴情報
を参照して、それに含まれるバーチャルワールドの構成
要素の映像を生成して、上記表示装置に表示させる映像
生成手段とを備えることを特徴とする映像生成／表示シ
ステムが提供される。

【００１６】さらに、本発明の第７の態様によれば、バ
ーチャルワールドを仮想的に生成し、そこで生起される
ドラマを、予め用意したシナリオに沿って展開し、当該
ドラマを映像化して表示する映像生成／表示システムに
おいて、バーチャルワールドを構築する複数のローカル
空間の特徴、ならびに、バーチャルワールド中に登場す
る各人物および各物体のそれぞれの特徴を記述する特徴
情報と、各ローカル空間でのドラマを進行させるストー
リを構成するための情報であるシナリオ情報とを記憶す
る手段と、シナリオ情報を読みだして、シナリオの記述
に従って各ローカル空間ごとにドラマを生成すると共
に、これらのドラマを同期して進行させる進行管理手段
と、上記情報処理装置は、バーチャルワールドにおける
映像化を行なう際に仮想的に設定する仮想カメラの位置
および方向の設定を行なう仮想カメラ設定手段と、上記
進行管理手段で進行管理されるシナリオ情報のうち、設
定された仮想カメラ位置が存在するローカル空間に関す
る情報について、上記特徴情報を参照して、設定された
カメラ方向に従って観察された状態で映像を生成して、
上記表示装置に表示させる映像生成手段とを備えること
を特徴とする映像生成／表示システムが提供される。

【００１７】

【作用】本発明では、ドラマを生起させるための空間が
仮想的に設定される。そして、その空間は、そのドラマ
が影響する全世界について設定される。すなわち、バー
チャルワールドが仮想的に生成される。このバーチャル
ワールドにおいて生起されるドラマが、予め用意したシ
ナリオに沿って展開され、映像化されて表示される。

【００１８】バーチャルワールドの構築は、ドラマを進
行させるために必要な情報を記憶装置に記憶させること
により行なわれる。記憶装置には、例えば、バーチャル
ワールドを構築する要素として各々仮想的に設定され
た、それぞれ人のように振る舞うことができ、人として
扱われる複数の人的登場体、物として扱われる複数の物
的登場体、および、それらが存在し得る複数のローカル
空間についての特徴情報が格納される。また、バーチャ
ルワールド全体においてドラマを進行させるストーリを
構成するための情報として、シナリオ情報が格納され
る。

【００１９】情報処理装置は、記憶装置に記憶される情
報に基づいて、バーチャルワールド内でドラマを進行さ
せると共に、当該ドラマを映像化する。そのため、進行
管理手段により、シナリオ情報を読みだして、シナリオ
の記述に従ってバーチャルワールドの全空間においてド
ラマを進行させる。また、映像生成手段により、進行管
理手段で進行管理されるシナリオ情報のうち、バーチャ
ルワールドの指定されたローカル空間に関する情報につ
いて、上記特徴情報を参照して、それに含まれるバーチ
ャルワールドの構成要素の映像を生成して、上記表示装
置に表示させる。

【００２０】表示装置は、情報処理装置で生成された映
像を表示する。また、入力装置は、情報処理装置に対し
て指示を入力するために用いられる。

【００２１】

【実施例】以下、本発明の実施例について、図面を参照
して説明する。

【００２２】以下で説明する実施例は、仮想的な世界
（バーチャルワールド）を想定し、そこで生起されるド
ラマを、予め定めたシナリオに基づいて展開して、映像
を生成し、それを表示するシステムである。この映像生
成／表示システムは、図１に示すハードウエアシステム
を用いて実現される。

【００２３】図１に示すように、本発明で用いられるハ
ードウエアシステムは、情報処理装置１００と、入力装
置２００と、光ディスク装置３００と、ハードディスク
装置４００と、音響再生装置５００と、ディスプレイ６
００とを備える。

【００２４】情報処理装置１００は、後述する各種プロ
グラムを実行して、ドラマを進行させ、映像を生成し、
表示すると共に、音響を生成して、再生することを行な
う。この情報処理装置１００は、そのための各種処理を
実行する主プロセッサ１０１と、主プロセッサ１０１の
プログラムおよび各種データを記憶する主記憶１０２
と、表示すべき映像データを格納するフレームバッファ
１０３と、映像をディスプレイ６００に表示させるため
の制御を行なうディスプレイコントローラ１０４と、入
力装置２００等のＩ／Ｏ機器の入出力制御を行なう入出
力制御プロセッサ１０５と、これらを接続するシステム
バス１０６とを有する。

【００２５】入力装置２００は、情報処理装置１００へ
の指示等を入力するためのキーボード２１０、マウス２
２０およびコントロールボックス２３０を有する。な
お、マウス２２０およびコントロールボックス２３０
と、リモートコントロールシステム２４０とを有するこ
とができる。また、マウス２２０、コントロールボック
ス２３０およびリモートコントロルシステム装置２４０
のうち、いずれか一つのみとしてもよい。さらに、キー
ボード２１０を省略してもよい。これらの各入力装置の
うち、視聴者に採って使い勝手のよいものは、コントロ
ールボックス２３０およびリモートコントロールシステ
ム２４０であろう。従って、例えば、座席に固定的に設
ける場合には、コントロールボックス２３０とし、座席
に固定せずに、視聴者が持って操作する場合には、リモ
ートコントロールシステム２４０とすることが、一つの
選択できる態様であろう。

【００２６】コントロールボックス２３０は、図１６に
示すように、ボックス状のケース２３１と、その平面中
央に突出して設けられたジョイスティック２３２と、押
し釦２３３Ａ，２３３Ｂ，２３３Ｃとを有する。ケース
２３１内部には、図示していないが、ジョイスティック
２３２の２軸方向の傾き角を検出して、電気信号に変換
して出力する機構と、上記押し釦２３３Ａ，２３３Ｂ，
２３３Ｃのそれぞれに対応するスイッチ部と、これらの
スイッチ部のスイッチのオンオフの組合せにより、ジョ
イスティック２３２の走査に意味付けを与える論理回路
とを備えている。本実施例では、仮想的カメラの位置、
ズーム等の設定に用いられる。また、押し釦２３３Ａ，
２３３Ｂ，２３３Ｃのそれぞれに対応するスイッチ部
と、これらのスイッチ部のスイッチのオンオフの組合せ
により、メニューの選択を行なうようにしてもよい。す
なわち、ジョイスティック２３２により、ディスプレイ
６００の表示画面上のカーソルを移動させ、押し釦２３
３Ａ，２３３Ｂ，２３３Ｃにより、そのカーソルの位置
する領域で表示されているソフトキーの選択を行なうよ
うにしてもよい。

【００２７】リモートコントロール装置２４０は、送受
信器２４６と、操作装置２４１とで構成される。送受信
器２４６は、情報処理装置１００に接続されて用いら
れ、操作装置２４１との間で、信号の送受信を行なう。
信号の送受信は、光、超音波、電磁波等が用いられる。
この例では、光を用いる。操作装置２４１は、図１９に
示すように、ボックス状のケース２４１ａと、その平面
の先端部近傍に設けられたトラックボール２４２と、押
し釦２４３Ａ，２４３Ｂ，２４３Ｃ，２４３Ｄ，２４４
とを有する。ケース２３１内部には、図示していない
が、トラックボール２４２の２軸方向の傾き角を検出し
て、電気信号に変換して出力する機構と、上記押し釦２
４３Ａ，２４３Ｂ，２４３Ｃ，２４３Ｄ，２４４のそれ
ぞれに対応するスイッチ部と、これらのスイッチ部のス
イッチのオンオフの組合せにより、トラックボール２４
２の走査に意味付けを与える論理回路と、送受信器２４
６との間で信号を送受信するための送受信回路（図示せ
ず）とを備えている。ケース２４１ａの先端には、送受
信のための窓２４５が設けられている。

【００２８】押し釦２４４は、トラックボール２４２の
動きと組み合わせて、クリック、ドラッグ等を行なうこ
とに用いられる。この操作によって、マウス２２０と同
様に機能し、例えば、メニューの選択、コマンドの選択
等を行なうことができる。また、押し釦２４３Ａ，２４
３Ｂ，２４３Ｃ，２４３Ｄにより、予め定義されている
指示等を選択するようにすることができる。さらに、こ
れらの押し釦２４３Ａ，２４３Ｂ，２４３Ｃ，２４３Ｄ
の操作と、トラックボール２４２および押し釦２４４に
よるクリックまたはドラッグ操作とにより、仮想的カメ
ラの位置、ズーム等の設定に用いることができる。

【００２９】リモートコントロール装置２４０は、位置
の指定に、トラックボールを用いず、操作装置２４１
で、ディスプレイ６００の表示画面を指示するようにし
てもよい。例えば、操作装置２４１に、光ビーム投射器
と、光スポット検出器とを設け、ディスプレイの表示画
面上に、光ビーム投射器で光スポットを形成して、当該
操作装置の指示している位置を示すと共に、その光スポ
ットが形成されている領域での画素の発光状態を、光ス
ポット検出器で検出するように構成する。これにより、
光スポット検出器が受光した画素の発光信号を送受信回
路を介して送受信器に送り、ディスプレイコントローラ
１０４での走査位置信号と対応させて、指示した位置を
求めることができる。

【００３０】光ディスク装置３００は、本発明のシステ
ムで上映される各種番組を格納した光ディスクが装填さ
れて、その再生を行なう。ハードディスク装置４００
は、主プロセッサ１０１のプログラムおよび各種データ
を記憶する。

【００３１】音響再生装置５００は、台詞、効果音、音
楽等の音響を再生するための装置である。この音響再生
装置５００は、ステレオ再生が可能なように、少なくと
も２組の増幅器およびスピーカシステムで構成される。
ディスプレイ６００は、例えば、ＣＲＴディスプレイで
構成される。ディスプレイ６００には、プロジェクショ
ン型ディスプレイ、マルチスクリーン型ディスプレイ等
の大型ディスプレイを用いることもできる。このような
大型ディスプレイを用いれば、映像の迫力が増す。さら
に、立体視が可能なディスプレイであれば、なお好まし
い。

【００３２】図４に、ディスプレイ６００と音響再生装
置５００とを備えたモニタシステムの一例を示す。同図
に示す例は、横長の大型スクリーン６０１を備えた表示
装置６００と、その左右に配置されたスピーカシステム
５０１，５０２とを有する。表示装置６００の内部に
は、スピーカシステム５０１，５０２を駆動するための
増幅器５０３，５０４が設置されている。このシステム
に、さらに、センタスピーカシステムおよびリアスピー
カシステムと、それらのための増幅器とを増設して、立
体音響の再生を行なえるようにしてもよい。

【００３３】図２に、主記憶１０２の構成を示す。主記
憶１０２には、図２に示すように、プログラム領域１１
０と、データ領域１３０とが設けられる。これらの領域
には、ハードディスク装置４００から、転送されたプロ
グラムおよび各種データと、光ディスク装置３００から
転送される、上映すべき映像情報を含むデータとが格納
される。なお、これらのプログラムおよびデータは、す
べてが一時に主記憶１０２上に存在しなくともよい。必
要に応じて転送されるようにしてもよい。

【００３４】プログラム領域１１０には、映像の生成お
よび音響処理を行なうためのプログラムとして、ドラマ
のストーリーを展開してオブジェクトおよびシーンの次
の状態を決定する処理を行ない、ドラマの進行管理手段
として機能するイベント処理部１２１と、展開されたス
トーリに基づいてオブジェクトおよびシーンの動きおよ
び／または状態変化を示す３次元のＣＧ（カラーグラフ
ィックス）で示す３次元ＣＧデータを生成する処理を行
なうモーション生成部１２２と、３次元ＣＧデータに基
づいて表示ＣＧ画像を生成する処理を行なう画像生成部
１２３と、イベント処理部１２１で決定されたオブジェ
クトおよびシーンの状態に応じて音響生成処理を行なう
音響処理部１２４と、映像化を行なう際の各種モードの
設定処理を行なうためのモード設定処理部１２５と、全
体制御部１１１とを有する。モーション生成部１２２
と、画像生成部１２３とは、表示のための映像を生成す
る映像生成手段として機能する。

【００３５】モード設定処理部１２５は、例えば、ドラ
マを見る視点の設定等を行なう。ドラマを見る視点の設
定には、より具体的にいえば、バーチャルワールドを構
築する要素のいずれかを指定すること、または、バーチ
ャルワールドにおける映像化を行なう際に仮想的に設定
する仮想カメラの位置および方向の設定を行なうことが
ある。そのため、モード設定処理部１２５は、前者を実
行する際には、映像化空間指定手段として機能し、後者
を実行する際には、仮想カメラ設定手段として機能す
る。仮想カメラ設定手段は、カメラ位置を指定すること
により、映像化すべき空間を指定することにもなるの
で、映像化空間指定手段としても機能することとなる。
なお、この他に、照明の設定、ズーミングの設定等を行
なえるようにしてもよい。また、指定を行なわない場
合、または、大まかな指定を行なうだけの場合には、細
部の指定は、システム側の標準に従うものとする。これ
らの指定は、入力装置２００を介して受け付ける。

【００３６】なお、仮想カメラ設定手段は、予め許容さ
れた複数の視点設定対象（例えば、複数の登場人物）の
いずれかについての選択を入力装置２００を介して受け
付けて、選択された視点設定対象の視覚に対応付けて上
記仮想カメラの位置および方向の設定を行なうことがで
きる。この仮想カメラ設定は、例えば、上記したよう
に、コントロールボックス２３０またはリモートコント
ロールシステム２４０を有する場合には、そのいずれか
により行なうことができる。

【００３７】また、仮想カメラ設定手段は、仮想カメラ
の位置および方向について予め設定した標準設定データ
を有し、入力装置２００を介して標準設定データの選択
を可能とすることができる。さらに、仮想カメラ設定手
段は、仮想カメラの位置および方向について予め設定し
た標準設定データを有し、外部からの指定がない場合に
は、標準設定データにより、仮想カメラの位置および方
向の設定を行なうこともできる。

【００３８】モード設定処理部１２５は、モードの設定
内容を、後述する図２に示す主記憶１０２の視点設定情
報１４７として記録しておく。画像生成部１２３は、こ
の視点設定情報１４７に記憶されるモードの設定内容に
従って、画像の生成を行なう。設定されていない事項
は、予め定められた標準設定に従う。

【００３９】全体制御部１１０は、入出力管理、ファイ
ル管理、タスク管理等、システム全体の処理を管理す
る。すなわち、全体制御部１１０は、オペレーティング
システムのように機能する。

【００４０】データ領域１３０には、映像の生成および
音響の生成に必要なデータと、作業用のデータ等とが格
納される。すなわち、各オブジェクトの形態、属性、お
よび、現在の状態を示すオブジェクト情報１４１と、各
シーンの背景、状況、および、現在の状態を示すシーン
情報１４２と、モーション生成部１２２で生成された３
次元ＣＧデータ１４４と、画像生成部１２３により３次
元ＣＧデータ１４４から変換されたＣＧ画像データ１４
５と、視点設定情報１４７と、予め録音した台詞、効果
音および音楽を含む音響情報１４６とが格納される。

【００４１】オブジェクト情報１４１とシーン情報１４
２とは、ドラマが展開されるバーチャルワールドの構成
要素の特徴を記述する特徴記述情報である。オブジェク
ト情報１４１は、主としてバーチャルワールド内に存在
する人および物について記述する情報である。これに対
して、シーン情報１４２は、バーチャルワールドを構成
する複数のローカル空間のそれぞれにおけるシーンの状
態を記述する情報である。

【００４２】オブジェクト情報１４１は、オブジェクト
として、人的登場体と物的登場体とを含む。ここで、人
的登場体とは、それ自体で意識的に行動することが想定
され、人のように振る舞うことができる登場体である。
一般的には、登場人物といわれる人物であるが、擬人化
された動物、植物、人形、ロボット、その他の物体も含
み得る。しかし、人であっても、通行人、遠景に存在す
る人、群衆等のように、意識的行動を想定されていない
ものは、本実施例では、人的登場体としては扱わない。
それらは、物的登場体またはシーンの背景等に属する。
また、人的登場体は、上記したように視点設定対象とな
り得る。一方、物的登場体は、意識的に行動することが
想定されていない登場体である。一般的には、空間に存
在する物体をさす。ただし、空間に固定的に設けられる
もの、例えば、地面、建造物、背景等は、本実施例で
は、物的登場体として扱わない。これらは、後述するシ
ーンに属する。

【００４３】オブジェクトの形態とは、例えば、それが
人体であれば、その構造である。形態は、人体を関節に
より接続される複数のセグメント、例えば、ヒップ、バ
スト、右上脚、左上脚、右上腕、左上腕、頭等のように
分け、各セグメントの名称と、それらの接続関係と、セ
グメントの形状とで記述される。また、オブジェクトの
属性とは、人の場合、容貌、髪型、性別、年齢、感情、
能力、衣類等である。オブジェクトの現在の状態とは、
空間での存在位置（中心点の座標）、および、各セグメ
ントの中心点に対する相対変位量（座標、関節角）で表
される空間内での位置および姿勢と、属性の現在の設定
によって示される外観とを意味する。

【００４４】オブジェクト情報については、例えば、図
６に示すようなデータ構造で記憶される。例えば、オブ
ジェクトが人的登場体である場合、図６から明らかなよ
うに、人体の各セグメントは、関節を介して階層的にリ
ンクされて定義される。これは、物的登場体についても
同様である。

【００４５】シーン情報１４２は、ローカル空間ごと
に、その構造、背景および属性について、各シーン毎に
記述した情報である。ローカル空間は、ドラマが生起さ
れる空間である。例えば、道路、建造物、森、車両等の
空間である。それらの空間は、一定の構造と、外観を有
する。また、それらの存在する背景がある。さらに、そ
れらの状態の時間的変化、気象的変化、人為的変化、明
るさ変化等を有する。そのため、ローカル空間をシーン
毎に映像化するために必要な構造、背景および属性をシ
ーン情報として記述している。例えば、図５は、本発明
の実施例が想定しているバーチャルワールドの例を示
す。

【００４６】図５が示す例では、バーチャルワールド
は、複数の内部区画を有する宇宙船および地上指令セン
タをドラマの舞台として含む。この場合、ローカル空間
は、宇宙船の各区画の空間Ｌ１，Ｌ２，Ｌ３、船外の宇
宙空間Ｌ４および地上指令センタＬ５である。これらを
包含する全体がバーチャルワールドＷである。

【００４７】シナリオ情報１４３は、バーチャルワール
ドで生起されるドラマを進行させるための情報であっ
て、ドラマにおいて発生させるイベントを記述するイベ
ント情報、各人的登場体の演技を記述する演技記述情
報、物的登場体の存在状態を記述する小道具記述情報、
および、各ローカル空間のシーン設定を記述するローカ
ル空間状態記述情報を含む。イベント情報は、イベント
の発生条件、発生内容および発生に伴う波及効果につい
て、シナリオ内時刻情報と共に記述するデータを含む。
ここで、イベントは、例えば、人的登場体が体験する、
行動、観察、出会い、別れ、生死、環境変化、戦い等の
ストーリ上生じる種々の行為またはできごとであって、
予めストーリの構成要素として記述されている。なお、
シナリオ内時刻情報は、時刻そのものの記述に限られな
い。例えば、順序が時系列上で特定できる情報であれば
よい。その一例として、カウンタのカウント値が挙げら
れる。このシナリオ内時刻情報により、バーチャルワー
ルド全体で生起される種々のドラマの同期が取られる。

【００４８】演技記述情報は、各人的登場体の位置、行
動および属性について、シナリオ内時刻情報と共に記述
するデータを含み、小道具記述情報は、物的登場体の位
置、動きおよび属性について、シナリオ内時刻情報と共
に記述するデータを含む。また、ローカル空間状態記述
情報は、ローカル空間におけるシーンの状態を表す情報
として、各シーンのローカル空間の構造、背景および属
性について、シナリオ内時刻情報と共に記述するデータ
を含む。また、シナリオ情報には、標準仕様として、視
点が置かれるローカル空間を指定する情報、各ローカル
空間での仮想カメラの置かれる視点位置および方向を指
定する情報が記述されている。さらに、ズーミングが必
要な場合には、その情報も併せて記述される。

【００４９】図７に、シナリオ情報の一例を示す。同図
に示すシナリオ情報は、図５に示す宇宙船で発生した事
件のドラマに関するものである。図７では、ローカル空
間として、宇宙船内の三つの船室Ｌ１，Ｌ２，Ｌ３と、
宇宙船外の空間Ｌ４と、地上の指令センタＬ５とが想定
されている。それら全体で、バーチャルワールドＷが構
成されている。図７では、これらのローカル空間につい
て、シーンが順次並ぶ。同図の縦方向の数字は、シーン
番号である。このシーン番号は、各ローカル空間に共通
であり、時刻も共通である。図７には示していないが、
ローカル空間相互での時刻の順序を揃えるため、シナリ
オ内で時刻情報が記述される。この時刻情報は、バーチ
ャルワールドＷ内で共通に設定される。これは、ローカ
ル空間内で生じる事象の因果関係を乱さないようにする
ためである。すなわち、あるローカル空間で生じたでき
ごとが、他のローカル空間に波及して、そこで、新たな
事象が発生する場合に、ローカル空間相互間の時刻が相
違すると、波及先のローカル空間でのできごとの発生順
序が乱れ、因果関係が破綻することになる。これを防ぐ
ため、時刻を共通にしている。従って、直接的であれ、
間接的であれ、相互作用を及ぼさない関係にあるローカ
ル空間相互については、時刻を共通にする必然性はな
い。例えば、遠方の宇宙空間に旅立って、通信ができな
い状態にある宇宙船のように、他のローカル空間と相互
作用がある時間絶たれるようなローカル空間について
は、その時刻の進行を他のローカル空間より進めたり遅
らせたりするようにしてもよい。

【００５０】また、図７では、シーン番号の右側の欄
に、各シーンごとに、Ｗ、Ｌ１、Ｌ２の符号が付されて
いる。これは、システムにおける標準の映像化指定空間
を表す。ここで、Ｗは、全空間について映像化すること
を指定する。“Ｌ１、Ｌ２交互”の指定は、そのシーン
では、二つのローカル空間Ｌ１、Ｌ２を交互に映像化す
ることを示す。また、同欄には、“設定可”および“設
定不可”の指示が記載されている。これは、そのシーン
では、映像化空間設定および視点設定のいずれもが許容
されないことを示す。例えば、シーン１またはシーンｎ
でいずれかのローカル空間、例えば、Ｌ１を指定して
も、この指定は許容されず、ワールドＷ全体の映像が表
示される。一方、シーン３では、標準の場合、ローカル
空間Ｌ１とＬ２とを交互に入れた映像が表示される。も
っとも、シーン３では、“設定可”となっているので、
もし、Ｌ１を指定すれば、“Ｌ１、Ｌ２交互”の指定が
無視され、Ｌ１についての映像が表示される。

【００５１】さらに、図７では、各シーンごとに、イベ
ント、カメラ、台詞および音について記述している。こ
れは、代表的なものを例示したのであって、これらに限
られるものではない。

【００５２】イベントでは、それぞれのローカル空間で
生じるできごと、そこでの登場人物の状態、物の状態等
が記述される。例えば、シーン１では、ローカル空間Ｌ
１において、Ａ、Ｂ、Ｃ三名の宇宙飛行士がコックピッ
トで操縦を行なっている状態を記述している。また、シ
ーン２のローカル空間Ｌ２では、火災の発生が記述され
ている。さらに、シーン３のローカル空間Ｌ２では、地
球外生物の登場が記述されている。図７では、簡単のた
め、単に、発生するできごとと、現在の状態を記述して
いるにすぎないが、実際には、位置を示す座標、オブジ
ェクトに与える影響、背景等に与える影響などが詳細に
記述されている。もちろん、これらの記述は、情報処理
装置が解読できる言語で記述される。従って、自然言語
が解読可能であれば、それによって記述してもよい。こ
こでは、説明の便宜上、自然言語で記述してある。ま
た、オブジェクトの位置、移動、変形等は、座標、移動
速度、移動軌跡等は、数値で与えられる。

【００５３】カメラでは、ワールドＷおよびそれぞれの
ローカル空間Ｌ１−Ｌ５において、撮影するカメラの位
置（視点）、注視対象（カメラ方向）およびズームにつ
いて記述している。図７では、説明の便宜上、言葉で表
記しているが、実際には、カメラ位置を示す座標、方向
を示す方位角、ズーム比等の数値で記述される。また、
カメラの移動についても、移動軌跡を定義する方程式
と、それに与えられる始点および終点の座標と、移動速
度の数値が記述される。また、図７では、図示していな
いが、照明についても記述される。

【００５４】台詞では、それぞれのローカル空間存在す
る人的登場体が指定され、それについて台詞が割り当て
られる。なお、この台詞は、その台詞が聞こえる範囲に
あれば、他のローカル空間においても同じ台詞が割り当
てられる。ただし、そこでは、話者が存在しないので、
映像には現れない。また、話者から遠ざかっているた
め、音量が小さくなる場合には、その旨指定される。図
７では、簡単な台詞が記述されているが、これは便宜上
の説明であって、実際には、より複雑な言い回しの台詞
が、さらに、多く記述される。また、図７では、自然言
語で記述されているが、本例では、台詞は、予め録音さ
れているので、それぞれの台詞を指定する識別子、すな
わち、台詞コードを記述している。なお、音声合成装置
により音声を生成する場合には、文字コードで記述し
て、それに基づいて音声合成装置で音声を合成するよう
にしてもよい。この場合には、音の大きさ、ピッチ等も
指定される。また、各人的登場体について、それぞれの
声質が属性として定義される。

【００５５】音では、それぞれのローカル空間で発生す
る背景音、効果音、音楽等が指定される。背景音として
は、例えば、室内雑音、機械装置の騒音等が挙げられ
る。効果音は、例えば、アラーム音、メッセージ音、火
が燃える音等が挙げられる。さらに、音楽は、例えば、
テーマ音楽、エンディング音楽、挿入歌等が挙げられ
る。これらの音、音楽は、予め録音しておいて、それを
用いる。なお、合成できる音および音楽については、合
成するようにしてもよい。これらの音源についても、そ
れぞれを特定する識別子（音コード）を付記する。

【００５６】次に、３次元ＣＧデータ１４４は、モーシ
ョン生成部１２２で生成されたシーンおよびオブジェク
トを記述する３次元ＣＧデータを格納する。このデータ
は、シーンの状態を記述すると共に、そのシーンに登場
する人的登場体の位置、移動、行為、発生する事件等、
および、そのシーンに登場する物的登場体の位置、変化
等と共に、３次元空間の座標で記述する。さらに、それ
らの表示色の指定、属性の指定、音響等、シナリオに記
述される全ての事項を含む。ＣＧ画像データ１４５は、
画像生成部１２３で、３次元ＣＧデータから生成された
画像データを蓄積する。

【００５７】視点設定情報１４７は、入力装置２００を
介して入力された視点設定情報、すなわち、上述したよ
うに、カメラの位置、方向等の指定が記憶される。ま
た、この視点設定情報１４７は、標準設定か、ユーザ設
定かの区別、および、ユーザ設定の場合、空間のみ指定
か、視点位置および方向まで指定されているか否かにつ
いて示す情報が記述されている。この情報は、例えば、
フラグで表示される。このフラグを参照することによ
り、視点設定情報を取り込む必要があるか否かが判定で
きる。

【００５８】音響情報１４６は、上述したように、台
詞、効果音、背景音、音楽等が録音されたデータが記憶
されている。このデータは、音源と、それを特定するた
めの識別子とで構成される。なお、音源を別の装置、例
えば、光ディスクに記憶しておき、その格納アドレスを
この領域に格納しておいて、台詞等は、光ディスク装置
３００またはハードディスク装置４００から音響再生装
置５００に送るようにしてもよい。

【００５９】作業領域１４８は、主プロセッサ１０１の
作業用に用いられ、各種データ等が一時的に格納され
る。

【００６０】図３に、上述したプログラムとデータとの
相互の関係の概略を示す。図３では、プログラムとデー
タとが主記憶１０２に記憶された状態を示す。これら
は、システムが起動されていない状態では、ハードディ
スク４００に格納される。

【００６１】なお、各プログラムとデータとの関係につ
いては、すでに説明したので、図３では、新しいオブジ
ェクト状態情報１４１ａおよび新しいシーン状態情報１
４２ａについて説明することに止める。図３において、
新しいオブジェクト状態情報１４１ａおよび新しいシー
ン状態情報１４２ａは、それぞれオブジェクト状態情報
１４１およびシーン状態情報１４２の一部である。これ
らに記載される情報は、オブジェクト状態情報１４１お
よびシーン状態情報１４２に記述される内容を、シナリ
オの指定にしたがって書き直したもので、各ローカル空
間について、オブジェクト状態情報１４１およびシーン
状態情報１４２の、そのシーンにおける初期状態および
変遷を示す。この新しいオブジェクト状態情報１４１ａ
および新しいシーン状態情報１４２ａは、シーンごとに
更新される。

【００６２】次に、本発明の作用について、上記図面の
ほか、フローチャートを参照して説明する。

【００６３】まず、図８に示すように、本システムが起
動されると、システム全体について初期設定等の処理
（ステップ１０００）が行なわれる。そして、モードの
設定処理（ステップ２０００）を行なった後、ドラマを
進行させる（ステップ３０００）。

【００６４】モード設定は、モード設定処理部１２５に
よって、例えば、図９に示すように行なう。ＣＰＵ１０
１は、光ディスク装置３００に、光ディスクが装着され
ているか否かを調べ、装着されていないときは、装着を
待つ（ステップ２１００）。ここで、ディスプレイ６０
０の画面上に、光ディスクを装着すべき旨のメッセージ
を表示するようにしてもよい。また、音響再生装置５０
０を介して、同じ趣旨のメッセージをアナウンスするよ
うにしてもよい。ＣＰＵ１０１は、光ディスクが装着さ
れている場合には、光ディスク内に複数の番組が記録さ
れているか否か調べる（ステップ２２００）。複数の番
組がある場合には、その番組名を、ディスプレイ６００
に表示して、ユーザの選択を待つ（ステップ２３０
０）。ユーザが入力装置２００を介して番組を選択した
場合、または、番組が単独で記録されている場合、当該
番組を主記憶１０２に取り込む（ステップ２４００）。
なお、データ量が多い場合には、番組の初めの部分を主
記憶１０２に格納し、残りをハードディスク装置４００
に格納する。また、残りの部分を、光ディスク装置３０
０から読みださず、必要になった時点で読みだすように
してもよい。この後、視点設定（ステップ２５００）を
行なう。すなわち、情報処理装置１００は、映像化空間
指定手段および／または仮想カメラ設定手段として機能
し、映像化すべきローカル空間の指定、および、必要に
応じてカメラ位置および方向等の指定を行なう。

【００６５】視点設定は、図１０に示すように行なう。
すなわち、まず、ＣＰＵ１０１は、ディスプレイ６００
に視点設定画面を表示させる（ステップ２５１０）。こ
こでは、設定を対話式に誘導する。すなわち、標準でよ
いかどうかをユーザに尋ね、入力装置２００からの選択
指示を待つ（ステップ２５１２）。標準でよい旨の選択
が入力装置２００を介して入力された場合には、システ
ムで予め標準的に設定された視点で映像化することが採
用される。この場合には、ＣＰＵ１０１は、視点設定情
報１４６に、視点設定情報を参照しないことを示すフラ
グを設定する。

【００６６】システムの標準でなく、ユーザが設定する
旨の選択があった場合、ＣＰＵ１０１は、次に、ローカ
ル空間のみを指定するか、さらに、詳細な指定を行なう
か否かの選択をユーザに求める（ステップ２５１４）。
ローカル空間のみの指定である場合には、指定可能な空
間を、ディスプレイ６００に表示する（ステップ２５１
５）。これは、ドラマの内容によっては、ドラマの進行
上、補助的に置かれるに過ぎないローカル空間をあり得
るので、そのようなローカル空間が選択されないように
するためである。そして、ＣＰＵ１０１は、入力装置２
００を介して行なわれる、いずれかのローカル空間につ
いてのユーザの指定を受け付ける（ステップ２５１
６）。

【００６７】なお、この指定に際して、単にローカル空
間を指定することに限らず、ある特定のオブジェクト、
例えば、特定の人的登場体が登場するローカル空間とい
うように指定するようにしてもよい。この場合には、後
述するステップ２５１７，２５１８のように人的登場体
の選択を行なう。ただし、ステップ２５１６での指定で
は、特定の人的登場体の視覚を仮想的カメラ位置とする
ことはない。この点が、後述するステップ２５１８にお
ける指定とは異なる。また、隣接する２以上のローカル
空間を選択することができるようにしてもよい。この場
合は、指定されたローカル空間全体が１つの画面で表示
されることになる。例えば、全ローカル空間を指定すれ
ば、図５に示すような画面となる。

【００６８】また、ステップ２５１４において、ユーザ
が、視点の位置についての設定を行なう選択をした場
合、ＣＰＵ１０１は、次に、視点の設定を、人的登場体
に基づいて行なうか、空間の位置を指定することにより
行なうかの選択を、ディスプレイ６００に表示して求め
る（ステップ２５１６）。ここで、人的登場体に基づく
ことが選択されると、ＣＰＵ１０１は、指定可能な人的
登場体をディスプレイ６００に表示する（ステップ２５
１７）。表示は、例えば、登場人物（動物、植物、その
他の物の場合もある）の名前、ポートレート、必要に応
じて、ドラマ上での役割の簡単な説明等を示し、それら
を容易に選択できようにして行なう。人的登場体を限る
理由は、ドラマ全体に渡って頻繁に登場する人的登場体
（主演登場人物）が限られていることによる。ユーザか
ら入力装置２００を介して視点とする人的登場体が指定
されると、それを受け付けて、対応するフラグを設定す
ると共に、視点設定情報１４７に記憶させる（ステップ
２５１８）。

【００６９】一方、ステップ２５１６で、位置により視
点を設定すること選択した場合、ＣＰＵ１０１は、指定
可能位置を表示装置に表示させて、ユーザの選択を求め
る（ステップ２５１９）。ユーザから位置の指定がある
と、それを受け付けて、対応するフラグを設定する共
に、視点設定情報１４７に格納する（ステップ２５２
０）。

【００７０】上述したような仮想カメラの視点設定等の
選択は、例えば、図１５に示すように、ディスプレイ６
００の表示画面６１０において行なえる。すなわち、図
１５に示すように、ディスプレイ６００の表示画面６１
０を、主画面６２０とサブ画面６３０とに分けて、サブ
画面に、ソフトウエアキーとなる複数の領域６３１、６
３２、６３３を設定し、それぞれの領域６３１、６３
２、６３３に、キーを設定することで実現することがで
きる。また、標準設定とするためのソフトキー６４０も
設けてある。このソフトキー６４０は、必要に応じて表
示させたり、消したりすることができる。

【００７１】また、仮想カメラの視点設定等の操作は、
例えば、コントロールボックス２３０またはリモートコ
ントロールシステム２４０で行なうことができる。コン
トロールボックス２３０であれば、具体的には、ジョイ
スティック２３２を前後に傾けることにより、カメラの
前後方向の移動を指示でき、ジョイスティック２３２を
左右に傾けることにより、カメラの左右方向の移動を指
示することができる。また、押し釦Ａを押しながら、ジ
ョイスティック２３２を前後に傾けることにより、カメ
ラの上下方向（仰角方向）の回転の制御が指示できる。
押し釦Ａを押しながら、ジョイスティック２３２を左右
方向に傾けることにより、カメラの傾き（水平面での回
転）の制御が指示できる。さらに、押し釦Ｂを押しなが
ら、ジョイスティック２３２を前後に傾けることによ
り、カメラのズームの制御を指示することができる。押
し釦Ｃを押すことで、標準カメラ位置への復帰を指示す
ることができる。以上の操作は、一例であって、もちろ
ん、これに限定されない。

【００７２】ここで、仮想カメラの視点設定等の選択に
関するより具体的な例について、図２０−図２３を参照
して説明する。この例では、リモートコントロールシス
テムを使用するものとする。

【００７３】まず、ディスプレイ６００の表示画面６１
０に、図２０に示すような、選択のためのメニュー画面
を表示させる。これは、各番組において、それぞれ予め
用意しておく。ここでは、図５に示した番組を例とす
る。図２０に示すメニュー画面は、図１５に示したもの
と同様に、主画面６２０とサブ画面６３０とが表示され
る。この他に、標準設定の指示のためのアイコン６４０
が主画面６２０中に表示される。主画面６２０には、図
５に示したものと同様に、これから上映される番組の全
体を示すバーチャルワールドＷが示される。サブ画面６
３０には、映像化すべき空間の設定のための映像化空間
メニューキー６３１が表される。この映像化空間メニュ
ーキー６３１は、人物で指定するか、空間で指定するか
を選択するための人物指定キー６３１ａと空間指定キー
６３１ｂとで構成される。さらに、人物指定キー６３１
ａが選択された場合に、登場人物の選択を行なうための
登場人物キー６３２が選択可能な登場人物数に対応して
設けられている。図２０に示す例では、この登場人物キ
ー６３２は、登場人物を示す画像と登場人物名（Ａ、
Ｂ、Ｃ、…、Ｘで示す）が、そのキーが定義されている
枠内に表示される。また、空間指定キー６３１ｂが選択
された場合に、空間の選択を行なうための空間キー６３
３が選択可能な空間数に対応して設けられている。この
空間キー６３３は、図２０に示す例では、ローカル空間
Ｌ１−Ｌ５とバーチャルワールドＷとが選択できるよう
用意されている。

【００７４】このようにして、映像化空間の指定を行な
うと、指定された空間についての映像が表示される。こ
こで、人物指定と空間指定との違いは、前者は、指定さ
れた人物が登場するローカル空間が表示され、後者は、
指定された空間についてのみ表示される点で相違する。
すなわち、前者は、指定した登場人物が異なるローカル
空間に移動すると、表示される空間がそれに伴って変わ
るが、後者は、表れる空間は変化しない。また、視点、
すなわち、仮想カメラの設定を行なわない場合、すなわ
ち、標準とした場合には、表示される空間の表示態様
は、人物指定を行なうか、空間指定を行なうかによっ
て、差はない。すなわち、例えば、登場人物Ｂを指定し
た場合と、ローカル空間Ｌ２を指定した場合のいずれに
あっても、図２３（Ａ）に示す表示態様の映像となる。

【００７５】なお、これらのソフトキーの選択は、リモ
ートコントロールシステムの走査装置２４１により、画
面上に表示されたカーソルＣｓを、トラックボール２４
２を回転させることによって目的のソフトキー上に移動
させて、その位置で押し釦２４４を押してクリックする
ことにより行なえる。

【００７６】次に、仮想カメラ設定の位置および後続の
設定を行なう場合の具体例について説明する。ここで
は、まず、人物について設定する場合について述べ、次
に、空間について設定する場合について述べる。

【００７７】図２１に示すように、人物指定キー６３１
ａ選択されると、それが選択されたことがわかるように
強調表示される。すなわち、図２１の例では、「人物」
という表示がなされた人物指定キー６３１ａが押し込ま
れたような表示となる。そして、さらに、登場人物Ｂを
示す登場人物キー６３２が指定されて、これが押し込ま
れたように表示される。この状態では、図２１の主画面
６２０には、図２３（Ａ）の表示がなされる。なお、こ
の強調表示は、空間の指定の場合でも同様である。

【００７８】そこで、さらに、登場人物キー６３２にお
いて、当該登場人物の目の位置をクリックすると、仮想
カメラの位置がその登場人物の視点の位置となり、か
つ、仮想カメラの方向が、登場人物の視線の方向とな
る。すなわち、画面をあたかも登場人物Ｂの目で見たよ
うに仮想カメラが設定される。図２１の主画面６２０
は、この状態、すなわち、登場人物Ｂの目から見た、エ
イリアンＸと登場人物Ｃの顔が表示されている。以後、
この仮想カメラによって映像が表示されて、ストーリが
展開される。もちろん、ストーリーの展開に伴って、登
場人物Ｂが移動すれば、それに伴って仮想カメラも移動
して、当該Ｂが見ている状況を映像化する。従って、こ
の視点では、Ｂ自身は、Ｂの視野内に体の一部、例え
ば、手や足が表われる場合を除いては、画面に表示され
ない。

【００７９】図２２に示す例は、登場人物Ｄが指定さ
れ、かつ、Ｄの視点でＤの視線で映像化された映像を示
す。この例は、ローカル空間Ｌ３側からＬ２を見た状態
を示している。この例でも、Ｄ自身は画面に表示されな
い。

【００８０】次に、空間において、仮想カメラ位置およ
び方向を指定する例について、図２３を参照して説明す
る。図２３（Ａ）には、ローカル空間Ｌ２が標準設定の
仮想カメラで表示されている。

【００８１】この状態で、視点、すなわち、カメラ位置
の設定を行なうには、カーソルを走査装置２４１のトラ
ックボール２４２により目的の位置、例えば、図２３
（Ａ）において、枠上のＰ１またはＰ２の位置に置く。
そして、押し釦２４３Ａ−２４３Ｄのうち、予め定めら
れているものを押すことにより、トラックボール２４２
の操作の定義を、方向の設定に変更する。この状態でト
ラックボール２４２を操作して、カーソルの向きを回転
させる。これにより、方向の設定を行なうこと画でき
る。図２３（Ｂ）は、Ｐ１点を仮想カメラ位置とし、カ
ーソルの方向をカメラの方向とした場合の表示画面の例
である。この例では、登場人物Ｂの下方から斜め上方を
見るように指定されている。図２３（Ｃ）は、Ｐ２点を
仮想カメラ位置とし、カーソルの方向をカメラの方向と
した場合の表示画面の例である。この例では、エイリア
ンＸの後方上部から下方を斜めに見下ろすように指定さ
れている。

【００８２】なお、仮想カメラ位置および方向の設定
は、番組の冒頭に限らず、番組の途中で行なってもよ
い。また、一旦設定したものを、番組の途中で、標準に
戻してもよい。さらに、異なる設定を行なうようにして
もよい。この他に、番組の複数箇所において、それぞれ
仮想カメラ位置および方向の設定を行なって、それらの
設定条件を視点設定情報１４７に格納しておくこともで
きる。このようにして、番組全体を再生することによ
り、番組を独自の視点で表現させることができて、あた
かも監督になったような気分に浸って、楽しむことがで
きる。

【００８３】上記の例において、人的登場体の選択を行
なう場合、任意の人的登場体を選択できるようにしても
よいが、ドラマのストーリーとの関係を考えると、選択
する意味のある登場体に限るほうが、ユーザに親切であ
ると考えられる。その場合には、システム側で、選択可
能な一人以上の人的登場体（主演登場人物）を予め指定
して、それらの人的と状態をディスプレイ６００に表示
して、ユーザは、その中から特定の人的登場体を選択で
きるようにすればよい。

【００８４】なお、選択された人的登場体がでないシー
ンもあるので、その場合には、その人的登場体を中心と
して、ストーリー展開の理解に必要なローカル空間を、
システム側で予め設定しておき、それを表示する。

【００８５】次に、イベント処理部１２１、モーション
生成部１２２、画像生成部１２３および音響生成部１２
４によって、ドラマの展開、映像生成および音響生成の
各処理が実行される。図１１は、その処理の流れの概要
を示す。

【００８６】まず、イベント処理部１２１により、オブ
ジェクト状態情報およびシーン状態情報が読出される。
また、シナリオ情報から映像化すべきシーンに関する情
報が抽出される。そして、シナリオ情報に記述されてい
るイベントに基づいて、オブジェクト状態情報およびシ
ーン状態情報のオブジェクトの状態およびシーンの状態
を記述する処理を行なう（ステップ３１００）。これ
は、バーチャル空間全体について行なわれる。例えば、
図７に示すシナリオ情報の場合、全ローカル空間分のシ
ナリオ情報を読みだす。そして、その中で、イベントと
して記述されている事項から、オブジェクトの状態を指
示する記述とシーンの状態を指示する記述とを、それぞ
れ別個に取り出す。さらに、個別のオブジェクトについ
て、それぞれの当該シーンでの状態の変遷を記述する。
また、シーンについても、同様に、当該シーンでの状態
の変遷を記述する。具体的には、人的登場体の場合、図
６に示すようなオブジェクト状態情報に基づいて、移動
量、関節角、顔、服装等のセグメントＣＧについてのデ
ータが、当該シーンにおける初期状態、中間状態、最終
状態のように、その変遷に応じて記述される。これらの
オブジェクトに関する状態情報は、新しいオブジェクト
状態情報１４１ａに格納される。同様に、シーンに関す
る状態情報は、新しいシーン状態情報１４１ｂに格納さ
れる。

【００８７】次に、モーション生成部１２２により、新
しいオブジェクト状態情報１４１ａおよび新しいシーン
状態情報１４１ｂに格納された新しいオブジェクト状態
情報および新しいシーン状態情報に基づいて、オブジェ
クトの位置、動き等を補間処理して、３次元ＣＧで連続
的に表現する処理を行なう（ステップ３２００）。ここ
では、視点設定情報を参照して、そのシーンにおける状
態を決定して、それに基づいてシーンでの空間の構造、
背景等を記述するして、３次元ＣＧで表現される新しい
シーン状態情報を生成する。また、登場する各オブジェ
クトの相対座標を決定する。そして、得られた３次元Ｃ
Ｇデータを３次元ＣＧデータ１４５に格納する。

【００８８】次に、３次元ＣＧデータからＣＧ画像デー
タ生成する。（ステップ３３００）。この際、視点設定
情報およびシナリオ情報に基づいて、表示に必要な部分
のみが抽出される。また、ここでは、カメラ位置および
方向にしたがって、３次元ＣＧデータをＣＧ画像データ
に変換する。例えば、図７においては、シーン１では、
バーチャルワールド全体が指定され、かつ、全景で表示
することがシナリオ上指定されている。そのような場合
には、図５に示すようなＣＧ画像が生成される。また、
いずれかのローカル空間が指定されている場合には、そ
の空間についてのみＣＧ画像が生成される。例えば、ロ
ーカル空間Ｌ１が指定されている場合には、ローカル空
間Ｌ１のコックピット内の状態が、そこに存在する人的
登場体Ａと共に画像化される。その際、さらに、視点位
置が空間的に指定されている場合、その位置からみた状
態が画像化される。また、視点が人的登場体Ｂについて
指定されていると、図２３（Ａ）に示すように、人的登
場体Ｂが存在するローカル空間Ｌ２内の状態が、そこに
存在する人的登場体Ｂ，Ｃと、地球外生物Ｘとが画像化
される。さらに、特定の人的登場体の視覚を視点として
指定している場合には、図５のようには表現されない。
その場合には、指定された人的登場体から見える世界が
画像化される。例えば、図５の状態において、人的登場
体Ａの視覚が視点位置として指定されている場合には、
表示される画像は、人的登場体Ａの視覚を通してみえる
ように画像化される。すなわち、コックピットの、パネ
ル、計器、モニタ画面、操作ボタン、操縦捍等と、操縦
捍等を操作するＡの手等と、前方の窓およびそれから見
える宇宙空間とが画像として表示されることとなる。こ
の場合には、指定された人的登場体Ａの顔は、画面には
現れない。また、人的登場体Ｂが指定されている場合に
は、上述したように、図２１に示すように表示される。
さらに、人的登場体Ｄが指定されている場合には、上述
したように、図２２に示すように表示される。

【００８９】次に、画像音響処理部１２４により、生成
されたＣＧ画像データに表示されるローカル空間内で生
じる、台詞、効果音、音楽等の音響情報を音響情報から
抽出して、音響データを生成する。この際、視点設定情
報およびシナリオ情報に基づいて、音響再生に必要な部
分のみが抽出される。この後、シーン番号を＋１して、
次のシーンの処理を行なう（ステップ３５００，３６０
０）。最後のシーンが終った時点で、すべての処理が終
了する。これにより、連続する映像が得られ、かつ、そ
れに伴う音響情報が得られる。

【００９０】ここで、図７に示すシナリオに従って表示
される画像について簡単に説明する。図７ではシーン１
からシーンｎまである。シーン１では、映像化すべき空
間として、バーチャルワールド全体が指定されており、
しかも、ユーザの設定を不可としている。従って、この
場合には、システムの標準設定通り映像化される。すな
わち、シーンは異なるが、図５に示すように、全景が表
示される。また、このシーンでは、台詞はなく、タイト
ル音楽が流される。シーン２では、標準によればローカ
ル空間Ｌ１が表示される。しかし、視点が“設定可”で
あるため、ユーザが他のローカル空間を指定していれ
ば、それが表示される。このシーンでは、台詞が容易さ
れている。また、火災を知らせるアラーム、および、ア
ナウンスの効果音がＬ１およびＬ５において生成され
る。ローカル空間Ｌ２では、火のパチパチ音が効果音と
して生成される。

【００９１】シーン３では、標準では、ローカル空間Ｌ
１とＬ２とが交互に表示される。ただし、いずれか一方
がユーザから指定されれば、指定された空間のみが映像
化される。このシーンにおいて、ローカル空間Ｌ１で
は、人的登場体Ａの動作を主体として映像化が行なわれ
る。また、ローカル空間Ｌ２では、火災発生中に、エイ
リアン（地球外生物）Ｘが登場すると共に、人的登場体
Ｂ，Ｃが消化活動のため、この空間に登場する。ローカ
ル空間Ｌ３では、人的登場体Ｄが船外でるための準備を
行なっているところであり、かつ、人的登場体Ｅと無線
連絡を取っている。ローカル空間Ｌ４では、人的登場体
Ｅがそれまでのシーンから引き続き船外作業を行なうと
共に、Ｄと無線で連絡を取っている。ローカル空間Ｌ５
では、モニタを監視している人的登場体Ｆ、Ｇが、宇宙
船からのアラームに気付き、マニュアルを調べている。
そして、シーン３では、それぞれの空間で台詞、音楽ま
たは効果音が存在する。

【００９２】この後、複数のシーンが続く。その際、各
ローカル空間では、それぞれ種々のイベントが発生し
て、ドラマが進行する。ドラマの進行に当たっては、全
空間で共通の時計が用いられ、各ローカル空間でのドラ
マが同期して進行する。そして、シーンｎでは、ドラマ
が終りを迎え、宇宙船の全景と地球の遠景とを映像化し
ている。

【００９３】ところで、図７の例において、視点の設定
が人的登場体について行なわれている場合について説明
する。例えば、視点の設定が人的登場体ＢまたはＣにつ
いて行なわれている場合、Ｂ、Ｃの移動にともなって、
表示される空間がローカル空間Ｌ１からＬ２に移る。一
方、人的登場体Ａについて視点が設定されている場合に
は、人的登場体Ａは移動していないので、表示されるロ
ーカル空間はＬ１であって、変化しない。

【００９４】このように、本発明では、Ｌ１−Ｌ５の各
ローカル空間で、それぞれイベントが発生し、それぞれ
ドラマが進行している。そして、それらが集まって、ド
ラマの全体を構成している。しかも、ドラマを見る側
は、いずれのローカル空間でのドラマを見るかを指定す
ることができる。また、指定せずに、システムの標準
（番組において予め設定してあるローカル空間）で見る
こともできる。すなわち、本発明の特徴は、指定された
ローカル空間または標準で指定されたローカル空間を通
してドラマを見るが、指定されていないローカル空間で
も、ドラマが進行している点にある。従って、任意のロ
ーカル空間について、任意の時刻で視点を設定したとし
ても、当該ローカル空間を通してドラマを見ることがで
きる。従って、同じドラマを、視点を変えて楽しむこと
ができる。

【００９５】上記実施例では、視点の設定（仮想カメラ
設定）は、予め許容された複数の人的登場体の中から１
人の人的登場体の選択を受け付けているが、本発明は、
これに限定されない。例えば、複数の人的登場体の選択
を受け付けて、選択された各人的登場体ごとに、それら
の視覚に対応付けて上記仮想カメラの位置および方向の
設定を行なうようにすることもできる。

【００９６】以上に述べた例は、１つのローカル空間、
または、一人の主演登場人物を選択する例である。しか
し、本発明は、これに限定されない。例えば、２以上の
ローカル空間または２以上の主演登場人物を選択して、
これらを同時に表示するようにしてもよい。図１２およ
び図１３は、それらの一例である。本発明では、図１に
示す情報処理装置１００が、図２に示す全体制御部の機
能として、これらの表示画面の制御を実行する。すなわ
ち、図１２の例では、画面分割手段として動作し、ま
た、図１３の例では、マルチウインドウ制御手段として
動作する。

【００９７】図１２（Ａ）に示す例では、ディスプレイ
の表示画面６１０を複数（同図では４）分割して、それ
ぞれに指定されたローカル空間Ｌ１，Ｌ２，Ｌ３および
Ｌ４の映像を表示している。この例では、選択された順
に従って、Ｌ１およびＬ３に大きな表示領域を割当て、
Ｌ２およびＬ４に小さな表示領域を割り当てている。従
って、もちろん、全部の表示領域を均等に分割してもよ
い。また、４分割に限らず、例えば、２分割であっても
よい。

【００９８】また、図１２（Ｂ）では、人的登場体に基
づいて視点が設定されている場合における画面分割の例
を示す。図１２（Ｂ）の分割された表示領域には、それ
ぞれ指定された人的登場体が存在する空間が表示され
る。すなわち、人的登場体Ａ、Ｂ、ＣおよびＤが指定さ
れているとき、それぞれの人的登場体Ａ、Ｂ、Ｃおよび
Ｄについて割り当てられた表示領域Ｌａ、Ｌｂ、Ｌｃお
よびＬｄに、それらのＡ、Ｂ、ＣおよびＤが登場するロ
ーカル空間が表示される。この場合には、それらの人的
登場体のうちいずれかの２以上の登場体（例えば、Ａお
よびＢ）が同じローカル空間（例えば、Ｌ１）に存在す
る場合には、それらの人的登場体ＡおよびＢについて割
り当てられた表示領域Ｌａ、Ｌｂには、同じ映像が表示
されることになる。なお、この場合に、それらの表示領
域を合わせて一つの領域として画面を大型化するように
してもよい。

【００９９】図１３（Ａ）に示す例では、ディスプレイ
の表示画面６１０にウインドウ６５１，６５２，６５３
を生成して、それぞれに選択されたローカル空間Ｌ１，
Ｌ２，Ｌ４が表示されている。同図では、最先に選択さ
れたローカル空間Ｌ１が優先表示されている状態を示
す。もちろん、優先表示すべきウインドウを変更するこ
とができる。また、ウインドウのサイズおよび位置を変
更して、同時に複数のウインドウの映像を観賞できるよ
うにすることもできる。ウインドウの数は、もちろん変
更可能である。

【０１００】図１３（Ｂ）に示す例では、各ウインドウ
６５１，６５２，６５３に、人的登場体Ａ、ＢおよびＤ
を割当てた例である。この場合、ウインドウ６５１は、
人的登場体Ａが登場するローカル空間の表示領域Ｌａと
なる。ウインドウ６５２は、人的登場体Ｂが登場するロ
ーカル空間の表示領域Ｌｂとなる。また、ウインドウ６
５３は、人的登場体Ｃが登場するローカル空間の表示領
域Ｌｃとなる。なお、同一のローカル空間に、指定され
た２以上の人的登場体が登場する場合には、それぞれの
人的登場体に割り当てられた表示領域は、同じ映像が表
示されることになる。この場合、同一内容のウインドウ
の一方を消去して、それらを一つのウインドウとしても
よい。

【０１０１】なお、これらのように、複数のローカル空
間が同一画面に表示される場合には、音響は、優先表示
すべき表示領域に表示されているローカル空間について
の音響再生することとする。これにより、複数のローカ
ル空間でのドラマの音響が同時に再生されることを防ぐ
ことができる。

【０１０２】次に、本発明の他の実施例について説明す
る。この例は、映像生成／表示システムを、映像情報提
供システムと視聴者システムとに分離して構成した例で
ある。

【０１０３】図１４に、映像情報提供システムと視聴者
システムとで映像生成／表示システムを構成する例を示
す。本実施例は、映像情報を提供する映像情報提供シス
テムＳと、映像情報提供システムＳと接続されて、映像
情報提供システムＳから提供される映像情報に基づい
て、映像を生成して表示する１以上の視聴者システムＣ
ｎとを有する。このシステムは、例えば、クライアント
・サーバシステムで構成することができる。すなわち、
複数のクライアントとして、複数の視聴者システムを設
け、それらに映像情報を提供するサーバシステムとし
て、映像情報提供システムＳを設けることにより構築す
ることができる。

【０１０４】映像情報提供システムＳは、バーチャルワ
ールドを構築すると共に、ドラマを進行させるために必
要な情報について、上映可能タイトル数の分を記憶する
ための記憶装置１３００と、記憶装置１３００に記憶さ
れる情報に基づいて、バーチャルワールド内でドラマを
進行させると共に、当該ドラマを映像化するための情報
を視聴者システムＣに送る処理を行なうための情報処理
装置１１００と、通信を行なうための通信制御装置１９
００とを備える。通信は、無線、有線を問わず、ＬＡ
Ｎ、公衆網等の種々の通信媒体を用いることができる。

【０１０５】上記記憶装置１３００は、ドラマを進行さ
せるために必要な情報として、バーチャルワールドを構
築する要素として各々仮想的に設定された、それぞれ人
のように振る舞うことができ、人として扱われる複数の
人的登場体、物として扱われる複数の物的登場体、およ
び、それらが存在し得る複数のローカル空間についての
特徴情報１３１０を格納し、かつ、バーチャルワールド
全体においてドラマを進行させるストーリを構成するた
めの情報として、シナリオ情報１３２０を格納する。

【０１０６】上記情報処理装置１１００は、シナリオ情
報１３２０を読みだして、シナリオの記述に従ってバー
チャルワールドの全空間においてドラマを進行させる進
行管理手段１１１０と、情報処理装置として動作するた
めの各種手段（図示せず）を備えている。

【０１０７】視聴者システムＣは、映像情報提供システ
ムＳから送られた情報を格納する記憶装置２３００と、
映像情報提供システムＳから送られた情報に基づいて、
ドラマを映像化する処理を行なうための情報処理装置２
１００と、情報処理装置２１００で生成された映像を表
示するためのディスプレイ装置２６００と、情報処理装
置２１００に対して指示を入力するための入力装置２２
００と、通信を行なうための通信制御装置２９００とを
備える。

【０１０８】上記記憶装置２３００には、上記映像情報
提供システムの情報処理装置１１００の進行管理手段１
１１０で進行管理されるシナリオ情報１３２０のうち、
バーチャルワールドの指定されたローカル空間に関する
シナリオ情報２３２０と、特徴情報１３１０とを記憶す
る。ここで、特徴情報１３１０が、映像情報提供システ
ムの記憶装置に記憶されるシナリオ情報と同じであるの
は、ドラマの進行と共に、特徴情報を送ると、煩瑣にた
えないので、必要な情報を予め送ることとしたためであ
る。

【０１０９】上記情報処理装置２１００は、上記進行管
理手段１１１０で進行管理されるシナリオ情報１３２０
のうち、バーチャルワールドの指定されたローカル空間
に関する情報２３２０について、上記特徴情報１３１０
を参照して、それに含まれるバーチャルワールドの構成
要素の映像を生成して、上記ディスプレイ装置２６００
に表示させる映像生成手段２１１０と、バーチャルワー
ルドにおける映像化を行なうべきローカル空間の指定を
行なう映像化空間指定手段２１２０と、バーチャルワー
ルドにおける映像化を行なう際に仮想的に設定する仮想
カメラの位置および方向の設定を行なう仮想カメラ設定
手段２１３０と、ディスプレイ装置２６００の表示画面
に複数のウインドウを表示させて、各ウインドウでの表
示を行なうと共に、ウインドウの表示の優先度を制御す
るマルチウインドウ制御手段２１４０とを備える。

【０１１０】入力装置２２００、音響再生装置２５００
およびディスプレイ装置２６００は、上記図１に示すも
のと同じである。

【０１１１】なお、視聴者システムＣのハードウエアシ
ステムは、基本的には、図１に示すシステムと同様に構
成される。また、映像情報提供システムＳのハードウエ
アシステムについても、同様である。ただし、映像情報
提供システムＳでは、使用しないハードウエアについて
は省略してもよい。

【０１１２】映像化空間指定手段２１２０は、バーチャ
ルワールドを構築する要素のいずれかを指定することに
より、空間の指定を行なうことができる。映像化空間指
定手段２１２０は、バーチャルワールドを構築する要素
のうち予め許容されたものについて、入力装置２２００
からの指定を受け付けて、その指定された要素が含まれ
るローカル空間を、指定されたローカル空間として決定
することができる。

【０１１３】仮想カメラ設定手段２１３０は、予め許容
された複数の人的登場体のいずれかの選択を入力装置２
２００を介して受け付けて、選択された人的登場体の視
覚に対応付けて上記仮想カメラの位置および方向の設定
を行なう。また、仮想カメラ設定手段２１３０は、予め
許容された複数の人的登場体の中から複数の人的登場体
の選択を入力装置２２００を介して受け付けて、選択さ
れた各人的登場体ごとに、それらの視覚に対応付けて上
記仮想カメラの位置および方向の設定を行なうこともで
きる。

【０１１４】仮想カメラ設定手段２１３０は、仮想カメ
ラの位置および方向について予め設定した標準設定デー
タを有し、入力装置２２００を介して標準設定データの
選択を可能とするものである。さらに、仮想カメラ設定
手段２１３０は、仮想カメラの位置および方向について
予め設定した標準設定データを有し、外部からの指定が
ない場合には、標準設定データにより、仮想カメラの位
置および方向の設定を行なうようにすることができる。

【０１１５】映像生成手段２１１０は、設定された仮想
カメラ位置が存在するローカル空間について、設定され
たカメラ方向に従って観察された状態で映像化を行な
う。また、映像生成手段２１１０は、設定された複数の
仮想カメラの位置および方向に従って、それぞれの映像
を生成し、それらをディスプレイ装置２６００に表示領
域を分けて表示させることができる。

【０１１６】映像生成手段２１１０は、標準設定データ
に対応して生成した映像を、上記設定されたいずれかの
ウインドウを表示領域として表示させることができる。
また、映像生成手段２１１０は、各仮想カメラ位置に対
応して生成した複数の映像を、上記設定された各ウイン
ドウを表示領域として、それぞれ対応するウインドウに
表示させることができる。

【０１１７】ディスプレイ装置２６００は、図１２また
は１３に示すように、複数の表示画面を表示することが
可能である。映像生成手段２１１０は、生成した各映像
を、ディスプレイ装置２６００の複数の表示画面に表示
領域を分けて表示させることができる。

【０１１８】マルチウインドウ制御手段２１４０は、仮
想カメラ設定手段２１３０によって設定された仮想カメ
ラの位置の数に対応してウインドウを設定することがで
きる。

【０１１９】本実施例は、映像情報提供システムＳにお
いて、ドラマの進行を管理し、その管理されたドラマに
ついて、視聴者システムＣが情報を受けとって上映す
る。従って、この例では、映像情報提供システムＳでの
ドラマの進行にあわせて、各視聴者システムでの当該ド
ラマの上映が行なわれる。ドラマの上映については、上
記した図１のシステムと基本的には同じである。

【０１２０】次に、本発明のさらに他の実施例について
説明する。この例は、ドラマの進行管理について視聴者
システムＣが行なう点において、図１７に示す例と異な
る。その他の点は、図１７に示す例と同様である。この
システムの構成を図１８に示す。

【０１２１】図１８に示すように、本実施例の映像情報
提供システムＳの情報処理装置１１００は、進行管理手
段を持っていない。一方、視聴者システムＣは、進行管
理手段２１５０を有する。従って、本実施例では、映像
情報提供システムＳは、ドラマに関する各種番組を記憶
しておき、視聴者システムＣから要求があったとき、当
該番組にかかる特徴情報１３１０およびシナリオ情報１
３２０を送る。これにともなって、視聴者システムＣで
は、記憶装置２３００において、特徴情報１３１０およ
びシナリオ情報１３２０を記憶する。そして、進行管理
手段２１５０により、ドラマの進行が管理される。な
お、この視聴者システムＣでのドラマの上映は、上記し
た図１に示すシステムと同様にして行なわれる。

【０１２２】上記実施例では、映像される番組が光ディ
スクにより提供される例を示したが、本発明は、これに
限定されない。例えば、通信手段を介して、他のシステ
ムから提供を受けてもよい。また、磁気テープ等の他の
記録媒体により提供するようにしてもよい。

【０１２３】この他の本発明の変形例について、さらに
説明する。上記実施例では、人的登場体の形態、顔、髪
の色、服装等は、予め用意されたものが用いられている
が、本発明は、これに限定されない。それらの全部また
は一部を、ユーザが選択することにより決めるようにす
ることもできる。この場合には、例えば、形態、顔、髪
の色、服装等について、種々の候補を記憶させたライブ
ラリを予め設けておき、それらの候補をディスプレイ６
００に表示させて、ユーザが選択するように構成すれば
よい。

【０１２４】

【発明の効果】本発明によれば、全体として展開される
ドラマを、異なる視点からそれぞれ独立に映像化するこ
とができる。

【図面の簡単な説明】

【図１】本発明で用いられるハードウエアシステムの構
成を示すブロック図。

【図２】主記憶内部の構成を示す説明図。

【図３】主記憶に格納されるプログラムとデータとの相
互関係の概略を示す説明図。

【図４】ディスプレイと音響再生装置を備えたモニタシ
ステムの一例を示す正面図。

【図５】本発明の実施例が想定しているバーチャルワー
ルドの一例を示す説明図。

【図６】オブジェクト情報のデータ構造の一例を示す説
明図。

【図７】本発明の実施例で用いられるシナリオ情報の一
例を示す説明図。

【図８】本実施例の動作の概要を示すフローチャート。

【図９】本実施例におけるモード設定処理の概要を示す
フローチャート。

【図１０】本実施例における視点設定処理の概要を示す
フローチャート。

【図１１】本実施例におけるドラマの展開処理の概要を
示すフローチャート。

【図１２】本実施例のディスプレイでの画面分割表示の
一例を示す説明図。

【図１３】本実施例のディスプレイでのマルチウインド
表示の一例を示す説明図。

【図１４】本発明の他の実施例を構成する映像情報提供
システム／視聴者システムの概要を示すブロック図。

【図１５】本発明での画面での選択を行なうための画面
表示例を示す説明図。

【図１６】本発明において、仮想カメラの位置等を設定
するためのコントロールボックスの構成を示す斜視図。

【図１７】本発明の他の実施例で用いられる映像情報提
供システムと視聴者システムの構成を示すブロック図。

【図１８】本発明のさらに他の実施例で用いられる映像
情報提供システムと視聴者システムの構成を示すブロッ
ク図。

【図１９】本発明において、映像化空間の指定、仮想カ
メラの位置等の設定を行なうために用いられるリモート
コントロール用操作装置の構成を示す斜視図。

【図２０】本発明において用いられるメニュー選択画面
の一例を示す説明図。

【図２１】仮想カメラの位置および方向を登場人物によ
り設定した場合の表示画面の一例を示す説明図。

【図２２】仮想カメラの位置および方向を登場人物によ
り設定した場合の表示画面の他の例を示す説明図。

【図２３】（Ａ）はローカル空間において仮想カメラ位
置および方向を指定する状態を示す説明図、（Ｂ）は
（Ａ）において、Ｐ１点にカメラ位置が指定された場合
の表示画面例を示す説明図、（Ｃ）は（Ａ）において、
Ｐ２点にカメラ位置が指定された場合の表示画面例を示
す説明図。

【符号の説明】

１００，１１００，２１００…情報処理装置、１０１…
主プロセッサ、１０２…主記憶、２００，２２００…入
力装置、２１０…キーボード、２２０…マウス、２３０
…コントロールボックス、３００…光ディスク装置、４
００…ハードディスク、５００，２５００…音響再生装
置、６００，２６００…ディスプレイ装置、６１０…表
示画面、，１３００，２３００…記憶装置、１９００，
２９００…通信制御装置。

Claims (13)

【特許請求の範囲】
1. 【請求項１】バーチャルワールドを仮想的に生成し、そ
   こで生起されるドラマを、予め用意したシナリオに沿っ
   て展開し、当該ドラマを映像化して表示する映像生成／
   表示システムにおいて、 映像情報を提供する映像情報提供システムと、映像情報
   提供システムと接続されて、映像情報提供システムから
   提供される映像情報に基づいて、映像を生成して表示す
   る１以上の視聴者システムとを有し、 映像情報提供システムは、 バーチャルワールドを構築すると共に、ドラマを進行さ
   せるために必要な情報を記憶するための記憶装置と、 記憶装置に記憶される情報に基づいて、バーチャルワー
   ルド内でドラマを進行させると共に、当該ドラマを映像
   化するための情報を視聴者システムに送る処理を行なう
   ための情報処理装置と、 通信を行なうための通信制御装置とを備え、 上記記憶装置は、バーチャルワールドを構築する要素と
   して各々仮想的に設定された、それぞれ人のように振る
   舞うことができ、人として扱われる複数の人的登場体、
   物として扱われる複数の物的登場体、および、それらが
   存在し得る複数のローカル空間についての特徴情報を格
   納し、かつ、バーチャルワールド全体においてドラマを
   進行させるストーリを構成するための情報として、シナ
   リオ情報を格納し、 上記情報処理装置は、シナリオ情報を読みだして、シナ
   リオの記述に従ってバーチャルワールドの全空間におい
   てドラマを進行させる進行管理手段を有し、 視聴者システムは、 映像情報提供システムから送られた情報を格納する記憶
   装置と、 映像情報提供システムから送られた情報に基づいて、ド
   ラマを映像化する処理を行なうための情報処理装置と、 情報処理装置で生成された映像を表示するための表示装
   置と、 情報処理装置に対して指示を入力するための入力装置
   と、 通信を行なうための通信制御装置とを備え、 上記情報処理装置は、上記進行管理手段で進行管理され
   るシナリオ情報のうち、バーチャルワールドの指定され
   たローカル空間に関する情報について、上記特徴情報を
   参照して、それに含まれるバーチャルワールドの構成要
   素の映像を生成して、上記表示装置に表示させる映像生
   成手段を備えることを特徴とする映像生成／表示システ
   ム。
2. 【請求項２】請求項１において、上記視聴者システムの
   情報処理装置は、バーチャルワールドにおける映像化を
   行なうべきローカル空間の指定を行なう映像化空間指定
   手段をさらに備えることを特徴とする映像生成／表示シ
   ステム。
3. 【請求項３】請求項２において、映像化空間指定手段
   は、バーチャルワールドを構築する要素のいずれかを指
   定することにより行なうことを特徴とする映像生成／表
   示システム。
4. 【請求項４】請求項３において、映像化空間指定手段
   は、バーチャルワールドを構築する要素のうち予め許容
   されたものについて、入力装置からの指定を受け付け
   て、その指定された要素が含まれるローカル空間を、指
   定されたローカル空間として決定する映像生成／表示シ
   ステム。
5. 【請求項５】請求項１において、 上記視聴者システムの情報処理装置は、バーチャルワー
   ルドにおける映像化を行なう際に仮想的に設定する仮想
   カメラの位置および方向の設定を行なう仮想カメラ設定
   手段をさらに備え、 映像生成手段は、設定された仮想カメラ位置が存在する
   ローカル空間について、設定されたカメラ位置および方
   向に従って観察された状態で映像化を行なうことを特徴
   とする映像生成／表示システム。
6. 【請求項６】請求項５において、仮想カメラ設定手段
   は、予め許容された複数の人的登場体のいずれかの選択
   を入力装置を介して受け付けて、選択された人的登場体
   の視覚に対応付けて上記仮想カメラの位置および方向の
   設定を行なうことを特徴とする映像生成／表示システ
   ム。
7. 【請求項７】請求項６において、仮想カメラ設定手段
   は、予め許容された複数の人的登場体の中から複数の人
   的登場体の選択を入力装置を介して受け付けて、選択さ
   れた各人的登場体ごとに、それらの視覚に対応付けて上
   記仮想カメラの位置および方向の設定を行なうことを特
   徴とする映像生成／表示システム。
8. 【請求項８】請求項７において、映像生成手段は、設定
   された複数の仮想カメラの位置および方向に従って、そ
   れぞれの映像を生成し、それらを表示装置に表示領域を
   分けて表示させることを特徴とする映像生成／表示シス
   テム。
9. 【請求項９】請求項７において、 表示装置は、複数の表示画面を有し、 映像生成手段は、生成した各映像を、表示装置の複数の
   表示画面に表示領域を分けて表示させることを特徴とす
   る映像生成／表示システム。
10. 【請求項１０】請求項８において、 上記視聴者システムの情報処理装置は、表示装置の表示
    画面に複数のウインドウを表示させて、各ウインドウで
    の表示を行なうと共に、ウインドウの表示の優先度を制
    御するマルチウインドウ制御手段をさらに備え、 マルチウインドウ制御手段は、仮想カメラ設定手段によ
    って設定された仮想カメラの位置の数に対応してウイン
    ドウを設定し、 映像生成手段は、各仮想カメラ位置に対応して生成した
    複数の映像を、上記設定された各ウインドウを表示領域
    として、それぞれ対応するウインドウに表示させること
    を特徴とする映像生成／表示システム。
11. 【請求項１１】請求項８において、仮想カメラ設定手段
    は、仮想カメラの位置および方向について予め設定した
    標準設定データを有し、入力装置を介して標準設定デー
    タの選択を可能とするものであり、 映像生成手段は、標準設定データに対応して生成した映
    像を、上記設定されたいずれかのウインドウを表示領域
    として表示させることを特徴とする映像生成／表示シス
    テム。
12. 【請求項１２】請求項１において、仮想カメラ設定手段
    は、仮想カメラの位置および方向について予め設定した
    標準設定データを有し、外部からの指定がない場合に
    は、標準設定データにより、仮想カメラの位置および方
    向の設定を行なう映像生成／表示システム。
13. 【請求項１３】バーチャルワールドを仮想的に生成し、
    そこで生起されるドラマを、予め用意したシナリオに沿
    って展開し、当該ドラマを映像化して表示する映像生成
    ／表示システムにおいて、 映像情報を提供する映像情報提供システムと、映像情報
    提供システムと接続されて、映像情報提供システムから
    提供される映像情報に基づいて、映像を生成して表示す
    る１以上の視聴者システムとを有し、 映像情報提供システムは、 ドラマを上映するためのバーチャルワールドを構築する
    と共に、ドラマを進行させるために必要な情報を記憶す
    るための記憶装置と、 視聴者システムからの要求に応じて、記憶装置に記憶さ
    れるドラマを映像化するための情報を視聴者システムに
    送る処理を行なうための情報処理装置と、 通信を行なうための通信制御装置とを備え、 上記記憶装置は、バーチャルワールドを構築する要素と
    して各々仮想的に設定された、それぞれ人のように振る
    舞うことができ、人として扱われる複数の人的登場体、
    物として扱われる複数の物的登場体、および、それらが
    存在し得る複数のローカル空間についての特徴情報を格
    納し、かつ、バーチャルワールド全体においてドラマを
    進行させるストーリを構成するための情報として、シナ
    リオ情報を格納し、 視聴者システムは、 映像情報提供システムから送られた情報を格納するため
    の記憶装置と、 映像情報提供システムから送られる情報を受けとって記
    憶装置に格納すると共に、その情報に基づいて、ドラマ
    を映像化する処理を行なうための情報処理装置と、 情報処理装置で生成された映像を表示するための表示装
    置と、 情報処理装置に対して指示を入力するための入力装置
    と、 通信を行なうための通信制御装置とを備え、 上記情報処理装置は、 シナリオ情報を読みだして、シナリオの記述に従ってバ
    ーチャルワールドの全空間においてドラマを進行させる
    進行管理手段と、 上記進行管理手段で進行管理されるシナリオ情報のう
    ち、バーチャルワールドの指定されたローカル空間に関
    する情報について、上記特徴情報を参照して、それに含
    まれるバーチャルワールドの構成要素の映像を生成し
    て、上記表示装置に表示させる映像生成手段を備えるこ
    とを特徴とする映像生成／表示システム。