JPH11232487A

JPH11232487A - 情報処理装置および方法、並びに提供媒体

Info

Publication number: JPH11232487A
Application number: JP10030794A
Authority: JP
Inventors: Teruhisa Gamachi; 輝尚蒲地; Hiroyuki Yasuga; 広幸安賀; Hiroki Tsukahara; 広樹束原; Junichi Nagahara; 潤一永原; Hideaki Karasawa; 英了唐澤; Emi Arakawa; 恵美荒川
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-02-13
Filing date: 1998-02-13
Publication date: 1999-08-27
Also published as: US6626954B1

Abstract

(57)【要約】【課題】３次元仮想現実空間における画像を音に同期
させる。【解決手段】ブラウザによりMIDIのファイルmusic.mi
dに記録されているトラック０の音が発音される。Sony_
AudioClipノードは、ファイルmusic.midのデータをイベ
ントとして受け取り、そのmusicDataフィールドから、S
ony_MusicNoteInterpolatorノードのmusicDataフィール
ドに出力する。このSony_MusicNoteInterpolatorノード
は、keyValueフィールドに規定された低い音の値と高い
音の値の間の値を補間し、value_changedから出力す
る。PositionInterpolatorノードのPositionIP.value_c
hangedフィールドは、Sony_MusicNoteInterpolatorノー
ドから供給された音高データに対応する位置データをCO
NE_OBJ TransformノードのCONE_OBJ.set_tramslationフ
ィールドに出力する。これにより、オブジェクトの位置
が音に同期して変化される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、情報処理装置およ
び方法、並びに提供媒体に関し、特に、VRMLで表現され
た３次元仮想現実空間において、音と画像を同期させる
ことができるようにした、情報処理装置および方法、並
びに提供媒体に関する。

【０００２】

【従来の技術】世界的規模で構築されたコンピュータネ
ットワークであるインターネット(TheInternet)におい
て、様々な情報を提供するWWW(World Wide Web)の枠組
みを利用して３次元的な情報を統一的に扱うことができ
る記述言語として、VRML(Virtual Reality Modeling La
nguage)が知られている。

【０００３】インターネットで利用できる情報提供シス
テムとして、スイスのCERN（European Center for Nucl
ear Research：欧州核物理学研究所）が開発したWWWが
知られている。このWWWは、テキスト、画像、または音
声などの情報を、ハイパーテキスト形式で閲覧できるよ
うにしたもので、HTTP(Hyper Text Transfer Protoco
l：ハイパーテキスト転送プロトコル)と呼ばれるプロト
コルに基づいて、WWWサーバに格納された情報をパーソ
ナルコンピュータなどの端末に非同期転送するものであ
る。

【０００４】WWWサーバは、HTTP、デーモン（daemon）
と呼ばれるサーバソフトウエア、および、ハイパーテキ
スト情報が格納されるHTMLファイルにより構成される。
なお、デーモンとは、UNIX上で作業を行う場合におい
て、バックグラウンドで管理や処理を実行するプログラ
ムである。ハイパーテキスト情報は、HTML（HyperTextM
arkup Language：ハイパーテキスト記述言語）と呼ばれ
る記述言語を用いて表現される。HTMLによるハイパーテ
キストの記述は、「＜」と「＞」で囲まれたタグと呼ば
れる書式指定によって文章の論理的な構造が表現され
る。他の情報とのリンクについての記述は、アンカーと
呼ばれるリンク情報を用いて行われる。このアンカーを
用いて、情報が存在する場所を指定する際には、URL(Un
iform Resource Locator)と呼ばれる文字列が用いられ
る。

【０００５】HTMLで記述されたファイルを、ネットワー
ク上において転送するためのプロトコルがHTTPである。
クライアントからの、情報の要求をWWWサーバに伝え、H
TMLファイルのハイパーテキスト情報をクライアントに
転送する機能をもっている。

【０００６】WWWを利用する環境として多く利用されて
いるのが、WWWブラウザ（ブラウザとは閲覧するという
意味）と呼ばれる。このWWWブラウザは、例えば、Netsc
ape Navigator（米国Netscape Communications社の商
標）をはじめとするクライアントソフトウエアである。
このWWWブラウザを用いて、URLに対応する世界規模で広
がるインターネット上のWWWサーバ上のファイル、いわ
ゆるホームページを閲覧することができ、いわゆるネッ
トサーフィンと呼ばれるように、リンクが張られたホー
ムページを次々と辿って、多種多様なWWWの情報ソース
にアクセスすることができる。

【０００７】近年、このWWWをさらに拡張し、3次元仮想
空間の記述や、３次元グラフィックスで描画されたオブ
ジェクトに対してハイパーテキストのリンクの設定を可
能とし、これらのリンクをたどりながらWWWサーバを次
々とアクセスできるようにした、VRMLと呼ばれる３次元
グラフィックス記述言語の仕様が策定され、このVRMLの
仕様に基づいて記述された３次元空間を表示するための
VRMLブラウザが開発されている。

【０００８】このVRMLの詳細は、例えば、「VRMLを知
る：３次元電脳空間の構築とブラウジング〔マーク・ペ
ッシ著，松田晃一・蒲地輝尚・竹内彰一・本田康晃・暦
本純一・石川真之・宮下健・原和弘訳，１９９６年３月
２５日初版発行，プレンティスホール出版ISBN4-931356
-37-0〕（原著；VRML：Browsing & Building Cyberspac
e,Mark Pesce, 1995 New Readers Publishing ISBN 1-5
6205-498-8））」、または「VRMLの最新動向とCyberPas
sage〔松田晃一・本田康晃著、bit（共立出版）／1996
Vol.28 No.7 pp29 〜pp36, No.8 pp57 〜pp65, No.9 pp
29 〜pp36, No.10 pp49〜pp58〕」等の文献に記載され
ている。

【０００９】また、「The Virtual Reality Modeling
Language Version 2.0, ISO/IEC CD 14772」の公式か
つ完全な仕様書は、「http://www.vrml.org/Specificat
ions/VRML2.0/FINAL/spec/index.html」で公開されてお
り、その日本語版は、「http://www.webcity.co.jp/inf
o/andoh/VRML/vrml2.0/spec-jp/index.html」で公開さ
れている。

【００１０】さらに、VRML2.0用ブラウザおよび共有サ
ーバ用ソフトウェアとしては、例えば、本出願人である
ソニー株式会社が「Community Place(商標) Browser /
Bureau」として開発し、製品化しており、そのβ版（試
供版）を、インターネット上のホームページ「http://v
s.sony co.jp」からダウンロードすることが可能とされ
ている。

【００１１】このようなVRML2.0においては、３次元的
な仮想空間内におけるオブジェクトの自律的な振る舞い
（Behavior）を記述し、表現することが可能とされてい
る。このVRML2.0を用いて、３次元的な仮想空間内でオ
ブジェクトが動的に動き回るVRMLコンテンツを作成しよ
うとする場合、以下の様な作業行程を経ることになる。
なお、以下において、１つの仮想空間内で一連のオブジ
ェクトの振る舞いを実現するためのVRMLファイルや、ス
クリプト（Script）ファイル等の集合体をVRMLコンテン
ツと呼ぶことにする。

【００１２】以下において、このVRMLコンテンツを作成
するための一連の作業について説明する。

【００１３】モデル作成作業は、仮想空間内に配置する
オブジェクト（モデル）の形状や位置等をVRML2.0に基
づいて記述し、基本的なVRMLファイルを作成する作業で
ある。

【００１４】センサノードの記述は、仮想空間内の各オ
ブジェクトに対して、マウスによるクリック操作（ポイ
ンティング操作）がされた場合にイベントを発生するTo
uchSensorや、予め設定された時刻になるとイベントを
発生するTimeSensor等のセンサノードの記述をVRMLファ
イルへ追加する作業である。

【００１５】ルーティング（Routing）の編集作業は、
センサノードが付加されたオブジェクトに対するポイン
ティング操作等に応じて発生したイベントを伝達するた
めのルーティングの記述をVRMLファイルへ追加する作業
である。

【００１６】スクリプトノードの記述は、ルーティング
によって伝達されたイベントを外部スクリプトへ受け渡
すためのスクリプトノードに関する記述を、VRMLファイ
ルへ追加する作業である。

【００１７】スクリプトファイルの作成は、スクリプト
ノードを介して伝達されたイベントに基づいて、仮想空
間内の各オブジェクトに対して予め設定された振る舞い
を実現するためのJava言語（Javaは、米国Sun Microsys
tems社の商標）等によるスクリプトを記述（プログラミ
ング）する作業である。

【００１８】以上の各種作業を経て、所望のVRMLコンテ
ンツが作成される。

【００１９】VRML2.0に基づいて、仮想空間内でのオブ
ジェクトの自律的な挙動を伴うVRMLコンテンツを作成し
ようとする場合、既存のモデラーと呼ばれるオーサリン
グソフトウェア（例えば、3D Studio Max（商標）等）
を用いて、オブジェクトの形状やアニメーションを作成
し、作成したものを、VRML2.0の形式のファイルとして
出力する。仮に、モデラーがVRML2.0形式をサポートし
ていない場合、コンバータ等を用いて、作成したファイ
ルをVRML2.0形式に変換する必要がある。

【００２０】次に、VRML2.0によって規定されている各
種センサ・ノード等の記述を、テキストエディタを用い
てVRMLファイルに追加したり、テキストエディタを用い
てJava言語によるスクリプトの作成や、これに対応する
スクリプトノードの追加、ルート文の追加等の作業を繰
り返す。そして、最後に、実際の動作確認に当たって
は、VRML2.0対応のVRMLブラウザを起動し、マウスによ
るクリック操作等により、オブジェクトの振る舞いを確
認する。

【００２１】また、VRML2.0では、ユーザが、新しいノ
ード型を定義し、拡張することができ、また、定義した
ノードを、あたかも既存の組み込みノードのように使用
することができるようになされている。このように、ユ
ーザが新しいノードを定義する方法を、プロトタイプ
（ProtoType）と称する。このプロトタイプを定義する
場合、PROTOと称するキーワードが用いられる。

【００２２】

【発明が解決しようとする課題】ところで、VRML2.0に
おいては、画像データの処理時間について、特に規定が
なされていない。例えば、図２１に示すように、３次元
仮想現実空間におけるモデル（オブジェクト）としての
アバタを地点Ｐ₁から地点Ｐ₂まで移動表示させるのに、
その処理を所定の時間内に処理しなければならないとい
ったような規定が存在しない。このため、そのようなプ
ログラムを実行する各情報処理装置の性能によって、ア
バタが地点Ｐ₁から地点Ｐ₂に移動するまでの時間が変化
する。

【００２３】これに対して、３次元仮想現実空間におい
て音声を発音するようにした場合、一旦発音された音声
は、以下、実時間に沿って発音されるため、例えば、所
定の曲を発音した場合、その曲の始めから終わりまでに
要する時間は、どの情報処理装置においても同一とな
る。

【００２４】その結果、例えば、図２１に示す表示例に
おいて、地点Ｐ₁からアバタが移動を開始するのに同期
して、所定の曲の発音を開始させ、アバタが地点Ｐ₂に
到着したタイミングにおいて、ちょうど、その曲の発音
が終了するように、所定の情報処理装置で３次元仮想現
実空間を設計した場合、その情報処理装置で、そのプロ
グラムを実行すれば、アバタが地点Ｐ₂に到着するタイ
ミングで、その曲の発音が終了されるが、例えばCPUの
クロック周波数が異なったり、画像処理の性能が異なる
他の情報処理装置で、そのプログラムを実行すると、そ
の曲の発音が終了した時点において、アバタは必ずしも
地点Ｐ₂には到達していなかったり、その前に、既に到
達していることになる。

【００２５】このように、従来のVRML2.0は、画像と音
声を同期させることができない課題があった。

【００２６】本発明は、このような状況に鑑みてなされ
たものであり、画像と音声を同期させることができるよ
うにするものである。

【００２７】

【課題を解決するための手段】請求項１に記載の情報処
理装置は、音源を指定する指定手段と、指定手段により
指定された音源のデータをイベントとして出力する出力
手段と、所定のオブジェクトの画像を表示させる表示制
御手段と、出力手段より出力されたイベントに関連し
て、オブジェクトの画像を変化させる変化手段とを備え
ることを特徴とする。

【００２８】請求項２に記載の情報処理方法は、音源を
指定する指定ステップと、指定ステップで指定された音
源のデータをイベントとして出力する出力ステップと、
所定のオブジェクトの画像を表示させる表示制御ステッ
プと、出力ステップで出力されたイベントに関連して、
オブジェクトの画像を変化させる変化ステップとを備え
ることを特徴とする。

【００２９】請求項３に記載の提供媒体は、音源を指定
する指定ステップと、指定ステップで指定された音源の
データをイベントとして出力する出力ステップと、所定
のオブジェクトの画像を表示させる表示制御ステップ
と、出力ステップで出力されたイベントに関連して、オ
ブジェクトの画像を変化させる変化ステップとを備える
コンピュータプログラムを提供することを特徴とする。

【００３０】請求項１に記載の情報処理装置、請求項２
に記載の情報処理方法、および請求項３に記載の提供媒
体においては、音源のデータがイベントとして出力され
ると、その出力されたイベントに関連して、オブジェク
トの画像が変化される。

【００３１】

【発明の実施の形態】以下に本発明の実施の形態を説明
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態（但し一例）を付
加して本発明の特徴を記述すると、次のようになる。但
し勿論この記載は、各手段を記載したものに限定するこ
とを意味するものではない。

【００３２】請求項１に記載の情報処理装置は、音源を
指定する指定手段（例えば、図１５のeventTracksフィ
ールド）と、指定手段により指定された音源のデータを
イベントとして出力する出力手段（例えば、図１５のmu
sicDataフィールド）と、所定のオブジェクトの画像を
表示させる表示制御手段（例えば、図１５のdiffuseCol
orフィールド）と、出力手段より出力されたイベントに
関連して、オブジェクトの画像を変化させる変化手段
（例えば、図１５のfraction_changedフィールド）とを
備えることを特徴とする。

【００３３】図１は、本発明の情報処理装置を適用し
た、３次元仮想空間を統一的に扱うネットワークシステ
ムの構成を示す図である。この例において、ネットワー
クシステムは、主に、企業内ネットワーク１、インター
ネット２、プロバイダ３、ISDN(integrated services d
igital network) ４、およびクライアント端末５が相互
に接続されて構成される。なお、実際には、企業内ネッ
トワーク１、インターネット２、プロバイダ３、および
クライアント端末５は、それぞれ複数存在しうるが、図
示の簡略化のために、この図においては、それぞれ１つ
ずつとしてある。この例においては、企業内ネットワー
ク１のLAN(local area network)１３、インターネット
２のデジタル通信回線２２、プロバイダ３、およびISDN
４により、企業内ネットワーク１のサーバ１２とクライ
アント端末５との間のデータ通信が実現されるようにな
されている。

【００３４】企業内ネットワーク１は、ハードディスク
１１を有するサーバ１２、LAN１３およびゲートウェイ
サーバ１４により構成される。サーバ１２は、例えば、
本出願人がインターネット上（http://vs.sony.co.jp
/）で提供するCommunity Place（商標）用のサーバであ
って、ユーザがコンテンツ作成用ツール５０（図３を用
いて後述する）により作成したコンテンツ、つまり、ユ
ーザがVRML2.0で記述した３次元的な物体（モデル）の
形状および位置等を示す図形データ（VRMLファイル）、
および、ユーザがJava言語等のプログラム言語により記
述し、モデルに対する操作に応じて起動するスクリプト
（ファイル等からなるVRMLコンテンツ）をネットワーク
等を介して取得し、さらにローカルのハードディスク１
１に記憶し、管理するようになされている。

【００３５】また、サーバ１２は、クライアント端末５
からの転送要求に応じて、ハードディスク１１に記憶し
た３次元的な仮想空間のコンテンツを、LAN１３、イン
ターネット２、プロバイダ３、およびISDN４（以下、ネ
ットワークシステム内のこれらの通信ノードを総称し
て、適宜、単にネットワークと表記する）を介して、要
求元のクライアント端末５に転送し、さらにまた、コン
テンツ作成用のプログラム（図３を用いて後述するコン
テンツ作成用ツール５０）を、ネットワーク介して、も
しくは、例えばフロッピーディスク等の記録媒体６を介
して、クライアント端末５に転送する。

【００３６】インターネット２は、ルータ２１，２３お
よびディジタル通信回線２２により構成される。

【００３７】図２は、図１のクライアント端末５の構成
例を示すブロック図である。この例において、クライア
ント端末５は、CPU３１を備え、このCPU３１は、ROM３
２に記録されているプログラムに従って各種の処理を実
行するようになされている。RAM３３には、CPU３１が各
種の処理を実行する上において必要なデータまたはプロ
グラム等が適宜記録されるようになされている。通信装
置３４は、ISDN４を介して、データを授受するようにな
されている。

【００３８】表示装置３５は、例えば、CRTやLCD等を備
え、CG（コンピュータグラフィック）の３次元画像等を
表示することができるようになされている。スピーカ３
６は、音声信号を出力するようになされている。入力装
置３８のキーボード３８ａは、所定の文字や記号等を入
力するとき操作される。マウス３８ｂは、所定の位置
（例えば、モデル）をポインティングするとき操作され
るようになされている。例えば、ハードディスク、光デ
ィスク、ＭＯディスク、またはフロッピーディスク等よ
りなる記憶装置３９は、コンテンツ作成用ツール５０
や、各種のデータを記憶するようになされている。イン
タフェース３７は、表示装置３５、スピーカ３６、入力
装置３８、および記憶装置３９に対するデータのインタ
フェースを構成している。

【００３９】クライアント端末５は、図１のサーバ１２
からネットワークを介してダウンロードされてきたVRML
コンテンツを、通信装置３４を介して受信し、表示装置
３５に表示させる。

【００４０】また、クライアント端末５は、サーバ１２
からネットワークあるいは記録媒体６を介して供給され
るコンテンツ作成用ツール５０を記憶装置３９にインス
トールし、また、これをユーザの操作に応じて起動し
て、３次元仮想空間のコンテンツを作成し、作成したVR
MLコンテンツを、ネットワークあるいは記録媒体６を介
してサーバ１２にアップロードするようになされてい
る。

【００４１】さらに、クライアント端末５は、表示した
モデルに対する、ユーザによる入力装置３８を用いたポ
インティング操作等に応じて、例えば、ポインティング
されたモデルの色を変更したり、モデルを移動させる等
のスクリプトを起動し、３次元仮想空間の表示内容を変
更する。

【００４２】つまり、３次元仮想空間上のモデルに対す
るユーザの操作に応じてインタラクティブに表示内容を
変更することにより、クライアント端末５は、ユーザ
に、あたかも実際に３次元仮想空間内において、ユーザ
自身が移動したり、モデルに触れて操作し、移動させた
り音を出したりしているかのような感覚を生じさせる。

【００４３】図３は、図１および図２に示したクライア
ント端末５において動作するコンテンツ作成用ツール５
０の構成例を示す図である。この例において、コンテン
ツ作成用ツール５０は、ユーザインタフェース部（GU
I：Graphical User Interface）５１、編集ツール５
２、シーングラフデータベース５３、作業ツール５４、
スクリプト作成部５６、およびブラウザ５７により構成
される。

【００４４】編集ツール５２は、モデル編集ツール５２
１、ルーティング編集ツール５２２、シーングラフ編集
ツール５２３、テキストエディタ５２４、テンプレート
作成ツール５２５、およびキーフレーム編集ツール５２
６により構成され、作業ツール５４は、ブラウザエミュ
レータ５４１、ファイル入出力部５４２、ファイルスコ
ープマネジメント部５４３、およびバックアップレスト
ア部５４４から構成される。また、スクリプト作成部５
６は、Javaコンパイラ５６１、Javaエミュレータ５６
２、およびJavaデバッガ５６３により構成されている。

【００４５】コンテンツ作成用ツール５０は、図２のク
ライアント端末５において、記憶装置３９にインストー
ルされて用いられるソフトウェアであって、ネットワー
クあるいは記録媒体６を介して配付され、モデル作成作
業とインタラクション作成作業を統合的に関連付けて、
コンテンツの作成を行うようになされている。

【００４６】以下、コンテンツ作成用ツール５０の構成
部分を説明する。

【００４７】ユーザインタフェース部５１は、３次元仮
想空間のコンテンツ作成に用いられる各種データの入力
に用いられる画像を、図２の表示装置３５に、ウィンド
ウ形式を用いて表示するようになされている。また、ユ
ーザインタフェース部５１は、ユーザが、表示装置３５
に表示されたウィンドウ内の各種ボタンを入力装置３８
のマウス３８ｂを用いて操作することにより入力される
操作入力データ、または、キーボード３８ａから入力さ
れる操作入力データを受け入れ、必要なデータを編集ツ
ール５２の各ツールまたはシーングラフデータベース５
３に供給する。つまり、ユーザインタフェース部５１
は、ユーザに対して、GUI環境を提供するようになされ
ている。

【００４８】そして、ユーザインタフェース部５１は、
編集ツール５２またはシーングラフデータベース５３か
ら表示出力データを受け、表示装置３５の所定のウィン
ドウ内に表示する。なお、編集ツール５２、シーングラ
フデータベース５３、および作業ツール５４の各構成部
分は、ユーザインタフェース部５１に入力される操作入
力データに応じて起動され、ユーザインタフェース部５
１により供給された操作入力データに基づいて処理を行
うようになされている。

【００４９】編集ツール５２は、３次元仮想空間内のモ
デルの図形データおよびインタラクションプログラムの
作成に必要な機能をユーザに提供する。編集ツール５２
において、モデル編集ツール５２１は、表示装置３５に
表示されたモデル編集用ウィンドウに対するユーザの操
作により入力されるモデル作成用のデータを用いて、モ
デルの大きさ、色（形状）、位置、または動作等の属性
を示す図形データを作成する。また、モデル編集ツール
５２１は、作成した図形データ（モデルの属性）を、シ
ーングラフデータベース５３に出力する。さらに、モデ
ル編集ツール５２１は、ユーザインタフェース部５１を
介して、表示装置３５上のモデル編集用ウィンドウの所
定の位置に、作成された図形データを３次元的または２
次元的に表示する。

【００５０】なお、モデル編集ツール５２１は、記憶装
置３９に記憶されている図形データ、記録媒体６から読
み出された図形データ、または、ネットワークを介して
提供されてきた図形データを編集することも可能であ
る。

【００５１】ルーティング編集ツール５２２は、スコー
プ（編集対象となっているVRMLファイル）内で名前が付
されたモデルの図形データとスクリプト等の各ノードと
を対応付けるルーティング編集を行う。なお、ルーティ
ングの際には、ルーティング元とルーティング先のノー
ドの属性（フィールド）の型、例えばSFBool（単一の理
論値を含むフィールド）等を合わせる必要がある。

【００５２】VRMLにおいては、各ノードを階層的に配置
することが可能である。シーングラフ編集ツール５２３
は、モデルの階層構造、および、目に見えないノード
（スクリプトノード等）を編集するようになされてい
る。ノードの階層構造としては、例えば、葉を示すVRML
ファイルＦ１、枝を示すVRMLファイルＦ２、幹を示すVR
MLファイルＦ３、および根を示すVRMLファイルＦ４を、
木を示すVRMLファイルＦ５の下の階層として作成する構
造を具体例として挙げることができる。

【００５３】ユーザが、現在の編集対象として所定のVR
MLファイルを選択すると、シーングラフ編集ツール５２
３は、選択されているVRMLファイルが参照しているノー
ドを、シーングラフウィンドウ７６（図４参照）内に、
ツリー形式（シーングラフ）で表示する。このように、
編集対象のVRMLファイルにより参照されているノードの
集合を、ファイルスコープ（またはカレントスコープ）
と称する。シーングラフ編集ツール５２３は、ルーティ
ング、キーフレーム、またはスクリプト作成等の編集の
対象となるノードを、シーングラフウィンドウ７６に表
示されているファイルスコープに限定するようになされ
ている。また、ファイルスコープの内容、および、編集
対象となるノードは、ユーザによる編集対象のVRMLファ
イルの変更に対応して、変更後のVRMLが参照しているノ
ードに変更される。

【００５４】テキストエディタ５２４は、Java言語等の
スクリプトの作成に適したプログラミング言語のエディ
タ機能を有し、スクリプトのソースプログラムの作成を
行うとともに、スクリプトノードに対する編集作業に連
携して、変数の追加、削除および変更を自動的に行うよ
うになされている。

【００５５】テンプレート作成ツール５２５は、ユーザ
の便宜を図るために用いられるツールであって、テキス
トエディタ５２４と連携して動作し、表示装置３５に表
示された「Script Expert」と呼ばれるウィンドウに対
するユーザの操作に応じて、スクリプトの原型となるプ
ログラム（テンプレート）を対話形式で作成してテキス
トエディタ５２４に対して出力する。このテンプレート
作成ツール５２５により、ユーザは、テンプレート作成
ツール５２５が提供し、既にある程度でき上がっている
ソースプログラム（スクリプトのひな型）に、必要に応
じて変更を加えることにより、容易にスクリプトを作成
することができる。

【００５６】キーフレーム編集ツール５２６は、モデル
編集ツール５２１で編集されたモデルの状態（例えば、
モデルの座標）が、画面上で変化するようなアニメーシ
ョンを作成するようになされている。

【００５７】シーングラフデータベース５３は、編集ツ
ール５２の各ツールが作成したデータを、図２ののRAM
３３に記憶し、管理して、編集ツール５２および作業ツ
ール５４の各構成部分の要求に応じて、記憶したデータ
を、高速にそれらに提供する。

【００５８】作業ツール５４は、作成したコンテンツの
確認、スクリプトの動作確認、および、データの記録お
よび再生等のコンテンツ作成作業に必要な機能をユーザ
に提供する。

【００５９】作業ツール５４において、ブラウザエミュ
レータ５４１は、作成したコンテンツの動作をユーザが
確認するため等の用途に用いられ、表示装置３５に表示
される入力用画像に設けられた「Play」ボタンが操作さ
れることにより起動され、シーングラフデータベース５
３に記憶されたコンテンツを、表示装置３５の画面のモ
デリングウィンドウに表示し、さらに、ユーザの操作に
応じて表示内容を変更する。

【００６０】つまり、ブラウザエミュレータ５４１は、
ブラウザ５７の動作をエミュレートし、ブラウザ５７を
用いた場合と同じコンテンツをユーザに示す。なお、ブ
ラウザエミュレータ５４１は、入力用画像等に設けられ
た「Stop」ボタンが操作されることにより、動作を停止
し、これに対応して、ユーザインタフェース部５１は、
元の入力用画像を表示するようになされている。

【００６１】ファイル入出力部５４２は、シーングラフ
データベース５３に記憶されたコンテンツの図形データ
〔VRMLファイル（拡張子.wrl）〕、スクリプト（拡張
子.java）、テクスチャファイル（拡張子.bmp，.jpg，.
gif）、またはサウンドファイル（拡張子.wav，.mod）
を、記憶装置３９または記録媒体６に記録する。また反
対に、ファイル入出力部５４２は、記憶装置３９等によ
り読み出された上記コンテンツの各種データをシーング
ラフデータベース５３に対して出力する。

【００６２】VRMLにおいては、図形データのファイル
（拡張子.wrl）ごとに１つのスコープ（ノードに付され
た名前およびルーティングが有効な範囲）が与えられ、
ノード名およびルーティングの管理はスコープを単位と
して行われる。ファイルスコープマネジメント部５４３
は、シーングラフデータベース５３におけるノード名の
管理、ノード名の自動作成、および、ノードの検索を行
うとともに、ノードが同一の図形データファイルを複
数、参照する場合に、図形データファイルに対する変更
を、参照するノード全てに伝播させる。

【００６３】ブラウザエミュレータ５４１がインタラク
ティブ操作可能なシーンを表示すると、ユーザによる操
作に応じてノードの状態が変化し、何らの手当てもしな
ければ、元のシーンの表示ができなくなる。このため、
バックアップレストア部５４４は、ブラウザエミュレー
タ５４１が、Playボタンの操作に応じて起動された際
に、モデリングウィンドウに最初に表示したシーン（VR
MLファイルから生成された３次元仮想空間）の各ノード
の初期状態を、シーングラフデータベース５３から受け
て記憶する。

【００６４】また、ブラウザエミュレータ５４１は、ブ
ラウザエミュレータ５４１がStopボタンの押下に応じて
動作を停止した場合に、記憶した各ノードの状態をシー
ングラフデータベース５３に対して出力する。なお、ユ
ーザインタフェース部５１は、シーングラフデータベー
ス５３に入力された各ノードの初期状態に基づいて、モ
デリングウィンドウ内に３次元仮想空間を表示する。

【００６５】スクリプト作成部５６は、ユーザがテキス
トエディタ５２４を用いて作成したスクリプトのコンパ
イル、動作確認、およびデバッグ機能を有する。

【００６６】スクリプト作成部５６において、Javaコン
パイラ５６１は、シーングラフデータベース５３に記憶
されたJava言語によるスクリプトのソースプログラムを
コンパイルしてオブジェクトプログラムを作成し、シー
ングラフデータベース５３に対して出力する。

【００６７】Javaエミュレータ５６２およびJavaデバッ
ガ５６３は、Java言語で記述されたプログラムのインタ
プリタとして動作し、ユーザがスクリプトプログラムの
動作確認およびデバッグを行うために用いられる。つま
り、Javaエミュレータ５６２は、シーングラフデータベ
ース５３に記憶されたスクリプトのオブジェクトプログ
ラムの動作をエミュレートし、Javaデバッガ５６３は、
Javaエミュレータ５６２のエミュレート動作時の状態、
および、発生したエラーをシーングラフデータベース５
３に対して出力する。

【００６８】ブラウザ５７は、例えば、通常のWWWを見
るために用いられるブラウザを、３次元仮想空間の表示
に適するように改良したものであって、記憶装置３９か
ら読み出された３次元仮想空間のコンテンツ、あるい
は、図１のサーバ１２からネットワークを介して送信さ
れる３次元仮想空間のコンテンツを、表示装置３５に表
示させるほか、ユーザインタフェース部５１乃至作業ツ
ール５４の各構成部分の動作と連動したヘルプファイル
の表示を行う。なお、ブラウザ５７としては、本出願人
が提供する「Community Place（商標）Browser」を用い
ることができる。

【００６９】以下、コンテンツ作成用ツール５０の特徴
的な機能を説明する。ユーザが、表示装置３５の画面内
のウィンドウに表示されたPlayボタン（図５を参照して
後述する）をマウス３８ｂで押下すると、ブラウザエミ
ュレータ５４１は、その時点までに作成されたコンテン
ツを実行し、表示する（動作確認機能）。この機能によ
り、作成したコンテンツを、一度保存してからブラウザ
５７を起動して動作確認を行う手間が不要で、しかも、
ユーザは、コンテンツ作成作業中の任意のタイミング
で、それまでの作業により作成したコンテンツの動作を
確認することができる。

【００７０】動作確認のために、ユーザがPlayボタンを
押下すると、Javaコンパイラ５６１がスクリプトのソー
スプログラム（例えば、拡張子として「.java」を有す
るファイル）を自動的にコンパイルし、オブジェクトプ
ログラムを作成するようになされている（MAKE機能）。

【００７１】動作確認開始時のコンテンツの状態、およ
び、ユーザの視点をバックアップレストア部５４４が保
存し、ユーザが、表示装置３５の画面内のウィンドウに
表示されたStopボタンをマウス３８ｂで押下することに
より、ブラウザエミュレータ５４１がコンテンツの実行
を停止した際に、コンテンツを動作確認開始時の状態に
戻し、モデルの表示内容、および、ユーザの視点を、動
作確認開始時の状態に戻す（バックアップレストア機
能）。

【００７２】ユーザは、テキストエディタ５２４を用い
て、Java言語等のスクリプト作成に適したプログラム言
語でスクリプトのソースプログラムを作成し、Javaコン
パイラ５６１を用いて作成したソースプログラムをコン
パイルし、オブジェクトプログラムを作成することがで
きる（スクリプトプログラムの作成）。このオブジェク
トプログラムは、ブラウザ５７でコンテンツを動作させ
る場合の他、ブラウザエミュレータ５４１により動作確
認を行う場合にも実行される。さらに、ソースプログラ
ムにデバッグコードを追加し、Javaエミュレータ５６２
で実行すると、Javaデバッガ５６３がスクリプトの入出
力の値等を表示し、スクリプトのデバッグ作業が可能に
なる（デバッグ機能）。

【００７３】ユーザが、スクリプトノードの入出力の値
を対話形式で設定すると、テンプレート作成ツール５２
５は、この設定に適合したスクリプトのソースプログラ
ムのひな型（テンプレート）を作成する（テンプレート
自動作成機能）。ユーザは、テキストエディタ５２４を
用いてテンプレートに必要な変更を加えることにより、
所望のイベントを実現するスクリプトのソースプログラ
ムを作成することができる。この機能により、ユーザ
は、スクリプトのソースプログラムを全てエディタで作
成する手間を省くことができ、しかも、単純なコーディ
ングミスの発生を防ぐことができる。

【００７４】図４は、コンテンツ作成用ツール５０のユ
ーザインタフェース部５１が表示装置３５（図２）に表
示するメニュー画面を示す図である。この例において
は、全てのウィンドウが表示されている状態とされてい
るが、勿論、必要なウィンドウだけを表示するようにす
ることもできる。

【００７５】コンダクタウィンドウ７０は、コンテンツ
作成用ツール５０の全体的な管理を行うウィンドウであ
り、新規作成、読み込み、保存、作成したコンテンツの
確認動作の実行、または確認動作の停止を行うことがで
きる。また、マウスモードの切り替え、モデルの追加、
またはモデルの削除等を行うこともできる。

【００７６】３Ｄビュウウィンドウ７１には、作成され
た図形データに対応する物体の３次元透視投影図(3D pe
rspective view) が表示される。この３Ｄビュウウィン
ドウ７１により、モデルの動作モード（回転、移動、ま
たは視点移動）を変更し、あるいは、選択されたモデル
を回転あるいは移動させた画像を表示させることができ
るようになされている。

【００７７】パラレルビュウウィンドウ７２には、３Ｄ
ビュウウィンドウ７１に表示されているモデルの、側面
図（SideView）、上面図（Top View）、あるいはワイヤ
フレームによる図（Wireframe）が、２次元表示される
ようになされている。

【００７８】ルートウィンドウ７３は、イベントのルー
ティングを編集するときに用いられる（図６を用いて後
述する）。

【００７９】アトリビュートウィンドウ７４は、ルーテ
ィングを行うノードの属性と、そのノード名（DEF名）
を設定するときに用いられる。なお、DEF名の設定は、
シーングラフウィンドウ７６とルートウィンドウ７３を
用いて設定することも可能とされている。

【００８０】リソースライブラリウィンドウ７５では、
動画（Video）、図形の形状（Shape）、音声（Soun
d）、およびテクスチャ（Texture）の、４つのライブラ
リの管理を行うようになされている。

【００８１】シーングラフウィンドウ７６には、カレン
トスコープの各ノードが、階層的に配置されて表示され
るようになされている。

【００８２】ワールドインフォメーションウィンドウ７
７は、バックグラウンド（Background）ノード、ワール
ドインフォメーション（WorldInfo）ノード、またはナ
ビゲーションインフォメーション（NavigationInfo）ノ
ードの、３つのノードの設定を行うとき用いられる。ワ
ールドインフォメーションウィンドウ７７において、バ
ックグラウンドノードの設定では、背景のテクスチャと
背景色を設定することができ、ワールドインフォメーシ
ョンの設定では、VRMLファイルに、タイトル、作者名、
または作成日等を設定することができ、また、ナビゲー
ションモードの設定では、ナビゲーション時の動作を設
定することができる。

【００８３】アピアランスウィンドウ７８は、モデルの
色（Material）、または、モデルに貼付するテクスチャ
の設定を行うときに用いられる。

【００８４】スクリプトエディタ７９は、VRMLファイル
や、Javaファイルを編集するときに用いられ、また、Ja
vaプログラムをコンパイルすることもできるようになさ
れている。

【００８５】図５は、図４のコンダクタウィンドウ７０
の構成例を示す図である。ボタン（Fileボタン）７０１
−１は、例えば、記憶装置３９にファイルとして記憶さ
れているコンテンツを読み込むとき操作される。ボタン
（Playボタン）７０１−２は、作成したコンテンツの確
認動作（シミュレーションモード）を実行するとき操作
される。ボタン（Saveボタン）７０１−３は、コンテン
ツを、例えば、記憶装置３９に保存するとき操作され
る。ボタン（Pauseボタン）７０１−４は、実行されて
いる確認動作を一時的に停止させるとき操作される。ボ
タン（Animeボタン）７０１−５は、アニメーションを
作成するためのキーフレームエディタ（KeyFrame Edito
r）を起動するとき、または、起動されているキーフレ
ームエディタを終了するとき、操作される。ボタン（ス
トップボタン）７０１−６は、実行されている確認動作
を停止させるとき操作される。

【００８６】ボタン７０２−１乃至７０２−４は、マウ
スモードを設定することができる。ボタン（Navigateボ
タン）７０２−１は、パラレルビュウウィンドウ７２内
または３Ｄビュウウィンドウ７１内の視点を移動するモ
ードに設定するとき操作される。ボタン（Rotateボタ
ン）７０２−２は、モデルを回転させるモードに設定す
るとき操作される。ボタン（Moveボタン）７０２−３
は、モデルを移動させるモードに設定するとき操作され
る。ボタン（Scaleボタン）７０２−４は、モデルのス
ケールを設定するとき操作される。

【００８７】プリミティブバー７０３は、幾何（Geomet
ry）ノード、センサ（Sensor）ノード、コモン（Commo
n）ノード、バインダブル（Bindable）ノード、または
グループ（Group）ノードを選択して追加することがで
きるようになされている。

【００８８】図６は、３Ｄビュウウィンドウ７１、ルー
トウィンドウ７３、およびシーングラフウィンドウ７６
を並べて配置した場合の表示例を示している。この例に
おいては、シーングラフウィンドウ７６には、カレント
スコープとして、モデル（Box）に、ユーザ（ビュー
ア）が近づいたときに、Boxが回転するというワールド
が表示されている状態とされている。このワールドに
は、主に、近接度のセンサノードであるProximitySenso
rノード（ProximitySensor_00：DEF名）、時刻に関する
センサノードであるTimeSensorノード（TimeSensor_0
0：DEF名）、および方向に対する内挿ノードであるOrie
ntationInterpolatorノード（OrientationInterp_00：D
EF名）が用いられており、ルートウィンドウ７３では、
ProximitySensor_00ノードからTimeSensor_00ノード
へ、TimeSensorノードからOrientationInterpolatorノ
ードへ、また、OrientationInterpolatorノードからTra
nsformノードへ、それぞれルートが生成されている。な
お、このワールドは、特に階層構造を考慮して作成され
ていないので、いまの場合、TimeSensorノードとOrient
ationInterpolatorノードは、図示するように、シーン
グラフウィンドウ７６に表示されているシーングラフの
最上位におかれている。

【００８９】次に、画像を音声に同期させるための手法
について説明する。この目的のため、この発明の実施の
形態においては、３次元グラフィックスを実現するため
のコードであるノードとして、Sony_AudioClip（ソニー
オーディオクリップ（Sonyは商標である））、Sony_Tra
ckControl（ソニートラックコントロール）、Sony_Musi
cFilter（ソニーミュージックフィルタ）、およびSony_
MusicNoteInterpolator（ソニーミュージックノートイ
ンターポレータ）を新たに規定している。

【００９０】Sony_AudioClipノードは、拡張モジュール
ミュージックファイルの再生と、そのファイルの指定し
たトラックの情報をイベントとして出力することができ
るノードである。出力された音楽情報は、Scriptノード
で受けたり、Sony_MusicNoteInterpolatorなどを経由し
て、他のインターポレータへ伝搬させることができるよ
うになされている。

【００９１】このノードの仕様は、次のようになってい
る。

【００９２】このSony_AudioClipにおいて、従来のAudi
oClipより拡張されたフィールドは、eventTrack（イベ
ントトラック）と、musicData（ミュージックデータ）
である。上記仕様におけるMFInt32 eventTrackフィール
ドは、イベントとして取得したいトラック番号をMFInt3
2（３２ビットのlong型整数の複数値）で指定する。MFI
nt32 musicDataフィールドは、eventTrackで指定したノ
ートデータを発行する。また、Sony_AudioClipのfield
MFNode trackControl[]は、音源のトラック毎のコント
ロールを行うフィールドである。

【００９３】図７は、ノートデータのフォーマットを表
している。このノートデータは、図７に示すように、カ
ウント、サイズ、および１以上の音データにより構成さ
れている。カウント（COUNTS）は、そのノートデータに
含まれる音データの数を表している。サイズ（SIZE）
は、１つの音データのサイズ（個数）を示している。各
音データは、音の高さを表すNOTE、トラック番号を表す
TRACK、楽器（インストルメント）の番号を表すINSTRUM
ENT、パターン番号を示すPATTERN、必要に応じて利用さ
れるフィールドであるEffect Commandを表すCOMMAND、
必要に応じて利用されるフィールドであるEffect Comma
nd Parameter1を表すPARAMETER1、および必要に応じて
利用されるフィールドであるEffect Command Parameter
2を表すPARAMETER2により構成されている。

【００９４】また、field MFInt32 eventTrackで指定さ
れるトラック番号としては、MIDI(Musical Instrument
Digital Interface)ファイルのトラックを指定すること
ができる。

【００９５】即ち、MIDIファイルは、図８に示すよう
に、ヘッダとトラックから構成されており、トラック
は、任意の数のトラックイベントで構成されており、ト
ラックイベントは、経過時間とイベントで構成されてい
る。経過時間は、前のイベントが発生してから対応する
イベントが発生するまでの経過時間を表している。

【００９６】従って、例えば、図９に示すように、所定
のトラックイベントに、経過時間Ｎ、イベント「ド」と
規定されており、それに続くトラックイベントに経過時
間が２Ｎ、イベントが「レ」、その次のトラックイベン
トに経過時間がＮ、イベントが「ミ」として規定されて
いるとすると、所定のイベントが発生した後、時間Ｎが
経過したタイミングにおいて、イベント「ド」が発生さ
れ、そのときから時間２Ｎが経過したタイミングにおい
て、イベント「レ」が発生され、そのときからさらに時
間Ｎが経過したタイミングにおいて、イベント「ミ」が
発生される。

【００９７】なお、経過時間は１つの四分音符の長さの
１／Ｎを単位として計測される。このＮは可変であり、
分解能を表すことになる。即ち、経過時間Ｎで、四分音
符１個分の時間が経過することになる。さらに、１つの
四分音符の長さをミリ秒単位で表現する「テンポ」と組
み合わせることにより、MIDIファイル中の経過時間を次
式に従って、実世界の経過時間に変換することができ
る。実時間＝経過時間×分解能×テンポ

【００９８】MIDIでのデータの送受は、メッセージ単位
で行われる。MIDIメッセージは、メッセージの種類を表
すステータスバイトと、実データを有するデータバイト
から構成されている。ステータスバイトは、図１０に示
すように、そのMSBが１とされ、データバイトは、そのM
SBが０とされている。

【００９９】図１１は、メッセージの種類と、それに対
応するステータス、並びにデータバイトの内容を表して
いる。

【０１００】MIDIメッセージは、MIDIチャンネル毎に独
立した演奏情報を伝えるためのチャンネルメッセージ
と、MIDI接続されたシステム全体をコントロールするた
めのシステムメッセージに大別することができる。チャ
ンネルメッセージは、ステータスバイトの下位４ビット
を使用して、１乃至１６までのMIDIチャンネルを指定
し、最大１６までの異なる演奏パートの情報を伝えるこ
とができる。また、その上位４ビットでメッセージの種
類が表される。

【０１０１】チャンネルメッセージは、さらに受信側の
発音（ボイス）をコントロールするボイスメッセージ
と、受信側でどのようにボイスメッセージを受信するか
を指定するモードメッセージに区分される。

【０１０２】システムメッセージは、エクスクルーシブ
メッセージ、コモンメッセージ、およびリアルタイムメ
ッセージに分類される。コモンメッセージは、MIDIシス
テムに接続された機器全てに有効であり、リアルタイム
メッセージは、シーケンサなどの演奏のスタートやスト
ップ、または同期に関するメッセージを含んでいる。エ
クスクルーシブメッセージは、主に、音色、セッティン
グデータの転送などに利用され、ステータスバイトに続
き、メーカー毎のID、さらに任意長のデータバイトで構
成される。このエクスクルーシブメッセージは、エンド
オブエクスクルーシブで終了する。

【０１０３】エクスクルーシブメッセージのIDに続く任
意長のデータのフォーマットは、それぞれIDを有するメ
ーカーが規定している。

【０１０４】図７に示すノートデータのノートとして、
例えば、このMIDIファイルのノート（音高情報）を指定
することができる。

【０１０５】Sony_AudioClipを利用して、ファイルfil
e.xmに規定されている音を再生して、トラック１番とト
ラック２番からイベントを発生させる例を示すと次のよ
うになる。

【０１０６】Sony_AudioClipから発生するイベントに反
応するScriptノードは、次のように記述することができ
る。 public void processEvent(Event e){ if( e.getName().equals(″musicData″)){ ConstMFInt32 mfi32 = (ConstMFInt32) e.getValue(); //イベント取得 int nData = mfi32.getSize(); int aNotes[] = new int [nData]; mfi32.getValue(aNotes); int track = 0; int note = 0; int nCounts = aNotes[0]; int nSize = aNotes[1]; for( int i = 2 ; i < nCounts ; i += nSize){ note = aNotes[i+0]; // note 取得 track = aNotes[i+1]; // track 番号取得 switch( track ){ : (実処理) ：

【０１０７】Ｓｏｎｙ＿ＴｒａｃｋＣｏｎｔｒｏｌノー
ドは、Sony_AudioClipノードが再生する音源のトラック
毎のコントロール（音量／パンなど）を行うためのノー
ドである。その仕様は、次のように規定される。

【０１０８】このノードにおけるfield MFInt32 tracks
フィールドは、このノードで制御したいトラック番号を
指定する。exposedField SFFloat intensityフィールド
は、値域[0.0-1.0]指定したトラックの音量を与える。e
xposedField SFInt32 panフィールドは、値域[0.0-1.0]
指定したトラックのパンを与える。0.5で中央が指定さ
れる。

【０１０９】このSony_TrackControlを利用して、SC(Sc
riptノード）のintensity_changedからのイベントを受
けてトラック１番の音量を変化させる例を示すと、次の
ようになる。

【０１１０】Sony_MusicFilterノードは、拡張モジュー
ルミュージックファイルが指定されたSony_AudioClipノ
ードから、特定のトラックを抜き出し、そのトラックに
対して音量などの操作を他のトラックと独立に行うこと
ができる。AudioClipと同様にSoundノードの音源として
利用できる。その仕様は、次のように規定されている。

【０１１１】このノードにおけるfield SFNode audioCl
ipフィールドは、Sony_MusicFilterが処理対象とするSo
ny_AudioClipを指定する。field MFInt32 tracks []フ
ィールドは、このフィルタで制御する（鳴らす）トラッ
クを指定する。exposedField SFFloat intensityフィー
ルドは、値域[0.0 - 1.0]対象トラックの音量を設定す
る。exposedField SFFloat panフィールドは、値域[0.0
- 1.0]対象トラックのパンを設定する。

【０１１２】このSony_MusicFilterを利用して、最初の
Soundノードでは、ファイルfile.xmのトラック２番と３
番のみを鳴らし、２つめのSoundノードでは、ファイルf
ile.xmのトラック０番のみを鳴らす例を示すと、次のよ
うになる。

【０１１３】Sony_MusicNoteInterpolatorノードは、So
ny_AudioClipが生成するeventOut MFInt32 musicData形
式のイベントを受け入れて、指定したトラックの音の高
さをSFFloatの値のマッピングする。その仕様は、次の
ように規定されている。 PROTO Sony_MusicNoteInterpolator [ eventIn MFInt32 musicData exposedField SFInt32 track -1 exposedField MFInt32 key [] # Noteの範囲 exposedField MFFloat keyValue [] # 割り付ける数値 eventOut SFFloat value_changed ] { }

【０１１４】このノードにおけるeventIn MFInt32 musi
cDataフィールドは、Sony_AudioClipが出力する形式の
イベントの入力を受ける。exposedField SFInt32 track
フィールドは、着目するトラックの番号を指定する。ex
posedField MFInt32 keyフィールドは、反応する高さを
指定する。exposedField MFFloat keyValueフィールド
は、割り付ける数値を指定する。eventOut SFFloat fra
ction_changedフィールドは、musicDataをマッピングし
た結果を出力する。

【０１１５】このSony_MusicInterpolatorを利用して、
音階に反応して色が変化する例を示すと次のようにな
る。 DEF S_AC Sony_AudioClip { eventTrack [ 0 2 ] } DEF S_MNI Sony_MusicNoteInterpolator { track 2 key [ 0 12 ] keyValue [ 0.0 1.0 ] } DEF ColorIP ColorInterplator { key [ 0.0 1.0 ] keyValue [ 1.0 0.0 0.0, 0.0 0.0 1.0 ] } : appearance Appearance { material DEF CONE_MATERIAL { } } : ROUTE S_AC.musicData TO S_MNI.musicData ROUTE S_MNI.value_changed TO ColorIP.set_fraction ROUTE ColorIP.value_changed TO CONE_MATERIAL.set_diffuseColor

【０１１６】次に、図１２乃至図１４を参照して、表示
されているボックスＢ₁乃至Ｂ₃に対して、音源のトラッ
ク８乃至トラック１０を対応させ、それぞれ対応するト
ラック８乃至トラック１０の音（例えばドラムの音）が
発生されたとき、その音に同期して、対応するボックス
の位置と色を変化させる場合の例について説明する。図
１２は、音が発生する前の状態を表しており、図１３
は、トラック９とトラック１０の音が発生され、それに
同期して、ボックスＢ₂とボックス₃の位置が変化した状
態を表し、図１４は、全てがクリックされ、トラック８
乃至トラック１０の音が再生され、それに同期して、ボ
ックスＢ₁乃至ボックスＢ₃の位置と色が変化した状態を
示している。

【０１１７】このような処理を実行する場合のプログラ
ムの例を、次に示す。 #VRML V2.0 utf8 # Sony_AudioClipから、イベントを発生させて、 # BOXの位置と色を音に合わせて変化させる。 ## Sony_AudioClipの定義 PROTO Sony_AudioClip [ exposedField SFString description ″″ exposedField SFBool loop FALSE exposedField SFFloat pitch 1.0 exposedField SFTime startTime 0 exposedField SFTime stopTime 0 exposedField MFString url [] eventOut SFTime duration_changed eventOut SFBool isActive field MFInt32 eventTracks [] # イベントをとりだすトラックを指定するフィールド eventOut MFInt32 musicData # イベントが発生するフィールド field MFNode trackControls []# トラック毎の制御を行うためのフィールド ]{ AudioClip { description IS description loop IS loop pitch IS pitch startTime IS startTime stopTime IS stopTime url IS url duration_changted IS duration_changed isActive IS isActive } } ### # Sony_AudioClipから発生したイベントを # VRMLのシーンに変換するイベントに変換する # Scriptノードｕｒｌ ″Nineth.class″ eventIn MFInt32 musicData # Sony_AudioClipの出力を受け取るフィールド eventOut SFTime track8 # 変換されたイベントが発生するフィールド eventOut SFTime track9 # 変換されたイベントが発生するフィールド eventOut SFTime track10 # 変換されたイベントが発生するフィールド } # インターポレータをコントロールするためのタイムセンサ # この使用例では、音データに応じて生成されるイベントによって # これらのタイムセンサが起動される。 DEF TS_8 TimeSensor { cycleInterval 0.5 loop FALSE } DEF TS_9 TimeSensor { cycleInterval 0.5 loop FALSE } DEF TS_10 TimeSensor { cycleInterval 0.5 loop FALSE } # 色を変化させるインターポレータ DEF CI_8 ColorInterpolator { key [0 0.5 1] keyValue [ 0.5 0.5 0.5, 1 0 0, 0.5 0.5 0.5 ] } DEF CI_9 ColorInterpolator { key [0 0.5 1] keyValue [ 0.5 0.5 0.5, 0 1 0, 0.5 0.5 0.5 ] } DEF CI_10 ColorInterpolator { key [0 0.5 1] keyValue [ 0.5 0.5 0.5, 0 0 1, 0.5 0.5 0.5 ] } # 位置を変化させるインターポレータ DEF PI_8 PositionInterpolator { key [0 0.2 1] keyValue [ -1 0 1, -1 4 1, -1 0 1] } DEF PI_9 PositionInterpolator { key [0 0.2 1] keyValue [ 0 0 1, 0 4 1, 0 0 1] } DEF PI_10 PositionInterpolator { key [0 0.2 1] keyValue [ 1 0 1, 1 4 1, 1 0 1] } #-------------------------------------------------------------------- Transform { children[ Sound{ source DEF SAC_AudioClip { # music.midファイルの、トラック８，トラック９，トラック１０ # をイベント取得対象トラックとして指定する。 eventTracks [ 8 9 10 ] # event用のトラック指定 loop TRUE URL ″music.mid″ } } # Track8に対応して変化するBOX DEF POS_8 Transform { translation -1 0 1 children [ Shape { appearance Appearance { material DEF OBJ_8 Material{ diffuseColor 1 1 1 } } geometry Box { size 0.5 0.5 0.5 } } ] } # Track9に対応して変化するBOX DEF POS_9 Transform { translation 0 0 1 children [ Shape { appearance Appearance { material DEF OBJ_9 Material{ diffuseColor 1 1 1 } } geometry Box { size 0.5 0.5 0.5 } } ] } # Track10に対応して変化するBOX DEF POS_10 Transform { translation 1 0 1 children [ Shape { appearance Appearance { material DEF OBJ_10 Material{ diffuseColor 1 1 1 } } geometry Box { size 0.5 0.5 0.5 } } ] } ] } # Sony_AudioClipから、Scriptノードにデータを受け渡す。 ROUTE SAC.musicData TO SC.musicData # Scriptノードがtrack8の成分を元にイベントを発行し、 # それに伴って起動されたタイムセンサがボックスを変化させる。 ROUTE SC.track8 TO TS_8.startTime ROUTE TS_8.fraction_changed TO CI_8.set_fraction ROUTE CI_8.value_changed To OBJ_8.diffuseColor ROUTE TS_8.fraction_changed TO PI_8.set_fraction ROUTE PI_8.value_changed To POS_8.taranslation # Scriptノードがtrack9の成分を元にイベントを発行し、 # それに伴って起動されたタイムセンサがボックスを変化させる。 ROUTE SC.track9 TO TS_9.startTime ROUTE TS_9.fraction_changed TO CI_9.set_fraction ROUTE CI_9.value_changed To OBJ_9.diffuseColor ROUTE TS_9.fraction_changed TO PI_9.set_fraction ROUTE PI_9.value_changed To POS_9.taranslation # Scriptノードがtrack10の成分を元にイベントを発行し、 # それに伴って起動されたタイムセンサがボックスを変化させる。 ROUTE SC.track10 TO TS_10.startTime ROUTE TS_10.fraction_changed TO CI_10.set_fraction ROUTE CI_10.value_changed TO OBJ_10.diffuseColor ROUTE TS_10.fraction_changed TO PI_10.set_fraction ROUTE PI_10.value_changed TO POS_10.taranslation ## 以上

【０１１８】図１５は、以上の音に同期してボックスの
位置と色を変化させる例における各ノードの関係を表し
ている。Sony_AudioClipノードのMFInt32 eventTracks
フィールドは、music.midファイルのトラックのうちの
トラック８乃至トラック１０のデータをイベントとして
取り込むように指定している。これにより、Sony_Audio
Clipノードは、トラック８乃至トラック１０の音が、い
つ発音されるかを知ることができる。これらのトラック
８乃至トラック１０に記憶されているMIDIデータに対応
する発音処理そのものは、ブラウザ５７がmusic.midフ
ァイルのデータを読み出して実行する。

【０１１９】Sony_AudioClipノードのMFInt32 musicDat
aフィールドは、トラック８乃至トラック１０のイベン
ト（ノートデータ）をまとめて、ScriptノードのmusicD
ataフィールドに供給する。Scriptノードは、これらの
トラック８乃至トラック１０のデータを分解する。そし
て、例えば、TimeSensorノードにおけるTS_8 Time Sens
orを、そのTS_8.startTimeフィールドに、現在時刻を設
定することで起動させる。TS_8 TimeSensorノードは、
起動されると予め設定してある所定の時間だけ動作す
る。TS_8.fraction_changedフィールドは、例えば、動
作開始時刻を０とし、動作終了時刻を１とするとき、そ
の間の経過時間に対応する値（０乃至１の間の値）を、
ColorInterpolatorノードにおけるCI_8 ColorInterpola
torのCI_8.set_fractionフィールドと、PositionInterp
olatorノードにおけるPI_8 PositionInterpolatorノー
ドのPI_8.set_fractionフィールドに出力する。

【０１２０】CI_8 ColorInterpolatorは、入力された値
０に対応する色と、入力された値１に対応する色を予め
規定しており、さらに、０と１の間の数値に対応する色
も、予め規定している。CI_8.value_changedフィールド
は、TS_8.fraction_changedフィールドから供給された
数値（０乃至１の間の値）に対応する色のデータを出力
する。この色のデータは、POS_8 TransformノードのOBJ
_8.diffuseColorフィールドに供給される。このフィー
ルドは、ボックスＢ₁の色を、指定された色に設定す
る。

【０１２１】以上の処理は、ブラウザ５７によりトラッ
ク８の音が発音されるタイミングに間に合うように、そ
の前に行われる。これにより、ブラウザ５７が、music.
midファイルのトラック８を再生して出力する音に同期
して、ボックスＢ₁の色が図１２乃至図１４に示すよう
に変化することになる。

【０１２２】同様に、PI_8 PositionInterpolatorノー
ドは、入力された値０に対応する位置と、値１に対応す
る位置を予め規定しており、さらに、０と１の間の数値
に対応する位置も予め規定している。PI_8.value_chang
edは、TS_8.fraction_changedフィールドより入力され
た数値に対応する位置データを、POS_8 Transformノー
ドのtranslationフィールドに出力する。このフィール
ドは、入力された位置にボックスＢ₁を表示させる。こ
れにより、ブラウザ５７が発音させるmusic.midファイ
ルのトラック８の音に同期して、ボックスＢ₁の位置
が、図１２乃至図１４に示すように変化することにな
る。

【０１２３】以上においては、ボックスＢ₁について説
明したが、同様に、トラック９またはトラック１０の音
に合わせて、ボックスＢ₂またはボックスＢ₃の色と位置
が変化することになる。

【０１２４】図１６乃至図１８は、音に同期して画像を
変化させる他の例を示している。この例においては、図
１６に示すように、マーカＤ₁とマーカＤ₂が、それぞれ
所定の位置に配置されている。そして、物体Ｅが、図１
６に示すように、マーカＤ₁に位置するとき、Ｃ４の音
（低い方の「ド」）が発音され、時間の経過とともに、
音がＣ４から次第に高い音に移行するのにともない、物
体Ｅが、マーカＤ₁の位置からマーカＤ₂の方向に移動
し、図１８に示すように、物体Ｅが、マーカＤ₂の位置
に到達したとき、Ｃ５の音（高い「ド」の音）が発音さ
れる例を示している。この例を実現するプログラムは、
次のようになる。

【０１２５】 #VRML V2.0 utf8 PROTO Sony_AudioClip [ exposedField SFString descriptiton ″″ exposedField SFBool loop FALSE exposedField SFFloat pitch 1.0 exposedField SFTime startTime 0 exposedField SFTime stopTime 0 exposedField MFString url [] eventOut SFTime duration_changed eventOut SFBool isActive field MFInt32 eventTracks [] eventOut MFInt32 musicData field MFNode trackControls [] ]{ AudioClip { description IS description loop IS loop pitch IS pitch startTime IS startTime stopTime IS stopTime url IS url duration_changed IS duration_changed isActive IS isActive } } # Sony_AudioClipノードが発行するイベントを # キーデータとして受け取り、指定したトラックの # データのみを抽出するノード PROTO Sony_MusicNoteInterpolator [ eventIn MFInt32 musicData # Sony_AudioClipのデータを受け取るフィールド exposedField SFInt32 track -1 # 着目するトラックを指定するフィールド exposedField MFInt32 key [] # 音データの範囲を指定するフィールド exposedField MFloat keyValue [] # 音データを射影する領域を指定するフィールド eventOut SFFloat value_changed # 出力データが発行されるフィールド ] { } #################################################3 DEF S_MNI_POS Sony_MusicNoteInterpolator { track 0 # 0番トラックのデータを抽出し、 key [ 48 60 ] # (C4,C5)の音の範囲を keyValue [ 0 1 ] # 0から1の間の位置にマッピングする } DEF PositionIP PositionInterpolator { key [ 0 1 ] # 0から1の間の値を、 keyValue [ -4 0 0, 4 0 0 ] # (-4,0,0)から(4,0,0)の間の位置にマッピングする } # C4 の音が鳴った場合に、物体が配置される場所を示すマーカ DEF SCALE_LOW Transform { translation -4 0 0 children [ Shape { geometry Cone { } appearance Appearance { material Material { diffuseColor 1 0 0 } } } ] } # C5 の音が鳴った場合に、物体が配置される場所を示すマーカ DEF SCALE_HIGH Transform { translation 4 0 0 children [ Shape { geometry Cone { } appearance Appearance { material Material { diffuseColor 0 1 0 } } } ] } # ここで示すオブジェクトが、上記の２つのマーカの間を # 音に合わせて移動する。 DEF CONE_OBJ Transform { children [ Sound { source DEF S_AC Sony_AudioClip { loop TRUE url ″music.mid″ eventTracks [ 0 ] # 0 番のトラックに着目する } } Transform { translation 0 .5 0 children [ Shape { geometry Sphere { radius 0.5 } appearance Appearance { material Material { diffuseColor 0.5 0 0 } } } ] } Transform { translation 0 0 0 children [ Shape { geometry Cone { bottomRadius 0.5 } appearance Appearance { material DEF CONE_MATERIAL Material { } } } ] } # Sony_AudioClip から発行された音のデータを、 # Sony_MusicNoteInterpolator に渡す。 ROUTE S_AC.musicData TO S_NI_POS.musicData # Sony_MusicNoteInterpolator が、指示通りに # 音データを位置データに変換する。 ROUTE S_MNI_POS.value_changed TO PositionIP.set_fraction # 物体の位置を変化させる。 ROUTE PositionIP.value_changed TO CONE_OBJ.set_translation # 以上

【０１２６】図１９は、上記例における各ノードの関係
を表している。この例においては、ブラウザ５７が、mu
sic.midファイルに記録されているトラック０を再生さ
せる。このトラック０には、上述したように、Ｃ４の音
からＣ５の音までが記録されており、これが発音され
る。

【０１２７】Sony_AudioClipノードは、MFFInt32 event
Tracksフィールドにおいて、music.midファイルのトラ
ック０を音源として指定し、そのデータをイベントして
取り込む。これにより、Sony_AudioClipノードは、Ｃ４
からＣ５までの音が発音されるタイミングを知ることが
できる。そして、その発音に間に合うタイミングで、以
下の処理が行われる。

【０１２８】すなわち、MFInt32 musicDataフィールド
からeventTracksで指定されているトラックのデータ
が、Sony_MusicNoteInterpolatorノードのMFInt32 musi
cDataフィールドに出力される。Sony_MusicNoteIntrpol
atorノードは、そのSFInt32 trackフィールドでしてい
る１つの注目トラック（いまの場合トラック０）のデー
タを、入力された複数のトラックのデータの中から抽出
する。

【０１２９】MFInt32 keyフィールドには、この例の場
合、Ｃ４（低い「ド」）と、Ｃ５（高い「ド」）が記憶
される。そして、MFFloat keyValueフィールドには、Ｃ
４の音とＣ５の音それぞれの値が保持される。そして、
SFFloat value_changedフィールドは、Ｃ４の音に対応
する値とＣ５の音に対応する値の間の音高の値を補間
し、PositionInterpolatorノードのPositionIP.set_fra
ctionフィールドに出力する。このノードのkeyフィール
ドには、Ｃ４の音に対応する位置のデータとＣ５の音に
対応する位置のデータが保持され、keyValueフィールド
には、Ｃ４の音に対応する位置とＣ５の音に対応する位
置の数値が保持される。PositionIP.value_changedフィ
ールドは、Ｃ４の音に対応する位置とＣ５の音に対応す
る位置の間の位置データを、CONE_OBJ Tranformノード
のCONE_OBJ.set_translationフィールドに出力する。CO
NE_OBJ Tranformノードは、入力された位置に物体Ｅを
表示させる。

【０１３０】なお、SCALE_LAW Tranformノードは、マー
カＤ₁を所定の位置に配置させ、SCALE_HIGE Transform
ノードは、マーカＤ₂を所定の位置に配置させる。

【０１３１】以上のようにして、ブラウザ５７がＣ４か
らＣ５の音を発音するタイミングに同期して、物体Ｅが
マーカＤ₁の位置からマーカＤ₂の位置に、図１６乃至図
１８に示すように、順次移動する。

【０１３２】図２０は、音に画像を同期させる他の例を
表している。この例においては、ブラウザ５７が発音す
る音に同期して、各アバタが踊るようになされている。
このような音と画像の同期も、上述したSony_AudioClip
ノードを使って、容易に実現することができる。

【０１３３】このように３次元オブジェクトは、VRMLフ
ァイルに基づいてイベントドリブンで描画されるので、
予め算出されたその描画処理時間を考慮して、タイムド
リブンで処理される楽音発生タイミングよりも所定時間
だけ前の時点で、Sony_AudioClipノードから楽音のイベ
ントを発生させることで、３次元オブジェクトの挙動
を、楽音に同期させることができる。

【０１３４】なお、上記各種の処理を行うコンピュータ
プログラムは、ＣＤ−Ｒ、ＣＤ−ＲＯＭ、またはフロッ
ピーディスクなどの記録媒体を介してユーザに提供した
り、ネットワークなどの提供媒体を介してユーザに提供
し、必要に応じて内蔵するRAMやハードディスクなどに
記録して利用させるようにしてもよい。

【０１３５】

【発明の効果】以上の如く、請求項１に記載の情報処理
装置、請求項２に記載の情報処理方法、および請求項３
に記載の提供媒体によれば、音源のデータをイベントと
して出力し、その出力されたイベントに関連して、オブ
ジェクトの画像を変化させるようにしたので、音に画像
を同期させることが可能となる。。

【図面の簡単な説明】

【図１】３次元仮想空間を表す情報を統一的に扱うネッ
トワークシステムの構成例を示す図である。

【図２】図１のクライアント端末５の構成例を示すブロ
ック図である。

【図３】図１および図２に示したクライアント端末５に
おいて動作するコンテンツ作成用ツール５０の構成を例
示する図である。

【図４】図３に示したコンテンツ作成用ツール５０が表
示装置３５に表示するメニュー画面の例を示す図であ
る。

【図５】図４のコンダクタウィンドウ７０を表示装置３
５に表示した例を示す図である。

【図６】３Ｄビュウウィンドウ７１、ルートウィンドウ
７３、およびシーングラフウィンドウ７６を並べて表示
装置３５に表示した例を示す図である。

【図７】ノートデータのフォーマットを説明する図であ
る。

【図８】MIDIファイルを説明する図である。

【図９】MIDIファイルにおける経過時間を説明する図で
ある。

【図１０】MIDIメッセージのステータスバイトとデータ
バイトを説明する図である。

【図１１】MIDIメッセージの種類を説明する図である。

【図１２】音に同期してボックスの位置と色を変化させ
る例を示す図である。

【図１３】音に同期してボックスの位置と色を変化させ
る例を示す図である。

【図１４】音に同期してボックスの位置と色を変化させ
る例を示す図である。

【図１５】図１２乃至１４の例を実現するノードのイベ
ントの授受を説明する図である。

【図１６】音に同期して物体が移動する例を示す図であ
る。

【図１７】音に同期して物体が移動する例を示す図であ
る。

【図１８】音に同期して物体が移動する例を示す図であ
る。

【図１９】図１６乃至図１８に示す例を実現するノード
のイベントの授受を説明する図である。

【図２０】音に同期してアバタが踊る例を示す図であ
る。

【図２１】従来の音と画像の同期を説明する図である。

【符号の説明】

１企業内ネットワーク，２インターネット，３
プロバイダ，４ISDN，５クライアント端末，
３１ CPU，３２ ROM，３３ RAM，３４通信装
置，３５表示装置，３６スピーカ，３７イ
ンタフェース，３８入力装置，３８ａキーボー
ド，３８ｂマウス，３９記憶装置，５１ユ
ーザインタフェース部，５２編集ツール，５３
シーングラフデータベース，５４作業ツール，５
６スクリプト作成部，５７ブラウザ，５２１
モデル編集ツール，５２２ルーティング編集ツー
ル，５２３シーングラフ編集ツール，５２４テ
キストエディタ，５２５テンプレート作成ツール，
５２６キーフレーム編集ツール

───────────────────────────────────────────────────── フロントページの続き (72)発明者永原潤一東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者唐澤英了東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者荒川恵美東京都品川区北品川６丁目７番35号ソニー株式会社内

Claims

【特許請求の範囲】

【請求項１】 VRMLで表現された３次元仮想現実空間を
提供する情報処理装置において、音源を指定する指定手段と、前記指定手段により指定された音源のデータをイベント
として出力する出力手段と、所定のオブジェクトの画像を表示させる表示制御手段
と、前記出力手段より出力されたイベントに関連して、前記
オブジェクトの画像を変化させる変化手段とを備えるこ
とを特徴とする情報処理装置。
【請求項２】 VRMLで表現された３次元仮想現実空間を
提供する情報処理装置の情報処理方法において、音源を指定する指定ステップと、前記指定ステップで指定された音源のデータをイベント
として出力する出力ステップと、所定のオブジェクトの画像を表示させる表示制御ステッ
プと、前記出力ステップで出力されたイベントに関連して、前
記オブジェクトの画像を変化させる変化ステップとを備
えることを特徴とする情報処理方法。
【請求項３】 VRMLで表現された３次元仮想現実空間を
提供する情報処理装置に用いるコンピュータプログラム
であって、音源を指定する指定ステップと、前記指定ステップで指定された音源のデータをイベント
として出力する出力ステップと、所定のオブジェクトの画像を表示させる表示制御ステッ
プと、前記出力ステップで出力されたイベントに関連して、前
記オブジェクトの画像を変化させる変化ステップとを備
えるコンピュータプログラムを提供することを特徴とす
る提供媒体。