JPH08212388A - 三次元画像処理装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、少ない工数でＣＧと音とを関連付
け、その関連に基づいて、リアルタイムにＣＧと音を生
成する三次元画像処理装置の提供を目的とする。 【構成】ＣＧデータを格納するＣＧデータ格納手段１０
と、音データを格納する音データ格納手段１１と、ＣＧ
データからＣＧを生成して出力するＣＧ出力手段１３
と、音データから音を生成して出力する音出力手段１４
と、ＣＧ及び音の生成ルールを格納するルール格納手段
１２と、ルール格納手段１２の格納する生成ルールに従
って、ＣＧ及び音の生成処理を制御する同期制御手段２
０とを備えるように構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ＣＧと音とを関連付
け、その関連に基づいて、ＣＧと音とを生成する三次元
画像処理装置に関し、特に、ＣＧと音との関連付けを少
ない工数でもって開発できるようにするとともに、リア
ルタイムにＣＧと音とを生成できるようにする三次元画
像処理装置に関する。

【０００２】最近では、コンピュータグラフィックス
（ＣＧ）は、テレビや映画等に限られずに、会社のＰＲ
や教育用のビデオやゲーム等、一般の人々が用いるよう
な様々な用途で用いられるようになってきた。

【０００３】このような用途では、その効果を高めるた
めに、通常、ＣＧは、映像だけではなく、それと合った
音楽とともに使用されることになる。また、逆に、音楽
に合ったイメージのＣＧを作成することもある。このよ
うなＣＧと音楽による作品の作成が盛んになるにつれ、
それらをできるだけ少ない工数で作成できるようにする
とともに、ＣＧと音楽とをリアルタイムに生成できるよ
うにする必要が出てきた。

【０００４】

【従来の技術】従来では、ＣＧと音とを関連付けて生成
していく場合、予めＣＧの絵コンテや、音楽の譜面から
タイムチャートを作成し、ＣＧと音楽とが希望通りのタ
イミングで生成されるようにと綿密にスケジューリング
を行った上で、ＣＧと音楽をそれぞれ作成して、最終的
にコマどりしたＣＧ画像と音楽とを合わせるという方法
を採っていた。

【０００５】すなわち、従来では、手作業でもってＣＧ
と音楽とを綿密にスケジューリングしていくことで、Ｃ
Ｇと音楽とを関連付けていくという方法を採っているこ
とから、その開発に非常な工数がかかるという問題点が
あるとともに、ＣＧの絵のストーリーや音楽のテンポを
変えるといったような修正の必要があるときには、もう
一度最初から作り直さなくてはならないという問題点が
あった。

【０００６】そして、従来では、最終的にコマどりした
ＣＧ画像と音楽とを合わせるという方法に従ってＣＧと
音楽とを生成するというように、リアルタイムにＣＧと
音とを生成することができないことから、予め決まった
ストーリーの用途にしか使えないという問題点があり、
これから、最近需要の高まっているマルチメディア製品
等のようなインタラクティブ性の要求されるものには使
いにくいという問題点があった。

【０００７】本発明はかかる事情に鑑みてなされたもの
であって、少ない工数でもってＣＧと音とを関連付け、
その関連に基づいて、リアルタイムにＣＧと音とを生成
できるようにする新たな三次元画像処理装置の提供を目
的とする。

【０００８】

【課題を解決するための手段】図１に本発明の原理構成
を図示する。図中、１は本発明により構成される三次元
画像処理装置であって、ＣＧと音とを関連付け、その関
連に基づいて、リアルタイムにＣＧと音とを生成するも
のである。

【０００９】この三次元画像処理装置１は、ＣＧデータ
格納手段１０と、音データ格納手段１１と、ルール格納
手段１２と、ＣＧ出力手段１３と、音出力手段１４と、
イベント処理手段１５と、世界データ格納手段１６と、
立体音源生成手段１７と、ディスプレイ１８と、スピー
カ１９と、同期制御手段２０とを備える。

【００１０】このＣＧデータ格納手段１０は、ＣＧデー
タを格納する。音データ格納手段１１は、音データを格
納する。ルール格納手段１２は、ＣＧと音の関係等を記
述するＣＧ及び音の生成ルールを格納する。ＣＧ出力手
段１３は、ＣＧデータからＣＧを生成して出力する。音
出力手段１４は、音データから音を生成して出力する。
イベント処理手段１５は、キーボードやマウス等のイベ
ントを処理する。世界データ格納手段１６は、ＣＧと音
のカレントデータを格納する。立体音源生成手段１７
は、三次元的な位置を持つ仮想的な音源による効果を生
成する。ディスプレイ１８は、ＣＧ出力手段１３の生成
するＣＧを表示する。スピーカ１９は、音出力手段１４
の生成する音を鳴らす。同期制御手段２０は、ルール格
納手段１２の格納する生成ルールに従って、ＣＧ及び音
の生成処理を制御する。

【００１１】請求項２記載の本発明では、ルール格納手
段１２は、ＣＧと音の開始時刻及び終了時刻を記述する
生成ルールを格納する。請求項３記載の本発明では、ル
ール格納手段１２は、必ずＣＧを表示しなければならな
い時刻を記述する生成ルールを格納する。

【００１２】請求項４記載の本発明では、ルール格納手
段１２は、音の開始時刻及び終了時刻を記述する生成ル
ールを格納する。請求項５記載の本発明では、ルール格
納手段１２は、音の開始時刻及び終了時刻を記述する生
成ルールを格納する。

【００１３】請求項６記載の本発明では、ルール格納手
段１２は、ＣＧの開始時刻及び終了時刻を記述する生成
ルールを格納する。請求項７記載の本発明では、ルール
格納手段１２は、ＣＧの開始時刻及び終了時刻を記述す
る生成ルールを格納する。

【００１４】請求項８記載の本発明では、ルール格納手
段１２は、音特徴を記述する生成ルールを格納する。請
求項９記載の本発明では、ルール格納手段１２は、ＣＧ
特徴を記述する生成ルールを格納する。

【００１５】請求項１０記載の本発明では、ルール格納
手段１２は、音データの優先度を記述する生成ルールを
格納する。請求項１１記載の本発明では、ルール格納手
段１２は、音データと、その音データに合わせるＣＧデ
ータとの対応関係を記述する生成ルールを格納する。

【００１６】請求項１２記載の本発明では、ルール格納
手段１２は、ＣＧデータと、そのＣＧデータに合わせる
音データとの対応関係を記述する生成ルールを格納す
る。請求項１３記載の本発明では、ルール格納手段１２
は、イベント対象のＣＧと、経過時間との対応関係を記
述する生成ルールを格納する。

【００１７】請求項１４記載の本発明では、ルール格納
手段１２は、トリガとなるＣＧの属性と、反応となる音
の属性との対応関係を記述する生成ルールを格納する。
請求項１５記載の本発明では、ルール格納手段１２は、
トリガとなる音の属性と、反応となるＣＧの属性との対
応関係を記述する生成ルールを格納する。

【００１８】請求項１６記載の本発明では、ルール格納
手段１２は、トリガ条件と、反応となるＣＧ及び／又は
音の属性との対応関係を記述する生成ルールを格納す
る。請求項１７記載の本発明では、ルール格納手段１２
は、音源の生成方法及び視聴者位置を記述する生成ルー
ルを格納する。

【００１９】

【作用】本発明では、同期制御手段２０は、基本的に
は、ＣＧデータ格納手段１０から読み出すＣＧデータ
と、音データ格納手段１１から読み出す音データとを、
ルール格納手段１２の格納する生成ルールに従って関係
付けながら、前者をＣＧ出力手段１３に、後者を音出力
手段１４に出力する同期制御処理を行う。

【００２０】この同期制御手段２０の処理について具体
的に説明すると、請求項２記載の本発明では、同期制御
手段２０は、ルール格納手段１２に格納される生成ルー
ルの記述するＣＧと音の開始時刻及び終了時刻に従っ
て、ＣＧ及び音を生成するよう制御する。

【００２１】また、請求項３記載の本発明では、同期制
御手段２０は、ＣＧの表示時間間隔の調整を制御するこ
とで、ルール格納手段１２に格納される生成ルールの記
述する必ずＣＧを表示しなければならない時刻のＣＧを
飛ばすことなく表示するよう制御する。

【００２２】また、請求項４記載の本発明では、同期制
御手段２０は、ルール格納手段１２に格納される生成ル
ールの記述する音の開始時刻及び終了時刻の指定する生
成時間と、生成対象の音データの持つ継続時間とが異な
るときには、両者が一致するようにと音のテンポを変更
しつつ、その開始時刻及び終了時刻に従って音を生成す
るよう制御する。

【００２３】また、請求項５記載の本発明では、同期制
御手段２０は、ルール格納手段１２に格納される生成ル
ールの記述する音の開始時刻及び終了時刻の指定する生
成時間と、生成対象の音データの持つ継続時間とが異な
るときには、途中で止めたり、あるいは繰り返す形態を
とりつつ、その開始時刻及び終了時刻に従って音を生成
するよう制御する。

【００２４】また、請求項６記載の本発明では、同期制
御手段２０は、ルール格納手段１２に格納される生成ル
ールの記述するＣＧの開始時刻及び終了時刻の指定する
生成時間と、生成対象のＣＧデータの持つ継続時間とが
異なるときには、両者が一致するようにとＣＧのタイム
スケールを変更しつつ、その開始時刻及び終了時刻に従
ってＣＧを生成するよう制御する。

【００２５】また、請求項７記載の本発明では、同期制
御手段２０は、ルール格納手段１２に格納される生成ル
ールの記述するＣＧの開始時刻及び終了時刻の指定する
生成時間と、生成対象のＣＧデータの持つ継続時間とが
異なるときには、途中で止めたり、あるいは繰り返す形
態をとりつつ、その開始時刻及び終了時刻に従ってＣＧ
を生成するよう制御する。

【００２６】また、請求項８記載の本発明では、同期制
御手段２０は、ルール格納手段１２に格納される生成ル
ールの記述する音特徴を持つ音を生成するよう制御す
る。また、請求項９記載の本発明では、同期制御手段２
０は、ルール格納手段１２に格納される生成ルールの記
述するＣＧ特徴を持つＣＧを生成するよう制御する。

【００２７】また、請求項１０記載の本発明では、同期
制御手段２０は、ルール格納手段１２に格納される生成
ルールに従ってＣＧ及び音を生成するよう制御するとき
にあって、複数の音が重なるときには、優先度の高い音
の音量が相対的に大きくなるよう制御する。

【００２８】また、請求項１１記載の本発明では、同期
制御手段２０は、ルール格納手段１２に格納される生成
ルールに従ってＣＧ及び音を生成するよう制御するとき
にあって、その音に合わせるＣＧがあるときには、タイ
ムスケールを変えたり、あるいは途中で止めたり、ある
いは繰り返す形態をとりつつ、そのＣＧを生成するよう
制御する。

【００２９】また、請求項１２記載の本発明では、同期
制御手段２０は、ルール格納手段１２に格納される生成
ルールに従ってＣＧ及び音を生成するよう制御するとき
にあって、そのＣＧに合わせる音があるときには、テン
ポを変えたり、あるいは途中で止めたり、あるいは繰り
返す形態をとりつつ、その音を生成するよう制御する。

【００３０】また、請求項１３記載の本発明では、同期
制御手段２０は、ルール格納手段１２に格納される生成
ルールに従ってＣＧ及び音を生成するよう制御するとき
にあって、イベント処理手段１５が生成ルールの記述す
るイベント対象ＣＧに対してイベントを処理するときに
は、生成ルールの記述する経過時間だけ時間を経過させ
ながらＣＧ及び音を生成するよう制御する。

【００３１】また、請求項１４記載の本発明では、同期
制御手段２０は、ルール格納手段１２に格納される生成
ルールに従ってＣＧ及び音を生成するよう制御するとき
にあって、トリガとなるＣＧの属性が生成されるときに
は、反応となる音の属性を生成するよう制御する。

【００３２】また、請求項１５記載の本発明では、同期
制御手段２０は、ルール格納手段１２に格納される生成
ルールに従ってＣＧ及び音を生成するよう制御するとき
にあって、トリガとなる音の属性が生成されるときに
は、反応となるＣＧの属性を生成するよう制御する。

【００３３】また、請求項１６記載の本発明では、同期
制御手段２０は、ルール格納手段１２に格納される生成
ルールに従ってＣＧ及び音を生成するよう制御するとき
にあって、例えば流速場が変化するといったようなトリ
ガ条件が成立するときには、反応となるＣＧ及び／又は
音の属性を生成するよう制御する。

【００３４】また、請求項１７記載の本発明では、同期
制御手段２０は、ルール格納手段１２に格納される生成
ルールに従ってＣＧ及び音を生成するよう制御するとき
にあって、生成ルールの記述する音源生成方法及び視聴
者位置に従って立体音源生成手段１７に与えるパラメー
タを決定して与えていくことで、ＣＧと連動した三次元
な位置を持つ音源を生成するよう制御する。

【００３５】このように、本発明では、ＣＧと音の関係
をルールとして記述する構成を採ることから、相互の時
間的な関係を簡単に記述でき、更に、時間的な関係ばか
りでなく、ＣＧと音の属性の関係等も記述可能である。
そして、設定後の修正もルール記述の変更のみで対処で
きることから、非常に簡単に修正できる。

【００３６】これにより、同期のための綿密な設計や、
ＣＧのコマどり等の従来工程が不要となって、従来より
も飛躍的に作成工程を短縮できるようになる。また、こ
れまで実現できなかったＣＧと音の属性や流速等の他の
属性との関連付けにより新たな効果を生み出すことが可
能になる。更に、リアルタイムで関係付けができるの
で、インタラクティブな用途にも適している。

【００３７】

【実施例】以下、実施例に従って本発明を詳細に説明す
る。図１で説明したように、本発明では、ルール格納手
段１２にＣＧ及び音の生成ルールを格納する構成を採っ
て、同期制御手段２０が、ＣＧデータ格納手段１０から
読み出すＣＧデータと、音データ格納手段１１から読み
出す音データとを、ルール格納手段１２の格納する生成
ルールに従って関係付けながら、前者をＣＧ出力手段１
３に、後者を音出力手段１４に出力することで、リアル
タイムにＣＧと音とを生成することを実現するものであ
る。

【００３８】図２に、同期制御手段２０の実行する処理
フローの一実施例を図示する。この図２（ａ）に示すよ
うに、同期制御手段２０は、ルール格納手段１２に格納
される生成ルールの内容を予め解釈して、必要な情報を
そろえる等の処理を行う前処理（必要に応じて行う）
と、ルール格納手段１２に格納される生成ルールを解釈
しながら、それに応じた処理を行う基本処理という２段
階の処理構成を採る。

【００３９】図２（ｂ）に示す処理フローは、この基本
処理の処理フローであって、同期制御手段２０は、基本
処理に入ると、先ず最初に、ステップ１（ｓ１）で、ル
ール格納手段１２の生成ルールを読み込み、続いて、ス
テップ２（ｓ２）で、読み込んだ生成ルールの中の未処
理のものの中から１つを選択する。

【００４０】続いて、ステップ３（ｓ３）で、選択した
生成ルールの適用条件が成立しているのか否かを判断し
て、適用条件が成立していることを判断するときには、
ステップ４（ｓ４）に進んで、生成ルールに従って、Ｃ
Ｇや音楽の出力開始処理や、出力終了処理や、変更処理
等を行う。一方、適用条件が成立していないことを判断
するときには、このステップ４（ｓ４）の処理を省略す
る。

【００４１】続いて、ステップ５（ｓ５）で、読み込ん
だ全ての生成ルールについて処理を終了したのか否かを
判断して、未処理の生成ルールが残されていることを判
断するときには、ステップ２（ｓ２）に戻り、全ての生
成ルールの処理終了を判断するときには、ステップ６
（ｓ６）に進んで、時刻を更新する。続いて、ステップ
７（ｓ７）で、システム終了か否かを判断して、システ
ム終了であることを判断するときには、処理を終了し、
システム終了でないことを判断するときには、ステップ
１（ｓ１）に戻っていく。

【００４２】このようにして、同期制御手段２０は、基
本処理に入ると、ルール格納手段１２に格納される生成
ルールに従って、ＣＧと音とを関連付けつつリアルタイ
ムに生成していく処理を実行するのである。

【００４３】次に、請求項２記載の本発明を実施例に従
って詳細に説明する。図３に、請求項２記載の本発明を
実現するために用意する生成ルールの一実施例を図示す
る。

【００４４】この図３に示すように、請求項２記載の本
発明を実現するためには、生成対象となるＣＧデータや
音データの「データ名」と、そのデータ名のＣＧデータ
や音データが既に開始されているのか否かを示す「開始
フラグ（開始されているときにはオン、開始されていな
いときにはオフを示す）」と、そのデータ名のＣＧデー
タや音データが既に終了されているのか否かを示す「終
了フラグ（終了されているときにはオン、終了されてい
ないときにはオフを示す）」と、そのデータ名のＣＧデ
ータや音データの「開始時刻」と、そのデータ名のＣＧ
データや音データの「終了時刻」とを組として記述する
生成ルールを用意する。

【００４５】そして、この生成ルールは、請求項４ない
し請求項７記載の本発明を実現するときには、これらに
加えて、そのデータ名の音データのテンポや、そのデー
タ名のＣＧデータのタイムスケールの指定値を示す「テ
ンポ又はタイムスケール」と、そのデータ名の音データ
やＣＧデータの「繰り返し回数又は中断時刻」とを組と
して記述する。

【００４６】この図３では、音データ１を１０秒から２
０秒の間生成し、ＣＧデータ１を２５秒から３０秒の間
生成するという生成ルールを示してある。ここで、「テ
ンポ又はタイムスケール」と「繰り返し回数又は中断時
刻」とは、請求項２記載の本発明では指定されることは
なく、音データ１やＣＧデータ１の定義するテンポやタ
イムスケールや繰り返し回数そのものが使用されること
になる。

【００４７】図４に、請求項２記載の本発明を実現する
ために実行する同期制御手段２０の処理フローの一実施
例を図示する。同期制御手段２０は、請求項２記載の本
発明を実現する場合には、この処理フローに示すよう
に、上述した基本処理のステップ３（ｓ３）に入ると、
基本処理のステップ２（ｓ２）で選択した生成ルールの
持つ開始時刻／終了時刻／開始フラグ／終了フラグを参
照することで、 「開始時刻≦現在時刻＜終了時刻で、かつ、開始済みで
ないデータ」 か、 「現在時刻≧終了時刻で、かつ、終了済みでないデー
タ」 のいずれかに該当するのか否かを判断する。

【００４８】そして、この判断処理に従って、前者に該
当することを判断するときには、続いて、基本処理のス
テップ４（ｓ４）で、基本処理のステップ２（ｓ２）で
選択した生成ルールの持つＣＧデータ／音データの生成
を開始させるとともに、開始フラグに開始済みのオンを
設定し、後者に該当することを判断するときには、続い
て、基本処理のステップ４（ｓ４）で、基本処理のステ
ップ２（ｓ２）で選択した生成ルールの持つＣＧデータ
／音データの生成を終了させるとともに、終了フラグに
終了済みのオンを設定する。

【００４９】このようにして、請求項２記載の本発明で
は、生成ルールの指定する時刻になったら、ＣＧや音の
動きを開始し終了する構成を採るのである。次に、請求
項３記載の本発明を実施例に従って詳細に説明する。

【００５０】図５に、請求項３記載の本発明を実現する
ために用意する生成ルールの一実施例を図示する。この
図５に示すように、請求項３記載の本発明を実現するた
めには、必ずＣＧを表示しなければならない時刻を記述
する生成ルールを用意する。この図５では、１０秒、２
０秒、３０秒の時刻のＣＧを必ず表示するという生成ル
ールを示してある。

【００５１】この請求項３記載の本発明を実現するとき
には、同期制御手段２０は、ＣＧ出力手段１３に対し
て、生成ルールの記述する時刻のＣＧを必ず表示させる
ことを指示する。この指示を受け取ると、ＣＧ出力手段
１３は、図６に示す処理フローに従って表示時間間隔を
調整することで、生成ルールの記述する時刻のＣＧが必
ず表示されるようにと処理する。

【００５２】すなわち、ＣＧ出力手段１３は、同期制御
手段２０からの指示を受け取ると、図６の処理フローに
示すように、先ず最初に、ステップ１（ｃ１）で、同期
制御手段２０からＣＧデータを受け取り、続くステップ
２（ｃ２）で、現在時刻ｔとカウンタｉとにゼロ値を設
定し、続くステップ３（ｃ３）で、ＣＧ映像の処理時間
間隔ｄｔに初期値を設定し、続くステップ４（ｃ４）
で、閾値ｖに処理時間間隔ｄｔよりも十分小さな正の値
を設定する。ここで、これから以降の現在時刻は、ステ
ップ２（ｃ２）で設定した初期値からの経過時間で表さ
れる。また、処理時間間隔ｄｔは、ＣＧ映像の平均的な
ポリゴン数等から求める。

【００５３】続いて、ステップ５（ｃ５）で、ルール格
納手段１２から必ず表示しなければない時刻情報Ｔi(Ｔ
i+1 ≧Ｔi)を受け取る。続いて、ステップ６（ｃ６）
で、この時点の現在時刻を測定して現在時刻ｔ’に設定
する。続いて、ステップ７（ｃ７）で、「ｔ＋ｄｔ＋ｖ
≧Ｔj 」を満足する時刻Ｔj を探す。このとき、複数あ
る場合には、最も大きい値のＴj を選ぶ。

【００５４】続いて、ステップ８（ｃ８）で、ステップ
７（ｃ７）で時刻Ｔj を特定できたのか否かを判断し
て、特定できたことを判断するときには、ステップ９
（ｃ９）に進んで、ＣＧデータを使って時刻Ｔj のＣＧ
映像を作成し、続くステップ１０（ｃ10）で、現在時刻
ｔが表示時刻となる時刻Ｔj に到達するのを待つ。一
方、ステップ８（ｃ８）で特定できないことを判断する
ときには、表示間隔時間を調整する必要がないので、ス
テップ１１（ｃ11）に進んで、ＣＧデータを使って時刻
（ｔ'+ｄｔ）のＣＧ映像を作成し、続くステップ１２
（ｃ12）で、現在時刻ｔが表示時刻となる時刻（ｔ'+ｄ
ｔ）に到達するのを待つ。

【００５５】ステップ１０（ｃ10）とステップ１２（ｃ
12）とで、現在時刻ｔが表示時刻に到達することを判断
すると、ステップ１３（ｃ13）に進んで、作成したＣＧ
映像を表示し、続くステップ１４（ｃ14）で、「ｄｔ＝
ｔ−ｔ’」を算出して、この値に従って処理時間間隔ｄ
ｔを更新する。そして、続くステップ１５（ｃ15）で、
現在時刻ｔが終了時刻に到達したのか否かを判断して、
到達したことを判断するときには、処理を終了し、未到
達を判断するときには、ステップ６（ｃ６）に戻ってい
く。ここで、ステップ１４（ｃ14）の処理を省略するこ
とも可能である。

【００５６】このようにして、請求項３記載の本発明で
は、ＣＧの表示時間間隔を調整することで、生成ルール
の指定する時刻になったら、その時刻のＣＧを必ず表示
する構成を採ることを特徴とする。これにより、例え
ば、ボールが床にバウンドしていくようなＣＧアニメー
ションを生成する場合に、バウンドする時点のＣＧを飛
ばすことなく表示できるようになる。

【００５７】次に、請求項４ないし７記載の本発明を実
施例に従って詳細に説明する。この請求項４ないし請求
項７記載の本発明を実現するためには、図３で説明した
ように、生成対象となるＣＧデータや音データの「デー
タ名」と、そのデータ名のＣＧデータや音データが既に
開始されているのか否かを示す「開始フラグ」と、その
データ名のＣＧデータや音データが既に終了されている
のか否かを示す「終了フラグ」と、そのデータ名のＣＧ
データや音データの「開始時刻」と、そのデータ名のＣ
Ｇデータや音データの「終了時刻」と、そのデータ名の
音データのテンポや、そのデータ名のＣＧデータのタイ
ムスケールの指定値を示す「テンポ又はタイムスケー
ル」と、そのデータ名の音データやＣＧデータの「繰り
返し回数又は中断時刻」とを組として記述する生成ルー
ルを用意することになる。

【００５８】図７に、請求項４記載の本発明を実現する
ために上述の前処理で実行する同期制御手段２０の処理
フローの一実施例を図示する。同期制御手段２０は、請
求項４記載の本発明を実現する場合には、上述した前処
理に入ると、この処理フローに示すように、先ず最初
に、ステップ１（ｊ１）で、ルール格納手段１２から生
成ルールを読み込み、続いて、ステップ２（ｊ２）で、
読み込んだ生成ルールの記述する音データを読み込む。
続いて、ステップ３（ｊ３）で、読み込んだ生成ルール
の中の未処理のものの中から１つを選択する。

【００５９】続いて、ステップ４（ｊ４）で、選択した
生成ルールの記述する音データ（ステップ３で読み込ん
でいる）の持つそれ自身の長さと、生成ルールの記述す
る音の長さ（開始時刻と終了時刻との差分値から求まる
演奏時間）とが一致するのか否かを判断して、一致しな
いことを判断するときは、ステップ５（ｊ５）に進ん
で、

【００６０】

【数１】

【００６１】に従って、選択した生成ルールの記述する
音データの持つテンポの修正値を決定して、生成ルール
の「テンポ又はタイムスケール」に登録する。一方、一
致することを判断するときには、このステップ５（ｊ
５）の処理を省略する。

【００６２】そして、続いて、ステップ６（ｊ６）で、
読み込んだ全ての生成ルールについて処理を終了したの
か否かを判断して、未処理の生成ルールが残されている
ことを判断するときには、ステップ３（ｊ３）に戻り、
全ての生成ルールの処理終了を判断するときには、上述
した図４の処理フローの処理に入っていく。このときに
は、生成ルールの「テンポ又はタイムスケール」に登録
されるテンポ値に従って音を生成していく。

【００６３】このようにして、請求項４記載の本発明で
は、生成ルールの記述する音データの持つそれ自身の長
さと、生成ルールの記述する音の長さとが一致しないと
きには、両者が一致するようにと音のテンポを変更しつ
つ、生成ルールの記述する開始時刻及び終了時刻に従っ
て、音の動きを開始し終了する構成を採ることを特徴と
する。

【００６４】例えば、図３に示す音データ１の生成ルー
ルでは、演奏時間として「終了時刻−開始時刻」から求
まる１０秒間が設定されているが、この音データ１の長
さが２０秒間であるときには、〔数１〕式に従って、音
データ１の持つ本来のテンポの２倍のテンポでもって、
音データ１を高速に生成するように処理するのである。

【００６５】図８に、請求項５記載の本発明を実現する
ために上述の前処理で実行する同期制御手段２０の処理
フローの一実施例を図示する。同期制御手段２０は、請
求項５記載の本発明を実現する場合には、上述した前処
理に入ると、この処理フローに示すように、先ず最初
に、ステップ１（ｊ１）で、ルール格納手段１２から生
成ルールを読み込み、続いて、ステップ２（ｊ２）で、
読み込んだ生成ルールの記述する音データを読み込む。
続いて、ステップ３（ｊ３）で、読み込んだ生成ルール
の中の未処理のものの中から１つを選択する。

【００６６】続いて、ステップ４（ｊ４）で、選択した
生成ルールの記述する音データ（ステップ３で読み込ん
でいる）の持つそれ自身の長さと、生成ルールの記述す
る音の長さ（開始時刻と終了時刻との差分値から求まる
演奏時間）とが一致するのか否かを判断して、一致しな
いことを判断するときは、ステップ５（ｊ５）に進ん
で、音データの持つ長さの方が長過ぎる場合には中断
し、短過ぎる場合には繰り返していく態様に従って、選
択した生成ルールの記述する音データの繰り返し回数又
は中断時刻を決定して、生成ルールの「繰り返し回数又
は中断時刻」に登録する。一方、一致することを判断す
るときには、このステップ５（ｊ５）の処理を省略す
る。

【００６７】そして、続いて、ステップ６（ｊ６）で、
読み込んだ全ての生成ルールについて処理を終了したの
か否かを判断して、未処理の生成ルールが残されている
ことを判断するときには、ステップ３（ｊ３）に戻り、
全ての生成ルールの処理終了を判断するときには、上述
した図４の処理フローの処理に入っていく。このときに
は、生成ルールの「繰り返し回数又は中断時刻」に登録
される繰り返し回数又は中断時刻に従って音を生成して
いく。

【００６８】このようにして、請求項５記載の本発明で
は、生成ルールの記述する音データの持つそれ自身の長
さと、生成ルールの記述する音の長さとが一致しないと
きには、両者が一致するようにと音を途中で中断したり
繰り返したりしながら、生成ルールの記述する開始時刻
及び終了時刻に従って、音の動きを開始し終了する構成
を採ることを特徴とする。

【００６９】例えば、図３に示す音データ１の生成ルー
ルでは、演奏時間として「終了時刻−開始時刻」から求
まる１０秒間が設定されているが、この音データ１の長
さが５秒間であるときには、この音データ１を２回繰り
返して生成するように処理するのである。また、この音
データ１の長さが２０秒間であるときには、この音デー
タ１を開始から１０秒のところで中断しながら生成する
ように処理するのである。

【００７０】図９に、請求項６記載の本発明を実現する
ために上述の前処理で実行する同期制御手段２０の処理
フローの一実施例を図示する。同期制御手段２０は、請
求項６記載の本発明を実現する場合には、上述した前処
理に入ると、この処理フローに示すように、先ず最初
に、ステップ１（ｊ１）で、ルール格納手段１２から生
成ルールを読み込み、続いて、ステップ２（ｊ２）で、
読み込んだ生成ルールの記述するＣＧデータを読み込
む。続いて、ステップ３（ｊ３）で、読み込んだ生成ル
ールの中の未処理のものの中から１つを選択する。

【００７１】続いて、ステップ４（ｊ４）で、選択した
生成ルールの記述するＣＧデータ（ステップ３で読み込
んでいる）の持つそれ自身の長さと、生成ルールの記述
するＣＧの長さ（開始時刻と終了時刻との差分値から求
まる映像時間）とが一致するのか否かを判断して、一致
しないことを判断するときは、ステップ５（ｊ５）に進
んで、

【００７２】

【数２】

【００７３】に従って、選択した生成ルールの記述する
ＣＧデータの持つタイムスケールの修正値を決定して、
生成ルールの「テンポ又はタイムスケール」に登録す
る。一方、一致することを判断するときには、このステ
ップ５（ｊ５）の処理を省略する。

【００７４】そして、続いて、ステップ６（ｊ６）で、
読み込んだ全ての生成ルールについて処理を終了したの
か否かを判断して、未処理の生成ルールが残されている
ことを判断するときには、ステップ３（ｊ３）に戻り、
全ての生成ルールの処理終了を判断するときには、上述
した図４の処理フローの処理に入っていく。このときに
は、生成ルールの「テンポ又はタイムスケール」に登録
されるタイムスケール値に従ってＣＧを生成していく。

【００７５】このようにして、請求項６記載の本発明で
は、生成ルールの記述するＣＧデータの持つそれ自身の
長さと、生成ルールの記述するＣＧの長さとが一致しな
いときには、両者が一致するようにとＣＧのタイムスケ
ールを変更しつつ、生成ルールの記述する開始時刻及び
終了時刻に従って、ＣＧの動きを開始し終了する構成を
採ることを特徴とする。

【００７６】例えば、図３に示すＣＧデータ１の生成ル
ールでは、映像時間として「終了時刻−開始時刻」から
求まる５秒間が設定されているが、このＣＧデータ１の
長さが２０秒間であるときには、〔数２〕式に従って、
ＣＧデータ１の持つ本来のタイムスケールの４倍のタイ
ムスケールでもって、ＣＧデータ１を高速に生成するよ
うに処理するのである。

【００７７】図１０に、請求項７記載の本発明を実現す
るために上述の前処理で実行する同期制御手段２０の処
理フローの一実施例を図示する。同期制御手段２０は、
請求項７記載の本発明を実現する場合には、上述した前
処理に入ると、この処理フローに示すように、先ず最初
に、ステップ１（ｊ１）で、ルール格納手段１２から生
成ルールを読み込み、続いて、ステップ２（ｊ２）で、
読み込んだ生成ルールの記述するＣＧデータを読み込
む。続いて、ステップ３（ｊ３）で、読み込んだ生成ル
ールの中の未処理のものの中から１つを選択する。続い
て、ステップ４（ｊ４）で、選択した生成ルールの記述
するＣＧデータ（ステップ３で読み込んでいる）の持つ
それ自身の長さと、生成ルールの記述するＣＧの長さ
（開始時刻と終了時刻との差分値から求まる映像時間）
とが一致するのか否かを判断して、一致しないことを判
断するときは、ステップ５（ｊ５）に進んで、ＣＧデー
タの持つ長さの方が長過ぎる場合には中断し、短過ぎる
場合には繰り返していく態様に従って、選択した生成ル
ールの記述するＣＧデータの繰り返し回数又は中断時刻
を決定して、生成ルールの「繰り返し回数又は中断時
刻」に登録する。一方、一致することを判断するときに
は、このステップ５（ｊ５）の処理を省略する。

【００７８】そして、続いて、ステップ６（ｊ６）で、
読み込んだ全ての生成ルールについて処理を終了したの
か否かを判断して、未処理の生成ルールが残されている
ことを判断するときには、ステップ３（ｊ３）に戻り、
全ての生成ルールの処理終了を判断するときには、上述
した図４の処理フローの処理に入っていく。このときに
は、生成ルールの「繰り返し回数又は中断時刻」に登録
される繰り返し回数又は中断時刻に従ってＣＧを生成し
ていく。

【００７９】このようにして、請求項７記載の本発明で
は、生成ルールの記述するＣＧデータの持つそれ自身の
長さと、生成ルールの記述するＣＧの長さとが一致しな
いときには、両者が一致するようにとＣＧを途中で中断
したり繰り返したりしながら、生成ルールの記述する開
始時刻及び終了時刻に従って、ＣＧの動きを開始し終了
する構成を採ることを特徴とする。

【００８０】例えば、図３に示すＣＧデータ１の生成ル
ールでは、映像時間として「終了時刻−開始時刻」から
求まる５秒間が設定されているが、このＣＧデータ１の
長さが１０秒間であるときには、このＣＧデータ１を開
始から５秒のところで中断しながら生成するように処理
するのである。また、このＣＧデータ１の長さが１秒間
であるときには、このＣＧデータ１を５回繰り返して生
成するように処理するのである。

【００８１】次に、請求項８及び９記載の本発明を実施
例に従って詳細に説明する。図１１に、請求項８記載の
本発明を実現する場合の音データ格納手段１１の格納デ
ータの一実施例、図１２に、請求項９記載の本発明を実
現する場合のＣＧデータ格納手段１０の格納データの一
実施例を図示する。

【００８２】この図１１に示すように、請求項８記載の
本発明を実現する場合には、音データ格納手段１１は、
音データの持つテンポや長さ等の音データ情報に加え
て、その音データが明るい音（音楽）なのか否かとか、
軽快な音（音楽）なのか否かといったような曲の特徴情
報を管理する。そして、この図１２に示すように、請求
項９記載の本発明を実現する場合には、ＣＧデータ格納
手段１０は、ＣＧデータの持つタイムスケールや長さ等
のＣＧデータ情報に加えて、そのＣＧデータが速いもの
であるのか否かとか、変化の大きいものなのか否かとい
ったようなＣＧ映像の特徴情報を管理する。

【００８３】図１３に、請求項８及び９記載の本発明を
実現するために用意する生成ルールの一実施例を図示す
る。この図１３に示すように、請求項８及び９記載の本
発明を実現するためには、生成対象となるＣＧデータ名
や音データ名の登録エントリーとなる「データ名」と、
そのデータ名に登録されるものがＣＧデータであるのか
音データであるのを示す「種類」と、そのデータ名のＣ
Ｇデータや音データが既に開始されているのか否かを示
す「開始フラグ」と、そのデータ名のＣＧデータや音デ
ータが既に終了されているのか否かを示す「終了フラ
グ」と、そのデータ名のＣＧデータや音データの「開始
時刻」と、そのデータ名のＣＧデータや音データの「終
了時刻」と、「データ名」に登録するＣＧデータや音デ
ータの「特徴」とを組として記述する生成ルールを用意
する。ここで、この請求項８及び９記載の本発明では、
この「データ名」には当初何も登録されず、「データ
名」に登録されるＣＧデータや音データの特徴情報が
「特徴」に登録されている。

【００８４】図１４に、請求項８及び９記載の本発明を
実現するために上述の前処理で実行する同期制御手段２
０の処理フローの一実施例を図示する。同期制御手段２
０は、請求項８及び９記載の本発明を実現する場合に
は、上述した前処理に入ると、この処理フローに示すよ
うに、先ず最初に、ステップ１（ｊ１）で、ルール格納
手段１２から生成ルールを読み込み、続いて、ステップ
２（ｊ２）で、読み込んだ生成ルールの中の未処理のも
のの中から１つを選択する。

【００８５】続いて、ステップ３（ｊ３）で、選択した
生成ルールの「データ名」にデータ名が登録されている
のか否かを判断して、登録されていないことを判断する
ときには、ステップ４（ｊ４）に進んで、選択した生成
ルールの「種類」に音データが登録されているのか否か
をチェックする。一方、登録されていることを判断する
ときには、ステップ７（ｊ７）に進んで、読み込んだ全
ての生成ルールについて処理を終了したのか否かを判断
して、未処理の生成ルールが残されていることを判断す
るときには、ステップ２（ｊ２）に戻っていく。

【００８６】ステップ４（ｊ４）で、選択した生成ルー
ルの「種類」に音データが登録されていることを判断す
るときには、ステップ５（ｊ５）に進んで、選択した生
成ルールの「特徴」に記述される特徴情報を検索キーに
して音データ格納手段１１を検索することで、その特徴
情報に合致する音データを特定して、その音データ名を
生成ルールの「データ名」に書き込む。この検索処理に
あって、複数の音データと合致するときには、例えば、
最初に合致した音データを選択する。また、生成ルール
の「特徴」に複数の特徴情報が記述されるときには、合
致数の最も多い音データを選択する。

【００８７】一方、ステップ４（ｊ４）で、選択した生
成ルールの「種類」に音データが登録されていないこと
を判断するとき、すなわち、ＣＧデータが登録されてい
ることを判断するときには、ステップ６（ｊ６）に進ん
で、選択した生成ルールの「特徴」に記述される特徴情
報を検索キーにしてＣＧデータ格納手段１０を検索する
ことで、その特徴情報に合致するＣＧデータを特定し
て、そのＣＧデータ名を生成ルールの「データ名」に書
き込む。この検索処理にあって、複数のＣＧデータと合
致するときには、例えば、最初に合致したＣＧデータを
選択する。また、生成ルールの「特徴」に複数の特徴情
報が記述されるときには、合致数の最も多いＣＧデータ
を選択する。

【００８８】ステップ５（ｊ５）及びステップ６（ｊ
６）での書込処理を終了すると、ステップ７（ｊ７）に
進んで、読み込んだ全ての生成ルールについて処理を終
了したのか否かを判断して、未処理の生成ルールが残さ
れていることを判断するときには、ステップ２（ｊ２）
に戻り、全ての生成ルールの処理終了を判断するときに
は、上述した図４の処理フローの処理に入って、生成ル
ールの「データ名」に登録される音データ又はＣＧデー
タを生成対象として、音又はＣＧを生成していく。

【００８９】このようにして、請求項８記載の本発明で
は、生成ルールの記述する音特徴を持つ音データを生成
対象にして、生成ルールの記述する開始時刻及び終了時
刻に従って、その音の動きを開始し終了する構成を採る
ことを特徴とする。

【００９０】例えば、図１３に示す音データの生成ルー
ルでは、明るいという特徴（明るい＝１）を記述してい
ることから、音データ格納手段１１に格納される明るい
という特徴を持つ音データ１の音を生成していくように
処理するのである。

【００９１】そして、請求項９記載の本発明では、生成
ルールの記述するＣＧ特徴を持つＣＧデータを生成対象
にして、生成ルールの記述する開始時刻及び終了時刻に
従って、そのＣＧの動きを開始し終了する構成を採るこ
とを特徴とする。

【００９２】例えば、図１３に示すＣＧデータの生成ル
ールでは、速くないという特徴（速い＝０）を記述して
いることから、ＣＧデータ格納手段１０に格納される速
くないという特徴を持つＣＧデータ２のＣＧを生成して
いくように処理するのである。

【００９３】次に、請求項１０記載の本発明を実施例に
従って詳細に説明する。図１５に、請求項１０記載の本
発明を実現するために用意する生成ルールの一実施例を
図示する。

【００９４】この図１５に示すように、請求項１０記載
の本発明を実現するためには、生成対象となる音データ
の「データ名」と、そのデータ名の音データが既に開始
されているのか否かを示す「開始フラグ」と、そのデー
タ名の音データが既に終了されているのか否かを示す
「終了フラグ」と、そのデータ名の音データの「開始時
刻」と、そのデータ名の音データの「終了時刻」と、そ
のデータ名の音データの「優先度」とを組として記述す
る生成ルールを用意する。ここで、この図１５では、音
データ２の方が音データ１よりも高い優先度を持つとい
う生成ルールを示してある。

【００９５】図１６に、請求項１０記載の本発明を実現
するために実行する同期制御手段２０の処理フローの一
実施例を図示する。同期制御手段２０は、請求項１０記
載の本発明を実現する場合には、上述した基本処理のス
テップ３（ｓ３）で、音データの開始か終了を判断する
ことで基本処理のステップ４（ｓ４）に入ると、この処
理フローに示すように、先ず最初に、ステップ１（ｔ
１）で、音データの開始なのか否かを判断して、音デー
タの開始であることを判断するときには、ステップ２
（ｔ２）に進んで、既に出力中の音データがあるのか否
かを判断する。

【００９６】この判断で出力中の音データがあることを
判断するときには、ステップ３（ｔ３）に進んで、生成
ルールの記述する今回開始する音データの持つ優先度
が、出力中の音データの持つ優先度と異なるのか否かを
判断して、異なることを判断するときには、ステップ４
（ｔ４）に進んで、高い優先度の持つ音データの音量が
相対的に大きくなるようにと、出力中の音データと今回
開始する音データの音量を調節した後、続くステップ５
（ｔ５）で、今回開始する音データの音の生成を開始す
る。

【００９７】そして、ステップ２（ｔ２）で、出力中の
音データがないことを判断するときと、ステップ３（ｔ
３）で、２つの音データの持つ優先度が同一であること
を判断するときには、直ちにステップ５（ｔ５）に進ん
で、今回開始する音データの音の生成を開始する。

【００９８】一方、ステップ１（ｔ１）で、音データの
開始でないことを判断するとき、すなわち、音データの
終了であることを判断するときには、ステップ６（ｔ
６）に進んで、その音データの生成を終了させ、続くス
テップ７（ｔ７）で、その終了させた音データの他に出
力中の音データがあるのか否かを判断する。この判断処
理により、他に出力中の音データが存在することを判断
するときには、ステップ８（ｔ８）に進んで、優先度に
応じて出力中の音データの音量を調節（高い優先度の音
データを終了させたときには、出力中の低い優先度の音
データの音量を元に戻す等の調節処理を行う）する。

【００９９】そして、ステップ８（ｔ８）及びステップ
５（ｔ５）での処理を終了すると、ステップ９（ｔ９）
に進んで、出力中の音データと優先度の情報を更新す
る。一方、ステップ７（ｔ７）で、終了させた音データ
の他に出力中の音データがないことを判断するときに
は、ステップ８（ｔ８）及びステップ９（ｔ９）の処理
を省略する。

【０１００】このようにして、請求項１０記載の本発明
では、複数の音を生成するときには、優先度の高い音の
音量が相対的に大きくなるようにと、生成ルールの記述
する開始時刻及び終了時刻に従って、音の動きを開始し
終了する構成を採ることを特徴とする。

【０１０１】例えば、図１５に示す生成ルールでは、音
データ１の方が音データ２よりも優先度が高いので、音
データ１と音データ２とを同時に生成するときには、音
データ１の音量が音データ２の音量より相対的に大きく
なるように処理するのである。

【０１０２】次に、請求項１１及び１２記載の本発明を
実施例に従って詳細に説明する。図１７に、請求項１１
及び１２記載の本発明を実現するために用意する生成ル
ールの一実施例を図示する。

【０１０３】この図１７に示すように、請求項１１及び
１２記載の本発明を実現するためには、生成対象となる
ＣＧデータの「ＣＧデータ名」と、生成対象となる音デ
ータの「音データ名」と、音にＣＧを合わせるのか、Ｃ
Ｇに音を合わせるのかを示す「対応関係」と、そのデー
タ名のＣＧデータや音データが既に開始されているのか
否かを示す「開始フラグ」と、そのデータ名のＣＧデー
タや音データが既に終了されているのか否かを示す「終
了フラグ」と、そのデータ名のＣＧデータや音データの
「開始時刻」と、そのデータ名のＣＧデータや音データ
の「終了時刻」と、そのデータ名の音データの「テン
ポ」と、そのデータ名のＣＧの「タイムスケール」と、
そのデータ名の音データやＣＧデータの「繰り返し回数
又は中断時刻」とを組として記述する生成ルールを用意
することになる。

【０１０４】図１８に、請求項１１記載の本発明を実現
するために同期制御手段２０の処理フローの一実施例を
図示する。同期制御手段２０は、請求項１１記載の本発
明を実現する場合には、上述した基本処理のステップ３
（ｓ３）に入ると、この処理フローに示すように、基本
処理のステップ２（ｓ２）で選択した生成ルールの記述
する「対応関係」を参照することで、音データに合わせ
るＣＧデータがあるのか否かを判断し、そのようなＣＧ
データが存在することを判断するときには、その生成ル
ールの開始時刻／終了時刻／開始フラグ／終了フラグを
参照することで、その生成ルールの記述する音データ
（生成ルールの「音データ名」に登録されている音デー
タ）が、 「開始時刻≦現在時刻＜終了時刻で、かつ、開始済みで
ない音データ」 か、 「現在時刻≧終了時刻で、かつ、終了済みでない音デー
タ」 のいずれかに該当するのか否かを判断する。

【０１０５】この判断処理に従って、前者に該当するこ
とを判断するときには、続いて、基本処理のステップ４
（ｓ４）で、対応付けられるＣＧデータ（生成ルールの
「ＣＧデータ名」に登録されているＣＧデータ）のタイ
ムスケール、あるいは繰り返し回数、あるいは中断時刻
を求めて、それを生成ルールに登録してから、生成ルー
ルの記述する音データの生成を開始するとともに、登録
したタイムスケール等に従ってその音データに対応付け
られるＣＧデータの生成を開始させ、更に、生成ルール
の開始フラグに開始済みのオンを設定する。

【０１０６】すなわち、生成ルールに、音データにＣＧ
データを合わせる旨の記述があるときには、そのＣＧの
生成がその音の生成と同期するようにと、ＣＧのタイム
スケールを変えたり、ＣＧを途中で中断したり繰り返し
たりしながら、生成ルールの記述する開始時刻及び終了
時刻に従って、音及びＣＧの動きを開始し終了する構成
を採るのである。

【０１０７】一方、この判断処理に従って、後者に該当
することを判断するときには、続いて、基本処理のステ
ップ４（ｓ４）で、生成ルールの記述する音データの生
成を終了するとともに、その音データに対応付けて生成
されているＣＧデータの生成を終了させ、更に、生成ル
ールの終了フラグに終了済みのオンを設定する。

【０１０８】このようにして、請求項１１記載の本発明
では、生成ルールに音に合わせるＣＧのある旨が記述さ
れているときには、生成ルールの記述する開始時刻及び
終了時刻に従って、音の動きを開始し終了していくとき
に、そのＣＧをタイムスケールを変えたり、あるいはそ
のＣＧを途中で止めたり、あるいはそのＣＧを繰り返す
ことで音と同期をとりながら開始し終了する構成を採る
ことを特徴とする。

【０１０９】例えば、図１７の生成ルールでは、音デー
タ１に合わせてＣＧデータ１を生成していくことが記述
されており、音データ１の演奏時間として「終了時刻−
開始時刻」から求まる２０秒間が設定されているので、
ＣＧデータ１の映像時間が１０秒であるときには、例え
ば、このＣＧデータ１を２回繰り返して生成するように
処理するのである。

【０１１０】図１９に、請求項１２記載の本発明を実現
するために同期制御手段２０の処理フローの一実施例を
図示する。同期制御手段２０は、請求項１２記載の本発
明を実現する場合には、上述した基本処理のステップ３
（ｓ３）に入ると、この処理フローに示すように、基本
処理のステップ２（ｓ２）で選択した生成ルールの記述
する「対応関係」を参照することで、ＣＧデータに合わ
せる音データがあるのか否かを判断し、そのような音デ
ータが存在することを判断するときには、その生成ルー
ルの開始時刻／終了時刻／開始フラグ／終了フラグを参
照することで、その生成ルールの記述するＣＧデータ
（生成ルールの「ＣＧデータ名」に登録されているＣＧ
データ）が、 「開始時刻≦現在時刻＜終了時刻で、かつ、開始済みで
ないＣＧデータ」 か、 「現在時刻≧終了時刻で、かつ、終了済みでないＣＧデ
ータ」 のいずれかに該当するのか否かを判断する。

【０１１１】この判断処理に従って、前者に該当するこ
とを判断するときには、続いて、基本処理のステップ４
（ｓ４）で、対応付けられる音データ（生成ルールの
「音データ名」に登録されている音データ）のテンポ、
あるいは繰り返し回数、あるいは中断時刻を求めて、そ
れを生成ルールに登録してから、生成ルールの記述する
ＣＧデータの生成を開始するとともに、登録したテンポ
等に従ってそのＣＧデータに対応付けられる音データの
生成を開始させ、更に、生成ルールの開始フラグに開始
済みのオンを設定する。

【０１１２】すなわち、生成ルールに、ＣＧデータに音
データを合わせる旨の記述があるときには、その音の生
成がそのＣＧの生成と同期するようにと、音のテンポを
変えたり、音を途中で中断したり繰り返したりしなが
ら、生成ルールの記述する開始時刻及び終了時刻に従っ
て、ＣＧ及び音の動きを開始し終了する構成を採るので
ある。

【０１１３】一方、この判断処理に従って、後者に該当
することを判断するときには、続いて、基本処理のステ
ップ４（ｓ４）で、生成ルールの記述するＣＧデータの
生成を終了するとともに、そのＣＧデータに対応付けて
生成されている音データの生成を終了させ、更に、生成
ルールの終了フラグに終了済みのオンを設定する。

【０１１４】このようにして、請求項１２記載の本発明
では、生成ルールにＣＧに合わせる音のある旨が記述さ
れているときには、生成ルールの記述する開始時刻及び
終了時刻に従って、ＣＧの動きを開始し終了していくと
きに、その音のテンポを変えたり、あるいはその音を途
中で止めたり、あるいはその音を繰り返すことでＣＧと
同期をとりながら開始し終了する構成を採ることを特徴
とする。

【０１１５】例えば、図１７の生成ルールでは、ＣＧデ
ータ２に合わせて音データ２を生成していくことが記述
されており、ＣＧデータ２の映像時間として「終了時刻
−開始時刻」から求まる５０秒間が設定されているの
で、音データ２の演奏時間が１００秒であるときには、
例えば、この音データ２をテンポを２倍にして生成する
ように処理するのである。

【０１１６】次に、請求項１３記載の本発明を実施例に
従って詳細に説明する。図２０に、請求項１３記載の本
発明を実現するために用意する生成ルールの一実施例を
図示する。

【０１１７】この図２０に示すように、請求項１３記載
の本発明を実現するためには、イベント処理先の「ＣＧ
データ名」と、その「ＣＧデータ名」のＣＧデータに対
してイベントが発生するときの「経過時間」とを組とし
て記述する生成ルールを用意する。すなわち、イベント
に経過時間を割り当てる生成ルールを用意する。

【０１１８】図２１に、請求項１３記載の本発明を実現
するために実行する同期制御手段２０の処理フローの一
実施例を図示する。同期制御手段２０は、請求項１３記
載の本発明を実現する場合には、上述した基本処理に入
ると、この処理フローに示すように、先ず最初に、ステ
ップ１（ｓ１）で、ルール格納手段１２の生成ルールを
読み込み、続いて、ステップ２（ｓ２）で、読み込んだ
生成ルールの中の未処理のものの中から１つを選択す
る。

【０１１９】続いて、ステップ３（ｓ３）で、選択した
生成ルールがイベントに経過時間を割り当てる生成ルー
ルであるのか否かを判断して、そのような生成ルールで
あることを判断するときには、ステップ４（ｓ４）に進
んで、イベント処理手段１５に対して、イベントのカウ
ンタ命令を発行する。すなわち、ユーザがマウスを使っ
てＣＧデータをクリックするというイベント発生である
場合には、どのＣＧに対して、何回マウスクリックされ
たのかを計数するイベントのカウンタ命令を発行するの
である。一方、そのような生成ルールでないことを判断
するときには、このステップ４（ｓ４）の処理を省略す
る。

【０１２０】続いて、ステップ５（ｓ５）で、読み込ん
だ全ての生成ルールについて処理を終了したのか否かを
判断して、未処理の生成ルールが残されていることを判
断するときには、ステップ２（ｓ２）に戻り、全ての生
成ルールの処理終了を判断するときには、ステップ６
（ｓ６）に進んで、イベント処理手段１５に対して、イ
ベント対象のＣＧと、イベントの発生回数とを問い合わ
せて、そのイベント対象ＣＧに割り付けられる生成ルー
ルの記述する経過時間と、そのイベントの発生回数とを
乗算することで時間経過を算出して、その時間経過に従
って時刻を更新する。続いて、ステップ７（ｓ７）で、
システム終了か否かを判断して、システム終了であるこ
とを判断するときには、処理を終了し、システム終了で
ないことを判断するときには、ステップ１（ｓ１）に戻
っていく。

【０１２１】このようにして、請求項１３記載の本発明
では、生成ルールの記述するイベント対象のＣＧに対し
てイベントが発生すると、そのイベント対象ＣＧに対応
付けられる経過時間分時刻を更新していく構成を採るこ
とを特徴とする。

【０１２２】これにより、例えば、ＣＧ映像のオーケス
トラ指揮者の持つ指揮棒がユーザによりマウスクリック
されるときには、それに応じて時刻を更新しながらＣＧ
及び音を生成していくことができるようになって、あた
かもユーザがオーケストラを指揮しているような感覚を
与えることを実現できることになる。

【０１２３】次に、請求項１４ないし１６記載の本発明
を実施例に従って詳細に説明する。図２２に、請求項１
４ないし１６記載の本発明を実現するために用意する生
成ルールの一実施例を図示する。

【０１２４】この図２２に示すように、請求項１４ない
し１６記載の本発明を実現するためには、反応を引き起
こす「トリガ」と、そのトリガにより引き起こされる
「反応」とを組として記述する生成ルールを用意するこ
とになる。このトリガとなるものとしては、ＣＧの属性
や、音の属性や、ＣＧ及び音のいずれでもない流速場の
ような目に見えないものの属性がある。また、この反応
には、ＣＧの属性や音の属性がある。

【０１２５】図２３に、請求項１４記載の本発明を実現
するために実行する同期制御手段２０の処理フローの一
実施例を図示する。同期制御手段２０は、請求項１４記
載の本発明を実現する場合には、上述した基本処理のス
テップ３（ｓ３）に入ると、この処理フローに示すよう
に、基本処理のステップ２（ｓ２）で選択した生成ルー
ルを参照することで、その生成ルールがトリガと反応と
の関係を記述する生成ルールであるのか否かを判断し、
そのような生成ルールであることを判断するときには、
ＣＧ属性がトリガとなり、音属性が反応となる生成ルー
ルであるのか否かを判断して、そのような生成ルールで
あることを判断するときには、その生成ルールの記述す
るトリガの指すＣＧ属性条件が成立するのか否かを判断
する。

【０１２６】この判断処理に従って、トリガの指すＣＧ
属性条件が成立することを判断するときには、続いて、
基本処理のステップ４（ｓ４）で、そのトリガに対応付
けられる音属性の反応を特定して、それを実行する。

【０１２７】このようにして、請求項１４記載の本発明
では、生成ルールにＣＧ属性のトリガと音属性の反応と
の関係が記述されるときには、そのトリガの指定するＣ
Ｇ属性条件が成立するときに、反応となる音属性を生成
する構成を採ることを特徴とする。

【０１２８】例えば、図２２の生成ルールでは、スピー
カの色が赤に変わるときに、音程を変化させるというこ
とが記述されているので、ＣＧ及び音を生成していくと
きに、そのＣＧを構成するスピーカの色が赤に変わると
き（アニメーションで変わったり、エディタ入力で変わ
る）には、その音の音程を指定されるものに変更するよ
うに処理するのである。

【０１２９】図２４に、請求項１５記載の本発明を実現
するために実行する同期制御手段２０の処理フローの一
実施例を図示する。同期制御手段２０は、請求項１５記
載の本発明を実現する場合には、上述した基本処理のス
テップ３（ｓ３）に入ると、この処理フローに示すよう
に、基本処理のステップ２（ｓ２）で選択した生成ルー
ルを参照することで、その生成ルールがトリガと反応と
の関係を記述する生成ルールであるのか否かを判断し、
そのような生成ルールであることを判断するときには、
音属性がトリガとなり、ＣＧ属性が反応となる生成ルー
ルであるのか否かを判断して、そのような生成ルールで
あることを判断するときには、その生成ルールの記述す
るトリガの指す音属性条件が成立するのか否かを判断す
る。

【０１３０】この判断処理に従って、トリガの指す音属
性条件が成立することを判断するときには、続いて、基
本処理のステップ４（ｓ４）で、そのトリガに対応付け
られるＣＧ属性の反応を特定して、それを実行する。

【０１３１】このようにして、請求項１５記載の本発明
では、生成ルールに音属性のトリガとＣＧ属性の反応と
の関係が記述されるときには、そのトリガの指定する音
属性条件が成立するときに、反応となるＣＧ属性を生成
する構成を採ることを特徴とする。

【０１３２】例えば、図２２の生成ルールでは、ドの音
が発音されるときに、ＣＧデータ１の生成を開始すると
いうことが記述されているので、ＣＧ及び音を生成して
いくときに、ＭＩＤＩ機器等からドの音が発音されると
きには、ＣＧデータ１（例えば、鍵盤の動きのＣＧデー
タ）の生成を開始するように処理するのである。

【０１３３】図２５に、請求項１６記載の本発明を実現
するために実行する同期制御手段２０の処理フローの一
実施例を図示する。同期制御手段２０は、請求項１６記
載の本発明を実現する場合には、上述した基本処理のス
テップ３（ｓ３）に入ると、この処理フローに示すよう
に、基本処理のステップ２（ｓ２）で選択した生成ルー
ルを参照することで、その生成ルールがトリガと反応と
の関係を記述する生成ルールであるのか否かを判断し、
そのような生成ルールであることを判断するときには、
ＣＧ及び音以外の属性がトリガとなり、ＣＧ属性／音属
性が反応となる生成ルールであるのか否かを判断して、
そのような生成ルールであることを判断するときには、
その生成ルールの記述するトリガの指すトリガ条件が成
立するのか否かを判断する。

【０１３４】この判断処理に従って、トリガの指すトリ
ガ条件が成立することを判断するときには、続いて、基
本処理のステップ４（ｓ４）で、そのトリガに対応付け
られるＣＧ属性／音属性の反応を特定して、それを実行
する。

【０１３５】このようにして、請求項１６記載の本発明
では、生成ルールにＣＧ及び音以外の属性のトリガと、
ＣＧ属性／音属性の反応との関係が記述されるときに
は、そのトリガの指定するトリガ条件が成立するとき
に、反応となるＣＧ属性／音属性を生成する構成を採る
ことを特徴とする。

【０１３６】例えば、図２２の生成ルールでは、流速場
が変化するときに、ＣＧデータ２の生成を開始するとと
もに、音量を変化させるということが記述されているの
で、ＣＧ及び音を生成していくときに、流速場が変わる
ときには、ＣＧデータ２（例えば、川の流れのＣＧデー
タ）の生成を開始するとともに、その音の音量を指定さ
れるものに変更するように処理するのである。

【０１３７】次に、請求項１７記載の本発明を実施例に
従って詳細に説明する。この請求項１７記載の本発明を
実現するためには、三次元的な位置を持つ仮想的な音源
による効果を生成する立体音源生成手段１７を用意す
る。

【０１３８】人間は、左右の耳に聞こえる音量等の情報
から、音源の距離や方向等を感じとることで、音源の位
置を認識している。これから、逆に、仮想的な音源を作
り上げ、その位置に音源がある場合と同じような音を人
間の左右の耳に送れば、あたかもそこから音が聞こえる
ように感じることになる。

【０１３９】この立体音源生成手段１７は、図２６に示
すような音源から左右の耳までの距離ｌ，ｒと、仰角α
というパラメータとが与えられると、そのパラメータの
指す位置にあたかも音源があるかのように音を生成する
ものである。この立体音源生成手段１７は、複数のスピ
ーカと、市場に提供されている畳込み処理を行うプロセ
ッサとを使うことで実現できるものであり、視聴者が実
際のコンサートホールにいるかのように感じさせる未来
の音声放送として、最近盛んに研究されているものであ
る。

【０１４０】図２７に、請求項１７記載の本発明を実現
するために用意する生成ルールの一実施例を図示する。
この図２７に示すように、請求項１７記載の本発明を実
現するためには、位置を変化させる音源の「音源名」
と、その音源名の音源で鳴らす音データが既に開始され
ているのか否かを示す「開始フラグ」と、その音源名の
音源で鳴らす音データが既に終了されているのか否かを
示す「終了フラグ」と、その音源名の音源で鳴らす音デ
ータの「開始時刻」と、その音源名の音源で鳴らす音デ
ータの「終了時刻」と、その音源名の音源の「変化情
報」と、その音源名の音源で鳴らす音データを聞く「視
聴者の位置」とを組として記述する生成ルールを用意す
ることになる。

【０１４１】図２８に、請求項１７記載の本発明を実現
するために実行する同期制御手段２０の処理フローの一
実施例を図示する。同期制御手段２０は、請求項１７記
載の本発明を実現する場合には、上述した基本処理のス
テップ３（ｓ３）に入ると、この処理フローに示すよう
に、基本処理のステップ２（ｓ２）で選択した生成ルー
ルを参照することで、その生成ルールが音源を変化させ
ることを記述する生成ルールであるのか否かを判断し、
そのような生成ルールであることを判断するときには、
続いて、基本処理のステップ４（ｓ４）で、その生成ル
ールの記述する音源の変化情報と視聴者位置とに従っ
て、立体音源生成手段１７に与えるパラメータを算出し
てそれを与える。

【０１４２】このようにして、請求項１７記載の本発明
では、生成ルールに音源を変化させることが記述される
ときには、その生成ルールの記述する音源の変化情報と
視聴者位置とに従って、立体音源生成手段１７に与える
パラメータを算出してそれを与えることで、ＣＧと連動
した音響効果を実現する構成を採ることを特徴とする。

【０１４３】例えば、図２７の生成ルールでは、音源１
は、離散的な時刻の位置を表すキーフレームアニメーシ
ョンデータによって音源の位置を変化させ、視聴者の位
置を設定される固定位置とするということが記述されて
いるので、現時刻の音源の位置をキーフレームアニメー
ションデータを補間することで求めて、その音源位置と
視聴者位置とから立体音源生成手段１７に与えるパラメ
ータを算出してそれを与えることで、ＣＧと連動した音
響効果を実現するように処理する。また、音源２は、特
定のＣＧデータと連動させて音源の位置を変化させ、視
聴者の位置を別に設定されるＣＧデータの位置とすると
いうことが記述されているので、現時刻の音源の位置を
連動するＣＧデータに従って求めて、その音源位置とＣ
Ｇデータに従って動いていく視聴者位置とから立体音源
生成手段１７に与えるパラメータを算出してそれを与え
ることで、ＣＧと連動した音響効果を実現するように処
理するのである。

【０１４４】

【発明の効果】以上説明したように、本発明によれば、
ＣＧと音とを様々な関係で関係付けることができ、それ
に基づいてリアルタイムにＣＧと音とを生成することが
できるので、音楽付きのＣＧ映像を簡単に作成すること
ができる。また、ＣＧや音やその他の属性間の関係を自
由に定義できるため、これらの組み合わせによって、従
来にない効果を生み出すことが可能である。また、リア
ルタイムにＣＧと音とを生成できるため、インタラクテ
ィブな処理に適用することができる。

【図面の簡単な説明】

【図１】本発明の原理構成図である。

【図２】同期制御手段の処理フローの一実施例である。

【図３】生成ルールの一実施例である。

【図４】同期制御手段の処理フローの一実施例である。

【図５】生成ルールの一実施例である。

【図６】ＣＧ出力手段の処理フローの一実施例である。

【図７】同期制御手段の処理フローの一実施例である。

【図８】同期制御手段の処理フローの一実施例である。

【図９】同期制御手段の処理フローの一実施例である。

【図１０】同期制御手段の処理フローの一実施例であ
る。

【図１１】音データ格納手段の格納データの一実施例で
ある。

【図１２】ＣＧデータ格納手段の格納データの一実施例
である。

【図１３】生成ルールの一実施例である。

【図１４】同期制御手段の処理フローの一実施例であ
る。

【図１５】生成ルールの一実施例である。

【図１６】同期制御手段の処理フローの一実施例であ
る。

【図１７】生成ルールの一実施例である。

【図１８】同期制御手段の処理フローの一実施例であ
る。

【図１９】同期制御手段の処理フローの一実施例であ
る。

【図２０】生成ルールの一実施例である。

【図２１】同期制御手段の処理フローの一実施例であ
る。

【図２２】生成ルールの一実施例である。

【図２３】同期制御手段の処理フローの一実施例であ
る。

【図２４】同期制御手段の処理フローの一実施例であ
る。

【図２５】同期制御手段の処理フローの一実施例であ
る。

【図２６】立体音生成のためのパラメータの説明図であ
る。

【図２７】生成ルールの一実施例である。

【図２８】同期制御手段の処理フローの一実施例であ
る。

【符号の説明】

１ 三次元画像処理装置 １０ ＣＧデータ格納手段 １１ 音データ格納手段 １２ ルール格納手段 １３ ＣＧ出力手段 １４ 音出力手段 １５ イベント処理手段 １６ 世界データ格納手段 １７ 立体音源生成手段 １８ ディスプレイ １９ スピーカ ２０ 同期制御手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 広田 克彦 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 鎌田 洋 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 笠井 悟志 静岡県静岡市伝馬町16番地の３ 株式会社 富士通静岡エンジニアリング内 (72)発明者 多田 厚子 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 柴田 和美 静岡県静岡市伝馬町16番地の３ 株式会社 富士通静岡エンジニアリング内

Claims (17)

【特許請求の範囲】
1. 【請求項１】 ＣＧと音とを関連付け、その関連に基づ
   いて、リアルタイムにＣＧと音とを生成する三次元画像
   処理装置であって、 ＣＧデータを格納するＣＧデータ格納手段と、 音データを格納する音データ格納手段と、 ＣＧデータからＣＧを生成して出力するＣＧ出力手段
   と、 音データから音を生成して出力する音出力手段と、 ＣＧ及び音の生成ルールを格納するルール格納手段と、 上記ルール格納手段の格納する生成ルールに従って、Ｃ
   Ｇ及び音の生成処理を制御する同期制御手段とを備える
   ことを、 特徴とする三次元画像処理装置。
2. 【請求項２】 請求項１記載の三次元画像処理装置にお
   いて、 ルール格納手段が、ＣＧと音の開始時刻及び終了時刻を
   記述する生成ルールを格納する構成を採り、 同期制御手段は、上記時刻に従ってＣＧ及び音を生成す
   るよう制御することを、 特徴とする三次元画像処理装置。
3. 【請求項３】 請求項１記載の三次元画像処理装置にお
   いて、 ルール格納手段が、必ずＣＧを表示しなければならない
   時刻を記述する生成ルールを格納する構成を採り、 同期制御手段は、ＣＧの表示時間間隔の調整を制御する
   ことで、上記時刻のＣＧを飛ばすことなく表示するよう
   制御することを、 特徴とする三次元画像処理装置。
4. 【請求項４】 請求項１記載の三次元画像処理装置にお
   いて、 ルール格納手段が、音の開始時刻及び終了時刻を記述す
   る生成ルールを格納する構成を採り、 同期制御手段は、上記時刻の指定する生成時間と、生成
   対象の音データの持つ継続時間とが異なるときには、両
   者が一致するようにと音のテンポを変更しつつ、上記時
   刻に従って音を生成するよう制御することを、 特徴とする三次元画像処理装置。
5. 【請求項５】 請求項１記載の三次元画像処理装置にお
   いて、 ルール格納手段が、音の開始時刻及び終了時刻を記述す
   る生成ルールを格納する構成を採り、 同期制御手段は、上記時刻の指定する生成時間と、生成
   対象の音データの持つ継続時間とが異なるときには、途
   中で止めたり、あるいは繰り返す形態をとりつつ、上記
   時刻に従って音を生成するよう制御することを、 特徴とする三次元画像処理装置。
6. 【請求項６】 請求項１記載の三次元画像処理装置にお
   いて、 ルール格納手段が、ＣＧの開始時刻及び終了時刻を記述
   する生成ルールを格納する構成を採り、 同期制御手段は、上記時刻の指定する生成時間と、生成
   対象のＣＧデータの持つ継続時間とが異なるときには、
   両者が一致するようにとＣＧのタイムスケールを変更し
   つつ、上記時刻に従ってＣＧを生成するよう制御するこ
   とを、 特徴とする三次元画像処理装置。
7. 【請求項７】 請求項１記載の三次元画像処理装置にお
   いて、 ルール格納手段が、ＣＧの開始時刻及び終了時刻を記述
   する生成ルールを格納する構成を採り、 同期制御手段は、上記時刻の指定する生成時間と、生成
   対象のＣＧデータの持つ継続時間とが異なるときには、
   途中で止めたり、あるいは繰り返す形態をとりつつ、上
   記時刻に従ってＣＧを生成するよう制御することを、 特徴とする三次元画像処理装置。
8. 【請求項８】 請求項１記載の三次元画像処理装置にお
   いて、 ルール格納手段が、音特徴を記述する生成ルールを格納
   する構成を採り、 同期制御手段は、生成ルールの記述する音特徴を持つ音
   を生成するよう制御することを、 特徴とする三次元画像処理装置。
9. 【請求項９】 請求項１記載の三次元画像処理装置にお
   いて、 ルール格納手段が、ＣＧ特徴を記述する生成ルールを格
   納する構成を採り、 同期制御手段は、生成ルールの記述するＣＧ特徴を持つ
   ＣＧを生成するよう制御することを、 特徴とする三次元画像処理装置。
10. 【請求項１０】 請求項１記載の三次元画像処理装置に
    おいて、 ルール格納手段が、音データの優先度を記述する生成ル
    ールを格納する構成を採り、 同期制御手段は、ルール格納手段の生成ルールに従って
    ＣＧ及び音を生成するよう制御するときにあって、複数
    の音が重なるときには、優先度の高い音の音量が相対的
    に大きくなるよう制御することを、 特徴とする三次元画像処理装置。
11. 【請求項１１】 請求項１記載の三次元画像処理装置に
    おいて、 ルール格納手段が、音データと、その音データに合わせ
    るＣＧデータとの対応関係を記述する生成ルールを格納
    する構成を採り、 同期制御手段は、ルール格納手段の生成ルールに従って
    ＣＧ及び音を生成するよう制御するときにあって、その
    音に合わせるＣＧがあるときには、タイムスケールを変
    えたり、あるいは途中で止めたり、あるいは繰り返す形
    態をとりつつ、そのＣＧを生成するよう制御すること
    を、 特徴とする三次元画像処理装置。
12. 【請求項１２】 請求項１記載の三次元画像処理装置に
    おいて、 ルール格納手段が、ＣＧデータと、そのＣＧデータに合
    わせる音データとの対応関係を記述する生成ルールを格
    納する構成を採り、 同期制御手段は、ルール格納手段の生成ルールに従って
    ＣＧ及び音を生成するよう制御するときにあって、その
    ＣＧに合わせる音があるときには、テンポを変えたり、
    あるいは途中で止めたり、あるいは繰り返す形態をとり
    つつ、その音を生成するよう制御することを、 特徴とする三次元画像処理装置。
13. 【請求項１３】 請求項１記載の三次元画像処理装置に
    おいて、 イベントを処理するイベント処理手段を備えるととも
    に、 ルール格納手段が、イベント対象のＣＧと、経過時間と
    の対応関係を記述する生成ルールを格納する構成を採
    り、 同期制御手段は、ルール格納手段の生成ルールに従って
    ＣＧ及び音を生成するよう制御するときにあって、上記
    イベント処理手段が生成ルールの記述するイベント対象
    ＣＧに対してイベントを処理するときには、生成ルール
    の記述する経過時間だけ時間を経過させながらＣＧ及び
    音を生成するよう制御することを、 特徴とする三次元画像処理装置。
14. 【請求項１４】 請求項１記載の三次元画像処理装置に
    おいて、 ルール格納手段が、トリガとなるＣＧの属性と、反応と
    なる音の属性との対応関係を記述する生成ルールを格納
    する構成を採り、 同期制御手段は、ルール格納手段の生成ルールに従って
    ＣＧ及び音を生成するよう制御するときにあって、トリ
    ガとなるＣＧの属性が生成されるときには、反応となる
    音の属性を生成するよう制御することを、 特徴とする三次元画像処理装置。
15. 【請求項１５】 請求項１記載の三次元画像処理装置に
    おいて、 ルール格納手段が、トリガとなる音の属性と、反応とな
    るＣＧの属性との対応関係を記述する生成ルールを格納
    する構成を採り、 同期制御手段は、ルール格納手段の生成ルールに従って
    ＣＧ及び音を生成するよう制御するときにあって、トリ
    ガとなる音の属性が生成されるときには、反応となるＣ
    Ｇの属性を生成するよう制御することを、 特徴とする三次元画像処理装置。
16. 【請求項１６】 請求項１記載の三次元画像処理装置に
    おいて、 ルール格納手段が、トリガ条件と、反応となるＣＧ及び
    ／又は音の属性との対応関係を記述する生成ルールを格
    納する構成を採り、 同期制御手段は、ルール格納手段の生成ルールに従って
    ＣＧ及び音を生成するよう制御するときにあって、トリ
    ガ条件が成立するときには、反応となるＣＧ及び／又は
    音の属性を生成するよう制御することを、 特徴とする三次元画像処理装置。
17. 【請求項１７】 請求項１記載の三次元画像処理装置に
    おいて、 三次元的な位置を持つ仮想的な音源の効果を生み出す立
    体音源生成手段を備えるとともに、 ルール格納手段が、音源の生成方法及び視聴者位置を記
    述する生成ルールを格納する構成を採り、 同期制御手段は、ルール格納手段の生成ルールに従って
    ＣＧ及び音を生成するよう制御するときにあって、生成
    ルールの記述する音源生成方法及び視聴者位置に従って
    上記立体音源生成手段に与えるパラメータを決定して与
    えていくことで、ＣＧと連動した三次元な位置を持つ音
    源を生成するよう制御することを、 特徴とする三次元画像処理装置。