JP3891444B1 - 画像音声統合システムおよび画像音声統合処理方法 - Google Patents

Abstract

【課題】画像および音声を連携して再生させる際にＣＰＵの使用効率をあげる。
【解決手段】画像音声統合システムは、特殊コマンドに応じて、ＣＰＵが発行するコマンドが汎用コマンドおよび特殊コマンドのいずれであるかを判定し、一方の処理部に対して画像再生処理の実行を指示する判定部を有している。特に、この判定部は、読み出されたコマンドが特殊コマンドの場合、もう一方の処理部からのイベント通知によって特殊コマンドの実行条件を具備した場合に、この特殊コマンドに基づいた処理を一方の処理部に指示する。
【選択図】図３

Description

本発明は、画像および音声を連携して再生する画像音声統合システムおよび画像音声統合処理方法に関する。

従来、パチンコ台のような遊技機を制御するシステムには、画像を再生する処理部（グラフィック処理部）と、音声を再生する処理部（オーディオ処理部）とが、それぞれＣＰＵ（Central Processing Unit）から見て、並列に設けられている。ＣＰＵは各処理部に対してコマンドを発行し、このコマンドが専用のレジスタ領域に格納されることで、各処理部はこのコマンドに応じた、画像および音声の再生処理を行う。このとき、画像・音声の連携して再生を行う場合、ＣＰＵは各処理の動作状況を把握して、タイミングをみながら、コマンドを発行しなければならない。特許文献１には、パチンコ遊技機の制御回路として、ＣＰＵが搭載された遊技制御基板の後段に、表示制御用の基板を接続するとともに、この表示制御基板の後段に、スピーカ制御用の基板を接続した構成が開示されている。

特開２００４−１６２８１号公報

しかしながら、グラフィック処理部およびオーディオ処理部といった二つのデバイスをＣＰＵに直接接続するため、画像および音声を連携して再生処理する場合、これらの処理の制御には多大な負荷がかかる。

かかる事情に鑑みてなされたものであり、本発明の目的は、画像および音声を連携して再生処理する場合に、デバイス制御の効率性を高め、これらの処理の制御にかかる負荷を軽減させることである。

かかる課題を解決するために、第１の発明は、ＣＰＵの制御下で、画像および音声を連携して再生する画像音声統合システムを提供する。この統合システムは、グラフィック系レジスタ領域と、オーディオ系レジスタ領域と、グラフィック処理部と、オーディオ処理部と、判定部とを有する。グラフィック系レジスタ領域には、ＣＰＵによって発行されたグラフィック系コマンドとして、実行条件を伴わない汎用コマンドと、実行条件を伴う特殊コマンドとが格納される。オーディオ系レジスタ領域には、ＣＰＵによって発行されたオーディオ系コマンドが格納される。グラフィック処理部は、グラフィック系レジスタ領域から読み出されたグラフィック系コマンドによって指定された画像再生処理を実行する。オーディオ処理部と、オーディオ系レジスタ領域より読み出されたオーディオ系コマンドによって指定された音声再生処理を実行するとともに、音声再生処理に関して予め設定された条件を具備した場合にイベント通知を出力する。判定部は、グラフィック系レジスタ領域からグラフィック系コマンドを読み出し、読み出されたコマンドが汎用コマンドおよび特殊コマンドのいずれであるかを判定し、この判定結果に応じて、グラフィック処理部に対して画像再生処理の実行を指示する。この判定部は、読み出されたコマンドが汎用コマンドの場合、このコマンドによって指定された画像再生処理の実行を待機することなく指示する。また、判定部は、読み出されたコマンドが特殊コマンドの場合、このコマンドによって指定された画像再生処理の実行を待機する。そして、判定部は、オーディオ処理部からのイベント通知によって特殊コマンドの実行条件を具備した場合に、この待機していた画像再生処理の実行を指示する。

ここで第１の発明において、グラフィック系レジスタ領域に実行条件を伴う特殊コマンドが読み出された場合、このコマンドの実行条件に対応するイベント通知と、グラフィック処理部に対して指示する画像再生処理とが対応付けられたテーブルを格納する記憶部をさらに設けてもよい。この場合、判定部は、オーディオ処理部からのイベント通知が記憶部に格納されたテーブルの特殊コマンドの実行条件に対応するイベント通知と一致した場合、グラフィック処理部に対して、特殊コマンドによって指定された画像再生処理の実行を指示することが好ましい。

第１の発明において、イベント通知は、少なくとも音声再生の終了、フェード処理の終了およびパンニング処理の終了のいずれか一つであることが好ましい。

第１の発明において、特殊コマンドに伴う実行条件は複数設定されていてもよい。この場合、判定部は、オーディオ処理部からの少なくとも一つのイベント通知が記憶部に格納されたテーブルの特殊コマンドの複数の実行条件の全てと一致した場合、または、記憶部に格納されたテーブルの特殊コマンドの複数の実行条件のいずれかと一致した場合、グラフィック処理部に対して、特殊コマンドによって指定された画像再生処理の実行を指示することが好ましい。

第２の発明は、ＣＰＵの制御下で、画像および音声を連携して再生する画像音声統合システムを提供する。この統合システムは、オーディオ系レジスタ領域と、グラフィック系レジスタ領域と、オーディオ処理部と、グラフィック処理部と、判定部とを有する。オーディオ系レジスタ領域には、ＣＰＵによって発行されたオーディオ系コマンドとして、実行条件を伴わない汎用コマンドと、実行条件を伴う特殊コマンドとが格納される。グラフィック系レジスタ領域には、ＣＰＵによって発行されたグラフィック系コマンドが格納される。オーディオ処理部は、オーディオ系レジスタ領域から読み出されたオーディオ系コマンドによって指定された音声再生処理を実行する。グラフィック処理部は、グラフィック系レジスタ領域より読み出されたグラフィック系コマンドによって指定された画像再生処理を実行するとともに、画像再生処理に関して予め設定された条件を具備した場合にイベント通知を出力する。判定部は、オーディオ系レジスタ領域からオーディオ系コマンドを読み出し、読み出されたコマンドが汎用コマンドおよび特殊コマンドのいずれであるかを判定し、この判定結果に応じて、オーディオ処理部に対して音声再生処理の実行を指示する。この判定部は、読み出されたコマンドが汎用コマンドの場合、このコマンドによって指定された音声再生処理の実行を待機することなく指示する。また、判定部は、読み出されたコマンドが特殊コマンドの場合、このコマンドによって指定された音声再生処理の実行を待機するとともに、グラフィック処理部からのイベント通知によって特殊コマンドの実行条件を具備した場合に、この待機していた音声再生処理の実行を指示する。

ここで、第２の発明において、オーディオ系レジスタ領域に実行条件を伴う特殊コマンドが読み出された場合、このコマンドの実行条件に対応する指定されたイベント通知と、オーディオ処理部に対して指示する音声再生処理とが対応付けられたテーブルを格納する記憶部をさらに設けてもよい。この場合、判定部は、グラフィック処理部からのイベント通知が、記憶部に格納されたテーブルの特殊コマンドの実行条件に対応するイベント通知と一致した場合、オーディオ処理部に対して、特殊コマンドによって指定された音声再生処理の実行を指示することが好ましい。

第２の発明において、イベント通知は、少なくとも画像データの転送処理終了、画像データの描画処理の終了、および画像再生処理の開始のいずれか一つであってもよい。

第２の発明において、特殊コマンドに伴う実行条件は複数設定されていてもよい。この場合、判定部は、グラフィック処理部からの少なくとも一つのイベント通知が、記憶部に格納されたテーブルの特殊コマンドの複数の実行条件の全てと一致した場合、または、記憶部に格納されたテーブルの特殊コマンドの複数の実行条件のいずれかと一致した場合、オーディオ処理部に対して、特殊コマンドによって指定された音声再生処理の実行を指示することが好ましい。

第３の発明は、グラフィック系コマンドとして、実行条件を伴わない汎用コマンドと、実行条件を伴う特殊コマンドとを発行するとともに、オーディオ系コマンドを発行するステップと、グラフィック系コマンドが汎用コマンドおよび特殊コマンドのいずれであるかを判定するステップと、グラフィック系コマンドが汎用コマンドの場合、このコマンドによって指定された画像再生処理の実行を待機することなく実行するステップと、グラフィック系コマンドが特殊コマンドの場合、このコマンドによって指定された画像再生処理の実行を待機するとともに、オーディオ系コマンドによって指定された音声再生処理が特殊コマンドの実行条件を具備した場合に、待機していた画像再生処理を実行するステップとを有する画像音声統合処理方法を提供する。

第４の発明は、オーディオ系コマンドとして、実行条件を伴わない汎用コマンドと、実行条件を伴う特殊コマンドとを発行するとともに、グラフィック系コマンドを発行するステップと、オーディオ系コマンドが汎用コマンドおよび特殊コマンドのいずれであるかを判定するステップと、オーディオ系コマンドが汎用コマンドの場合、このコマンドによって指定された音声再生処理を待機することなく実行するステップと、オーディオ系コマンドが特殊コマンドの場合、このコマンドによって指定された音声再生処理の実行を待機するとともに、グラフィック系コマンドによって指定された画像再生処理が特殊コマンドの実行条件を具備した場合に、待機していた音声再生処理を実行するステップとを有する画像音声統合処理方法を提供する。

第１および第３の発明によれば、発行されるグラフィック系コマンドが、実行条件を伴わない汎用コマンドと、実行条件を伴う特殊コマンドとのいずれであるかを判定し、グラフィック系コマンドが特殊コマンドの場合、このコマンドによって指定された画像再生処理の実行を待機する。そして、オーディオ系コマンドによって指定された音声再生処理が特殊コマンドの実行条件を具備した場合、待機していた画像再生処理を実行する。これにより、画像および音声を連携して再生する処理のために、音声再生処理の経過を把握する必要がなくなるので、画像および音声の処理の制御にかかる負荷を軽減させることができる。

また、第２および第４の発明によれば、発行されるオーディオ系コマンドが、実行条件を伴わない汎用コマンドと、実行条件を伴う特殊コマンドとのいずれかであるかを判定し、オーディオ系コマンドが特殊コマンドの場合、このコマンドによって指定された音声再生処理の実行を待機する。そして、グラフィック系コマンドによって指定された画像再生処理が特殊コマンドの実行条件を具備した場合、待機していた音声再生処理を実行する。これにより、画像および音声を連携して再生する処理において、画像再生処理の経過を把握する必要がなくなるので、画像および音声の処理の制御にかかる負荷を軽減させることができる。

（第１の実施形態）
図１は、第１の実施形態における画像音声統合システムの構成図であり、画像および音声を連携して再生する。画像音声統合システム（以下、統合システム）は、ＣＰＵ１と、統合処理部２と、ＲＯＭ３，４（Read Only Memory）と、ディスプレイ５と、スピーカ６とから構成されている。ＣＰＵ１は、統合処理部２とバスを介して接続された上位のプロセッサである。統合処理部２は、ユニット３〜６のそれぞれと別のバスを介して接続されている。ＣＰＵ１は、画像の再生処理の内容が具体的に記述されたグラフィック系コマンドと、音声の再生処理の内容が具体的に記述されたオーディオ系コマンドとを、統合処理部２に対して発行することで、統合処理部２を制御する。

統合処理部２は、レジスタ２１と、グラフィック処理部２２と、オーディオ処理部２３と、判定部２４とから構成されている。レジスタ２１は、各処理部（グラフィック処理部２２，オーディオ処理部２３）に処理を実行させるコマンド（汎用コマンド，特殊コマンド）が格納されており、グラフィック系レジスタ領域２１ａと、オーディオ系レジスタ領域２２ｂとから構成されている。グラフィック系レジスタ領域２１ａは、グラフィック系コマンドが格納され、オーディオ系レジスタ領域２１ｂは、オーディオ系コマンドが格納される。なお、本実施形態において、各レジスタ領域２１ａ，２１ｂは論理的に分かれて構成されているが、互いに別個のハードウェアに分かれて構成されてもよい。

グラフィック処理部２２は、グラフィック系レジスタ領域２１ａから読み出されたグラフィック系コマンドによって指定された再生処理（画像再生処理）を実行する。グラフィック処理部２２は、例えば、ＲＡＭ（Random Access Memory）、転送回路、描画回路および表示回路（全て、図示せず）などから構成されている。グラフィック処理部２２による画像再生の概略の流れとしては、まず、転送回路が、ＲＯＭ３から画像データを読み出し、これをＲＡＭのワーク領域に転送する（転送処理）。つぎに、描画回路が、ＲＡＭに格納された画像データを読み出し、これを用いた描画処理を施した上で、ＲＡＭのフレームメモリ領域に格納する（描画処理）。そして、表示回路が、フレームメモリ領域に格納された１フレーム分の表示画像を読み出して、ディスプレイ５に表示させる。

また、オーディオ処理部２３は、オーディオ系レジスタ領域２１ｂより読み出されたオーディオ系コマンドによって指定された再生処理（音声再生処理）を実行する。オーディオ処理部２３は、例えば、ＲＯＭインターフェース、信号処理回路およびオーディオインターフェース（全て、図示せず）などから構成されている。オーディオ処理部２３による音声再生の概略の流れとしては、まず、外付けされたＲＯＭ４に格納された音声データがＲＯＭインターフェースを介して信号処理回路に転送される。そして、信号処理回路によって信号処理された出力データが、オーディオインターフェースを介してスピーカ６に出力される。また、各処理部２２，２３は、再生処理に関して予め設定された条件を具備した場合にイベント通知を出力する。

なお、本実施形態において、各処理部２２，２３が出力するイベント通知は、それぞれの再生処理（画像再生処理，音声再生処理）をする場合にのみ出力されるように予め設定してもよいが、本発明はこれに限られない。例えば、ＣＰＵ１が発行する特殊コマンド内に記述され、この特殊コマンドに基づいてイベント通知が出力されてもよい。

判定部２４は、各レジスタ領域２１ａ，２１ｂにコマンドが格納される毎に、これらの領域からこれらのコマンドを読み出す。そして、読み出されたコマンドが、汎用コマンドおよび特殊コマンドのいずれであるかを判定し、この判定の結果に応じて、グラフィック処理部２２およびオーディオ処理部２３のいずれかに対して、再生処理を指示する。具体的には、コマンドが汎用コマンドの場合、この汎用コマンドによって指定された再生処理の開始を待機することなく指示し、コマンドが特殊コマンドの場合、この特殊コマンドによって指定された再生処理の実行を待機する。待機を解除する（特殊コマンドによって指定された再生処理を実行する）ためには、実行条件を具備する必要ある。実行条件とは、特殊コマンドに応じた各種再生の指示をするための条件であり、実行条件を具備するとは、判定部２４が、各処理部２２，２３から出力されるイベント通知を受信し、このイベント通知が、特殊コマンドの実行条件に対応するイベント通知と一致することである。

図２は、記憶部２５の構成図である。判定部２４には、記憶部２５が内部に設けられている。記憶部２５には、各レジスタ領域２１ａ，２１ｂから特殊コマンドが読み出された場合、この特殊コマンドの実行条件に対応するイベント通知と、グラフィック処理部２２またはオーディオ処理部２３に対して指示する再生処理とが対応付けられた二次元のテーブルが格納される。このテーブルの横軸は一方の処理部による実行条件であり、縦軸はこれらの実行条件を満たした場合に、もう一方の処理部に実行させる再生処理を示している。実行条件を満たしたか否かの判定は、判定部２４が各処理部２２，２３からのイベント通知を受信し、特殊コマンドの実行条件に対応するイベント通知と一致するか否かで判断する。本実施形態では、同図（ａ）および（ｂ）の両方のテーブルが、記憶部２５に格納されている。

同図（ａ）は、ＣＰＵ１によって発行された特殊コマンドが、グラフィック系コマンドであった場合のテーブルの構成図の一例である。テーブルの横軸はオーディオ処理部２３による音声再生処理の実行条件であり、縦軸はこの実行条件を満たした場合におけるグラフィック処理部２２に実行させる画像再生処理である。本実施形態の実行条件となる音声再生処理には、音声再生の終了、パンニング処理の終了およびフェード処理の終了がある。音声再生の終了とは、それまで再生されていた音声を終了することである。パンニング処理とは、音声の左右バランスを調整することで音源を移動させるエフェクト処理であり、例えば、二次元平面上で左右に実装された左右スピーカ６の音量を時間単位で変更する音声再生処理である。フェード処理とは、音声の強弱を調整するエフェクト処理であり、例えば、実装されたスピーカ６の音量を時間単位で徐々に小さく（または、大きく）する音声再生処理である。また、本実施形態におけるグラフィック処理部２２に実行させる音声再生処理には、表示領域の切替、描画処理の開始および転送処理の開始がある。ここで、表示領域の切替とは、ディスプレイ５に表示するフレームメモリ領域を変更するエフェクト処理であり、例えば、シーンの切替に用いられる。

実行条件の設定は、これらのテーブル上において、「０」または「１」といったフラグで設定され、何も設定されていない場合「−（NULL）」は、何ら実行条件が設定されていないこと示す。「０」は条件として含まない設定であることを示し、「１」は条件として含む設定であることを示す。例えば、本実施形態のテーブルは、表示領域の切替の行において、音声再生の終了の列が「０」、フェード処理の終了の列が「１」、パンニング処理の終了の列が「０」となっている。このテーブルが特殊コマンドによって設定された場合、オーディオ処理部２３がフェード処理の終了時にのみ、判定部２４がグラフィック処理部に対して表示領域の切替の指示する。その他の処理（音声再生の終了，パンニング処理の終了）では、表示領域の切替の指示はされない。

同図（ｂ）は、ＣＰＵ１によって発行された特殊コマンドが、オーディオ系コマンドであった場合のテーブルの構成図の一例である。横軸がグラフィック処理部２２による画像再生処理の実行条件であり、縦軸がこの実行条件を満たした場合に、オーディオ処理部２３に実行させる音声再生処理である。本実施形態における実行条件には、画像再生の開始、転送処理の終了および描画処理の終了がある。また、本実施形態におけるグラフィック処理部２２に実行させる処理には、音声再生の開始、フェード処理の開始、パンニング処理の開始がある。実行条件の設定は、図２（ａ）と同様であり、本実施形態のテーブルの場合、音声再生処理の開始の行において、画像再生の開始の列が「１」、転送処理の終了の列が「０」、パンニング処理の終了が「０」となっている。このテーブルが設定された場合、同図（ａ）と同様に、グラフィック処理部２２による画像再生の開始時に、判定部２４がオーディオ処理部に対して音声再生の開始を指示する。

本実施形態において、テーブルに設定される実行条件の多くは、各処理部２２，２３が実行する各種再生処理の開始または終了を実行条件としているが、これに限定されず、各種再生処理が実行中であること（例えば、グラフィック処理部２２における垂直帰線区間（VBLANK））を実行条件としてもよい。その場合、各種再生処理の実行中となったときに、各処理部２２，２３がイベント通知を定期的に出力する。なお、本実施形態において、記憶部２５は、判定部２４の内部に設けられているが、特殊コマンドの実行条件に対応するイベント通知を実行条件としてテーブルに記憶し、これに基づいて各処理部２２，２３が出力するイベント通知を判定できれば足りる。したがって、記憶部２５は判定部２４の外部に設けられてもよい。

図３は、画像および音声の連携して再生する方法の一例を示す図である。図示したケースは、オーディオ処理部２３によるフェード処理の終了に伴い、グラフィック処理部２２が表示領域の切替を行う。また、グラフィック処理部２２による画像再生の開始に伴い、オーディオ処理部２３が音声再生を開始する。なお、初期状態では、グラフィック処理部２２およびオーディオ処理部２３は、何ら処理が実行されておらず、記憶部２５のテーブル（図２（ａ）および（ｂ））にも、何ら実行条件が設定されていない（テーブルの全てのフラグが「−」）ものとする。

まず、ステップ１において、ＣＰＵ１は、グラフィック系コマンドとして画像再生を開始する旨の汎用コマンドを発行し、グラフィック系レジスタ領域２１ａへ格納する。そして、グラフィック処理部２２が、この汎用コマンドに従った画像再生を開始する。なお、図３に示していないが、コマンドがレジスタ２１に格納される全てのステップ（ステップ１〜４，６，７）において、判定部２４は、格納されるコマンドが特殊コマンドであるか否かを判定を行っている。ステップ１の場合、汎用コマンドであるので、グラフィック処理部２２に対して、この汎用コマンドに従った画像再生を開始を待機させることなく指示する。

つぎに、ステップ２において、ＣＰＵ１は、オーディオ系コマンドとして、音声再生を開始する旨の汎用コマンドを発行し、オーディオ系レジスタ領域２１ｂへ格納する。そして、オーディオ処理部２３が、この汎用コマンドに従った音声再生を開始する。つづくステップ３において、ＣＰＵ１は、オーディオ系コマンドとして、今現在再生されている音声のフェード処理を開始する旨の汎用コマンドを発行し、オーディオ系レジスタ領域２１ｂへ格納する。そして、オーディオ処理部２３が、この汎用コマンドに従ったフェード処理を開始する。

ステップ４において、オーディオ処理部２３がフェード処理を開始している間、ＣＰＵ１は、グラフィック系コマンドとして、フェード終了に伴って表示切替を開始する旨の特殊コマンドを発行し、グラフィック系レジスタ領域２１ａへ格納する。このとき、判定部２４は、格納されるコマンドが特殊コマンドであることを判定するので、グラフィック処理部２２に対して、この特殊コマンドに従った表示切替を開始する指示を待機する。また、特殊コマンドに記述されたフェード終了を実行条件として設定するテーブル（図２（ａ））を生成し、記憶部２５に格納する。

ステップ５において、オーディオ処理部２３は、フェード処理を終了すると、その旨のイベント通知を出力する。そして、判定部２４は、このイベント通知と、記憶部２５に格納されたテーブルとに基づいて判定を行う。この場合、テーブルに設定された特殊コマンドの実行条件（フェード処理の終了）と、出力されたイベント通知とが一致するので、判定部２４は、グラフィック処理部２２に対して、ステップ４で待機していた表示切替を開始する旨のコマンドを指示する。

ステップ６において、ＣＰＵ１は、オーディオ系コマンドとして、画像再生の開始に伴って音声再生を開始する旨の特殊コマンドを発行し、オーディオ系レジスタ領域２１ｂへ格納する。このとき、判定部２４は、格納されるコマンドが特殊コマンドであることを判定するので、オーディオ処理部２３に対して、この特殊コマンドに従った音声再生を開始する指示を待機する。また、特殊コマンドに記述された画像再生の開始を実行条件として設定するテーブル（図２（ｂ））を生成し、記憶部２５に格納する。

ステップ７において、ＣＰＵ１は、グラフィック系コマンドとして、画像再生を開始する旨の汎用コマンドを発行し、グラフィック系レジスタ領域２１ａへ格納する。そして、グラフィック処理部２２が、この汎用コマンドに従った画像再生を開始する準備を行い、つづくステップ８において、この汎用コマンドに従った画像再生を開始する。

ステップ８において、グラフィック処理部２２は、画像再生を開始すると、その旨のイベント通知を出力する。そして、判定部２４は、このイベント通知と、記憶部２５に格納されたテーブルとに基づいて判定を行う。この場合、テーブルに設定された特殊コマンドの実行条件（画像再生の開始）と、出力されたイベント通知とが一致するので、判定部２４は、オーディオ処理部２３に対して、ステップ６で待機していた音声再生を開始する旨のコマンドを指示する。

本実施形態によれば、画像音声統合システムは、ＣＰＵ１が発行するコマンドを読み出し、このコマンドが汎用コマンドおよび特殊コマンドのいずれであるかを判定し、一方の処理部（例えば、グラフィック処理部２２）に対して再生処理を実行する指示をする判定部２４を有している。この判定部２４は、読み出されたコマンドが特殊コマンドであり、他方の処理部（例えば、オーディオ処理部２３）からのイベント通知によってこの特殊コマンドの実行条件を具備した場合において、一方の処理部に対して特殊コマンドに指定された画像再生処理を指示する。これにより、ＣＰＵ１は、画像および音声を連携して再生するために、他方の処理部の処理経過を把握することを必要としなくなる（例えば図３のステップ３，８）ため、ＣＰＵ１の占有時間を短縮することができ、ＣＰＵ１の使用効率を上げることができる。また、ＣＰＵ１は、発行したコマンドを一つの統合システム内のレジスタ２１という一つのハードウェアへ格納すればよいので、それまでグラフィック処理部２２およびオーディオ処理部２３への接続のために必要だったＣＰＵ１の端子数を削減することができる。

なお、本実施形態では、両処理部２２，２３が共にイベント通知を出力しているが、本発明はこれに限らず、いずれか一方の処理部のみがイベント通知を出力することでも足りる。例えば、イベント通知を出力するグラフィック処理部２２が主の処理部として再生処理を実行し、この再生処理の実行に応じて、オーディオ処理部２３が従の処理部として処理を実行する。その結果、記憶部２５が記憶するべきテーブルは一つ（図２（ｂ）のみ）で足り、判定部２４が行う判定もグラフィック処理部２２からのイベント通知で足りるので、判定部２４による処理も少なくなる。この場合、図１においては、オーディオ処理部２３から判定部２４へ係る通信と、判定部２４からグラフィック処理部２２へ係る通信が必要が不要となる。

本実施形態では、特殊コマンドによる実行条件は一つであったが、本発明はこれに限らず、少なくとも一つのイベント通知に対応付けられた実行条件を複数設定してもよい。複数の実行条件は、ＡＮＤ条件（すなわち、複数のイベント通知が複数の実行条件の全てと一致する形態）であってもよいし、ＯＲ条件（すなわち、あるイベント通知が複数の実行条件のいずれかと一致する形態）であってもよい。特に、ＡＮＤ条件の場合、例えば、上位の実行条件Ａを満たすことを条件に下位の実行条件Ｂを判断するといった如く、時系列的に設定してもよい。図４は、複数のイベント通知の一例を示す図である。具体的には、図３のステップ４において、特殊コマンドの実行条件に対応するイベント通知が複数の場合におけるオーディオ処理部２３の動作である。初期状態（ステップ２〜ステップ３間）において、同じフレーズを繰り返し（図４の上段）ながら、かつ、所定の音量で（図４の下段）音声が再生されていたとする。

まず、タイミングｔ1（ステップ３）において、ＣＰＵ１によってフェード処理を開始する旨の汎用コマンドと、このフェード処理の終了時のフレーズで音声再生を終了する旨の汎用コマンドが発行され、オーディオ処理部２３がこの汎用コマンドに従ったフェード処理を開始する。つぎに、タイミングｔ1〜ｔ2（ステップ４）において、ＣＰＵ１は、特殊コマンドに複数の実行条件（イベント通知）を指定するグラフィック系コマンドを発行する。具体的には、フェード処理が終了した後に１フレーズの再生が完全に終了すること（音声再生の終了）に伴って、表示領域切替を開始する旨の特殊コマンドを発行する。このとき、判定部２４は、従前の特殊コマンドによって指定されたフェード処理の終了を実行条件とする設定、具体的には記憶部２５に格納されたテーブル（図２（ａ））の表示領域の切替の行を”０，１，０”に変更する。

そして、タイミングｔ2において、オーディオ処理部２３が、フェード処理が終了するとともに、フェード処理が終了した旨のイベント通知を出力する。これにより、特殊コマンドの実行条件（フェード処理の終了）を具備することになるので、つぎに、判定部２４はステップ４の特殊コマンドによって指定されたように、音声再生の終了を実行条件とする設定を行う。具体的には、記憶部２５に格納されたテーブル（図２（ａ））の表示領域切替の行を”１，０，０”に変更する。つづく、タイミングｔ3（ステップ５）において、フェード処理の終了時のフレーズで音声再生を終了したとき、オーディオ処理部２３は、音声再生が終了した旨のイベント通知を出力する。これにより、特殊コマンドの実行条件を具備することになるので、判定部２４はグラフィック処理部２２に対して表示領域の切替を指示する。

このように、特殊コマンドの実行条件を複数に設定することにより、一方の処理部は、他方の処理部における精細な処理に対応して、再生処理を行うことができる。なお、図４で示したケースは、判定部２４は、オーディオ処理部２３による複数のイベント通知で実行条件の判定をしているが、このケースに限らず、グラフィック処理部２２による複数のイベント通知で実行条件を判定してもよい。例えば、グラフィック処理部２２が、画像データの転送処理を行った後に、この画像データの描画処理を行う場合、それぞれの処理が終了した旨を示すイベント通知を出力するといった如くである。

（第２の実施形態）
図５は、第２の実施形態に係る画像音声統合システムの構成図である。本実施形態の統合システムの特徴は、第１の実施形態における統合処理部２を、二つのＬＳＩ（グラフィックＬＳＩ７，オーディオＬＳＩ８）に分割し、それぞれ別のハードウェアとして設けている点である。そのため、グラフィックＬＳＩ７は、ディスプレイ５と、ＲＯＭ３とに接続され、オーディオＬＳＩ８は、ＲＯＭ４と、スピーカ６とに接続されている。

ただし、この場合には、第１の実施形態における判定部２４および記憶部２５を分割する必要がある。具体的には、グラフィックＬＳＩ７はグラフィック系判定部２４ａと、グラフィック系記憶部２５ａとを有し、オーディオＬＳＩ８はオーディオ系判定部２４ｂと、オーディオ系記憶部２５ｂと有することになる。なぜなら、本実施形態の場合、各レジスタ領域２１ａ，２１ｂは、第１の実施形態と異なり、それぞれの別のＬＳＩ（ハードウェア）に設けられており、判定部２４ａ，２４ｂは、自らのＬＳＩに有するレジスタ領域におけるコマンドに対して判定を行うからである。

グラフィック系判定部２４ａは、ＣＰＵ１からグラフィック系レジスタ領域２１ａに格納されるコマンドに関する判定を行い、特殊コマンドで指定された実行条件をテーブルとしてグラフィック系記憶部２５ａに格納する。なお、グラフィック系記憶部２５ａには、図２（ａ）に示すように、オーディオＬＳＩ８における各種処理を実行条件とするテーブルが格納される。一方、オーディオ系判定部２４ｂは、ＣＰＵ１からオーディオ系レジスタ領域２１ｂに格納されるコマンドに関する判定を行い、特殊コマンドで指定された実行条件をテーブルとしてグラフィック系記憶部２５ａに格納する。なお、オーディオ系記憶部２５ｂには、図２（ｂ）に示すように、グラフィックＬＳＩ７における各種処理を実行条件とするテーブルが格納される。なお、これ以外の点については、上述した第１の実施形態と同様であるから、ここでの説明を省略する。

このように、本実施形態によれば、第１の実施形態と同様に、ＣＰＵ１の使用効率を上げることができる。また、再生処理を処理対象（画像，音声）毎に別個のＬＳＩとして分けているので、本統合システム以外の他のシステムを実装する場合、他のシステムとの物理的バランスを考慮した柔軟な回路配置を構成することができる。

なお、本実施形態では、判定部および記憶部は、各ＬＳＩ７，８のそれぞれに設けられているが、本発明はこれに限らず、いずれか一方のＬＳＩだけに設けられ、他方のＬＳＩだけがイベント通知を出力する形態でも足りる。例えば、グラフィックＬＳＩ７（グラフィック処理部２２）は主のＬＳＩとして実行し、この主のＬＳＩの実行に応じて、オーディオＬＳＩ８（オーディオ処理部２３）は従のＬＳＩとして処理を実行することになる。その結果、オーディオ処理部２３の各種再生処理を実行条件とするテーブルを有するオーディオ系記憶部（図２（ｂ））は必要とせず、グラフィック系判定部２４ａおよびグラフィック系記憶部２５ａ（図２（ａ））のみで足りる。そのため、画像音声統合システム全体の回路の小規模化を図ることができる。図５に対応させると、オーディオ系判定部２４ｂ（オーディオ系記憶部２５ｂ含む）は不要となり、グラフィック系判定部２４ａからオーディオ系レジスタ領域２１ｂへの直接通信が付加される。また、ＣＰＵ１からオーディオ系レジスタ領域２１ｂへの通信も不要となる。グラフィックＬＳＩ７〜オーディオＬＳＩ８間の通信は、デバイスの端子数を増やさないためにシリアル転送であることが好ましく、互いに連携するために一定時間内に終了することが保証されるプロトコルであれば、その方式は問わない。

第１の実施形態に係る画像音声統合システムの構成図 記憶部の構成図 画像および音声の連携して再生する方法の一例を示す図 複数のイベント通知の一例を示す図 第２の実施形態に係る画像音声統合システムの構成図

符号の説明

１ ＣＰＵ
２ 統合処理部
２１ レジスタ
２１ａ グラフィック系レジスタ領域
２１ｂ オーディオ系レジスタ領域
２２ グラフィック処理部
２３ オーディオ処理部
２４ 判定部
２４ａ グラフィック系判定部
２４ｂ オーディオ系判定部
２５ 記憶部
２５ａ グラフィック系記憶部
２５ｂ オーディオ系記憶部
３，４ＲＯＭ
５ 画像表示装置
６ スピーカ
７ グラフィックＬＳＩ
８ オーディオＬＳＩ

Claims (10)

1. ＣＰＵの制御下で、画像および音声を連携して再生する画像音声統合システムにおいて、
   前記ＣＰＵによって発行されたグラフィック系コマンドとして、特殊コマンドと汎用コマンドとがあり、前記特殊コマンドは、当該コマンドによって指定された再生処理を実行するための実行条件を伴うコマンドであって、前記汎用コマンドは、前記実行条件を伴わないコマンドであって、前記特殊コマンドと前記汎用コマンドとを格納するグラフィック系格納手段と、
   前記ＣＰＵによって発行されたオーディオ系コマンドを格納するオーディオ系格納手段と、
   前記グラフィック系格納手段から読み出された前記グラフィック系コマンドによって指定された画像再生処理を実行するグラフィック処理部と、
   前記オーディオ系格納手段から読み出された前記オーディオ系コマンドによって指定された音声再生処理を実行するとともに、音声再生処理に関して予め設定された条件を具備した場合にイベント通知を出力するオーディオ処理部と、
   前記グラフィック系格納手段から前記グラフィック系コマンドを読み出し、前記読み出されたコマンドが汎用コマンドおよび特殊コマンドのいずれであるかを判定し、当該判定結果に応じて、前記グラフィック処理部に対して画像再生処理の実行を指示する判定部とを有し、
   前記判定部は、
   前記読み出されたコマンドが汎用コマンドの場合、当該コマンドによって指定された画像再生処理の実行を待機することなく指示し、
   前記読み出されたコマンドが特殊コマンドの場合、前記オーディオ処理部からのイベント通知によって当該コマンドの実行条件を具備した場合に、当該コマンドによって指定された画像再生処理の実行を指示することを特徴とする画像音声統合システム。
2. 前記グラフィック系格納手段から実行条件を伴う特殊コマンドが読み出された場合、当該コマンドの実行条件に対応するイベント通知と、前記グラフィック処理部に対して指示する画像再生処理とが対応付けられたテーブルを格納する記憶部をさらに有し、
   前記判定部は、前記オーディオ処理部からのイベント通知が前記記憶部に格納されたテーブルの前記特殊コマンドの実行条件に対応するイベント通知と一致した場合、前記グラフィック処理部に対して、前記特殊コマンドによって指定された画像再生処理の実行を指示することを特徴とする請求項１に記載された画像音声統合システム。
3. 前記イベント通知は、少なくとも音声再生の終了、フェード処理の終了およびパンニング処理の終了のいずれか一つであることを特徴とする請求項１または２に記載された画像音声統合システム。
4. 前記特殊コマンドに伴う実行条件は複数設定されており、
   前記判定部は、前記オーディオ処理部からの少なくとも一つのイベント通知が前記記憶部に格納されたテーブルの前記特殊コマンドの複数の実行条件の全てと一致した場合、または、前記記憶部に格納されたテーブルの前記特殊コマンドの複数の実行条件のいずれかと一致した場合、前記グラフィック処理部に対して、前記特殊コマンドによって指定された画像再生処理の実行を指示することを特徴とする請求項１から３のいずれかに記載された画像音声統合システム。
5. ＣＰＵの制御下で、画像および音声を連携して再生する画像音声統合システムにおいて、
   前記ＣＰＵによって発行されたオーディオ系コマンドとして、特殊コマンドと汎用コマンドとがあり、前記特殊コマンドは、当該コマンドによって指定された再生処理を実行するための実行条件を伴うコマンドであって、前記汎用コマンドは、前記実行条件を伴わないコマンドであって、前記特殊コマンドと前記汎用コマンドとを格納するオーディオ系格納手段と、
   前記ＣＰＵによって発行されたグラフィック系コマンドを格納するグラフィック系格納手段と、
   前記オーディオ系格納手段から読み出された前記オーディオ系コマンドによって指定された音声再生処理を実行するオーディオ処理部と、
   前記グラフィック系格納手段から読み出された前記グラフィック系コマンドによって指定された画像再生処理を実行するとともに、画像再生処理に関して予め設定された条件を具備した場合にイベント通知を出力するグラフィック処理部と、
   前記オーディオ系格納手段から前記オーディオ系コマンドを読み出し、前記読み出されたコマンドが汎用コマンドおよび特殊コマンドのいずれであるかを判定し、当該判定結果に応じて、前記オーディオ処理部に対して音声再生処理の実行を指示する判定部とを有し、
   前記判定部は、
   前記読み出されたコマンドが汎用コマンドの場合、当該コマンドによって指定された音声再生処理の実行を待機することなく指示し、
   前記読み出されたコマンドが特殊コマンドの場合、前記グラフィック処理部からのイベント通知によって当該コマンドの実行条件を具備した場合に、当該コマンドによって指定された音声再生処理の実行を指示することを特徴とする画像音声統合システム。
6. 前記オーディオ系格納手段から実行条件を伴う特殊コマンドが読み出された場合、当該コマンドの実行条件に対応する指定されたイベント通知と、前記オーディオ処理部に対して指示する音声再生処理とが対応付けられたテーブルを格納する記憶部をさらに有し、
   前記判定部は、前記グラフィック処理部からのイベント通知が前記記憶部に格納されたテーブルの前記特殊コマンドの実行条件に対応するイベント通知と一致した場合、前記オーディオ処理部に対して、前記特殊コマンドによって指定された音声再生処理の実行を指示することを特徴とする請求項５に記載された画像音声統合システム。
7. 前記イベント通知は、少なくとも画像データの転送処理終了、画像データの描画処理の終了および画像再生処理の開始のいずれか一つであることを特徴とする請求項５または６に記載された画像音声統合システム。
8. 前記特殊コマンドに伴う実行条件は複数設定されており、
   前記判定部は、前記グラフィック処理部からの少なくとも一つのイベント通知が前記記憶部に格納されたテーブルの前記特殊コマンドの複数の実行条件の全てと一致した場合、または、前記記憶部に格納されたテーブルの前記特殊コマンドの複数の実行条件のいずれかと一致した場合、前記オーディオ処理部に対して、前記特殊コマンドによって指定された音声再生処理の実行を指示することを特徴とする請求項５から７のいずれかに記載された画像音声統合システム。
9. 画像音声統合処理方法において、
   グラフィック系コマンドとして、特殊コマンドと汎用コマンドとがあり、前記特殊コマンドは、当該コマンドによって指定された再生処理を実行するための実行条件を伴うコマンドであって、前記汎用コマンドは、前記実行条件を伴わないコマンドであって、前記グラフィック系コマンドを発行するとともに、オーディオ系コマンドを発行するステップと、
   前記グラフィック系コマンドが汎用コマンドおよび特殊コマンドのいずれであるかを判定するステップと、
   前記グラフィック系コマンドが汎用コマンドの場合、当該コマンドによって指定された画像再生処理の実行を待機することなく実行するステップと、
   前記グラフィック系コマンドが特殊コマンドの場合、前記オーディオ系コマンドによって指定された音声再生処理が当該コマンドの前記実行条件を具備した場合に、当該コマンドによって指定された画像再生処理を実行するステップと
   を有することを特徴とする画像音声統合処理方法。
10. 画像音声統合処理方法において、
    オーディオ系コマンドとして、特殊コマンドと汎用コマンドとがあり、前記特殊コマンドは、当該コマンドによって指定された再生処理を実行するための実行条件を伴うコマンドであって、前記汎用コマンドは、前記実行条件を伴わないコマンドであって、前記オーディオ系コマンドを発行するとともに、グラフィック系コマンドを発行するステップと、
    前記オーディオ系コマンドが汎用コマンドおよび特殊コマンドのいずれであるかを判定するステップと、
    前記オーディオ系コマンドが汎用コマンドの場合、当該コマンドによって指定された音声再生処理を待機することなく実行するステップと、
    前記オーディオ系コマンドが特殊コマンドの場合、前記グラフィック系コマンドによって指定された画像再生処理が当該コマンドの前記実行条件を具備した場合に、当該コマンドによって指定された音声再生処理を実行するステップと
    を有することを特徴とする画像音声統合処理方法。

Images