JP3521461B2 - 複数の周期的なメディアデータの処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば、一定の周期で
Ｖ−ＲＡＭに展開される画像データと、その周期より短
い周期で出力処理される音声波形データなどの、複数の
周期的なメディアデータを混在させて処理する技術に関
する。

【０００２】

【従来の技術及び発明が解決しようとする課題】近年で
は、マルチメディア技術の発達により、例えば電子楽器
において、楽音の発音機能と画像の表示機能を同時に具
備するシステムが多く存在する。

【０００３】この場合に、例えばＲＯＭなどから読み出
され又は演算により生成される画像データについて、そ
の表示が行われるために、例えば１／６０ｓｅｃ（秒）
の一定周期で１走査線おきの半画面分（これをフィール
ドと呼ぶ）の画像データがビデオＲＡＭ（Ｖ−ＲＡＭ）
に転送され、１／３０ｓｅｃで全走査線分即ち２フィー
ルド１画面分の画像データがＶ−ＲＡＭに転送される必
要がある。このような１フィールド分の画像データを単
位とする転送動作は、一般に、１／６０ｓｅｃ毎に垂直
ブランキング期間に同期して発生するタイマインタラプ
トによって起動され、その垂直ブランキング期間内に完
了する必要がある。ここで、垂直ブランキング期間は、
走査線の数に依存するが、例えば１〜３ｍｓｅｃ程度で
ある。

【０００４】一方、音声波形データは、例えばそのサン
プリング周波数を２０ｋＨｚとすれば、１／２００００
＝０．０５ｍｓｅｃの一定周期（サンプリング周期）に
１サンプルの割合で生成され出力される必要がある。こ
のような処理動作は、一般的に、０．０５ｍｓｅｃ毎に
発生するタイマインタラプトによって起動され、そのサ
ンプリング周期内に完了する必要がある。

【０００５】ここで、上述のような一般的なインタラプ
トによる画像データの転送処理と音声波形データの生成
・出力処理とを単純に組み合せて画像の表示と音声の出
力を同時に行わせようとした場合において、両者のイン
タラプトが競合した際には必然的に何れか一方のインタ
ラプトを優先させる必要があるが、その場合に以下のよ
うな問題が発生する。

【０００６】まず、画像データのためのインタラプトを
優先させた場合、その転送処理が行われている垂直ブラ
ンキング期間において音声波形データのためのインタラ
プトが禁止されることになり、その期間音声の出力がと
ぎれてしまうという問題が発生する。

【０００７】一方、音声波形データのためのインタラプ
トを優先させた場合、画像データの転送処理が行われて
いる垂直ブランキング期間においても０．０５ｍｓｅｃ
毎に音声波形データのためのインタラプトが発生しその
都度画像データの転送処理が中断されてしまう。この結
果、半画面分の画像データの転送を１つの垂直ブランキ
ング期間内に完了できなくなるおそれがあり、そのよう
な事態が発生した場合には画像の表示が乱れてしまうと
いう問題が発生する。

【０００８】更に、近年では、ＲＯＭなどから音声波形
データを読み出して出力する音声波形データ処理方式が
多く採用されているが、その場合に、ＲＯＭなどに記憶
されている音声波形データに対して圧縮処理が施されて
いる場合が多い。そのような場合には、音声波形データ
の処理時に、ＲＯＭから圧縮された音声波形データを読
み出した後、その音声波形データを復調することにより
元の音声波形データを再生して出力する必要が生ずる。
このような圧縮・復調方式のうち圧縮度の高いものとし
て、例えばＡＣＯＭＰ（Ａｕｄｉｏ ＣＯＭＰｒｅｓｓ
ｉｏｎ）処理方式、ＦＦＴ（高速フーリエ変換）やＤＣ
Ｔ（離散コサイン変換）を用いた周波数次元での処理方
式などが知られている。このような圧縮・復調方式で
は、複数サンプルを単位として処理を行う場合が多く、
復調処理においては複数サンプリング周期にわたって複
数サンプル分を一度に復調する必要がある場合が多い。

【０００９】従って、このような圧縮・復調方式が採用
される音声波形データは、その出力処理時には、０．０
５ｍｓｅｃというようなサンプリング周期より長い１０
〜２０ｍｓｅｃに複数サンプルというような割合で処理
される必要がある。この場合に、上述の処理は、１０〜
２０ｍｓｅｃ毎に発生するタイマインタラプトによって
起動され、その周期内に完了する必要がある。なお、こ
のようにして得られた複数サンプルの音声波形データ
は、バッファに保持された後、サンプリング周期毎にＤ
／Ａ変換器などに出力されることになる。

【００１０】そして、上述のような圧縮・復調方式が採
用される音声波形データの出力処理が前述した画像デー
タの転送処理と混在させられる場合において、音声波形
データのためのインタラプトが優先させられた場合に
は、画像データの転送処理が禁止される期間が更に長く
なるため、画像表示の乱れが増大してしまうという問題
が発生する。

【００１１】以上のような問題は、画像データのＶ−Ｒ
ＡＭへの展開処理と音声波形データの出力処理が混在さ
せられる場合に限られるものではなく、複数の周期的な
メディアデータを混在させて処理する場合に、一般的に
発生する可能性がある。

【００１２】本発明の課題は、混在する複数の周期的な
メディアデータに対する精度が良くかつ効率的な処理を
可能とすることにある。

【００１３】

【課題を解決するための手段】本発明は、それぞれ任意
の処理周期で処理を行うメディアデータの処理装置を前
提とする。より具体的には、例えば表示用の画像データ
を記憶する表示用画像データ記憶手段（Ｖ−ＲＡＭ１０
６）と、出力用の音声波形データを記憶する出力用音声
波形データ記憶手段（ソフトバッファ１１３、ハードバ
ッファ１０８）とを有するシステムであって、表示用画
像データ記憶手段への表示用の画像データの設定処理を
画像データの表示周期で行い、出力用音声波形データ記
憶手段への出力用の音声波形データの設定をその音声波
形データに対応するサンプリング周期の複数周期を単位
として行うようなものである。

【００１４】そして、まず、第 1 のモードにおいて、メ
ディアデータの処理周期のうち最長処理周期で、その最
長処理周期に対応するメディアデータを処理する第１の
最長処理周期メディアデータ処理手段を有する。この手
段は、より具体的には、第１のモード（音声波形データ
の処理を行う場合）において、画像表示における垂直ブ
ランキング期間に同期する所定タイミング毎（１／６０
ｓｅｃ毎）に、垂直ブランキング期間において表示用画
像データ記憶手段に表示用の画像データを設定する第１
の表示用画像データ設定手段（ＣＰＵ１０１、ＶＤＰ１
０５）である。

【００１５】その後、最長処理周期の残りの時間内で、
その最長処理周期に対応するメディアデータ以外のメデ
ィアデータにつき、そのメディアデータに対応する処理
周期の複数周期分を処理する非最長処理周期メディアデ
ータ処理手段を有する。この手段は、より具体的には、
前述の所定タイミング毎に、第１の表示用画像データ設
定手段の動作が終了後、出力用音声波形データ記憶手段
に出力用の音声波形データを複数設定する出力用音声波
形データ設定手段（ＣＰＵ１０１）である。この場合
に、出力用音声波形データ設定手段は、例えば、圧縮さ
れた音声波形データに対して復調処理を実行することに
より、出力用の音声波形データを生成し、それを出力用
音声波形データ記憶手段に設定する。さらに、第 2 のモ
ードにおいて、前述の最長処理周期に対応するメディア
データを処理する第２の最長処理周期メディアデータ処
理手段を有する。この手段は、より具体的には、第２の
モード（音声波形データの処理を行わない場合）におい
て、前述の所定タイミング毎に、前述の垂直ブランキン
グ期間において表示用画像データ記憶手段に表示用の画
像データを設定する第２の表示用画像データ設定手段
（ＶＤＰ１０５）である。

【００１６】

【作用】処理周期が長い方のメディアデータに対する周
期処理は保証するようにし、残りの時間で、周期が短い
方のメディアデータに対する周期処理を複数周期分まと
めて行うことにより、メディアデータ間で周期処理の衝
突を避けることができ、各メディアデータの欠落を防止
できる。

【００１７】より具体的には、処理周期が長い方の表示
用の画像データの表示用画像データ記憶手段への設定処
理は、例えば１／６０ｓｅｃ毎に実行される垂直ブラン
キング期間内で実行されることを保証することができ
る。また、処理周期が短い方の出力用の音声波形データ
の出力用音声波形データ記憶手段への設定処理は、１／
６０ｓｅｃのうちの垂直ブランキング期間を除いた残り
の時間内で複数サンプル分まとめて行い、その後に、出
力用音声波形データ記憶手段から音声波形データに対応
するサンプリング周期で各音声波形データを出力させる
ことにより、必要かつ十分な量の音声波形データの設定
を行うことができる。

【００１８】

【実施例】以下、図面を参照しながら本発明の実施例に
つき詳細に説明する。 ＜実施例の構成と概略動作＞図１は、本発明の実施例の
構成図である。この実施例は、例えば電子鍵盤楽器とし
て実現されている。

【００１９】ＣＰＵ１０１は、それが内蔵するプログラ
ムを実行する。これにより、ＣＰＵ１０１は、まず、バ
ス１１２を介して接続されているスイッチ部１０２内の
各種機能スイッチと鍵盤スイッチの状態を走査して取り
込み、各状態に応じた処理を実行する。

【００２０】また、ＣＰＵ１０１は、スイッチ部１０２
の操作状態に応じて、音声波形データの発音が指示され
ている場合には、１／６０ｓｅｃ毎に表示部１０７での
画像表示における垂直ブランキング期間に同期して発生
するタイマインタラプト１に対応して、後述するメイン
ルーチンにインタラプトをかけ、後述するインタラプト
ルーチン１を起動する。ＣＰＵ１０１は、メインルーチ
ンの処理を中断した後に、インタラプトルーチン１にお
いて、まず、先頭の垂直ブランキング期間で、画像デー
タＲＯＭ１０４に記憶されている画像データのうちスイ
ッチ部１０２内の機能スイッチによって指定された画像
データの１フィールド分を、バス１１２からＶＤＰ（ビ
デオデータプロセッサ）１０５を介してＶ−ＲＡＭ（ビ
デオＲＡＭ）１０６に転送する。その後、ＣＰＵ１０１
は、音声波形ＲＯＭ１０３から、スイッチ部１０２内の
機能スイッチにより音色が選択され鍵盤スイッチにより
発音指示された音声波形データに対応するＡＣＯＭＰ
（Ａｕｄｉｏ ＣＯＭＰｒｅｓｓｉｏｎ）圧縮データを
読み出し、そのデータに対してＡＣＯＭＰ復調処理を実
行することにより、ＣＰＵ１０１が内蔵する４４８バイ
トの記憶容量を有するＲＡＭであるソフトバッファ１１
３に、復調された音声波形データを書き込んでゆく。こ
の場合、ＣＰＵ１０１は、１回のインタラプトルーチン
１に対応して、１発音動作分のＡＣＯＭＰ圧縮データが
残っている限り、かつソフトバッファ１１３に新たな音
声波形データを書き込む余裕がある限り、上述した処理
を実行する。ＣＰＵ１０１は、インタラプトルーチン１
の処理を終了すると、中断していたメインルーチンの処
理を再開する。

【００２１】一方、ハードバッファ１０８はＣＰＵ１０
１内のソフトバッファ１１３から音声波形データを６４
バイトずつ受け取り、それらをサンプリング周期毎に順
次Ｄ／Ａ変換器１０９に出力する。Ｄ／Ａ変換器１０９
から出力されるアナログ音声波形信号は、アンプ１１０
で増幅された後、スピーカ１１１から音声（楽音）とし
て放音される。ハードバッファ１０８は、出力すべき音
声波形データがなくなると、ＣＰＵ１０１にインタラプ
トをかける。ＣＰＵ１０１は、ハードバッファ１０８か
らインタラプトがかかると、現在実行中の処理を中断し
て、最優先でインタラプトルーチン２を起動する。ＣＰ
Ｕ１０１は、このルーチンにおいて、ソフトバッファ１
１３内の最も古い６４バイトの音声波形データをハード
バッファ１０８に転送する。このインタラプトルーチン
２は、前述したインタラプトルーチン１に対しても優先
して実行される。従って、ＣＰＵ１０１は、インタラプ
トルーチン１において画像データの転送を行っている途
中でも、それを中断してソフトバッファ１１３からハー
ドバッファ１０８への音声波形データの転送処理を行
う。ＣＰＵ１０１は、インタラプトルーチン２の処理を
終了すると、中断していたメインルーチン又はインタラ
プトルーチン１の処理を再開する。

【００２２】なお、ＣＰＵ１０１は、スイッチ部１０２
の操作状態に応じて、音声波形データの発音が指示され
ていない場合は、上述の画像データの転送処理と音声波
形データの復調処理、及びハードバッファ１０８からの
インタラプトに基づくインタラプトルーチン２の処理は
実行せず、メインルーチンの処理のみを実行する。この
場合、ＣＰＵ１０１は、以下に説明するＶＤＰ１０５か
らのインタラプト要求のみを受け付ける。

【００２３】ＶＤＰ１０５は、スイッチ部１０２の操作
状態に応じて、音声波形データの発音が指示されていな
い場合には、１／６０ｓｅｃ毎に表示部１０７での画像
表示における垂直ブランキング期間に同期して発生する
前述したタイマインタラプト１に対応して、ＣＰＵ１０
１にインタラプト要求を発生する。ＣＰＵ１０１は、こ
のインタラプト要求を受け取ると、メインルーチンの処
理を中断し、ＶＤＰ１０５にインタラプト許可を出力し
た後に、自分自身の動作を停止する。ＶＤＰ１０５は、
ＣＰＵ１０１からインタラプト許可を受け取ると、画像
データＲＯＭ１０４に記憶されている画像データのうち
スイッチ部１０２内の機能スイッチによって指定された
画像データの１フィールド分を、バス１１２を介してＶ
−ＲＡＭ（ビデオＲＡＭ）１０６にＤＭＡ（ダイレクト
メモリアクセス）転送する。その後、ＶＤＰ１０５は、
ＣＰＵ１０１に転送終了信号である動作停止解除信号を
出力する。この結果、ＣＰＵ１０１は、中断していたメ
インルーチンの処理を再開する。

【００２４】また、ＶＤＰ１０５は、１／６０ｓｅｃ毎
に表示部１０７での画像表示における垂直ブランキング
期間が終了するタイミングに同期して発生するタイマイ
ンタラプト２に対応して、次のタイマインタラプト１の
発生タイミングまでの間に、画像データＲＯＭ１０４か
らＶ−ＲＡＭ１０６に転送された１フィールド分の画像
データを順次ＲＧＢ信号に変換した後、信号線１１４を
介して表示部１０７に出力する。 ＜メインルーチンの説明＞図２は、図１のＣＰＵ１０１
において実行されるメインルーチンの動作フローチャー
トである。

【００２５】始めに、装置の電源が投入されると、ステ
ップ２０１において、ＣＰＵ１０１に内蔵される特には
図示しないＲＡＭ及びレジスタの内容などがイニシャラ
イズされる。

【００２６】以後、ステップ２０２〜２０６の各処理が
繰り返し実行される。ステップ２０２の機能スイッチの
スキャン処理では、図１のスイッチ部１０２内のスイッ
チのうち、音色指定スイッチ、画像指定スイッチなどの
機能キーの設定状態が走査され、その設定状態がＣＰＵ
１０１内の特には図示しないＲＡＭなどに取り込まれ
る。

【００２７】ステップ２０３では、ステップ２０２での
機能スイッチのスキャン結果に基づいて、音色指定スイ
ッチ、画像指定スイッチなどの各機能キーの設定に対応
する処理が実行される。具体的には、音声波形ＲＯＭ１
０３及び画像データＲＯＭ１０４の読出しアドレスを決
定し、ＣＰＵ１０１内の特には図示しないレジスタに設
定する処理などが実行される。

【００２８】ステップ２０４の鍵盤スイッチのスキャン
処理では、スイッチ部１０２内の特には図示しない鍵盤
スイッチの押鍵状態が走査され、その押鍵状態がＣＰＵ
１０１内の特には図示しないＲＡＭなどに取り込まれ
る。

【００２９】ステップ２０５では、ステップ２０４での
検出された鍵盤スイッチの押鍵状態に対応して、ＣＰＵ
１０１内の特には図示しないＲＡＭに設けられる発音制
御データ領域に必要な発音制御データが設定される。

【００３０】ステップ２０６のその他各種処理では、種
々の音響効果を付加するための処理などが実行される。 ＜インタラプトルーチン１の説明＞図３は、ＣＰＵ１０
１が実行するインタラプトルーチン１の動作フローチャ
ートである。

【００３１】インタラプトルーチン１は、ＣＰＵ１０１
内の特には図示しないタイマによって１／６０ｓｅｃ毎
に表示部１０７での画像表示における垂直ブランキング
期間に同期して発生させられるタイマインタラプト１に
対応して起動される。

【００３２】図２のメインルーチンの処理が中断させら
れた後に、図３に示されるインタラプトルーチン１にお
いて、まず、ステップ３０１で、現在音声（楽音）を発
音中であるか否かが判定される。この動作は、例えば、
ＣＰＵ１０１内の特には図示しないＲＡＭに設けられる
発音制御データ領域に、発音中を示すデータが存在する
か否かを判定する動作として実現される。

【００３３】現在音声を発音中ではなくステップ３０１
の判定がＮＯの場合には、即座にインタラプトルーチン
１が終了し、実質的な処理は何も行われずに、中断させ
られていた図２のメインルーチンの処理が再開される。
この場合には、後述するようにＶＤＰ１０５が実行する
ＤＭＡ転送インタラプトルーチンによって、画像データ
の転送処理が実行される。

【００３４】現在音声を発音中でステップ３０１の判定
がＹＥＳの場合には、ステップ３０２で、先頭の垂直ブ
ランキング期間において（後述する図９参照）、画像デ
ータＲＯＭ１０４に記憶されている画像データのうちス
イッチ部１０２内の機能スイッチによって指定された画
像データの１フィールド分が、バス１１２からＶＤＰ１
０５を介してＶ−ＲＡＭ（ビデオＲＡＭ）１０６に転送
される。

【００３５】その後、ステップ３０３〜３０８におい
て、音声波形ＲＯＭ１０３から、スイッチ部１０２内の
機能スイッチにより音色が選択され鍵盤スイッチにより
発音指示された音声波形データに対応するＡＣＯＭＰ圧
縮データが読み出され、そのデータに対してＡＣＯＭＰ
復調処理が実行されることにより、ＣＰＵ１０１が内蔵
する４４８バイトの記憶容量を有するＲＡＭであるソフ
トバッファ１１３に、復調された音声波形データが書き
込まれてゆく。

【００３６】ステップ３０３〜３０８のＡＣＯＭＰ復調
処理につき、図７及び図８を用いながら説明する。ま
ず、図７は、図１の音声波形ＲＯＭ１０３に記憶される
ＡＣＯＭＰ圧縮データの構成図である。

【００３７】バイト（８ビット）単位で記憶されるデー
タ列のうち、まず、先頭バイトのビットｂ₆ 〜ｂ₀ に
は、元音声波形データの先頭のサンプル値の上位７ビッ
トの値が記憶される。この場合に、最上位ビットｂ₇ に
は、そのバイトに元音声波形データが記憶されているこ
とを示すフラグ１が立てられる。このように元音声波形
データが記憶されているバイトデータをＲＥＳＹＮＣ処
理部という。

【００３８】２バイト目以降は、本実施例の場合、１バ
イトのヘッダ部と４バイトの圧縮データ部とからなる、
５バイトを単位（この単位をフレームと呼ぶ）とするデ
ルタ変調部、前述の１バイトのデータからなるＲＥＳＹ
ＮＣ処理部、又は後述する１バイトのデータからなるス
ケルチ処理部のうちの、何れかのデータ列が続く。

【００３９】図７の例では、１バイト目のＲＥＳＹＮＣ
処理部に続いて、デルタ変調部が配置されている。この
デルタ変調部は、元音声波形データをデルタ変調方式に
よって圧縮した結果得られるデータ群である。

【００４０】デルタ変調方式とは、現在のサンプル値と
１サンプル前のサンプル値との差分を、所定のデルタ変
調値によって表現する方式である。即ち、復調時には、
１サンプル前のサンプル値に現在のデルタ変調値が加算
されることにより、現在のサンプル値が復調される。

【００４１】図７に示されるデルタ変調部において、ま
ず、ヘッダ部のビットｂ₅ とｂ₄ の２ビットのデータは
ビット精度を表している。図８(a) に示されるように、
ビット精度の値が０１なら１ビットデルタ変調、ビット
精度の値が１０なら２ビットデルタ変調、ビット精度の
値が１１なら４ビットデルタ変調が、それぞれ行われ
る。そして、このデルタ変調部において１ビットデルタ
変調が行われるなら、図７の圧縮データ部の３２ビット
の圧縮データ値から後述するようにして算出される３２
個のデルタ変調値により、３２サンプル分のサンプル値
が復調される。また、このデルタ変調部において２ビッ
トデルタ変調が行われるなら、図７の圧縮データ部の２
ビットごと１６（３２ビット／２＝１６）個の圧縮デー
タ値から後述するようにして算出される１６個のデルタ
変調値により、１６サンプル分のサンプル値が復調され
る。更に、このデルタ変調部において４ビットデルタ変
調が行われるなら、図７の圧縮データ部の４ビットごと
８（３２ビット／４＝８）個の圧縮データ値から後述す
るようにして算出される８個のデルタ変調値により、８
サンプル分のサンプル値が復調される。

【００４２】次に、ヘッダ部のビットｂ₃ 〜ｂ₀ の４ビ
ットのデータは、乗算値を示している。そして、復調時
には、この乗算値と、ビット精度に応じて図７の圧縮デ
ータ部から抽出される圧縮データ値とから、図８(b) に
示される変換規則によって、デルタ変調値が算出され
る。 このようにしてデルタ変調部から算出されるデル
タ変調値が、１サンプル前に得られているサンプル値
（初期値はＲＥＳＹＮＣ処理部の元音声波形データ）に
順次加算されることにより、現在のサンプル値が復調さ
れる。

【００４３】圧縮時には、３２サンプル、１６サンプ
ル、又は８サンプルを単位として、各サンプルを最適に
表現可能なビット精度、乗算値、及び各圧縮データ値が
算出されることになる。

【００４４】ここで、デルタ変調部のヘッダ部のビット
ｂ₇ とｂ₆ には、それらのビットが含まれるバイトと次
以降の４バイトがデルタ変調部のデータであることを示
す識別フラグ００がセットされる。従って、復調時に、
図３のステップ３０４で、ビットｂ₇ とｂ₆ が共に０で
あるバイトが検出された場合には、ステップ３０７にお
いて、そのバイトとその次以降の４バイトとからなる計
５バイトのデルタ変調部に対して、フレームサイズ分
（３２、１６、又は８サンプル分）の音声波形データが
復調され、それらがＣＰＵ１０１内のソフトバッファ１
１３に書き込まれる。

【００４５】上述のようにデルタ変調が続けられると、
元音声波形データと復調された音声波形データとの誤差
が所定の範囲を越え、この復調された音声波形データか
ら再生される音声の音質に悪影響を及ぼす場合が発生す
る。そこで、圧縮時に、元音声波形データと復調された
音声波形データとの誤差が所定の範囲を越えた場合に
は、デルタ変調が中止され、先頭の１バイト目と同様
に、１バイトのＲＥＳＹＮＣ処理部が挿入され、そこに
元音声波形データが記憶される。これにより、誤差の蓄
積を抑制することができる。このとき、前述したよう
に、ＲＥＳＹＮＣ処理部である１バイトの最上位ビット
ｂ₇ には、そのバイトがＲＥＳＹＮＣ処理部であること
を示すフラグ１が立てられる。従って、復調時に、図３
のステップ３０４で、ビットｂ₇ が１であるバイトが検
出された場合には、ステップ３０５において、そのバイ
トのビットｂ₆ 〜ｂ₀ から抽出されたデータ値が２倍、
即ち１ビット左シフトの演算が実行されることによっ
て、元音声波形データが復調され、それがＣＰＵ１０１
内のソフトバッファ１１３に書き込まれる。

【００４６】一方、連続する元音声波形データのサンプ
ル値の変化が、復調された音声波形データから再生され
る音声の音質に影響を及ぼさない程度の許容範囲内であ
る場合には、それらの連続する複数のサンプル値が先頭
の１つのサンプル値に置き換えられる。この場合には、
図７に示されるスケルチ処理部が挿入される。このスケ
ルチ処理部のビットｂ₅ 〜ｂ₀ には、そのスケルチ処理
部の直前に求まっているサンプル値と同じサンプル値を
何回繰り返し復調するかを示すリピート回数が記憶され
る。このリピート回数は、最大で２⁶ −１＝６３回であ
る。また、スケルチ処理部のビットｂ₇ とｂ₆ には、そ
れらのビットが含まれるバイトがスケルチ処理部のデー
タであることを示す識別フラグ０１がセットされる。従
って、復調時に、図３のステップ３０４で、ビットｂ₇
が０でビットｂ₆ が１であるバイトが検出された場合に
は、ステップ３０６において、そのバイトから抽出され
るリピート回数分だけ、そのバイトの直前に求まってい
るサンプル値と同じサンプル値を有する音声波形データ
が繰り返し復調され、それらがＣＰＵ１０１内のソフト
バッファ１１３に書き込まれる。

【００４７】以上のように、ＡＣＯＭＰ方式では、元音
声波形データの状態に応じて、ＲＥＳＹＮＣ処理、デル
タ変調処理、又はスケルチ処理の何れかの圧縮処理が選
択されてＡＣＯＭＰ圧縮データが作成されているため、
音質が良くかつ非常に効率の高い音声波形データの圧縮
が実現される。

【００４８】図３において、ステップ３０８では、音声
波形ＲＯＭ１０３に記憶されている１発音分のＡＣＯＭ
Ｐ圧縮データ群の全てのデータの復調が完了したか否か
が判定される。そして、このステップ３０８の判定がＮ
Ｏなら、ステップ３０３に戻る。

【００４９】ステップ３０３では、ＣＰＵ１０１内のソ
フトバッファ１１３に音声波形データを格納する余裕が
あるか否かが判定される。そして、このステップ３０３
の判定がＹＥＳなら、上述したステップ３０４〜３０７
のＡＣＯＭＰ復調処理が繰り返される。

【００５０】音声波形ＲＯＭ１０３に記憶されている１
発音分のＡＣＯＭＰ圧縮データ群の全てのデータの復調
が完了しステップ３０８の判定がＹＥＳの場合、又はソ
フトバッファ１１３に音声波形データを格納する余裕が
なくなりステップ３０３の判定がＮＯの場合には、ＣＰ
Ｕ１０１は、インタラプトルーチン１を終了する。ＣＰ
Ｕ１０１は、インタラプトルーチン１の処理を終了する
と、中断していた図２のメインルーチンの処理を再開す
る。 ＜インタラプトルーチン２の説明＞図４は、ＣＰＵ１０
１が実行するインタラプトルーチン２の動作フローチャ
ートである。

【００５１】インタラプトルーチン２は、ハードバッフ
ァ１０８において、それが出力すべき音声波形データが
なくなり、ハードバッファ１０８がＣＰＵ１０１にイン
タラプトをかけることにより、起動される。

【００５２】ＣＰＵ１０１は、上述のインタラプトを検
出すると、図２のメインルーチン又は図３のインタラプ
トルーチン１の処理を中断した後に、図４に示されるイ
ンタラプトルーチン２のステップ４０１において、ソフ
トバッファ１１３内の最も古い６４バイトの音声波形デ
ータをハードバッファ１０８に転送する。このインタラ
プトルーチン２は、前述したように、図３のインタラプ
トルーチン１に対しても優先して実行される。従って、
ＣＰＵ１０１は、図３のステップ３０２で画像データの
転送を行っている途中でも、それを中断してソフトバッ
ファ１１３からハードバッファ１０８への音声波形デー
タの転送処理を行う。

【００５３】以上の処理は、１サンプリング周期内に完
了するため、ハードバッファ１０８は、任意のサンプリ
ング周期において出力すべき音声波形データがなくなっ
たことを認識した後そのサンプリング周期が終了するま
での間に、ソフトバッファ１１３から新たな６４バイト
の音声波形データを受け取り、そのうちの最も古い音声
波形データのサンプルをＤ／Ａ変換器１０９に出力する
ことができる。

【００５４】ＣＰＵ１０１は、図４のインタラプトルー
チン２の処理を終了すると、中断していた図２のメイン
ルーチン又は図３のインタラプトルーチン１の処理を再
開する。

【００５５】なお、ハードバッファ１０８は、ＣＰＵ１
０１からの音声を発音中である旨の制御信号がインアク
ティブになった場合には、出力すべき音声波形データが
なくなっても、ＣＰＵ１０１に対してインタラプトは発
生させない。 ＜ＤＭＡ転送インタラプトルーチンの説明＞図５は、Ｖ
ＤＰ１０５が実行するＤＭＡ転送インタラプトルーチン
の動作フローチャートである。

【００５６】ＤＭＡ転送インタラプトルーチンは、前述
したインタラプトルーチン１の場合と同様に、１／６０
ｓｅｃ毎に垂直ブランキング期間に同期して発生させら
れるタイマインタラプト１に対応して起動される。

【００５７】ＶＤＰ１０５において今まで実行されてい
た特には図示しない待機ルーチンの処理が中断させられ
た後に、図５に示されるＤＭＡ転送インタラプトルーチ
ンにおいて、まず、ＶＤＰ１０５は、ステップ５０１
で、現在音声（楽音）が発音中であるか否かを判定す
る。この判定は、例えばＣＰＵ１０１からセット又はリ
セットされる発音中フラグを判定する動作として実現さ
れる。

【００５８】現在音声を発音中でステップ５０１の判定
がＹＥＳの場合には、即座にＤＭＡ転送インタラプトル
ーチンが終了し、実質的な処理は何も行われずに、中断
させられていた特には図示しない待機ルーチンの処理が
再開される。この場合には、前述したように、ＣＰＵ１
０１が実行するインタラプトルーチン１によって、画像
データの転送処理が実行される。

【００５９】このように、音声を発音中はＣＰＵ１０１
が画像データの転送処理を実行し、音声を発音中でない
場合はＶＤＰ１０５が画像データの転送処理を実行する
ようにしたのは、次のような理由による。まず、ＶＤＰ
１０５によるＤＭＡ転送中には、他の機器からのインタ
ラプトはいっさい受け付けられない。しかし、音声を発
音中には前述したようにハードバッファ１０８から最優
先のインタラプトがかかる。そこで、画像データの転送
中にもそのインタラプトに反応できるようにするため
に、ＣＰＵ１０１が画像データの転送処理を行うことと
したのである。

【００６０】現在音声を発音中でなくステップ５０１の
判定がＮＯの場合には、ＶＤＰ１０５は、ステップ５０
２で、ＣＰＵ１０１にインタラプト要求を発生し、ステ
ップ５０３で、ＣＰＵ１０１からインタラプト許可が出
力されるまで待機する。

【００６１】ＣＰＵ１０１は、ＶＤＰ１０５から上述の
インタラプト要求を受け取ると、図２のメインルーチン
の処理を中断し、ＶＤＰ１０５にインタラプト許可を出
力した後に、自分自身の動作を停止する。

【００６２】ＶＤＰ１０５では、ＣＰＵ１０１からイン
タラプト許可を受け取ると、ステップ５０３の判定がＹ
ＥＳとなる。この結果、ＶＤＰ１０５は、ステップ５０
４において、画像データＲＯＭ１０４に記憶されている
画像データのうちスイッチ部１０２内の機能スイッチに
よって指定された画像データの１フィールド分を、バス
１１２を介してＶ−ＲＡＭ（ビデオＲＡＭ）１０６にＤ
ＭＡ転送する。

【００６３】その後、ＶＤＰ１０５は、ステップ５０５
で、ＣＰＵ１０１に転送終了信号である動作停止解除信
号を出力する。この結果、ＣＰＵ１０１は、中断してい
たメインルーチンの処理を再開する。 ＜画像表示インタラプトルーチンの説明＞図６は、ＶＤ
Ｐ１０５が実行する画像表示インタラプトルーチンの動
作フローチャートである。

【００６４】この画像表示インタラプトルーチンは、前
述した１／６０ｓｅｃ毎に垂直ブランキング期間に同期
して発生させられるタイマインタラプト１に対して、垂
直ブランキング期間の分だけ遅れたタイミングで発生す
るタイマインタラプト２に対応して、起動される。

【００６５】ＶＤＰ１０５において今まで実行されてい
た特には図示しない待機ルーチンの処理が中断させられ
た後、ＶＤＰ１０５は、図６に示される画像表示インタ
ラプトルーチンのステップ６０１において、次のタイマ
インタラプト１の発生タイミングまでの間に、画像デー
タＲＯＭ１０４からＶ−ＲＡＭ１０６に転送された１フ
ィールド分の画像データを順次ＲＧＢ信号に変換した
後、信号線１１４を介して表示部１０７に出力する。

【００６６】表示部１０７は、このＲＧＢ信号をエンコ
ードした後に表示部１０７内のＣＲＴディスプレイに出
力する。この結果、ＣＲＴは、１／６０ｓｅｃから垂直
ブランキング期間を除いた時間内に、１フィールド分の
画像データに対応する１画面の半分の走査線に対応する
画像表示を行う。そして、ＣＲＴは、１／６０ｓｅｃの
間に、このような処理を２回行うことによって、２フィ
ールド分の画像データに対応する１画面分の走査線に対
応する画像表示を行う。即ち、画面表示は、いわゆるイ
ンタレース方式に基づいて行われることになる。 ＜ソフトバッファ１１３の記憶容量の説明＞最後に、ソ
フトバッファ１１３に必要な記憶容量について、図９の
説明図に沿って説明する。

【００６７】今、音声波形データのサンプリング周期を
前述したように０．０５ｍｓｅｃとし、ハードバッファ
１０８の記憶容量をコスト等を考慮して例えば６４バイ
トとし、音声波形データの１サンプルを１バイトとす
る。

【００６８】この場合、ハードバッファ１０８が、６４
バイト全ての音声波形データを出力するのに要する時間
は、０．０５ｍｓｅｃ×６４サンプル＝３．２ｍｓｅｃ
となる。

【００６９】従って、図９に示されるように、ソフトバ
ッファ１１３への復調された音声波形データの書込みを
実行するインタラプトルーチン１の実行間隔＝１／６０
ｓｅｃの間に、ハードバッファ１０８からＣＰＵ１０１
に対して入力されるインタラプトの回数は、１／６０ｓ
ｅｃ／３．２ｍｓｅｃ≒５．２２回、即ち最大で６回で
ある。

【００７０】ゆえに、インタラプトルーチン１が１回実
行される間に、６４バイト×６回＝３８４バイトの復調
された音声波形データがソフトバッファ１１３に蓄積さ
れれば、ハードバッファ１０８においてサンプル値が不
足してしまう事態は防止できる。

【００７１】但し、例えば３８３バイトの復調された音
声波形データがソフトバッファ１１３に蓄積されている
状態で、前述したスケルチ処理（図３のステップ３０
６）が実行されることにより、最大で６３サンプルの音
声波形データが一度に復調されてしまう可能性を考慮す
ると、ソフトバッファ１１３に必要な記憶容量は、３８
３バイト＋６３バイト＝４４６バイトとなる。更に、こ
の値に近い４の倍数の値を採用すると、本実施例の場合
には、図９に示されるように、ソフトバッファ１１３の
最適な記憶容量は４４８バイトとした。 ＜他の実施例＞以上説明した実施例では、音声波形デー
タはＡＣＯＭＰ圧縮データから復調されるものであった
が、本発明はこれに限られるものではなく、様々な圧縮
方式によって圧縮されたデータから復調されるものであ
ってもよい。

【００７２】また、音声波形データは必ずしも圧縮され
たものである必要はない。加えて、ＣＰＵ１０１は、復
調された音声波形データをソフトバッファ１１３を介し
てハードバッファ１０８に出力するのではなく、ハード
バッファ１０８に直接出力するようにしてもよい。

【００７３】更に、本発明は、音声波形データと画像デ
ータの組合せに限定されるものではなく、相互に独立し
た周期で処理される複数のメディアデータを混在させて
制御する場合全てに適用することができる。

【００７４】

【発明の効果】本発明によれば、処理周期が長い方のメ
ディアデータに対する周期処理は保証するようにし、残
りの時間で、周期が短い方のメディアデータに対する周
期処理を複数周期分まとめて行うことにより、メディア
データ間で周期処理の衝突を避けることができ、各メデ
ィアデータの欠落を防止することが可能となる。

【００７５】より具体的には、画像データと音声波形デ
ータが混在して処理される場合において、処理周期が長
い方の表示用の画像データの表示用画像データ記憶手段
への設定処理は、例えば１／６０ｓｅｃ毎に実行される
垂直ブランキング期間内で実行されることを保証するこ
とが可能となる。また、処理周期が短い方の出力用の音
声波形データの出力用音声波形データ記憶手段への設定
処理は、１／６０ｓｅｃのうちの垂直ブランキング期間
を除いた残りの時間内で複数サンプル分まとめて行い、
その後に、出力用音声波形データ記憶手段から音声波形
データに対応するサンプリング周期で各音声波形データ
を出力させることにより、必要かつ十分な量の音声波形
データの設定を行うことが可能となる。

【図面の簡単な説明】

【図１】本発明の実施例の構成図である。

【図２】メインルーチンを示す動作フローチャートであ
る。

【図３】ＣＰＵが実行するインタラプトルーチン１を示
す動作フローチャートである。

【図４】ＣＰＵが実行するインタラプトルーチン２を示
す動作フローチャートである。

【図５】ＶＤＰが実行するＤＭＡ転送インタラプトルー
チンを示す動作フローチャートである。

【図６】ＶＤＰが実行する画像表示インタラプトルーチ
ンを示す動作フローチャートである。

【図７】ＡＣＯＭＰ圧縮データの構成図である。

【図８】デルタ変調処理のデータフォーマット図であ
る。

【図９】ソフトバッファの記憶容量の説明図である。

【符号の説明】

１０１ ＣＰＵ １０２ スイッチ部 １０３ 音声波形ＲＯＭ １０４ 画像データＲＯＭ １０５ ＶＤＰ １０６ Ｖ−ＲＡＭ １０７ 表示部 １０８ ハードバッファ １０９ Ｄ／Ａ変換器 １１０ アンプ １１１ スピーカ １１２ バス １１３ ソフトバッファ １１４ 信号線

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10H 1/00 H04N 5/93

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 それぞれ任意の処理周期で処理を行うメ
   ディアデータの処理装置において、第 1 のモードにおいて、 前記メディアデータの処理周期
   のうち最長処理周期で、該最長処理周期に対応するメデ
   ィアデータを処理する第 1 の最長処理周期メディアデー
   タ処理手段と、 その後、前記最長処理周期の残りの時間内で、前記最長
   処理周期に対応するメディアデータ以外のメディアデー
   タにつき、該メディアデータに対応する処理周期の複数
   周期分を処理する非最長処理周期メディアデータ処理手
   段と、第 2 のモードにおいて、前記最長処理周期に対応するメ
   ディアデータを処理する第２の最長処理周期メディアデ
   ータ処理手段と、 を有することを特徴とする複数の周期的なメディアデー
   タの処理装置。
2. 【請求項２】 表示用の画像データを記憶する表示用画
   像データ記憶手段と、 出力用の音声波形データを記憶する出力用音声波形デー
   タ記憶手段と、第 1 のモードにおいて、 画像表示における垂直ブランキ
   ング期間に同期する所定タイミング毎に、前記垂直ブラ
   ンキング期間において前記表示用画像データ記憶手段に
   前記表示用の画像データを設定する第 1 の表示用画像デ
   ータ設定手段と、 前記所定タイミング毎に、前記第 1 の表示用画像データ
   設定手段の動作が終了後、前記出力用音声波形データ記
   憶手段に前記出力用の音声波形データを複数設定する出
   力用音声波形データ設定手段と、第２のモードにおいて、前記所定タイミング毎に、前記
   垂直ブランキング期間において前記表示用画像データ記
   憶手段に前記表示用の画像データを設定する第２の表示
   用画像データ設定手段と、 前記表示用画像データ記憶手段に設定された前記表示用
   の画像データを表示する画像データ表示手段と、 前記出力用音声波形データ記憶手段に設定された前記出
   力用の音声波形データを該音声波形データに対応するサ
   ンプリング周期毎に出力する音声波形データ出力手段
   と、 を有することを特徴とする複数の周期的なメディアデー
   タの処理装置。
3. 【請求項３】 前記出力用音声波形データ設定手段は、
   圧縮された音声波形データに対して復調処理を実行する
   ことにより、前記出力用の音声波形データを生成し、前
   記出力用音声波形データ記憶手段に設定する、 ことを特徴とする請求項２記載の複数の周期的なメディ
   アデータの処理装置。