JPH0575974A - 情報処理方法及びその装置 - Google Patents

Abstract

(57)【要約】 【目的】 より違和感のない音声及び動画像再生を実現
する。 【構成】 磁気ディスクドライブ４からメインメモリ２
に読み込まれた音声及び画像データをぞれぞれデイスプ
レイインタフェース７及び音声インタフェース９を通し
てＣＲＴ８及びスピーカ１０に再生出力する。このと
き、１ファイル当たりの処理時間が１２５（ｍｓ）以下
であるかどうかを調べる。もし、処理時間が１２５（ｍ
ｓ）以上となるなら、画像データの再生処理をスキップ
し音声データの再生処理のみを実行するよう制御する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は情報処理方法及びその装
置に関し、特に、音声と動画像を再生する情報処理方法
及びその装置に関する。

【０００２】

【従来の技術】現在のコンピュータシステム（以下、シ
ステムという）は、より人間の感覚に近いインタフェー
スを備えたものが求められており、特に、動画像（動態
視認）と音声（聴覚）によって情報を人間に伝達する機
能を持ったシステムが望まれている。このような動画像
や音声の情報を、より自然に伝達するには、これらをな
るべく連続的に再生することが重要となる。

【０００３】

【発明が解決しようとする課題】しかしながら、システ
ムの処理能力は限られているため、種々の要因（内部的
及び／或は外部的な要因）によって特定の処理に時間を
要し、画像及び音声の再生が本来予定している時間内に
処理できない場合がある。例えば、複数プログラムが同
時実行されるマルチタスク処理を行うシステムでは、動
画像及び音声の再生処理を行うプログラムに常に高い優
先権が与えられているとは限らないため、より高い優先
権を持ったプログラムが処理に時間の要するものである
と、動画像及び音声再生が一時的に停止してしまう場合
がある。あるいは、仮想記憶アーキテクチュアを採用し
たシステムでは、メインメモリに存在するデータやプロ
グラムに対してアクセスを行って処理を実行する速度が
十分であっても、速度の遅い外部記憶装置にアクセスを
行うデータスワッピングが発生した時には十分な処理速
度が確保できない場合がある。

【０００４】このように従来のシステムでは、動画像及
び音声の再生に要求される処理速度に対してシステムの
処理速度が間に合わなくなった場合、これがそのまま動
画像及び音声再生の一時停止という形で現れ、情報再生
の終了時間が本来の終了予定時間から遅れてしまうとい
う問題があった。また、このような現象は情報の視聴者
に違和感を与えるものとなっていた。

【０００５】本発明は上記従来例に鑑みてなされたもの
で、できる限り違和感を与えないように動画像及び音声
の情報を再生する情報処理方法及びその装置を提供する
ことを目的としている。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に本発明の情報処理方法は、以下のような工程からな
る。即ち、記録媒体に格納された音声データ及び画像デ
ータを再生して、それぞれ音声出力と画像表示を行う情
報処理方法であって、前記記録媒体から前記音声データ
及び前記画像データを入力する入力工程と、前記音声デ
ータ及び前記画像データを再生して、それぞれ音声出力
と画像表示を行う再生出力工程と、前記音声データ及び
前記画像データの再生開始を契機として時間を計測する
計測工程と、前記計測工程において計測された時間と所
定の時間とを比較し、前記比較結果に基づいて前記画像
データの再生を抑止する制御工程とを有することを特徴
とする情報処理方法を備える。また他の発明によれば、
音声データ及び画像データを再生して、それぞれ音声出
力と画像表示を行う情報処理装置であって、前記音声デ
ータ及び前記画像データを格納する記憶手段と、前記音
声データ及び前記画像データを前記記憶手段から入力す
る入力手段と、前記音声データ及び前記画像データの再
生開始を契機として時間を計測する計測手段と、前記音
声データ及び前記画像データを再生して、それぞれ音声
出力と画像表示を行う再生出力手段と、前記計測手段に
よって計測された時間と所定の時間とを比較し、前記比
較結果に基づいて前記画像データの再生を抑止するよう
制御する制御手段とを有することを特徴とする情報処理
装置を備える。

【０００７】

【作用】以上の構成により本発明は、音声データ及び画
像データの再生開始から計測された時間と所定の時間と
を比較し、その比較結果に基づいて、音声データのみを
再生して画像データの再生を抑止するよう動作する。

【０００８】

【実施例】以下添付図面を参照して本発明の好適な実施
例を詳細に説明する。

【０００９】［装置の概要説明（図１〜図４）］図１は
本発明の代表的な実施例である動画像音声再生装置の構
成を示すブロック図である。図１に示されているよう
に、本実施例の動画像音声再生装置は、ＣＰＵ１、メイ
ンメモリ２、磁気デイスクインタフェース３、磁気デイ
スクドライブ４、キーボードインタフェース５、キーボ
ード６、デイスプレイインタフェース７、ＣＲＴ８、音
声インタフェース９、スピーカ１０、システムバス１
１、タイマ回路２５から構成されている。メインメモリ
２には後述する動画像及び音声データ再生処理プログラ
ムが収容されている。

【００１０】図２はデイスプレイインタフェース７の詳
細な構成を示すブロック図である。図２に示されている
ように、デイスプレイインタフェース７は、画像メモリ
１２、パレット回路１３、Ｄ／Ａコンバータ回路１４、
ドライバ回路１５、タイミング発生回路１６から構成さ
れている。図３はパレット回路１３の詳細な構成を示す
ブロック図である。図３に示されているように、パレッ
ト群１７、セレクタ回路１８から構成されている。ここ
で、画像データは各画素について各色成分が１バイト
（８ビット）で表されるＲＧＢで構成されているものと
する。この画像データが表現できるレベル数（０〜２５
５）に従って、各パレットには３原色ＲＧＢ各１バイト
で構成される画像コードが設定できるものとする。従っ
て、パレット群１７にはＲＧＢ各色成分ごとにパレット
番号が付加された２５６個（０〜２５５）のパレットを
備えられている。図２〜図３において、画像メモリ１２
に書き込まれた画像データがパレット回路１３に入力さ
れると、画像データに従って対応するパレット番号が指
定され、セレクタ回路１８は指定されたパレット番号の
ＲＧＢデータをパレット群１７の中から選び出して、Ｄ
／Ａコンバータ１４でアナログ信号に変換し、さらにド
ライバ回路１５を通してＣＲＴ８に画像として表示す
る。

【００１１】本実施例では、図２に示されているよう
に、画像メモリ１２及びパレット回路１３はＡ系、Ｂ系
と同一構成の回路が２組備えられている。これによっ
て、ＣＰＵ１による画像メモリ１２及びパレット回路１
３への画像データや信号の書き込みと、ＣＲＴ８へのデ
ータ表示のために画像メモリ１２及びパレット回路１３
からの読み出しのアクセスが競合しない構成となる。例
えば、画像メモリ１２のＢ系及びパレット回路１３のＢ
系にデータ書き込み中は、画像メモリ１２のＡ系及びパ
レット回路１３のＡ系が表示用に使用され、書き込み終
了時点でＣＲＴ８への表示を画像メモリ１２のＢ系及び
パレット回路１３のＢ系に切り換える。逆に画像メモリ
１２のＡ系及びパレット回路１３のＡ系にデータ書き込
み中は画像メモリ１２のＢ系及びパレット回路１３のＢ
系が表示用に使用され、書き込み終了時点でＣＲＴ８へ
の表示を画像メモリ１２のＡ及びパレット回路１３のＡ
に切り換える。また、これによって、画像データ書き換
えの途中経過がノイズとなってＣＲＴ８の画面上に現れ
るのが防止される。

【００１２】図４は音声インタフェース９の詳細な構成
を示すブロック図である。図４に示されるように、音声
インタフェース９は音声データバツフア１９、ＡＤＰＣ
ＭーＰＣＭ変換回路２０、Ｄ／Ａコンバータ２１、アン
プ２２から構成されている。音声データは公知の技術に
従うＡＤＰＣＭ形式で生成されており、これをＡＤＰＣ
ＭーＰＣＭ変換回路２０でＰＣＭ形式に変更し、さらに
Ｄ／Ａコンバータ２１でアナログ信号に変換後、アンプ
２２で増幅されてスピーカ１０に出力する。これらの変
換のタイミングはタイミング発生回路２４にて制御され
る。

【００１３】本実施例では、図４に示されているように
音声データバツフア１９は、Ａ系、Ｂ系と同一の回路２
組で構成されている。この構成によって、ＣＰＵ１によ
る音声データの書き込みと、ＡＤＰＣＭーＰＣＭ変換回
路２０による音声データ読み出しとのアクセス競合が回
避される。即ち、音声データバツフア１９のＡ系に格納
された音声データが音声再生されている間、ＣＰＵ１は
音声データバツフア１９のＢ系に次の音声データを書き
込む。音声データバツフア１９のＡ系に格納された音声
データの再生が終了すると、音声データバツフアが切り
換わり音声データバツフア１９のＢ系の内容の再生が開
始される。この間、ＣＰＵ１はその次の音声データを音
声データバツフア１９のＡ系に書き込む。

【００１４】本実施例では、１枚のあたりの画像データ
は画素３２０×２００ドットで構成され、１画素あたり
各色成分について１バイト（８ビット）のパレットコー
ド（上述したパレット番号）を指定するものとする。音
声データはサンプリング周波数８１９２Ｈz ー４ビット
のＡＤＰＣＭ形式で記録され１秒あたり４０９６バイト
の容量であるとする。また、画像の再生速度は８コマ／
秒であるとする。また、タイマ回路２５はＣＰＵ１の処
理速度とは関係なく１ｍｓ（１／１０００．秒）単位で
の時間計測ができるものとする。

【００１５】［データフォーマットの説明（図５）］図
５は磁気デイスクドライブ４に記録される画像及び音声
データのフォーマットを示す図である。図５に示される
ように、画像及び音声データは１コマ単位でフアイル化
され、第１コマ目のフアイルには「Ｆ０００００００．
ＲＡＶ」、第２コマ目のフアイルには「Ｆ００００００
１ＲＡＶ」、第３コマ目のフアイルには「Ｆ０００００
０２．ＲＡＶ」…というようにフアイル名が付けられ
る。各フアイルは、先頭に５１２バイト（１／８秒分）
の音声データ（ｎ）、次に７６８バイト（ＲＧＢ各２５
６個分）のパレットデータ（ｎ）、最後に６４０００バ
イト（３２０×２００ドット分）の画像データ（ｎ）か
ら構成されているものとする。ここで、ｎはコマ番号カ
ウンタ（ｎ＝０，Ｎ）である。

【００１６】さらに本実施例においては、１つのフアイ
ル内のすべてのデータをメインメモリ２に読み込みん
で、音声データを音声データバツフア１９に、パレット
データをパレット群１７に、画像データを画像メモリ１
２に転送するには１１０ｍｓを要するものとする。ま
た、１つのフアイル内の音声データのみを読み込んで音
声データを音声データバツフア１９に転送するには３５
ｍｓ要するものとする。

【００１７】［動画像及び音声データ再生処理（図７〜
図８）］ここでは上記構成の装置を用いて、図７〜図８
に示すフローチャートを参照して動画像及び音声データ
再生処理を説明する。ここでは磁気デイスクドライブ４
に画像及び音声データが既に記録されており、これを再
生するものとする。

【００１８】まず、ステップＳ１ではＣＰＵ１は動画像
及び音声データ再生処理プログラムの初期設定として、
最初に表示に使用する画像メモリ１２及びパレット回路
１３をＡ系に、最初にＣＰＵ１が画像データ書き込みを
行う画像メモリ１２及びパレット回路１３をＡ系に設定
する。また最初に音声発生に使用する音声データバツフ
ア１９をＡ系に、ＣＰＵ１が最初に書き込みを行うデー
タバツフア１９をＡ系に設定する。

【００１９】ステップＳ２では、磁気デイスクドライブ
４からフアイル名“Ｆ０００００００．ＲＡＶ”のすべ
てのデータをメインメモリ２に読み込む。続いて、ステ
ップＳ３では、読み込んだデータのうち、音声データ
（０）を音声データバツフア１９のステップＳ１で設定
されたＡ系に転送する。またステップＳ４では、パレッ
トデータ（０）をパレット回路１３のうちステップＳ１
で設定されたＡ系のパレット群１７に、画像データ
（０）を画像メモリ１２のうちステップＳ１で設定され
たＡ系に転送する。

【００２０】データ書き込み終了後、ステップＳ５では
タイマ回路２５をゼロリセットして時間計測をスタート
する。

【００２１】次にステップＳ６で、ＣＰＵ１は音声デー
タの書き込みをＢ系に、画像データ書き込みをＢ系に切
り換える。これによって、Ａ系に書き込まれたデータの
読み出しが可能になり、スピーカ１０から音声データ
（０）が出力され、ＣＲＴ８に画像データ（０）が表示
される。

【００２２】ステップＳ７ではコマ番号カウンタ（ｎ）
を１にカウントアップする。続いてステップＳ８では、
コマ番号カウンタ（ｎ）が示すコマに対応するファイル
“Ｆｎ．ＲＡＶ”の音声データ（ｎ）をメインメモリ２
に読み込み、ステップＳ９では、音声データバツフア１
９のうちＣＰＵ１が設定した系に転送する。

【００２３】ステップＳ１０では、タイマ回路２５が計
測している時間（Ｔ）を調べ、Ｔがｎ×１２５（ｍｓ）
に達しているかどうかを調べる。通常、システムが動画
像及び音声データ再生処理に対して十分なＣＰＵ及びＩ
／Ｏ資源が割り当てられている場合は処理が円滑に実行
され、ｎ×１２５（ｍｓ）に達していないはずである
が、なんらかの要因によって処理速度が低下した場合
は、ｎ×１２５ｍｓを越えてしまう場合がある。それ
で、Ｔ≧ｎ×１２５（ｍｓ）であるなら、処理はステッ
プＳ１５に進み、Ｔ＜ｎ×１２５（ｍｓ）であるなら、
処理はステップＳ１１に進む。

【００２４】ステップＳ１１では動画像及び音声データ
再生処理が順調に実行されているとみなして、フアイル
“Ｆｎ．ＲＡＶ”からパレットデータ（ｎ）及び画像デ
ータ（ｎ）をメインメモリ２に読み込み、ステップＳ１
２では読み込んだパレットデータ（ｎ）をパレット回路
１３の内ＣＰＵ１が設定する系のパレット群１７に、画
像データ（ｎ）を画像メモリ１２の内ＣＰＵ１が設定す
る系に転送する。

【００２５】ステップＳ１３では、再度タイマ回路２５
の計測時間（Ｔ）を調べ、Ｔ≧ｎ×１２５（ｍｓ）とな
るまで待つ。Ｔ≧ｎ×１２５（ｍｓ）となった時点で処
理はステップＳ１４に進み、書き込みに用いる画像メモ
リ１２とパレット回路１３の系を切り換え、ステップＳ
１５において書き込みに用いる音声データバッファ１９
の系を切り換える。さらに、ステップＳ１６では、コマ
番号カウンタ（ｎ）を＋１だけカウントアップする。

【００２６】最後にステップＳ１７において、データ再
生終了がどうかを調べ、再生終了と判断されたなら処理
を終了し、そうでなければ処理はステップＳ８に戻って
次のコマのデータを処理する。

【００２７】ここで上記処理をまとめると次のようにな
る。

【００２８】即ち、本実施例においては１つのフアイル
内のすべてのデータをメインメモリに読み込み、かつ音
声データを音声データバツフア１９に、パレットデータ
をパレット群１７に、画像データを画像メモリ１２に転
送するには１１０ｍｓだけ要するが、１つのフアイル内
の音声データのみを読み込み、かつ音声データを音声デ
ータバツフア１９に転送するには３５ｍｓを要するのみ
である。図５で示したように、１コマ当たりの音声デー
タは１／８秒分であるので、スムーズな音声再生には８
コマ／秒の再生速度が要求される。従って、１コマあた
り１２５（ｍｓ）という閾値は８コマ／秒の再生速度に
対して、すべてのデータの読み込み及び転送を行う場
合、１５ｍｓの余裕しか得られないのに対し、音声デー
タのみの読み込み及び転送では９０ｍｓの余裕が得られ
ることを意味する。このため、システムの内的或は外的
な要因によって処理速度が低下した場合、音声データ再
生のみを実行することによって、データ再生の遅れを回
復することが可能となる。さらに、音声再生は継続して
いるため聴感上の違和感が少なくなる。さらに音声再生
が継続されている限り、画像表示再生速度が、例えば、
一時的に８コマ／秒から７コマ／秒に低下しても、これ
による受ける違和感は極めて少ない。

【００２９】従って本実施例に従えば、システムの処理
速度が画像及び音声が本来予定している時間での再生に
間に合わなくなった場合、音声データのみを再生して画
像データ表示を省略することによって処理の遅れを取り
戻し、より違和感の少ない音声及び動画像再生が実現で
きる。

【００３０】

【他の実施例】前述の実施例では磁気デイスクドライブ
４に記録される画像及び音声データを１ファイル（１コ
マ）中に混在させて処理を行う場合について説明した
が、本実施例では音声データを画像データ及びパレット
データと分離して別ファイルとして処理を行う場合につ
いて説明する。本実施例では前述の実施例で説明した装
置を共通的に用い、また基本的な再生処理手順は前述の
実施例と同様なので、ここでは前述の実施例との違いに
ついてのみ説明し、共通部分の説明は省略する。

【００３１】本実施例では、すべての音声データを格納
した別フアイルを再生処理開始時に予めメインメモリ２
上に転送する。このため再生中に磁気デイスクドライブ
４から音声データを読み込む時間が節約できる。その半
面、すべての音声データを記憶するのに十分な容量のメ
インメモリが必要となる。本実施例ではサンプリング周
波数８１９２Ｈz ー４ビットのＡＤＰＣＭ形式を使用し
ているため、仮に５分間の音声データを記録するとする
と、約１．２メガバイトの容量が必要である。 ［データフォーマットの説明（図８）］図８は本実施例
で用いる音声データ、画像データ及びパレットデータの
データフォーマットを示す図である。図８に示されてい
るように、音声データは別ファイル（ファイル名：“Ｓ
ＡＭＰＬＥ．ＡＰＭ”）として格納される。また、画像
データは前述の実施例と同様に１コマ単位でフアイル化
され、第１コマ目のフアイルには「Ｆ０００００００．
ＲＶＤ」、第２コマ目のフアイルには「Ｆ００００００
１．ＲＶＤ」、第３コマ目のフアイルには「Ｆ００００
００２．ＲＶＤ」…というようにフアイル名が付けられ
る。各フアイルは、７６８バイト（ＲＧＢ各２５６個
分）のパレットデータ（ｎ）と６４０００バイト（３２
０×２００ドット分）の画像データ（ｎ）から構成され
ている。ここで、ｎはコマ番号カウンタ（ｎ＝０，Ｎ）
である。

【００３２】［動画像及び音声データ再生処理（図９〜
図１０）］ここでは、図９〜図１０に示すフローチャー
トを参照して動画像及び音声データ再生処理を説明す
る。なお、前述の実施例と共通処理については同じステ
ップ参照番号を付して説明は省略する。

【００３３】まずステップＳ１０１において、ＣＰＵ１
は動画像及び音声データ再生処理プログラムを用いて、
磁気デイスクドライブ４から音声データの記録されたフ
ァイル“ＳＡＭＰＬＥ．ＡＰＭ”をメインメモリ２へ読
み込む。続いて、ステップＳ１での初期設定の後、ステ
ップＳ１０２では磁気デイスクドライブ４からフアイル
“Ｆ０００００００．ＲＶＤ”をメインメモリ２に読み
込む。

【００３４】ステップＳ１０３では、メインメモリ２か
ら音声データのうち最初の５１２バイト（１／８秒分）
を音声データバツフア１９のＡ系に転送する。ステップ
Ｓ１０４では、メインメモリ２から、パレットデータ
（０）をパレット回路１３のＡ系のパレット群１７に、
画像データ（０）を画像メモリ１２のＡ系に転送する。
次にステップＳ５〜Ｓ７の処理の後、ステップＳ１０５
では、メインメモリ２から、音声データのうち次の５１
２バイト（１／８秒分）を音声データバツフア１９のう
ちＣＰＵ１が指定する系に転送する。さらに、ステップ
Ｓ１０による判断の後、ステップＳ１０６では、フアイ
ル“Ｆｎ．ＲＶＤ”のパレットデータ（ｎ）及び画像デ
ータ（ｎ）をメインメモリ２に読み込む。

【００３５】以下、ステップＳ１２〜Ｓ１７が示す手順
に従って、音声データと画像データの再生処理を行う。

【００３６】従って本実施例に従えば、音声データが再
生処理開始時にすべてメインメモリ上に読み込まれるの
で、音声データ読み込みのための再生処理中の磁気ディ
スクへのアクセスが不要となるので、前述の実施例と比
べて、より速い時間で音声再生が可能になる。従って、
システムの処理速度が何らかの要因で画像及び音声が本
来予定している時間での再生に間に合わなくなった場合
でも、より効果的に処理の遅れを取り戻し、より違和感
の少ない音声及び動画像再生が実現できる。

【００３７】なお本発明は複数の機器から構成されるシ
ステムに適用しても良いし、１つの機器からなる装置に
適用しても良い。また、本発明はシステム或は装置にプ
ログラムを供給することによって達成される場合にも適
用できることは言うまでもない。

【００３８】

【発明の効果】以上説明したように本発明によれば、再
生開始からの時間と、例えば、画像と音声が本来再生さ
れるべき時間であるような所定の時間とを比較し、その
比較結果に基づいて、音声データのみを再生して画像デ
ータの再生を抑止するので、何らかの要因によって音声
及び画像再生処理が遅れた場合にも、画像データ再生を
抑止することによって処理の負荷を軽減し、より違和感
の少ない形で処理の遅れを取り戻すことができる効果が
ある。

【図面の簡単な説明】

【図１】本発明の代表的な実施例である動画像音声再生
装置の構成を示すブロック図である。

【図２】デイスプレイインタフェース７の詳細な構成を
示すブロック図である。

【図３】パレット回路１３の詳細な構成を示すブロック
図である。

【図４】音声インタフェース９の詳細な構成を示すブロ
ック図である。

【図５】磁気デイスクドライブ４に記録される画像及び
音声データのフォーマットを示した図である。

【図６】

【図７】動画像及び音声データ再生処理を示すフローチ
ャートである。

【図８】他の実施例に従う磁気デイスクドライブ４に記
録される画像及び音声データのフォーマットを示した図
である。

【図９】

【図１０】他の実施例に従う動画像及び音声データ再生
処理を示すフローチャートである。

【符号の説明】

１ ＣＰＵ ２ メインメモリ ３ 磁気デイスクインタフェース ４ 磁気デイスクドライブ ５ キーボードインタフェース ６ キーボード ７ デイスプレイインタフェース ８ ＣＲＴデイスプレイ ９ 音声インタフェース １０ スピーカ １１ システムバス １２ 画像メモリ １３ パレット回路 １４ Ｄ／Ａコンバータ回路 １５ ドライバ回路 １６ タイミング発生回路 １７ パレット群 １８ セレクタ回路 １９ 音声データバツフア ２０ ＡＤＰＣＭーＰＣＭ変換回路 ２１ Ｄ／Ａコンバータ ２２ アンプ ２５ タイマ回路

Claims (2)

【特許請求の範囲】
1. 【請求項１】 記録媒体に格納された音声データ及び画
   像データを再生して、それぞれ音声出力と画像表示を行
   う情報処理方法であって、 前記記録媒体から前記音声データ及び前記画像データを
   入力する入力工程と、 前記音声データ及び前記画像データを再生して、それぞ
   れ音声出力と画像表示を行う再生出力工程と、 前記音声データ及び前記画像データの再生開始を契機と
   して時間を計測する計測工程と、 前記計測工程において計測された時間と所定の時間とを
   比較し、前記比較結果に基づいて前記画像データの再生
   を抑止する制御工程とを有することを特徴とする情報処
   理方法。
2. 【請求項２】 音声データ及び画像データを再生して、
   それぞれ音声出力と画像表示を行う情報処理装置であっ
   て、 前記音声データ及び前記画像データを格納する記憶手段
   と、 前記音声データ及び前記画像データを前記記憶手段から
   入力する入力手段と、 前記音声データ及び前記画像データの再生開始を契機と
   して時間を計測する計測手段と、 前記音声データ及び前記画像データを再生して、それぞ
   れ音声出力と画像表示を行う再生出力手段と、 前記計測手段によって計測された時間と所定の時間とを
   比較し、前記比較結果に基づいて前記画像データの再生
   を抑止するよう制御する制御手段とを有することを特徴
   とする情報処理装置。