JPH11149565A - 画像音響処理装置、画像音響処理方法および記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 簡単な構成で、音響と画像とを同期させるこ
とのできる画像音響処理技術を提供する。 【解決手段】 本発明は、口を表現する画像に合わせて
音響を生成する画像音響処理装置に適用される。本装置
の制御回路は、音響を発生させるための音響信号を参照
して（Ｓ１）音響の大きさｖｔを検出するステップ（Ｓ
２〜Ｓ５）と、検出された音響の大きさｖｔに対応させ
て口を表現させる画像データを出力するステップ（Ｓ６
〜Ｓ１０）と、を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、声を発する人間等
の画像をその音声とともに表現する画像音響処理装置に
係り、特に、画像上の口の動きを音声と一致させること
が容易に可能とする画像音響処理技術に関する。

【０００２】

【従来の技術】従来、人間の顔の仮想的な画像（以下
「オブジェクト」という）をモニタ装置に表示させ、そ
のオブジェクトに合わせてスピーカから音声を含めた音
響を発生させるように構成したテレビゲーム装置があっ
た。このようなテレビゲーム装置では、画像データに基
づいて画像生成回路が画像を表示させ、音響信号に基づ
いて音響生成回路が音響を発生させていた。

【０００３】画像データと音響信号は別個のものであ
る。このため、従来、画像と音響との同期をとらず、一
定周期ごとにオフジェクトの口を動かして表示させた
り、乱数を使用して不定期に口を動かして表示させたり
していた。

【０００４】しかし、音声が出ていないのにオブジェク
トの口が動いて表示されたり、音声が出ているのにオブ
ジェクトの口が閉じたまま表示されたりしていたので、
遊技者に違和感を与えていた。特に、アナウンサが絶叫
している音声を発生させる場合、大きく口を開き続けて
いるべき場面であるにもかかわらず、オブジェクトの口
が絶えず動いているのでは、いかにも不自然であった。

【０００５】一方で、画像と音響とを同期させているテ
レビゲーム装置が存在したが、これは画像および音響の
発生時刻を定めるテーブルデータを予め設け、それに従
って画像および音響を制御するように構成されたもので
あった。

【０００６】しかしながら、このテーブルデータは、予
め人手を介して作成されるものであったため、ソフトウ
ェア制作に大きな負担が生じていた。例えば、上記のよ
うな実況中継のアナウンサは、ゲームにおいては単なる
補助的な演出をするオブジェクトに過ぎない。このよう
な補助的な視覚的効果のだけためにテーブルデータを作
成しなければならないとすれば、効率的なソフトウェア
制作を阻害するおそれがあった。また、プログラムを修
正するたびにテーブルデータの修正を余儀なくされるの
では煩わしい。

【０００７】

【発明が解決しようとする課題】そこで、上記不都合を
解決するために、本発明の第１の課題は、予めタイミン
グを設定することなく、画像と音響とを同期させること
が可能な画像音響処理装置を提供することである。

【０００８】また、本発明の第２の課題は、音響の大き
さが大きく変化した場合でも、自然に口の動きを表現さ
せることが可能な画像音響処理技術を提供することであ
る。

【０００９】また、本発明の第３の課題は、予めタイミ
ングを設定することなく、画像と音響とを同期させるこ
とが可能な画像音響処理方法を提供することである。

【００１０】また、本発明の第４の課題は、コンピュー
タに上記課題を解決しうるプログラムが記録された記録
媒体を提供することである。

【００１１】

【課題を解決するための手段】上記第１の課題を解決す
る発明は、口を表現する画像に合わせて音響を生成する
画像音響処理装置において、音響を発生させるための音
響信号を参照して音響の大きさを検出する音量検出手段
と、前記音量検出手段によって検出された音響の大きさ
に対応させて口を表現させる画像データを出力する画像
出力手段と、を備える。

【００１２】ここで、本発明における音響信号は、アナ
ログ信号、ＭＩＤＩ信号等の音源制御信号、ＰＣＭデー
タあるいは高能率符号化されたデジタルデータ等、いず
れの態様を採ることが可能である。

【００１３】音量検出手段は、コンピュータ装置が所定
のソフトウェアを実行することにより、あるいはハード
ウェアによって構成することにより実現される。音響検
出手段をソフトウェアにより実現する場合、音響信号が
ＰＣＭデータや高能率符号化されたデジタルデータであ
るときは、記憶回路に格納されたそのデジタルデータを
参照し、音響信号が音源制御信号であるときは、音源制
御信号の音量を規定するバイトを参照する。また、音響
信号がアナログ信号であるときは、そのアナログ信号を
Ａ／Ｄ変換して生成されるＰＣＭ値等を用いる。音響検
出手段をハードウェアにより実現する場合、音響信号が
デジタルデータであるときは、所定の基準データとのデ
ジタル演算回路等を設ける。音響信号がアナログデータ
であるときは、音響信号を所定の基準電圧と比較する。

【００１４】画像出力手段も、ソフトウェアまたはハー
ドウェアのいずれによっても実現できる。画像出力手段
をソフトウェアにより実現する場合には、音響の大きさ
に応じて異なるアドレスから予め対応付けられている画
像データを各々読み取って出力する。あるいは、音響の
大きさに応じてポリゴンデータにそれぞれ異なる頂点座
標を与えたり異なるマトリクスデータを与えたりして、
描画装置等に転送する。画像出力手段をハードウェアに
より実現する場合には、音響の大きさをデコードする回
路、デコードされた値に応じて複数の画像データの中か
らいずれかを選択するセレクタ回路等により構成され
る。

【００１５】また、本発明は、口を表現する画像にあわ
せて音響を生成する画像音響処理装置において、音響を
発生させるための音響信号を格納する第１記憶回路と、
相異なる表示態様で口を表現させる画像データを各々格
納する第２記憶回路と、第２記憶回路に格納された画像
データのうちいずれか一の画像データを選択して出力す
る制御回路と、を備える。そして、制御回路は、前記第
１記憶回路に格納された音響信号を参照して音響の大き
さを検出し、音響の大きさに応じて予め対応付けられた
画像データを前記第２記憶回路から読み取って出力する
ものである。

【００１６】例えば、前記音響信号における音響の大き
さは、複数のサンプリングにより得られたサンプリング
値の最大値を検出することにより求められる。

【００１７】また、音響信号における音響の大きさは、
複数のサンプリングにより得られたサンプリング値の平
均値を検出することによっても求められる。

【００１８】例えば、複数のサンプリング値は、連続し
てサンプリングされたものである。

【００１９】あるいは、複数のサンプリング値は、不連
続にサンプリングされたものである。

【００２０】ここで、検出された前記音響の大きさと口
を表現する画像データとの対応は、所定の特性に基づい
て決定されたものとすることは好ましい。

【００２１】例えば、画像データは、ビットマップデー
タ、圧縮された画像データまたはポリゴンデータのいず
れかにより各々構成されたものである。

【００２２】上記第２の課題を解決する発明は、新たに
検出された音響の大きさと現在出力されている音響の大
きさとの間に所定値以上の差がある場合には、新たに検
出された音響の大きさに対応付けられた画像データを出
力する前に、両音響の大きさの間に割り当てられた他の
音響の大きさに対応付けられている画像データを順次出
力する。

【００２３】ここで、この他の音響の大きさに対応付け
られている画像データは、所定の期間（１以上のフレー
ム期間等）ごとに順次出力されるものである。

【００２４】さらに、本発明において、画像音響処理装
置は、音響信号に対応させて音響を発生させる音響生成
手段と、出力された前記画像データに基づいて画像を表
示させる画像表示手段と、をさらに備える。

【００２５】上記第３の課題を解決する発明は、口を表
現する画像に合わせて音響を生成する画像音響処理方法
において、音響を発生させるための音響信号を参照して
音響の大きさを検出するステップと、前記ステップにお
いて検出された音響の大きさに対応させて口を表現させ
る画像データを生成するステップと、を備える。

【００２６】また、本発明は、口を表現する画像にあわ
せて音響を生成する画像音響処理方法において、音響を
発生させるための音響信号を第１記憶回路から読み取る
ステップと、前記第１記憶回路から読み取った音響信号
における音響の大きさを検出するステップと、相異なる
表示態様で口を表現させる画像データを各々格納する第
２記憶回路から、検出された前記音響の大きさに予め対
応付けられた画像データを読み取って出力するステップ
と、を備える。

【００２７】上記第２の課題を解決する発明は、新たに
検出された音響の大きさと現在出力されている音響の大
きさとの間に所定値以上の差があるか否かを判断するス
テップと、両音響の大きさの間に所定値以上の差がある
場合には、新たに検出された音響の大きさに対応付けら
れた画像データを出力する前に、両音響の間に割り当て
られた他の音響の大きさに対応付けられている画像デー
タを順次出力するステップと、を備える。

【００２８】上記第４の課題を解決する発明は、コンピ
ュータに、本発明の上記画像音響処理方法を実行させる
ためのプログラムデータが記載された機械読取可能な記
録媒体である。

【００２９】ここで、本発明における記録媒体には、例
えば、フロッピーディスク、ハードディスク、磁気テー
プ、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭカ
ートリッジ、バッテリバックアップ付きのＲＡＭメモリ
カートリッジ、フラッシュメモリカートリッジ、不揮発
性ＲＡＭカートリッジ等を含む。

【００３０】また、電話回線等の有線通信媒体、マイク
ロ波回線等の無線通信媒体等の通信媒体を含む。インタ
ーネットもここでいう通信媒体に含まれる。

【００３１】記録媒体とは、何等かの物理的手段により
情報（主にデジタルデータ、プログラム）が記録されて
いるものであって、コンピュータ、専用プロセッサ等の
処理装置に所定の機能を行わせることができるものであ
る。要するに、何等かの手段でもってコンピュータにプ
ログラムをダウンロードし、所定の機能を実行させるも
のであればよい。

【００３２】

【発明の実施の形態】次に、本発明の好適な実施の形態
を、図面を参照しながら説明する。 （実施形態１）本発明の実施形態１は、コンピュータ装
置により構成されたテレビゲーム装置に本発明を適用し
たものである。ゲームの内容は、サッカーの試合を模擬
したゲームとする。本発明の画像音響処理装置は、この
サッカーの試合を実況中継するアナウンサを模擬したオ
ブジェクトに適用される。

【００３３】（構成）図１に、本実施形態１のゲーム装
置の外観図を示す。図１に示すように、本形態のゲーム
装置は、ゲーム装置本体１、パッド２ｂおよびモニタ装
置５を備えている。

【００３４】ゲーム装置本体１は、その内部に、本発明
の画像音響処理装置が収められている。その外装には、
ＲＯＭカートリッジ接続用のインターフェース（Ｉ／
Ｆ）部１ａ、ＣＤ−ＲＯＭ読取用のＣＤ−ＲＯＭドライ
ブ１ｂが設けられている。パッド２ｂは、十字カーソル
や複数の操作ボタンを備え、遊技者の操作に基づいて操
作信号を生成可能に構成される。そして、この操作信号
がケーブル２ｃを介してコネクタ２ａに供給可能に構成
されている。パッド２ｂは、コネクタ２ａによりゲーム
装置本体１に着脱可能に設けられ、二人の遊技者が同時
に操作するために二つのパッドが接続可能に構成され
る。なお、パッドの代わりに、マウス、リモコン、キー
ボード等を接続して構成してもよい。モニタ装置５は、
ビデオケーブル４ａおよびオーディオケーブル４ｂを介
して、ゲーム装置本体１の図示しないビデオ出力端子お
よびオーディオ出力端子に接続されて構成されている。

【００３５】なお、本実施形態におけるＲＯＭカートリ
ッジまたはＣＤ−ＲＯＭは、当該ゲーム機本体１を本発
明の画像音響処理装置として機能させるプログラムが記
録されている。このプログラムは、これらの提供形態に
限らず、他の媒体、例えば通信回線であって、当該回線
を介して内部のメモリに記憶される構成を備えていても
よい。

【００３６】（ブロック構成）図２に、本発明の画像音
響処理装置を適用したゲーム装置のブロック図を示す。
図２に示すように、本ゲーム装置は、ＣＰＵブロック１
０、ビデオブロック１１、サウンドブロック１２および
サブシステム１３により構成される。 （ＣＰＵブロック）ＣＰＵブロック１０は、本発明の音
量検出手段、画像出力手段または制御回路であって、プ
ログラムを実行することによりゲーム処理を進めるとと
もに、ゲーム装置本体１を本発明の画像音響処理装置と
して機能させるものである。ＣＰＵブロック１０は、Ｓ
ＣＵ（System Control Unit）１００、メインＣＰＵ１
０１、ＲＡＭ１０２、ＲＯＭ１０３、サブＣＰＵ１０４
およびＣＰＵバス１０５等を備えて構成されている。

【００３７】メインＣＰＵ１０１は、その内部にＤＳＰ
（Digital Signal Processor）を備え、ＣＤ−ＲＯＭま
たはＲＯＭカートリッジから転送されたプログラムデー
タに基づく処理を高速に実行可能に構成されている。Ｒ
ＡＭ１０２には、ＣＤ−ＲＯＭまたはＲＯＭカートリッ
ジから読み取られたアプリケーションソフトのプログラ
ムデータが格納されている。また、ＲＡＭ１０２は、Ｍ
ＰＥＧ画像復号時のワークエリアおよびＣＤ−ＲＯＭ復
号時の誤り訂正用データキャッシュとして使用可能に構
成されている。ＲＯＭ１０３は、当該装置の初期化処理
のために用いるイニシャルプログラムデータが格納可能
に構成されている。ＳＣＵ１００は、バス１０５、１０
６および１０７を介して行われるデータの転送を統括可
能に構成されている。また、ＳＣＵ１００は、内部にＤ
ＭＡコントローラを備え、ＲＡＭ１０２等に格納された
ゲームの実行中に必要になる画像データをビデオブロッ
ク１１内のＶＲＡＭへ転送可能に、ＰＣＭデータをサウ
ンドブロック１２に転送可能に構成されている。

【００３８】サブＣＰＵ１０４はＳＭＰＣ（System Man
ager & Peripheral Control）と呼ばれ、メインＣＰＵ
１０１の要求に応じパッド２ｂからの操作信号を収集可
能に構成される。

【００３９】（ビデオブロックの構成）ビデオブロック
１１は、本発明の画像出力手段の一部であって、ＶＤＰ
（Video Display Processor）１２０、ＶＤＰ１３０、
ＶＲＡＭ１２１、フレームバッファ１２２、１２３、Ｖ
ＲＡＭ１３１およびメモリ１３２を備えて構成されてい
る。

【００４０】ＶＲＡＭ１２１は、メインＣＰＵ１０１に
よりＳＣＵ１００を介して転送された描画コマンド、Ｃ
Ｄ−ＲＯＭまたはＲＯＭカートリッジから読み取られた
所定の異なる口の表現態様でそれぞれオブジェクトを表
示するための画像データが格納されている。ここで、オ
フジェクトとしては、仮想的にモニタ装置に表示させる
人間の顔、例えば実況中継担当のアナウンサをモデル化
したものとする。

【００４１】なお、本実施形態では、口を表現するオブ
ジェクトをビットマップ形式の画像データに基づいて生
成するが、他の方法で画像表示させてもよい。例えばビ
ットマップ形式の画像データの他に、高能率符号圧縮化
されたＭＰＥＧやＪＰＥＧ等の画像データを用いてもよ
い。さらに、オブジェクトをポリゴンで表示するように
構成し、メインＣＰＵ１０１が、表示させたい口の表現
に応じてポリゴンおよびポリゴンの頂点座標を変更させ
ていくことで、口を表現するオブジェクトを表示させて
もよい。

【００４２】ＶＤＰ１２０は、ＶＲＡＭ１２１に格納さ
れた描画コマンドに基づいて、ビットマップ形式の画像
データの配置、選択、あるいはポリゴンデータからビッ
トマップ形式のデータの生成を行う。また、図形の変
形、影やシェーディング等の色演算等を行す。そして、
生成された出力用画像データをフレームバッファ１２２
および１２３に書込み可能に構成されている。フレーム
バッファ１２２および１２３は、ＶＤＰ１２０により生
成された画像データを格納可能に構成されている。ＶＲ
ＡＭ１３１は、背景画像の画像データ、ＶＤＰ１３０の
機能実現に必要なデータテーブル等を格納可能に構成さ
れている。ＶＤＰ１３０は、ＶＲＡＭ１３１、フレーム
バッファ１２２および１２３に格納された画像データに
基づいて、選択枠を設定するウインドウ処理、影をつけ
る処理、拡大・縮小、回転、モザイク処理、移動処理、
クリッピングや表示優先順位処理等の陰面処理、等の画
像処理を行い表示画像データをメモリ１３２に格納可能
に構成されている。メモリ１３２は、ＶＤＰ１３０によ
り描画用画像データが格納され、エンコーダ１６０に出
力可能に構成されている。エンコーダ１６０は、メモリ
１３２に格納されている描画用画像データをビデオ信号
のフォーマットに変換し、Ｄ／Ａ変換してモニタ装置５
へ供給可能に構成されている。モニタ装置５は、供給さ
れたビデオ信号に基づいた画像を表示可能に構成されて
いる。

【００４３】（サウンドブロック）サウンドブロック１
２は、本発明の音響生成手段および音響生成回路であっ
て、ＤＳＰ１４０、ＣＰＵ１４１およびサウンドＲＡＭ
１４２等により構成される。

【００４４】ＣＰＵ１４１は、メインＣＰＵ１０１によ
ってＲＡＭ１０２から転送されたＰＣＭデータを、ＤＳ
Ｐ１４０に転送可能に構成されている。サウンドＲＡＭ
１４２は、ＣＤ−ＲＯＭまたはＲＯＭカートリッジから
読み取られたＰＣＭデータが格納されている。そしてＣ
ＰＵ１４１からアクセス可能である他、メインＣＰＵ１
０１から直接アクセス可能に構成されている。サウンド
ＲＡＭ１４２は、図５に示すように、ＰＣＭデータが２
つのバッファに分けて格納されており、一方のバッファ
にメインＣＰＵ１０１がアクセスしたり新たなＰＣＭデ
ータを書き込んでいる間に、ＣＰＵ１４１が他方のバッ
ファからＰＣＭデータを読み取って音響を発生させるこ
とが可能に構成されている。ここで、ＰＣＭデータと
は、時間軸に対する波形の値が量子化されて記録された
もので、本実施形態では、オブジェクトに対応した音声
（オブジェクトが喋っているように発生させる音声）の
他に、音楽や効果音を発生させるものである。ＤＳＰ１
４０は、ＣＰＵ１４１の制御により、ＰＣＭデータに基
づいてＰＣＭ音源またはＦＭ音源による波形発生、遅延
データの生成、および音声合成を行い、生成した波形デ
ータをＤ／Ａコンバータ１７０に出力可能に構成されて
いる。ＤＳＰ１４０は、これらの作用により周波数制
御、音量制御、ＦＭ演算、変調、音声合成、リバーブ等
の機能を備えている。Ｄ／Ａコンバータ１７０は、ＤＳ
Ｐ１４０によって生成された波形データを２チャンネル
の信号に変換し、スピーカ５ａおよび５ｂに供給可能に
構成されている。

【００４５】（サブシステム）サブシステム１３は、Ｃ
Ｄ−ＲＯＭドライブ１ｂ、ＣＤインターフェース（Ｉ／
Ｆ）１８０、ＣＰＵ１８１、ＭＰＥＧオーディオ回路１
８２およびＭＰＥＧビデオ回路１８３を備えて構成され
ている。

【００４６】ＣＤ―ＲＯＭドライブ１ｂは、ＣＤ―ＲＯ
Ｍからアプリケーションソフトのプログラムデータ、画
像データ、およびＰＣＭデータを読み取り、ＣＤインタ
ーフェース１８０はこれらをＣＰＵブロック１０に供給
可能に構成されている。また、ＣＰＵ１８１は、ＭＰＥ
Ｇオーディオ回路１８２およびＭＰＥＧビデオ回路１８
３を制御して、ＭＰＥＧ規格により高能率符号圧縮化さ
れた画像データおよび音響データを復号化可能に構成さ
れている。

【００４７】（画像表示作用）次に本発明のデータ処理
の流れを簡単に説明する。本テレビゲーム装置は、図９
に示すようなサッカーの試合の画像を表示するものであ
る。この画像は、ゲーム領域Ａ１および付加情報領域Ａ
２から構成されている。

【００４８】ゲーム領域Ａ１にはサッカーの試合の様子
が表示される。この領域に表示されるオブジェクトであ
る選手Ａ３等は、微小な多角形、いわゆるポリゴンを複
数つなぎ合わせて表示される。選手Ａ３等を表示させる
ため、メインＣＰＵ１０１は、仮想空間を二次元平面に
投射して観察する視点の座標を決定する。そして、いわ
ゆるワールド座標系で定義されたポリゴンデータをこの
視点から見た二次元画像に変換する視野変換のためのマ
トリクスデータをビデオブロック１１に転送する。同時
に、メインＣＰＵ１０１は、決定した視点から仮想空間
を観察した場合に、仮想空間に配置した複数のオブジェ
クトのなかで、ゲーム領域Ａ１に相当する二次元平面に
投射されることになるオブジェクトを特定する。そし
て、そのオブジェクトを構成するポリゴンを指定するた
めのポリゴンデータを、ビデオブロック１１に転送す
る。ビデオブロック１１は、このマトリクスデータとポ
リゴンデータとに基づいて、データを視野変換する。ま
た、ポリゴンにテクスチャデータをマッピングする。そ
して別途定義されていた背景画像と合成して、図９の領
域Ａ１のような画像を表示させる映像信号を生成する。

【００４９】一方、付加情報領域Ａ２には、本発明を適
用する実況中継のアナウンサを模擬したオブジェクトＡ
５とメッセージＡ４とが表示される。オブジェクトＡ５
を表示させるビットマップ形式の複数の画像データは、
予めメインＣＰＵ１０１によりＶＲＡＭ１２１に転送さ
せられている。メインＣＰＵ１０１は、後述する図３の
処理に基づき、複数の画像データのうち、いずれの画像
データを使用するのかを指定するコマンドを、オブジェ
クトＡ５を表示させる位置情報とともにビデオブロック
１１に転送する。また、メッセージＡ４を表示させるた
め、その文字を表す画像データをビデオブロックに転送
する。ビデオブロック１１は、上記コマンドに従って、
ＶＲＡＭ１２１に格納された複数の画像データの中から
一の画像データを生成し、ゲーム領域Ａ１の画像データ
と合成する。同時に、文字を表す画像データとも合成す
る。この処理により、付加情報領域Ａ２に、実況中継を
するアナウンサのオブジェクトＡ５がメッセージＡ４と
ともに表示される。

【００５０】以上の処理で一枚の画像が完成する。フレ
ーム期間（一枚の画面を表示する周期）ごとにこの処理
を繰り返すことによって、オブジェクトが実際の人間の
ように動いたり口を動かしたり瞼を閉じたり目を動かし
たりする画像が表示される。

【００５１】（音響発生作用）音響は、ＣＰＵ１４１
が、サウンドＲＡＭ１４２に格納されたＰＣＭデータの
バッファからＰＣＭデータを読み取ることにより生成さ
れる。

【００５２】図５は、サウンドＲＡＭ１４２に格納され
るＰＣＭデータのバッファ構造である。同図に示すよう
に、ＰＣＭデータは、バッファＡおよびバッファＢとい
う二つのリングバッファに格納される。二つのバッファ
は、ＣＰＵ１４１とメインＣＰＵ１０１とにより交互に
アクセスされる。バッファの切替はメインＣＰＵ１０１
のコマンドに従って行われる。例えば、ＣＰＵ１４１が
バッファＡをアクセスしている間、メインＣＰＵ１０１
は、バッファＢに対して、新たなＰＣＭデータを書き込
んだり、本発明の音量検査を実施したりする。

【００５３】Ｄ／Ａコンバータ１７０に転送されるＰＣ
Ｍデータは、ＣＰＵ１４１が発生したアドレスポインタ
に基づいて読み取られるものである。ＣＰＵ１４１は、
時系列で直線的にアドレスポインタを変化させる。サウ
ンドＲＡＭ１４２から読み出されたＰＣＭデータは、格
納された通りの順序で読み取られ、ＤＳＰ１４０によっ
て他のＰＣＭデータと合成され特殊効果を施される。メ
インＣＰＵ１０１は、所定のタイミングで、ＣＰＵ１４
１がアクセスしていない方のバッファへ数フレーム期間
分のＰＣＭデータを書き込む。そして、バッファから一
通りデータが読み出されて出力される期間に相当する周
期で、二つのバッファを交互に切り換える。以上の処理
を続けることにより、連続してアナウンサの実況中継の
音声を含んだ音響が出力される。

【００５４】（動作）次に、本実施形態の動作を説明す
る。図３は、本発明の画像音響処理を説明するフローチ
ャートである。以下の説明で、ｖｔは音量値を示し、ｍ
はオブジェクトＡ５を表示させる複数の画像データのう
ち、いずれか一つを特定する画像番号とする。当該フロ
ーチャートでは、画像データがｎ−１（ｎは任意の自然
数）枚存在するものとして記載してあるが、図７、図
８，図１０乃至図１４では、話を簡単にするために、ｍ
が０から４まで、すなわち画像データが５枚ある実施例
について示してある。例えば、口を表現するための画像
が、図９のオブジェクトＡ５のように、画面の一部に表
示させるだけのものである場合には、５枚程度の画像デ
ータを用意しておけば、十分本発明の視覚的効果を与え
ることができる。

【００５５】メインＣＰＵ１０１は、サウンドブロック
１２にＰＣＭデータを転送するタイミングごとに、図３
に示す処理を実行する。

【００５６】音量取得（Ｓ１）： まず、現在サウンド
ブロック１２が使用していないバッファにＰＣＭデータ
を転送した後、音量データｖｔを取得する。図４は、こ
の音量取得処理を説明するフローチャートである。

【００５７】図４に示すように、メインＣＰＵ１０１
は、ＰＣＭデータの最大値を格納するバッファｍａｘを
クリアし（Ｓ１００）、現在使用中のバッファを取得す
る（Ｓ１０１）。例えば、現在サウンドブロック１２が
使用しているバッファを示すフラグを監視し、フラグの
状態が変わったらバッファが切り換えられたと判断す
る。

【００５８】次いで再生位置を計算する（Ｓ１０２）。
再生位置は、サウンドブロック１２がアクセスしていな
いバッファ（図５ではバッファＢ）のうち、その先頭ア
ドレスに合わせる。この再生位置は、ソフトウェアによ
る演算の時間差を考慮して次のフレームで再生されるこ
とになるバッファの冒頭のＰＣＭデータを先読みできる
ように調整される。

【００５９】本実施形態では、バッファサイズを各々２
０００Ｈとしている。再生時のサンプリングレートが１
１ｋＨｚ、１６ｂｉｔであるとすると、１秒間に読み取
られるＰＣＭデータは２２０００バイトである。ＮＴＳ
Ｃ方式における垂直同期期間は１／６０秒なので、１フ
レーム期間当たり７３３（２ｄｄＨ）バイト読み取られ
る。したがって、１１フレーム期間で新たなバッファに
切り替わる計算になる。

【００６０】そこで、現在のフレームを示すポインタ
に、先読みのため数フレーム分を加算し、このポインタ
に１フレーム当たりのバイト数（７３３バイト）を乗じ
て現在のバッファの再生位置を得る。演算上オーバーフ
ローしてバッファの最大アドレスを超える場合もあるの
で、その場合は、上位ビットを除いて正しい再生位置を
示すように調整する。ポインタはフレーム期間ごとに１
ずつ増加していく。

【００６１】再生位置が取得されると、その再生位置か
らＰＣＭデータをサンプリングし（Ｓ１０３）、そのサ
ンプリングされたＰＣＭデータ（以下「サンプル値」と
いう）が負の値を示しているか否かを、ＰＣＭデータの
サインビット等を参照して判定する（Ｓ１０４）。ＰＣ
Ｍデータが負の値を示している場合に限り（Ｓ１０４；
ＹＥＳ）、１の補数を計算する等公知の演算を実行し、
絶対値を計算する（Ｓ１０５）。

【００６２】次に最大値バッファｍａｘと今回取得され
たサンプル値とを比較する（Ｓ１０６）。今回取得され
たサンプル値が最大値バッファｍａｘより大きい場合に
限り（Ｓ１０６；ＹＥＳ）、今回取得されたサンプル値
で最大値バッファｍａｘを書き替える（Ｓ１０７）。

【００６３】以上の処理で、一回のサンプリング処理が
終了する。サンプリングした回数が、予め定められた規
定数に達していない場合（Ｓ１０８；ＮＯ）、次のサン
プリングのため、位置計算を行い（Ｓ１０２）、再びス
テップＳ１０３〜Ｓ１０８を繰り返す（Ｓ１０７）。サ
ンプル値の取得数がサンプル値の最大数に達したら（Ｓ
１０８；ＹＥＳ）、この音量取得処理を呼んだルーチン
にこの音量値ｖｔを返す。

【００６４】なお、幾つかのサンプリング点の最大値を
取得すれば、音量はほぼ正確に取得できると考えられる
ため、それほど多くのサンプリング回数は必要ない。逆
にサンプリング回数が多すぎると処理時間がかかり、他
の処理ができなくなるおそれもあるので、１回から十数
回のサンプリング回数でよい。例えば１６サンプリング
とする。

【００６５】ＰＣＭデータをサンプリングする位置は、
例えば、図５に示すように、サウンドブロック１２がア
クセスしていないバッファにおいて、連続してＰＣＭデ
ータをサンプリングすることが好ましい。人間の言葉
は、ある程度周期的に音量の増減が繰り返される傾向が
ある。このため、少なくとも一回音節が発音され、音量
のピークが記録されると思われる期間中、連続してサン
プリングすれば、その時の最大音量を計測できるからで
ある。

【００６６】ただし、必ずしも連続してサンプリングし
なければならないわけではなく、ステップＳ１０２にお
いて、不連続にアドレスを変化させて計算し、ＰＣＭデ
ータをサンプリングしてもよい。この場合でも、前述し
たように人間の言葉がある程度周期的であるため、もし
も、音声が最も小さくなる音節の合間にサンプリングタ
イミングが一致してしまうと、正しい音量が計測できな
い。そのため、乱数に基づいてサンプリングするアドレ
スを変化させる等の方法によって、図６に斜線で示すよ
うに、サンプル値を取得するタイミングが定期的になら
ないように設定することが好ましい。

【００６７】なお、上記実施形態ではサンプル値の絶対
値を計算し、そのうちのピーク値を記録していたが、ピ
ーク値のみを記録して音量値としてもよい。また、複数
のサンプル値の平均を計算して音量値としてもよい。

【００６８】音量値比較（図３：Ｓ２〜Ｓ５）： 図４
に示す処理により音量値が取得されたら、音量値ｖｔを
所定の基準値を比較して、複数の画像データ（ｍ＝０〜
４）の中から、一の画像データの番号ｍを決定する。こ
こで、変数ｍは、画像データを特定する番号である。ｎ
は、基準値の番号とする。

【００６９】例えば、ｎ＝５とした場合、画像データは
５枚となる。音量値ｖｔが最も低い基準値Ｖ１以下であ
る場合（Ｓ２）、ｍ＝０とされ、図１０に示すように口
を閉じた状態のオブジェクトを表示させる画像データが
選択される。音量値ｖｔがＶ１より大きく基準値Ｖ２以
下である場合（Ｓ３）、ｍ＝１とされ、図１１に示すよ
うに口をわずかに開けた状態のオブジェクトを表示させ
る画像データが選択される。音量値ｖｔがＶ２より大き
く基準値Ｖ３以下である場合（Ｓ４）、ｍ＝２とされ、
図１２に示すように口を普通に開けた状態のオブジェク
トを表示させる画像データが選択される。音量値ｖｔが
Ｖ３より大きく基準値Ｖ４以下である場合、ｍ＝３とさ
れ、図１３に示すように口を大きく開けた状態のオブジ
ェクトを表示させる画像データが選択される。音量値ｖ
ｔがＶ４より大きい場合（Ｓ５）、ｍ＝４とされ、図１
４に示すように絶叫しているように大きな口を開けた状
態のオブジェクトを表示させる画像データが選択され
る。

【００７０】なお、基準値の設定の仕方は種々の方法が
適用できる。本実施形態では、図７に示すように、音量
値ｖｔ＝０から最大値ＭＡＸ（＝Ｖ５）まで、均等な間
隔で基準値を設定していく。この他、基準値ｖｔ＝０か
ら最大値ＭＡＸまで、所定の特性で変化する間隔で基準
値を設定していってもよい。例えば、人間が認識する音
の大きさは、音量が小さい場合、音量値に比例しないこ
とが知られている。これに対応するべく、例えば図８に
示すように小さい音量ほど大きな間隔で基準値を設定
し、大きい音量ほどその間隔を小さくすることが考えら
れる。このように人間の聴覚の特性等に応じて、基準値
の設定を種々に変更することができる。

【００７１】口の動きを滑らかにする処理（Ｓ６〜Ｓ１
４）： 上記処理により、次に表示すべき画像データを
特定することができる。ところが、現在表示させている
オブジェクトの口の表現と上記処理で特定されたオブジ
ェクトの口の表現との間に開きがある場合、いきなり口
の開き方が異なるオブジェクトを表示するとしたなら
ば、口の動きが不自然なものとなる。そこで、以下の処
理により、現在の画像データと次に表示させる画像デー
タとの間に一段階以上の差がある場合には、徐々に口を
開かせたり閉じさせたりする画像表示を行う。この実施
形態では、当該フローチャートの処理がコールされるた
びに、すなわちフレーム期間ごとに、順次口の開き方の
異なる画像表示を行っていく。フレーム期間ごとに口の
開き方が異なる画像を表示させたのでは口の動くスピー
ドが速すぎる場合には、数フレームに一回画像データを
更新するように構成してもよい。このように構成すれ
ば、現実の人間における口の動き方に合った適度な速さ
で動く画像を表示できる。

【００７２】次に表示させる画像データが喋った状態の
画像データ（ｍ＞０）である場合（Ｓ６；ＹＥＳ）、メ
インＣＰＵ１０１は、次に表示させる画像データの番号
ｍが現在の画像データの番号より大きいか否かを判定す
る（Ｓ７）。次に表示させる画像データの番号ｍの方が
大きい場合（Ｓ７；ＹＥＳ）、オブジェクトの口が大き
く開かれることを意味するので、メインＣＰＵ１０１
は、現在の画像データより一段階大きく口を表示させる
画像データを表示させる（Ｓ８）。一方、次に表示させ
る画像データの番号ｍの方が小さい場合（Ｓ７；ＮＯ、
Ｓ９；ＹＥＳ）、オブジェクトの口が小さく閉じられる
ことを意味するので、メインＣＰＵ１０１は、現在の画
像データより一段階小さく口を表示させる画像データを
表示させる（Ｓ１０）。さらに次に表示させる画像デー
タの番号ｍが現在表示中の画像データの番号と等しい場
合（Ｓ９；ＮＯ）、オブジェクトの口の表現に変化がな
いことを意味するので、メインＣＰＵ１０１は、現在の
画像データを表示させたままにする。

【００７３】次に表示させる画像データが喋っていない
状態の画像データ（ｍ＝０）である場合（Ｓ６；Ｎ
Ｏ）、メインＣＰＵ１０１は、現在表示中の画像データ
が口を閉じた状態のオブジェクト（図１０）を表示させ
るのか否かを判定する（Ｓ１２）。現在表示中の画像デ
ータが口を開いている状態のオブジェクトを表示させる
ものである場合（Ｓ１２；ＮＯ）、口を徐々に閉じさせ
るべく、メインＣＰＵ１０１は一段階小さく口を表示さ
せる画像データを出力する（Ｓ１３）。現在表示中の画
像データが口を閉じた状態のオブジェクトを表示させる
ものである場合（Ｓ１２；ＹＥＳ）、オブジェクトの口
の表現に変化がないことを意味するので、メインＣＰＵ
１０１は、口を閉じた状態の画像データを表示させたま
まにする。

【００７４】以上の処理の後、メインＣＰＵ１０１は、
表示させた画像データの数が最大数ｍａｘに達したか否
かを判定する（Ｓ１４）。最大数ｍａｘは画像データが
５枚用意されている場合には、ｍａｘ＝５となる。表示
させた画像データの数が最大数ｍａｘに達していない場
合（Ｓ１４；ＮＯ）、次に大きな、あるいは次に小さな
口を表現させるため、Ｓ６〜Ｓ１３の処理を繰り返す。
表示させた画像データの数が最大数ｍａｘに達した場合
（Ｓ１４；ＹＥＳ）、ステップＳ２〜Ｓ５で特定した画
像データまで表示されたことを意味するので、メインＣ
ＰＵ１０１は処理を終了する。

【００７５】以上で、一回の音量値の変化に対応するオ
ブジェクトの表示処理を終了する。上記処理によれば、
滑らかな口の動きをするオブジェクトを表示可能とな
る。例えば、オブジェクトＡ５が口を閉じた状態におい
てアナウンサが絶叫したときのように音声が急に発され
たものとする。この場合、音量値がＶ４以上なので、Ｓ
６、Ｓ７、Ｓ８という処理が繰り返され、画像データが
ｍ＝１，２，３，４と順次変更されていき、最後にｍ＝
５の画像が表示される。一方、オブジェクトＡ５の発す
る音声が急になくなった場合、音量値ｖｔはＶ１以下と
なる。これにより、Ｓ６，Ｓ７、Ｓ９、Ｓ１０という処
理が繰り返され、画像データがｍ＝５，４，３，２，１
と順次変更されていき、最後にｍ＝０の口を閉じた状態
の画像が表示される。すなわち、音量が急激に変化して
も、口の動きは一段階ずつ進行するので、オブジェクト
の口を自然な動きで表現することが可能である。

【００７６】なお、上記したように、画像データの変更
していく周期は、フレーム周期ごとに行ってもよいが、
画像データ数が少なく、フレーム周期ごとに画像データ
を変更すると、表示されるオブジェクトの口の変化が急
すぎる場合には、数フレーム周期ごとに一回画像データ
を変更するように構成してもよい。

【００７７】また、上記したようにオブジェクトＡ５を
ポリゴンで表示させる場合には、メインＣＰＵ１０１
は、ポリゴンデータの頂点座標およびそのマトリクスデ
ータを画像データｍの番号と予め対応させておき、音量
値が変更するたびにポリゴンの表示態様を変えるよう構
成すればよい。

【００７８】（利点）上記実施形態によれば、コンピュ
ータ装置を備えるテレビゲーム装置において、音響を発
生させるためのＰＣＭデータ（音響信号）をサウンドＲ
ＡＭ１４２に記憶させ、相異なる表示態様で口を表現さ
せる画像データをＶＲＡＭ１２１に各々格納させ、ＣＰ
Ｕブロック１０がＶＲＡＭ１２１に格納された画像デー
タのうちいずれか一の画像データを選択して出力する構
成を備える。そして、ＣＰＵブロック１０は、サウンド
ＲＡＭ１４２に格納されたＰＣＭデータを参照して音響
の大きさを検出し、音響の大きさに応じて予め対応付け
られた画像データをＶＲＡＭ１２１から読み取って出力
するように構成したので、予めタイミングを設定するこ
となく、画像と音響とを同期させることが可能である。

【００７９】したがって、上記実施形態によれば、画像
と音響を自然に同期させることが可能となる。例えば、
「ゴール！ 入りましたー！」をいう絶叫するような音
声を発生させる場合、本実施形態のビデオゲーム装置
は、音声の発生および終了を確実に検出し、音声が発生
している間のみ、オブジェクトＡ５として口を開けた画
像を表示させることができる。

【００８０】また、「ゴール」という大きな長い音声を
発生させる場合にも、音声が連続して大きい音量である
ことを検出するので、オブジェクトＡ５として図１４に
示すような、大きな口を開けた画像が表示され、アナウ
ンサが絶叫している様子を臨場感豊かに表現できる。

【００８１】このとき、音響の大きさを、複数のサンプ
リングにより得られたサンプリング値の最大値を検出す
ることにより求めるので、音声の有無を正しく検出でき
る。

【００８２】また、音響の大きさを、複数のサンプリン
グにより得られたサンプリング値の平均値を検出するこ
とにより求めても、音声の有無を正しく検出できる。

【００８３】また、複数のサンプリング値を、連続して
サンプリングするので、音声のように断続的な音響であ
っても、その音量値を正しく検出できる。

【００８４】また、複数のサンプリング値を、不連続に
サンプリングした場合にも、そのサンプリングを非周期
的に行えば、その音量値を正しく検出できる。

【００８５】検出された音響の大きさと口を表現する画
像データとの対応を、所定の特性に基づいて決定するの
で、人間の聴覚に合わせた自然な口の表現が可能にな
る。

【００８６】また、画像データは、ビットマップデー
タ、圧縮された画像データまたはポリゴンデータのいず
れかにより各々構成できるので、任意の画像表示方法を
採用することができる。

【００８７】また、本実施形態によれば、新たな音響の
大きさが検出された際に、新たに検出された音響の大き
さ（例えばｖｔ＝Ｖ４）と現在の音響の大きさ（例えば
ｖｔ＝Ｖ１）との間にある音響の大きさ（ｖｔ＝Ｖ３、
Ｖ２）について、対応付けられている他の前記画像デー
タ（ｍ＝２，ｍ＝１）が存在する場合には、現在の音響
の大きさに対応付けられた画像データ（ｍ＝３）に代え
て新たな音響の大きさに対応付けられた画像データ（ｍ
＝０）を出力する前に、他の画像データ（ｍ＝２，ｍ＝
１）を一時的に出力する。したがって、音響の大きさが
大きく変化した場合でも、自然に口の動きを表現させる
ことが可能である。

【００８８】（実施形態２）本実施形態２は、上記実施
形態１でソフトウェアにより実現した機能をハードウェ
アで実現するものである。 （構成）図１５に、本実施形態２のブロック図を示す。
同図に示すように、本画像音響処理装置は、音響検出回
路２００および画像生成回路２１０から構成されてい
る。

【００８９】音響検出回路２００は、サンプル回路２０
５、ホールド回路２０６，ピークホールド回路２０７、
基準電圧供給回路２０８およびコンパレータ２０１〜２
０４を備えている。

【００９０】サンプル回路２０５は、サンプリングタイ
ミングごとに提供されるサンプル信号ｓｔに対応して開
閉するスイッチである。ホールド回路２０６は、サンプ
ル回路２０５が導通時にその入力を充電し、遮断時にも
その電圧を維持可能に構成されている。ピーク保持回路
２０７は、最大電圧を保持可能に構成されている。基準
電圧供給回路２０８は、最も高い基準電圧（Ｖ４）以上
の電圧を抵抗器で分圧して構成されており、各抵抗器の
接点からは基準電圧Ｖ１、Ｖ２、Ｖ３、Ｖ４を取得可能
に構成されている。コンパレータ２０１〜２０４は、そ
れぞれ一方の入力端子に各基準電圧Ｖ１〜Ｖ４が供給さ
れ、他方の入力端子にホールド回路２０６の出力が供給
され、各基準電圧との比較出力Ｏ１〜Ｏ４を出力可能に
構成されている。

【００９１】画像出力回路２１０は、デコーダ回路２１
１，画像メモリ２１２およびセレクタ回路２１３から構
成されている。

【００９２】デコーダ回路２１１は、音量検出回路２０
０からの比較出力Ｏ１〜Ｏ４を入力して、比較出力の論
理状態に応じた選択信号ＳＣを出力可能に構成されてい
る。画像メモリ２１２は、画像データｍ（＝０，１，
２，３，４）の各々を領域２１２１，２１２２，２１２
３，２１２４にそれぞれ格納可能に構成されている。セ
レクタ２１３は、画像メモリ２１２の各領域からの画像
データのうちいずれか一つを、デコーダ回路２１１から
の選択信号ＳＣ対応させて出力可能に構成されている。
以上の構成により、比較出力と選択される画像メモリの
関係は以下のようになる。

【００９３】 音量値ｖｔ 比較出力 選択される領域 出力画像 Ｏ１ Ｏ２ Ｏ３ Ｏ４ ０≦vt＜V1 Ｈ Ｈ Ｈ Ｈ ２１２１ ｍ＝０ V1≦vt＜V2 Ｌ Ｈ Ｈ Ｈ ２１２２ ｍ＝１ V2≦vt＜V3 Ｌ Ｌ Ｈ Ｈ ２１２３ ｍ＝２ V3≦vt＜V4 Ｌ Ｌ Ｌ Ｈ ２１２４ ｍ＝３ V4≦vt＜V5 Ｌ Ｌ Ｌ Ｌ ２１２５ ｍ＝４ 各領域に格納する画像データｍ（＝０〜４）および処理
の考え方については上記実施形態１と同様なので説明を
省略する。

【００９４】（作用）上記構成において、アナログ信号
として所定の音響信号ｖｔ’が供給されると、所定のサ
ンプリング信号ｓｔによりサンプリング回路２０５がオ
ンオフを繰り返し、ホールド回路２０６がその電圧を保
持する。何回かサンプリング信号ｓｔが供給されると、
ピーク保持回路２０７がそのうちの最大値を保持する。
これが音量値ｖｔとなる。コンパレータ２０１〜２０４
では、この音量値ｖｔを各基準電圧Ｖ１〜Ｖ４と比較
し、対応する比較出力Ｏ１〜Ｏ４を出力する。セレクタ
回路２１３は、上記表に対応させて画像メモリ２１２か
ら一の領域を選択し、いずれか一の画像データ（ｍ＝
０，１，２，３，または４）を出力する。

【００９５】なお、本実施形態の構成は、上記構成に限
ることなく、同様な機能を奏する他の回路構成を適宜設
計変更して適用することが可能である。例えば、上記回
路はアナログ信号に対応させて構成したが、デジタル信
号に対応させて構成してもよい。すなわち、音響信号ｖ
ｔ’がＰＣＭデータで供給される場合、サンプル回路２
０５およびホールド回路２０６はラッチ素子により構成
される。ピーク保持回路２０７，基準電圧供給回路２０
８およびコンパレータ２０１〜２０４は、大小判定回路
等により構成される。

【００９６】また、音量検出回路２００または画像出力
回路２１０のいずれか一方をＣＰＵに所定のソフトウェ
アを実行させることにより構成してもよい。

【００９７】上記のように本実施形態２によれば、本発
明の画像音響処理装置をハードウェアの構成によっても
実現可能である。

【００９８】（その他の変形例）本発明は、上記各形態
に拘らず種々に変形できる。例えば、上記実施形態で
は、テレビゲーム装置に本発明の画像音響処理装置を適
用したが、他の装置に適用することも可能である。すな
わち音響と画像とを同期させて表示させたい装置におい
て、何からの音響信号に基づいて本発明の音響検出手段
および画像出力手段を適用すれば、音響に同期した映像
表現が可能となる。出力対象は、画像に限ることなく、
例えば、人形の動き等、音量を機械的な物理量に変換し
て表現してもよい。

【００９９】また、上記実施形態では、オブジェクトが
人間の顔であり、画像データをその口の表現を変えて作
成していたが、オブジェクトは人間に限ることなく、動
物、ロボット等、口が存在し、人間の発音する様子を表
現しうるものであれば、種々に適用が可能である。ま
た、口という概念から離れて、物体が伸び縮みするよう
な動きを表現する画像データを、音量値に対応させて作
成してもよい。

【０１００】また、上記実施形態では、オブジェクト
を、二次元的な画像データに表現していたが、オブジェ
クトをポリゴン等により表現し視野変換を施すことで、
三次元的なオブジェクトに適用することが可能である。

【０１０１】

【発明の効果】本発明によれば、音響の大きさを検出
し、それに対応する画像を表示させるように構成したの
で、予めタイミングを設定することなく、画像と音響と
を同期させることが可能な画像音響処理装置を提供でき
る。

【０１０２】また、本発明によれば、音量の大きさが大
きく変化した場合にその間の音量に対応付けられた画像
を表示させるので、音響の大きさが大きく変化した場合
でも、自然に口の動きを表現させることが可能な画像音
響処理技術を提供することができる。

【０１０３】また、本発明によれば、音響の大きさを検
出し、それに対応する画像を表示させるように処理した
ので、予めタイミングを設定することなく、画像と音響
とを同期させることが可能な画像音響処理方法を提供す
ることである。

【０１０４】また、本発明によれば、音響の大きさを検
出し、それに対応する画像を表示させるようなプログラ
ムを記録させたので、コンピュータに上記課題を解決し
うるプログラムが記録された記録媒体を提供することが
できる。

【図面の簡単な説明】

【図１】本発明の画像音響処理装置を適用したゲーム装
置の外観図である。

【図２】本発明の画像音響処理装置を適用したテレビゲ
ーム装置のブロック図である。

【図３】実施形態１の画像音響処理動作を説明するフロ
ーチャートである。

【図４】実施形態１の音量取得動作を説明するフローチ
ャートである。

【図５】実施形態１におけるサウンドＲＡＭのバッファ
構造を説明する図である。

【図６】バッファからのサンプリングの変形例を説明す
る図である。

【図７】実施形態１における音量値と画像データとの対
応を説明する図である。

【図８】音量値と画像データとの対応の変形例を説明す
る図である。

【図９】本実施形態１におけるテレビゲーム装置の画像
表示例である。

【図１０】本発明における画像データによる表示例（ｍ
＝０）である。

【図１１】本発明における画像データによる表示例（ｍ
＝１）である。

【図１２】本発明における画像データによる表示例（ｍ
＝２）である。

【図１３】本発明における画像データによる表示例（ｍ
＝３）である。

【図１４】本発明における画像データによる表示例（ｍ
＝４）である。

【図１５】本実施形態２の画像音響処理装置のブロック
図である。

【符号の説明】

１０…ＣＰＵブロック １１…ビデオブロック １２…サウンドブロック １０１…メインＣＰＵ １０２…ＲＡＭ １２１…ＶＲＡＭ １４２…サウンドＲＡＭ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｇ１０Ｌ 3/00 ５５１ Ｇ１０Ｌ 3/00 ５６１Ｃ ５６１ Ｇ０６Ｆ 15/62 ３２１Ａ

Claims (15)

【特許請求の範囲】
1. 【請求項１】 口を表現する画像に合わせて音響を生成
   する画像音響処理装置において、 音響を発生させるための音響信号を参照して音響の大き
   さを検出する音量検出手段と、 前記音量検出手段によって検出された音響の大きさに対
   応させて口を表現させる画像データを出力する画像出力
   手段と、を備える画像音響処理装置。
2. 【請求項２】 口を表現する画像にあわせて音響を生成
   する画像音響処理装置において、 音響を発生させるための音響信号を格納する第１記憶回
   路と、 相異なる表示態様で口を表現させる画像データを各々格
   納する第２記憶回路と、 前記第２記憶回路に格納された画像データのうちいずれ
   か一の画像データを選択して出力する制御回路と、を備
   え、 前記制御回路は、前記第１記憶回路に格納された音響信
   号を参照して音響の大きさを検出し、音響の大きさに応
   じて予め対応付けられた画像データを前記第２記憶回路
   から読み取って出力する画像音響処理装置。
3. 【請求項３】 前記音響信号における音響の大きさは、
   複数のサンプリングにより得られたサンプリング値の最
   大値を検出することにより求められる請求項１または請
   求項２のいずれか一項に記載の画像音響処理装置。
4. 【請求項４】 前記音響信号における音響の大きさは、
   複数のサンプリングにより得られたサンプリング値の平
   均値を検出することにより求められる請求項１または請
   求項２のいずれか一項に記載の画像音響処理装置。
5. 【請求項５】 前記複数のサンプリング値は、連続して
   サンプリングされたものである請求項３または請求項４
   のいずれか一項に記載の画像音響処理装置。
6. 【請求項６】 前記複数のサンプリング値は、不連続に
   サンプリングされたものである請求項３または請求項４
   のいずれか一項に記載の画像音響処理装置。
7. 【請求項７】 検出された前記音響の大きさと口を表現
   する画像データとの対応は、所定の特性に基づいて決定
   されたものである請求項１または請求項２のいずれか一
   項に記載の画像音響処理装置。
8. 【請求項８】 前記画像データは、ビットマップデー
   タ、圧縮された画像データまたはポリゴンデータのいず
   れかにより各々構成されたものである請求項１または請
   求項２のいずれか一項に記載の画像音響処理装置。
9. 【請求項９】 新たに検出された音響の大きさと現在出
   力されている音響の大きさとの間に所定値以上の差があ
   る場合には、新たに検出された音響の大きさに対応付け
   られた画像データを出力する前に、両音響の大きさの間
   に割り当てられた他の音響の大きさに対応付けられてい
   る画像データを順次出力する請求項１または請求項２の
   いずれか一項に記載の画像音響処理装置。
10. 【請求項１０】 当該画像音響処理装置は、前記他の音
    響の大きさに対応付けられている画像データを、所定の
    期間ごとに順次出力可能に構成される請求項９に記載の
    画像音響処理装置。
11. 【請求項１１】 前記画像音響処理装置は、 前記音響信号に対応させて音響を発生させる音響生成手
    段と、 出力された前記画像データに基づいて画像を表示させる
    画像表示手段と、をさらに備える請求項１または請求項
    ２のいずれか一項に記載の画像音響処理装置。
12. 【請求項１２】 口を表現する画像に合わせて音響を生
    成する画像音響処理方法において、 音響を発生させるための音響信号を参照して音響の大き
    さを検出するステップと、 前記ステップにおいて検出された音響の大きさに対応さ
    せて口を表現させる画像データを出力するステップと、
    を備える画像音響処理方法。
13. 【請求項１３】 口を表現する画像にあわせて音響を生
    成する画像音響処理方法において、 音響を発生させるための音響信号を第１記憶回路から読
    み取るステップと、 前記第１記憶回路から読み取った音響信号における音響
    の大きさを検出するステップと、 相異なる表示態様で口を表現させる画像データを各々格
    納する第２記憶回路から、検出された前記音響の大きさ
    に予め対応付けられた画像データを読み取って出力する
    ステップと、を備えた画像音響処理方法。
14. 【請求項１４】 新たに検出された音響の大きさと現在
    出力されている音響の大きさとの間に所定値以上の差が
    あるか否かを判断するステップと、両音響の大きさの間
    に所定値以上の差がある場合には、新たに検出された音
    響の大きさに対応付けられた画像データを出力する前
    に、両音響の間に割り当てられた他の音響の大きさに対
    応付けられている画像データを順次出力するステップ
    と、を備える請求項１１または請求項１２のいずれか一
    項に記載の画像音響処理方法。
15. 【請求項１５】 コンピュータに、請求項１２乃至請求
    項１４のいずれか一項に記載されたステップを実行させ
    るためのプログラムデータが記載された機械読取可能な
    記録媒体。