JP2895932B2 - アニメーション合成表示装置 - Google Patents
アニメーション合成表示装置Info
- Publication number
- JP2895932B2 JP2895932B2 JP2220468A JP22046890A JP2895932B2 JP 2895932 B2 JP2895932 B2 JP 2895932B2 JP 2220468 A JP2220468 A JP 2220468A JP 22046890 A JP22046890 A JP 22046890A JP 2895932 B2 JP2895932 B2 JP 2895932B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- display
- animation
- pitch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/205—3D [Three Dimensional] animation driven by audio data
Description
【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、デジタル音源をMIDI規格に基づいたデータ
によって制御し、カラオケ音楽を自動演奏する場合に、
音楽データを演算処理してディスプレイにアニメーショ
ンを合成表示させる装置に関する。
によって制御し、カラオケ音楽を自動演奏する場合に、
音楽データを演算処理してディスプレイにアニメーショ
ンを合成表示させる装置に関する。
従来から公知であるMIDI規格のデジタル音源によって
カラオケ音楽を自動演奏させる構成では、一曲あたりの
必要データ量がPCM録音などと比較して極めて少なく、
光ディスクなどに収録するときでも有利である。しか
し、この構成では音楽データしか扱わないので、歌詞を
ディスプレイに表示することは不可能である。従って歌
唱者は歌詞の本を見ながら歌わなければならず、煩わし
い。そこで、出願人は上述した音楽データ中に歌詞デー
タを文字情報として混在させ、音楽の進行に伴って同期
をとりつつディスプレイに表示させるという技術を従来
から各種開発している（たとえば、特願平１−5793号、
特願平１−50788号など）。
カラオケ音楽を自動演奏させる構成では、一曲あたりの
必要データ量がPCM録音などと比較して極めて少なく、
光ディスクなどに収録するときでも有利である。しか
し、この構成では音楽データしか扱わないので、歌詞を
ディスプレイに表示することは不可能である。従って歌
唱者は歌詞の本を見ながら歌わなければならず、煩わし
い。そこで、出願人は上述した音楽データ中に歌詞デー
タを文字情報として混在させ、音楽の進行に伴って同期
をとりつつディスプレイに表示させるという技術を従来
から各種開発している（たとえば、特願平１−5793号、
特願平１−50788号など）。
ところで、既に開示した上記構成では、ディスプレイ
に表示されるのは歌詞のみであるから、歌唱者にとって
歌詞本が不要になった点は評価することができるとして
も、順番待ちの他人にとっては視覚的な楽しみがない。
また、背景を加工することは不可能ではないが、データ
量を抑制しながら簡単に追加できる範囲としてはせいぜ
い単色の背景を適当に変更する位のもので、効果的では
ない。
に表示されるのは歌詞のみであるから、歌唱者にとって
歌詞本が不要になった点は評価することができるとして
も、順番待ちの他人にとっては視覚的な楽しみがない。
また、背景を加工することは不可能ではないが、データ
量を抑制しながら簡単に追加できる範囲としてはせいぜ
い単色の背景を適当に変更する位のもので、効果的では
ない。
一方、画像データの位置付けを大きくして音楽データ
に画像データを重畳し、映像面での演出効果を強化する
ことも考えられる。しかし、このようにすればMIDI規格
に基づいてデータを構成する利点が以下のように著しく
減少してしまう。即ち、データ量が非常に大きくなる
ので、小さいデータサイズで高品位の音楽を扱うという
MIDI規格の目的に相反する、画像データを含んだ音楽
データを曲毎に制作しなければならないので、入力コス
トが高くなる、記憶装置、あるいは記憶媒体として大
容量の装置を必要とする、単位あたりのデータが大き
いと、音楽演奏に支障をきたすおそれがある、データ
伝送に要する時間やコストが大きくなる。
に画像データを重畳し、映像面での演出効果を強化する
ことも考えられる。しかし、このようにすればMIDI規格
に基づいてデータを構成する利点が以下のように著しく
減少してしまう。即ち、データ量が非常に大きくなる
ので、小さいデータサイズで高品位の音楽を扱うという
MIDI規格の目的に相反する、画像データを含んだ音楽
データを曲毎に制作しなければならないので、入力コス
トが高くなる、記憶装置、あるいは記憶媒体として大
容量の装置を必要とする、単位あたりのデータが大き
いと、音楽演奏に支障をきたすおそれがある、データ
伝送に要する時間やコストが大きくなる。
このように、MIDI規格に基づいた音楽データを利用し
て単位あたりのデータ量を抑制するからには、画像デー
タに関してもできる限りデータサイズを小さくすること
が要求される。
て単位あたりのデータ量を抑制するからには、画像デー
タに関してもできる限りデータサイズを小さくすること
が要求される。
本発明はこのような現状の課題を解決しようとするも
ので、独立した動画情報を用いることなく、音楽データ
そのものから特定のデータを抽出し、これを画像データ
に利用して任意のアニメーションをディスプレイ面で動
かせるようにしたアニメーションの合成表示装置を提供
することを目的とする。
ので、独立した動画情報を用いることなく、音楽データ
そのものから特定のデータを抽出し、これを画像データ
に利用して任意のアニメーションをディスプレイ面で動
かせるようにしたアニメーションの合成表示装置を提供
することを目的とする。
そこで本発明では、テンポ検出器（２）、音程検出器
（３）、画像合成制御器（４）、画像合成器（５）から
なるアニメーション合成表示装置であって、テンポ検出
器（２）は入力されるMIDIデータのテンポデータを識別
して一連のパルス信号を発生し、音程検出器（３）は入
力されるMIDIデータの音程データを識別して出力し、画
像合成制御器（４）は表示タイミング計算器（41）、表
示色計算器（42）、表示合成選択器（43）からなり、表
示タイミング計算器（41）は音程データに基づいてトリ
ガ信号を出力し、表示色計算器（42）は音程データに基
づいてアニメーションデータの前景色と背景色を決定
し、表示画像選択器（43）は入力されるMIDIデータのデ
ータ形式に基づいて制御信号を出力し、画像合成器
（５）はデータベース制御器（54）、色ゲート（51）、
画像バッファ（52）、画像ゲート（53）からなり、デー
タベース制御器（54）は複数のアニメーションデータを
格納したアニメーションデータベース（６）から制御信
号に対応するアニメーションデータを選択し、色ゲート
（51）は選択したアニメーションデータと決定した前景
色と背景色を合成して画像バッファ（52）に蓄積し、画
像ゲート（53）はトリガ信号のタイミングにて画像バッ
ファ（52）に蓄積されたアニメーションデータを１コマ
ずつディスプレイ（８）に表示させるという手段を採用
して上述した目的を達成している。
（３）、画像合成制御器（４）、画像合成器（５）から
なるアニメーション合成表示装置であって、テンポ検出
器（２）は入力されるMIDIデータのテンポデータを識別
して一連のパルス信号を発生し、音程検出器（３）は入
力されるMIDIデータの音程データを識別して出力し、画
像合成制御器（４）は表示タイミング計算器（41）、表
示色計算器（42）、表示合成選択器（43）からなり、表
示タイミング計算器（41）は音程データに基づいてトリ
ガ信号を出力し、表示色計算器（42）は音程データに基
づいてアニメーションデータの前景色と背景色を決定
し、表示画像選択器（43）は入力されるMIDIデータのデ
ータ形式に基づいて制御信号を出力し、画像合成器
（５）はデータベース制御器（54）、色ゲート（51）、
画像バッファ（52）、画像ゲート（53）からなり、デー
タベース制御器（54）は複数のアニメーションデータを
格納したアニメーションデータベース（６）から制御信
号に対応するアニメーションデータを選択し、色ゲート
（51）は選択したアニメーションデータと決定した前景
色と背景色を合成して画像バッファ（52）に蓄積し、画
像ゲート（53）はトリガ信号のタイミングにて画像バッ
ファ（52）に蓄積されたアニメーションデータを１コマ
ずつディスプレイ（８）に表示させるという手段を採用
して上述した目的を達成している。
MIDI信号は複数のパラメータがバイナリデータとして
一定の規則に基づいてシリアルで連続しているが、本発
明ではこれらのパラメータ中のテンポデータと音程デー
タを利用するものである。そして、テンポデータはアニ
メーションのコマ送り機能を、音程データはアニメーシ
ョンの色決定機能に用いられる。また、アニメーション
自体は画像データベースに複数種類記憶されたもののう
ちから、特定して、あるいは任意に読み出され、この情
報と色データを合成したものが、テンポデータから生成
されたパルス状のトリガによって静止画の状態でコマ送
りされ、コマ送り速度が速い場合には動画としてのアニ
メーションがディスプレイ上に構成されるものである。
一定の規則に基づいてシリアルで連続しているが、本発
明ではこれらのパラメータ中のテンポデータと音程デー
タを利用するものである。そして、テンポデータはアニ
メーションのコマ送り機能を、音程データはアニメーシ
ョンの色決定機能に用いられる。また、アニメーション
自体は画像データベースに複数種類記憶されたもののう
ちから、特定して、あるいは任意に読み出され、この情
報と色データを合成したものが、テンポデータから生成
されたパルス状のトリガによって静止画の状態でコマ送
りされ、コマ送り速度が速い場合には動画としてのアニ
メーションがディスプレイ上に構成されるものである。
以下、本発明の一実施例を添付したブロック図に従っ
て詳述すると、第１図はMIDI規格に基づいたデジタル音
源に入力されるMIDI信号を演算し、データベースに蓄積
した画像データから任意のデータを取り出し、合成処理
を行ってディスプレイに表示するための全体構成を示し
ている。ここにMIDI信号とは、デジタル音源を駆動する
ための情報をシリアルの二進符号で表現したもので、音
楽の進行に関するテンポデータ、音の高さに関する音程
データ、音色に関する波形データ、音楽的効果に関する
効果音データなどによって構成されている。本発明では
これらのデータのうちから、テンポデータと音程データ
の２つを利用する。
て詳述すると、第１図はMIDI規格に基づいたデジタル音
源に入力されるMIDI信号を演算し、データベースに蓄積
した画像データから任意のデータを取り出し、合成処理
を行ってディスプレイに表示するための全体構成を示し
ている。ここにMIDI信号とは、デジタル音源を駆動する
ための情報をシリアルの二進符号で表現したもので、音
楽の進行に関するテンポデータ、音の高さに関する音程
データ、音色に関する波形データ、音楽的効果に関する
効果音データなどによって構成されている。本発明では
これらのデータのうちから、テンポデータと音程データ
の２つを利用する。
先ず、本実施例を機能を優先したブロックによって説
明すると、大きく８つのブロックによって構成される。
即ち、入力部１、テンポ検出器２、音程検出器３、画像
合成制御器４、画像合成器５、画像データベース６、画
像表示器７、およびディスプレイ８である。このうち、
１の入力部ではデジタル音源に入力されるMIDI信号と並
列に分岐したMIDI信号を次段以下のブロックに入力する
もの、２のテンポ検出器はMIDI信号からテンポデータの
みを抜き出し、テンポデータに同期したパルスを発生さ
せて画像合成制御器４に対して出力するもの、３の音程
検出器ではMIDI信号から音程データのみを抜き出し、デ
ィスプレイに表示される色を決定するためのパラメータ
を画像合成制御器４に対して出力するものである。これ
らのテンポデータと音程データは、画像合成制御器４に
入力される際には、波形変換・レベルシフトなどによっ
て有効な情報に処理されている。４の画像合成制御器で
は、テンポ検出器２によって得られる画像同期パルス
と、音程検出器３に基づいて得られる表示色データを受
け、表現されるアニメーションのデータベースにおける
位置、前景色、背景色および表示タイミングを次段の画
像合成器５に対して指令するものである。また、５の画
像合成器では、画像合成制御器４で計算によって指定さ
れた単数または複数の画像部品を、画像データベース６
から読み出し、アニメーションを合成した後に、指定さ
れた表示色・背景色・表示タイミングに従って画像表示
器７に送出する。そして、画像表示器７では送られてき
たデジタル量の画像信号をビデオ信号に変換し、CRTな
どのディスプレイ８にアニメーションを表示するのであ
る。なお、画像データベース６は、光ディスクなどを媒
体として、表示される一連の画像パターンを一組のアニ
メーションとし、複数組が記憶されており、画像合成器
５の指令に従って指定された画像が読み出されるもので
ある。
明すると、大きく８つのブロックによって構成される。
即ち、入力部１、テンポ検出器２、音程検出器３、画像
合成制御器４、画像合成器５、画像データベース６、画
像表示器７、およびディスプレイ８である。このうち、
１の入力部ではデジタル音源に入力されるMIDI信号と並
列に分岐したMIDI信号を次段以下のブロックに入力する
もの、２のテンポ検出器はMIDI信号からテンポデータの
みを抜き出し、テンポデータに同期したパルスを発生さ
せて画像合成制御器４に対して出力するもの、３の音程
検出器ではMIDI信号から音程データのみを抜き出し、デ
ィスプレイに表示される色を決定するためのパラメータ
を画像合成制御器４に対して出力するものである。これ
らのテンポデータと音程データは、画像合成制御器４に
入力される際には、波形変換・レベルシフトなどによっ
て有効な情報に処理されている。４の画像合成制御器で
は、テンポ検出器２によって得られる画像同期パルス
と、音程検出器３に基づいて得られる表示色データを受
け、表現されるアニメーションのデータベースにおける
位置、前景色、背景色および表示タイミングを次段の画
像合成器５に対して指令するものである。また、５の画
像合成器では、画像合成制御器４で計算によって指定さ
れた単数または複数の画像部品を、画像データベース６
から読み出し、アニメーションを合成した後に、指定さ
れた表示色・背景色・表示タイミングに従って画像表示
器７に送出する。そして、画像表示器７では送られてき
たデジタル量の画像信号をビデオ信号に変換し、CRTな
どのディスプレイ８にアニメーションを表示するのであ
る。なお、画像データベース６は、光ディスクなどを媒
体として、表示される一連の画像パターンを一組のアニ
メーションとし、複数組が記憶されており、画像合成器
５の指令に従って指定された画像が読み出されるもので
ある。
次に、上述した各ブロックの内部ブロックをさらに詳
細に説明すると、テンポ検出器２はMIDI信号デコーダ2
1、テンポデータ判定器22、パルス発生器23によって構
成されている。MIDI信号デコーダ21では、入力部１から
シリアルで送られてくるMIDI信号を８ビット単位データ
に変換し、テンポデータ判定器22に出力する。テンポデ
ータ判定器22では入力されるMIDI信号を解析し、テンポ
データが含まれていない場合には読みとばし、テンポデ
ータを識別すればパルス発生器23をトリガし、このパル
ス発生器23から画像同期パルスａを画像合成制御器４に
対して出力するようにしている。
細に説明すると、テンポ検出器２はMIDI信号デコーダ2
1、テンポデータ判定器22、パルス発生器23によって構
成されている。MIDI信号デコーダ21では、入力部１から
シリアルで送られてくるMIDI信号を８ビット単位データ
に変換し、テンポデータ判定器22に出力する。テンポデ
ータ判定器22では入力されるMIDI信号を解析し、テンポ
データが含まれていない場合には読みとばし、テンポデ
ータを識別すればパルス発生器23をトリガし、このパル
ス発生器23から画像同期パルスａを画像合成制御器４に
対して出力するようにしている。
音程検出器３は上述したと同様のMIDI信号デコーダ31
と、音程データ判定器32によって構成されており、MIDI
信号デコーダ31によって８ビット単位データに変換され
た情報は、音程データ判定器32において順次解析され、
音程データが含まれていない場合には単位データを読み
とばし、音程データを識別すれば、これをそのまま音程
データｂとして次段の画像合成制御器４に出力してい
る。
と、音程データ判定器32によって構成されており、MIDI
信号デコーダ31によって８ビット単位データに変換され
た情報は、音程データ判定器32において順次解析され、
音程データが含まれていない場合には単位データを読み
とばし、音程データを識別すれば、これをそのまま音程
データｂとして次段の画像合成制御器４に出力してい
る。
さらに画像同期パルスａと音程データｂが入力される
画像合成制御器４は、表示タイミング計算器41、表示色
計算器42、表示画像選択器43によって構成されている。
そして、表示タイミング計算器41では入力された画像同
期パルスａを演算して、演奏のテンポに応じた１ビット
の表示タイミング信号ｃを画像合成器５に対してトリガ
出力し、画像信号の出力をコントロールする一方、表示
色計算器42では音程データｂを演算して表示色に関する
データに変換した後に、次段の画像合成器５に出力す
る。また、表示画像選択器43では画像部品データベース
６に格納された複数種類のアニメーションから１種類の
アニメーションを選択決定する機能を行う部分である。
そして、選択する契機は表示タイミング計算器41から出
力された表示タイミング信号ｃのうち、最初の信号ｄで
トリガされ、制御信号ｆを出力するようにして余分なデ
ータの使用を排除している。ただし、これは一例であっ
て、表示画像選択器43の駆動のための契機を与えること
ができる構成であれば、他にもたとえばパルス発生器23
からの第１パルスを用いてもよい。これらの機能を達成
するために採用できる構成としては、４つの構成があ
る。第１には手動でアニメーションを選択する構成、第
２にはMIDI信号のデータのヘッダとして音楽カテゴリー
を付加し、端末においてそのデータを参照してカテゴリ
ーに合致するアニメーションを選択する構成、第３には
データのヘッダにアニメーション番号データを付加し、
端末側でその番号と一致するアニメーションを選択する
構成、第４に完全に自動化によって選択する構成があ
る。このうち、第１の構成では余分なデータを付加する
ことなくアニメーションを自由に選択することができる
ので、趣味的な効果を引き出すことが可能になる。ま
た、第２の構成では音楽の雰囲気にある程度合致した無
難なアニメーションが再生されるので、一般的であり、
カテゴリーを選択するためのデータも少量ですむので、
MIDI規格の利点を損なうことはない。第３の構成では、
当初から予定されたアニメーションが選択されるので、
視覚的効果を最大に活用することができ、追加すべきデ
ータ量も少量でむ。さらに、第４の構成では表示画像選
択器43によってランダムにアニメーションが選択される
ので、余分なデータを付加する必要がないという利点が
ある。ここで、これらの構成のうち第１の構成は手入力
のための装置が必要であるのに対し、第２〜第４の構成
では第１図のブロックをそのまま利用することになる。
第２図に、表示画像選択器43を駆動するための上記第１
の構成と、第２〜第４の構成中任意に選択された１つの
構成とを自由に切り換えることができる回路例を示す。
ここで、44はモード切換えスイッチで、モード切換器45
の自動モード・手動モードを選択する。46は手動入力装
置である。手動時には、たとえばアニメーションの識別
番号を数値入力するような構成が考えられる。自動時に
は、データ構造がどのように設定されているかによっ
て、上記第２〜第４の構成のうち１つの構成に従って処
理されることになる。
画像合成制御器４は、表示タイミング計算器41、表示色
計算器42、表示画像選択器43によって構成されている。
そして、表示タイミング計算器41では入力された画像同
期パルスａを演算して、演奏のテンポに応じた１ビット
の表示タイミング信号ｃを画像合成器５に対してトリガ
出力し、画像信号の出力をコントロールする一方、表示
色計算器42では音程データｂを演算して表示色に関する
データに変換した後に、次段の画像合成器５に出力す
る。また、表示画像選択器43では画像部品データベース
６に格納された複数種類のアニメーションから１種類の
アニメーションを選択決定する機能を行う部分である。
そして、選択する契機は表示タイミング計算器41から出
力された表示タイミング信号ｃのうち、最初の信号ｄで
トリガされ、制御信号ｆを出力するようにして余分なデ
ータの使用を排除している。ただし、これは一例であっ
て、表示画像選択器43の駆動のための契機を与えること
ができる構成であれば、他にもたとえばパルス発生器23
からの第１パルスを用いてもよい。これらの機能を達成
するために採用できる構成としては、４つの構成があ
る。第１には手動でアニメーションを選択する構成、第
２にはMIDI信号のデータのヘッダとして音楽カテゴリー
を付加し、端末においてそのデータを参照してカテゴリ
ーに合致するアニメーションを選択する構成、第３には
データのヘッダにアニメーション番号データを付加し、
端末側でその番号と一致するアニメーションを選択する
構成、第４に完全に自動化によって選択する構成があ
る。このうち、第１の構成では余分なデータを付加する
ことなくアニメーションを自由に選択することができる
ので、趣味的な効果を引き出すことが可能になる。ま
た、第２の構成では音楽の雰囲気にある程度合致した無
難なアニメーションが再生されるので、一般的であり、
カテゴリーを選択するためのデータも少量ですむので、
MIDI規格の利点を損なうことはない。第３の構成では、
当初から予定されたアニメーションが選択されるので、
視覚的効果を最大に活用することができ、追加すべきデ
ータ量も少量でむ。さらに、第４の構成では表示画像選
択器43によってランダムにアニメーションが選択される
ので、余分なデータを付加する必要がないという利点が
ある。ここで、これらの構成のうち第１の構成は手入力
のための装置が必要であるのに対し、第２〜第４の構成
では第１図のブロックをそのまま利用することになる。
第２図に、表示画像選択器43を駆動するための上記第１
の構成と、第２〜第４の構成中任意に選択された１つの
構成とを自由に切り換えることができる回路例を示す。
ここで、44はモード切換えスイッチで、モード切換器45
の自動モード・手動モードを選択する。46は手動入力装
置である。手動時には、たとえばアニメーションの識別
番号を数値入力するような構成が考えられる。自動時に
は、データ構造がどのように設定されているかによっ
て、上記第２〜第４の構成のうち１つの構成に従って処
理されることになる。
次にまた、画像合成器５は色ゲート51、画像バッファ
52、画像データ53、およびデータベース制御器54の４つ
のブロックによって構成されており、これらによってビ
デオ情報が生成される。これらのブロックではまず表示
画像選択器43の指示に従って、データベース制御器54が
画像データベース６からアニメーションをロードし、色
ゲート51にデータを送出する。色ゲート51では表示色信
号ｅによって指示された前景色や背景色をアニメーショ
ンのデータと合成し、画像バッファ52に蓄積される。そ
して、トリガ信号ａによって画像ゲート53がオープンす
れば画像バッファ52から表示器７に対して１コマ分のデ
ータをデジタル信号として送出し、表示器７でビデオ信
号に変換した後にディスプレイ８に１コマが表示される
のである。続いて、次のトリガ信号があれば２コマ目の
表示のための一連の動作を経てディスプレイ８に２コマ
目が表示されるというように、順次繰り返していくこと
によって、アニメーション、即ち動画が表現されるので
ある。本実施例では画像ゲート53のオープンはテンポデ
ータを基礎としているので、一般的にはテンポの速い曲
ではコマ送りが細かく、遅い曲では荒くなる。
52、画像データ53、およびデータベース制御器54の４つ
のブロックによって構成されており、これらによってビ
デオ情報が生成される。これらのブロックではまず表示
画像選択器43の指示に従って、データベース制御器54が
画像データベース６からアニメーションをロードし、色
ゲート51にデータを送出する。色ゲート51では表示色信
号ｅによって指示された前景色や背景色をアニメーショ
ンのデータと合成し、画像バッファ52に蓄積される。そ
して、トリガ信号ａによって画像ゲート53がオープンす
れば画像バッファ52から表示器７に対して１コマ分のデ
ータをデジタル信号として送出し、表示器７でビデオ信
号に変換した後にディスプレイ８に１コマが表示される
のである。続いて、次のトリガ信号があれば２コマ目の
表示のための一連の動作を経てディスプレイ８に２コマ
目が表示されるというように、順次繰り返していくこと
によって、アニメーション、即ち動画が表現されるので
ある。本実施例では画像ゲート53のオープンはテンポデ
ータを基礎としているので、一般的にはテンポの速い曲
ではコマ送りが細かく、遅い曲では荒くなる。
上述した本実施例の構成に基づいて音楽を再生すれ
ば、デジタル音源がMIDI信号を解析しながらオーディオ
信号を生成し、増幅アンプを介して音楽演奏が行われる
と同時進行で、入力部１からMIDI信号が取り込まれる。
そして、何らかのトリガに基づいて表示画像選択器43が
画像部品データベース６から一連のストーリーを持った
アニメーションを選択する一方、音程検出器３ではアニ
メーションの色を決定するための音程データを抽出す
る。同時にテンポ検出器２ではテンポデータを抽出して
アニメーションのコマ送りのためのトリガを画像ゲート
53に向かって出力し、ディスプレイ８に表示されるアニ
メーションのコマを１つづつ送るのである。なお、アニ
メーションのデータはループを構成し、どこから開始し
ても不自然ではないストーリーにしておけば、同期をと
る必要がなく、便利である。
ば、デジタル音源がMIDI信号を解析しながらオーディオ
信号を生成し、増幅アンプを介して音楽演奏が行われる
と同時進行で、入力部１からMIDI信号が取り込まれる。
そして、何らかのトリガに基づいて表示画像選択器43が
画像部品データベース６から一連のストーリーを持った
アニメーションを選択する一方、音程検出器３ではアニ
メーションの色を決定するための音程データを抽出す
る。同時にテンポ検出器２ではテンポデータを抽出して
アニメーションのコマ送りのためのトリガを画像ゲート
53に向かって出力し、ディスプレイ８に表示されるアニ
メーションのコマを１つづつ送るのである。なお、アニ
メーションのデータはループを構成し、どこから開始し
ても不自然ではないストーリーにしておけば、同期をと
る必要がなく、便利である。
本発明では、アニメーション画像を生成する要素とし
て、画像データベースから読み出したアニメーションを
用い、MIDI信号から取り出した音程データによって色を
合成すると共に、テンポデータによってコマ送りをする
構成としたので、MIDI信号には一切余分なデータを付加
することなく動画を提供することができ、単位あたりの
データサイズを小さく抑えることができた。従って、音
楽演奏に対して悪影響を与えることなく、さらにデータ
伝送時間やコストを抑制することが可能となった。
て、画像データベースから読み出したアニメーションを
用い、MIDI信号から取り出した音程データによって色を
合成すると共に、テンポデータによってコマ送りをする
構成としたので、MIDI信号には一切余分なデータを付加
することなく動画を提供することができ、単位あたりの
データサイズを小さく抑えることができた。従って、音
楽演奏に対して悪影響を与えることなく、さらにデータ
伝送時間やコストを抑制することが可能となった。
また、画像データを音楽データに重畳するようなデー
タ構造ではなく、それぞれ独立しているので、音楽デー
タの制作にあたって画像を考慮することなく行うことが
できるので、作成・入力時間およびコストが非常に削減
されることとなった。
タ構造ではなく、それぞれ独立しているので、音楽デー
タの制作にあたって画像を考慮することなく行うことが
できるので、作成・入力時間およびコストが非常に削減
されることとなった。
さらに、両者が独立した構造なので、音楽とアニメー
ションを自由に組み合わせることができ、利用者の趣味
を十分に活かすことができるなど、数多くの効果を奏す
ることが可能となった。
ションを自由に組み合わせることができ、利用者の趣味
を十分に活かすことができるなど、数多くの効果を奏す
ることが可能となった。
第１図は本発明の一実施例の全体構成を示すブロック
図、第２図は画像選択の一実施例を示すブロック図であ
る。 尚、図中１……入力部、２……テンポ検出器、３……音
程検出器、４……画像合成制御器、５……画像合成器、
６……画像データベース、７……画像表示器、８……デ
ィスプレイ、21・31……MIDI信号デコーダ、22……テン
ポデータ判定器、23……パルス発生器、32……音程デー
タ判定器、41……表示タイミング計算器、42……表示色
計算器、43……表示画像選択器、51……色ゲート、52…
…画像バッファ、53……画像ゲート、54……データベー
ス制御器。
図、第２図は画像選択の一実施例を示すブロック図であ
る。 尚、図中１……入力部、２……テンポ検出器、３……音
程検出器、４……画像合成制御器、５……画像合成器、
６……画像データベース、７……画像表示器、８……デ
ィスプレイ、21・31……MIDI信号デコーダ、22……テン
ポデータ判定器、23……パルス発生器、32……音程デー
タ判定器、41……表示タイミング計算器、42……表示色
計算器、43……表示画像選択器、51……色ゲート、52…
…画像バッファ、53……画像ゲート、54……データベー
ス制御器。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭64−57298（ＪＰ，Ａ) 特開 昭63−184875（ＪＰ，Ａ) 特開 昭64−62689（ＪＰ，Ａ) 特開 昭63−170697（ＪＰ，Ａ) 実開 昭64−44435（ＪＰ，Ｕ) 実開 昭64−42426（ＪＰ，Ｕ) (58)調査した分野(Int.Cl.6，ＤＢ名) G10K 15/04 302 G10H 1/00
Claims (1)
- 【請求項１】テンポ検出器（２）、音程検出器（３）、
画像合成制御器（４）、画像合成器（５）からなるアニ
メーション合成表示装置であって、テンポ検出器（２）
は入力されるMIDIデータのテンポデータを識別して一連
のパルス信号を発生し、音程検出器（３）は入力される
MIDIデータの音程データを識別して出力し、画像合成制
御器（４）は表示タイミング計算器（41）、表示色計算
器（42）、表示合成選択器（43）からなり、表示タイミ
ング計算器（41）は音程データに基づいてトリガ信号を
出力し、表示色計算器（42）は音程データに基づいてア
ニメーションデータの前景色と背景色を決定し、表示画
像選択器（43）は入力されるMIDIデータのデータ形式に
基づいて制御信号を出力し、画像合成器（５）はデータ
ベース制御器（54）、色ゲート（51）、画像バッファ
（52）、画像ゲート（53）からなり、データベース制御
器（54）は複数のアニメーションデータを格納したアニ
メーションデータベース（６）から制御信号に対応する
アニメーションデータを選択し、色ゲート（51）は選択
したアニメーションデータと決定した前景色と背景色を
合成して画像バッファ（52）に蓄積し、画像ゲート（5
3）はトリガ信号のタイミングにて画像バッファ（52）
に蓄積されたアニメーションデータを１コマずつディス
プレイ（８）に表示させることを特徴としたアニメーシ
ョン合成表示装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2220468A JP2895932B2 (ja) | 1990-08-21 | 1990-08-21 | アニメーション合成表示装置 |
| TW080106514A TW212842B (ja) | 1990-08-21 | 1991-08-16 | |
| DE69114223T DE69114223T2 (de) | 1990-08-21 | 1991-08-20 | Gerät zur Komposition und Anzeige eines beweglichen Bildes. |
| EP91113914A EP0473043B1 (en) | 1990-08-21 | 1991-08-20 | Animation image composition and display device |
| US07/748,260 US5262765A (en) | 1990-08-21 | 1991-08-21 | Animation image composition and display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2220468A JP2895932B2 (ja) | 1990-08-21 | 1990-08-21 | アニメーション合成表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04151199A JPH04151199A (ja) | 1992-05-25 |
| JP2895932B2 true JP2895932B2 (ja) | 1999-05-31 |
Family
ID=16751590
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2220468A Expired - Lifetime JP2895932B2 (ja) | 1990-08-21 | 1990-08-21 | アニメーション合成表示装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5262765A (ja) |
| EP (1) | EP0473043B1 (ja) |
| JP (1) | JP2895932B2 (ja) |
| DE (1) | DE69114223T2 (ja) |
| TW (1) | TW212842B (ja) |
Families Citing this family (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR940004830B1 (ko) * | 1991-03-14 | 1994-06-01 | 주식회사 금성사 | 연주용 데이타화일 기록방법 및 재생장치 |
| JPH06161439A (ja) * | 1992-11-25 | 1994-06-07 | Suzuki Gakki Seisakusho:Kk | 楽音と映像の再生出力同期装置 |
| US6108001A (en) * | 1993-05-21 | 2000-08-22 | International Business Machines Corporation | Dynamic control of visual and/or audio presentation |
| US5611693A (en) * | 1993-06-22 | 1997-03-18 | Brother Kogyo Kabushiki Kaisha | Image karaoke device |
| JP3030490B2 (ja) * | 1994-03-18 | 2000-04-10 | 富士通株式会社 | 同期制御方法及び装置 |
| JP3542821B2 (ja) * | 1994-03-31 | 2004-07-14 | ヤマハ株式会社 | 映像合成システムに特徴を有するカラオケ装置 |
| US5574798A (en) * | 1994-08-03 | 1996-11-12 | International Business Machines Corporation | Visual presentation system which determines length of time to present each slide or transparency |
| US5613093A (en) * | 1994-10-12 | 1997-03-18 | Kolb; George P. | Apparatus and method for drill design |
| US5717468A (en) * | 1994-12-02 | 1998-02-10 | International Business Machines Corporation | System and method for dynamically recording and displaying comments for a video movie |
| JPH09212480A (ja) * | 1996-01-31 | 1997-08-15 | Yamaha Corp | 雰囲気情報生成装置およびカラオケ装置 |
| JP3255059B2 (ja) * | 1996-12-19 | 2002-02-12 | 日本電気株式会社 | 通信カラオケシステム |
| ES2179506T3 (es) * | 1997-06-06 | 2003-01-16 | Thomson Consumer Electronics | Sistema y metodo para tratar programas unicamente de audio en un receptor de television. |
| WO2001037221A1 (en) * | 1999-11-16 | 2001-05-25 | Possibleworlds, Inc. | Image manipulation method and system |
| US7554542B1 (en) | 1999-11-16 | 2009-06-30 | Possible Worlds, Inc. | Image manipulation method and system |
| US7106887B2 (en) * | 2000-04-13 | 2006-09-12 | Fuji Photo Film Co., Ltd. | Image processing method using conditions corresponding to an identified person |
| NO20020417L (no) * | 2001-01-25 | 2002-07-26 | Ensequence Inc | Selektiv visning av video basert på ett eller flere temaer |
| KR20030039596A (ko) * | 2001-11-13 | 2003-05-22 | 디게이트 주식회사 | 영상 노래 반주기에서의 가사 및 가사 시작 표시 방법 |
| KR20050004817A (ko) * | 2002-03-28 | 2005-01-12 | 노키아 코포레이션 | 이미지들을 표시하는 방법 및 장치 |
| US7806759B2 (en) * | 2004-05-14 | 2010-10-05 | Konami Digital Entertainment, Inc. | In-game interface with performance feedback |
| US20060009979A1 (en) * | 2004-05-14 | 2006-01-12 | Mchale Mike | Vocal training system and method with flexible performance evaluation criteria |
| US7164076B2 (en) * | 2004-05-14 | 2007-01-16 | Konami Digital Entertainment | System and method for synchronizing a live musical performance with a reference performance |
| US7459624B2 (en) | 2006-03-29 | 2008-12-02 | Harmonix Music Systems, Inc. | Game controller simulating a musical instrument |
| JP4872665B2 (ja) * | 2006-12-28 | 2012-02-08 | ヤマハ株式会社 | 音楽データ再生装置およびプログラム |
| US8678896B2 (en) | 2007-06-14 | 2014-03-25 | Harmonix Music Systems, Inc. | Systems and methods for asynchronous band interaction in a rhythm action game |
| EP2206540A1 (en) | 2007-06-14 | 2010-07-14 | Harmonix Music Systems, Inc. | System and method for simulating a rock band experience |
| JP5104709B2 (ja) | 2008-10-10 | 2012-12-19 | ソニー株式会社 | 情報処理装置、プログラム、および情報処理方法 |
| US8449360B2 (en) | 2009-05-29 | 2013-05-28 | Harmonix Music Systems, Inc. | Displaying song lyrics and vocal cues |
| US8465366B2 (en) | 2009-05-29 | 2013-06-18 | Harmonix Music Systems, Inc. | Biasing a musical performance input to a part |
| US9981193B2 (en) | 2009-10-27 | 2018-05-29 | Harmonix Music Systems, Inc. | Movement based recognition and evaluation |
| WO2011056657A2 (en) | 2009-10-27 | 2011-05-12 | Harmonix Music Systems, Inc. | Gesture-based user interface |
| US8874243B2 (en) | 2010-03-16 | 2014-10-28 | Harmonix Music Systems, Inc. | Simulating musical instruments |
| US20110306397A1 (en) | 2010-06-11 | 2011-12-15 | Harmonix Music Systems, Inc. | Audio and animation blending |
| US9358456B1 (en) | 2010-06-11 | 2016-06-07 | Harmonix Music Systems, Inc. | Dance competition game |
| US8562403B2 (en) | 2010-06-11 | 2013-10-22 | Harmonix Music Systems, Inc. | Prompting a player of a dance game |
| US9024166B2 (en) | 2010-09-09 | 2015-05-05 | Harmonix Music Systems, Inc. | Preventing subtractive track separation |
| TWI448999B (zh) * | 2010-10-13 | 2014-08-11 | Univ Nat Cheng Kung | 塗鴉生命化方法及使用該方法之系統 |
| US20130080896A1 (en) * | 2011-09-28 | 2013-03-28 | Yi-Lin Chen | Editing system for producing personal videos |
| ITMI20121346A1 (it) * | 2012-07-31 | 2014-02-01 | Lumson Spa | Metodo di produzione di un contenitore destinato a contenere una sostanza da erogarsi tramite una pompa airless, e contenitore prodotto con tale metodo |
| US9495608B2 (en) * | 2013-07-02 | 2016-11-15 | Sony Corporation | Smart feeling sensing tag for pictures |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4305131A (en) * | 1979-02-05 | 1981-12-08 | Best Robert M | Dialog between TV movies and human viewers |
| US4569026A (en) * | 1979-02-05 | 1986-02-04 | Best Robert M | TV Movies that talk back |
| JPH0670876B2 (ja) * | 1987-02-10 | 1994-09-07 | ソニー株式会社 | 光学ディスク及び光学ディスク再生装置 |
| JPS63197212A (ja) * | 1987-02-12 | 1988-08-16 | Matsushita Electric Ind Co Ltd | マルチメデイア再生装置 |
| JPS6444982A (en) * | 1987-08-14 | 1989-02-17 | Yamaha Corp | Musical video converter |
| US5048390A (en) * | 1987-09-03 | 1991-09-17 | Yamaha Corporation | Tone visualizing apparatus |
| JPH01226091A (ja) * | 1988-03-07 | 1989-09-08 | Seiko Epson Corp | 音響、画像、文字情報処理装置 |
| US4913539A (en) * | 1988-04-04 | 1990-04-03 | New York Institute Of Technology | Apparatus and method for lip-synching animation |
-
1990
- 1990-08-21 JP JP2220468A patent/JP2895932B2/ja not_active Expired - Lifetime
-
1991
- 1991-08-16 TW TW080106514A patent/TW212842B/zh active
- 1991-08-20 EP EP91113914A patent/EP0473043B1/en not_active Expired - Lifetime
- 1991-08-20 DE DE69114223T patent/DE69114223T2/de not_active Expired - Fee Related
- 1991-08-21 US US07/748,260 patent/US5262765A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP0473043A3 (en) | 1993-03-24 |
| JPH04151199A (ja) | 1992-05-25 |
| EP0473043A2 (en) | 1992-03-04 |
| TW212842B (ja) | 1993-09-11 |
| DE69114223T2 (de) | 1996-04-11 |
| EP0473043B1 (en) | 1995-11-02 |
| DE69114223D1 (de) | 1995-12-07 |
| US5262765A (en) | 1993-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2895932B2 (ja) | アニメーション合成表示装置 | |
| EP1020843B1 (en) | Automatic musical composition method | |
| KR0152677B1 (ko) | 자동효과기 제어부를 구비하는 노래반주기 | |
| JP3516406B2 (ja) | カラオケオーサリング装置 | |
| US7221852B2 (en) | Motion picture playback apparatus and motion picture playback method | |
| JPH04234782A (ja) | カラオケ装置 | |
| JPH09204163A (ja) | カラオケの表示装置 | |
| JP3324158B2 (ja) | カラオケ装置 | |
| US6828498B2 (en) | Audio signal outputting method, audio signal reproduction method, and computer program product | |
| US20070209499A1 (en) | Music Composition Data Editing Device And Music Composition Data Editing Method | |
| US5956459A (en) | Karaoke apparatus having video mixer of main and insert pictures | |
| JP3645716B2 (ja) | アニメーション作成方法、アニメーション作成装置、及びアニメーション作成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JPH06110480A (ja) | カラオケ装置 | |
| JP2982697B2 (ja) | テロップ表示装置 | |
| JP3062784B2 (ja) | 音楽再生装置 | |
| JPH0965230A (ja) | 字幕表示方法及び字幕表示装置 | |
| JPH04270389A (ja) | ボーカルデータ表示装置 | |
| JP3000569U (ja) | カラオケ装置 | |
| JP2000148107A (ja) | 画像処理装置および記録媒体 | |
| JP3592373B2 (ja) | カラオケ装置 | |
| JP3067538B2 (ja) | 文字列表示色変更信号生成装置並びに文字列表示装置 | |
| JP2000187489A (ja) | カラオケ装置 | |
| JP3551441B2 (ja) | カラオケ装置 | |
| JP2881928B2 (ja) | カラオケ装置 | |
| JP3418168B2 (ja) | カラオケ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090305 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100305 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100305 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110305 Year of fee payment: 12 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110305 Year of fee payment: 12 |