JP3419290B2 - 楽音・画像発生装置および記憶媒体 - Google Patents
楽音・画像発生装置および記憶媒体Info
- Publication number
- JP3419290B2 JP3419290B2 JP36905097A JP36905097A JP3419290B2 JP 3419290 B2 JP3419290 B2 JP 3419290B2 JP 36905097 A JP36905097 A JP 36905097A JP 36905097 A JP36905097 A JP 36905097A JP 3419290 B2 JP3419290 B2 JP 3419290B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- key
- parameter
- musical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
- G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Electrophonic Musical Instruments (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、入力された演奏情
報に基づいて楽音および画像を発生させる楽音・画像発
生装置および記憶媒体に関する。
報に基づいて楽音および画像を発生させる楽音・画像発
生装置および記憶媒体に関する。
【０００２】
【従来の技術】従来、入力された演奏情報、たとえばＭ
ＩＤＩ（Musical Instrument DigitalInterface）デー
タに基づいて楽音および画像を発生させる楽音・画像発
生装置として、ＭＩＤＩデータに基づいて楽音を発生さ
せるとともに予め作成された複数コマ（frame）からな
る画像データの各コマの表示タイミングを制御するよう
にしたものは知られている。
ＩＤＩ（Musical Instrument DigitalInterface）デー
タに基づいて楽音および画像を発生させる楽音・画像発
生装置として、ＭＩＤＩデータに基づいて楽音を発生さ
せるとともに予め作成された複数コマ（frame）からな
る画像データの各コマの表示タイミングを制御するよう
にしたものは知られている。
【０００３】また、入力されたＭＩＤＩデータに基づい
ておもちゃやロボット等を制御することにより、楽音を
発生させる装置も知られている。
ておもちゃやロボット等を制御することにより、楽音を
発生させる装置も知られている。
【０００４】
【発明が解決しようとする課題】しかしながら、上記従
来の装置のうち前者の楽音・画像発生装置では、予め作
成された複数コマの画像データの各コマの表示タイミン
グがＭＩＤＩデータに基づいて制御されるのみであるた
め、発生する画像の質は、その基になる画像データの質
に依存していた。したがって、ＭＩＤＩデータに応じた
楽器演奏、すなわち演奏者および楽器の動きをコンピュ
ータグラフィックス（以下「ＣＧ」と略す）で再現する
場合には、人が、予めＭＩＤＩデータ（または楽譜）を
解析し、その人の感性で各コマを作成して行かなければ
ならず、難解かつ膨大な時間を要し、リアルタイムにＣ
Ｇ合成を行うことはできなかった。
来の装置のうち前者の楽音・画像発生装置では、予め作
成された複数コマの画像データの各コマの表示タイミン
グがＭＩＤＩデータに基づいて制御されるのみであるた
め、発生する画像の質は、その基になる画像データの質
に依存していた。したがって、ＭＩＤＩデータに応じた
楽器演奏、すなわち演奏者および楽器の動きをコンピュ
ータグラフィックス（以下「ＣＧ」と略す）で再現する
場合には、人が、予めＭＩＤＩデータ（または楽譜）を
解析し、その人の感性で各コマを作成して行かなければ
ならず、難解かつ膨大な時間を要し、リアルタイムにＣ
Ｇ合成を行うことはできなかった。
【０００５】また、前者の装置では、楽音の発生と画像
の発生とは、ＭＩＤＩデータに基づいて相互に独立して
行われていたため、楽音の質（表現力を含む、以下同
様）が向上しても画像の質（表現力を含む、以下同様）
は向上せず、逆に画像の質が向上しても楽音の質は向上
しなかった。
の発生とは、ＭＩＤＩデータに基づいて相互に独立して
行われていたため、楽音の質（表現力を含む、以下同
様）が向上しても画像の質（表現力を含む、以下同様）
は向上せず、逆に画像の質が向上しても楽音の質は向上
しなかった。
【０００６】さらに、上記従来の装置のうち後者の装
置、すなわちおもちゃやロボット等を制御することによ
り楽音を発生させる装置では、楽音は発生するものの、
おもちゃっぽい動作をするため、実際に人が演奏してい
る状態を正確にシミュレートしているとはいえなかっ
た。
置、すなわちおもちゃやロボット等を制御することによ
り楽音を発生させる装置では、楽音は発生するものの、
おもちゃっぽい動作をするため、実際に人が演奏してい
る状態を正確にシミュレートしているとはいえなかっ
た。
【０００７】本発明は、この点に着目してなされたもの
であり、楽音と画像とを一体化して制御することによ
り、楽器演奏をリアルタイムに精度よくシミュレートす
ることが可能な楽音・画像発生装置および記憶媒体を提
供することを目的とする。
であり、楽音と画像とを一体化して制御することによ
り、楽器演奏をリアルタイムに精度よくシミュレートす
ることが可能な楽音・画像発生装置および記憶媒体を提
供することを目的とする。
【０００８】
【課題を解決するための手段】上記目的を達成するた
め、請求項１に記載の楽音・画像発生装置は、キーオン
イベントデータおよびキーオフイベントデータを含む演
奏情報を入力する演奏情報入力手段と、該入力されたキ
ーオンイベントデータおよびキーオフイベントデータに
基づいて、演奏者の押鍵操作および離鍵操作と、当該演
奏者の操作に応じた楽器の動きと、当該演奏者の相前後
する操作間の動きとに対応する画像パラメータの基にな
る、複数の動作波形パラメータを発生する動作波形パラ
メータ発生手段と、該発生された複数の動作波形パラメ
ータを算術演算することにより、目的の画像パラメータ
の値を決定するパラメータ値決定手段と、該決定された
画像パラメータ値に応じて画像情報を発生する画像情報
発生手段と、前記入力された演奏情報に基づいて、楽音
情報を発生する楽音情報発生手段とを有することを特徴
とする。好ましくは、前記パラメータ値決定手段は、さ
らに、前記入力された演奏情報に基づいて、楽音パラメ
ータの値を決定し、前記楽音情報発生手段は、前記決定
された楽音パラメータの値に応じて楽音情報を発生する
ことを特徴とする（請求項２）。
め、請求項１に記載の楽音・画像発生装置は、キーオン
イベントデータおよびキーオフイベントデータを含む演
奏情報を入力する演奏情報入力手段と、該入力されたキ
ーオンイベントデータおよびキーオフイベントデータに
基づいて、演奏者の押鍵操作および離鍵操作と、当該演
奏者の操作に応じた楽器の動きと、当該演奏者の相前後
する操作間の動きとに対応する画像パラメータの基にな
る、複数の動作波形パラメータを発生する動作波形パラ
メータ発生手段と、該発生された複数の動作波形パラメ
ータを算術演算することにより、目的の画像パラメータ
の値を決定するパラメータ値決定手段と、該決定された
画像パラメータ値に応じて画像情報を発生する画像情報
発生手段と、前記入力された演奏情報に基づいて、楽音
情報を発生する楽音情報発生手段とを有することを特徴
とする。好ましくは、前記パラメータ値決定手段は、さ
らに、前記入力された演奏情報に基づいて、楽音パラメ
ータの値を決定し、前記楽音情報発生手段は、前記決定
された楽音パラメータの値に応じて楽音情報を発生する
ことを特徴とする（請求項２）。
【０００９】ここで、演奏情報とは、典型的にはＭＩＤ
Ｉデータであるが、これに限る必要はないことはいうま
でもない。物理現象には、入力された演奏情報に応じた
楽音を発生するときの演奏者の動き、その動きに応じた
楽器の動き、演奏者と楽器との接触面における身体や物
体の変形等が含まれる。画像情報発生手段としては、た
とえば汎用ＣＧライブラリがあるが、専用ＣＧライブラ
リを新たに作成してもよいし、その他、パラメータを与
えるだけでリアルタイムにＣＧ合成を行うことができる
ものであればどのようなものでもよい。画像情報とは、
たとえばビットマップデータであるが、これに限る必要
はなく、表示装置が表示できるデータ形態であればどの
ようなデータであってもよい。さらに、楽音情報とは、
たとえば楽音信号であり、デジタル楽音信号であっても
アナログ楽音信号であってもよい。外部に音源を設け、
この音源が入力されたパラメータに応じて楽音信号を生
成するものである場合には、楽音情報は当該パラメータ
に対応する（以下、請求項が変わっても同様）。
Ｉデータであるが、これに限る必要はないことはいうま
でもない。物理現象には、入力された演奏情報に応じた
楽音を発生するときの演奏者の動き、その動きに応じた
楽器の動き、演奏者と楽器との接触面における身体や物
体の変形等が含まれる。画像情報発生手段としては、た
とえば汎用ＣＧライブラリがあるが、専用ＣＧライブラ
リを新たに作成してもよいし、その他、パラメータを与
えるだけでリアルタイムにＣＧ合成を行うことができる
ものであればどのようなものでもよい。画像情報とは、
たとえばビットマップデータであるが、これに限る必要
はなく、表示装置が表示できるデータ形態であればどの
ようなデータであってもよい。さらに、楽音情報とは、
たとえば楽音信号であり、デジタル楽音信号であっても
アナログ楽音信号であってもよい。外部に音源を設け、
この音源が入力されたパラメータに応じて楽音信号を生
成するものである場合には、楽音情報は当該パラメータ
に対応する（以下、請求項が変わっても同様）。
【００１０】また、好ましくは、人間の骨格構造におけ
る複数ノードの各々において複数種類の動作情報を記憶
した第１のデータベース手段と、曲全体に共通する特徴
を示す特徴情報を記憶した第２のデータベース手段とを
さらに有し、前記動作波形パラメータ発生手段は、前記
第１および第２のデータベース手段を参照することによ
り複数の動作波形パラメータを発生することを特徴とす
る（請求項３）。さらに、好ましくは、前記第２のデー
タベース手段に記憶された特徴情報は、演奏者の特徴を
表す情報であることを特徴とする（請求項４）。また、
好ましくは、前記パラメータ値決定手段は、さらに、発
音していないときのつながりのための演奏者の動きに対
応する画像パラメータの値を決定することを特徴とする
（請求項５）。
る複数ノードの各々において複数種類の動作情報を記憶
した第１のデータベース手段と、曲全体に共通する特徴
を示す特徴情報を記憶した第２のデータベース手段とを
さらに有し、前記動作波形パラメータ発生手段は、前記
第１および第２のデータベース手段を参照することによ
り複数の動作波形パラメータを発生することを特徴とす
る（請求項３）。さらに、好ましくは、前記第２のデー
タベース手段に記憶された特徴情報は、演奏者の特徴を
表す情報であることを特徴とする（請求項４）。また、
好ましくは、前記パラメータ値決定手段は、さらに、発
音していないときのつながりのための演奏者の動きに対
応する画像パラメータの値を決定することを特徴とする
（請求項５）。
【００１１】さらに、請求項６に記載の記憶媒体は、キ
ーオンイベントデータおよびキーオフイベントデータを
含む演奏情報入力手段から演奏情報を入力する演奏情報
入力モジュールと、該入力されたキーオンイベントデー
タおよびキーオフイベントデータに基づいて、演奏者の
押鍵操作および離鍵操作と、当該演奏者の操作に応じた
楽器の動きと、当該演奏者の相前後する操作間の動きと
に対応する画像を制御する画像パラメータの基になる、
複数の動作波形パラメータを発生する動作波形パラメー
タ発生モジュールと、該発生された複数の動作波形パラ
メータを算術演算することにより、目的の画像パラメー
タの値を決定するパラメータ値決定モジュールと、該決
定された画像パラメータ値に応じて画像情報を発生する
画像情報発生モジュールと、前記入力された演奏情報に
基づいて、楽音情報を発生する楽音情報発生モジュール
とを含むことを特徴とする。
ーオンイベントデータおよびキーオフイベントデータを
含む演奏情報入力手段から演奏情報を入力する演奏情報
入力モジュールと、該入力されたキーオンイベントデー
タおよびキーオフイベントデータに基づいて、演奏者の
押鍵操作および離鍵操作と、当該演奏者の操作に応じた
楽器の動きと、当該演奏者の相前後する操作間の動きと
に対応する画像を制御する画像パラメータの基になる、
複数の動作波形パラメータを発生する動作波形パラメー
タ発生モジュールと、該発生された複数の動作波形パラ
メータを算術演算することにより、目的の画像パラメー
タの値を決定するパラメータ値決定モジュールと、該決
定された画像パラメータ値に応じて画像情報を発生する
画像情報発生モジュールと、前記入力された演奏情報に
基づいて、楽音情報を発生する楽音情報発生モジュール
とを含むことを特徴とする。
【００１２】
【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて詳細に説明する。
に基づいて詳細に説明する。
【００１３】図１は、本発明の一実施の形態に係る楽音
・画像発生装置の概略構成を示すブロック図である。
・画像発生装置の概略構成を示すブロック図である。
【００１４】同図において、本実施の形態の楽音・画像
発生装置は、主に文字情報を入力するためのキーボード
１と、ポインティングデバイスであるマウス２と、キー
ボード１の各キーの操作状態を検出するキー操作検出回
路３と、マウス２の操作状態を検出するマウス操作検出
回路４と、装置全体の制御を司るＣＰＵ５と、該ＣＰＵ
５が実行する制御プログラムやテーブルデータ等を記憶
するＲＯＭ６と、楽音データや対応データ、各種入力情
報および演算結果等を一時的に記憶するＲＡＭ７と、タ
イマ割込み処理における割込み時間や各種時間を計時す
るタイマ８と、各種情報等を表示する、たとえば大型液
晶ディスプレイ（ＬＣＤ）若しくはＣＲＴ（Cathode Ra
y Tube）ディスプレイおよび発光ダイオード（ＬＥＤ）
等を備えた表示装置９と、記憶媒体であるフロッピディ
スク（ＦＤ）２０をドライブするフロッピディスクドラ
イブ（ＦＤＤ）１０と、前記制御プログラムを含む各種
アプリケーションプログラムや、後述する動作波形デー
タベースを含む各種データ等を記憶するハードディスク
（図示せず）をドライブするハードディスクドライブ
（ＨＤＤ）１１と、前記制御プログラムを含む各種アプ
リケーションプログラムやオペレーティングシステム
（ＯＳ）、各種データ等を記憶するコンパクトディスク
−リード・オンリ・メモリ（ＣＤ−ＲＯＭ）２１をドラ
イブするＣＤ−ＲＯＭドライブ（ＣＤ−ＲＯＭＤ）１２
と、外部からのＭＩＤＩデータ（コード）を入力した
り、ＭＩＤＩデータとして外部に出力したりするＭＩＤ
Ｉインターフェース（Ｉ／Ｆ）１３と、通信ネットワー
ク１０１を介して、たとえばサーバコンピュータ１０２
とデータの送受信を行う通信インターフェース（Ｉ／
Ｆ）１４と、ＭＩＤＩＩ／Ｆ１３や通信Ｉ／Ｆ１４を介
して入力された演奏データ（ＭＩＤＩデータを含む）や
予め設定された演奏データ等を楽音信号に変換する音源
回路１５と、該音源回路１５からの楽音信号に各種効果
を付与するための効果回路１６と、該効果回路１６から
の楽音信号を音響に変換する、たとえば、ＤＡＣ（Digi
tal-to-Analog Converter）やアンプ、スピーカ等のサ
ウンドシステム１７とにより構成されている。
発生装置は、主に文字情報を入力するためのキーボード
１と、ポインティングデバイスであるマウス２と、キー
ボード１の各キーの操作状態を検出するキー操作検出回
路３と、マウス２の操作状態を検出するマウス操作検出
回路４と、装置全体の制御を司るＣＰＵ５と、該ＣＰＵ
５が実行する制御プログラムやテーブルデータ等を記憶
するＲＯＭ６と、楽音データや対応データ、各種入力情
報および演算結果等を一時的に記憶するＲＡＭ７と、タ
イマ割込み処理における割込み時間や各種時間を計時す
るタイマ８と、各種情報等を表示する、たとえば大型液
晶ディスプレイ（ＬＣＤ）若しくはＣＲＴ（Cathode Ra
y Tube）ディスプレイおよび発光ダイオード（ＬＥＤ）
等を備えた表示装置９と、記憶媒体であるフロッピディ
スク（ＦＤ）２０をドライブするフロッピディスクドラ
イブ（ＦＤＤ）１０と、前記制御プログラムを含む各種
アプリケーションプログラムや、後述する動作波形デー
タベースを含む各種データ等を記憶するハードディスク
（図示せず）をドライブするハードディスクドライブ
（ＨＤＤ）１１と、前記制御プログラムを含む各種アプ
リケーションプログラムやオペレーティングシステム
（ＯＳ）、各種データ等を記憶するコンパクトディスク
−リード・オンリ・メモリ（ＣＤ−ＲＯＭ）２１をドラ
イブするＣＤ−ＲＯＭドライブ（ＣＤ−ＲＯＭＤ）１２
と、外部からのＭＩＤＩデータ（コード）を入力した
り、ＭＩＤＩデータとして外部に出力したりするＭＩＤ
Ｉインターフェース（Ｉ／Ｆ）１３と、通信ネットワー
ク１０１を介して、たとえばサーバコンピュータ１０２
とデータの送受信を行う通信インターフェース（Ｉ／
Ｆ）１４と、ＭＩＤＩＩ／Ｆ１３や通信Ｉ／Ｆ１４を介
して入力された演奏データ（ＭＩＤＩデータを含む）や
予め設定された演奏データ等を楽音信号に変換する音源
回路１５と、該音源回路１５からの楽音信号に各種効果
を付与するための効果回路１６と、該効果回路１６から
の楽音信号を音響に変換する、たとえば、ＤＡＣ（Digi
tal-to-Analog Converter）やアンプ、スピーカ等のサ
ウンドシステム１７とにより構成されている。
【００１５】上記構成要素３〜１６は、バス１８を介し
て相互に接続され、ＣＰＵ５にはタイマ８が接続され、
ＭＩＤＩＩ／Ｆ１３には他のＭＩＤＩ機器１００が接続
され、通信Ｉ／Ｆ１４には通信ネットワーク１０１が接
続され、音源回路１５には効果回路１６が接続され、効
果回路１６にはサウンドシステム１７が接続されてい
る。
て相互に接続され、ＣＰＵ５にはタイマ８が接続され、
ＭＩＤＩＩ／Ｆ１３には他のＭＩＤＩ機器１００が接続
され、通信Ｉ／Ｆ１４には通信ネットワーク１０１が接
続され、音源回路１５には効果回路１６が接続され、効
果回路１６にはサウンドシステム１７が接続されてい
る。
【００１６】ＨＤＤ１１のハードディスクには、前述の
ように、ＣＰＵ５が実行する制御プログラムも記憶で
き、ＲＯＭ６に制御プログラムが記憶されていない場合
には、このハードディスクに制御プログラムを記憶させ
ておき、それをＲＡＭ７に読み込むことにより、ＲＯＭ
６に制御プログラムを記憶している場合と同様の動作を
ＣＰＵ５にさせることができる。このようにすると、制
御プログラムの追加やバージョンアップ等が容易に行え
る。
ように、ＣＰＵ５が実行する制御プログラムも記憶で
き、ＲＯＭ６に制御プログラムが記憶されていない場合
には、このハードディスクに制御プログラムを記憶させ
ておき、それをＲＡＭ７に読み込むことにより、ＲＯＭ
６に制御プログラムを記憶している場合と同様の動作を
ＣＰＵ５にさせることができる。このようにすると、制
御プログラムの追加やバージョンアップ等が容易に行え
る。
【００１７】ＣＤ−ＲＯＭドライブ１２のＣＤ−ＲＯＭ
２１から読み出された制御プログラムや各種データは、
ＨＤＤ１１内のハードディスクにストアされる。これに
より、制御プログラムの新規インストールやバージョン
アップ等が容易に行える。なお、このＣＤ−ＲＯＭドラ
イブ１２以外にも、外部記憶装置として、光磁気ディス
ク（ＭＯ）装置等、様々な形態のメディアを利用するた
めの装置を設けるようにしてもよい。
２１から読み出された制御プログラムや各種データは、
ＨＤＤ１１内のハードディスクにストアされる。これに
より、制御プログラムの新規インストールやバージョン
アップ等が容易に行える。なお、このＣＤ−ＲＯＭドラ
イブ１２以外にも、外部記憶装置として、光磁気ディス
ク（ＭＯ）装置等、様々な形態のメディアを利用するた
めの装置を設けるようにしてもよい。
【００１８】通信Ｉ／Ｆ１４は、上述のように、たとえ
ばＬＡＮ（Local Area Network）やインターネット、電
話回線等の通信ネットワーク１０１に接続されており、
該通信ネットワーク１０１を介して、サーバコンピュー
タ１０２に接続される。ＨＤＤ１１内のハードディスク
に上記各プログラムや各種パラメータが記憶されていな
い場合には、通信Ｉ／Ｆ１４は、サーバコンピュータ１
０２からプログラムやパラメータをダウンロードするた
めに用いられる。クライアントとなるコンピュータ（本
実施の形態では、楽音・画像発生装置）は、通信Ｉ／Ｆ
１４および通信ネットワーク１０１を介してサーバコン
ピュータ１０２へとプログラムやパラメータのダウンロ
ードを要求するコマンドを送信する。サーバコンピュー
タ１０２は、このコマンドを受け、要求されたプログラ
ムやパラメータを、通信ネットワーク１０１を介してク
ライアントコンピュータへと配信し、クライアントコン
ピュータが通信Ｉ／Ｆ１４を介して、これらプログラム
やパラメータを受信してＨＤＤ１１内のハードディスク
に蓄積することにより、ダウンロードが完了する。
ばＬＡＮ（Local Area Network）やインターネット、電
話回線等の通信ネットワーク１０１に接続されており、
該通信ネットワーク１０１を介して、サーバコンピュー
タ１０２に接続される。ＨＤＤ１１内のハードディスク
に上記各プログラムや各種パラメータが記憶されていな
い場合には、通信Ｉ／Ｆ１４は、サーバコンピュータ１
０２からプログラムやパラメータをダウンロードするた
めに用いられる。クライアントとなるコンピュータ（本
実施の形態では、楽音・画像発生装置）は、通信Ｉ／Ｆ
１４および通信ネットワーク１０１を介してサーバコン
ピュータ１０２へとプログラムやパラメータのダウンロ
ードを要求するコマンドを送信する。サーバコンピュー
タ１０２は、このコマンドを受け、要求されたプログラ
ムやパラメータを、通信ネットワーク１０１を介してク
ライアントコンピュータへと配信し、クライアントコン
ピュータが通信Ｉ／Ｆ１４を介して、これらプログラム
やパラメータを受信してＨＤＤ１１内のハードディスク
に蓄積することにより、ダウンロードが完了する。
【００１９】この他、外部コンピュータ等との間で直接
データのやりとりを行うためのインターフェースを備え
てもよい。
データのやりとりを行うためのインターフェースを備え
てもよい。
【００２０】このように、本実施の形態の楽音・画像発
生装置は、汎用のコンピュータを用いて構成されてい
る。もちろん、これに限らず、楽音・画像発生装置を専
用の装置によって構成することもできる。
生装置は、汎用のコンピュータを用いて構成されてい
る。もちろん、これに限らず、楽音・画像発生装置を専
用の装置によって構成することもできる。
【００２１】本実施の形態の楽音・画像発生装置は、入
力されたＭＩＤＩデータに基づいて演奏者および楽器の
動き（物理現象）をリアルタイムにシミュレートし、演
奏者の動きおよび楽器の動き、すなわちシミュレーショ
ン結果を相互に影響させることによって、よりリアルな
楽音再生およびＣＧ合成を行うようにしたものである。
これにより、たとえば、ギターピックアップと弦とが衝
突する状態を検出し、この検出結果に基づいた発音制
御、弦の材質や弦の振動状態に基づいた楽音制御、フレ
ット側における各指の押下力を検出し（フォースチェッ
ク）、この検出結果に基づいたチョーキング制御等を行
うことができる。
力されたＭＩＤＩデータに基づいて演奏者および楽器の
動き（物理現象）をリアルタイムにシミュレートし、演
奏者の動きおよび楽器の動き、すなわちシミュレーショ
ン結果を相互に影響させることによって、よりリアルな
楽音再生およびＣＧ合成を行うようにしたものである。
これにより、たとえば、ギターピックアップと弦とが衝
突する状態を検出し、この検出結果に基づいた発音制
御、弦の材質や弦の振動状態に基づいた楽音制御、フレ
ット側における各指の押下力を検出し（フォースチェッ
ク）、この検出結果に基づいたチョーキング制御等を行
うことができる。
【００２２】以下、本実施の形態の楽音・画像発生装置
が実行する制御処理を、まず、図２を用いてその概要を
説明し、次に、図３〜図６を用いてその機能を詳細に説
明し、さらに、図７〜図１２を用いてその各構成要素が
実行する制御処理をさらに詳細に説明する。
が実行する制御処理を、まず、図２を用いてその概要を
説明し、次に、図３〜図６を用いてその機能を詳細に説
明し、さらに、図７〜図１２を用いてその各構成要素が
実行する制御処理をさらに詳細に説明する。
【００２３】図２は、本実施の形態の楽音・画像発生装
置が実行する制御処理の概要を説明するためのブロック
図である。
置が実行する制御処理の概要を説明するためのブロック
図である。
【００２４】同図において、演奏データであるＭＩＤＩ
データが入力されると、このＭＩＤＩデータを物理現象
としてとらえ、すなわち、このＭＩＤＩデータによっ
て、たとえばピアノ音色の楽音が生成される場合には、
このＭＩＤＩデータのうちキーオンイベントデータを演
奏者が行った押鍵操作という物理現象としてとらえ、ま
た、キーオフイベントデータを演奏者が行った離鍵操作
という物理現象としてとらえ、図３〜図１２を用いて後
述する方法によりＣＧパラメータおよび楽音パラメータ
を決定し、この決定されたＣＧパラメータを汎用ＣＧラ
イブラリに渡し、この決定された楽音パラメータを音源
ドライバに渡す。汎用ＣＧライブラリでは、入力された
ＣＧパラメータに基づいて物体の３次元形状を表すデー
タが生成され（この生成処理をジオメタリ（geometry）
という）、この３次元データから２次元画像を生成する
レンダリング（rendering）が行われ、このようにして
生成された２次元画像データが表示される。また、音源
ドライバでは、入力された楽音パラメータに基づいて楽
音信号が生成され、音響に変換されて楽音出力がなされ
る。
データが入力されると、このＭＩＤＩデータを物理現象
としてとらえ、すなわち、このＭＩＤＩデータによっ
て、たとえばピアノ音色の楽音が生成される場合には、
このＭＩＤＩデータのうちキーオンイベントデータを演
奏者が行った押鍵操作という物理現象としてとらえ、ま
た、キーオフイベントデータを演奏者が行った離鍵操作
という物理現象としてとらえ、図３〜図１２を用いて後
述する方法によりＣＧパラメータおよび楽音パラメータ
を決定し、この決定されたＣＧパラメータを汎用ＣＧラ
イブラリに渡し、この決定された楽音パラメータを音源
ドライバに渡す。汎用ＣＧライブラリでは、入力された
ＣＧパラメータに基づいて物体の３次元形状を表すデー
タが生成され（この生成処理をジオメタリ（geometry）
という）、この３次元データから２次元画像を生成する
レンダリング（rendering）が行われ、このようにして
生成された２次元画像データが表示される。また、音源
ドライバでは、入力された楽音パラメータに基づいて楽
音信号が生成され、音響に変換されて楽音出力がなされ
る。
【００２５】図３は、本実施の形態の楽音・画像発生装
置の機能を説明するための図であり、図２の制御処理を
より詳細にしたものである。
置の機能を説明するための図であり、図２の制御処理を
より詳細にしたものである。
【００２６】同図において、本実施の形態の楽音・画像
発生装置は、楽器演奏を再現するシーケンスファイル、
すなわち本実施の形態ではＭＩＤＩファイルに含まれる
各種ＭＩＤＩデータを読み出して入力するための入力イ
ンターフェース３１を備え、たとえばユーザがＭＩＤＩ
ファイルを指定すると、該入力インターフェース３１
は、当該ＭＩＤＩファイルからＭＩＤＩデータを読み出
して動作結合演算部３２に入力する。
発生装置は、楽器演奏を再現するシーケンスファイル、
すなわち本実施の形態ではＭＩＤＩファイルに含まれる
各種ＭＩＤＩデータを読み出して入力するための入力イ
ンターフェース３１を備え、たとえばユーザがＭＩＤＩ
ファイルを指定すると、該入力インターフェース３１
は、当該ＭＩＤＩファイルからＭＩＤＩデータを読み出
して動作結合演算部３２に入力する。
【００２７】なお、本実施の形態では、入力インターフ
ェース３１として、ＭＩＤＩファイルからＭＩＤＩデー
タを自動的に読み出して入力するインターフェースを採
用したが、これに限らず、たとえばユーザがＭＩＤＩデ
ータを順次指定して入力（リアルタイム入力）するイン
ターフェースであってもよい。また、入力するデータ
も、ＭＩＤＩデータに限らないことはいうまでもない。
ェース３１として、ＭＩＤＩファイルからＭＩＤＩデー
タを自動的に読み出して入力するインターフェースを採
用したが、これに限らず、たとえばユーザがＭＩＤＩデ
ータを順次指定して入力（リアルタイム入力）するイン
ターフェースであってもよい。また、入力するデータ
も、ＭＩＤＩデータに限らないことはいうまでもない。
【００２８】動作結合演算部３２は、入力されたＭＩＤ
Ｉデータを動作波形生成部３４および表現手段決定部３
５に送出するとともに、このＭＩＤＩデータに基づい
て、動作波形生成部３４が生成した動作波形および表現
手段決定部３５が決定した各種パラメータ（たとえば、
楽器やユーザの静的特性を表すパラメータおよび動的特
性を表すパラメータ）値を受信し、この受信した各デー
タ値、入力されたＭＩＤＩデータ、演奏者の骨格モデル
構造および楽器の骨格モデル構造に基づいて動作合成を
行う。すなわち、各種事物間および各種現象に対して矛
盾が生じないようにする。
Ｉデータを動作波形生成部３４および表現手段決定部３
５に送出するとともに、このＭＩＤＩデータに基づい
て、動作波形生成部３４が生成した動作波形および表現
手段決定部３５が決定した各種パラメータ（たとえば、
楽器やユーザの静的特性を表すパラメータおよび動的特
性を表すパラメータ）値を受信し、この受信した各デー
タ値、入力されたＭＩＤＩデータ、演奏者の骨格モデル
構造および楽器の骨格モデル構造に基づいて動作合成を
行う。すなわち、各種事物間および各種現象に対して矛
盾が生じないようにする。
【００２９】動作波形生成部３４は、動作結合演算部３
２からのＭＩＤＩデータを受信し、このＭＩＤＩデータ
に基づいて動作波形データベース３３を検索し、対応す
る動作波形のテンプレートを読み出し、この動作波形テ
ンプレートに基づいて、図８を用いて後述する方法によ
り動作波形を生成し、動作結合演算部３２に送出する。
２からのＭＩＤＩデータを受信し、このＭＩＤＩデータ
に基づいて動作波形データベース３３を検索し、対応す
る動作波形のテンプレートを読み出し、この動作波形テ
ンプレートに基づいて、図８を用いて後述する方法によ
り動作波形を生成し、動作結合演算部３２に送出する。
【００３０】以下、動作波形データベース３３のデータ
ベース構造を、図４〜図６を参照して説明する。
ベース構造を、図４〜図６を参照して説明する。
【００３１】動作波形データベース３３は、図５に示す
ように、チューン（Tune）テンプレート５１を最上位と
して、以下、アーティキュレーション（Articulation）
テンプレート５２、フレーズ（Phrase）テンプレート５
３、ノート（Note）テンプレート５４およびプリミティ
ブ（Primitive）５５の順に階層構造をなし、さらに、
プリミティブ５５の下位には、図４に示すように、スケ
ルトン（skeleton）を構成する各部位（以下、ノード
（node）という）に対応する動作波形のテンプレートが
位置するという階層構造をなしている。
ように、チューン（Tune）テンプレート５１を最上位と
して、以下、アーティキュレーション（Articulation）
テンプレート５２、フレーズ（Phrase）テンプレート５
３、ノート（Note）テンプレート５４およびプリミティ
ブ（Primitive）５５の順に階層構造をなし、さらに、
プリミティブ５５の下位には、図４に示すように、スケ
ルトン（skeleton）を構成する各部位（以下、ノード
（node）という）に対応する動作波形のテンプレートが
位置するという階層構造をなしている。
【００３２】図４は、人の骨格構造のモデリング例を示
す図であり、本実施の形態では、同図に示すスケルトン
構造をベースにしてＣＧ合成するようにしている。同図
において、スケルトンは複数個のノードから構成され、
各ノードは階層構造をなしている。そして、主要ノード
には、動作波形のテンプレートが対応付けられている。
す図であり、本実施の形態では、同図に示すスケルトン
構造をベースにしてＣＧ合成するようにしている。同図
において、スケルトンは複数個のノードから構成され、
各ノードは階層構造をなしている。そして、主要ノード
には、動作波形のテンプレートが対応付けられている。
【００３３】図６は、人が所定のポーズをとったときの
所定ノード（頭）の動作波形テンプレートの一例を示す
図であり、図中、縦軸は角度を示し、横軸は時間を示し
ている。
所定ノード（頭）の動作波形テンプレートの一例を示す
図であり、図中、縦軸は角度を示し、横軸は時間を示し
ている。
【００３４】ここで、動作波形とは、ノードの動き（た
とえばフレーズに相当する時間に亘る動き）をオイラー
回転角で表現したときのその回転角の推移をいう。通
常、人（演奏者）の体の動きは、スケルトンの各ノード
の動きをローカル座表系で表した変位と回転（オイラー
回転角）で表現する。しかし、図６の動作波形テンプレ
ート例では、オイラー回転角でのみ表現されている。こ
れは、一般に、身体の各部は相対的に伸縮しないため、
回転情報のみで表現する場合が多いからである。もちろ
ん、この回転情報に変位情報を加えるようにしてもよ
い。
とえばフレーズに相当する時間に亘る動き）をオイラー
回転角で表現したときのその回転角の推移をいう。通
常、人（演奏者）の体の動きは、スケルトンの各ノード
の動きをローカル座表系で表した変位と回転（オイラー
回転角）で表現する。しかし、図６の動作波形テンプレ
ート例では、オイラー回転角でのみ表現されている。こ
れは、一般に、身体の各部は相対的に伸縮しないため、
回転情報のみで表現する場合が多いからである。もちろ
ん、この回転情報に変位情報を加えるようにしてもよ
い。
【００３５】なお、図６中、実線で示す曲線Ｃ１はｘ方
向のオイラー角の推移を示し、波線で示す曲線Ｃ２はｙ
方向のオイラー角の推移を示し、一点鎖線で示す曲線Ｃ
３はｚ方向のオイラー角の推移を示しており、該各曲
線、すなわち動作波形は、たとえばモーションキャプチ
ャと呼ばれる技術によって予め生成されている。
向のオイラー角の推移を示し、波線で示す曲線Ｃ２はｙ
方向のオイラー角の推移を示し、一点鎖線で示す曲線Ｃ
３はｚ方向のオイラー角の推移を示しており、該各曲
線、すなわち動作波形は、たとえばモーションキャプチ
ャと呼ばれる技術によって予め生成されている。
【００３６】本実施の形態では、このような動作波形テ
ンプレートが主要ノードの各ノード毎に複数種類記憶さ
れ、プリミティブ５５には、この動作波形テンプレート
群中参照すべき動作波形テンプレートのリストが記述さ
れている。したがって、プリミティブ５５はこの動作波
形テンプレート群により構成されているということがで
きる。もちろん、これに限らず、各動作波形テンプレー
トをさらに細分化し、この細分化されたものの集合によ
ってプリミティブ５５を構成するようにしてもよい。
ンプレートが主要ノードの各ノード毎に複数種類記憶さ
れ、プリミティブ５５には、この動作波形テンプレート
群中参照すべき動作波形テンプレートのリストが記述さ
れている。したがって、プリミティブ５５はこの動作波
形テンプレート群により構成されているということがで
きる。もちろん、これに限らず、各動作波形テンプレー
トをさらに細分化し、この細分化されたものの集合によ
ってプリミティブ５５を構成するようにしてもよい。
【００３７】図４に戻り、動作波形テンプレートが対応
付けられていないノードの動きは、動作波形生成部３４
で演算によって決定される。その演算手法は後述する。
付けられていないノードの動きは、動作波形生成部３４
で演算によって決定される。その演算手法は後述する。
【００３８】図５に戻り、チューンテンプレート５１
は、曲全体に共通する特徴が記述されている複数種類の
テンプレートにより構成されている。曲全体に共通する
特徴とは、具体的には、演奏者の疲労度、環境、性別、
年齢、習熟度等をいい、各特徴に対応して、当該各特徴
を表現する（前記選択された動作波形テンプレートの動
作波形の形状を変更する（以下「修飾する」という））
曲線群、すなわち疲労度曲線テーブル５６、環境曲線テ
ーブル５７、性別曲線テーブル５８，年齢曲線テーブル
５９および習熟度曲線テーブル６０が記憶されている。
すなわち、チューンテンプレート５１の各テンプレート
には、各曲線テーブル５６〜６０のうち参照すべき曲線
が記述されている。
は、曲全体に共通する特徴が記述されている複数種類の
テンプレートにより構成されている。曲全体に共通する
特徴とは、具体的には、演奏者の疲労度、環境、性別、
年齢、習熟度等をいい、各特徴に対応して、当該各特徴
を表現する（前記選択された動作波形テンプレートの動
作波形の形状を変更する（以下「修飾する」という））
曲線群、すなわち疲労度曲線テーブル５６、環境曲線テ
ーブル５７、性別曲線テーブル５８，年齢曲線テーブル
５９および習熟度曲線テーブル６０が記憶されている。
すなわち、チューンテンプレート５１の各テンプレート
には、各曲線テーブル５６〜６０のうち参照すべき曲線
が記述されている。
【００３９】アーティキュレーションテンプレート５２
は、フレーズテンプレート５３の上位に位置するテンプ
レートであり、このテンプレート５２より下位に位置す
る各種テンプレート間のつなげ方、繰り返し、読み出し
方法、修飾関係、衝突検出、演算生成の有無等が記述さ
れている。修飾関係の具体的な内容は、キャラクタ（Ch
aracter）テンプレート６１に記載されている。修飾関
係とは、たとえば演奏者や楽器の癖等により、選択され
た動作波形テンプレートの動作波形をどのように修飾す
るかを示す関係をいい、具体的には、他のテンプレート
群の差分情報または差し替えテンプレートが記憶されて
いる。したがって、アーティキュレーションテンプレー
ト５２には、各種修飾関係のうち選択すべき修飾関係が
記述されている。
は、フレーズテンプレート５３の上位に位置するテンプ
レートであり、このテンプレート５２より下位に位置す
る各種テンプレート間のつなげ方、繰り返し、読み出し
方法、修飾関係、衝突検出、演算生成の有無等が記述さ
れている。修飾関係の具体的な内容は、キャラクタ（Ch
aracter）テンプレート６１に記載されている。修飾関
係とは、たとえば演奏者や楽器の癖等により、選択され
た動作波形テンプレートの動作波形をどのように修飾す
るかを示す関係をいい、具体的には、他のテンプレート
群の差分情報または差し替えテンプレートが記憶されて
いる。したがって、アーティキュレーションテンプレー
ト５２には、各種修飾関係のうち選択すべき修飾関係が
記述されている。
【００４０】フレーズテンプレート５３は、拍規模のフ
レーズレベルのテンプレートで、このテンプレート５３
より下位に位置するテンプレート（ノートテンプレート
５４、プリミティブ５５、接合条件テーブル６２、コン
トロールテンプレート６３および上記キャラクタテンプ
レート６１）のうち参照すべきテンプレートのリストが
記載されている。接合条件テーブル６２には、フレーズ
テンプレート５３より下位のテンプレート、たとえばノ
ートテンプレート５４やプリミティブ５５等の各テンプ
レート同士の接合規則や接合波形が記述されている。ま
た、コントロールテンプレート６３は、フレーズの下位
に相当し、有音ノート単位では表現できない動作（たと
えば、発音していないときのつながりのための指や手の
動き等）を示すテンプレート群によって構成されてい
る。
レーズレベルのテンプレートで、このテンプレート５３
より下位に位置するテンプレート（ノートテンプレート
５４、プリミティブ５５、接合条件テーブル６２、コン
トロールテンプレート６３および上記キャラクタテンプ
レート６１）のうち参照すべきテンプレートのリストが
記載されている。接合条件テーブル６２には、フレーズ
テンプレート５３より下位のテンプレート、たとえばノ
ートテンプレート５４やプリミティブ５５等の各テンプ
レート同士の接合規則や接合波形が記述されている。ま
た、コントロールテンプレート６３は、フレーズの下位
に相当し、有音ノート単位では表現できない動作（たと
えば、発音していないときのつながりのための指や手の
動き等）を示すテンプレート群によって構成されてい
る。
【００４１】ノートテンプレート５４は、１ノート単位
での発音前後の動作を記述するテンプレートであり、参
照すべき複数のプリミティブ、部位（ノード）関連遷移
曲線、キーシフト曲線、ダイナミック曲線等が記載され
ている。キーシフト（KeyShift）曲線テーブル６４は、
ノートテンプレート５４で参照されるキーシフト曲線の
集合（曲線群）によって構成され、ダイナミック曲線テ
ーブル６５は、ノートテンプレート５４で参照されるダ
イナミック曲線の集合によって構成され、部位関連遷移
曲線テーブル６４は、参照されたキーシフト曲線やダイ
ナミック曲線により動作波形を修飾したときに、部位関
連が遷移する場合の曲線の集合によって構成され、時間
圧縮伸張曲線テーブル６７は、動作波形を所望の時間長
にするときの圧縮伸張の割合を示す曲線の集合によって
構成されている。
での発音前後の動作を記述するテンプレートであり、参
照すべき複数のプリミティブ、部位（ノード）関連遷移
曲線、キーシフト曲線、ダイナミック曲線等が記載され
ている。キーシフト（KeyShift）曲線テーブル６４は、
ノートテンプレート５４で参照されるキーシフト曲線の
集合（曲線群）によって構成され、ダイナミック曲線テ
ーブル６５は、ノートテンプレート５４で参照されるダ
イナミック曲線の集合によって構成され、部位関連遷移
曲線テーブル６４は、参照されたキーシフト曲線やダイ
ナミック曲線により動作波形を修飾したときに、部位関
連が遷移する場合の曲線の集合によって構成され、時間
圧縮伸張曲線テーブル６７は、動作波形を所望の時間長
にするときの圧縮伸張の割合を示す曲線の集合によって
構成されている。
【００４２】図３に戻り、表現手段決定部３５は、動作
結合演算部３２からのＭＩＤＩデータを受信し、図９お
よび図１０を用いて後述する方法により各種パラメータ
値を決定し、動作結合演算部３２に送出する。
結合演算部３２からのＭＩＤＩデータを受信し、図９お
よび図１０を用いて後述する方法により各種パラメータ
値を決定し、動作結合演算部３２に送出する。
【００４３】動作結合演算部３２は、上述のように、動
作波形生成部３４からの動作波形および表現手段決定部
３５からの各種パラメータ値を受信し、これらのデータ
に基づいて動作合成を行うのであるが、単純に動作合成
を行うと各事物間および各現象に対して矛盾が生ずるた
め、最終結果、すなわち前記ＣＧパラメータおよび楽音
パラメータを画像発生部３６および音源部３８に出力す
る前に、中間結果を動作波形生成部３４および表現手段
決定部３５にフィードバックし、矛盾が解消するように
する。なお、矛盾が解消するまでフィードバックを繰り
返すと、最終結果を出力するまでに時間がかかるときに
は、途中でフィードバックを打ち切るようにすればよ
い。
作波形生成部３４からの動作波形および表現手段決定部
３５からの各種パラメータ値を受信し、これらのデータ
に基づいて動作合成を行うのであるが、単純に動作合成
を行うと各事物間および各現象に対して矛盾が生ずるた
め、最終結果、すなわち前記ＣＧパラメータおよび楽音
パラメータを画像発生部３６および音源部３８に出力す
る前に、中間結果を動作波形生成部３４および表現手段
決定部３５にフィードバックし、矛盾が解消するように
する。なお、矛盾が解消するまでフィードバックを繰り
返すと、最終結果を出力するまでに時間がかかるときに
は、途中でフィードバックを打ち切るようにすればよ
い。
【００４４】画像発生部３６は、主として、前記汎用Ｃ
Ｇライブラリによって構成され、前述したように、動作
結合演算部３２からのＣＧパラメータを受信し、ジオメ
タリおよびレンダリングを行って２次元画像データを発
生させ、表示部３７に出力する。表示部３７は、この２
次元画像データを表示する。
Ｇライブラリによって構成され、前述したように、動作
結合演算部３２からのＣＧパラメータを受信し、ジオメ
タリおよびレンダリングを行って２次元画像データを発
生させ、表示部３７に出力する。表示部３７は、この２
次元画像データを表示する。
【００４５】音源部３８は、主として、前記音源回路１
５および効果回路１６によって構成され、前述したよう
に、動作結合演算部３２からの楽音パラメータを受信
し、この楽音パラメータに基づいて楽音信号を生成し
て、サウンドシステム３９に出力する。サウンドシステ
ム３９は、前記サウンドシステム１７に対応し、受信し
た楽音信号を音響に変換する。
５および効果回路１６によって構成され、前述したよう
に、動作結合演算部３２からの楽音パラメータを受信
し、この楽音パラメータに基づいて楽音信号を生成し
て、サウンドシステム３９に出力する。サウンドシステ
ム３９は、前記サウンドシステム１７に対応し、受信し
た楽音信号を音響に変換する。
【００４６】以上のように構成された楽音・画像発生装
置の各構成要素が実行する制御処理を、以下、図７〜図
１２に基づいてさらに詳細に説明する。
置の各構成要素が実行する制御処理を、以下、図７〜図
１２に基づいてさらに詳細に説明する。
【００４７】図７は、動作結合演算部３２が実行する動
作結合演算部処理の手順を示すフローチャートである。
作結合演算部処理の手順を示すフローチャートである。
【００４８】同図において、まず、入力インターフェー
ス３１からＭＩＤＩデータを受信するとともに、動作波
形生成部３４から生成された動作波形を受信する（ステ
ップＳ１）。
ス３１からＭＩＤＩデータを受信するとともに、動作波
形生成部３４から生成された動作波形を受信する（ステ
ップＳ１）。
【００４９】次に、受信したＭＩＤＩデータから奏法を
決定し、演奏者が入力した情報に基づいて演奏者および
楽器の骨格構造を決定する、すなわちモデリングを行う
（ステップＳ２）。
決定し、演奏者が入力した情報に基づいて演奏者および
楽器の骨格構造を決定する、すなわちモデリングを行う
（ステップＳ２）。
【００５０】そして、ＭＩＤＩデータ、動作波形、表現
手段決定部３５によって決定されたパラメータ値および
上記決定された骨格構造に基づいて、楽器および演奏者
の動き、および両者の関連動作を決定し、関連性を持た
せる、すなわち動作の結合を行った（ステップＳ３）後
に、本処理を終了する。
手段決定部３５によって決定されたパラメータ値および
上記決定された骨格構造に基づいて、楽器および演奏者
の動き、および両者の関連動作を決定し、関連性を持た
せる、すなわち動作の結合を行った（ステップＳ３）後
に、本処理を終了する。
【００５１】図８は、動作波形生成部３４が実行する動
作波形生成部処理の手順を示すフローチャートである。
作波形生成部処理の手順を示すフローチャートである。
【００５２】同図において、まず、動作結合演算部３１
からＭＩＤＩデータ、すなわち入力インターフェース３
１を介して入力されたＭＩＤＩデータ（前記ステップＳ
２で決定された奏法も含む）を受信する（ステップＳ１
１）。
からＭＩＤＩデータ、すなわち入力インターフェース３
１を介して入力されたＭＩＤＩデータ（前記ステップＳ
２で決定された奏法も含む）を受信する（ステップＳ１
１）。
【００５３】次に、受信したＭＩＤＩデータに基づいて
前記動作波形データベース３３を検索し、動作波形テン
プレートおよび関連するテンプレート等を読み出し、テ
ンプレート波形（動作波形の基になる波形）を生成する
（ステップＳ１２）。
前記動作波形データベース３３を検索し、動作波形テン
プレートおよび関連するテンプレート等を読み出し、テ
ンプレート波形（動作波形の基になる波形）を生成する
（ステップＳ１２）。
【００５４】そして、生成されたテンプレート波形を、
ＭＩＤＩデータおよび所定の拘束条件に基づいてフォワ
ードキネマティクス（forward kinematics）等の手法を
用い、つなぎ合わせ、重ね合わせの演算を行い、演奏の
大まかな部分の動作波形を生成する（ステップＳ１
３）。
ＭＩＤＩデータおよび所定の拘束条件に基づいてフォワ
ードキネマティクス（forward kinematics）等の手法を
用い、つなぎ合わせ、重ね合わせの演算を行い、演奏の
大まかな部分の動作波形を生成する（ステップＳ１
３）。
【００５５】さらに、生成されたテンプレート波形を、
ＭＩＤＩデータおよび所定の拘束条件に基づいてインバ
ースキネマティクス（inverse kinematics）等の手法を
用い、つなぎ合わせ、重ね合わせの演算を行い、演奏の
細部の動作波形を生成した（ステップＳ１４）後に、本
処理を終了する。
ＭＩＤＩデータおよび所定の拘束条件に基づいてインバ
ースキネマティクス（inverse kinematics）等の手法を
用い、つなぎ合わせ、重ね合わせの演算を行い、演奏の
細部の動作波形を生成した（ステップＳ１４）後に、本
処理を終了する。
【００５６】なお、本実施の形態では、動作結合演算部
３２によって決定された奏法を含むＭＩＤＩデータに基
づいて動作波形データベース３３を検索することによ
り、楽音と画像とを一体化して制御するようにしたが、
これに限らず、ＭＩＤＩデータに動作波形データベース
３３を検索するための各種条件、たとえば、読み出すべ
き動作波形テンプレートおよび関連するテンプレート等
を示すポインタ等を予め埋め込んでおくようにしてもよ
い。
３２によって決定された奏法を含むＭＩＤＩデータに基
づいて動作波形データベース３３を検索することによ
り、楽音と画像とを一体化して制御するようにしたが、
これに限らず、ＭＩＤＩデータに動作波形データベース
３３を検索するための各種条件、たとえば、読み出すべ
き動作波形テンプレートおよび関連するテンプレート等
を示すポインタ等を予め埋め込んでおくようにしてもよ
い。
【００５７】図９は、表現手段決定部３５が実行する表
現決定部処理のうち、スタティック事象を決定する処理
の手順を示すフローチャートである。
現決定部処理のうち、スタティック事象を決定する処理
の手順を示すフローチャートである。
【００５８】同図において、まず、たとえば、室温、湿
度、照度および部屋の大きさ等の環境設定値をユーザが
入力すると、その入力値を、たとえば前記ＲＡＭ７の所
定領域に記憶する（ステップＳ２１）。
度、照度および部屋の大きさ等の環境設定値をユーザが
入力すると、その入力値を、たとえば前記ＲＡＭ７の所
定領域に記憶する（ステップＳ２１）。
【００５９】次に、そのユーザ入力値から、楽器の質
感、演奏者の性格、身長、その他の、いわゆる静的（ス
タティック）特性を有するパラメータの値を決定し（ス
テップＳ２２）、本処理を終了する。
感、演奏者の性格、身長、その他の、いわゆる静的（ス
タティック）特性を有するパラメータの値を決定し（ス
テップＳ２２）、本処理を終了する。
【００６０】図１０は、表現手段決定部３５が実行する
表現決定部処理のうち、ダイナミック事象を決定する処
理の手順を示すフローチャートである。
表現決定部処理のうち、ダイナミック事象を決定する処
理の手順を示すフローチャートである。
【００６１】同図において、まず、前記ステップＳ１１
と同様にして、ＭＩＤＩデータを受信する（ステップＳ
３１）。
と同様にして、ＭＩＤＩデータを受信する（ステップＳ
３１）。
【００６２】次に、入力されたＭＩＤＩデータ（必要に
応じて動作波形や結合動作も）から演奏者の表情、汗、
楽器の、いわゆる動的（ダイナミック）特性を有するパ
ラメータの値を決定し（ステップＳ３２）、本処理を終
了する。
応じて動作波形や結合動作も）から演奏者の表情、汗、
楽器の、いわゆる動的（ダイナミック）特性を有するパ
ラメータの値を決定し（ステップＳ３２）、本処理を終
了する。
【００６３】図１１は、画像発生部３６が実行する画像
発生部処理の手順を示すフローチャートであり、動作結
合演算部３２および表現手段決定部３５の出力結果か
ら、前述したように、汎用ＣＧライブラリを用いて、レ
ンダリングおよびジオメタリを行う（ステップＳ４
１）。
発生部処理の手順を示すフローチャートであり、動作結
合演算部３２および表現手段決定部３５の出力結果か
ら、前述したように、汎用ＣＧライブラリを用いて、レ
ンダリングおよびジオメタリを行う（ステップＳ４
１）。
【００６４】図１２は、音源部３８が実行する音源部処
理の手順を示すフローチャートであり、動作結合演算部
３２および表現手段決定部３５の出力結果に基づいて発
音する（ステップＳ５１）。
理の手順を示すフローチャートであり、動作結合演算部
３２および表現手段決定部３５の出力結果に基づいて発
音する（ステップＳ５１）。
【００６５】このように、本実施の形態では、入力され
たＭＩＤＩデータに基づいて動作波形データベース３３
を検索し、対応する複数の動作波形のテンプレートおよ
び関連するテンプレート等を読み出して複数のテンプレ
ート波形を生成し、該各テンプレート波形を周知のＣＧ
手法を用いて修飾し重ね合わせて動作波形を生成し、該
各動作波形をフィードバックして当該各動作波形に生ず
る矛盾を解消し、さらに、表現手段決定部３５の出力結
果により矛盾が解消された各動作波形に表現付けを施す
ようにし、このようにして生成された動作波形に基づい
て画像情報（パラメータ含む）および楽音情報（パラメ
ータ含む）を発生させるようにしたので、楽器演奏をリ
アルタイムに精度よくシミュレートすることができる。
たＭＩＤＩデータに基づいて動作波形データベース３３
を検索し、対応する複数の動作波形のテンプレートおよ
び関連するテンプレート等を読み出して複数のテンプレ
ート波形を生成し、該各テンプレート波形を周知のＣＧ
手法を用いて修飾し重ね合わせて動作波形を生成し、該
各動作波形をフィードバックして当該各動作波形に生ず
る矛盾を解消し、さらに、表現手段決定部３５の出力結
果により矛盾が解消された各動作波形に表現付けを施す
ようにし、このようにして生成された動作波形に基づい
て画像情報（パラメータ含む）および楽音情報（パラメ
ータ含む）を発生させるようにしたので、楽器演奏をリ
アルタイムに精度よくシミュレートすることができる。
【００６６】なお、上述した各実施の形態の機能を実現
するソフトウェアのプログラムを記録した記憶媒体を、
システムまたは装置に供給し、そのシステムまたは装置
のコンピュータ（またはＣＰＵ５やＭＰＵ）が記憶媒体
に格納されたプログラムを読出し実行することによって
も、本発明の目的が達成されることは云うまでもない。
するソフトウェアのプログラムを記録した記憶媒体を、
システムまたは装置に供給し、そのシステムまたは装置
のコンピュータ（またはＣＰＵ５やＭＰＵ）が記憶媒体
に格納されたプログラムを読出し実行することによって
も、本発明の目的が達成されることは云うまでもない。
【００６７】この場合、記憶媒体から読出されたプログ
ラム自体が本発明の新規な機能を実現することになり、
そのプログラムを記憶した記憶媒体は本発明を構成する
ことになる。
ラム自体が本発明の新規な機能を実現することになり、
そのプログラムを記憶した記憶媒体は本発明を構成する
ことになる。
【００６８】プログラムを供給するための記憶媒体とし
ては、たとえば、前記ＨＤＤ１１のハードディスク、Ｃ
Ｄ−ＲＯＭ２１，ＭＯ，ＭＤ，フロッピーディスク２
０、ＣＤ−Ｒ（CD- Recordable）、磁気テープ、不揮発
性のメモリカード、ＲＯＭなどを用いることができる。
また、他のＭＩＤＩ機器１００や通信ネットワーク１０
１を介してサーバコンピュータ１０２からプログラムが
供給されるようにしてもよい。
ては、たとえば、前記ＨＤＤ１１のハードディスク、Ｃ
Ｄ−ＲＯＭ２１，ＭＯ，ＭＤ，フロッピーディスク２
０、ＣＤ−Ｒ（CD- Recordable）、磁気テープ、不揮発
性のメモリカード、ＲＯＭなどを用いることができる。
また、他のＭＩＤＩ機器１００や通信ネットワーク１０
１を介してサーバコンピュータ１０２からプログラムが
供給されるようにしてもよい。
【００６９】また、コンピュータが読出したプログラム
を実行することにより、上述した各実施の形態の機能が
実現されるだけでなく、そのプログラムの指示に基づ
き、コンピュータ上で稼働しているＯＳなどが実際の処
理の一部または全部を行い、その処理によって上述した
実施の形態の機能が実現される場合も含まれることは云
うまでもない。
を実行することにより、上述した各実施の形態の機能が
実現されるだけでなく、そのプログラムの指示に基づ
き、コンピュータ上で稼働しているＯＳなどが実際の処
理の一部または全部を行い、その処理によって上述した
実施の形態の機能が実現される場合も含まれることは云
うまでもない。
【００７０】さらに、記憶媒体から読出されたプログラ
ムが、コンピュータに挿入された機能拡張ボードやコン
ピュータに接続された機能拡張ユニットに備わるメモリ
に書込まれた後、そのプログラムの指示に基づき、その
機能拡張ボードや機能拡張ユニットに備わるＣＰＵ５な
どが実際の処理の一部または全部を行い、その処理によ
って上述した各実施の形態の機能が実現される場合も含
まれることは云うまでもない。
ムが、コンピュータに挿入された機能拡張ボードやコン
ピュータに接続された機能拡張ユニットに備わるメモリ
に書込まれた後、そのプログラムの指示に基づき、その
機能拡張ボードや機能拡張ユニットに備わるＣＰＵ５な
どが実際の処理の一部または全部を行い、その処理によ
って上述した各実施の形態の機能が実現される場合も含
まれることは云うまでもない。
【００７１】以上説明したように、本発明に依れば、演
奏情報入力から入力されたキーオンイベントデータおよ
びキーオフイベントデータに基づいて、演奏者の押鍵操
作および離鍵操作と、当該演奏者の操作に応じた楽器の
動きと、当該演奏者の相前後する操作間の動きとに対応
する画像パラメータの基になる、複数の動作波形パラメ
ータが発生され、該発生された複数の動作波形パラメー
タを算術演算することにより、目的の画像パラメータの
値が決定され、該決定された画像パラメータ値に応じて
情報が発生されるとともに、前記入力された演奏情報に
基づいて、楽音情報が発生されるので、楽音と画像とが
一体化して制御され、これにより、楽器演奏をリアルタ
イムに精度よくシミュレートすることが可能となる効果
を奏する。
奏情報入力から入力されたキーオンイベントデータおよ
びキーオフイベントデータに基づいて、演奏者の押鍵操
作および離鍵操作と、当該演奏者の操作に応じた楽器の
動きと、当該演奏者の相前後する操作間の動きとに対応
する画像パラメータの基になる、複数の動作波形パラメ
ータが発生され、該発生された複数の動作波形パラメー
タを算術演算することにより、目的の画像パラメータの
値が決定され、該決定された画像パラメータ値に応じて
情報が発生されるとともに、前記入力された演奏情報に
基づいて、楽音情報が発生されるので、楽音と画像とが
一体化して制御され、これにより、楽器演奏をリアルタ
イムに精度よくシミュレートすることが可能となる効果
を奏する。
【図１】本発明の一実施の形態に係る楽音・画像発生装
置の概略構成を示すブロック図である。
置の概略構成を示すブロック図である。
【図２】図１の楽音・画像発生装置が実行する制御処理
の概要を説明するためのブロック図である。
の概要を説明するためのブロック図である。
【図３】図１の楽音・画像発生装置の機能を説明するた
めの図である。
めの図である。
【図４】人の骨格構造のモデリング例を示す図である。
【図５】図３の動作波形データベースのデータ構造の一
例を示す図である。
例を示す図である。
【図６】人が所定のポーズをとったときの所定ノードの
動作波形テンプレートの一例を示す図である。
動作波形テンプレートの一例を示す図である。
【図７】図３の動作結合演算部が実行する動作結合演算
部処理の手順を示すフローチャートである。
部処理の手順を示すフローチャートである。
【図８】図３の動作波形生成部が実行する動作波形生成
部処理の手順を示すフローチャートである。
部処理の手順を示すフローチャートである。
【図９】図３の表現手段決定部が実行する表現決定部処
理のうち、スタティック事象を決定する処理の手順を示
すフローチャートである。
理のうち、スタティック事象を決定する処理の手順を示
すフローチャートである。
【図１０】図３の表現手段決定部が実行する表現決定部
処理のうち、ダイナミック事象を決定する処理の手順を
示すフローチャートである。
処理のうち、ダイナミック事象を決定する処理の手順を
示すフローチャートである。
【図１１】図３の画像発生部が実行する画像発生部処理
の手順を示すフローチャートである。
の手順を示すフローチャートである。
【図１２】図３の音源部が実行する音源部処理の手順を
示すフローチャートである。
示すフローチャートである。
５ ＣＰＵ（演奏情報入力手段、パラメータ値決定手
段、画像情報発生手段、楽器情報発生手段） １３ ＭＩＤＩＩ／Ｆ（演奏情報入力手段）
段、画像情報発生手段、楽器情報発生手段） １３ ＭＩＤＩＩ／Ｆ（演奏情報入力手段）
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 平８−293039（ＪＰ，Ａ)
特開 平８−202356（ＪＰ，Ａ)
特開 平８−30807（ＪＰ，Ａ)
特開 平７−325568（ＪＰ，Ａ)
特開 平５−46073（ＪＰ，Ａ)
特開 平９−204163（ＪＰ，Ａ)
特開 平10−326353（ＪＰ，Ａ)
特開 平11−65558（ＪＰ，Ａ)
特開 平５−298422（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
G10H 1/00
G06T 13/00
G06T 15/70
Claims (6)
- 【請求項１】 キーオンイベントデータおよびキーオフ
イベントデータを含む演奏情報を入力する演奏情報入力
手段と、 該入力されたキーオンイベントデータおよびキーオフイ
ベントデータに基づいて、演奏者の押鍵操作および離鍵
操作と、当該演奏者の操作に応じた楽器の動きと、当該
演奏者の相前後する操作間の動きとに対応する画像パラ
メータの基になる、複数の動作波形パラメータを発生す
る動作波形パラメータ発生手段と、 該発生された複数の動作波形パラメータを算術演算する
ことにより、目的の 画像パラメータの値を決定するパラ
メータ値決定手段と、 該決定された画像パラメータ値に応じて画像情報を発生
する画像情報発生手段と、 前記入力された演奏情報に基づいて、楽音情報を発生す
る楽音情報発生手段とを有することを特徴とする楽音・
画像発生装置。 - 【請求項２】 前記パラメータ値決定手段は、さらに、
前記入力された演奏情報に基づいて、楽音パラメータの
値を決定し、 前記楽音情報発生手段は、前記決定された楽音パラメー
タの値に応じて楽音情報を発生することを特徴とする請
求項１に記載の楽音・画像発生装置。 - 【請求項３】 人間の骨格構造における複数ノードの各
々において複数種類の動作情報を記憶した第１のデータ
ベース手段と、 曲全体に共通する特徴を示す特徴情報を記憶した第２の
データベース手段とをさらに有し、 前記動作波形パラメータ発生手段は、前記第１および第
２のデータベース手段を参照することにより複数の動作
波形パラメータを発生することを特徴とする請求項１ま
たは２に記載の楽音・画像発生装置。 - 【請求項４】 前記第２のデータベース手段に記憶され
た特徴情報は、演奏者の特徴を表す情報であることを特
徴とする請求項３に記載の楽音・画像発生装置。 - 【請求項５】 前記パラメータ値決定手段は、さらに、
発音していないときのつながりのための演奏者の動きに
対応する画像パラメータの値を決定することを特徴とす
る請求項１〜４のいずれかに記載の楽音・画像発生装
置。 - 【請求項６】 キーオンイベントデータおよびキーオフ
イベントデータを含む演奏情報入力手段から演奏情報を
入力する演奏情報入力モジュールと、 該入力されたキーオンイベントデータおよびキーオフイ
ベントデータに基づいて、演奏者の押鍵操作および離鍵
操作と、当該演奏者の操作に応じた楽器の動きと、当該
演奏者の相前後する操作間の動きとに対応する画像を制
御する画像パラメータの基になる、複数の動作波形パラ
メータを発生する動作波形パラメータ発生モジュール
と、 該発生された複数の動作波形パラメータを算術演算する
ことにより、目的の 画像パラメータの値を決定するパラ
メータ値決定モジュールと、 該決定された画像パラメータ値に応じて画像情報を発生
する画像情報発生モジュールと、 前記入力された演奏情報に基づいて、楽音情報を発生す
る楽音情報発生モジュールとを含むプログラムであっ
て、コンピュータが実現できるプログラムを格納した、
コンピュータ読み取り可能な記憶媒体。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36905097A JP3419290B2 (ja) | 1997-12-27 | 1997-12-27 | 楽音・画像発生装置および記憶媒体 |
| US09/216,390 US6310279B1 (en) | 1997-12-27 | 1998-12-18 | Device and method for generating a picture and/or tone on the basis of detection of a physical event from performance information |
| SG1998005905A SG68090A1 (en) | 1997-12-27 | 1998-12-23 | Device for and method of generating tone and picture on the basis of performance information |
| EP98124479A EP0926655B1 (en) | 1997-12-27 | 1998-12-23 | Device and method of generating tone and picture on the basis of performance information |
| DE69818210T DE69818210T2 (de) | 1997-12-27 | 1998-12-23 | Vorrichtung und Verfahren zur Erzeugung von Ton und Bild auf Basis von einer Aufführungsdatei. |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36905097A JP3419290B2 (ja) | 1997-12-27 | 1997-12-27 | 楽音・画像発生装置および記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11194764A JPH11194764A (ja) | 1999-07-21 |
| JP3419290B2 true JP3419290B2 (ja) | 2003-06-23 |
Family
ID=18493437
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP36905097A Expired - Fee Related JP3419290B2 (ja) | 1997-12-27 | 1997-12-27 | 楽音・画像発生装置および記憶媒体 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6310279B1 (ja) |
| EP (1) | EP0926655B1 (ja) |
| JP (1) | JP3419290B2 (ja) |
| DE (1) | DE69818210T2 (ja) |
| SG (1) | SG68090A1 (ja) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050120870A1 (en) * | 1998-05-15 | 2005-06-09 | Ludwig Lester F. | Envelope-controlled dynamic layering of audio signal processing and synthesis for music applications |
| US6610917B2 (en) | 1998-05-15 | 2003-08-26 | Lester F. Ludwig | Activity indication, external source, and processing loop provisions for driven vibrating-element environments |
| US7309829B1 (en) | 1998-05-15 | 2007-12-18 | Ludwig Lester F | Layered signal processing for individual and group output of multi-channel electronic musical instruments |
| JP3849540B2 (ja) * | 2002-02-19 | 2006-11-22 | ヤマハ株式会社 | 画像制御装置 |
| US7339589B2 (en) | 2002-10-24 | 2008-03-04 | Sony Computer Entertainment America Inc. | System and method for video choreography |
| DE10254893B4 (de) * | 2002-11-19 | 2004-08-26 | Rainer Haase | Verfahren zur programmgesteuerten, visuell wahrnehmbaren Darstellung eines Musikwerkes |
| JP4259153B2 (ja) * | 2003-03-24 | 2009-04-30 | ヤマハ株式会社 | 画像処理装置および画像処理方法を実現するためのプログラム |
| WO2006003848A1 (ja) * | 2004-06-30 | 2006-01-12 | Matsushita Electric Industrial Co., Ltd. | 楽曲情報算出装置及び楽曲再生装置 |
| WO2006078597A2 (en) * | 2005-01-18 | 2006-07-27 | Haeker Eric P | Method and apparatus for generating visual images based on musical compositions |
| US20060181537A1 (en) * | 2005-01-25 | 2006-08-17 | Srini Vasan | Cybernetic 3D music visualizer |
| US7601904B2 (en) * | 2005-08-03 | 2009-10-13 | Richard Dreyfuss | Interactive tool and appertaining method for creating a graphical music display |
| US20070028751A1 (en) * | 2005-08-04 | 2007-02-08 | David Hindman | System for using sound inputs to obtain video display response |
| JP2007334187A (ja) * | 2006-06-19 | 2007-12-27 | Konami Digital Entertainment:Kk | プログラム作成用プログラム及びプログラム作成方法 |
| KR100780467B1 (ko) | 2006-09-28 | 2007-11-29 | 이관영 | 소리를 이용한 3차원 입체물 제작 장치 및 방법 |
| US9019237B2 (en) * | 2008-04-06 | 2015-04-28 | Lester F. Ludwig | Multitouch parameter and gesture user interface employing an LED-array tactile sensor that can also operate as a display |
| US8345014B2 (en) | 2008-07-12 | 2013-01-01 | Lester F. Ludwig | Control of the operating system on a computing device via finger angle using a high dimensional touchpad (HDTP) touch user interface |
| US8169414B2 (en) | 2008-07-12 | 2012-05-01 | Lim Seung E | Control of electronic games via finger angle using a high dimensional touchpad (HDTP) touch user interface |
| US8604364B2 (en) * | 2008-08-15 | 2013-12-10 | Lester F. Ludwig | Sensors, algorithms and applications for a high dimensional touchpad |
| US8170346B2 (en) | 2009-03-14 | 2012-05-01 | Ludwig Lester F | High-performance closed-form single-scan calculation of oblong-shape rotation angles from binary images of arbitrary size using running sums |
| US20110055722A1 (en) * | 2009-09-02 | 2011-03-03 | Ludwig Lester F | Data Visualization Environment with DataFlow Processing, Web, Collaboration, Advanced User Interfaces, and Spreadsheet Visualization |
| US20110066933A1 (en) * | 2009-09-02 | 2011-03-17 | Ludwig Lester F | Value-driven visualization primitives for spreadsheets, tabular data, and advanced spreadsheet visualization |
| US20110202934A1 (en) * | 2010-02-12 | 2011-08-18 | Ludwig Lester F | Window manger input focus control for high dimensional touchpad (htpd), advanced mice, and other multidimensional user interfaces |
| US10146427B2 (en) | 2010-03-01 | 2018-12-04 | Nri R&D Patent Licensing, Llc | Curve-fitting approach to high definition touch pad (HDTP) parameter extraction |
| US9632344B2 (en) | 2010-07-09 | 2017-04-25 | Lester F. Ludwig | Use of LED or OLED array to implement integrated combinations of touch screen tactile, touch gesture sensor, color image display, hand-image gesture sensor, document scanner, secure optical data exchange, and fingerprint processing capabilities |
| US9626023B2 (en) | 2010-07-09 | 2017-04-18 | Lester F. Ludwig | LED/OLED array approach to integrated display, lensless-camera, and touch-screen user interface devices and associated processors |
| US8754862B2 (en) | 2010-07-11 | 2014-06-17 | Lester F. Ludwig | Sequential classification recognition of gesture primitives and window-based parameter smoothing for high dimensional touchpad (HDTP) user interfaces |
| US9950256B2 (en) | 2010-08-05 | 2018-04-24 | Nri R&D Patent Licensing, Llc | High-dimensional touchpad game controller with multiple usage and networking modalities |
| US20120204577A1 (en) | 2011-02-16 | 2012-08-16 | Ludwig Lester F | Flexible modular hierarchical adaptively controlled electronic-system cooling and energy harvesting for IC chip packaging, printed circuit boards, subsystems, cages, racks, IT rooms, and data centers using quantum and classical thermoelectric materials |
| US8797288B2 (en) | 2011-03-07 | 2014-08-05 | Lester F. Ludwig | Human user interfaces utilizing interruption of the execution of a first recognized gesture with the execution of a recognized second gesture |
| US9052772B2 (en) | 2011-08-10 | 2015-06-09 | Lester F. Ludwig | Heuristics for 3D and 6D touch gesture touch parameter calculations for high-dimensional touch parameter (HDTP) user interfaces |
| US9823781B2 (en) | 2011-12-06 | 2017-11-21 | Nri R&D Patent Licensing, Llc | Heterogeneous tactile sensing via multiple sensor types |
| US10430066B2 (en) | 2011-12-06 | 2019-10-01 | Nri R&D Patent Licensing, Llc | Gesteme (gesture primitive) recognition for advanced touch user interfaces |
| US9236039B2 (en) | 2013-03-04 | 2016-01-12 | Empire Technology Development Llc | Virtual instrument playing scheme |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5005459A (en) | 1987-08-14 | 1991-04-09 | Yamaha Corporation | Musical tone visualizing apparatus which displays an image of an animated object in accordance with a musical performance |
| US5159140A (en) * | 1987-09-11 | 1992-10-27 | Yamaha Corporation | Acoustic control apparatus for controlling musical tones based upon visual images |
| JP2995745B2 (ja) | 1989-03-31 | 1999-12-27 | ソニー株式会社 | 動き情報抽出装置 |
| JP2958498B2 (ja) | 1990-10-18 | 1999-10-06 | カシオ計算機株式会社 | 自動伴奏装置 |
| US5391828A (en) | 1990-10-18 | 1995-02-21 | Casio Computer Co., Ltd. | Image display, automatic performance apparatus and automatic accompaniment apparatus |
| US5214231A (en) | 1991-01-15 | 1993-05-25 | Wolfgang Ernst | Apparatus for electronic teaching accompaniment and practice of music, which is independent of a played musical instrument |
| JPH0546073A (ja) * | 1991-08-20 | 1993-02-26 | Csk Corp | 楽器演奏の練習支援装置 |
| JPH0573048A (ja) | 1991-09-17 | 1993-03-26 | Casio Comput Co Ltd | 自動演奏装置 |
| US5563358A (en) * | 1991-12-06 | 1996-10-08 | Zimmerman; Thomas G. | Music training apparatus |
| JPH05298422A (ja) * | 1992-04-16 | 1993-11-12 | Hitachi Ltd | 多関節構造体の動作生成方法 |
| US5491297A (en) * | 1993-06-07 | 1996-02-13 | Ahead, Inc. | Music instrument which generates a rhythm EKG |
| US5585583A (en) | 1993-10-14 | 1996-12-17 | Maestromedia, Inc. | Interactive musical instrument instruction system |
| JPH07325568A (ja) * | 1994-06-01 | 1995-12-12 | Casio Comput Co Ltd | 映像出力機能付電子楽器 |
| JPH0830807A (ja) * | 1994-07-18 | 1996-02-02 | Fuji Television:Kk | 演奏連動型動画生成装置、音声連動型動画生成装置及びこれを利用したカラオケ装置 |
| JP3096221B2 (ja) * | 1994-11-24 | 2000-10-10 | ローランド株式会社 | オルゴール・シミュレータ |
| JPH08293039A (ja) * | 1995-04-24 | 1996-11-05 | Matsushita Electric Ind Co Ltd | 音楽画像変換装置 |
| JP3668547B2 (ja) * | 1996-01-29 | 2005-07-06 | ヤマハ株式会社 | カラオケ装置 |
| JPH10326353A (ja) * | 1997-05-23 | 1998-12-08 | Matsushita Electric Ind Co Ltd | ３次元キャラクタアニメーション表示装置および３次元動きデータ伝送システム |
| US6087577A (en) * | 1997-07-01 | 2000-07-11 | Casio Computer Co., Ltd. | Music navigator with visual image presentation of fingering motion |
| JP3454100B2 (ja) * | 1997-08-21 | 2003-10-06 | ヤマハ株式会社 | 演奏パラメータ表示装置 |
-
1997
- 1997-12-27 JP JP36905097A patent/JP3419290B2/ja not_active Expired - Fee Related
-
1998
- 1998-12-18 US US09/216,390 patent/US6310279B1/en not_active Expired - Lifetime
- 1998-12-23 DE DE69818210T patent/DE69818210T2/de not_active Expired - Lifetime
- 1998-12-23 SG SG1998005905A patent/SG68090A1/en unknown
- 1998-12-23 EP EP98124479A patent/EP0926655B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP0926655A1 (en) | 1999-06-30 |
| DE69818210D1 (de) | 2003-10-23 |
| EP0926655B1 (en) | 2003-09-17 |
| US6310279B1 (en) | 2001-10-30 |
| JPH11194764A (ja) | 1999-07-21 |
| SG68090A1 (en) | 1999-10-19 |
| DE69818210T2 (de) | 2004-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3419290B2 (ja) | 楽音・画像発生装置および記憶媒体 | |
| JP5261385B2 (ja) | 鍵盤弦楽器の音響を表す信号の生成装置 | |
| Dannenberg | Music representation issues, techniques, and systems | |
| Roads | Research in music and artificial intelligence | |
| CN1761993B (zh) | 歌声合成方法和设备以及机器人设备 | |
| JP3454100B2 (ja) | 演奏パラメータ表示装置 | |
| JP3533975B2 (ja) | 自動作曲装置および記憶媒体 | |
| Borin et al. | Musical signal synthesis | |
| JP3344297B2 (ja) | 自動演奏装置および自動演奏プログラムを記録した媒体 | |
| Baggi | Neurswing: An intelligent workbench for the investigation of swing in jazz | |
| WO2021166745A1 (ja) | アレンジ生成方法、アレンジ生成装置、及び生成プログラム | |
| JP3835456B2 (ja) | 自動作曲装置および記憶媒体 | |
| JP2722727B2 (ja) | 電子楽器 | |
| Polfreman | A task analysis of music composition and its application to the development of Modalyser | |
| JP2003177751A (ja) | 演奏データ加工処理装置 | |
| Brum et al. | Challenges and perspectives on real-time singing voice synthesis | |
| WO2004025306A1 (en) | Computer-generated expression in music production | |
| Percival et al. | Physical modelling and supervised training of a virtual string quartet | |
| JP2756888B2 (ja) | 電子楽器 | |
| JP4129794B2 (ja) | 自動伴奏生成装置および自動伴奏生成方法を実現するためのプログラム | |
| JP3832422B2 (ja) | 楽音生成装置及び方法 | |
| Hellkvist | Implementation Of Performance Rules In Igor Engraver | |
| Rowe | E MUSICIA | |
| JP2001318672A (ja) | 楽音発生装置 | |
| Kuehnl | Sound Synthesis with Physical Models (1996) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090418 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090418 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100418 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110418 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120418 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |