JPH10143151A

JPH10143151A - 指揮装置

Info

Publication number: JPH10143151A
Application number: JP8339250A
Authority: JP
Inventors: Yasunari Ito; 泰成伊藤; Hiroyuki Kiyono; 博之清野
Original assignee: PFU Ltd
Current assignee: PFU Ltd
Priority date: 1996-01-30
Filing date: 1996-12-19
Publication date: 1998-05-29

Abstract

(57)【要約】【課題】本発明は、音や画像についての表情付けを行
う指揮装置に関し、入力装置の動きからテンポ、強弱、
拍子のタイミング、アクセントのいずれか１つまたは任
意の複数個からなるパラメタを検出しこれらパラメタを
もとに音声および／または画像の再生をリアルタイムに
追従した表情付けを実現することを目的とする。【解決手段】入力装置の動きからテンポ、強弱、拍子
のタイミング、アクセントのいずれか１つまたは任意の
複数個からなるパラメタを検出する手段と、検出された
パラメタのテンポ、強弱、拍子のタイミング、アクセン
トのいずれか１つまたは任意の複数個に追従して音声お
よび／または画像をリアルタイムに再生する手段とを備
えるように構成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声および／また
は画像の表情付けを行う指揮装置に関するものである。

【０００２】

【従来の技術】音楽は聞くだけでなく、参加すればもっ
と楽しいことは、誰もが認めるだろう。しかし、いざ音
楽を本格的にやろうと思っても、楽器を弾けなければ、
それだけで蚊帳の外なのも、また事実なのである。だか
らといって、子供と一緒にバイエルから勉強しはじめよ
うとは、ほとんどの人は考えないだろう。最近ではパソ
コン上で音楽が楽しめるＤＴＭ(Desk Top Music)が大い
にもてはやされている。しかし、ＤＴＭといえど当然譜
面の知識が必要であり、さらにＤＴＭ固有の技術も必要
である。

【０００３】たとえば、コンピュータ音楽の世界での音
楽データとしては標準フォーマットＭＩＤＩ(Musical I
nstrument Digital Interface)が用いられており、当該
ＭＩＤＩのフォーマットについての知識はＤＴＭを行う
ための必須要件となる。

【０００４】従来、音楽や動画などの時間によって刻々
と再生が進む表現データに対して、例えば音量や再生の
テンポといった表情付けを行うためには以下のような方
法があった。

【０００５】（１）スライダやフットコントロール装置
を用いて、表情付けデータをリアルタイムにオペレータ
が与える方法。（２）画面上でグラフや数値データを編集して、静的に
データを与える方法。

【０００６】

【発明が解決しようとする課題】上述した従来の（１）
の方法では、スライダやフットコントロール装置を用い
る必要があり、同時に多くのパラメタを指示しようとす
ると、多くのコントローラが必要となってしまい、操作
しずらいと共に、指示の方法を体得することが難しいと
いう問題があった。

【０００７】また、上述した従来の（２）の方法では、
静的に事前にデータを与える必要があり、充分な知識が
ないと実際に付けられた表情を予見できなく、思ったと
おりの表現ができないという問題があった。

【０００８】本発明は、これらの問題を解決するため、
入力装置の動きからテンポ、強弱、拍子のタイミング、
アクセントのいずれか１つあるいは任意の複数個からな
るパラメタを検出しこれらパラメタをもとに音声および
／または画像の再生をリアルタイムに追従した表情付け
を実現することを目的としている。

【０００９】

【課題を解決するための手段】図１を参照して課題を解
決するための手段を説明する。図１において、入力装置
１は、動きを入力するものである。例えばマウスカーソ
ルの軌線や動きを入力するものである。

【００１０】インタフェース２は、入力装置１から入力
された動きからテンポ、強弱、拍子のタイミング、アク
セントのいずれか１つあるいは任意の複数個からなるパ
ラメタを検出したりなどするものである。

【００１１】処理装置３は、インタフェース２から通知
されたパラメタに追従して音声および／または画像を再
生させたりなどするものである。再生／記録装置４は、
処理装置３からの音声および／または画像の再生の指示
に対応して、音声および／または画像をディスプレイ５
に表示したり、スピーカ６から再生したり、記録したり
などするものである。

【００１２】ディスプレイ５は、画像を表示するもので
ある。スピーカ６は、音声を再生するものである。音声
格納部７は、例えば既存の音楽をＭＩＤＩのフォーマッ
トの形で格納しているものである。また画像格納部８
は、例えばオーケストラの演奏風景画像やアニメーショ
ン画像などを格納しているものである。

【００１３】次に、動作を説明する。インタフェース２
が入力装置１から入力された動きからテンポ、強弱（音
の大小指示）、拍子のタイミングおよびアクセントなど
のパラメタを検出し、処理装置３が検出されたパラメタ
のテンポ、強弱、拍子のタイミングおよびアクセントに
追従する形で音声や画像をリアルタイムに再生／記録装
置４に与えてディスプレイ５に表示したり、スピーカ６
から再生したりするようにしている。

【００１４】この際、リアルタイムに再生して表示した
画像と一緒に再生中の音声の楽譜を表示して現在の再生
中の音声の位置に合わせて進むソングポインタを表示す
るようにしてもよい。

【００１５】なお、インタフェース２が入力装置１の動
きの繰り返し周期からテンポを検出するようにしてい
る。また、インタフェース２が入力装置１の動きの最大
振幅から強弱を検出するようにしている。

【００１６】また、インタフェース２が入力装置への動
きの起点を抽出して拍子のタイミングを与えるようにし
ている。また、インタフェース２が、入力装置１の動き
の最大速度と振幅とからアクセントを検出するようにし
ている。また、入力装置１からのブレス指示に対応し
て、ソングポインタを再開位置まで移動して再生を再開
させるようにしている。

【００１７】従って、入力装置１の動きからテンポ、強
弱、拍子のタイミング、アクセントなどのパラメタを検
出し、これらパラメタをもとに音声および／または画像
の再生をリアルタイムに追従して表情付けを実現するこ
とが可能となる。

【００１８】

【発明の実施の形態】本発明の指揮装置は、仮想のオー
ケストラを仮想の指揮棒で自在に指揮して演奏を行う音
楽演奏ツールである。本発明では、例えばマウスを指揮
棒の動きのように動かすことによって、マウスが描く軌
跡からテンポや音量などを算出し、音楽や画像に対して
それらをリアルタイムに反映することによって、音楽を
仮想的に指揮することを可能としている。本発明の特徴
的事項を任意に列挙すると次の如きものがある。

【００１９】ｉ）例えばマウスの如き入力装置の操作に
よりバーチャル指揮を行うためのソフトウェア最大の特徴は例えばマウスの如き通常データ処理装置に
用いられる入力装置を用いることによって音楽に対して
自己の持つ情感をダイレクトに指揮という形で表現する
ことができる点である。もちろん、市販されているシー
ケンサーソフトウェアを利用すれば、テンポや音量など
の音楽的な要素は変更可能である。しかし、その手法は
数値を直接入力するなど、リアルタイム性を全く欠いて
おり、音楽を体感するには全く程遠い。

【００２０】また、音楽を指揮する際にマウスを振ると
いう操作以外は一般には存在しないので、楽器や譜面の
知識などが不要であるという点で、従来のＤＴＭソフト
ウェアでは全く考慮され得なかったものである。

【００２１】ii）音楽データに標準フォーマットＭＩＤ
Ｉ採用音楽データとしてはコンピュータ音楽の世界での標準フ
ォーマットＭＩＤＩを採用した。ＷＷＷやパソコン通信
を利用すれば、クラシックからヘビーメタルまであらゆ
るジャンルの音楽を入手することができる。よって、音
源ソースに事欠くことは全くない。また指揮した音楽の
データはＭＩＤＩのフォーマットで保存することができ
るので、自己が指揮した音楽データを世界に向けて発信
していくことも可能となる。

【００２２】iii) 例えば二種類の指揮モードが選択可
能本発明の一実施例においては、コンサートモード、リハ
ーサルモードという二つの画面を持っている。

【００２３】図２はリハーサルモードの画面の一例であ
り、バイオリンパートＩとバイオリンパートIIとの個所
を枠で囲うなどの表示を行い、その枠で指示されたバイ
オリンパートからの音楽のみに対して上記テンポや強弱
などを指揮できるようにされる。

【００２４】図３はコンサートモードの画面の一例であ
り、コンサートに対応する画面が表示され、全体に対す
る指揮ができるようにされる。どちらの画面でも指揮と
いう観点では同等の動作をするが、指揮の楽しみ方とい
う点において異なった趣向を凝らしている。

【００２５】図２および図３において、画面上にタクト
を持った手首の図柄が表示されているが、当該図柄は例
えばマウスなどの入力手段を、演奏を指揮するように移
動させた際に、図面上で同様な動きが生じ、あたかも当
該図柄が指揮をしているように見える。

【００２６】リハーサルモードは、オーケストラの訓練
を模し、オーケストラから各パートを指定して個々の強
弱を設定したり、各所のテンポをあらかじめ設定してい
くことができる。このモードでは自在な音楽表現ができ
るように、指揮に対する追従性が高くなっている。

【００２７】コンサートモードでは音楽に同期したアニ
メーション画像や静止画（例えばオーケストラの演奏風
景）を表示できる。このモードは、いわば一曲通しての
演奏を楽しみながら行うもので、画面を例えば５分程度
の期間で切換えたりして指揮に対する追従性は若干弱め
に設定されている。

【００２８】図４は、本発明の動作説明フローチャート
を示す。これは、図１の構成の全体の動作を詳細に説明
するフローチャートである。図４において、ステップＳ
１においては、初期設定を行う。即ち、パラメタ（テン
ポ、強弱、拍子のタイミング、アクセントなど）を初期
設定する。

【００２９】ステップＳ２においては、データの読み込
みを行う。即ち、データとして、音のデータおよび画像
データの読み込みを行う。例えば後述する図１０のファ
イルデータの読み込みを行う。

【００３０】ステップＳ３においては、ソングポインタ
の初期設定を表示する。即ち、待機時間（ｔ１）を−１
にすることによって所定の待ち時間を与えるようにし、
かつソングポインタに先頭データを描かせる。例えば後
述する図１７のソングポインタ表示部に示すように表示
する。

【００３１】ステップＳ４においては、処理装置３が初
期画像の表示を行う。例えばアニメーション画像の表示
の例で示すと後述する図１７の中央に示す画像の初期画
像を表示するようにする。

【００３２】以上のステップＳ１からＳ４によって、デ
ィスプレイ５上には初期画像が表示されることとなる。
ステップＳ５においては、入力装置１から再生指示を入
力する。これにより、ステップＳ３において指定した待
機時間ｔ１＝−１をｔ１＝０とし、ステップＳ８に進
む。即ち、音楽の開始や拍子のタイミングを与える。

【００３３】ステップＳ６においては、必要に応じて入
力装置１からのブレス指示を入力する。これにより、ス
テップＳ７でインタフェース２がソングポインタを再開
位置まで進め、ステップＳ８に進む。

【００３４】ステップＳ８においては、処理装置３がｔ
１だけ待機する。ｔ１＝０となったとき開始される。ス
テップＳ９においては、ソングポインタの更新を行う。
これは、再生指示のときには最初の位置に、ブレス指示
のときには中断した位置にソングポインタを位置づけて
再開する。

【００３５】ステップＳ１０においては、入力装置１を
用いての指揮操作を行う。ステップＳ１１は、ステップ
Ｓ１０の指揮操作に対応してインタフェース２が動きの
パラメタ（テンポ、強弱、拍子のタイミング、アクセン
ト）を検出して更新する。

【００３６】ステップＳ１２においては、音や画像の出
力を行う。即ち、ステップＳ１１において更新されたパ
ラメタに追従するようにして音を再生し、また画像を表
示する。

【００３７】ステップＳ１３においては、次の実時間の
更新を行い、ステップＳ８に戻り、ステップＳ８、Ｓ
９、Ｓ１２、Ｓ１３を繰り返す。以上によって、初期画
面を表示した状態で、再生指示に対応してデフォルトの
パラメタ（テンポ、強弱、拍子のタイミング、アクセン
ト）に追従して音の再生や画像を表示し、指揮操作に対
応してその動きから検出したパラメタを更新し当該更新
後のパラメタでリアルタイムに音の再生や画像の表示を
追従して行う。これにより、指揮操作から検出したパラ
メタにリアルタイムに追従して音および画像を再生し表
情付けを簡単な指揮操作によって付加することが可能と
なる。

【００３８】以下、図４に示すステップＳ１０における
指揮操作について述べる。例えば、楽曲を指揮する場合
に、指揮者が行っている指示は、非常に多岐にわたるも
のであり、またその指示を受ける演奏者は、指揮者の指
示以外にも、例えばコンサートマスタの弓使いを見た
り、自分の発した音、他演奏者の音を聞き、種々なフィ
ードバックを行いつつ演奏を行っている。この複雑な系
をシミュレートすることは現時点では困難であるが、本
発明においては、オペレータが描く指揮図形、即ち指揮
棒を模したマウスカーソルの軌跡による指揮図形を、本
発明装置のシステムが解釈して楽曲を演奏する。したが
って、システムへの入力は指揮図形によって指示される
音楽要素の一部に限定されている。

【００３９】指揮者が指揮図形によって表現しているも
のは、下記のものなどがある。ｉ）楽曲のテンポ ii）拍子のタイミング iii）音量本発明では、楽曲の演奏時の感情表現に特に影響のある
テンポ、拍子のタイミング、アクセントと音量とを、軌
跡による指揮図形を解析することでリアルタイムに制御
することにしている。

【００４０】指揮図形を解釈するためには、指揮者の通
常用いる指揮図形と、その成り立ちおよび特徴について
知る必要がある。図５は二拍子、三拍子、四拍子の場合
の指揮図形の例を示す。これらの指揮図形は、幾つかの
指揮動作の組合わせによってできている。本発明では指
揮動作のそれぞれを別個に認識するのではなく、指揮動
作の共通部分を認識や抽出することで指揮図形の解析を
行っている。

【００４１】基本指揮動作では、一つの指揮動作は、指
示したいタイミング（拍の表）の半拍前（前拍の裏）か
ら起動し、拍の表のタイミングを指示した後、その拍の
表で終了する。そして次の指揮動作に入る。拍の表のタ
イミングでは、急激に速度や方向の変化が起こる場合
も、緩やかに速度が最大に達する場合もあるが、図形上
でみて最も低い位置がその指示のタイミングとされてい
る。また、起動の位置と終了の位置とは、その近傍で最
も高い位置となっている。

【００４２】この拍の表を示す点のことを、指揮法では
通常打点と呼ぶ。指揮者は打点を指示して演奏のタイミ
ングを指示し、打点間の間隔でテンポを指示している。
本発明では、指揮動作の起点や終点（二つの指揮動作の
連結点であり、拍の裏を示す）を上の打点、拍の表を示
す最下点を下の打点と呼び、これらのタイミングを検知
または予測してタイミングとテンポを制御している。

【００４３】指揮者による音量に対する指示は、指揮棒
の描く図形の大きさによって行われる。本発明では一拍
以下の反応時間で制御が行われることを目標としている
ため、個々の指揮動作の大きさから音量制御を行うこと
にする。ここで問題になるのは、指揮図形の中での指揮
動作の形や大きさは、拍によって異なることである。こ
れらを勘案した上で、音量の制御を行わないと、小節単
位で音量が周期的に不自然な変化をすることになる。

【００４４】以下、時間的に変化するマウス座標を解析
し、打点やテンポ、音量要素を抽出する方法について述
べる。Ａ．指揮と打点の決定マウスから指示される指揮を解析するための第一歩は、
マウスカーソルの描く指揮図形から打点を予測すること
である。本発明の実施態様では打点の決定に関して、マ
ウスカーソルの画面縦方向の動きだけを考慮し、画面横
方向の動きは打点の認識に用いていない。即ち、指揮動
作の基本型において、拍のタイミングは指揮棒の最下点
にあり、また拍と拍との間を１／２に分割したタイミン
グである拍の裏は指揮棒の最上点にあることから、打点
の認識を画面縦方向の動きによって解析することとして
いる。

【００４５】図６は、人間が音楽を聞きながらその曲の
ビートに合わせてマウスを規則正しく振った時のグラフ
を示す。このグラフはマウスカーソルの縦方向の動きを
時間に対してプロットしたものである。

【００４６】この図から以下のことが分かる。１）ウインドウズ（Windows ）によるマウスのイベント
ハンドリングは、２０から３０ミリ秒程度ごとに発生す
る。もちろんこれは、システム構成やジョブの状況によ
って変動するが、システムに負荷がさほどでなければ、
大凡この程度の数値となる。

【００４７】２）画面縦方向の最大値や最小値付近で
は、マウスの移動速度が最小となるので、点が密にな
る。そして、この付近では曲線の傾きが非常になだらか
になるので、５０ミリ秒程度の区間にわたって、数点が
横並びとなることがある。

【００４８】以上のことから、画面縦方向の最大最小と
なるタイミングから打点を取ると、以下のような不都合
が生じる。即ち、１）３連符と１６分音符を識別するためには１２連符の
精度が必要であるが、１２０拍／分のテンポ（行進曲程
度）でその精度は４０ミリ秒である。２０ミリ秒の誤差
を含む画面縦方向で最大や最小となるサンプリング時刻
をそのまま用いるのでは、演奏上問題が生じる。

【００４９】２）画面縦方向の最大値や最小値付近では
同じような値を持つ点が幾つか存在しているので、付近
の点を考慮に入れても画面縦方向の最大最小となる時刻
を正確に割出すことは困難である。

【００５０】このような理由から画面縦方向の最大値や
最小値となる点を直接用いてそれらを打点とすることは
十分でない。図７は図６に示すデータをもとに、マウス
カーソルの画面縦方向への速度をグラフにプロットした
ものを示す。

【００５１】この図から以下のことが分かる。１）画面縦方向の速度最大値や最小値付近では３つのサ
ンプリング点が２等辺三角形に近い形となり、中央点に
おいて鋭いピークをもつ。

【００５２】２）しかし、図示ａの如く、三角形とはな
らない点をいくつか含んでいることもある。しかもこれ
はピーク付近によくみられる。図７の場合には、グラフが鋭いピークを持っているの
で、図６のグラフのピークから打点を予測するよりも、
図７のグラフのピークから打点を推測した方が有利であ
ることは明白である。しかし、画面縦方向の速度の最大
値と最小値となる部分から打点を推測することは、ピー
ク付近で歪んでしまう点がある場合が多いので、必ずし
も十分とは言えない。

【００５３】よって、速度が０の地点から、速度が最大
または最小となる地点を含み、次の速度０となる地点ま
での平均値となる時刻から打点を推測する方法を採用し
た。つまり、マウスを振った際の速度が最大最小となる
時刻を元に打点を推測するようにしている。

【００５４】Ｂ．テンポの算出指揮によって指示される打点に同期して、音楽の演奏や
アニメーション画像の更新を行っている。このため、打
点間の時間をもとにテンポをリアルタイムに算出するよ
うにしている。

【００５５】まず、最も最近に検出した打点からテンポ
を算出するという、もっとも簡単な手法でテンポを算出
した場合に、どのようなことが起こるかみてみよう。図
８はテンポ算出のための説明図を示す。図８においては
時刻Ｔからみて最も最近の２つの打点ＴαとＴβとを用
いている。テンポとは一拍にかかる時間のことであるか
ら、時刻Ｔにおけるテンポはｔｔとなる。

【００５６】この方法でテンポを算出して、リアルタイ
ムに音楽に反映してみると、マウスによる指揮に対して
余りにも音楽のテンポが敏感に反応するので、指揮にな
らないということが分かった。このことは、人間の指揮
に対して、ある程度ルーズに反応する必要があることを
意味している。具体的には以下の用件が必要となってく
る。

【００５７】１）多少テンポにふらつきがあってもそれ
を無視して滑らかに演奏すること。２）急激なテンポの変更が発生した場合にはある程度ゆ
っくり反応すること。１）に対する解決方法は、直前の打点からだけではな
く、もっと手前の打点から現在の打点に至るまでの時間
によってテンポを計算して、これらを考慮にいれること
である。これによってテンポの安定を図ることができ
る。

【００５８】２）に対する解決方法は、以前のテンポを
考慮にいれることである。このようにすることで急激な
変化に対してゆっくりと反応するようになる。図９は過
去のテンポを考慮に入れたテンポの算出を説明する図で
ある。時刻Ｔにおけるテンポは図９に示す四種類のテン
ポｔｔ、ｂｔ、ｔｂ、ｂｂを、下のような比率で加重平
均することによって算出している。これによって、人間
の感性にもっとも近い指揮を実現している。

【００５９】ｔｔ：ｂｂ：ｔｂ：ｂｔ＝２：１：１：０．５Ｃ．ボリュームの算出指揮者が音を大きくしたいときには指揮棒を大きく動か
すように、本発明でも、マウスを大きく動かせば、その
移動距離に応じて音量が大きくなるように設計してい
る。

【００６０】ＭＩＤＩのデータでは音符ごとに最小０か
ら最大１２７までの音量が指定されている。この値にマ
ウスの移動距離から算出したオフセット値を加えること
によって、本発明装置では音量の加減をリアルタイムで
行うようにしている。このオフセット値は以下の式で与
えられる。

【００６１】

【数１】

【００６２】但し、max Ｘ、max Ｙはそれぞれ、指揮画
面自体のＸ、Ｙ方向の大きさを表している。dx、dyは打
点間で移動したマウスの距離を示している。ここでdyや
maxＹを２倍しているのは、指揮画面が縦横比１：２と
なっているための補正である。

【００６３】また、lastoffsetは直前のオフセット値で
あり、これとの平均をとることによって、急激な音量の
変化を抑制するようにしている。Ｄ．同期制御これまでに述べたように、テンポは打点ごと、つまり半
拍ごとに決定される。しかし、このように決定されたテ
ンポを打点ごとに音楽の演奏に反映していくだけでは、
演奏としても、指揮操作としても、非常に不自然なもの
となってしまう。これは、打点から打点の間にテンポが
大きく変わった場合に、指揮操作の打点が本来対応すべ
き音楽演奏の部分からずれてしまったり、その次の打点
でテンポの急激な変化が発生してしまったりするためで
ある。しかも、指揮操作の際にマウスの動きを完全に止
めたとしても、音楽の演奏は元のテンポのまま進行して
しまうのである。なぜならテンポの変更は打点ごとに発
生するが、マウスが静止している状態では決して打点を
検出することはありえないからである。

【００６４】このような点を克服するために、指揮操作
と音楽の演奏とを常に同期をとるように制御している。
そのために、指揮操作の半拍ごと、そして音楽の演奏の
半拍ごとに、どちらが何拍だけ、進んでるかのずれを常
に監視するようにしている。もし、ずれが検知された場
合には、音楽の演奏速度をその場で調整することによっ
て、そのずれをすぐに補正している。具体的には表１の
ような補正を行うことで、指揮操作と音楽の演奏の完全
な同期を図っている。

【００６５】なお表示対象となる画像については、一連
の画像群が１つ１つの単位となって用意されており、当
該１つ１つの単位となる所の一連の画像群のスタート点
が上記音楽の演奏中の主要なタイミングと同期をとるよ
うにされている。そして必要に応じて演奏のテンポに対
応づけられた速度で上記一連の画像が逐次表示されてゆ
く。

【００６６】

【表１】

【００６７】図１０は、本発明においてファイルデータ
が譜面とどのように対応するかを表す図である。図１０
の上部に示す譜面が存在しているとするとき、本発明で
用意されるファイルデータは、図１０の下部に示される
如きものとなる。即ち、最初に４／４拍子であることが
指示され、次いでハ長調、テンポ、強弱変更、が指示さ
れる。そして、ミの音とソの音とが一緒にオンされるこ
とを指示するように差分時刻（チック）を同じ値として
ＮＯＴＥＯＮ（ミ音用）とＮＯＴＥＯＮ（ソ音用）とが
記述される。次いで強弱変更が記述され、所定の時間を
へてミの音とソの音とを一緒にオフすることを指示する
ＮＯＴＥＯＦＦ（ミ音用）とＮＯＴＥＯＦＦ（ソ音用）
とが記述され、あわせて同時刻にドの音をオンすること
を指示するＮＯＴＥＯＮ（ド音用）が記述される。そし
て、強弱変更がなければ当該「強弱変更」を記述するこ
となく、所定時間経過時にドの音をオフするためのＮＯ
ＴＥＯＦＦ（ド音用）が記述された後に、「おわり」が
記述されることになる。

【００６８】図１１は、本発明での装置内部で用いられ
る内部データを表し、図１０に記述されているファイル
データが変換された結果を示している。本発明の実施例
態様においては、図１１に示される内部データを利用し
て演奏が行われるが、その間に上述の如くマウスの如き
入力手段によって描かれる図形に対応した指揮にしたが
って演奏されてゆくことになる。以下、この状況を説明
する。

【００６９】なお、図１０においては、差分時刻が
「０」の状態の下で、「４／４拍子」、「ハ長調」、
「テンポ１２０．０」、「強弱変更１２７（最
大）」、「ＮＯＴＥＯＮ８８（ベロシティ）」、「Ｎ
ＯＴＥＯＮ８８（ベロシティ）」が指示される。そし
て２４０チック経過時に、「強弱変更６３」、「ＮＯ
ＴＥＯＦＦ０（ベロシティ）」、「ＮＯＴＥＯＦＦ
０（ベロシティ）」、「ＮＯＴＥＯＮ８８（ベロシテ
ィ）」が指示され、その時点から９６０チック経過時に
「ＮＯＴＥＯＦＦ０（ベロシティ）」、「おわり」が
指示される。図１０の右方と下方とに示している（注）
は図１０を理解し易くするための説明である。

【００７０】図１０においては時間経過が差分時刻で示
されているのに対して、図１１においては時刻「０」か
らの経過時間（現在時間と記述している）をもって時間
経過が示されている。

【００７１】図１１において、先頭に「ビートデータ」
が挿入されると共に、要所要所に「ビートデータ」が挿
入されつつ、かつ図１０に示される差分時刻を現在時間
に変換しつつ、図１０からコピーされる。

【００７２】即ち、「ビートデータ」を挿入した上で、
現在時刻「０」の下で「４／４拍子」、「ハ長調」、
「テンポ１２０．０」、「強弱変更１２７（最
大）」、「ＮＯＴＥＯＮ８８（ベロシティ）」、「Ｎ
ＯＴＥＯＮ８８（ベロシティ）」がコピーされる。次
に、図１０に示す右方の（注）におけるNo. （７）の差
分時刻とNo. （６）の差分時刻との差を計算して「現在
時刻」の値とした上で「ビートデータ」が挿入される。

【００７３】図１１における右方の（注）は、図１０に
示されるものとの関連を説明しているものである。この
（注）からも判る如く、以下、現在時刻「４８０」の下
で、図示の「ＮＯＴＥＯＦＦ０（ベロシティ）」、
「ＮＯＴＥＯＦＦ０（ベロシティ）」、「ＮＯＴＥＯ
Ｎ８８（ベロシティ）」が得られる。次いで必要な
「ビートデータ」が挿入され、現在時刻「１４４０」の
下で「ＮＯＴＥＯＦＦ０（ベロシティ）」、「おわ
り」が得られている。

【００７４】図１２は、本発明におけるデータの読み込
みについてのフローチャートを示している。即ち、図１
０に示すファイルデータにもとづいて、図１１に示す内
部データに変換を行う処理のためのフローチャートを示
している。

【００７５】図１２において、ステップＳ２１は、現在
時刻Ｔを０に設定する。ステップＳ２２は、ＭＩＤＩフ
ァイルデータを読み込む、これは、ＭＩＤＩのファイル
データとして、例えば上記図１０に示す如きファイルデ
ータを読み込む。

【００７６】ステップＳ２３は、先頭にビートデータを
挿入する。これは、ステップＳ２２で読み込んだ例えば
図１０のファイルデータについて、内部データに変換す
るに先立ち、変換後の内部データの先頭にビートデータ
を図１１の先頭に挿入する。なお、ビートデータは、後
述する図１３に示すようなデータを持つものである。

【００７７】ステップＳ２４は、ＭＩＤＩファイルデー
タの先頭から１行取り出す。これは、ステップＳ２２で
取り込んだ変換元のファイルデータ、例えば図１０のフ
ァイルデータの先頭から１行取り出す。

【００７８】ステップＳ２５は、データがあるか判別す
る。ＹＥＳの場合には、ステップＳ２６に進む。ＮＯの
場合には、ステップＳ２２で取り込んだＭＩＤＩファイ
ルデータの内部データへの変換が終了したので、終わる
（エンド）。

【００７９】ステップＳ２６は、種別とデータとをコピ
ーし、現在時刻Ｔを格納する。これは、ステップＳ２４
で取り出した変換前のファイルデータ、例えば図１０の
先頭の１行のファイルデータ

【００８０】

【表２】

【００８１】を、変換後の図１１の２行目にコピーし、
現在時刻Ｔ＝０を格納する。ステップＳ２７は、次の現
在時刻Ｔ１を差分時刻から下式のように計算する。Ｔ１＝Ｔ＋差分時刻ステップＳ２８は、現在時刻に８分音符の長さΔＴを下
式のように足す。

【００８２】Ｔ＝Ｔ＋ΔＴステップＳ２９は、ＴがＴ１以下か否かを判別する。Ｎ
Ｏの場合には、ステップＳ３１でＴにＴ１を代入し、ス
テップＳ２４以降を繰り返す。ＹＥＳの場合には、現在
時刻Ｔに８分音符の長さΔＴを足した後の時刻Ｔが次の
現在時刻Ｔ１以下と判明したので、ステップＳ３０でビ
ートデータを時刻Ｔに挿入する。

【００８３】上記の処理によって図１０に示す「４／４
拍子」、「ハ長調」、「テンポ」、「強弱変更」、「Ｎ
ＯＴＥＯＮ」、「ＮＯＴＥＯＮ」までがコピーされる。
次の「強弱変更６３」の処理がステップＳ２６にきた
とする。この場合はステップＳ２７において、Ｔ₁＝０＋２４０＝２４０が計算され、ステップＳ２８においてＴ＝Ｔ＋ΔＴが得られるＴ≦Ｔ₁ であることから、ステップＳ３０に進むことになる。即
ち、図１１に示す如くビートデータが挿入される。その
後、必要に応じて図１１に示す如くビートデータが挿入
されては図１０に示すデータが順にコピーされてゆく。

【００８４】なおここで、図１０と図１１とについて用
語について補足説明を行っておく。「差分時刻（チッ
ク）」は、各エントリの間の差分の時刻である。種別
Ｔ，Ｍ，Ｅは、下方に記載した（注）に示すように、
「テンポ」、「ＭＩＤＩデータ」、「最後のデータ」の
種別をそれぞれ表す記号である。データは、図示のよう
に、種別に対応して例えば図示のように設定されるもの
である。

【００８５】「テンポ」は音（楽譜の各音）についての
テンポを表すデータである。「強弱変更１２７（最
大）」は、音の強さの変更があることを示すものであ
り、変更後の強さが「１２７（最大）」であることを示
す。「ＮＯＴＥＯＮ８８（ベロシティ）」は、音を発
し、そのベロシティ（アクセントの強さ）が「８８」と
いうことを表すデータである。「ＮＯＴＥＯＦＦ０
（ベロシティ）」は、音の発音状態を停止し、そのベロ
シティ（アクセントの強さ）が「０」ということを表す
データである。「おわり」は、最後のデータを表すもの
である。

【００８６】「現在時刻（チック）」は、順次増大する
現在時刻である（図１０の場合には各データ間の差分時
刻を表している）。種別のＢは、ビートデータであっ
て、後述する図１３に示すデータである。他は、図１０
に記載したものをコピーしたものである。

【００８７】このように内部データは、図示のように、
現在時刻が順次増大する時刻であって、その増大はここ
では、８分音符＝２４０チックの整数倍で順次増大する
ものとして示している。

【００８８】図１３は、本発明のビートデータの内容例
を示す。ビートデータは、図示の下記の内容を設定した
ものである。「拍子の頭か」は画像選択に利用されるフ
ラグ、「小節の頭か」は画像選択に利用されるフラグ、
「フェルマータフラグ」はオンのときに音声をのばすこ
とを指示するフラグ、「ブレスフラグ」はオンのときに
音声の中断状態から再生を再開することを指示するフラ
グ、「テンポ」は音声や画像の再生のテンポ（速度）を
記述したデータである。なお当該ビートデータの内容は
本発明による指揮操作に対応して例えばマウスの描く図
形が解析されて記述されるものである。

【００８９】図１４は、本発明の再生処理フローチャー
トを示す。これは、図４に示すステップＳ９，Ｓ１２，
Ｓ１３等による詳細な再生処理フローチャートである。
図１４において、ステップＳ４１は、ソングポインタの
指すデータを取り出す。これは、例えば図１１に示す内
部データの左側に記載した「ソングポインタ」の指すデ
ータを取り出す。

【００９０】ステップＳ４２は、ステップＳ４１で取り
出したデータがビートデータか否かを判別する。ＹＥＳ
の場合には、ステップＳ４３に進む。ＮＯの場合には、
ステップ４７に進む。

【００９１】ステップＳ４３は、ステップＳ４２でビー
トデータと判明したので、更にフェルマータかあるいは
ブレスかを判別する。ＹＥＳの場合には、ステップＳ４
４で待機時間ｔ１を大きな値（例えばｔ１＝３０秒）に
して再生中断する。一方、ＮＯの場合には、ステップＳ
４５でビートデータとパラメタとに基づいて次の画像を
選択し、ステップＳ４６で画像の更新を行い、ステップ
Ｓ５３に進む。

【００９２】ステップＳ４７は、ＭＩＤＩデータか判別
する。ＹＥＳの場合には、ステップＳ４８に進む。ＮＯ
の場合にはステップＳ５３に進む。ステップＳ４８は、
ステップＳ４７のＹＥＳでＭＩＤＩデータと判明したの
で、更にＮＯＴＥＯＮ（発音開始）か否かを判別する。
ＹＥＳの場合には、ＮＯＴＥＯＮ（発音開始）と判明し
たので、ステップＳ４９でアクセントを制御するパラメ
タに基づきベロシティを変更し、ステップＳ５２で再生
装置に出力し、ステップＳ５３に進む。一方、ステップ
Ｓ４８でＮＯの場合には、ステップＳ５０で強調変更か
判別し、ＹＥＳのときにステップＳ５１でパラメタに基
づきデータを変更し、ステップＳ５２で再生装置に出力
しステップＳ５３に進み、一方ＮＯのときにはステップ
Ｓ５２で再生装置に出力しステップＳ５３に進む。

【００９３】ステップＳ５３は、次のデータがあるか判
別する。ＹＥＳの場合には、ステップＳ５４でソングポ
インタを１つすすめ、ステップＳ５５で待機時間ｔ１ｔ１＝（データの現在時刻−前のデータの現在時刻）×
テンポを算出し、終了する。一方、ステップＳ５３でＮＯの場
合には、ステップＳ５６で待機時間をクリアし、ｔ１＝
−１とし、終了する。

【００９４】以上によって、ソングポインタが指す例え
ば図１１の内部データ中のデータを取り出し、この取り
出したデータについて、ビートデータか、ビートデータ
のときは更にフェルマータあるいはブレスかを判別して
該当する処理を行う。ビートデータでない場合は、ＭＩ
ＤＩデータか判別し、ＭＩＤＩデータのときにはＮＯＴ
ＥＯＮの際にパラメタにもとづきベロシティを変更し、
ＮＯＴＥＯＮでなく強弱変更のときはパラメタにもとづ
きデータを変更して再生装置に出力する。そして、次に
データがあるときにソングポインタを１つすすめ、待機
時間ｔ１を計算して更新する。そして、最初に戻り繰り
返すことにより、入力装置の動きから検出したパラメタ
（テンポ、強弱、拍子のタイミング、アクセント）に追
従して図１１の内部データを再生し、音声および画像に
表情を付与して出力することが可能となる。

【００９５】図１５は、本発明の指揮操作によるパラメ
タの更新フローチャートを示す。図１５において、ステ
ップＳ６１は、マウスなどの入力装置を操作する。即
ち、演奏者（オペレータ）が入力装置１を操作して演奏
する。

【００９６】ステップＳ６２は、入力装置１の描く図形
の最大振幅から強弱の程度を検出する。即ち、ステップ
Ｓ６１で入力装置１を操作して演奏したことに対応し
て、当該入力装置１の動きの最大振幅から強弱を検出す
る。

【００９７】ステップＳ６３は、最大速度と振幅とから
アクセントの検出を行う。これは、ステップＳ６１で入
力装置１を操作して演奏したことに対応して、当該入力
装置１の動きの最大速度と振幅からアクセントを検出す
る。

【００９８】ステップＳ６４は、繰り返し周期からテン
ポを検出すると共に周期とのズレをルバートとして検出
する。これは、ステップＳ６１で入力装置１を操作して
演奏したことに対応して、当該入力装置１の動きの繰り
返し周期からテンポを検出し、および検出した周期との
ズレをルバートとして検出する。

【００９９】ステップＳ６５は、各パラメタを設定す
る。即ち、ステップＳ６２からステップＳ６４によって
検出した強弱、アクセント、テンポ（ルバート）を、図
１３に示すビートデータの内容として設定する。これに
より、パラメタに追従して既述した図１１の内部データ
を再生して音声および画像に表情を付与することが可能
となる。

【０１００】図１６は、本発明における上述のブレス指
示時のソングポインタを進める処理フローチャートを示
す。図１６において、ステップＳ７１は、現在のデータ
がブレスか否かを判別する。即ち、例えば既述した図１
１の内部データから取り出したビートデータ中にブレス
フラグがオンに設定されているか否かを判別する。ＹＥ
Ｓの場合には、ステップＳ７２でソングポインタを１つ
すすめ、ステップＳ７３で待機時間ｔ１を０にする。即
ち演奏を再開する。一方、ＮＯの場合には、ステップＳ
７４に進む。

【０１０１】ステップＳ７４は、ステップＳ７１のＮＯ
でデータがブレスでないと判明したので、ソングポイン
タを１つすすめ、ステップＳ７５に進む。ステップＳ７
５は、現在のデータがブレスか否かを判別する。ＹＥＳ
の場合には、ステップＳ７２に進み、既述したようにス
テップＳ７３で待機時間ｔ１を０にする。一方、ＮＯの
場合には、ステップＳ７６に進む。

【０１０２】ステップＳ７６は、ステップＳ７５のＮＯ
でデータがブレスでないと判明したので、現在のデータ
がＮＯＴＥＯＮ（アクセントを強める）か否かを判別す
る。ＹＥＳの場合には、ステップＳ７３で待機時間ｔ１
を０にして再開する。一方、ＮＯの場合には、ステップ
Ｓ７７で現在のデータを再生装置に出力する。図１７
は、本発明の場合の動画の表示例を示す。ここで、上段
のソングポインタ表示部は、現在音声の再生中の楽譜な
どを指し示すソングポインタ、および各種記号（フェル
マータ記号、ブレス記号、小節の記号など）等を表示す
る領域である。中央は、画像を表示、ここでは汽車のス
ピードをテンポに追従、スピードの変化をアクセントに
追従、汽車の煙を強弱で追従させたものである。

【０１０３】

【発明の効果】以上説明したように、本発明によれば、
入力装置１の動きからテンポ、強弱、拍子のタイミン
グ、アクセントからなるパラメタを検出しこれらパラメ
タをもとに音声および／または画像の再生をリアルタイ
ムに追従して表情付けを実現する構成を採用しているた
め、演奏者が入力装置１（例えばマウス、３次元マウス
など）を指揮棒のごとく動かして操作するのみで、この
動きからパラメタ（テンポ、強弱、拍子のタイミング、
アクセントなど）を検出してリアルタイムに音声や画像
に表情をつけて再生することができるようになった。

【図面の簡単な説明】

【図１】本発明のシステム構成図である。

【図２】リハーサルモードでの表示の例を示す図であ
る。

【図３】コンサートモードでの表示の例を示す図であ
る。

【図４】本発明の動作説明フローチャートである。

【図５】音楽を指揮操作する例を示す。

【図６】マウスカーソルの画面縦方向の動きを示す。

【図７】マウスカーソルの速度グラフを示す。

【図８】テンポを算出する説明図（従来の場合）であ
る。

【図９】テンポを算出する説明図（実施例の場合）であ
る。

【図１０】本発明のファイルデータを説明する図であ
る。

【図１１】本発明の内部データを説明する図である。

【図１２】本発明のデータの読み込みフローチャートで
ある。

【図１３】本発明のビートデータの内容例である。

【図１４】本発明の再生処理フローチャートである。

【図１５】本発明の指揮操作によるパラメタの更新フロ
ーチャートである。

【図１６】本発明のブレス指示時のソングポインタを進
める処理フローチャートである。

【図１７】本発明の場合の動画の表示例を示す。

【符号の説明】

１：入力装置２：インタフェース３：処理装置４：再生／記録装置５：ディスプレイ６：スピーカ７：音声格納部８：画像格納部

Claims

【特許請求の範囲】

【請求項１】データ処理装置から出力される音声およ
び／または画像について、当該音声および／または当該
画像の表情付けを行う指揮装置において、入力装置の描く図形の動きからテンポ、強弱、拍子のタ
イミング、アクセントのいずれか１つまたは任意の複数
個からなるパラメタを検出する手段と、検出されたパラメタのテンポ、強弱、拍子のタイミン
グ、アクセントのいずれか１つまたは任意の複数個に追
従した形で音声および／または画像をリアルタイムに再
生する手段とを備えたことを特徴とする指揮装置。
【請求項２】上記リアルタイムに再生して表示した画
像と一緒に再生中の音声の楽譜を表示して現在の再生中
の音声の位置に合わせて進むソングポインタを備えたこ
とを特徴とする請求項１記載の指揮装置。
【請求項３】上記入力装置の描く図形の動きの繰り返
し周期から上記テンポを検出することを特徴とする請求
項１あるいは請求項２記載の指揮装置。
【請求項４】上記入力装置の描く図形の動きの最大振
幅から上記強弱を検出することを特徴とする請求項１な
いし請求項３記載のいずれかの指揮装置。
【請求項５】上記入力装置の描く図形の動きの最大速
度と振幅とから上記アクセントを検出することを特徴と
する請求項１ないし請求項４記載のいずれかの指揮装
置。
【請求項６】上記入力装置の描く図形の動きの最上位
点および／または最下位点から上記拍子のタイミングを
検出することを特徴とする請求項１ないし請求項５記載
のいずれかの指揮装置。
【請求項７】上記入力装置の描く図形から得られたブ
レス指示に対応して、上記ソングポインタを再開位置ま
で移動して再生を再開させることを特徴とする請求項１
ないし請求項６記載の指揮装置。
【請求項８】上記再生対象の音声は、時刻情報と音の
発声または停止の指示情報とを少なくとも有するデジタ
ル情報単位を用いて記述されていることを特徴とする請
求項１記載の指揮装置。
【請求項９】上記再生対象の画像は一連の画像群を単
位として保持され、当該一連の画像群のスタート点が上
記再生対象の音声の流れの中での主要な音声の発生タイ
ミングと同期づけられていることを特徴とする請求項１
記載の指揮装置。