JP3117413B2 - リアルタイム・マルチメディア・アート製作装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、マルチメディア
・アート製作装置に関し、特に、映像と音楽とをコンピ
ュータ支援により同時にリアルタイムで生成するための
装置に関する。

【０００２】

【従来の技術】映像と音楽とを同時に生成することを目
的とするリアルタイム・マルチメディア・アート製作装
置は従来から数多く提案されている。たとえばエド・タ
ネンバウムが製作した作品「リコレクション」がある。
この「リコレクション」においては、人の姿をビデオカ
メラでとらえて、このビデオカメラからの撮像情報をコ
ンピュータで変容させ、スクリーンの裏側からビデオ・
プロジェクタでスクリーン上に投影する。スクリーン上
に人体のシルエットが刻々と変化するストップモーショ
ンで投影され、そのシルエットの色が虹色に変化する。
また、シルエットの変化に応じて生成される音楽もそれ
に合わせて変化する。

【０００３】このようなリアルタイム・マルチメディア
・アート製作装置としては、他に、ＭＩＴメディアラボ
（研究所）における「ｐｆｉｎｄｅｒ」を用いたシステ
ムおよびＭＩＴメディアラボの「ブラッシュ・デ・サン
バ（Brush de Samba) 」システムがある。

【０００４】

【発明が解決しようとする課題】従来のリアルタイム・
マルチメディア・アート製作装置においては、映像と音
楽とを同時に製作することが可能である。たとえば、
「リコレクション」において、人間の動きに合わせて映
像が変化しまた色および音も変化するが、その変化態様
はたとえば連続的なストップモーション画像などプログ
ラムにより定められており、その変化態様は固定的であ
る。また、この動きの変化に合わせて音も変化するが、
すなわち音楽が創作されるが、映像変化に集中して動き
を行なえば、この音楽創作がおろそかになり、逆に音の
変化に集中すれば、動きがおろそかとなり、製作映像の
水準が低下するという問題が生じる。同様、「ブラッシ
ュ・デ・サンバ」においても、サンバのリズムに合わせ
て入力パッド上でペンを動かすことにより、映像が変化
するが、作成される映像に重点を置けば、演奏がおろそ
かとなり、逆に演奏に集中すれば、作成される映像に対
して意識が集中せず、製作される映像水準が低下する。

【０００５】すなわち、従来のリアルタイム・マルチメ
ディア・アート製作装置においては、複数のメディアに
よる同時創作は可能であるが、これらの複数のメディア
を用いて同時にかつ一定水準以上の創作を行なうことが
困難であるという問題があった。すなわち、従来のリア
ルタイム・マルチメディア・アート製作装置において
は、複数のメディアが相互に関連性を有するものの、個
々のメディアの制御の独立性が強く、作成されるアート
におけるメディア間の質のバランス差が生じやすく、全
体として作品の調和をとるのが困難であるという問題が
あった。

【０００６】それゆえ、この発明の目的は、ある水準以
上の質を有する音楽および映像を同時に容易に製作する
ことのできるリアルタイム・マルチメディア・アート製
作装置を提供することである。

【０００７】この発明の他の目的は、初心者でも容易に
水準以上の作品を創造することができるリアルタイム・
マルチメディア・アート製作装置を提供することであ
る。

【０００８】この発明のさらに他の目的は、複数のメデ
ィアを用いて全体として調和がとれかつ各メディアによ
るアートが一定水準以上の質を有するマルチメディア作
品を容易に生成することのできるマルチメディア・アー
ト製作装置を提供することである。

【０００９】

【課題を解決するための手段】この発明の第１の観点に
係るリアルタイム・マルチメディア・アート製作装置
は、演奏曲のコード情報を入力して、このコード情報の
時系列的な推移状況を解析して各コードに対し使用可能
な音列を割当てる楽曲解析手段と、複数の演奏ポジショ
ンを有し、演奏者からの複数の演奏ポジションを介して
の演奏入力情報を受ける第１の演奏入力手段と、楽曲解
析手段からの各コードに対して割当てられた音列情報に
従って、各コードについて複数の演奏ポジションに対し
使用可能な音高をそれぞれ割当てる音高割当手段と、演
奏入力手段からの複数の演奏ポジションを介しての演奏
入力情報と音高割当手段の音高割当情報とに従って、音
高情報を生成しかつ該生成した音高情報を可聴音に変換
して出力する音生成手段と、演奏者を撮影した光学画像
を撮像信号に変換する撮像手段と、この撮像信号を受け
て、外部からの指示に従って、撮像された画面中の指定
された領域に対応する撮像信号中の部分撮像信号を切出
す画像抽出手段と、この部分撮像信号を原画像とし、指
定された領域の境界線を鏡像対称軸として反転複製して
鏡像画像を生成し、該生成された鏡像画像について同じ
操作を繰返して画面を充満する画像信号を生成する画像
処理手段と、この画像処理手段の出力に応じて対応の画
像を出力してスクリーン上に表示する表示手段を含む。

【００１０】画像抽出手段は、外部からの指示に従っ
て、指定された多角形領域に対応する、この撮像信号中
の部分撮像信号を切出す手段を含む。画像処理手段は、
この多角形領域の各辺について鏡像画像を繰返し生成す
る手段を含む。

【００１１】またこれに代えて、画像抽出手段は、外部
からの指示に従って、撮像画面中の指定された点を中心
としかつ指定された角度の領域に対応する撮像信号を切
出して部分撮像信号を生成する手段を含む。画像処理手
段は、この部分撮像信号を原画像として、中心点のまわ
りに所定の回転方向に従ってこの回転方向側の辺を鏡像
対称軸として順次反転複製して鏡像画像を生成する手段
を含む。

【００１２】また、好ましくは、さらに、外部からの指
示に応じて生成したグラフィック画像と画像抽出手段に
より切出された部分撮像信号とを合成し、この構成した
部分撮像信号を画像抽出手段からの部分撮像信号に変え
て画像処理手段へ与える画像合成手段を含む。

【００１３】また、音高割当手段は、各コードについて
対応の音列において同じ機能を有する音高を複数の演奏
ポジションのうちの同じ演奏ポジションへ割当てる手段
を含む。

【００１４】またこれに代えて、音高割当手段は、１つ
のコードに対し複数種類の音列の割当が可能なとき、予
め定められた規則に従って時系列コード情報の解析結果
に従って１つの種類の音列を選択し、該選択音列に含ま
れる音高各々を複数の演奏ポジションの予め定められた
演奏ポジションに割当てる手段を含む。

【００１５】また、好ましくは、さらに、演奏情報を入
力するための複数の演奏ポジションを有し、これら複数
の演奏ポジションを介して入力される演奏情報に対応す
る音高情報を生成するための少なくとも１個の第２の演
奏入力手段と、この第２の演奏入力手段からの入力音高
情報を受け、第１の演奏入力手段へ割当てる使用可能な
音列から予め定められた規則に従って第２の演奏入力手
段からの入力音高と非調和的となる音高を含む音列以外
の音列を選択するように音高割当手段の音高割当動作を
制限するための制限手段をさらに含む。

【００１６】また、好ましくは、複数の音列群各々の音
列に対し感性情報を割当てる手段と、この感性情報を入
力するための入力手段と、コードに対し複数の音列群が
割当てられたとき、この入力手段から入力された感性情
報と各音列に対して割当てられた感性情報とに従って使
用可能音列を決定する手段を含む。音高割当手段は、決
定手段により決定された使用可能音列の音高を複数の演
奏ポジションに割当てるための手段をさらに含む。

【００１７】また、これに代えて、複数の演奏ポジショ
ンを介しての演奏入力情報を入力し、対応の音高情報を
生成する第２の演奏入力手段と、感性情報入力手段をさ
らに含む。楽曲解析手段は、各々に予め定められた規則
に従って感性情報が割当てられた複数の音列群から各コ
ードに対し使用可能な音列を割当てる手段を含む。音高
割当手段は、楽曲解析手段の解析結果と第２の演奏入力
手段からの音高情報と感性情報入力手段から入力された
感性情報とに従って使用可能な音列から第２の演奏入力
手段からの音高情報と調和し、かつ入力された感性情報
に対応する感性情報を有する音列を選択して第１の演奏
入力手段の複数の演奏ポジションへ選択音列に含まれる
各音高を割当てかつ各コードに対して使用可能となる音
列の同一機能の音高を第１の演奏入力手段の複数の演奏
ポジションの同じ演奏ポジションに割当てる手段を含
む。

【００１８】また、第１の演奏入力手段は、この演奏者
の動作により複数の演奏ポジションのうちの演奏ポジシ
ョンを特定する動作認識手段を含む。

【００１９】この第１の演奏入力手段は、各々に所定の
画像処理が割当てられた複数の第２の演奏ポジションを
含み、この第１の演奏入力手段から入力された第２の演
奏ポジション特定情報に従って表示手段により表示され
た画像を、該特定された第２の演奏ポジションに割当て
られた処理態様で変化させる手段を含む。

【００２０】各コードに対し使用可能な音列を割当て、
この音列に含まれる各音高を演奏入力手段の複数の演奏
入力ポジションにそれぞれ割当てることにより、演奏者
は演奏時における音高の推移についての理論的な知識を
全く知らない場合においても常に理論的に正しい音を用
いて演奏を行なうことができる。また、各コードに対し
て使用可能な音列は、コード情報の時系列的な推移状況
の解析結果に基づいて生成されており、各コードに対し
て必要な機能を有する音を容易に用いることができ、コ
ード進行感を強く表現することも、また逆にコード進行
感を意図的にぼかす演奏も容易に実現することができ、
演奏の自由度が大幅に増加する。したがって、水準以上
の音楽を初心者でも容易に製作することができる。

【００２１】また、この演奏者が撮像した光学画像情報
を電気的な撮像信号に変換した後、この撮像信号を切出
して、部分撮像画像を作成して、万華鏡模様の画像信号
を生成することにより、演奏者の動きに応じた万華鏡模
様を容易に作成することができる。また、この万華鏡模
様は、外部からの指示に従って単位となる部分撮像領域
の大きさを指定することができ、容易にその模様を変更
することができ、水準以上の映像を容易に作成すること
ができる。

【００２２】また、演奏者は、単に演奏に合わせて動き
を行なうだけでよく、作成される映像の万華鏡模様は、
外部からの指示に従ってその単位となる部分撮像信号に
より基本的な模様が決定されており、その詳細構成が演
奏者の動きにより変更され、したがって演奏者が演奏に
従って動くことにより、演奏する音楽と調和のとれた映
像を創作することができ、容易に両者とも水準以上の質
を備える音楽および映像を同時に生成することができ
る。

【００２３】この発明の第２の観点に係るマルチメディ
ア・ア−ト製作装置は、複数のメディア情報を用いて作
品を生成するものであり、これらの複数のメディア各々
に対応して設けられ、対応のメディアによる表現のため
のメディア情報および該表現に対する条件を課すための
制御情報を入力するための情報入力手段と、各メディア
による表現に必要とされる知識を格納する知識ベース
と、情報入力手段からのメディア情報および制御情報を
受け、知識ベースの対応の知識を参照して、制御情報お
よび参照した知識に基づいて入力したメディア情報を参
照した知識で補って加工する情報加工手段と、この情報
加工手段からの加工情報に従って対応のメディアを用い
て情報を呈示する情報呈示手段を備える。

【００２４】知識ベースに、メディアを用いてアートを
作成するために必要な知識を格納する。情報加工手段
は、入力されたメディア情報をこの知識ベースの知識を
用いて加工する。したがって、利用者は、あるメディア
を使用する際にこのメディアの制御要素のすべてを制御
する必要がなく、該メディアによるアート作成時の負荷
が軽減される。情報加工手段は、知識ベースの知識に基
づき情報加工を行なうため、少ない入力情報でフルスペ
ック（すべての制御要素を含む）情報が得られたのと同
程度のアートが作成される。この結果、各メディアにつ
いて良いアートを作成するために必要とされる思考量お
よび情報入力手段の操作量が低減され、認知的過負荷
（コグニティブオーバーロード）が解消されるため、製
作者に余力ができ、複数のメディアを同時に使いこなす
ことが可能となり、メディア間のアートとの品質のばら
つきを少なくすることができ、調和がとれたマルチメデ
ィア作品を生成することができる。

【００２５】

【発明の実施の形態】

［全体の構成］図１は、この発明に従うリアルタイム・
マルチメディア・アート製作装置の全体の構成を概略的
に示すブロック図である。図１において、このリアルタ
イム・マルチメディア・アート製作装置は、複数の演奏
ポジションを有し、演奏者１がこの複数の演奏ポジショ
ンを介して入力する演奏入力情報を生成する演奏入力手
段としてのたとえばＭＩＤＩギターである携帯型楽器２
と、この携帯型楽器２からの演奏入力情報を受け、所定
の処理を施して音高情報を生成して可聴音に変換して出
力する演奏支援システム４を含む。この演奏支援システ
ム４の構成については後に詳細に説明するが、演奏者１
が演奏する楽曲に合わせて、各コード進行に従って音高
情報を携帯楽器２の演奏ポジションに割当て、演奏者１
が演奏すべき楽曲のコード進行についての理論を知らな
い場合においても、正しい演奏が行なわれるように演奏
を支援する。

【００２６】このリアルタイム・マルチメディア・アー
ト製作装置は、さらに、演奏者１を撮影し、得られた光
学画像を撮像信号に変換する撮像手段としてのビデオカ
メラ６と、このビデオカメラ６からの撮像信号を受け
て、万華鏡模様の画像信号を生成する万華鏡像生成装置
８と、この万華鏡像生成装置８からの画像情報を受け、
対応の画像をスクリーン上に表示する表示装置１０を含
む。この万華鏡像生成装置８の構成についても後に詳細
に説明するが、表示装置１０の表示画面（スクリーン）
上に万華鏡像（ＳおよびＳ′で示す）を生成する。この
万華鏡像の基本単位となる部分領域は、外部から指定す
ることができる。

【００２７】この図１に示すリアルタイム・マルチメデ
ィア・アート製作装置においては、演奏者１が、演奏支
援システム４の支援の下に携帯型楽器２を用いて演奏を
行ない、その演奏に合わせて動作することにより、表示
装置１０に生成される万華鏡像は、この演奏者１の動き
に合わせて変化する。したがって演奏者１が演奏する楽
曲に合わせて動作すれば、この表示装置１０に生成され
る万華鏡像画像は、演奏される楽曲と調和した画像とな
る。また、この演奏支援システム４は、後に詳細に説明
するが、初心者でも、容易に正しい楽曲を演奏すること
ができ、水準以上の音楽を生成することができる。ま
た、万華鏡像生成装置８も、外部から演奏者または作成
者が、ビデオカメラ６からの撮像信号の切出領域の大き
さを指定することができ、したがって、この表示装置１
０に生成される模様を容易に変更することができ、その
動きに合わせた万華鏡模様を生成することができ、水準
以上の映像を表示画面１０上に表示することができる。
したがって、映像および音楽ともに水準以上の作品を同
時にかつ容易にかつ互いに調和をもって生成することが
できる。次に各部の構成について詳細に説明する。

【００２８】［実施の形態１］まず、ビデオカメラ６、
万華鏡像生成装置８および表示装置１０で構成される電
子万華鏡装置について説明する。このビデオカメラ６で
撮影する対象としては、演奏者１の全体または一部もし
くはこの演奏者１が保持する携帯型楽器２を撮影するも
のと仮定する。

【００２９】図２は、電子万華鏡装置の処理の大きな流
れを示すフローチャートである。以下、図２を参照して
万華鏡像生成動作について説明する。

【００３０】まず、万華鏡像生成装置８に対して、外部
から鏡の配置が入力される（ステップＳ１０２）。

【００３１】続いて、万華鏡像のダイナミックな変化を
もたらすために、設定した時間間隔で鏡を移動させる
（２枚の鏡の間の角度を変化させる）場合の時間間隔や
その変化させる角度のパラメータを入力する（ステップ
Ｓ１０４）。

【００３２】続いて万華鏡像生成装置８は、与えられた
鏡の配置情報に応じて、ビデオカメラからの撮像信号の
切出しを行なう形状パラメータの計算を行なう。この計
算により、ビデオカメラ６からの撮像信号のうち、万華
鏡像を生成するために切出し（抽出）を行なう部分の形
状が設定される（ステップＳ１０６）。

【００３３】続いて、万華鏡像生成装置８は、ビデオカ
メラ６からの撮像信号から、ステップＳ１０６において
計算された画像片の形状に相当する画像信号を抽出し、
万華鏡模様の画像信号を生成する（ステップＳ１０
８）。

【００３４】図３は、図２において示した万華鏡像の生
成ステップ（ステップＳ１０８）を説明するための概念
図である。

【００３５】図３において、ビデオカメラ６により撮像
されて万華鏡像生成装置８に入力された入力画像のう
ち、外部から入力されたパラメータに基づいて、点Ｏを
中心点とし、中心角をθとする扇形形状の領域Ｓが、万
華鏡像生成装置８中において抽出される。この場合、中
心角θをなして対向する２辺は万華鏡における鏡に対応
する。

【００３６】続いて、入力画像信号から切出された領域
Ｓをもとに、以下のようにして万華鏡像の生成が行なわ
れる。すなわち、出力画像においては、まず点Ｐを中心
点として、位置０に領域Ｓから抽出された画像信号を配
置する。続いて、たとえば時計回り（図中矢印で示す）
方向に順次領域Ｓの画像情報を反転した画像情報を生成
していく。すなわち、位置０において、領域Ｓの時計軸
の回転方向側の辺を鏡像対称軸として、位置１に反転画
像Ｓ′を生成する。続いて、位置１における画像情報
Ｓ′を回転方向側の辺を鏡像対称軸として位置２にさら
に位置１における画像情報を反転した画像情報を生成す
る。

【００３７】以上のような反転および複製という処理
を、順次繰返して、１回転に相当するすべての配置に対
して画像が生成されることで、万華鏡像の生成が完了す
る。

【００３８】図３に示した例では、θ＝４５°であるの
で、このような画像は原画像を含めて合計８個生成され
ることになる。しかも、原画像が配置される位置０にお
ける画像情報をＳで表わすとき、位置１に生成される画
像情報は、この画像情報Ｓを反転した情報Ｓ′となる。
さらに、位置２に生成される画像情報は、反転処理が２
回繰返されることで、元の画像情報Ｓに復帰する。この
ような処理が順次繰返されるので、位置０〜７の各領域
に生成される画像情報は、原画像Ｓを反転した画像情報
を、交互に対応する角度だけ回転したものとなってい
る。

【００３９】すなわち、図３に示した例では、原画像Ｓ
を反転する処理と所定角度だけ中心点Ｐのまわりに回転
する処理を行なうのみで、万華鏡の模様に相当する画像
を生成することも可能である。

【００４０】以上のようにして、入力画像のうち抽出さ
れた原画像Ｓに対して、反転および複製という処理を繰
返すのみで万華鏡模様を容易に生成することが可能とな
る。

【００４１】（鏡の枚数が３枚以上である場合）以上の
説明においては、従来の万華鏡において、鏡が２枚配置
されている場合に対応する万華鏡模様の生成方法につい
て説明した。

【００４２】より一般には、複数枚の鏡を用いて、多角
形柱状の形状で、内側に反射面を有する万華鏡により生
成される万華鏡像も存在する。

【００４３】図４は、３枚の鏡を底面を正三角形とする
三角形柱状に配置した場合に生成される万華鏡像を示す
概念図である。

【００４４】図４において、太線で囲んだ正三角形が原
画像（０で表わす）であり、各鏡Ａ，ＢおよびＣによっ
て原画像０が反射されることにより生成される鏡像を１
で表わす。以下同様にして、１で表わされた鏡像が各鏡
Ａ〜Ｃにより反射されることにより生成される鏡像を２
というふうに、何回反射を行なって生成された反射パタ
ーンであるかを反射回数に対応する数値で表現すること
にする。

【００４５】図４に示すように、現実の万華鏡像におい
ては、図中点線で示すように鏡の境界（三角形柱の綾に
対応する）と、一点破線で表わされるその境界の反射パ
ターンが存在する。

【００４６】以下に説明するように、この点線および一
点破線を境界として、各パターンが形成される反射のパ
ス（経路）が異なる。以下その概要について簡単に説明
する。

【００４７】図５は、反射により生成されたパターンの
うち、上記鏡の境界およびその反射パターンと交差しな
いパターン（図中４ｐで表わす）について、原画像０か
らの反射のパスを示す図である。

【００４８】すなわち、図５に示すように、原画像０が
鏡Ａにより反射されることで、１回目の反射パターン１
ｐが生成され、反射パターン１ｐが鏡Ｃにより反射され
ることで、２回目の反射パターン２ｐが生成される。こ
の反射パターン２ｐが鏡Ｂにより反射されることで、３
回目の反射パターン３ｐが生成され、この反射パターン
３ｐが鏡Ａにより反射されることで当該反射パターン４
ｐが生成される。

【００４９】図６は、反射パターンが、鏡の境界線上に
存在する場合の反射のパスを示す図である。

【００５０】図６においては、この鏡の境界を境とし
て、２つのパスにより生成された反射像をそれぞれ３ｑ
および３ｒで表わしている。

【００５１】まず反射パターン３ｑについて考えると、
原画像０が鏡Ｂにより反射されることで反射パターン１
ｑが生成され、この反射パターン１ｑが鏡Ａで反射され
ることで、反射パターン２ｑが生成される。さらに、こ
の反射パターン２ｑが鏡Ｂにより反射されることで、反
射パターン３ｑが生成される。

【００５２】これに対して、原画像０が、鏡Ａで反射さ
れることで生成された反射パターン１ｒが、鏡Ｂで反射
され、反射パターン２ｒが生成されて、この反射パター
ン２ｒが鏡Ａで再び反射されることで、反射パターン３
ｒが生成される。

【００５３】したがって、以上のような三角形柱形状の
万華鏡により生成される万華鏡像を電子的に生成する場
合においても、現実の光学像の反射を以上説明したとお
りに忠実に再現することも可能である。

【００５４】しかしながら、以上のような生成方法で
は、計算が複雑となりその生成速度が遅くなるため、た
とえばリアルタイムで万華鏡像を生成することには適さ
ない。

【００５５】そこで、再び図４に戻ると、このような万
華鏡像を生成するには、鏡の境界およびその反射パター
ンを意識することなく、以下のような手順でパターンを
生成すれば同様な万華鏡像を生成することが可能であ
る。

【００５６】すなわち、原画像０に対して、それを囲む
正三角形の各辺を対称軸として、反転および複製するこ
とにより反射パターン１を生成する。続いて、反射パタ
ーン１を囲む各辺を反射対称軸として、パターンを反転
および複写することで、反射パターン２を生成する。こ
のとき、反射パターン１の１辺は、原画像０と接してい
るため、原画像０と重なるように生成される反転像につ
いては、原画像０の方を優先して表示する構成とする。
あるいは、原画像０が存在する領域に対しては、反転お
よび複製を行なわないという規則により２番目の反射パ
ターンを生成することもできる。

【００５７】続いて、この２番目の反射パターンについ
て、それを囲む各辺を対称軸としてパターンの反転およ
び複製を行なうことで３番目の反射パターンを生成す
る。このとき、上述のとおり、反射パターンの反射回数
の少ないパターンに重なる反転パターンが生じた場合
は、反射回数の少ないパターンを優先的に表示すること
とするか、あるいはこのような反射回数のより少ないパ
ターンが存在する領域には反転および複製を行なわない
こととすることで、第３番目の反射パターンを生成する
ことができる。

【００５８】以下、全く同様の手続を順次繰返すこと
で、画面全体が埋め尽くされるまで、反射パターンの生
成を繰返す。これにより、原画像パターンの反転処理お
よび複製処理を繰返すのみで、万華鏡パターンと同等の
パターンを生成することが可能である。

【００５９】図７は、鏡の枚数が４枚の場合のパターン
生成を示す概念図である。現実の４面の鏡を有する万華
鏡においては、図中点線および一点破線で示したような
鏡の境界およびその反射パターンが存在する。しかしな
がら、上述した３面の万華鏡パターンの場合と同様に、
このような境界パターンが存在する領域についても、単
純に原画像０を反転および複製することで同等な万華鏡
パターンを生成することが可能である。

【００６０】すなわち、図７の場合においても、図４の
場合と同様に、原画像０を囲む４辺を各々対称軸とし
て、原画像の反転および複製を行なうことで、１番目の
反射パターン１を生成する。続いて、この反射パターン
１について、それを囲む４辺の各々を対称軸として、反
射および複製を行なうことで、２番目の反射パターンを
生成する。このとき、反転および複写をすることで、よ
り反射回数の少ない反射パターンと重なる場合は、反射
回数の少ない反射パターンを優先的に表示するか、この
ような領域に対しては、反転および複製を行なわないこ
ととして、順次以上の手続を繰返す。

【００６１】画面全体が以上のようにして生成された反
転複製パターンで埋め尽くされると、これが、万華鏡像
に対応するパターンとなる。

【００６２】図８は、以上説明したような万華鏡像生成
のフローを示すフローチャートである。以下、図８を参
照して万華鏡像生成処理について説明する。

【００６３】まず、万華鏡像生成装置８に、ビデオカメ
ラ６により撮像された画像信号が入力される（ステップ
Ｓ２０２）。

【００６４】続いて、画像信号から、原画像となる画像
片の形状に対するパラメータが入力される（ステップＳ
２０４）。

【００６５】続いて、入力された画像片形状に基づい
て、初期画像片の切出しが行なわれる（ステップＳ２０
６）。

【００６６】続いて、画像片の複製が行なわれ（ステッ
プＳ２０８）、さらに対称軸について反転した形状とな
るようにパターンの反転および回転が行なわれる（ステ
ップＳ２１０）。

【００６７】続いて、空間全体の充満が完了したか否か
の判断が行なわれ（ステップＳ２１２）、万華鏡像生成
装置８は、空間全体の充満が完了したと判断すると、対
応する画像信号を表示装置１０に出力する（ステップＳ
２１４）。

【００６８】一方、万華鏡像生成装置８は、空間の充満
が完了していないと判断すると（ステップＳ２１２）、
ステップＳ２０８に処理を復帰する。

【００６９】以上のようにして、画面全体が反射パター
ンで埋め尽くされるまで原画像（初期画像）の反転複製
が繰返される。

【００７０】以上説明した場合は、正三角形形状または
正方形形状の原画像を元にしたため、これにより２次元
の空間を重なりなく埋め尽くすことが可能であった。た
だし、２次元の空間を埋め尽くすことが可能な形状とし
てはこれらに限定されることなく、他の形状、たとえば
直角三角形等も挙げることができる。

【００７１】しかしながら、原画像の形状がより一般的
な形状の場合は、原画像の反転および複製のみでは重な
りなく、２次元空間のすべてを埋め尽くすことが困難な
場合がある。

【００７２】図９は、このような場合を示す図である。
図９においては、原画像として一般的な三角形形状を用
いた場合を示している。この場合、原画像０をその各辺
について反転複製した反射パターン１をさらにその各辺
について反転複製したパターン２を生成した場合、各パ
ターン同士に重なりが生じてしまう。

【００７３】なお、図９中において、点線は鏡の境界を
示している。したがって、上記のような場合、このよう
な重なりの生じたパターンについてどのような処理を行
なうかが問題となる。

【００７４】図１０は、処理の方法として、現実に鏡に
よる反射に対して、なるべく忠実な処理を演算処理によ
り行なった場合を示している。

【００７５】図１０においては、そのパターンを計算す
るにあたり、以下の３つの原則を用いている。

【００７６】（１） 映り込みパターンは鏡の境界を越
えることがない。 （２） 反射回数の大きな番号のパターンは、反射回数
の小さいパターンに覆い被さることはない。

【００７７】（３） 映り込みのパターンは映り込みの
境界を越えない。 しかしながら、このような処理を行なった場合、特に上
記（３）の処理において、鏡の境界の映り込みを逐一計
算してそれに応じた処理を行なうことが必要となり、計
算が複雑化する。

【００７８】したがって、よりパターンの生成を簡易化
するために、以下の２つの方法が考えられる。すなわ
ち、図８に示した回転と反転により配置のステップ（ス
テップＳ２０８）において、以下に述べるような２つの
処理のうちいずれかを行なうことで、一般的な原画像形
状に対しても、万華鏡像を生成することが可能となる。

【００７９】第１の処理の例を図１１に示す。図１１の
処理においては、処理の原則として、反射回数の少ない
反射パターンについては、反射回数の多い反射パターン
よりも上層に存在するものとして表示するという方法で
ある。

【００８０】すなわち、たとえばコンピュータグラフィ
ックスにおいては、各辺における反転演算を行なうたび
に、反転により生じたパターンに対応する番号を順次イ
ンクリメントし、そのパターンをレンダリング（描画）
における深さを表わす数値（以下、Ｚ値と呼ぶ）とする
ことに対応する。以上のような処理を行なうことで、パ
ターンの反転および複製を行なった際に、当該パターン
が生成される領域に自分自身よりも番号の大きなパター
ンが存在する場合は、当該番号の小さなパターンを再び
上書きするという手続を行なえばよい。

【００８１】すなわち、実際にはＺ値の小さいパターン
から順番に描画するように処理するので、すでに描画さ
れていたパターンのＺ値がこれから描こうとしているパ
ターンのＺ値よりも大きい場合のみ上書き処理を行な
う。このような上書き処理は、画素毎に行なう。

【００８２】このような処理は、近年のグラフィックス
処理を行なうワークステーションにおいては、一般にＺ
バッファアルゴリズムとしてハードウェア化されている
ため、非常に高速な処理を行なうことが可能である。

【００８３】ところで、以上述べたようなパターンの重
なりが生じた場合の処理は、Ｚ値が互いに異なるパター
ン間についてのものであった。

【００８４】Ｚ値が互いに等しいパターン同士に重なり
が生じる場合には、以下に述べるような方法で処理する
ことが可能である。

【００８５】つまり、パターンを描画する順番に依存し
て、重なりが生じた場合の優先度を決定する。たとえ
ば、描画の順番として、原パターンの反時計回り（ある
いは、時計回り。あらかじめ、いづれかに決めてお
く。）に辺に順序をつけ、その順番にしたがって、各辺
ごとに反転パターンを生成する。

【００８６】図１２は、このような処理を行なう際の反
射パターンの生成の様子を第２番目の反転パターンまで
を示した概念図である。なお、図１２においては、説明
を解りやすくするために、反射パターンは互いに重なら
ない場合について示している。パターンに重なりが生じ
る場合は、以下に説明する優先度に従って、上書きされ
るパターンが決定される。

【００８７】図１３は、反射パターンの生成過程を示す
ツリー図である。図１２および図１３を参照して、三角
形形状の原パターン０の各辺について、反時計まわり
に、辺Ａ、辺Ｂ、辺Ｃの順序で優先づけがされているも
のとする。ここで、各辺Ａ〜Ｃはそれぞれ鏡（反転処理
時の対称軸）に対応している。

【００８８】辺Ａを対称軸として、原パターン０を反転
させることで反射パターンＡ１が生成される。続いて、
辺ＢおよびＣをそれぞれ対称軸として、反射パターンＢ
１およびＣ１がこの順番で生成される。第１番目の各反
射パターンには、それが生成される際の対称軸となった
辺の優先度に従って、優先づけがされているものとす
る。

【００８９】したがって、第２番目の反射パターンの生
成は、反射パターンＡ１，Ｂ１，Ｃ１の順序で行なわれ
る。また、反射パターンＡ１の各辺についても、反時計
まわりに優先づけがされているものとする。つまり、反
射パターンＡ１の辺Ｂについての反射パターンＡＢ２の
方が、反射パターンＡＣ２よりも優先度が高い。反射パ
ターンＢ１およびＣ１についての第２番目の反射パター
ンについても同様である。図１３においては、このよう
にして決定される優先度を（１）〜（１０）で表わして
いる。つまり、図１３における優先づけは、各パターン
の辺についての折り返し（パターン反転）処理のツリー
構造を作った場合に、ツリーの探索を横優先ですること
にあたる。なお、たとえば、縦優先のアルゴリズムを考
えることももちろん可能である。

【００９０】一方、以上説明したように、パターンの重
なりが生じた場合に上書きを行なうのではなく、同じＺ
値のパターンのときは２つ（またはそれ以上）のパター
ンの各画素での画素値（輝度、色相等）の平均を計算し
て、重ね合せるという方法も考えられる。この時は、描
画の順序に関係ない万華鏡像が生成される。

【００９１】第２の方法としては、図１４に示したよう
な方法がある。この方法では、鏡の境界として、初期配
置から得られる鏡の境界だけを演算して生成し、その映
り込みの境界については演算を行なっていない。

【００９２】このような範囲において、各鏡の境界を越
えてはパターンを生成しないという原則により反転およ
び複製パターンを生成することで、より現実に近い万華
鏡像を生成することが可能である。

【００９３】［実施の形態２］図１５は、本発明の実施
の形態２の電子万華鏡装置の構成を示す概略ブロック図
である。

【００９４】実施の形態１の電子万華鏡装置の構成と異
なる点は、外部からの指示に応じて、グラフィック画像
を生成するグラフィック生成装置１４を備えることと、
万華鏡像生成装置１２がビデオカメラ６から受けた撮像
信号のうち初期画像片を切出した部分画像信号と、コン
ピュータグラフィックス生成装置１４から出力されるグ
ラフィック画像とを合成した上で、万華鏡像を生成する
構成となっている点である。

【００９５】その他の同一部分には同一符号を付して説
明は繰返さない。図１６は、図１５に示した万華鏡像生
成装置１２およびコンピュータグラフィックス生成装置
１４の動作を説明する概念図である。

【００９６】実施の形態１における万華鏡像生成装置８
の動作と同様に、万華鏡像生成装置１２は、ビデオカメ
ラ６から与えられた画像信号中の、指定された領域Ｓを
初期画像片として抽出する処理を行なう。一方で、コン
ピュータグラフィックス生成装置１４は適当な描画プロ
グラムを格納し、領域Ｓと同等の領域内に存在するコン
ピュータグラフィックスＧを生成する。

【００９７】万華鏡像生成装置１２には、コンピュータ
グラフィックス生成装置１４から出力されたコンピュー
タグラフィックスＧと初期画像片Ｓとの合成を行なう。
続いて、この合成された画像信号Ｓ＋Ｇを初期画像片と
して、図３において説明したのと同様の手続に従って、
万華鏡像を生成する。

【００９８】図１７は、実施の形態２の電子万華鏡装置
の動作を説明するフローチャートである。以下、図１７
を参照して、万華鏡像生成処理動作について説明する。

【００９９】万華鏡像生成装置１２に、ビデオカメラ６
により撮像された画像信号が入力される（ステップＳ４
０２）。

【０１００】続いて、万華鏡像生成装置１２は、初期画
像片に対応する画像片形状のパラメータを外部から受け
る（ステップＳ３０４）。

【０１０１】続いて、万華鏡像生成装置１２は、入力さ
れた画像片形状パラメータに応じて、撮像信号から初期
画像片に対応する画像信号の抽出（切出し）を行なう
（ステップＳ３０６）。

【０１０２】一方で、コンピュータグラフィックス生成
装置１４は、外部から与えられたデータに従って、内蔵
の描画プログラムに従ってコンピュータグラフィックス
の生成を行なう（ステップＳ３０８）。

【０１０３】続いて、コンピュータグラフィックス生成
装置１４は、外部から与えられたデータに基づいて、初
期画像片形状に対応して、コンピュータグラフィックス
画像の対応する領域の抽出（切出し）を行なう（ステッ
プＳ３１０）。

【０１０４】万華鏡像生成装置１２は、撮像信号から抽
出された初期画像片およびコンピュータグラフィックス
生成装置１４から出力されたコンピュータグラフィック
スの初期画像片を受けて、両者を合成した画像を生成す
る（ステップＳ３１２）。

【０１０５】続いて、万華鏡像生成装置１２は、合成さ
れた画像を初期画像片として、画像片の複製を行なう
（ステップＳ３１４）。

【０１０６】さらに、画像片の形状に従って、回転また
は反転を行なって画像片に対応した反射パターンの配置
を行なう（ステップＳ３１６）。

【０１０７】次に、万華鏡像生成装置１２は、画面空間
の充満が完了したかどうかの判断を行ない（ステップＳ
３１８）、充満が完了している場合は表示装置１０に対
応する画像信号を出力する（ステップＳ３２０）。

【０１０８】一方、空間充満が完了していないと判断し
た場合（ステップＳ３１８）、処理は画像片の複製を行
なうステップＳ３１４に復帰する。

【０１０９】以上のようにして、単にビデオカメラ６に
より撮影された画像情報のみならず、コンピュータグラ
フィックス生成装置１４により生成された画像信号を合
成することで、より多様な構成の万華鏡像を生成するこ
とが可能である。

【０１１０】なお、図１７に示したステップＳ３１６に
おいて、回転および反転による反射パターンの配置にお
いて、図１１または図１４により説明した処理を行なう
構成とすることで、より一般的な初期画像片形状に対し
ても万華鏡像を生成することが可能である。

【０１１１】［演奏環境の全体構成］図１８は、この発
明の演奏支援システムを用いる演奏環境の全体の構成を
概略的に示す図である。図１８に示す構成においては、
リード楽器演奏者、バッキング（伴奏）演奏者およびリ
ズム演奏者の３名の演奏者による演奏を想定する。すな
わち、図１８において、この演奏環境は、リード楽器用
としての１台の音源なしＭＩＤＩ（ミュージカル・イン
スツルメンタル・デジタル・インタフェース）楽器１０
１と、伴奏用としての１台の音源付ＭＩＤＩ楽器１０２
と、リズム用としての１台の音源付シーケンサ１０４
と、この音源なしＭＩＤＩ楽器１０１の演奏を支援する
ためのワークステーション１０３とを含む。図１８にお
いては、ＭＩＤＩ楽器１０１および１０２としては、一
例としてキーボードが示される。このキーボード１０１
および１０２の白鍵および黒鍵の演奏ポジションからの
演奏者の情報入力により、対応の音高情報が生成され
る。

【０１１２】図１に示すように、表示装置１０上に万華
鏡模様を生成するために演奏者１は演奏曲に合わせて動
く必要がある。このため、動きやすさから、楽器として
は、携帯型ＭＩＤＩギターが用いられている。しかしな
がら、楽器としては、鍵の小さなキーボードである携帯
型キーボードであれば利用可能であり、またコードと音
高との対応関係の理解を容易とするために、楽器２とし
てキーボードを用いる。以下の説明においても同様であ
る。このギターが用いられる場合においても、このギタ
ーの弦を押さえる位置がキーボードの鍵に対応するた
め、キーボードを用いた説明において、ギターの各コー
ドポジションと読替えることにより同様の議論が成り立
つ。

【０１１３】ＭＩＤＩシーケンサ１０４は、予め演奏す
る曲のベースラインおよびドラムパターンがプログラム
されており、演奏者はこのシーケンサ１０４からのリズ
ムに従って演奏を行なう。シーケンサ１０４からのタイ
ミングクロックは、ＭＩＤＩ入力ＭＩ１を介してＭＩＤ
Ｉ楽器（以下、キーボードと称す）１０１へ与えられ、
またＭＩＤＩＴＨＲＵ端子ＭＴＨを介してキーボード１
０１からキーボード１０２へこのタイミングクロックが
伝達される。

【０１１４】ワークステーション１０３へは、キーボー
ド１０１からＭＩＤＩ ＯＵＴ端子ＭＯ１を介してキー
ボード１０１からのノート（音符）情報を主とするＭＩ
ＤＩ情報（演奏ポジション操作による演奏入力情報）が
与えられ、またキーボード１０２からはＭＩＤＩ ＯＵ
Ｔ端子ＭＯ２ａから演奏入力情報が与えられる。このキ
ーボード１０２からの演奏入力情報は、ＬＩＮＥ ＯＵ
Ｔ端子ＭＯ２ｂを介して通常のオーディオ信号の形でア
ンプ／スピーカ１０６へ与えられる。キーボード１０２
は、音源を備えており、この演奏ポジションとしての白
鍵／黒鍵を操作することにより、その演奏入力情報に対
応する音高情報がアンプ／スピーカ１０６により増幅さ
れて可聴音として生成される。

【０１１５】ワークステーション１０３へは、キーボー
ド１０１からのＭＩＤＩ情報、キーボード１０２からの
ＭＩＤＩ情報、およびシーケンサ１０４からのタイミン
グクロックが与えられ、このワークステーション１０３
に含まれる演奏支援システムは、このシーケンサ１０４
からのクロックに同期して処理を進める。

【０１１６】ワークステーション１０３に搭載される演
奏支援システムは、このキーボード１０１からの演奏入
力情報を処理し、その処理結果の音高情報をサウンドモ
ジュール１０５へ与え、サウンドモジュール１０５は、
このワークステーション１０３からＭＩＤＩ ＯＵＴ端
子ＭＯ３を介して与えられる音高情報を音情報に変換し
てアンプ／スピーカ１０６へ与える。このアンプ／スピ
ーカ１０６へは、シーケンサ１０４、キーボード１０２
からの音情報も与えられており、したがってアンプ／ス
ピーカ１０６から、リズム、リード演奏およびバッキン
グ演奏に対応する音情報が同時に生成される。

【０１１７】［演奏支援システムのモジュール構成］図
１９は、図１８に示すワークステーション３に搭載され
る演奏支援システムのモジュール構成を概略的に示す図
である。図１９において、この演奏支援システム１２０
は、曲データデータベース１１０に格納された曲データ
を解析し、その解析結果に従って演奏支援を行なう。

【０１１８】曲データデータベース１１０においては、
各演奏曲それぞれについて、曲のコード進行およびテー
マのメロディが一定のフォーマットで記述された曲デー
タが格納される。この曲データデータベース１１０に格
納される曲データから、演奏すべき曲に対応する曲デー
タを選択し、演奏支援システム１２０へ与える。

【０１１９】演奏支援システム１２０は、曲データデー
タベース１１０から与えられる曲データを解析し、各コ
ードに対して使用可能な音列（スケール）を決定する自
動アナリーゼ１２２と、この自動アナリーゼ１２２から
の解析結果に従って各コードについて使用可能なスケー
ルの音高を演奏ポジションとしてのキーボード１０１の
鍵へ割当てかつキーボード１０１からの演奏入力情報を
この割当てられた音高情報に変換して出力する音高割当
部１２４と、演奏者からのスケール選択指示および／ま
たはキーボード１０２を介して与えられる伴奏者の音高
情報とに従って、各コードに対して使用することのでき
るスケールを決定するインタラクション支援部１２６を
含む。

【０１２０】音高割当部１２４は、自動アナリーゼ１２
２により与えられた解析結果に従って各コードに対して
使用可能な音列情報を格納する解析結果格納テーブル１
２４ａと、この解析結果格納テーブル１２４ａに格納さ
れた使用可能な音列に含まれる音高をキーボード１０１
の演奏ポジションに割当てる音高変換部１２４ｂを含
む。図１９においては、コードＦに対する各演奏ポジシ
ョンとしての鍵への音高割当の対応が一例として示され
る。この演奏ポジションへの音高割当については後に詳
細に説明する。

【０１２１】インタラクション支援部１２６は、各スケ
ールに対して使用可能なテンションをたとえばテーブル
形態で格納するスケール／テンション対応情報格納部１
２６ａを含む。このインタラクション支援部１２６は、
１つのコードについて使用可能なスケールが複数個存在
する場合、このキーボード１０２からの音高情報に従っ
て、伴奏者が、テンションの音高を使用する場合には、
そのテンションノートと衝突しないテンションノートを
有するスケールを選択して、音高割当部１２４の解析結
果格納テーブル１２４ａへ与える。

【０１２２】またこのインタラクション支援部１２６
は、キーボード１０１を演奏するリード演奏者からのた
とえばジョイスティックを介してのスケール選択指示に
従って複数のスケールが存在する場合対応のスケールを
選択して、解析結果格納テーブル１２４に格納された使
用可能なスケールのうちの対応のスケールを選択する。
これにより、リード演奏者の演奏に対しこのリード演奏
者の主観的特徴を反映させることができる。次に各部の
構成について説明する。

【０１２３】［自動アナリーゼ］図２０は、図１９に示
す自動アナリーゼ１２２のモジュール構成を概略的に示
す図である。図２０において、自動アナリーゼ１２２
は、曲演奏の前に曲データデータベース１１０から与え
られる曲データのコード情報を順次入力し、そのコード
情報の時系列的な推移状況を解析するコード進行解析部
１２２ａと、コード進行解析部１２２ａからのコード推
移情報に従ってルールテーブル１２２ｂを参照し、この
対応のコード情報において使用可能なスケールを決定す
るスケール決定部１２２ｃを含む。ルールテーブル１２
２ｂには、一例として、このジャズの即興演奏における
理論的知識として広く知られている「バークリー理論」
に従ったルールが格納されている。コード進行解析部１
２２ａは、このコードの推移状況に従って、その調性が
長調であるのか短調であるのか、などの文脈を解析す
る。スケール決定部１２２ｃは、このコード推移の文脈
情報をもとにしてルールテーブル１２２ｂを参照し、コ
ード情報に対して利用可能なスケールを決定する。

【０１２４】たとえば、今、コード列Ｄｍ７／Ｇ７／Ｃ
Ｍ７において、コードＤｍ７に対するスケールを決定す
ることを考える。この場合、調性はＣ長調であり、この
ような調性におけるコードＤｍ７は、ＩＩｍ７であり、
したがってコードＤｍ７に対して使用可能なスケール、
すなわち音列は、Ｄ−ｄｏｒｉａｎと決定される。も
し、Ｂ♭の調性でコードＤｍ７が使用されている場合、
このコードＤｍ７はＩＩＩ♭７のコードであるため、こ
のコードＤｍ７で使用可能なスケールはＤ−ｐｈｒｙｇ
ｉａｎと決定される。

【０１２５】したがって、このスケール決定部１２２ｃ
により決定されるスケールは、コード推移を解析してお
り、各演奏位置で使用可能な音列は、単にその時点にお
けるコードに含まれるコードトーンのみではない。たと
えば、コードＤｍ７においては、コードトーンはＤ／Ｆ
／Ａ／Ｃであり、一方、スケールＤ−ｄｏｒｉａｎの場
合には、トーンＤ／Ｅ／Ｆ／Ｇ／Ａ／Ｂ／Ｃとなり、コ
ードトーン以外のトーンも含む。これにより、即興演奏
時における演奏の自由度が拡張され、またルールテーブ
ル１２２ｂに含まれるルールに従って使用可能な音列が
決定されており、理論的に正確な音高を利用することが
できる。

【０１２６】図２１は、自動アナリーゼ１２２の具体的
解析結果を示す図である。図２１においては、ジャズの
スタンダード曲である「枯れ葉」の冒頭８小節のコード
進行および各コードに対して使用可能なスケールを示
す。図２１において８小節のコードは、Ｃｍ７／Ｆ７／
Ｂ♭Ｍ７／Ｅ♭Ｍ７／Ａｍ７♭５／Ｄ７／Ｇｍ７／Ｇ７
である。これらの各コードについて上述のようなバーク
リー理論に従って使用可能なスケールが決定される。図
２１に示すスケール決定においては、１つのコードに対
し複数の選択肢が存在するコードは、ドミナント７ｔｈ
（属７）のコードに限定される。ドミナント７ｔｈのコ
ードは、図２１においては、コードＦ７，Ｄ７およびＧ
７である。

【０１２７】コードＦ７は、前後のコード推移状況か
ら、メジャー調性であり、６種類の使用可能なスケール
が与えられる。これらの６種類のスケールは、「ｍｉｘ
ｏｌｉｄｉａｎ（ミキソリディアン）」、「ｌｙｄｉａ
ｎ ７ｔｈ（リディアン７度）」、「ｗｈｏｌｅ ｔｏ
ｎｅ（ホールトーン）」、「ｃｏｍｂｉｎａｔｉｏｎｄ
ｉｍ．（コンビネーションディミニシュド）」、「ａｌ
ｔｅｒｅｄ（オルタード）」、および「ｈｍｐ５ｄｏｗ
ｎ（ハーモニックマイナーパーファクト５度ダウン）」
である。一方、第６小節および第８小節におけるコード
Ｄ７およびＧ７に対しては、その調性がマイナーであ
り、「ｍｉｘｏｌｉｄｉａｎ」のスケールを除く５種類
のスケールが与えられる。残りのメジャー７度またはマ
イナー７度のコードに対しては１つのスケールのみが決
定される。複数のスケールが選択肢として与えられたと
きには、予め定められた規則または演奏者の指示に従っ
て１つのスケールが選択される。このスケール選択につ
いては後に説明する。

【０１２８】この図２１に示すように、コード進行を解
析し、コードの時系列的な推移を解析して、ルールテー
ブルを参照して使用可能なスケールを決定することによ
り、即興演奏時において、理論的知識が何らない場合に
おいても、常に理論的に正確な音高を用いて演奏を行な
うことができる。

【０１２９】［音高割当部のモジュール構成］図２２
は、図１９に示す音高割当部１２４のモジュール構成を
概略的に示すブロック図である。図２２において、音高
割当部１２４は、自動アナリーゼ１２２からの解析結果
を各コード情報と対応のスケール情報とをリンクして格
納する解析結果格納部１３４ａと、コード進行に合わせ
て、この解析結果格納部１３４ａに格納された各コード
に対するスケールを予め定められた規則に従って選択す
る（複数のスケールが１つのコードに対して存在すると
き）使用スケール選択部１３４ｂと、この使用スケール
選択部１３４ｂにより選択された使用スケールに含まれ
る音高をキーボード１０１の各鍵に予め定められた規則
に従って対応付けるポジション／音高対応付部１３４ｃ
と、図１８に示すキーボード１０１からの音高情報を入
力し、この入力した音高情報をポジション／音高対応付
部１３４ｃの対応付けに従って変換して音高情報を生成
する音高情報生成部１３４ｄを含む。解析結果格納部１
３４ａは、図１９に示す解析結果格納部１２４ａに対応
し、ポジション／音高対応付部１３４ｃが図１９に示す
演奏ポジション／音高対応付部１２４ｂに対応する。

【０１３０】使用スケール選択部１３４ｂは、図１８に
示すＭＩＤＩシーケンサ１０４からのタイミング信号に
従って、各小節の区切りを検出して、コード進行を監視
し、各演奏時点におけるコードおよび対応のスケールを
選択する。この使用スケール選択部１３４ｂにおける、
１つのコードに対し複数のスケールが存在するときに１
つのスケールを選択する構成については後に詳細に説明
する。

【０１３１】ポジション／音高対応付部１３４ｃは、キ
ーボード１０１の各鍵に対し各コードの同一機能を有す
る音高が常に同じ鍵に割当てられるように演奏ポジショ
ン（鍵）と音高とを対応付ける。このポジション／音高
対応付部１３４ｃによる同じ機能を有する音高を同じ鍵
に割当てる理由について以下に説明する。

【０１３２】ここで、まず「機能」という用語について
説明する。たとえばＤ−ｄｏｒｉａｎのスケールの場
合、このＤという音は、このスケールＤ−ｄｏｒｉａｎ
において根音（ルート音）という「機能」を有してい
る。以下、このスケールＤ−ｄｏｒｉａｎにおいて、Ｅ
が２度、Ｆが３度、Ｇが４度、Ａが５度、Ｂが６度、お
よびＣが７度という「機能」を有する。たとえば３度お
よび７度の音（このスケールＤ−ｄｏｒｉａｎにおいて
は音ＦおよびＣ）はコードの「色」を決定する音であ
り、音楽的機能を有している。ここで、コードの「色」
とは、短調であるのか、長調であるのか、またはドミナ
ント７ｔｈであるのかメジャー７ｔｈであるのかなどの
コードの雰囲気を示す。なお、Ｄ−ｉｏｎｉａｎのスケ
ールの場合、３度はＦ♯、７度はＣ♯となる。したがっ
て、厳密にいうと、音ＤおよびＦの間隔は短３度音程、
音ＤおよびＣの間隔は短７度音程であるのに対し、音Ｄ
およびＦ♯の間隔は長３度音程となり、また音Ｄおよび
Ｃ♯の間隔は長７度音程となる。したがって同じ３度お
よび７度の音といっても、実際の音の間隔は各スケール
により異なる。しかしながら、いずれの場合において
も、この３度および７度の位置にある音がそのコード
（Ｄｍ７であるのかＤＭ７であるのか）を決定する役割
を有している。このように、各スケールにおける「機
能」を表現する意味で「３度（ＩＩＩ）」、「７度」の
表現を行なう。当然、２度、４度および６度などもそれ
ぞれにある音楽的機能を有している。

【０１３３】この図２２に示すポジション／対応付部３
４ｃは各スケールにおいて同じ機能を有する音高をキー
ボード１の各鍵（演奏ポジション）の同じ演奏ポジショ
ンへ割当てる。たとえば図２３（Ａ）に示すように、Ｃ
−ｄｏｒｉａｎのスケールの場合、含まれる音列はＣ／
Ｄ／Ｅ♭／Ｆ／Ｇ／Ａ／Ｂ♭である。また、図２３
（Ｂ）に示すように、Ｆ−ａｌｔｅｒｅｄのスケールの
場合、それに含まれる音列は

【０１３４】

【数１】

【０１３５】である。このようなスケールは、ジャズま
たはフュージョン以外で使用されることはほとんどな
く、一般には馴染みが薄い。したがって、ジャズ初心者
に対していきなりこのようなスケールに含まれる音列の
みを与えて即興演奏を要求したとしても、実行は非常に
困難であり、演奏が速いテンポで行なわれる場合には、
この音列の変化に追従することも困難となる。

【０１３６】そこで、ポジション／音高対応付部１３４
ｃを用いて、使用可能なスケールに応じてキーボード１
０１に音の再割当を行なう。

【０１３７】図２４は、この図２２に示すポジション／
音高対応付部１３４ｃにおけるキーボード１０１の各鍵
と各スケールに含まれる音列との対応付けを示す図であ
る。図２４に示すように、ポジション／音高対応付部３
４ｃは、キーボード１０１の「ドレミファソラシド」に
それぞれ対応する白鍵Ｋａ、Ｋｂ、Ｋｃ、Ｋｄ、Ｋｅ、
Ｋｆ、Ｋｇ、…に対しそれぞれこのスケールに含まれる
ルート音（根音）、２度の音、３度の音、４度の音、５
度の音、６度の音、７度の音、…を割付ける。すなわち
白鍵に対し、ほぼ常に同じ機能を有する音が割付けられ
る。黒鍵については、各黒鍵の右隣の白鍵に割当られて
いる音の半音下の音が割当てられる。たとえば、図２４
において、黒鍵Ｋａａに対しては、白鍵Ｋｂに割当てら
れた２度の音の半音下の音が割当てられる。このポジシ
ョン／音高対応付部１３４ｃにおいては、演奏時に各コ
ードの進行に従ってコードが変化したときに同時にリア
ルタイムに対応付けが行なわれる。

【０１３８】この図２４に示すようなキーボードの鍵と
音との対応付けを行なうことにより、演奏中のどの時点
においても、演奏者がキーボード１０１において「ドレ
ミファソラシド」と白鍵Ｋａ〜Ｋｇ、…のみを弾けば、
そのときのコードに対して、使用可能なスケールに含ま
れる音が演奏される。したがって、各鍵に割当てられた
各スケールにおける機能は固定されているため、演奏者
は演奏中に弾くべきスケールを想定する必要がなくな
り、基本的に白鍵のみを使用して演奏することにより、
常に理論的にほぼ正しい音を使用して演奏を行なうこと
ができる。

【０１３９】本実施の形態においてスケール決定のため
に用いられる「バークリー理論」においては、「アボイ
ドノート」と呼ばれる音が指定されている。このアボイ
ドノートは、スケールの中に含まれるにもかかわらず使
用をできるだけ避けた方がよい（少なくともその音を長
く伸ばしたりすべきではない。）音を示す。この音を避
ける理由は、その音がその時点におけるコードの機能
（ドミナントなど）を阻害する傾向があるためである。
このようなアボイドノートは多くの場合スケールにおけ
る４度の位置に現れる。逆に、コードトーンのうち特に
３度および７度の機能を有する音はほとんどの場合、そ
の時点におけるコードの機能を強く主張するいわゆる
「コードの色」を出す音であり、これらの音を強調する
ことにより曲のコード進行感を生み出すことができる。
一方、同じコードトーンにおいても１度の音（ルート
音）は単純すぎるため、多用するとジャズらしい複雑さ
が薄れる。このジャズらしい複雑さは、９度、１１度、
および１３度のテンションノートの使用により得ること
ができる。このように、スケール内の音はそれぞれが独
自の機能を有し、１つのスケール内ではどの位置にある
音がどのような機能を有するかは予めほぼ定められてい
る。

【０１４０】したがって、図２４に示すように、各コー
ドに対し、各スケールの同じ機能を有する音はキーボー
ド１０１の同じ鍵に割当てることにより、キーボードの
各鍵に割当てられる機能をコードが変化しても一定とす
ることができ、容易に演奏を行なうことができる。すな
わち、キーボード１０１の「ドレミファソラシド」の鍵
Ｋａ〜Ｋｇには、各時点におけるスケールの音列が割当
てられており、したがってド、ミ、ソおよびシの鍵盤Ｋ
ａ、Ｋｃ、ＫｅおよびＫｇに、その時点におけるコード
トーン（１度、３度、５度、および７度の音）が割当て
られ、その他の白鍵にアボイドノートまたはテンション
ノートが割当てられる。したがって、第４度の音が割当
てられるファの鍵Ｋｄを使用する際には、あまり長く音
を出さないように注意しながらそのフレーズを「ミ」の
鍵Ｋｃまたは「シ」の鍵Ｋｇを終着目標として構成する
ことにより、コードの色を有するフレーズを容易に生み
出すことができる。

【０１４１】ジャズにおいては、スケール内の音の半音
下の音を装飾音としてしばしば用いられる。黒鍵の音
が、その右隣の白鍵の音の半音下として割当てているた
め、容易に装飾音を生成することができる。

【０１４２】以上のように、このポジション／音高対応
付部１３４ｃで、キーボード１０１の各鍵に対し同じ機
能を有する音が同じ鍵に割当てられるように対応付けを
行なうことにより、演奏者は即興演奏時におけるフレー
ズを容易に作り出すことができる。

【０１４３】図２２に示す音高情報生成部１３４ｄは、
ポジション／音高対応付部１３４ｃにより対応付けられ
た鍵と音との対応関係に基づいて、キーボード１０１か
らの音高情報（鍵操作情報）を入力し、そのキーボード
１０１からの入力された音高情報をそのときのコードの
対応の音に変換して音高情報を生成する。たとえば、キ
ーボード１からの音高情報が白鍵Ｋａの操作を示す場合
には、音高情報生成部１３４ｄは、そのときのスケール
のルート音を示す音高情報を生成する。この音高情報生
成部１３４ｄからの音高情報は図１８に示すサウンドモ
ジュールへ与えられる。

【０１４４】なお、この音高割当部において、コードの
切換部すなわち小節の区切りは、シーケンサからのタイ
ミングクロックに従って行なわれるとして説明してい
る。この場合、曲データに含まれるメロディ情報とシー
ケンサからのリズム生成基準となるクロック信号とに基
づいて、各小節の区切りが検出され、その小節の区切り
の検出に従ってコード変換すなわちスケール切換えが行
なわれるように構成されってもよい。１小節中で複数の
コードが使用される場合もある。このような場合にも対
処するには曲データに、あるコードが何拍続くのかを示
す情報を含ませる。この情報とシーケンサからのクロッ
ク信号とによりコードの切換わりは容易に検出できる。

【０１４５】［自動アナリーゼの変更例］図２５は、ア
ナリーゼ１２２の変更例の構成を示す図である。図２５
において、アナリーゼ１２２に含まれるコード進行解析
部１２２ａの要部の構成が示される。図２５において、
コード進行解析部１２２ａは、コード情報を受け、この
時系列的に配列されるコードにおけるルート音の音高
（または音程）の変化の大きさおよび変化方向を検出す
るコード変化検出部１３２ａと、このコード変化検出部
１３２ａからの変化が大きいことを示す情報に従ってコ
ード情報を参照データとしてコードテーブル１３２ｃを
検索して対応のコード情報を求め、その検索後のコード
情報で元のコード情報を置き換えるコード交換部１３２
ｂを含む。このコード交換部１３２ｂにより交換された
コード情報に従って図２０に示すコード進行解析部１２
２ａにおいて時系列的なコード情報の推移が解析されて
交換後のコードに対応するスケールが決定される。

【０１４６】図２４に示すように、キーボード１０１の
各鍵に対しては、スケールにおけるこの予め定められた
機能を有する音がそれぞれ割当てられる。この場合、ス
ケール切換わり時に音高が大きく飛ぶことが考えられ
る。たとえば、コードがＤｍ７→Ｇ７→ＣＭ７と変化す
る場合、図２４に示すドの鍵Ｋａを押している場合、実
際に出力される音は、Ｄ→Ｇ→Ｃと変化する。この音の
変化を曲の進行に応じて意識している場合または比較的
音高の上下動が激しいフレーズを演奏している場合に
は、この切換わり時の音高の飛びはあまり違和感を生じ
させない。しかしながら、音が単調に上昇または下降す
るようなフレーズを演奏するときにこのような音高の飛
びが生じると違和感が感じられ、特に、音高の上昇中に
音高が低くなったりまた逆に音が下降中にある音高が高
くなるときにこの違和感は強く感じられる。

【０１４７】コード変化検出部１３２ａは、このような
違和感を感じさせるようなスケール切換えを検出し、コ
ード交換部１３２ｂは、そのような違和感を感じさせる
音高の飛びが生じるときには、コードテーブル１３２ｃ
を参照して、違和感を小さくするコードに交換する。た
とえば、上述のようなコード進行の場合、Ｃメジャーで
のＩＩｍ７→Ｖ７→ＩＭ７というコード進行は、ジャズ
においては非常に多く出現するが、このコードＶ７の前
後で大きく音高の飛びが生じる。そこで、この変化検出
部１３２ａで音高の飛びが生じることを検出し、コード
交換部１３２ｂにおいて、図２４に示すドの鍵Ｋａに、
ＣメジャースケールでのＩＩ♭の音が来るようにスケー
ルをずらして割当てる。コードＶ７とコードＩＩ♭７
は、コードの色を出す３度および７度の音の組合せが同
じとなり、代理コードとして使用することが可能であ
る。このような交換可能なコードはコードテーブル１３
２ｃにテーブルの形で格納される。すなわち、Ｃメジャ
ースケールにおいてコード進行がＩＩｍ７→ＩＩ♭７→
ＩＭ７にコードが置き換えられる。この結果、図２４に
示すドの鍵Ｋａの音は、ＩＩ→ＩＩ♭→Ｉ（Ｄ→Ｄ♭→
Ｃ）と半音ずつ降下するだけであり、大きな音高の飛び
は生じない。

【０１４８】このコード交換が行なわれた後にコード進
行の解析を行なうことにより、各コードに対して理論的
に正しいスケールを選択することができる。

【０１４９】図２６は、図２５に示すコード変化検出部
１３２ａおよびコード交換部１３２ｂの動作を示すフロ
ー図である。以下、この図２５および図２６を参照して
コード交換動作について説明する。

【０１５０】まず、コード変化検出部１３２ａへは、対
象コードに隣接するコード情報がともに与えられ、対象
コードと隣接コードのルート音の距離の測定が行なわれ
る（ステップＳ５０１）。時間的に前のコードと対象コ
ードとの測定距離とこの対象コードと時間的に後のコー
ドとの測定距離の符号が同じであるか否かの判定が行な
われる（ステップＳ５０２）。これらの２つの測定距離
の符号が同じ場合には、音高は同じ方向に変化してお
り、コード変換は行なう必要がなく、ステップＳ５０３
においてこの対象コードが選択される。

【０１５１】一方、時間的に前後するコードと対象コー
ドの距離の符号が異なる場合、音高の飛びが生じている
可能性がある。そこで、これらの２つの測定距離の情報
がともに予め定められたしきい値よりも大きいか否かの
判定が行なわれる（ステップＳ５０４）。少なくとも一
方の距離がしきい値よりも小さい場合には、音高に飛び
は生じないと判定され、ステップＳ５０３へ戻り、対象
コードが選択される。

【０１５２】ステップＳ５０４において、２つの測定距
離がともにしきい値よりも大きいと判定されると、コー
ドテーブルから、この対象コードおよび対象コードの変
化方向を示す符号を参照データとしてコードテーブルを
検索する（ステップＳ５０５）。この符号は、時間的に
後のコードに近づくような変化方向を示す符号が選択さ
れる。このコードテーブル検索により、複数の候補コー
ドが検索される。ここで、コードテーブル１３２ｃにお
いては、対象コードおよび符号に対し、複数の候補コー
ドがテーブル形態で格納されている。これは、単に、隣
接コードがどのようなコードであるかはコード進行状況
において異なるため、すべてに対処するためにはコード
テーブル１３２ｃの規模が大きくなるためである。

【０１５３】次いで、検索された複数の候補コードから
両側のコードに対し最小距離を与えるコードを検出する
（ステップＳ５０６）。このステップＳ５０６において
は、元のコードよりも飛びの小さなコードを代理コード
として採用し、複数存在する場合には、符号および距離
を考慮して代理コードが定められる。たとえば、以下の
処理が行なわれる。複数の候補コードそれぞれのルート
音と両側のコードのルート音との距離が測定される。距
離の変化方向が同じであり、かつ距離がともにしきい値
よりも小さいコードが選択された場合にはその候補コー
ドが交換すべき代理コードとして選択される。このよう
な候補コードが複数存在する場合には、両側のコードに
対しての距離の差の小さい候補コードが代理コードとし
て選択される。

【０１５４】次いで、選択された対象コードまたは検出
された代理コードがコード情報として出力される（ステ
ップＳ５０７）。このステップＳ５０７において出力さ
れたコード情報は、次いでコード進行解析部でコードの
時系列的な進行状況が解析される。

【０１５５】次いで、すべてのコードに対する処理が行
なわれた場合には終了し、依然未処理のコードが残って
いる場合には再びステップＳ５０１へ戻る（ステップＳ
５０８）。

【０１５６】上述のように、対象コードの時間的に前後
するコードのルート音の距離を測定しその距離の符号を
見ることにより、音高の飛びが生じる可能性を判定す
る。次いで、両側コードに対して最小距離を与えかつ同
一方向に変化する距離を与える（可能な場合）コードを
代理コードとして検出することにより、音高の飛びのな
いコード進行を実現することができる。

【０１５７】なおこのコード交換は、自動アナリーゼ１
２２において行なわれずに、音高割当部１２４において
リアルタイムに実行されてもよい。すなわち、音高割当
部１２４において、各コード列に対し、この図２６に示
す処理と同様の処理を施す。対象コードに対し、代理コ
ードが用いられる場合には、この対象コードのルート音
と代理コードのルート音との距離だけ、この対象コード
に割当てられたスケールの各音を同一方向に同じ距離だ
け移動させてキーボード１０１の各鍵にシフト後の音高
を割当てる。この場合、コードの進行が音高の飛びを生
じさせないように更新されているため、仮に、理論通り
のスケールが与えられない場合においても、このスケー
ルが音高の飛びを生じさせない方向に移動させられてい
るため、特に問題は生じない。

【０１５８】［インタラクション支援部の構成］図２７
は、インタラクション支援部１２６の構成を概略的に示
す図である。図２７において、インタラクション支援部
１２６は、伴奏演奏者からのキーボード１０２を介して
与えられる音高情報を受け、演奏コード格納部１４１に
格納される現在演奏中のコード情報に従って伴奏された
音高情報がいずれのテンションノートを含むかを判別す
るテンション判別部１４０と、このテンション判別部１
４０により判別されたテンションノートに従ってテンシ
ョン／スケールテーブル１４３を参照し、使用可能な音
列すなわちスケールを識別するスケール識別部１４２
と、スケール識別部１４２で識別された使用可能なスケ
ール情報に従って、使用可能スケール格納部１４５に格
納される使用可能スケールから採用のスケールを選択
し、この選択された採用スケール情報を音高割当部へ与
えるスケール選択部１４４を含む。この図２７におい
て、破線ブロックで示す構成要素１４４および１４５
が、図２２に示す使用スケール選択部に対応する。使用
可能スケール格納部１４５へは、現在演奏中のコードに
対して使用可能なスケールが図２２に示す解析結果格納
部から読出されて格納される。

【０１５９】テンション判別部１４０は、この演奏コー
ド格納部１４１に格納された演奏コード情報に従ってル
ート音を識別し、そのルート音を基準として伴奏演奏者
から与えられる音高情報の機能を識別し、その識別した
機能に基づいて、伴奏演奏者が演奏した音高がテンショ
ンノートであるか否かおよびテンションノートである場
合どのテンションノートであるかを判別する。

【０１６０】テンション／スケールテーブル１４３に
は、図２８に示すようなスケールと各スケールに対して
使用可能なテンションノートの対応関係が格納される。
図２８において、○で示すノートが対応のスケールにお
いて使用可能なテンションノートである。通常、ジャズ
において使用されるテンションは、♯９ｔｈ（９度）、
９ｔｈ、♯９ｔｈ、♯１１ｔｈ、♭１３ｔｈ、および１
３ｔｈの６種類ある。

【０１６１】スケール識別部１４２は、このテンション
判別部１４０により判別されたテンションノート（機能
で表わされる）を参照データとしてテンション／スケー
ルテーブル１４３を検索し、使用可能なスケールを識別
する。たとえば、テンション判別部１４０において、テ
ンションノート♭９ｔｈおよび♭１３ｔｈを伴奏者が用
いていると判別された場合には、スケール識別部１４２
は、この両者のテンションノートを使用可能なテンショ
ンノートとして含むスケールａｌｔｅｒｅｄ（オルター
ド）およびｈｍｐ５ｄｏｗｎ（ハーモニック・マイナー
・パーフェクト・５度・ダウン）を選択する。２つのス
ケールが採用可能なスケールとして選択された場合に
は、このうち１つのスケールが選択される（このルール
については後に説明する）。

【０１６２】スケール選択部１４４は、このスケール識
別部１４２から与えられた採用可能スケール情報に従っ
て、使用可能スケール格納部１４５から採用スケールを
選択し、音高割当部へ与える。このスケール選択部１４
４から音高割当部へ与えられる採用スケール情報には、
ルート音情報が含まれている。

【０１６３】ジャズの演奏においては、あるコードにお
いてどのテンションノートを使用するかは演奏者にほぼ
任されており、非常に自由度が高い。したがって、複数
の演奏者がいる場合、テンションの衝突が生じるときが
ある。たとえば、演奏者の１人が９ｔｈのテンションノ
ートを使用している際に、別の演奏者が♭９ｔｈのテン
ションノートを使用している場合、このような短２度間
隔の音の重なりは極端に不調和な響きとなるため、通常
避けるべきである。この図２７に示す構成を用いること
により、伴奏演奏者がどのテンションを使用しているか
を検出し、そのテンションと衝突しないテンションを持
つスケールを採用することができ、テンションの衝突に
よる不快な不協和音の発生を防止することができる。

【０１６４】このスケール選択動作は各演奏時点におい
て伴奏演奏者の演奏音高に従ってリアルタイムに実行さ
れる。したがって、１つのコードの演奏期間（または１
小節期間）において複数回スケールの変更が行なわれる
こともある。

【０１６５】［変更例］図２９は、この不協和音発生防
止部の変更例の構成を示す図である。図２９において、
インタラクション支援部１２６は、伴奏演奏者からキー
ボード１０２を介して与えられるバッキング音高情報
を、現ルート音情報格納部１５１に格納された現在演奏
中のコードのルート音情報に基づいて演奏ポジション情
報に変換する音高／ポジション変換部１５０と、キーボ
ード１０１から与えられる演奏ポジション情報と音高／
ポジション変換部１５０から与えられる演奏ポジション
情報とを受けて、音の衝突が生じているか否かを判定す
る音衝突判定部１５２と、音衝突判定部１５２による音
衝突検出に応答して起動され、音高／ポジション変換部
１５０からの演奏ポジション情報を参照データとしてテ
ンション／スケールテーブル１４３を参照して、採用可
能スケールを識別する採用可能スケール識別部１５４
と、この採用可能スケール識別部１５４からの採用可能
スケール情報に従って、使用可能スケール格納部１４５
に格納された使用可能スケールから採用すべきスケール
を決定して、採用スケール情報を音高割当部へ与える採
用スケール決定部１５６を含む。

【０１６６】音高／ポジション変換部１５０は、現ルー
ト音情報格納部１５１に格納される現ルート音とバッキ
ング音高情報との距離を測定し、このバッキング音高を
演奏ポジション情報すなわち機能情報に変換する。音衝
突判定部１５２は、演奏ポジション情報とこの音高／ポ
ジション変換部１５０からの演奏ポジション情報の距離
が所定の条件（たとえば短２度間隔）であるか否かの判
定を行ない、そのルールが乱されたときに音の衝突が生
じていると判定する。この演奏ポジション情報およびバ
ッキング音高情報が和音の形態でそれぞれ与えられてい
るときには、各演奏ポジションについての距離の測定に
基づいて音の衝突の判定が行なわれる。

【０１６７】採用可能スケール識別部１５４は、音の衝
突が生じていると音衝突判定部１５２において判定され
たときにのみ音高／ポジション変換部１５０からの演奏
ポジション情報を参照データとして、そのバッキング音
高情報と不協和音を生じないスケールを採用可能スケー
ルとして検索する。採用スケール決定部１５６は、この
採用可能スケール識別部１５４からの採用可能スケール
情報（ルート音情報は含まれておらず、どのスケール
（音階）が用いられるかのみが示される）にしたがって
使用可能スケール格納部１４５に格納された使用可能ス
ケールを参照し、対応のスケールを採用スケールとして
決定する。この採用スケール決定部１５６からの採用ス
ケール情報には、ルート音情報が含まれている。

【０１６８】この図２９に示す構成の場合においては、
伴奏演奏者の演奏する音高とキーボード１０１を演奏す
るリード演奏者の演奏する音高との音の衝突が生じたと
きにのみスケールの変換を行なっている。音の衝突が生
じない場合には、採用スケール決定部１５６は、予め定
められた規則に従って使用可能スケール格納部１４５に
格納されたスケールを採用する。

【０１６９】［感性的音列選択部の構成］図３０は、感
性的音列選択部の構成を概略的に示す図である。この感
性的音列選択部は、感性情報入力インタフェース１６０
から与えられる感性情報に従って使用すべきスケールを
選択する。この感性的音列選択部は、インタラクション
支援部２６に含まれる。

【０１７０】感性的音列選択部は、感性情報入力インタ
フェース１６０から与えられる感性情報に従って指定さ
れた感性を判定する感性判定部１６２と、各スケールに
対し、予め定められた感性情報を記憶する感性情報デー
タベース１６１と、この感性判定部１６２からの感性情
報に従って感性情報データベース１６１を参照し、指定
された感性に対応するスケールを検索し、使用すべき候
補スケールを決定する候補スケール決定部１６４を含
む。この候補スケール決定部１６４は、感性判定部１６
２からの感性情報が、現在のスケールに対して、相対的
な感性、たとえば「より明るく」という情報を示すとき
には、現在スケール情報格納部１６３に格納される現在
採用されているスケール情報を基準として、指定された
候補スケールを決定する。したがって、たとえば「より
明るく」という感性情報が与えられたときには、この現
在のスケールに割当てられている「明るさ」を示す感性
よりもより明るい感性を与えるスケールが候補スケール
として決定される。この場合、感性判定部１６２により
判定される感性が各スケールに対し、１対１に対応して
いる場合には、この現在スケール情報格納部１６３は特
に設ける必要はない。

【０１７１】感性的音列選択部は、さらに、候補スケー
ル決定部１６４からの候補スケール情報に従って使用可
能スケール格納部１６５に格納されている現在のコード
に対して使用可能なスケールから候補スケールに対応す
るスケールを選択して使用スケール情報として音高割当
部へ与える使用スケール決定部１６６を含む。使用スケ
ール決定部１６６は、この使用可能スケール格納部１６
５に、候補スケール決定部１６４により決定されたスケ
ールが存在しない場合には、指定された感性により近い
スケールを選択して使用スケール情報を生成する。

【０１７２】図３１は、感性情報データベース１６１に
格納されるデータベースの構成の一例を示す図である。
図３１においては、６つのスケール「ｍｉｘｏｌｉｄｉ
ａｎ（ミキソリディアン）」、「ｌｙｄｉａｎ７ｔｈ
（リディアン７度）」、「ｗｈｏｌｅ ｔｏｎｅ（ホー
ルトーン）」、「ｃｏｍｂｉｎａｔｉｏｎ ｄｉｍ．
（コンビネーション・ディミニシュド）」、「ａｌｔｅ
ｒｅｄ（オルタード）」、および「ｈｍｐ５ｄｏｗｎ
（ハーモニック・マイナー・パーファクト５度ダウ
ン）」それぞれに対し、感性情報Ｓａ、Ｓｂ、Ｓｃ、Ｓ
ｄ、ＳｅおよびＳｆが与えられている。

【０１７３】図３１においては、この感性情報として、
「明るい印象」および「暗い印象」の印象の明暗に応じ
た一軸情報が一例として示される。概ね、スケールｍｉ
ｘｏｌｉｄｉａｎおよびｌｙｄｉａｎ７ｔｈは明るい印
象を与え、スケールａｌｔｅｒｅｄおよびｈｍｐ５ｄｏ
ｗｎは暗い印象を与え、スケールｗｈｏｌｅ ｔｏｎｅ
およびｃｏｍｂｉｎａｔｉｏｎ ｄｉｍｉｎｉｓｈｅｄ
は中間的（無調）な印象を与える。この一般的な印象に
従って図３１に示すように、各スケールに対し印象度を
示す感性情報を付す。

【０１７４】この図３１に示すような一軸情報の場合、
感性情報入力インタフェース６０としては、ジョイステ
ィックが用いられ、このジョイスティックの変化方向お
よび変化の割合に応じて指定された感性が特定されて、
対応のスケールが指定される。このジョイスティックの
変化方向および距離の大きさに従って択一的にスケール
が選択されてもよく、また単にこのジョイスティックの
変化方向に従って現在コードを基準として「より明る
く」または「より暗く」という感性情報が入力される構
成であってもよい。

【０１７５】また印象の明暗のような一軸のみの感性を
用いるのではなく、「しなやかさ」などの他の印象を与
える感性情報が複数個用いられてもよい。複数種類の感
性情報が用いられる場合、各感性情報それぞれについて
候補スケールが判定される。

【０１７６】図３２は、この図３０に示す感性音列選択
部の動作を示すフロー図である。以下、この図３０ない
し図３２を参照して感性情報に従った音列（スケール）
選択動作について説明する。

【０１７７】まず、演奏が始まると、感性判定部１６２
は、感性情報入力インタフェース１６０から感性情報が
入力されたか否かを判定する（ステップＳ６２０）。感
性情報入力インタフェース１６０から感性情報が入力さ
れていない場合、複数のスケールが存在する場合には、
所定の規則に従って１つのスケールが選択される（ステ
ップＳ６２１）。この所定の規則としては、コード進行
がメジャー進行の場合には、スケールｌｙｄｉａｎ７ｔ
ｈが選択され、コード進行がマイナー進行の場合には、
スケールｈｍｐ５ｄｏｗｎが選択される。このコード進
行がメジャーであるかマイナーであるかは、自動アナリ
ーゼにおける各コードに対するスケール選択時に決定さ
れる。複数のスケールが存在する場合、メジャー進行の
場合には、６つのスケールが選択され、マイナー進行の
場合には５つのスケールが選択されている。したがって
この自動アナリーゼによるスケール決定動作時に、各コ
ードに対しコード進行がメジャーであるかマイナーであ
るかを示すフラグを付けておけば、このようなマイナー
／メジャー指示フラグを見ることにより、複数のスケー
ル存在時において１つのスケールを選択することができ
る。１つのスケールしか使用可能でない場合には、１つ
のスケールが選択される。

【０１７８】感性判定部１６２は、感性情報入力インタ
フェース１６０から感性情報が入力されたと判定する
と、その指定された感性を判定する（ステップＳ６２
２）。この感性の指定は、たとえば感性情報入力インタ
フェース１６０が前述のごとくジョイスティックの場合
には、そのジョイスティックの操作処理に応じて感性が
識別される。この感性情報入力インタフェース１６０か
らの入力感性情報が相対的な感性情報を示している場合
（より明るくまたはより暗く）、候補スケール決定部１
６４は、現在スケール情報可能部１６３に格納された現
在スケールを基準として、感性情報データベース１６１
を参照し、指定された感性情報に対応するスケールを候
補スケールとして決定する（ステップＳ６２３）。この
場合、感性情報インタフェース１６０が、その感性情報
が択一的に感性を指定する場合（最も明るくなど）、候
補スケール決定部１６４は、現在スケール情報格納部１
６３を参照することなく、感性情報データベース１６１
を検索して、その指定された感性に対応するスケールを
選択する。

【０１７９】使用スケール決定部１６６は、この候補ス
ケール決定部１６４からの候補スケール情報を受ける
と、現在のコードに対して使用可能なスケールのうち対
応のスケールを検索する（ステップＳ６２４）。この使
用可能スケール格納部１６５に格納された使用可能スケ
ールにおいて、対応のスケールが存在する場合には、そ
の対応のスケールが選択される（ステップＳ６２５）。
一方、たとえばスケールｍｉｘｏｌｉｄｉａｎが現在使
用中のスケールのときに「より明るく」という感性情報
が入力された場合には対応のスケールは存在しない。こ
のような場合および使用可能スケールが１つしか存在し
ない場合には、この候補スケールに最も近いスケール
（１つしかない場合には１つのスケール）が選択される
（ステップＳ６２６）。この使用スケール決定部１６６
により選択されたスケールが対応のコードの演奏時に採
用されるスケールであるとして、音高割当部へ与えられ
る（ステップＳ６２７）。以降この処理動作が、演奏が
すべて終了するまで繰返し実行される。

【０１８０】なお、感性情報入力インタフェース１６０
としては、上述のようなジョイスティックに代えて、テ
ンキーのような専用の情報入力ボードが用いられてもよ
い。また、演奏者の演奏入力インタフェースの操作状
態、演奏者の姿勢および／または表情などの種々の情報
がスケール選択用感性情報として用いられてもよい。

【０１８１】上述のような感性情報に従ってスケールを
選択することにより、演奏者の表現したいイメージを表
現することが可能となる。

【０１８２】［インタラクション支援部の他の構成］図
３３は、この発明に従う演奏支援機能付楽器のテンショ
ン衝突防止および感性的音列処理機能を備えるインタラ
クション支援部の構成を概略的に示す図である。この図
３３に示す構成は、図３０に示す感性的音列処理部の構
成と図２９に示すテンション衝突防止処理部の構成の組
合せに相当する。これらの図面において示される構成要
素と図３３に示される構成要素と対応する部分には同一
の参照番号を付す。

【０１８３】図３３において、テンション衝突防止処理
部は、伴奏演奏者からのバッキング音高情報を受けて、
現ルート音情報格納部１５１に格納されるルート音を基
準として、このバッキング音高の演奏ポジション（機
能）を示す情報に変換する音高／ポジション変換部１５
０と、演奏者からの演奏ポジション情報と音高／ポジシ
ョン変換部１５０からの演奏ポジション情報とを受け、
その演奏ポジションの距離を判定することにより、音高
の衝突が生じているか否かを判定する音衝突判定部１５
２と、音衝突判定部１５２からの衝突検出時に起動さ
れ、テンション／スケールテーブル１４３を音高／ポジ
ション変換部１５０からの演奏ポジション情報を参照デ
ータとして検索して、採用可能スケールを検出する採用
可能スケール識別部１５４を含む。これらの部分の構成
は図２９に示す構成と同じである。

【０１８４】テンション衝突防止処理部は、さらに、こ
の採用可能スケール識別部１５４からの採用可能スケー
ル情報に従って、現コードに対して使用可能スケール情
報が格納される使用可能スケール格納部１７３へアクセ
スし、採用可能スケール以外のスケールを消去するスケ
ール更新部１７０を含む。スケール更新部１７０は、採
用可能スケール識別部１５４から採用可能スケール情報
が与えられない場合、すなわちテンションの衝突が生じ
ない場合には、使用可能スケール格納部１７３へはアク
セスしない。したがって使用可能スケール格納部１７３
に格納されたスケール情報は、テンションノートの衝突
が生じた場合にのみ書替えられる（コード変換時は別で
ある）。

【０１８５】感性的音列処理部は、感性情報入力インタ
フェース６０から与えられる感性情報を受けて、指定さ
れた感性を判定する感性判定部１６２と、感性判定部１
６２からの指定感性情報に従って感性情報データベース
１６１を検索し、現在のスケール情報を現在スケール情
報格納部１６３から読出してこの現在スケールを基準と
して候補スケールを決定する候補スケール決定部１６４
と、候補スケール決定部１６４からの候補スケール情報
に従って使用可能スケール格納部１７３へアクセスし、
対応のスケールを検出する使用スケール決定部１７５を
含む。この使用スケール決定部１７５は、図３２に示す
動作フローと同様の動作を行なう。これにより、候補ス
ケール決定部１６４からの候補スケールに対応するスケ
ールが使用可能スケール格納部１７３に格納されていな
い場合には、この候補スケールに最も近いスケールが選
択されて使用スケール情報として音高割当部へ与えられ
る。一方、感性情報入力インタフェース１６０からの感
性情報が与えられない場合には、候補スケール決定部１
６４は動作せず、何ら情報を使用スケール決定部１７５
へは与えない。この状態においては、使用スケール決定
部１７５は、現在のコードのコード進行がマイナーであ
るかメジャーであるかに従って使用可能スケール格納部
１７３から１つのスケールを選択する。コード進行がメ
ジャー進行の場合には、スケールｌｙｄｉａｎ７ｔｈが
選択され、コード進行がマイナー進行の場合には、スケ
ールｈｍｐ５ｄｏｗｎが選択される。使用可能スケール
格納部１７３のスケールがスケール更新部１７０により
更新されている場合には、その対応するスケールが存在
しない場合、使用スケール決定部１７５は、その進行コ
ードに応じて決定されたスケールに最も近いスケールを
選択する。

【０１８６】この図３３に示す構成を利用することによ
り、演奏者相互の音の衝突を回避しつつ、演奏者の感性
に応じた演奏を実現することができる。

【０１８７】［演奏入力インタフェースの変更例］図３
４は、この発明に従う演奏入力インタフェースの変更例
の構成を概略的に示す図である。図３４において、演奏
入力インタフェースは、演奏者が特定することのできる
複数の領域１７９ａ〜１７９を備える。これらの領域１
７９ａ〜１７９ｇの各々には、演奏ポジションが割当て
られ、各領域に対しルート音（ＲＯＯＴ）、２度（２ｎ
ｄ）、３度（３ｒｄ）、４度（４ｔｈ）、５度（５ｔ
ｈ）、６度（６ｔｈ）および７度（７ｔｈ）の音が割当
てられる。この領域１７９ａ〜１７９ｇを演奏者が特定
すると、その特定された領域に応じて演奏ポジションを
示す情報すなわち音の機能に対応する演奏ポジション情
報が生成される。この領域１７９ａ〜１７９ｇは、空間
的な領域であってもよく、またディスプレイ画面上の２
次元領域であってもよい。すなわち、演奏入力インタフ
ェースとしては、ギターおよびキーボードに限定され
ず、ＭＩＤＩ信号を生成することができるともに、演奏
ポジションを特定することもできるものであればよい。

【０１８８】この図３４に示す演奏ポジションを有する
演奏入力インタフェースは、また、以下の効果を実現す
る。先に図２３（Ｂ）に示したコードＦ−ａｌｔｅｒｅ
ｄは、以下のようなコードトーンを含む。

【０１８９】

【数２】

【０１９０】したがって、通常のキーボードなどの鍵盤
楽器においては「ミ」の鍵に機能「ＩＩＩ」ではなく
「♯ＩＸ」が割当てられ、「ファ」の鍵に機能「ＩＩ
Ｉ」が割当てられる。したがって、コードＦ−ａｌｔｅ
ｒｅｄの場合、機能の「各鍵への固定的割当」という特
徴が損なわれる。しかし、図３４のような構成を用いれ
ば、鍵配列の影響を受けないため全てのコードについて
演奏ポジションの厳密な機能固定を実現できる。

【０１９１】図３５は、この演奏入力インタフェースの
変更例の具体的構成を示す図である。図３５において
は、演奏入力インタフェースは、人の腕に取付けられた
磁気センサ１８０ａおよび１８０ｂと、これらの磁気セ
ンサ１８０ａおよび１８０ｂからの位置情報に従って、
空間的な領域における位置を検出する位置検出手段１８
２と、この位置検出手段１８２により検出された位置情
報を演奏ポジション情報に変換して出力する演奏ポジシ
ョン識別部１８４を含む。この磁気センサ１８０ａおよ
び１８０ｂは、たとえば人の両腕がともに限られた状態
がルート音のポジションに対応付けられ、両肘を９０°
曲げた状態が３度の演奏ポジションに、両肘を１８０°
曲げて前腕および上腕が接触した状態を７度の演奏ポジ
ションに割当てる。すなわち位置検出手段１８２は、各
磁気センサ１８０ａおよび１８０ｂの検出する位置情報
に従って人の腕の状態を示す情報を生成し、演奏ポジシ
ョン識別部１８４は、この位置検出手段１８２からの腕
の状態を示す情報に従って演奏ポジションを識別する。

【０１９２】なお、この図３５に示す構成においては、
磁気センサ１８０ａおよび１８０ｂが用いられている
が、人の腕の状態を測定するために１つの磁気センサの
みが用いられ、１つの腕の位置に従って演奏ポジション
が特定される構成が用いられてもよい。

【０１９３】この磁気センサを用いて人の腕の状態を測
定することにより、演奏者は、動作しやすくなり、演奏
する楽曲に合わせて「振付け」を自由に行なうことがで
き、表示装置により表示される画像の変化を演奏する楽
曲に合わせることができ、作成される楽曲と映像とを容
易に調和させることができる。

【０１９４】また、トランペットなどのように、吹奏楽
器を用いる場合、「バルブの組合せ＋歌口における唇お
よび吐気の強さ」の組合せが演奏ポジションに対応付け
ることができる。このトランペットを演奏入力インタフ
ェースとして用いる場合、以下の利点を得ることが考え
られる。すなわち、トランペットの場合、通常、３つの
バルブの組合せと吐気の強さによりさまざまな音高が生
成される。したがって、初心者の場合、バルブを「この
ように操作すれば音が連続的に上昇するはず」という直
観的な操作はない。したがってこのような楽器を使用す
れば、音高の連続上昇・連続下降の期待感が弱くなるた
め、音高の飛びが生じても違和感は小さくなると考えら
れる。したがってこのようなインタフェースを利用する
場合、音高の飛びを抑制するために、代理コードを使用
するという処理が不要となることが考えられる。

【０１９５】このトランペットのような吹奏楽器を用い
る場合においても、演奏者は比較的自由に身体全体を動
かすことができ、したがって演奏する楽曲に合わせて撮
像信号を変化させることができ、応じて生成される万華
鏡模様の単位画像を演奏する楽曲に合わせて変化させる
ことができ、楽曲と調和のとれた映像を生成することが
できる。

【０１９６】上述の説明においては、ジャズの即興演奏
を支援することを目的として、「バークリー理論」に従
って各コードに対する使用可能なスケールを選択してい
る。この場合、ドミナント７ｔｈのコードに対してのみ
複数のスケールが使用可能としている。しかしながら、
この場合、各コードに対し複数のスケールを使用するこ
とが可能となるように構成されてもよい。また、ジャズ
の即興演奏において別の理論が用いられてもよい。

【０１９７】さらに、ジャズの即興演奏のみならず、他
のジャンルの曲においても、コードが与えられたとき
に、使用可能な音列（スケールに限定されない）が予め
定められる場合には、本発明の構成は適用可能である。

【０１９８】［変更例２］上述の説明においては、この
演奏支援システムは、コードの推移に従って使用可能な
音列を定めて楽曲演奏を行なっている。しかしながら、
図３４に示すように演奏ポジションを演奏者の周辺の空
間に対してマッピングした場合、以下の構成をとること
もできる。すなわち、演奏者が図３５に示すような磁気
センサ（１８０ａ，１８０ｂ）を用いてこの演奏ポジシ
ョンを仮想的に「叩く」ことにより、その演奏ポジショ
ンが演奏されたものとして演奏支援システムへ演奏ポジ
ション情報が入力される。すなわち、演奏者１の周辺の
空間に目に見えない仮想ドラムセットがある状況と等価
となり、この仮想ドラムセットを叩くことが音楽演奏と
なる。これと同時に、この仮想ドラムセットを叩く動作
が身振りとしてビデオカメラ６を介して万華鏡像生成装
置へ与えられる。したがって、このようなリズム音楽を
生成する場合においても、生成される楽曲と映像とは調
和のとれたものとなり、水準の高い楽曲および映像を容
易に生成することができる。

【０１９９】［実施の形態３］図３６は、この発明の実
施の形態３に従うアート製作装置の全体の構成を概略的
に示す図である。図３６においては、演奏支援システム
４は、演奏者１からの演奏ポジション情報を入力するた
めの演奏ポジション入力インタフェース１８５と、この
演奏情報入力インタフェース１８５を介して与えられる
演奏ポジション情報に従って、演奏者が入力した演奏ポ
ジションを識別する演奏ポジション識別部１９０を含
む。この演奏ポジション入力インタフェース１８５は、
演奏すべき楽曲の音高を指定するための演奏ポジション
１７９ａ〜１７９ｇと、さらに、表示される画像を修飾
する画像修飾情報を入力するための演奏ポジション１９
０ａ〜１９０ｎを含む。

【０２００】演奏ポジション識別部１９０は、この演奏
ポジション１９０ａ〜１９０ｎを介して演奏ポジション
情報が入力されたとき、万華鏡像生成装置８と表示装置
１０の間に設けられた画像修飾装置２００に対し、その
入力された演奏ポジションを示す演奏ポジション情報を
与える。

【０２０１】画像修飾装置２００は、万華鏡像生成装置
８からの画像信号を入力し、この演奏ポジション識別部
１９０から与えられる演奏ポジション同定情報に従って
この入力した画像信号に対し画像修飾処理を行なう。こ
の画像修飾装置２００は、予め各演奏ポジションと行な
うべき画像修飾処理とが対応づけて記憶されており、入
力された画像修飾処理情報に従って対応の画像修飾処理
を行なう。

【０２０２】図３７は、この図３６に示す画像修飾装置
２００および表示装置１０の構成を概略的に示す図であ
る。図３７において、画像修飾装置２００は、演奏ポジ
ション識別部１９０から与えられる演奏ポジション情報
に従って指定された画像修飾処理に必要な動作を制御す
る制御部２００ａと、万華鏡像生成装置８からの画像信
号のＲ信号（赤色信号）を入力し、制御部２００ａの制
御の下に必要な処理を行なうＲ処理部２００ｂと、万華
鏡像生成装置８からの画像信号に含まれるＧ信号（緑色
信号）を入力し、制御部２００ａの制御の下に必要な処
理を行なうＧ処理部２００ｃと、万華鏡像生成装置８か
らの画像信号に含まれるＢ信号（青色信号）を入力し、
制御部２００ａの制御の下に必要な処理を行なうＢ処理
部２００ｄを含む。制御部２００ａは、演奏ポジション
と対応の画像修飾処理を行なうプログラムが対応づけて
格納されており、この指定された演奏ポジションに対応
するプログラムを実行する構成であってもよい。また、
これに代えて、演奏ポジション情報をデコードし、その
デコード結果に従って必要な制御信号を発生する構成で
あってもよい。

【０２０３】Ｒ処理部２００ｂ、Ｇ処理部２００ｃおよ
びＢ処理部２００ｄの各々は、与えられたＲ信号、Ｇ信
号およびＢ信号に対し、それぞれそのレベル調整などの
処理を行なう。このレベル調整は、たとえば、万華鏡像
生成装置８からの画像信号がディジタル信号であり、そ
の画像信号ビットの位置をシフトすることにより実現さ
れる。

【０２０４】表示装置１０は、この画像修飾装置２００
から与えられるＲ信号、Ｇ信号およびＢ信号を受け、所
定の順序でラスタ走査して表示スクリーン１０ｂ上に画
像信号を表示する画像表示制御装置１０ａを含む。この
画像表示制御装置１０ａは、通常の画像表示装置の制御
装置と同様であり、画像修飾装置２００から与えられる
ディジタル信号をアナログ信号に変換して、表示スクリ
ーン１０ｂがＣＲＴであるか、液晶ディスプレイである
か、または単なる映像が映し出されるスクリーンである
かに従ってそれぞれ必要な表示制御を行なって万華鏡像
画像信号を表示スクリーン１０ｂに表示する。次に動作
について簡単に説明する。

【０２０５】今、演奏者１が、その演奏ポジション情報
入力インタフェース１８５から演奏ポジション１９０ａ
を操作した場合を考える。演奏ポジション情報入力イン
タフェース１８５は、先の図３５に示すような、磁気セ
ンサおよび位置検出装置を用いて実現される。今、この
演奏ポジション１９０ａが、表示映像の赤色を強調する
処理を要求する場合を考える。このとき、画像修飾装置
２００は、制御部２００ａの制御の下にＲ処理部２００
ｂが、万華鏡像生成装置８から与えられるＲ信号のレベ
ルを高くし、Ｒ信号振幅を大きくする。このとき、Ｇ処
理部２００ｃおよびＢ処理部２００ｄにおいて、Ｇ信号
およびＢ信号のレベルが低くされる処理が併せて行なわ
れてもよい。画像表示制御装置１０ａは、その画像修飾
装置２００により修飾されて赤色が強調された画像信号
を生成して、表示スクリーン１０ｂ上に生成する。これ
により、表示スクリーン１０ｂ上には、演奏者１の要求
する映像信号が容易に生成される。

【０２０６】この画像修飾処理としては、他に、「画面
を明るくする」、「画面を暗くする」、「色を反転す
る」などがある。

【０２０７】この「画面を明るくする」および「画面を
暗くする」は、先の演奏支援システムにおいて説明した
感性情報入力と連動して発生されるように構成されても
よい。演奏する楽曲を明るくするのに応じて、表示され
る映像も応じて明るくなり、演奏する楽曲に調和した映
像を生成することができる。

【０２０８】さらに、この演奏ポジションとして、画像
修飾処理に加えて、さらに万華鏡画像の処理を特定する
情報を発生するように構成されてもよい。たとえば、万
華鏡画像信号発生時においては、鏡の数が２枚、および
３枚などの複数種類鏡の配置が示されている。この鏡の
配置を演奏ポジションに対応づけることにより、演奏す
る楽曲に合わせて、生成される万華鏡模様が大きく変化
し、演奏楽曲に応じて映像信号を容易に変更することが
できる。さらに、この万華鏡画像の単位となる部分撮像
信号の中心角度の大きさを、演奏ポジションに対応づけ
るように構成されてもよい。

【０２０９】なお、「画面を明るくする」および「画面
を暗くする」などの表示は、単に輝度信号成分Ｙのレベ
ルを調整すればよいため、Ｒ信号、Ｇ信号およびＢ信号
のすべてのレベルを同じ量だけ調整することにより容易
に実現される。

【０２１０】さらに、この演奏ポジションに対し特殊な
ビデオ効果が対応づけられてもよい。

【０２１１】［実施の形態４］図３８は、この発明の実
施の形態４に従うマルチメディア・アート製作装置の全
体の構成を概略的に示す図である。図３８において、こ
の発明の実施の形態４に従うマルチメディア・アート製
作装置は、複数のメディアそれぞれについてメディアを
用いてアートを表現するためのメディア情報およびこの
表現に対する条件を表わす制御情報を入力するための情
報入力部２１０と、各メディアそれぞれに対し、メディ
アを用いてアートを表現するのに必要とされる知識を格
納する知識ベース２１５と、情報入力部２１０からのメ
ディア情報および制御情報を受け、受けたメディア情報
および制御情報に対応するメディアの知識を知識ベース
２１５から参照し、参照した知識および受けた制御情報
に従ってメディア情報を加工する情報加工部２２０と、
この情報加工部２２０により加工された情報を対応のメ
ディアを使用して呈示する情報呈示部２３０を含む。

【０２１２】情報入力部２１０は、メディアそれぞれに
対して設けられ、各メディアにおけるアートを表現する
ためのメディア情報Ｍ♯ａ〜Ｍ♯ｍを入力するためのメ
ディア情報入力部２１０ａと、各メディアそれぞれに対
応して設けられ、各メディアによるアートに対する条件
を示す制御情報Ｃ♯ａ〜Ｃ♯ｍを入力するための制御情
報入力部２１０ｂを含む。このメディア情報入力部２１
０ａは、万華鏡像生成装置においては、ビデオカメラ６
に対応し、楽曲作成部においては、ＭＩＤＩギターまた
はＭＩＤＩキーボードに対応する。制御情報入力部２１
０ｂは、万華鏡像生成装置においては、得られる万華鏡
像の鏡の数、単位となる万華鏡像の形状および大きさを
指定する制御パラメータに対応する。楽曲作成部におい
ては、この制御情報入力部２１０ｂは、感性情報入力
部、伴奏者が存在する場合の伴奏者からの音高情報生成
部に対応する。

【０２１３】知識ベース２１５は、各メディアを使用す
るアート作成時に必要とされる知識を格納しており、万
華鏡像生成装置においては、各鏡の配置において、万華
鏡像を生成するためのアルゴリズムを実現する知識を格
納する。楽曲作成部においては、この知識ベース２１５
は、「バークリー理論」に基づく自動アナリーゼに対応
する。

【０２１４】情報加工部２２０は、万華鏡像生成装置に
おいては、ビデオカメラから入力された映像信号から、
制御パラメータに基づいて単位となる万華鏡像を生成し
て画面を充満する部分に対応する。楽曲作成部において
は、この情報加工部は、音高割当部に対応する。情報呈
示部２３０は、万華鏡像生成装置においては、表示装置
に対応し、また楽曲作成部においては、サウンドモジュ
ールおよびアンプ／スピーカに対応する。

【０２１５】作成するアートが、音および映像を用いる
場合の他、たとえばスクリーン上に絵画を作成する場
合、知識ベース２１５には、その絵画を作成するための
知識が格納される。このような絵画作成のための知識に
おいては、配色、画面の構成（たとえば黄金分割など）
などの知識が格納される。絵画作成時における制御情報
としては、全体を明るく仕上げる、少し暗く仕上げる、
また絵画のタッチ、たとえば、得られる絵画をゴッホま
たはセザンヌなどのタッチに近くする、などがある。

【０２１６】この図３８に示すようなマルチメディア・
アート製作装置において、情報加工部２２０が、予め準
備された知識を格納する知識ベース２１５を参照して、
メディア情報を制御情報と参照した知識とに従って加工
することによりメディアによるアート作成時に必要とさ
れるすべての制御要素を制御する必要がなく、少ない入
力情報でフルスペック（要求されるすべての）情報を与
えたのと同程度のアートを作成することが可能となる。
たとえば、演奏支援時において、音高割当手段により、
楽曲演奏にあたって演奏者はジャズの理論的要素につい
て考慮する必要がほとんどなくなる。これにより、各メ
ディアにおいてアートを作成するために必要とされる思
考量およびメディア情報入力部の操作量が削減され、認
知的過負荷（コグニティブオーバーロード）が解消され
るため、製作者に余力ができ、同時に複数のメディアを
使ってアートを作成することが可能となる。また、知識
ベース２１５に格納される知識により、作成されるアー
トは一定の水準を超えることが保証されており、全体作
品として必ず一定の品質水準を達成することができ、メ
ディア間のアート品質のばらつきを少なくすることので
きるマルチメディア作品を作成することができる。した
がって、ある瞬間に１つのメディアによるアート製作に
集中し、他のメディアによるアート作成のための操作を
疎かにしても、必ずある水準のアートが作成されるた
め、全体としての作品のバランスが大きく崩れることは
ない。この知識ベース２１５に格納される知識は、この
装置を利用する製作者の認知的負荷を軽減するに十分な
知識であればよく、製作者の製作活動を過剰に支援せ
ず、製作者の創造性の発揮できる余地を残す（演奏支援
システムにおける情報選択の自由度の存在参照）。

【０２１７】情報加工部２２０は、メディア個々に、知
識ベース２１５の対応の知識を参照して、対応のメディ
ア情報を加工するように構成されてもよい。また、この
情報加工部２２０は、メディア間のアートの調和を保つ
ため、各メディア間において制御情報の交換が行なわれ
て情報の加工が行なわれるように構成されてもよい。

【０２１８】

【発明の効果】楽器および演奏支援システムで構成され
る演奏支援機能付楽器およびビデオカメラからの撮像信
号に従って万華鏡画像信号を生成する電子万華鏡像を、
いずれも初心者であっても容易に水準以上の作品を創造
することができ、しかも使用者がその使用に対し修飾す
る余地が残されており、したがって、より高度な創作を
追求することも十分に可能である。したがって、これら
を用いたこの発明に従えば、初心者であっても容易に水
準以上の音楽および映像を同時に生成することができ、
かつ両者が十分に調和した作品の創作を容易に実現する
ことができる。

【０２１９】また、マルチメディア・アート製作装置に
おいて、各メディアそれぞれに対し、アート作成のため
のメディア情報およびこのアートに対する条件を示す制
御情報を利用し、予め準備された各メディア対応の知識
を参照して、制御情報および参照した知識に基づいて入
力されたメディア情報を参照した知識で補って加工して
対応のメディアを使用して加工情報に従って情報を呈示
することにより、いずれのメディアによるアートも一定
の水準を有し全体として必ず一定の品質水準を有しかつ
アート間の品質のばらつきの小さなマルチメディア作品
を容易に生成することが可能となる。

【図面の簡単な説明】

【図１】この発明に従うリアルタイム・マルチメディア
・アート製作装置の全体の構成を概略的に示す図であ
る。

【図２】図１に示す万華鏡像生成装置の動作の概略を示
すフローチャート図である。

【図３】鏡が２枚の場合に対応する万華鏡像生成装置の
動作を説明するための概念図である。

【図４】鏡が３枚の場合における万華鏡像の生成過程を
示す模式図である。

【図５】鏡の境界と交差しない反射パターンの生成過程
を示す概念図である。

【図６】鏡の境界と交差するパターンの生成過程を示す
概念図である。

【図７】鏡が４枚の場合の万華鏡像の生成過程を示す概
念図である。

【図８】万華鏡像生成装置の変更例の動作を説明するた
めのフローチャート図である。

【図９】一般的な三角形形状の初期画像片に基づいた万
華鏡像の生成過程を示す概念図である。

【図１０】図９に示す万華鏡像の光学的過程による万華
鏡像生成過程を示す概念図である。

【図１１】図９に示す万華鏡像を生成するための万華鏡
像生成装置の動作を説明する第１の概念図である。

【図１２】反射パターン生成の優先順序付を示す概念図
である。

【図１３】反射パターン生成のアルゴリズムを示すツリ
ー図である。

【図１４】図９に示す万華鏡像生成のための動作を説明
する第２の概念図である。

【図１５】万華鏡像生成装置の第２の変更例の構成を示
す概略ブロック図である。

【図１６】図１８に示す万華鏡像生成装置およびコンピ
ュータグラフィックス生成装置の動作を示す概念図であ
る。

【図１７】図１８に示す構成の動作を示すフローチャー
ト図である。

【図１８】図１に示す演奏支援システムを含む演奏環境
の構成を概略的に示す図である。

【図１９】図１に示す演奏支援システムの構成を概略的
に示す図である。

【図２０】図１９に示す自動アナリーゼの構成を概略的
に示す図である。

【図２１】図２０に示す自動アナリーゼにより解析され
たコードに対する使用可能なスケールの一例を示す図で
ある。

【図２２】図１９に示す音高割当部の構成を概略的に示
す図である。

【図２３】（Ａ）および（Ｂ）はスケールの音列の具体
例を示す図である。

【図２４】図２２に示すポジション／音高対応付け部の
処理操作を示す図である。

【図２５】図２０に示す自動アナリーゼの変更例の構成
を概略的に示す図である。

【図２６】図２５に示す自動アナリーゼのコード交換の
動作を示すフロー図である。

【図２７】図１９に示すインタラクション支援部の構成
を概略的に示す図である。

【図２８】図２７に示すテンション／スケールテーブル
に格納されるテーブルの構成の一例を示す図である。

【図２９】図２７に示すインタラクション支援部の変更
例の構成を概略的に示す図である。

【図３０】インタラクション支援部の感性的音列選択部
の構成を概略的に示す図である。

【図３１】図３０に示す感性情報データベースに格納さ
れるスケールと感性情報との対応関係の一例を示す図で
ある。

【図３２】図３０に示す感性的音列選択部の動作を示す
フロー図である。

【図３３】インタラクション支援部の他の構成を概略的
に示すブロック図である。

【図３４】演奏入力インタフェースの変更例の構成を概
略的に示す図である。

【図３５】図３４に示す演奏入力インタフェースの変更
例の具体例を示す図である。

【図３６】この発明に従うマルチメディア・アート製作
装置の実施の形態３の構成を概略的に示す図である。

【図３７】図３６に示す画像修飾装置の構成を概略的に
示す図である。

【図３８】この発明の実施の形態４に従うマルチメディ
ア・アート製作装置の全体の構成を概略的に示す図であ
る。

【符号の説明】

１ 演奏者 ２ 楽器 ４ 演奏支援システム ６ カメラ ８ 万華鏡像生成装置 １０ 表示装置 １２ 万華鏡像生成装置 １４ コンピュータグラフィックス生成装置 １０１，１０２ キーボード １０３ ワークステーション １０４ シーケンサ １０５ サウンドモジュール １０６ アンプ／スピーカ １１０ 曲データデータベース １２０ 演奏支援システム １２２ 自動アナリーゼ １２４ 音高割当部 １２４ａ 解析結果格納部 １２４ｂ 演奏ポジション／音高割当部 １２６ インタラクション支援部 １２６ａ スケール／テンション対応情報格納部 １２２ａ コード進行解析部 １２２ｂ ルールテーブル １２２ｃ スケール決定部 １３４ａ 解析結果格納部 １３４ｂ 使用スケール選択部 １３４ｃ ポジション／音高対応付部 １３４ｄ 音高情報生成部 １３２ａ コード変化検出部 １３２ｂ コード交換部 １３２ｃ コードテーブル １４０ テンション判別部 １４１ 演奏コード格納部 １４２ スケール識別部 １４３ テンション／スケールテーブル １４４ スケール選択部 １４５ 使用可能スケール格納部 １５０ 音高／ポジション変換部 １５１ 現ルート音情報格納部 １５２ 音衝突判定部 １５４ 採用可能スケール識別部 １５６ 採用スケール決定部 １６０ 感性情報入力インタフェース １６１ 感性情報データベース １６２ 感性判定部 １６３ 現在スケール情報格納部 １６４ 候補スケール決定部１６４ １６５ 使用可能スケール格納部 １６６ 使用スケール決定部 １７０ スケール変更部 １７３ 使用可能スケール格納部 １７５ 使用スケール決定部 １７９ａ〜１７９ｇ 演奏ポジション対応領域 １８０ａ，１８０ｂ 磁気センサ １８２ 位置検出手段 １８４ 演奏ポジション識別部 １８５ 演奏ポジション情報入力インタフェース １９０ 演奏ポジション識別部 ２００ 画像修飾装置 ２１０ 情報入力部 ２１０ａ メディア情報入力部 ２１０ｂ 制御情報入力部 ２１５ 知識ベース ２２０ 情報加工部 ２３０ 情報呈示部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 間瀬 健二 京都府相楽郡精華町大字乾谷小字三平谷 ５番地 株式会社エイ・ティ・アール知 能映像通信研究所内 (56)参考文献 特開 平９−16752（ＪＰ，Ａ) 特開 平８−65573（ＪＰ，Ａ) 特開 平６−303516（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 G10H 1/00 H04N 5/262

Claims (12)

(57)【特許請求の範囲】
1. 【請求項１】 演奏曲のコード情報を入力して、前記コ
   ード情報の時系列的な推移状況を解析して各コードに対
   し使用可能な音列を割当てる楽曲解析手段、 複数の演奏ポジションを有し、演奏者からの前記複数の
   演奏ポジションを介しての演奏入力情報を受ける第１の
   演奏入力手段、 前記楽曲解析手段からの各コードに対して割当てられた
   音列情報に従って、各コードについて前記複数の演奏ポ
   ジションに対し使用可能な音高をそれぞれ割当てる音高
   割当手段、 前記演奏入力手段からの前記複数の演奏ポジションを介
   しての演奏入力情報と前記音高割当手段の音高割当情報
   とに従って、音高情報を生成しかつ該生成した音高情報
   を可聴音に変換して出力する音生成手段、 前記演奏者を撮影した光学画像を電気的撮像信号に変換
   する撮像手段、 前記撮像信号を受けて、外部からの指示に従って、撮像
   された画面中の指定された領域に対応する前記撮像信号
   中の部分撮像信号を切出す画像抽出手段、 前記部分撮像信号を原画像とし、前記指定された領域の
   境界線を鏡像対称軸として反転複製して鏡像画像を生成
   し、該生成された鏡像画像について同じ操作を繰返して
   画面を鏡像画像で充満する画像信号を生成する画像処理
   手段、および前記画像処理手段の出力に応答して、対応
   の画像を出力して表示する表示手段を備える、リアルタ
   イム・マルチメディア・アート製作装置。
2. 【請求項２】 前記画像抽出手段は、前記外部からの指
   示に従って、指定された多角形領域に対応する、前記撮
   像信号中の部分撮像信号を切出す手段を含み、 前記画像処理手段は、前記多角形領域の各辺について前
   記鏡像画像を繰返し生成する手段を含む、請求項１記載
   のリアルタイム・マルチメディア・アート製作装置。
3. 【請求項３】 前記画像抽出手段は、前記外部からの指
   示に従って、撮像画面中の指定された点を中心点としか
   つ指定された角度の領域に対応する撮像信号を切出して
   前記部分撮像信号を生成する手段を含み、 前記画像処理手段は、前記部分撮像信号を原画像とし、
   前記中心点のまわりに所定の回転方向に従って、前記回
   転方向側の辺を鏡像対称軸として順次反転複製して鏡像
   画像を生成する手段を含む、請求項１記載のリアルタイ
   ム・マルチメディア・アート製作装置。
4. 【請求項４】 外部からの指示に応じて生成したグラフ
   ィック画像と前記画像抽出手段により切出された部分撮
   像信号とを合成し、該合成した部分撮像信号を前記画像
   抽出手段からの部分撮像信号に変えて前記画像処理手段
   へ与える画像合成手段をさらに備える、請求項１から３
   のいずれかに記載のリアルタイム・マルチメディア・ア
   ート製作装置。
5. 【請求項５】 前記音高割当手段は、各コードについて
   対応の音列において同じ機能を有する音高を前記複数の
   演奏ポジションのうちの同じ演奏ポジションへ割当てる
   手段を含む、請求項１から４のいずれかに記載のリアル
   タイム・マルチメディア・アート製作装置。
6. 【請求項６】 前記音高割当手段は、１つのコードに対
   し複数種類の音列の割当が可能なとき、予め定められた
   規則に従って前記時系列コード情報の解析結果に従って
   １つの種類の音列を選択し、該選択音列に含まれる音高
   各々を前記複数の演奏ポジションの予め定められた演奏
   ポジションに割当てる手段を含む、請求項１から５のい
   ずれかに記載のリアルタイム・マルチメディア・アート
   製作装置。
7. 【請求項７】 演奏情報を入力するための複数の演奏ポ
   ジションを有し、これら複数の演奏ポジションを介して
   入力される演奏情報に対応する音高情報を生成するため
   の少なくとも１個の第２の演奏入力手段と、 前記第２の演奏入力手段からの入力音高情報を受け、前
   記第１の演奏入力手段へ割当てる使用可能な音列から予
   め定められた規則に従って前記第２の演奏入力手段から
   の入力音高と非調和的となる音高を含む音列以外の音列
   を選択するように前記音高割当手段の音高割当動作を制
   限するための制限手段をさらに備える、請求項１から６
   のいずれかに記載のリアルタイム・マルチメディア・ア
   ート製作装置。
8. 【請求項８】 複数の音列群各々の音列に対し感性情報
   を割当てる手段と、 感性情報を入力するための入力手段と、 前記コードに対し複数の音列群が割当てられたとき、前
   記入力手段から入力された感性情報と各音列に対して割
   当てられた感性情報とに従って使用可能音列を決定する
   手段をさらに含み、 前記音高割当手段は、前記決定手段により決定された使
   用可能音列の音高を前記第１の演奏入力手段の複数の演
   奏ポジションに割当てるための手段を含む、請求項１か
   ら７のいずれかに記載のリアルタイム・マルチメディア
   ・アート製作装置。
9. 【請求項９】 複数の演奏ポジションを有し、これら複
   数の演奏ポジションを介しての演奏入力情報を入力し、
   対応の音高情報を生成する第２の演奏入力手段および感
   性情報を入力するための手段をさらに備え、 前記楽曲解析手段は、各々に予め定められた規則に従っ
   て感性情報が割当てられた複数の音列群から各コードに
   対し使用可能な音列を割当てる手段を含み、 前記音高割当手段は、 前記楽曲解析手段の解析結果と前記第２の演奏入力手段
   からの音高情報と前記感性情報入力手段から入力された
   感性情報とに従って前記使用可能な音列から前記第２の
   演奏入力手段からの音高情報と調和し、かつ前記入力さ
   れた感性情報に対応する感性情報を有する音列を選択し
   て前記第１の演奏入力手段の複数の演奏ポジションへ選
   択音列に含まれる各音高を割当てかつ各コードに対して
   使用可能となる音列の同一機能の音高は前記第１の演奏
   入力手段の複数の演奏ポジションの同じ演奏ポジション
   に割当てる手段を含む、請求項１から６のいずれかに記
   載のリアルタイム・マルチメディア・アート製作装置。
10. 【請求項１０】 前記第１の演奏入力手段は、前記演奏
    者の動作により前記複数の演奏ポジションのうちの演奏
    ポジションを特定する動作認識手段を含む、請求項１か
    ら９のいずれかに記載のリアルタイム・マルチメディア
    ・アート製作装置。
11. 【請求項１１】 前記複数の演奏ポジションは、各々に
    所定の画像処理が割当てられた複数の第２の演奏ポジシ
    ョンを含み、 前記第１の演奏入力手段から入力された第２の演奏ポジ
    ションを特定する情報に従って、前記表示手段により表
    示された画像を、該特定された第２の演奏ポジションに
    割当てられた処理態様で変化させる手段をさらに含む、
    請求項１０記載のリアルタイム・マルチメディア・アー
    ト製作装置。
12. 【請求項１２】 複数のメディアを用いて作品を作成す
    ることのできるマルチメディア・アート製作装置であっ
    て、 前記複数のメディア各々に対応して用いられ、対応のメ
    ディアによる表現のためのメディア情報および該表現に
    対する条件を課すための制御情報を入力するための情報
    入力手段、 各前記メディアによる表現に必要とされる知識を格納す
    る知識ベース、 前記情報入力手段からのメディア情報および制御情報を
    受け、前記知識ベースの対応の知識を参照して、前記制
    御情報および該参照した知識に基づき前記マルチメディ
    ア・アートの製作者から入力されたメディア情報を前記
    参照した知識で補って、前記メディア情報を加工する情
    報加工手段、および前記情報加工手段からの加工情報に
    従って対応のメディアを用いて情報を呈示するための情
    報提示手段を備える、マルチメディア・アート製作装
    置。