JP4019996B2 - 制御装置 - Google Patents

制御装置 Download PDF

Info

Publication number
JP4019996B2
JP4019996B2 JP2003099613A JP2003099613A JP4019996B2 JP 4019996 B2 JP4019996 B2 JP 4019996B2 JP 2003099613 A JP2003099613 A JP 2003099613A JP 2003099613 A JP2003099613 A JP 2003099613A JP 4019996 B2 JP4019996 B2 JP 4019996B2
Authority
JP
Japan
Prior art keywords
axis
information
reaction force
axes
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003099613A
Other languages
English (en)
Other versions
JP2004309587A (ja
Inventor
繁 村松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2003099613A priority Critical patent/JP4019996B2/ja
Priority to US10/812,888 priority patent/US7217881B2/en
Publication of JP2004309587A publication Critical patent/JP2004309587A/ja
Application granted granted Critical
Publication of JP4019996B2 publication Critical patent/JP4019996B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0033Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/18Selecting circuits
    • G10H1/26Selecting circuits for automatically producing a series of tones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/32Constructional details
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/185Stick input, e.g. drumsticks with position or contact sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、1又は複数軸に沿って変位しうる操作子を備えた制御装置に関し、操作子に力覚反力を付与する技術に関するもので、例えば、電子楽器の演奏入力操作等に適用される。
【0002】
【従来の技術】
【特許文献1】
特開平10‐177387号
上記特許文献1には、操作子を可動するアクチュエータと、操作子の位置情報等を検出するセンサを備え、該センサで検出した位置情報等に基づき、アクチュエータの駆動を制御することで、操作子に力覚反力を付与するものが開示されている。
【0003】
【発明が解決しようとする課題】
上記特許文献1に開示された装置では、操作子に付与される反力は、操作者により実際に行われた操作子操作に基づく情報(例えば、位置情報、速度情報、加速度情報等)に基づきアクチュエータが駆動されることで、その負荷力、方向等を制御していたため、あくまで操作量に対応(比例)した反力を操作者に与えるものでしかなかった。そのため、センサで検出した位置情報に応じて楽音の音高、音色、音量等を制御しようとする場合、そのときの操作量に応じて操作子に付与される力覚反力と該操作量に応じて制御される音高、音色、音量等の制御量との相関関係を操作者が適切に感知・認識するのは、困難であった。すなわち操作者は、トライアンドエラーを繰り返すほかには、その操作方法(すなわち力覚反力で知覚しうる操作量と該操作量に応じた制御量との相関関係)を効果的に学ぶ術がなく、そのため操作子の操作方法習得の効率が悪かったという不都合があった。特に、ジョイスティックタイプ等の多軸操作型の操作子においては、操作子の操作位置が複雑になるため、操作者は、自身が意図する操作量又は操作位置に正しく操作されたか否かを把握することがより一層難しくなる。
【0004】
この発明は、上記の点に鑑みてなされたもので、所定の制御量と操作位置との相関関係を力覚反力にて容易に認識させることができるような制御装置を提供することを第1の目的とする。また、楽音信号の制御に際して適切な力覚付与が行えるような制御装置を提供することを第2の目的とする。
【0005】
【課題を解決するための手段】
の発明に係る制御装置は、操作者の操作に応じて、複数のの各々を基準した複数の方向に変位操作可能な操作子と、前記操作子の複数の軸毎の操作状態を検出する検出手段と、複数の楽音要素を含む模範演奏情報を供給する供給手段と、前記供給手段から供給された模範演奏情報に含まれる複数の楽音要素を前記複数の軸の1つずつに割り当て、該複数の軸のそれぞれに割り当てられた楽音要素の値に基づき、前記操作子がとるべき操作状態を示す模範操作情報を、該複数の軸毎に生成する模範操作情報生成手段と、前記検出手段で検出された前記複数の軸毎の操作子の操作状態と前記模範操作情報生成手段で生成された該複数の軸毎の模範操作情報が示す操作状態との相違に応じた反力情報を、各軸毎に発生する反力情報発生手段と、前記反力情報発生手段で発生した反力情報に応じた前記複数の軸毎の反力を前記操作子に付与する反力付与手段とを具える。
これによれば、供給手段から模範演奏情報が供給され、供給された模範演奏情報に含まれる複数の楽音要素を複数の軸の1つずつに割り当て、複数の軸のそれぞれに割り当てられた楽音要素の値に基づき模範操作情報が作成され、模範操作情報によって示される操作子がとるべき模範の操作状態と、操作子が実際に操作されたときの操作子の操作状態との相違に応じた反力を複数の軸毎に操作子に付与することができる。比較対象となる模範の操作状態と実際の操作状態は、例えば、操作子の操作位置であり、その場合は、検出手段として操作位置検出手段を用いる。
【0006】
また、この発明は、上記構成からなる制御装置において、前記操作子の複数の軸に複数の楽音要素を対応づけて、前記検出手段により検出された複数の軸毎の操作状態の検出データに応じて、各軸に対応する楽音要素の値を設定若しくは制御してなる楽音信号を発生する楽音信号発生手段を更に具える。
【0007】
【発明の実施の形態】
以下添付図面を参照して、この発明の一実施例について説明する。以下に説明する実施例では、一例として、この発明に係る制御装置を楽器演奏のための演奏入力装置に適用した例を示す。
図1は、この実施例に係る制御装置全体の外観例を示す図であって、(a)は側面から見た概略断面図であり、(b)は当該制御装置の平面図である。但し(b)においては、説明の便宜上外装ケースの図示を省略している。また、図2は、図1に示す制御装置のハードウェア構成例を示すブロック図である。図1(a)に示すように、制御装置30には、外装ケース33内に収納された基部31と、基部31において可動式に取り付けられた操作子32が具備される。基部31は、CPU等の電気回路類が収納される制御ボックス34上に載置される。操作子32は、全体として長手棒状に形成されており、X軸、Y軸、Z軸の3軸 に沿って変位可能である。(a)及び(b)に示す通り、X軸に関する変位運動はX軸周りに沿う回転運動(操作者からみて左右方向への回転動)であり、Y軸に関 する変位運動はY軸周りに沿う揺動運動(操作者からみて上下方向への揺動)であり、Z軸に関する変位運動はZ軸に沿う直線運動(操作者からみて前後方向の直線 動)である。この実施例において、制御装置30の操作者は、操作子32の先端部32aを把持して、操作子32をX軸、Y軸及びZ軸に沿って適宜操作することで、各軸毎の操作位置に応じた楽音要素を入力・制御できる。この実施例では、一例として、X軸に関する操作位置に応じて楽音の音高を制御し、Y軸に関する操作位置に応じて楽音の音量を制御し、Z軸に関する操作位置に応じて楽音の音色を制御できるものとする。
【0008】
基部31において、操作子32が操作される3軸(X、Y、Z)のぞれぞれに対応して、各軸に関する操作子32の操作位置を検出するためのX軸用センサ部40、Y軸用センサ部41及びZ軸用センサ部42が設けられている。X軸,Y軸及びZ軸の各軸に対応して設けられたセンサ部40〜42は、操作子32の各軸毎の操作位置をそれぞれ検出しうる適宜の1次元センサ(回転位置センサ或いは直線位置センサ)を適用してよく、以下この実施例では回転位置センサを用いるものとする。必要に応じて、位置センサの検出データを微分することで速度更には加速度を検出することもできる。また、センサ部40〜42としては、位置センサに限らず、速度センサあるいは加速度センサを使用してもよく、例えば、速度センサで検出した速度を積分することで操作位置を検出することができる。基部31には、操作子32に力覚反力を与えるための手段として、X、Y及びZ軸の各軸に対応してX軸モータ部50、Y軸モータ部51及びZ軸モータ部52が設けられている。各モータ部50〜52の駆動により、操作子32に対してX軸、Y軸及びZ軸の各軸毎に独立して力覚反力が付与される。
【0009】
図2に示すように、この制御装置30は、全体の動作を制御するCPU1、各種プログラムを記憶したプログラムROM(Program ROM)2、データROM(DATA ROM)3、キースケールROM(key−scale ROM)4、ワーキングのためのRAM5、パラメータテーブル6、パラメータコントローラ7、入出力インターフェース(入出力I/F)8、表示画面15等を有し、各装置間が通信バス1Bを介して接続される。インターフェース9は、X軸用センサ部40、Y軸用センサ部41及びZ軸用センサ部42からの各センサ出力を時分割多重して取り込むものである。インターフェース9から取り込まれたセンサ出力は、AD変換器10にてディジタル信号に変換されて、通信バス1Bを介してCPU1に出力される。ドライバ20には、X軸モータ部50、Y軸モータ部51、Z軸モータ部52を夫々駆動するためのアクチュエータ21が接続される。なお、図2においては、1つのブロックのみでアクチュエータ21を表現しているが、X軸、Y軸及びZ軸モータ部50〜52の夫々を駆動する為に3つのアクチュエータを具備してもよい。
【0010】
ドライバ20は、CPU1の制御の下で生成された駆動信号に基づきアクチュエータ21を駆動制御(つまり通電ON/OFF)する。駆動信号は、DA変換器11にてアナログ信号に変換され、ドライバ20に供給される。この駆動信号としては、例えばPWM形式の電流信号を適用してもよい。この駆動信号は、操作子32に力覚反力を付与するための反力情報であって、詳しくは後述するように、所定の模範操作情報に基づく現在操作すべき操作子32の各軸毎の操作位置(基準操作位置)と、センサ出力に基づき検出・算出される操作者により実際に行われた操作子32の各軸毎の操作位置(現在操作位置)との差に基づき、各軸毎に夫々算出される。このように算出される駆動信号に応じた反力が操作子32に付与されることで、操作者は、この反力を以って、前記基準操作位置と操作者が実際に行った(或いは行いつつある)現在操作位置との違いを、体感的、直接的に感知しうることが後述の説明から明らかになるだろう。
【0011】
データROM3は、1乃至複数曲分のMIDI演奏データを記憶する楽曲データメモリ部と、模範操作情報テーブルとを含む。模範操作情報テーブルは、操作 子32の各軸毎にとりうる複数の操作位置と、該各軸に対して割り当てられた各楽音要素の制御量(制御値)との対応関係を記憶するものである。模範操作情報テーブルにおいては、例えば、X軸に関する操作子32の回動可能範囲においてとりうる複数の操作位置に対する所定音域範囲にわたる複数の音高の対応付けを記憶しており、楽曲データメモリ部から読み出されたMIDI演奏データに含まれる各種演奏パラメータのうち音高パラメータに応じて、該音高パラメータが指定する音高に対応するX軸の操作位置を示す情報をX軸の模範操作情報として出力する。また、模範操作情報テーブルにおいては、例えば、Y軸に関する操 作子32の揺動可能範囲においてとりうる複数の操作位置に対する所定音量範囲にわたる複数段階の音量の対応付けを記憶しており、楽曲データメモリ部から読 み出されたMIDI演奏データに含まれる各種演奏パラメータのうち音量パラメータに応じて、該音量パラメータが指定する音量に対応するY軸の操作位置を示す情報をY軸の模範操作情報として出力する。また、模範操作情報テーブルにおいては、例えば、Z軸に関する操作子32の直線動可能範囲においてとりうる複数の操作位置に対する複数の音色の対応付けを記憶しており、楽曲データメモリ部から読み出されたMIDI演奏データに含まれる各種演奏パラメータのうち音色パラメータに応じて、該音色パラメータが指定する音色に対応するZ軸の操作位置を示す情報をZ軸の模範操作情報として出力する。こうして、MIDI演奏データに基づき、操作子32がとるべき各軸毎の操作位置を示す模範操作情報を生成することができる。この模範操作情報により、或る楽曲を演奏するために行うべき、操作子32の正しい操作状態を演奏の進行に伴って指示することができる。なお、前記MIDI演奏データのデータ形式は、MIDI規格やMIDI規格の簡易版のデータフォーマット等からなる公知の自動演奏シーケンスデータの形式であってよく、例えば、発生すべき音高、音量、音色に関する 演奏イベントデータと、イベントデータの発生タイミングを一つ前のイベントデータからの相対時間で示すデルタタイムデータとのシーケンスからなるもの等を利用できる。なお、楽曲データメモリ部あるいは模範操作情報テーブルは、ROMに限らず、RAM等によって書き換え可能に構成されていてもよいし、外部メモリ若しくは通信ネットワーク等を介して構成されてもよい。
【0012】
パラメータテーブル6は、各種のパラメータ(演奏パラメータやタッチ反力の設定パラメータ等を含む)の値を算出する為のテーブルであり、例えば、インターフェース9を介して取り込まれたセンサ出力に対応する音高、音量、音色等の各種楽音要素のパラメータ値設定や、タッチ反力のパラメータ値設定等に利用でき、ROM或いはRAM等で構成してよい。また、各種楽音要素のパラメータ値設定や、使用する音源に応じたタッチ反力の設定についての制御ルールは、パラメータコントローラ7により任意に可変設定できるように構成してよい。キースケールROM4は、例えば、操作子32にて入力する音高列のスケールを設定変更するために利用しうる。
【0013】
図示の通り、この実施例では、入出力I/F8にはワイレスモジュール12が接続されており、当該制御装置は、このワイヤレスモジュール12を介して、物理的に隔離された音源13と、ワイヤレスで接続する。このように音源13との接続をワイヤレス化することで、音源との接続も容易になり、装置設置場所等を選ばず、どこにでも持ち運んで演奏を楽しむことができる。
CPU1は、前記パラメータテーブル6を参照することで、インターフェース9を介して取り込まれたセンサ出力に対応する音高、音量、音色等の各種楽音要素のパラメータ値を設定し、これを音源13に送信する。音源13では受信したパラメータ値に基づき、操作子32の各軸毎の操作位置に応じた楽音信号を生成する。すなわち、この制御装置30では、操作子32のX、Y及びZ軸の各軸毎の操作位置に応じて1つの楽音信号の発音が指示される。なお、音源13の音源方式は、波形メモリ等の従来から知られるいかなる方式を用いてもよい。また、音源13は、ハードウェア音源ボードで構成されていてもよいし、ソフトウェア音源プログラムで構成されていてもよい。
また、制御スイッチ14は、必要に応じて、例えば操作子32の先端部32a等に設置するとよく、回転操作或いは押圧操作等によって音量等の適宜のパラメータ値設定を行いうるよう構成してよい。勿論、このような制御スイッチ14が具備されなくとも、この発明の実施に差し支えないが、このようなスイッチを設けることで、指先等による操作で音量等のパラメータ値の設定・制御が行えるため、演奏操作をより簡便に行えるようになる。例えば、一構成例として、このスイッチ14によって演奏音の全体的な音量制御を行い、ユーザによる演奏入力時には、操作子32のY軸の操作速度に応じて発生する楽音のアフタータッチを制御するような構成が可能である。
【0014】
表示画面15には、操作者による演奏入力時に例えば五線譜や鍵盤等の画像を表示することで、操作子32の操作位置に応じた音高を、該五線譜画像上に対応する音符で表示したり、或いは、該鍵盤画像上の対応する鍵の色を変えること等で表示することができ、これにより、操作者は入力した楽音信号の音高を視認できる。このように操作者に対して視覚的に操作状態を認識させることで、当該制御装置30のように特殊な入力形態による演奏情報の入力をより簡便にすることができる。
【0015】
図3は、この制御装置30において実行可能な各種機能の概略を示す機能構成図であり、図において各部60〜63は装置30に備わる機能に夫々相当する。図3に示すように、制御装置30は、大別して、サーボ制御機能60、タッチ付加機能61、発音機能62、画面表示機能63を有する。図3では、ユーザによる演奏入力の一例として、X軸センサ部40からのセンサ出力に対応して音高パラメータ値(note)を設定し、Y軸センサ部41からのセンサ出力に対応して音量パラメータ値(vol.)を設定するものとする。なお、前述の通り、Z軸センサ部42の出力に基づき音色パラメータ値を設定・制御可能であるが、この系統の処理については便宜上、図3では図示を省略する。演算回路65では、各軸毎のセンサ部(回転位置センサ)から出力される検出データを夫々微分することで、前述したように各軸毎の速度及び加速度データを生成できる。これら各軸毎の位置情報(pos.)速度情報(vel.)及び加速度情報(acl.)が上記各機能60〜63に対して出力される。
サーボ制御機能60は、この発明の第1の目的を達成する一実施形態に係るもので、前記所定の模範操作情報に基づく基準操作位置と、センサ出力に基づき検出・算出される操作者により実際に行われた操作子32の現在操作位置との相違に応じて反力情報を発生する機能である。各軸毎に、該基準操作位置と現在操作位置との相違に応じて生成された反力情報は、夫々対応する各軸モータ部(図ではX軸モータ部50とY軸モータ部51)に供給される。
【0016】
タッチ付加機能61は、この発明の第2の目的を達成する一実施形態に係るもので、操作者による演奏入力時において、操作子32の操作位置に応じた各センサ出力に基づき、パラメータテーブル6(図2参照)に含まれるタッチ反力設定用のテーブル(タッチデータテーブル)群を参照して各軸毎にタッチ反力情報を生成して、各タッチ反力情報に応じたタッチ反力を操作子32に対して付加することで、操作者に対して仮想現実的な操作感覚、タッチ感覚を与える機能である。すなわち、生成されたタッチ反力情報に応じた駆動信号(例えばPWM形式の電流信号)によりアクチュエータ21(図2参照)を通電ON/OFFすることで、対応するモータ部(図3ではX軸モータ部50とY軸モータ部51)が駆動されて、操作子32に対してタッチ付加(仮想現実的力覚の付与)が行われる。更に、操作子32に対して与えられるタッチ反力の触覚的特性は、パラメータコントローラ7(図2参照)による設定等により任意に可変設定でき、これにより操作者は、例えば使用する音源に応じてタッチ反力設定を自由に行い所望のタッチ感を得ることができる。なお、より適切な反力を発生させるためにサーボ機能制御機能60を併せて利用することもできる。
また、発音機能62は、各軸毎のセンサ出力に基づき音高、音量、音色等の各種楽音要素のパラメータ値を設定して、該パラメータ値に基づく楽音を発音させる機能である。なお、図2に示したとおり音源13、アンプ、スピーカ等の音源システムは、制御装置30とはワイヤレスで接続された外部機器で構成される。また、画面表示機能63は、操作子32の操作位置に応じて指示された楽音の音高を、表示画面15(図2参照)の例えば五線譜画像上に対応する音符で表示させたり、或いは、鍵盤画像上の対応する鍵盤の色変え表示させることで、操作者が入力した音高を画像表示する機能である。
【0017】
上記図2に示した構成からなる制御装置におけるサーボ制御機能(図3のブロック60)について次に述べる。
操作者により操作子32が操作され、X軸、Y軸及びZ軸の各軸毎の操作位置に応じたセンサ出力がインターフェース9を介してCPU1に出力されると、CPU1では、所定のクロックタイミング毎に、各軸毎のセンサ出力に基づき操作子32のの各軸毎の現在操作状態を検出する処理を行う。そして、パラメータテーブル6を参照することで、検出した各軸毎の現在操作位置や速度、加速度の何れか1つ、あるいはそれらの組み合わせ、または複数軸の出力の組み合わせに応じた演奏パラメータ(音高、音量、音色等)の値を算出し、算出した演奏パラメータに基づき音源13にて楽音信号を生成する(発音機能)。制御装置30において、操作子32が操作されたとき、CPU1は、上記楽音信号の生成処理等と共に、当該装置のサーボ制御機能に従い、ドライバ20に対してアクチュエータ21を駆動するための駆動信号を出力してアクチュエータ21を駆動制御することで、操作子32に対して力覚反力を付与する。このサーボ制御用の駆動信号を算出するための処理の詳細について次に述べる。
【0018】
CPU1は、上述した操作子32の現在操作位置の検出処理等を行う一方で、以下説明するように、データROM3の模範操作情報テーブルから供給される各軸毎の模範操作情報が示す基準操作位置と、前記検出した現在操作位置との差分値(相違)を算出するための処理を行う。なお、データROM3の楽曲データメモリ部に記憶されているMIDI演奏データは、データの利用時には、所定の演奏イベントタイミングに応じてRAM5に読み出され、RAM5内には、或る時点のイベントタイミングにおいて実行すべき現在演奏イベントデータと、次回のイベントタイミングで実行すべき次回演奏イベントデータと、現在演奏イベントデータと次回演奏イベントデータとの相対時間の間隔を示すデータとがバッファされる。演奏イベントデータには、或るイベントタイミングにおいて、発生すべき楽音の各種楽音要素のパラメータ値を指定する演奏パラメータが含まれる。
【0019】
或る演奏イベントタイミングに達した時点において、CPU1は、データROM3の楽曲メモリ部から、次回のイベントタイミングで実行される次回演奏イベントデータを読み出して、RAM5内にバッファされている現在演奏イベントデータ、次回演奏イベントデータ、及び現在演奏イベントデータと次回演奏イベントデータとの相対時間の間隔を示すデータと、を夫々更新する。すなわち、新たに読み出した次回演奏イベントデータをRAM5に取り込むことで、RAM5内の次回演奏イベントデータ及び時間間隔データを書き換えると共に、最前のタイミングにおける次回演奏イベントデータを、現在演奏イベントデータとしてバッファする。なお、このとき、最前のタイミングにおいて現在演奏イベントデータとしてバッファされていたデータは、前回演奏イベントデータとして保持される。
【0020】
そして、データROM3中に記憶された模範操作情報テーブルにおいて、前記RAM5内にバッファされた現在演奏イベントデータ及び次回演奏イベントデータ並びに時間間隔データと前回演奏イベントデータに応じて、前記イベントタイミングに達した時点における模範操作情報を算出する。こうして、現在のイベントタイミングにおいて、MIDI演奏データに基づき操作子32がとるべき各軸毎の操作位置を示す模範操作情報が生成される。この模範操作情報により、現在イベントタイミングにおいて発音すべき楽音を「正しく」発音させるための操作子32の操作位置を指示することができる。この模範操作情報は各イベントタイミング毎に生成されるので、或る楽曲を演奏するために行うべき操作子32の正しい操作位置を演奏の進行に伴って順次指示することができる。
【0021】
データROM3において、模範操作情報を算出した後、前記算出した模範操作情報が示す各軸毎の基準操作位置と、センサ出力に基づき検出された各軸毎の現在操作位置との差を算出する。ここで算出される差分値は、模範操作情報が示す各軸毎の基準操作位置と、操作者により実際に操作された操作子32の各軸毎の現在操作状態の相違に応じた値である。その差分値に応じて、操作子32に作用する反力を制御すれば、基準操作位置と現在操作状態の差に対応した反力が操作子32に対して付与されることになる。従って、操作者は、操作子32に与えられた反力によって、自身が行った操作位置が、基準操作位置に対して正しいのか、或いは、どの程度違っているのか等を直接的に感知できるようになる。
【0022】
CPU1は、算出された各軸毎の差分値に基づき、アクチュエータ21を駆動するための駆動信号(反力情報)を生成する。生成された駆動信号は前述の通りDA変換器11を介してドライバ20に供給され、ドライバ20は供給された駆動信号によりアクチュエータ21を駆動制御する。ドライバ20に供給される駆動信号は、反力を付与すべき各軸毎に時分割分離されて供給されるよう構成、アクチュエータ21がX軸モータ部50、Y軸モータ部51及びZ軸モータ部52を時分割で駆動してよい。すなわち、操作子32に対して与えられる反力は、X軸、Y軸及びZ軸の各軸毎の、基準操作位置と現在操作位置の差に応じて作用する。
【0023】
ここで、図4(a)に示す基部31及び操作子32の概略斜視図を参照して、操作子32の駆動機構について簡単に説明する。図4において、操作子32は、基部31に具わるガイド部35に貫通される。ガイド部35は、X軸、Y軸及びZ軸モータ部50〜52の夫々と機械的に連動可能に連結されている。Y軸モータ部51は、ガイド部35に連結されたY軸モータベース53に支持される。Y軸モータベース53の下端部は、X軸モータベース54上に固定される。図示の例では、X軸モータ部50は、X軸モータベース54及びY軸モータベース53を介して、ガイド部35と連結される。操作子32がX軸に関して操作されると、X軸モータベース54を動作支点として、X軸モータベース54上の構成要素が全体的に、縦軸Aについて軸転し、X軸センサ部40ではその軸転を検出する。X軸モータ部50が駆動されると、X軸モータベース54を動作支点として、X軸モータベース54上の構成要素全体に縦軸Aについて軸動運動が作用することで、操作子32に対するX軸に関する力覚反力が付与される。また、操作子32がY軸に関して操作されると、Y軸モータベース53を動作支点として、ガイド部35が横軸Bについて軸転(上下動)し、Y軸センサ部41はその軸転を検出する。Y軸モータ部51が駆動されると、Y軸モータベース53を動作支点として、ガイド部35に対して横軸Bについて上下運動が作用することで、操作子32に対するY軸に関する力覚反力が付与される。また、Z軸モータ部52は、ギヤボックス36を介してガイド部35と連結する。ギヤボックス36は、操作子32のZ軸に関する直線動を、適宜の回転動に変換するための、及び、Z軸モータ部52の回転動を操作子32のZ軸に関する直線動に変換するための、運動変換機構である。一例として、図4(b)に示すように、操作子32の軸部32bには軸線方向に沿って長手状にギヤ歯部37aが設けられており、また、ギヤボックス36内には、該ギヤ歯部37aに係合するスライドギヤ機構37bが設けられており、Z軸センサ部52は、該ギヤボックス36を介して運動変換された直線位置を検出する。Z軸モータ部52が駆動されると、その回転運動は、該ギヤボックス36を介してZ軸に沿う直線運動に変換され、操作子32に対するZ軸に関する力覚反力として作用する。
【0024】
例えば、図1(b)において、あるイベントタイミングに達した時点で、操作子32をX軸方向について位置Lまで操作した(Y,Z軸方向には変位させない)場合、このときの基準操作位置におけるX軸方向の位置をMすると、このとき操作子32に付与される反力は矢印F1向きに作用する。このような反力F1により操作者は、自身の行った操作が基準操作位置を矢印LL方向に超過してしまっていることを感知するであろう。また、操作子32の操作位置が、前記Lよりも基準状態Mにより近い、位置LAの場合は、反力F2の負荷を、前記反力F1より軽く(力を弱く)すれば、操作者は自身の行った操作が、基準位置とは違うものの、幾分近いことを察知できるであろう。また、操作子32の操作位置が位置Rであった場合、操作子32に付与される反力は矢印F3向きに作用し、基準操作位置からの偏差に応じて与えられる反力の強さが漸次変化する。勿論、操作子32に対して反力が作用しなければ、操作者は、自分が行った操作が正確であることを確認できる。従って、この装置30においては、操作子32に付与される反力に応じて、自身が行った操作が、正しいのか、或いは、現在操作すべき正しい操作とどの程度違うのかが、直接的、体感的に感知できる。また、そのような反力がなくなるよう、軽くなるよう、操作子32を操作すれば、現在操作すべき正しい操作位置を直接的、体感的に把握できる。よって、そのような反力の付与を、楽曲の自動演奏データに従った模範操作情報に基づき制御することにより、当該制御装置30のような特殊な入力形態の装置による演奏情報入力方法の習得、学習が効果的に行えるようになる。
なお、反力の作用は、上述の例に限らず、反力に応じて、模範操作情報に基づく操作状態と自身が実際に行った操作状態との違いを知覚させるのであれば、どのような態様であってもよく、例えば、上記とは反対に、正しい操作位置で反力が一番重くなるように作用してもよい。
【0025】
次に、ユーザによる演奏入力時のタッチ付加機能61の詳細について図5のブロック図を参照して説明する。図5において、70、71、72、73はマルチプレクサであり、74,75,76,77はA/D変換器である。78はヒステリシス回路である。また79、80、81はタッチデータテーブル群に相当するテーブル群であり、各々複数のテーブルから構成される。また、82は1枚のテーブルである。83,84、85は加算器であり、86はモータ推力補正テーブル群であり、複数の推力補正テーブルから構成される。
一例として、X軸センサ部40のセンサ出力から得られた位置情報pos、Y軸センサ部41のセンサ出力から得られた速度情報vel及び加速度情報aclとが、マルチプレクサ70、71、72によって時分割多重されて取り込まれ、A/D変換器74,75,76を介してディジタル信号に変換される。なお、外部入力auxは、例えば制御スイッチ14(図2参照)によるその他のパラメータの設定に用いる。
【0026】
マルチプレクサ70から取り込んだ位置情報posはヒステリシス回路78を介してテーブル群79に供給される。位置情報posがヒステリシス回路78に供給されると、ヒステリシス回路78では速度情報velに基づき操作子32の操作方向(正方向と負方向)を判別して、テーブル群79から算出される位置情報posに基づくテーブル出力(タッチ反力情報の位置項)に対して操作子32の操作方向に応じたヒステリシス特性を与える。具体的には、テーブル群79が、操作子32の操作方向(正/負方向)に夫々対応する2つのテーブル群(「押鍵」側テーブル群と「離鍵」側テーブル群)を有し、操作子32の操作方向が正方向のときは、位置情報posは「押鍵」側テーブル群に供給され、負方向のときは位置情報posは「離鍵」側テーブル群に供給される。操作子32の操作方向に応じて、異なるテーブル群(「押鍵」側テーブル群又は「離鍵」側テーブル群)を用いてタッチ反力情報の位置項を算出することで、位置情報posに応じてテーブル群79から出力される位置項は、操作子32が正方向に操作されたか、あるいは、負方向の操作されたかによって異なる値になる。これにより、操作子32に与えられるタッチ反力に、操作子32の操作方向に応じたヒステリシス特性を持たせることができ、操作方向に応じた自然なタッチ感を実現できる。なお、テーブル群79を、正/負方向に応じた2つのテーブル群を設けることなく、1つのテーブル群で構成し、ヒステリシス回路78において、位置情報posに対して速度情報velに基づき加算演算若しくは減算演算を行うことで、テーブル出力(タッチ反力情報の位置項)に対して操作子32の操作方向に応じたヒステリシス特性を与えるようにしてもよい。
また、テーブル群79には、速度情報velが供給されており、供給された速度情報velに応じてテーブル群79を構成する複数のテーブルのうちの1つが選択される。速度情報velに基づき選択されたテーブルから、位置情報posに応じたタッチ反力情報の位置項を読み出す。よって、テーブルテーブル群79から出力される位置項は、位置情報posと速度情報velとを考慮した値が出力される。線形補間変換部87では、テーブル群79からの出力を線形補間して出力する(ここでは演算を容易にさせるために線形補間としたが、より微妙な補間値を得るために、Exponentialなどの非線形補間としてもよいことは当然であり、以下に述べる線形補間についても同様である)。
【0027】
マルチプレクサ71から取り込んだ速度情報velはテーブル群80に供給される。テーブル群80には、位置情報posが供給されており、供給された位置情報posに応じてテーブル群80を構成する複数のテーブルのうちの1つが選択される。そして、位置情報posに基づき選択されたテーブルから、速度情報velに応じたタッチ反力情報の速度項を読み出す。線形補間変換部88では、テーブル群80からの出力を線形補間して出力する。
マルチプレクサ72から取り込んだ加速度情報aclはテーブル群81に供給される。テーブル群81には、位置情報posが供給されており、供給された位置情報posに応じてテーブル群81を構成する複数のテーブルのうちの1つが選択され、位置情報posに基づき選択されたテーブルから、加速度情報aclに応じたタッチ反力情報の加速度項を読み出す。線形補間変換部89では、テーブル群81からの出力を線形補間して出力する。なお、テーブル群81は、加速度情報aclが入力されるのではなく、速度情報velが入力されて、その出力が加速度項と成るようなデータテーブルで構成されてもよい。
また、外部入力auxから供給されるパラメータ設定値はテーブル82に供給され、テーブル82から該パラメータ設定値に応じたテーブル出力が線形補間変換部90を介して出力される。外部入力auxから供給されるパラメータとしては、例えば、タッチ反力の効き具合を調整するパラメータ等がある。
【0028】
このようにして生成された位置項、速度項、加速度項の各値を示すデータが、加算器83、84にて加算され、タッチ反力情報を示すデータが合成される。このとき、加算器85にて他のパラメータ値(例えば反力の効き具合を調整するパラメータ)も加算合成すれば、タッチ反力の効き具合を適宜調整できる。なお、このタッチ反力情報の合成に際しては、各項に異なる重み付けを付与する(例えば、速度項、加速度項及びその他パラメータに対して重み付けする)。こうしてX軸センサ部40から出力された位置情報pos、速度情報vel及び加速度情報aclに基づくタッチ反力情報が生成される。このタッチ反力情報はモータ推力補正テーブル群86に供給される。モータ推力補正テーブル群86には位置情報posもまた供給されており、供給された位置情報posに応じて複数のモータ推力補正テーブルのうち1つが選択され、該選択されたモータ推力補正テーブルから入力されたタッチ反力情報のデータに対応する推力補正値が読み出される。これによりモータの推力を補正できる。そうしてテーブル群86の出力(タッチ反力用の駆動信号)がドライバ20(図2参照)を介して出力される。このタッチ反力用の駆動信号によってX軸モータ部50を回動することで、操作子32に対してX軸に関するタッチ反力(仮想現実的力覚)を付与できる。また、タッチ反力情報のデータをアナログ信号に変換し、この信号を画面表示機能で画面表示するパラメータの1つとして利用することもできる。
Y軸センサ部41及びZ軸センサ部からのセンサ出力(位置情報pos、速度情報vel及び加速度情報acl)も夫々マルチプレクサ70、71、72に入力され上述と同様の処理を時分割で行い、Y軸センサ部41及びZ軸センサ部からのセンサ出力に基づくタッチ反力情報が合成される。このように各軸毎のタッチ反力情報を位置、速度及び加速度の3つのパラメータに基づき生成することで、操作子32の操作位置変化のみならず時間的変化にも応じた反力を発生させることができる。なお、マルチプレクサ70〜73を使用することで、例えば複数の制御装置30でのX軸、Y軸、Z軸のセンサ出力を多重化処理することもできる。
なお、タッチ反力情報の生成に用いるパラメータは(タッチデータテーブルに入力されるパラメータ)は、上記3つのパラメータを全て用いる必要は必ずしもなく、位置、速度及び加速度の何れか1つを用いてもよいし、あるいはそれらを適宜組み合わせて利用してもよい。
【0029】
なお、上述の実施例では、楽音要素たる音高、音色、音量等を用いて模範操作情報を決定する例について、つまり楽器演奏動作における反力制御について説明したが、本発明に係る制御装置の利用形態としては、上述の例に限らず、例えば、模範操作情報を自動演奏データのテンポ情報やベロシティ情報から算出することで、操作者に楽曲の指揮動作を学ばせるような構成も可能である。また、演奏に関する各種動作に限らず、操作の模範となるデータに基づく所定の動作を学ばせるようなものであれば、例えば、各種ゲーム入力やCADの入力等に本発明を適用可能である。
また、模範操作情報に基づく比較対象となる操作状態としては、上述例のような「操作位置」に限らず、「操作速度」あるいは「操作加速度」であってもよい。
【0030】
【発明の効果】
以上説明した通り、この発明によれば、供給手段から模範演奏情報が供給され、該供給された模範演奏情報に含まれる複数の楽音要素を複数の軸の1つずつに割り当て、該複数の軸のそれぞれに割り当てられた楽音要素の値に基づき模範操作情報が作成され、該模範操作情報に基づく操作子がとるべき模範の操作状態と、操作子が実際に操作されたときの各軸毎の操作子の操作状態との相違に応じた複数の軸毎の反力が操作子に付与されるので、操作者は与えられた反力に応じて、模範操作情報が示す正しい操作状態と実際に自身が行った操作状態との違いを直接的に感知でき、操作方法の学習、習得を効率的に行えるようになるという優れた効果を奏する。また、操作者による演奏入力(楽音信号の入力)に際して、操作子の操作に対して適切な力覚反力を付与することができるという優れた効果を奏する。
【図面の簡単な説明】
【図1】 (a)は本発明の一実施例に係る制御装置の外観を示す側面図、(b)は、(a)に示す装置を上から見た平面図。
【図2】 同実施例に係る制御装置のハードウェア構成例を示すブロック図。
【図3】 同実施例に係る制御装置の機能ブロック図。
【図4】 (a)は、図1に示す操作子32の駆動機構を抽出して示す概略斜視図であり、(b)は(a)におけるギヤボックスの詳細構成例を示す概略図。
【図5】 図3に示すのタッチ付与機能の詳細を説明するためのブロック図。
【符号の説明】
30 制御装置、31 基部、32 操作子、40 X軸センサ部、41 Y軸センサ部、42 Z軸センサ部、50 X軸モータ部、51 Y軸モータ部、52 Z軸モータ部、1 CPU、2 プログラムROM、3 データROM、4キースケールROM、5 RAM、6 パラメータテーブル、9 インターフェース、13 音源、20 ドライバ、21 アクチュエータ

Claims (2)

  1. 操作者の操作に応じて、複数のの各々を基準した複数の方向に変位操作可能な操作子と、
    前記操作子の複数の軸毎の操作状態を検出する検出手段と、
    複数の楽音要素を含む模範演奏情報を供給する供給手段と、
    前記供給手段から供給された模範演奏情報に含まれる複数の楽音要素を前記複数の軸の1つずつに割り当て、該複数の軸のそれぞれに割り当てられた楽音要素の値に基づき、前記操作子がとるべき操作状態を示す模範操作情報を、該複数の軸毎に生成する模範操作情報生成手段と、
    前記検出手段で検出された前記複数の軸毎の操作子の操作状態と前記模範操作情報生成手段で生成された該複数の軸毎の模範操作情報が示す操作状態との相違に応じた反力情報を、各軸毎に発生する反力情報発生手段と、
    前記反力情報発生手段で発生した反力情報に応じた前記複数の軸毎の反力を前記操作子に付与する反力付与手段と
    を具える制御装置。
  2. 前記操作子の複数の軸に複数の楽音要素を対応づけて、前記検出手段により検出された複数の軸毎の操作状態の検出データに応じて、各軸に対応する楽音要素の値を設定若しくは制御してなる楽音信号を発生する楽音信号発生手段を更に具えた請求項1に記載の制御装置。
JP2003099613A 2003-04-02 2003-04-02 制御装置 Expired - Fee Related JP4019996B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003099613A JP4019996B2 (ja) 2003-04-02 2003-04-02 制御装置
US10/812,888 US7217881B2 (en) 2003-04-02 2004-03-31 Control apparatus with operator member controllable by reactive force

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003099613A JP4019996B2 (ja) 2003-04-02 2003-04-02 制御装置

Publications (2)

Publication Number Publication Date
JP2004309587A JP2004309587A (ja) 2004-11-04
JP4019996B2 true JP4019996B2 (ja) 2007-12-12

Family

ID=33095210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003099613A Expired - Fee Related JP4019996B2 (ja) 2003-04-02 2003-04-02 制御装置

Country Status (2)

Country Link
US (1) US7217881B2 (ja)
JP (1) JP4019996B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5082730B2 (ja) * 2007-10-02 2012-11-28 ヤマハ株式会社 音データ生成装置および方向センシング発音楽器
FR2931273B1 (fr) * 2008-05-15 2013-01-04 Univ Compiegne Tech Dispositif de selection d'un programme musical
JP5223490B2 (ja) * 2008-06-24 2013-06-26 ヤマハ株式会社 電子鍵盤楽器のペダルの力覚制御装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5661253A (en) * 1989-11-01 1997-08-26 Yamaha Corporation Control apparatus and electronic musical instrument using the same
US6147674A (en) * 1995-12-01 2000-11-14 Immersion Corporation Method and apparatus for designing force sensations in force feedback computer applications
JP4354540B2 (ja) 1996-10-18 2009-10-28 ヤマハ株式会社 力覚駆動装置、力覚付与方法および記録媒体
US6067077A (en) * 1998-04-10 2000-05-23 Immersion Corporation Position sensing for force feedback devices
US6703550B2 (en) * 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
JP4314810B2 (ja) * 2002-11-18 2009-08-19 富士ゼロックス株式会社 触覚インタフェース装置

Also Published As

Publication number Publication date
JP2004309587A (ja) 2004-11-04
US7217881B2 (en) 2007-05-15
US20040196261A1 (en) 2004-10-07

Similar Documents

Publication Publication Date Title
JP3772491B2 (ja) 鍵盤用力覚制御装置、鍵盤用力覚制御方法および記憶媒体
WO2012051664A1 (en) Methods devices and systems for creating control signals
JP4131278B2 (ja) 鍵盤楽器用力覚制御装置
JP4375200B2 (ja) 力覚制御用基礎情報出力装置
JP4639795B2 (ja) 楽器の演奏駆動装置、鍵盤楽器の演奏駆動システム及び鍵盤楽器。
JP5051530B2 (ja) 演奏評価装置および演奏評価処理のプログラム
JP4019996B2 (ja) 制御装置
JP4665811B2 (ja) 演奏装置
JP2956180B2 (ja) 電子楽器
JPH0511765A (ja) 操作装置
JP4013806B2 (ja) 演奏情報入力装置
JP4039761B2 (ja) 楽音コントローラ
JP4882443B2 (ja) 演奏装置
JP3852441B2 (ja) 鍵盤用力覚制御装置および記憶媒体
JP3755528B2 (ja) 鍵盤用力覚制御装置および記憶媒体
US11640202B2 (en) Motion capture for performance art
US20230386441A1 (en) Electronic musical instrument, key scanning method and non-transitory computer readable medium
JP3985706B2 (ja) ミキサ装置
JP6700891B2 (ja) ペダル操作子の制御装置
JP3372048B2 (ja) 自動演奏装置
JPH07111631B2 (ja) 電子楽器
JP3387115B2 (ja) パラメータ設定装置
JP2006098517A (ja) 動作表現装置
EP2630557A1 (en) Methods devices and systems for creating control signals
JP2003195865A (ja) 演奏教示装置、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070605

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070917

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101005

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101005

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111005

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111005

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121005

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121005

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131005

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees