JP6776788B2 - 演奏制御方法、演奏制御装置およびプログラム - Google Patents

演奏制御方法、演奏制御装置およびプログラム Download PDF

Info

Publication number
JP6776788B2
JP6776788B2 JP2016200130A JP2016200130A JP6776788B2 JP 6776788 B2 JP6776788 B2 JP 6776788B2 JP 2016200130 A JP2016200130 A JP 2016200130A JP 2016200130 A JP2016200130 A JP 2016200130A JP 6776788 B2 JP6776788 B2 JP 6776788B2
Authority
JP
Japan
Prior art keywords
performance
music
data
control
automatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016200130A
Other languages
English (en)
Other versions
JP2018063295A (ja
Inventor
陽 前澤
陽 前澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2016200130A priority Critical patent/JP6776788B2/ja
Priority to PCT/JP2017/035824 priority patent/WO2018070286A1/ja
Priority to CN201780062383.7A priority patent/CN109804427B/zh
Publication of JP2018063295A publication Critical patent/JP2018063295A/ja
Priority to US16/376,714 priority patent/US10720132B2/en
Application granted granted Critical
Publication of JP6776788B2 publication Critical patent/JP6776788B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/40Rhythm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10GREPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00Means for the representation of music
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10GREPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G3/00Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
    • G10G3/04Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/005Musical accompaniment, i.e. complete instrumental rhythm synthesis added to a performed melody, e.g. as output by drum machines
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/071Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for rhythm pattern analysis or rhythm style recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005Non-interactive screen display of musical or status data
    • G10H2220/015Musical staff, tablature or score displays, e.g. for score reading during a performance.
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/325Synchronizing two or more audio tracks or files according to musical features or musical timings

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)

Description

本発明は、自動演奏を制御する技術に関する。
例えば特許文献1に開示される通り、楽曲の演奏を解析することで、楽曲において現に演奏されている位置(以下「演奏位置」という)を推定するスコアアライメント技術が従来から提案されている。
特開2015−79183号公報
他方、楽曲の演奏内容を表す演奏データを利用して鍵盤楽器等の楽器を発音させる自動演奏技術が従来から普及している。前述の演奏位置の推定結果を自動演奏に適用すれば、演奏者による楽器の演奏(以下「実演奏」という)に同期した自動演奏が実現され得る。しかし、演奏位置の推定結果を自動演奏に実際に適用する場面では、種々の問題が発生し得る。例えば、楽曲のうち実演奏のテンポが極端に変動する部分では、自動演奏を実演奏に高精度に追従させることは実際には困難である。以上の事情を考慮して、本発明は、自動演奏を実演奏に同期させる場合に想定される種々の課題の解決を目的とする。
以上の課題を解決するために、本発明の好適な態様に係る演奏制御方法は、コンピュータが、演奏者による楽曲の演奏を解析することにより前記楽曲の演奏位置を推定し、前記楽曲の演奏内容を指定する演奏データに応じた自動演奏を前記演奏位置の進行に同期するように演奏装置に実行させ、前記演奏データとは独立の制御データに応じて前記演奏位置の進行と前記自動演奏との関係を制御する。
また、本発明の好適な態様に係る演奏制御装置は、演奏者による楽曲の演奏を解析することにより前記楽曲の演奏位置を推定する演奏解析部と、前記楽曲の演奏内容を指定する演奏データに応じた自動演奏を前記演奏位置の進行に同期するように演奏装置に実行させる演奏制御部とを具備し、前記演奏制御部は、前記演奏データとは独立の制御データに応じて前記演奏位置の進行と前記自動演奏との関係を制御する。
本発明の第1実施形態に係る自動演奏システムの構成図である。 楽曲ファイルの模式図である。 演奏画像の模式図である。 制御装置が演奏装置に自動演奏を実行させる動作のフローチャートである。 楽曲ファイルの編集画面の模式図である。 制御装置が制御データを利用する動作のフローチャートである。 第2実施形態に係る自動演奏システムの構成図である。
<第1実施形態>
図1は、本発明の第1実施形態に係る自動演奏システム100の構成図である。自動演奏システム100は、複数の演奏者Pが楽器を演奏する音響ホール等の空間に設置され、複数の演奏者Pによる楽曲(以下「対象楽曲」という)の演奏に並行して対象楽曲の自動演奏を実行するコンピュータシステムである。なお、演奏者Pは、典型的には楽器の演奏者であるが、対象楽曲の歌唱者も演奏者Pであり得る。また、実際には楽器の演奏を担当しない関係者(例えば対象楽曲の演奏を主導する指揮者または音響監督)も演奏者Pに含まれ得る。図1に例示される通り、第1実施形態の自動演奏システム100は、演奏制御装置10と演奏装置12と収音装置14と表示装置16とを具備する。演奏制御装置10は、自動演奏システム100の各要素を制御するコンピュータシステムであり、例えばパーソナルコンピュータ等の情報処理装置で実現される。
演奏装置12は、演奏制御装置10による制御のもとで対象楽曲の自動演奏を実行する。第1実施形態の演奏装置12は、対象楽曲を構成する複数のパートのうち、複数の演奏者Pが演奏するパート以外のパートについて自動演奏を実行する。例えば、対象楽曲の主旋律のパートが複数の演奏者Pにより演奏され、対象楽曲の伴奏のパートの自動演奏を演奏装置12が実行する。
図1に例示される通り、第1実施形態の演奏装置12は、駆動機構122と発音機構124とを具備する自動演奏楽器(例えば自動演奏ピアノ)である。発音機構124は、自然楽器の鍵盤楽器と同様に、鍵盤の各鍵の変位に連動して弦(発音体)を発音させる打弦機構を鍵毎に具備する。任意の1個の鍵に対応する打弦機構は、弦を打撃可能なハンマと、当該鍵の変位をハンマに伝達する複数の伝達部材(例えばウィペン,ジャック,レペティションレバー)とを具備する。駆動機構122は、発音機構124を駆動することで対象楽曲の自動演奏を実行する。具体的には、駆動機構122は、各鍵を変位させる複数の駆動体(例えばソレノイド等のアクチュエータ)と、各駆動体を駆動する駆動回路とを含んで構成される。演奏制御装置10からの指示に応じて駆動機構122が発音機構124を駆動することで対象楽曲の自動演奏が実現される。なお、演奏制御装置10を演奏装置12に搭載することも可能である。
図1に例示される通り、演奏制御装置10は、制御装置22と記憶装置24とを具備するコンピュータシステムで実現される。制御装置22は、例えばCPU(Central Processing Unit)等の処理回路であり、自動演奏システム100を構成する複数の要素(演奏装置12,収音装置14および表示装置16)を統括的に制御する。記憶装置24は、例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せで構成され、制御装置22が実行するプログラムと制御装置22が使用する各種のデータとを記憶する。なお、自動演奏システム100とは別体の記憶装置24(例えばクラウドストレージ)を用意し、移動体通信網またはインターネット等の通信網を介して制御装置22が記憶装置24に対する書込および読出を実行することも可能である。すなわち、記憶装置24は自動演奏システム100から省略され得る。
本実施形態の記憶装置24は、対象楽曲の楽曲ファイルFを記憶する。楽曲ファイルFは、例えばMIDI(Musical Instrument Digital Interface)規格に準拠した形式のファイル(SMF:Standard MIDI File)である。図2に例示される通り、第1実施形態の楽曲ファイルFは、参照データRと演奏データDと制御データCとを含む1個のファイルである。
参照データRは、複数の演奏者Pによる対象楽曲の演奏内容(例えば対象楽曲の主旋律のパートを構成する音符列)を指定する。具体的には、参照データRは、演奏内容(発音/消音)を指定する指示データと、当該指示データの発生時点を指定する時間データとが時系列に配列されたMIDI形式の時系列データである。他方、演奏データDは、演奏装置12による自動演奏の演奏内容(例えば対象楽曲の伴奏のパートを構成する音符列)を指定する。演奏データDは、参照データRと同様に、演奏内容を指定する指示データと当該指示データの発生時点を指定する時間データとが時系列に配列されたMIDI形式の時系列データである。参照データRおよび演奏データDの各々における指示データは、音高と強度とを指定して発音および消音等の各種のイベントを指示する。また、参照データRおよび演奏データDの各々における時間データは、例えば相前後する指示データの間隔を指示する。第1実施形態の演奏データDは、対象楽曲のテンポ(演奏速度)も指定する。
制御データCは、演奏データDに応じた演奏装置12の自動演奏を制御するためのデータである。制御データCは、参照データRおよび演奏データDとともに1個の楽曲ファイルFを構成するが、参照データRおよび演奏データDからは独立したデータである。具体的には、制御データCは、参照データRおよび演奏データDとは別個に編集され得る。すなわち、参照データRおよび演奏データDの内容に影響せずに制御データCを単独で編集することが可能である。例えば、参照データRと演奏データDと制御データCとは、1個の楽曲ファイルFにおける相異なるMIDIチャンネルのデータである。以上のように制御データCが参照データRおよび演奏データDとともに1個の楽曲ファイルFに含まれる構成によれば、制御データCが参照データRおよび演奏データDとは別個のファイルである構成と比較して、制御データCの取扱いが容易であるという利点がある。なお、制御データCの具体的な内容については後述する。
図1の収音装置14は、複数の演奏者Pによる楽器の演奏で発音された音(例えば楽器音または歌唱音)を収音した音響信号Aを生成する。音響信号Aは、音の波形を表す信号である。なお、電気弦楽器等の電気楽器から出力される音響信号Aを利用することも可能である。したがって、収音装置14は省略され得る。なお、複数の収音装置14が生成する信号を加算することで音響信号Aを生成することも可能である。
表示装置16は、演奏制御装置10(制御装置22)による制御のもとで各種の画像を表示する。例えば液晶表示パネルまたはプロジェクタが表示装置16の好適例である。複数の演奏者Pは、表示装置16が表示する画像を、対象楽曲の演奏に並行して随時に視認することが可能である。
制御装置22は、記憶装置24に記憶されたプログラムを実行することで、対象楽曲の自動演奏を実現するための複数の機能(演奏解析部32,演奏制御部34および表示制御部36)を実現する。なお、制御装置22の機能を複数の装置の集合(すなわちシステム)で実現した構成、または、制御装置22の機能の一部または全部を専用の電子回路が実現した構成も採用され得る。また、収音装置14と演奏装置12と表示装置16とが設置された音響ホール等の空間から離間した位置にあるサーバ装置が、制御装置22の一部または全部の機能を実現することも可能である。
演奏解析部32は、対象楽曲のうち複数の演奏者Pが現に演奏している位置(以下「演奏位置」という)Tを推定する。具体的には、演奏解析部32は、収音装置14が生成する音響信号Aを解析することで演奏位置Tを推定する。演奏解析部32による演奏位置Tの推定は、複数の演奏者Pによる演奏(実演奏)に並行して実時間的に順次に実行される。例えば、演奏位置Tの推定は所定の周期で反復される。
第1実施形態の演奏解析部32は、音響信号Aが表す音と楽曲ファイルF内の参照データRが示す演奏内容(すなわち複数の演奏者Pが担当する主旋律のパートの演奏内容)とを相互に照合することで演奏位置Tを推定する。演奏解析部32による演奏位置Tの推定には、公知の音響解析技術(スコアアライメント技術)が任意に採用され得る。例えば、特許文献1に開示された解析技術を演奏位置Tの推定に利用することが可能である。また、ニューラルネットワークまたは多分木等の識別モデルを演奏位置Tの推定に利用することも可能である。例えば、実演奏で発音された音の特徴量を学習データとして識別モデルの機械学習(例えばディープラーニング)が事前に実行される。演奏解析部32は、実際に自動演奏が実行される場面で音響信号Aから抽出した特徴量を機械学習後の識別モデルに適用することで演奏位置Tを推定する。
図1の演奏制御部34は、楽曲ファイルF内の演奏データDに応じた自動演奏を演奏装置12に実行させる。第1実施形態の演奏制御部34は、演奏解析部32が推定する演奏位置Tの進行(時間軸上の移動)に同期するように演奏装置12に自動演奏を実行させる。具体的には、演奏制御部34は、対象楽曲のうち演奏位置Tに対応する時点について演奏データDが指定する演奏内容を演奏装置12に対して指示する。すなわち、演奏制御部34は、演奏データDに含まれる各指示データを演奏装置12に対して順次に供給するシーケンサとして機能する。
演奏装置12は、演奏制御部34からの指示に応じて対象楽曲の自動演奏を実行する。実演奏の進行とともに演奏位置Tは対象楽曲内の後方に経時的に移動するから、演奏装置12による対象楽曲の自動演奏も演奏位置Tの移動とともに進行する。すなわち、実演奏と同等のテンポで演奏装置12による対象楽曲の自動演奏が実行される。以上の説明から理解される通り、対象楽曲の各音符の強度またはフレーズ表現等の音楽表現を演奏データDで指定された内容に維持したまま自動演奏が実演奏に同期するように、演奏制御部34は演奏装置12に自動演奏を指示する。したがって、例えば現在では生存していない過去の演奏者等の特定の演奏者の演奏を表す演奏データDを使用すれば、その演奏者に特有の音楽表現を自動演奏で忠実に再現しながら、当該演奏者と実在の複数の演奏者Pとが恰も相互に呼吸を合わせて協調的に合奏しているかのような雰囲気を醸成することが可能である。
なお、演奏制御部34が演奏データD内の指示データの出力により演奏装置12に自動演奏を指示してから演奏装置12が実際に発音する(例えば発音機構124のハンマが打弦する)までには、実際には数百ミリ秒程度の時間が必要である。すなわち、演奏装置12による実際の発音は演奏制御部34からの指示に対して遅延し得る。そこで、演奏制御部34が、対象楽曲のうち演奏解析部32が推定した演奏位置Tに対して後方(未来)の時点の演奏を演奏装置12に指示することも可能である。
図1の表示制御部36は、演奏装置12による自動演奏の進行を視覚的に表現した画像(以下「演奏画像」という)を表示装置16に表示させる。具体的には、表示制御部36は、演奏画像を表す画像データを生成して表示装置16に出力することで演奏画像を表示装置16に表示させる。第1実施形態の表示制御部36は、演奏装置12による自動演奏に連動して動的に変化する動画像を演奏画像として表示装置16に表示させる。
図3は、演奏画像Gの表示例である。図3に例示される通り、演奏画像Gは、例えば仮想空間内で楽器を演奏する仮想的な演奏者(以下「仮想演奏者」という)Hを表現した動画像である。表示制御部36は、演奏装置12に対する発音または消音の指示(発音を指示する指示データの出力)の時点で仮想演奏者Hによる押鍵または離鍵が模擬されるように、演奏装置12による自動演奏に並行して演奏画像Gを経時的に変化させる。したがって、表示装置16が表示する演奏画像Gを視認した各演奏者Pは、演奏装置12が対象楽曲の各音符を発音する時点を仮想演奏者Hの動作から視覚的に把握することが可能である。
図4は、制御装置22の動作を例示したフローチャートである。例えば、所定の周期で発生する割込を契機として、複数の演奏者Pによる対象楽曲の実演奏に並行して図4の処理が実行される。図4の処理を開始すると、制御装置22(演奏解析部32)は、収音装置14から供給される音響信号Aの解析により演奏位置Tを推定する(SA1)。制御装置22(演奏制御部34)は、演奏位置Tに応じた自動演奏を演奏装置12に対して指示する(SA2)。具体的には、制御装置22は、演奏解析部32が推定する演奏位置Tの進行に同期するように演奏装置12に対象楽曲の自動演奏を実行させる。制御装置22(表示制御部36)は、自動演奏の進行を表現する演奏画像Gを表示装置16に表示させ、自動演奏の進行とともに演奏画像Gを変化させる。
以上に説明した通り、第1実施形態では、演奏位置Tの進行に同期するように演奏装置12による自動演奏が実行される一方、演奏装置12による自動演奏の進行を表す演奏画像Gが表示装置16に表示される。したがって、演奏装置12による自動演奏の進行を各演奏者Pが視覚的に確認して自身の演奏に反映させることが可能である。以上の構成によれば、複数の演奏者Pによる実演奏と演奏装置12による自動演奏とが相互に作用し合う自然な合奏が実現される。すなわち、各演奏者Pが仮想演奏者Hと恰も実際に合奏しているかのような感覚で演奏できる。第1実施形態では特に、自動演奏による演奏内容に応じて動的に変化する演奏画像Gが表示装置16に表示されるから、複数の演奏者Pが自動演奏の進行を視覚的および直観的に把握できるという利点がある。
楽曲ファイルFに含まれる制御データCについて以下に詳述する。第1実施形態の演奏制御部34は、概略的には、楽曲ファイルF内の制御データCに応じて演奏位置Tの進行と演奏装置12による自動演奏との関係を制御する。制御データCは、対象楽曲のうち制御対象となる部分(以下「制御対象部分」という)を指定するデータである。例えば、任意の1個の制御対象部分は、対象楽曲の開始点を起点とした当該部分の始点の時刻と継続長(または終点の時刻)とで指定される。対象楽曲内に1個以上の制御対象部分が制御データCにより指定される。
図5は、楽曲ファイルFの管理者が楽曲ファイルFを編集する場合に表示装置16に表示される画面(以下「編集画面」という)の説明図である。図5に例示される通り、編集画面は、領域X1と領域X2と領域X3とを包含する。領域X1および領域X2の各々には、時間軸(横軸)と音高軸(縦軸)とが設定される。参照データRが示す主旋律のパートの音符列が領域X1に表示され、演奏データDが示す伴奏のパートの音符列が領域X2に表示される。管理者は、領域X1に対する操作で参照データRの編集を指示し、領域X2に対する操作で演奏データDの編集を指示することが可能である。
他方、領域X3には、領域X1および領域X2と共通の時間軸(横軸)が設定される。管理者は、領域X3に対する操作で、対象楽曲のうち任意の1個以上の区間を制御対象部分Qとして指定することが可能である。制御データCは、領域X3に指示された制御対象部分Qを指定する。領域X1の参照データRと領域X2の演奏データDと領域X3の制御データCとの各々は相互に独立に編集することが可能である。すなわち、参照データRおよび演奏データDを変更することなく制御データCが変更され得る。
図6は、制御装置22が制御データCを使用する処理のフローチャートである。例えば、自動演奏の開始後に所定の周期で発生する割込を契機として、図4の処理による自動演奏に並行して図6の処理が実行される。図6の処理を開始すると、制御装置22(演奏制御部34)は、制御対象部分Qが到来したか否かを判定する(SB1)。制御対象部分Qが到来した場合(SB1:YES)、制御装置22は、制御データCに応じた処理を実行する(SB2)。制御対象部分Qが到来していない場合(SB1:NO)、制御データCに応じた処理は実行されない。
第1実施形態の楽曲ファイルFは、演奏装置12による自動演奏のテンポを制御するための制御データC1を制御データCとして包含する。制御データC1は、対象楽曲内の制御対象部分Qにおける自動演奏のテンポの初期化を指示するデータである。具体的には、第1実施形態の演奏制御部34は、対象楽曲のうち制御データC1により指定される制御対象部分Qにおいて、演奏装置12による自動演奏のテンポを、演奏データDで指定される所定値に初期化し、制御対象部分Q内において当該所定値に維持する(SB2)。他方、制御対象部分Q以外の区間では、演奏制御部34は、前述の通り、複数の演奏者Pによる実演奏と同等のテンポで自動演奏を進行させる。以上の説明から理解される通り、対象楽曲のうち制御対象部分Qの開始前には実演奏と同等の可変のテンポで進行していた自動演奏が、制御対象部分Qの到来を契機として、演奏データDで指定された標準的なテンポに初期化される。制御対象部分Qが経過すると、実演奏の演奏位置Tに応じた自動演奏のテンポの制御が再開され、自動演奏のテンポは実演奏と同等の可変のテンポに設定される。
制御データC1は、例えば、対象楽曲のうち複数の演奏者Pによる実演奏のテンポが変動し易い箇所が制御対象部分Qに内包されるように事前に生成される。したがって、実演奏のテンポに連動して自動演奏のテンポが不自然に変動する可能性が低減され、適切なテンポの自動演奏を実現することが可能である。
<第2実施形態>
本発明の第2実施形態を説明する。なお、以下に例示する各形態において作用または機能が第1実施形態と同様である要素については、第1実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
第2実施形態の楽曲ファイルFは、演奏装置12による自動演奏のテンポを制御するための制御データC2を制御データCとして包含する。制御データC2は、対象楽曲内の制御対象部分Qにおける自動演奏のテンポの保持を指示するデータである。具体的には、第2実施形態の演奏制御部34は、対象楽曲のうち制御データC2により指定される制御対象部分Qにおいて、演奏装置12による自動演奏のテンポを、当該制御対象部分Qの開始の直前における自動演奏のテンポに維持する(SB2)。すなわち、制御対象部分Qでは、第1実施形態と同様に、実演奏のテンポが変動しても自動演奏のテンポは変動しない。他方、制御対象部分Q以外の区間では、演奏制御部34は、第1実施形態と同様に、複数の演奏者Pによる実演奏と同等のテンポで自動演奏を進行させる。以上の説明から理解される通り、対象楽曲のうち制御対象部分Qの開始前には実演奏と同等の可変のテンポで進行していた自動演奏が、制御対象部分Qの到来を契機として、当該制御対象部分Qの直前のテンポに固定される。制御対象部分Qが経過すると、実演奏の演奏位置Tに応じた自動演奏のテンポの制御が再開され、自動演奏のテンポは実演奏と同等のテンポに設定される。
制御データC2は、例えば、実演奏のテンポは音楽的な表現のために変動し得るけれども自動演奏のテンポは一定に維持されるべき箇所が制御対象部分Qに内包されるように事前に生成される。したがって、対象楽曲のうち実演奏のテンポが変動しても自動演奏のテンポは保持すべき部分において、適切なテンポの自動演奏を実現することが可能である。
以上の説明から理解される通り、第1実施形態および第2実施形態の演奏制御部34は、対象楽曲のうち制御データC(C1,C2)により指定される制御対象部分Qにおいて、自動演奏を演奏位置Tの進行に同期させる制御を解除する。
<第3実施形態>
第3実施形態の楽曲ファイルFは、演奏位置Tの進行と自動演奏との関係を制御するための制御データC3を制御データCとして包含する。制御データC3は、対象楽曲内の制御対象部分Qにおいて演奏位置Tの進行を自動演奏に反映させる度合(以下「演奏反映度」という)を指示するデータである。具体的には、制御データC3は、対象楽曲内の制御対象部分Qと、当該制御対象部分Qにおける演奏反映度の時間的な変動とを指定する。対象楽曲内の複数の制御対象部分Qの各々について演奏反映度の時間的な変動を制御データC3で指定することが可能である。第3実施形態の演奏制御部34は、対象楽曲内の制御対象部分Qにおいて、演奏装置12による自動演奏に関する演奏反映度を制御データC3に応じて制御する。すなわち、演奏反映度が制御データC3による指示に応じた数値に変動するように、演奏制御部34は、演奏位置Tの進行に応じた指示データの出力を制御する。他方、制御対象部分Q以外の区間では、演奏制御部34は、自動演奏に関する演奏反映度が所定値に保持されるように、演奏位置Tに応じて演奏装置12による自動演奏を制御する。
以上に説明した通り、第3実施形態では、対象楽曲の制御対象部分Qにおける演奏反映度が制御データC3に応じて制御される。したがって、自動演奏を実演奏に追従させる度合を対象楽曲内の特定の部分にて変動させた多様な自動演奏を実現することが可能である。
<第4実施形態>
図7は、第4実施形態における自動演奏システム100の構成図である。第4実施形態の自動演奏システム100は、第1実施形態と同様の要素(演奏制御装置10,演奏装置12,収音装置14および表示装置16)に加えて撮像装置18を具備する。撮像装置18は、複数の演奏者Pを撮像した画像信号Vを生成する。画像信号Vは、複数の演奏者Pが演奏する様子の動画像を表す信号である。なお、複数の撮像装置18を設置することも可能である。
図7に例示される通り、第1実施形態における演奏制御装置10の制御装置22は、記憶装置24に記憶されたプログラムを実行することで、第1実施形態と同様の要素(演奏解析部32,演奏制御部34および表示制御部36)に加えて合図検出部38としても機能する。
複数の演奏者Pのうち対象楽曲の演奏を主導する特定の演奏者P(以下「特定演奏者P」という)は、対象楽曲の演奏の合図となる動作(以下「合図動作」という)を実行する。合図動作は、時間軸上の1個の時点(以下「目標時点」という)を指示する動作(ジェスチャー)である。例えば、特定演奏者Pが自身の楽器を持上げる動作、または特定演奏者Pが自身の身体を動かす動作が、合図動作の好適例である。目標時点は、例えば、対象楽曲の演奏の開始点、または、対象楽曲内で長時間にわたる休符から演奏が再開される時点である。特定演奏者Pは、目標時点に対して所定の時間(以下「合図間隔」という)だけ手前の時点で合図動作を実行する。合図間隔は、例えば対象楽曲の1拍分の時間長である。合図動作は、合図間隔の経過により目標時点が到来することを予告する動作であり、特定演奏者P以外の各演奏者Pによる演奏の契機となるほか、演奏装置12による自動演奏の契機として利用される。
図7の合図検出部38は、特定演奏者Pによる合図動作を検出する。具体的には、合図検出部38は、撮像装置18が特定演奏者Pを撮像した画像を解析することで合図動作を検出する。合図検出部38による合図動作の検出には、特定演奏者Pが合図動作の実行時に移動させる要素(例えば身体や楽器)を画像から抽出する画像認識処理と、当該要素の移動を検出する動体検出処理とを含む公知の画像解析技術が使用され得る。また、ニューラルネットワークまたは多分木等の識別モデルを合図動作の検出に利用することも可能である。例えば、特定演奏者Pによる演奏を撮像した画像信号から抽出された特徴量を学習データとして利用して、識別モデルの機械学習(例えばディープラーニング)が事前に実行される。合図検出部38は、実際に自動演奏が実行される場面で画像信号Vから抽出した特徴量を機械学習後の識別モデルに適用することで合図動作を検出する。
第4実施形態の演奏制御部34は、合図検出部38が検出する合図動作を契機として対象楽曲の自動演奏の開始を演奏装置12に指示する。具体的には、合図動作の時点から合図間隔だけ経過した目標時点で演奏装置12による対象楽曲の自動演奏が開始されるように、演奏制御部34は演奏装置12に対する自動演奏の指示(すなわち指示データの出力)を開始する。したがって、目標時点では、複数の演奏者Pによる対象楽曲の実演奏と演奏装置12による実演奏とが略同時に開始される。
第4実施形態の楽曲ファイルFは、合図検出部38が検出する合図動作に応じて演奏装置12による自動演奏を制御するための制御データC4を制御データCとして包含する。制御データC4は、合図動作を利用した自動演奏の制御を指示するデータである。具体的には、第4実施形態の演奏制御部34は、対象楽曲のうち制御データC4により指定される制御対象部分Qにおいて、合図検出部38が検出する合図動作に演奏装置12の自動演奏を同期させる。他方、制御対象部分Q以外の区間では、演奏制御部34は、合図検出部38が検出する合図動作に応じた自動演奏の制御を停止する。したがって、制御対象部分Q以外の区間では特定演奏者Pによる合図動作は自動演奏に反映されない。すなわち、制御データC4は、合図動作に応じた自動演奏の制御の許否を指示するデータである。
以上に説明した通り、第4実施形態では、対象楽曲のうち制御データC4により指定される制御対象部分Qにおいて自動演奏を合図動作に同期させる。したがって、特定演奏者Pによる合図動作に同期した自動演奏が実現される。他方、特定演奏者Pの意図しない動作が合図動作として誤検出される可能性がある。第4実施形態では、自動演奏と合図動作とを同期させる制御が対象楽曲内の制御対象部分Q内に制限される。したがって、制御対象部分Q以外の箇所で特定演奏者Pの合図動作が誤検出された場合でも、その合図動作が自動演奏に反映される可能性は低減されるという利点がある。
<第5実施形態>
第5実施形態の楽曲ファイルFは、演奏解析部32による演奏位置Tの推定を制御するための制御データC5を制御データCとして包含する。制御データC5は、演奏解析部32による演奏位置Tの推定の停止を指示するデータである。具体的には、第5実施形態の演奏解析部32は、対象楽曲のうち制御データC5により指定される制御対象部分Qにおいて演奏位置Tの推定を停止する。他方、制御対象部分Q以外の区間では、演奏解析部32は、第1実施形態と同様に、複数の演奏者Pによる実演奏に並行して演奏位置Tを順次に推定する。
制御データC5は、例えば、対象楽曲のうち演奏位置Tの正確な推定が困難である箇所が制御対象部分Qに内包されるように事前に生成される。すなわち、対象楽曲のうち演奏位置Tの誤推定が発生し易い箇所では演奏位置Tの推定が停止される。したがって、第5実施形態では、演奏解析部32が演奏位置Tを誤推定する可能性(ひいては演奏位置Tの誤推定の結果が自動演奏に反映される可能性)を低減することが可能である。また、制御対象部分Qの内外に関わらず演奏位置Tを推定する構成と比較して制御装置22の処理負荷が軽減されるという利点もある。
<第6実施形態>
第6実施形態の表示制御部36は、表示装置16に表示される演奏画像Gを変化させることで、対象楽曲内の目標時点を複数の演奏者Pに報知することが可能である。具体的には、表示制御部36は、仮想演奏者Hが合図動作を実行する様子を表現した動画像を演奏画像Gとして表示装置16に表示させることで、当該合図動作から所定の合図間隔だけ経過した時点を目標時点として各演奏者Pに報知する。なお、演奏装置12の自動演奏に並行して仮想演奏者Hによる通常の演奏動作が模擬されるように表示制御部36が演奏画像Gを変化させる動作は、対象楽曲の自動演奏の実行中に継続的に実行される。すなわち、仮想演奏者Hが通常の演奏動作に並行して突発的に合図動作を実行する様子が演奏画像Gにより模擬される。
第6実施形態の楽曲ファイルFは、表示制御部36による演奏画像の表示を制御するための制御データC6を制御データCとして包含する。制御データC6は、表示制御部36による目標時点の報知を指示するデータであり、目標時点を指示する合図動作を仮想演奏者Hが実行すべき箇所が制御対象部分Qに内包されるように事前に生成される。
第6実施形態の表示制御部36は、対象楽曲のうち制御データC6により指定される制御対象部分Qにおいて、表示装置16に表示される演奏画像Gを変化させることで、対象楽曲内の目標時点を各演奏者Pに報知する。具体的には、表示制御部36は、制御対象部分Qにおいて仮想演奏者Hにより合図動作が実行されるように演奏画像Gを変化させる。複数の演奏者Pは、表示装置16に表示された演奏画像Gを視認することで目標時点を把握し、当該目標時点にて実演奏を開始する。したがって、目標時点では、複数の演奏者Pによる対象楽曲の実演奏と演奏装置12による実演奏とが略同時に開始される。他方、制御対象部分Q以外の区間では、表示制御部36は、仮想演奏者Hが通常の演奏動作を継続的に実行する様子が演奏画像Gで表現される。
以上に説明した通り、第6実施形態では、対象楽曲のうち制御データC6により指定される制御対象部分Qにおいて、演奏画像Gの変化により対象楽曲の目標時点を各演奏者Pに視覚的に報知することが可能である。したがって、自動演奏と実演奏とを目標時点において相互に同期させることができる。
<変形例>
以上に例示した各態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
(1)第1実施形態ないし第6実施形態から任意に選択された2以上の形態は併合され得る。例えば、第1実施形態から第6実施形態で例示した複数の制御データC(C1〜C6)から任意に選択された2以上の制御データCを組合せて楽曲ファイルFに含めた構成も採用され得る。すなわち、
(A)制御データC1に応じた自動演奏のテンポの初期化(第1実施形態)、
(B)制御データC2に応じた自動演奏のテンポの保持(第2実施形態)、
(C)制御データC3に応じた演奏反映度の制御(第3実施形態)、
(D)制御データC4に応じて合図動作を自動演奏に反映させる動作(第4実施形態)、
(E)制御データC5に応じた演奏位置Tの推定の停止(第5実施形態)、および、
(F)制御データC6に応じた演奏画像Gの制御(第6実施形態)
から任意に選択された2以上の構成を併合することが可能である。なお、複数の制御データCを併用する構成では、制御対象部分Qは制御データC毎に個別に設定される。
(2)前述の実施形態では、撮像装置18が撮像した画像信号Vの解析で合図動作を検出したが、合図検出部38が合図動作を検出する方法は以上の例示に限定されない。例えば、特定演奏者Pの身体に装着された検出器(例えば加速度センサ等の各種のセンサ)の検出信号を解析することで合図検出部38が合図動作を検出することも可能である。ただし、撮像装置18が撮像した画像の解析により合図動作を検出する前述の第4実施形態の構成によれば、特定演奏者Pの身体に検出器を装着する場合と比較して、特定演奏者Pの演奏動作に対する影響を低減しながら合図動作を検出できるという利点がある。
(3)前述の各形態で例示した通り、自動演奏システム100は、制御装置22とプログラムとの協働で実現される。本発明の好適な態様に係るプログラムは、演奏者による対象楽曲の演奏を解析することにより対象楽曲の演奏位置Tを推定する演奏解析部32、および、対象楽曲の演奏内容を指定する演奏データDに応じた自動演奏を演奏位置Tの進行に同期するように演奏装置12に実行させる演奏制御部34としてコンピュータを機能させるプログラムであり、演奏制御部34は、演奏データDとは独立の制御データCに応じて演奏位置Tの進行と自動演奏との関係を制御する。以上に例示したプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。
記録媒体は、例えば非一過性(non-transitory)の記録媒体であり、CD-ROM等の光学式記録媒体が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。なお、「非一過性の記録媒体」とは、一過性の伝搬信号(transitory, propagating signal)を除く全てのコンピュータ読み取り可能な記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに配信することも可能である。
(4)以上に例示した具体的な形態から把握される本発明の好適な態様を以下に例示する。
<態様1>
本発明の好適な態様(態様1)に係る演奏制御方法は、コンピュータが、演奏者による楽曲の演奏を解析することにより前記楽曲の演奏位置を推定し、前記楽曲の演奏内容を指定する演奏データに応じた自動演奏を前記演奏位置の進行に同期するように演奏装置に実行させ、前記演奏データとは独立の制御データに応じて前記演奏位置の進行と前記自動演奏との関係を制御する。以上の態様では、演奏データとは独立の制御データに応じて演奏位置の進行と自動演奏との関係が制御されるから、演奏装置による自動演奏の制御に演奏データのみを使用する構成と比較して、自動演奏を実演奏に同期させる場合に想定される問題が低減されるように、演奏位置に応じて自動演奏を適切に制御することが可能である。
<態様2>
態様1の好適例(態様2)において、前記演奏位置の進行と前記自動演奏との関係の制御では、前記楽曲のうち前記制御データにより指定される部分において、前記自動演奏を前記演奏位置の進行に同期させる制御を解除する。以上の態様では、前記楽曲のうち前記制御データにより指定される部分において、前記自動演奏を前記演奏位置の進行に同期させる制御が解除される。したがって、楽曲のうち自動演奏を演奏位置の進行に同期させるべきでない部分について適切な自動演奏を実現することが可能である。
<態様3>
態様2の好適例(態様3)において、前記演奏位置の進行と前記自動演奏との関係の制御では、前記楽曲のうち前記制御データにより指定される部分において、前記自動演奏のテンポを、前記演奏データで指定される所定値に初期化する。以上の態様では、楽曲のうち制御データにより指定される部分において、自動演奏のテンポが、演奏データで指定される所定値に初期化される。したがって、制御データが指定する部分について、実演奏のテンポに連動して自動演奏のテンポが不自然に変動する可能性が低減されるという利点がある。
<態様4>
態様2の好適例(態様4)において、前記演奏位置の進行と前記自動演奏との関係の制御では、前記楽曲のうち前記制御データにより指定される部分において、前記自動演奏のテンポを、当該部分の直前における前記自動演奏のテンポに維持する。以上の態様では、楽曲のうち制御データにより指定される部分において、自動演奏のテンポが当該部分の直前でのテンポに維持される。したがって、楽曲のうち実演奏のテンポが変動しても自動演奏のテンポは保持すべき部分について適切なテンポの自動演奏を実現することが可能である。
<態様5>
態様1から態様4の何れかの好適例(態様5)において、前記演奏位置の進行と前記自動演奏との関係の制御では、前記楽曲のうち前記制御データにより指定される部分において、前記演奏位置の進行を前記自動演奏に反映させる度合を、前記制御データに応じて制御する。以上の態様では、楽曲のうち制御データにより指定される部分において、演奏位置の進行を自動演奏に反映させる度合が制御データに応じて制御される。したがって、自動演奏を実演奏に追従させる度合を対象楽曲内の特定の部分にて変動させた多様な自動演奏を実現することが可能である。
<態様6>
態様1から態様5の何れかの好適例(態様6)において、前記コンピュータが、前記楽曲の演奏者による合図動作を検出し、前記楽曲のうち前記制御データにより指定される部分において、前記自動演奏を前記合図動作に同期させる。以上の態様では、楽曲のうち制御データにより指定される部分において、前記自動演奏を合図動作に同期させる。したがって、演奏者による合図動作に同期した自動演奏が実現される。他方、自動演奏と合図動作とを同期させる制御は、楽曲のうち制御データにより指定される部分に制限される。したがって、当該部分とは無関係の箇所で合図動作が誤検出された場合でも、その合図動作が自動演奏に反映される可能性は低減される。
<態様7>
態様1から態様6の何れかの好適例(態様7)において、前記楽曲のうち前記制御データにより指定される部分において前記演奏位置の推定を停止する。以上の態様では、楽曲のうち制御データにより指定される部分において演奏位置の推定が停止される。したがって、例えば演奏位置の誤推定が発生し易い部分を制御データにより指定することで、演奏位置の誤推定の可能性を低減することが可能である。
<態様8>
態様1から態様7の何れかの好適例(態様8)において、前記コンピュータが、前記自動演奏の進行を表す演奏画像を表示装置に表示させ、前記楽曲のうち前記制御データにより指定される部分において、前記演奏画像を変化させることで、前記楽曲の特定の地点を演奏者に報知する。以上の態様では、楽曲のうち制御データにより指定される部分において、演奏画像を変化させることで楽曲の特定の地点が演奏者に報知される。したがって、例えば楽曲の演奏が開始される時点や長時間にわたる休符から演奏が再開される時点を、演奏者に対して視覚的に報知することが可能である。
<態様9>
態様1から態様8の何れかの好適例において、前記演奏データと前記制御データとは1個の楽曲ファイルに含まれる。以上の態様では、演奏データと制御データとが1個の楽曲ファイルに含まれるから、演奏データと制御データとが別個のファイルを構成する場合と比較して演奏データおよび制御データの取扱いが容易であるという利点がある。
<態様10>
本発明の好適な態様(態様10)に係る演奏制御方法は、コンピュータが、演奏者による楽曲の演奏を解析することにより前記楽曲の演奏位置を推定し、前記楽曲の演奏内容を指定する演奏データに応じた自動演奏を前記演奏位置の進行に同期するように演奏装置に実行させ、前記楽曲のうち前記演奏データとは独立の制御データにより指定される部分において、前記演奏位置の推定を停止する。以上の態様では、楽曲のうち制御データにより指定される部分において演奏位置の推定が停止される。したがって、例えば演奏位置の誤推定が発生し易い部分を制御データにより指定することで、演奏位置の誤推定の可能性を低減することが可能である。
<態様11>
本発明の好適な態様(態様11)に係る演奏制御方法は、コンピュータが、演奏者による楽曲の演奏を解析することにより前記楽曲の演奏位置を推定し、前記楽曲の演奏内容を指定する演奏データに応じた自動演奏を前記演奏位置の進行に同期するように演奏装置に実行させ、前記自動演奏の進行を表す演奏画像を表示装置に表示させ、前記楽曲のうち前記制御データにより指定される部分において、前記演奏画像を変化させることで、前記楽曲の特定の地点を演奏者に報知する。以上の態様では、楽曲のうち制御データにより指定される部分において、演奏画像を変化させることで楽曲の特定の地点が演奏者に報知される。したがって、例えば楽曲の演奏が開始される時点や長時間にわたる休符から演奏が再開される時点を、演奏者に対して視覚的に報知することが可能である。
<態様12>
本発明の好適な態様(態様12)に係る演奏制御装置は、演奏者による楽曲の演奏を解析することにより前記楽曲の演奏位置を推定する演奏解析部と、前記楽曲の演奏内容を指定する演奏データに応じた自動演奏を前記演奏位置の進行に同期するように演奏装置に実行させる演奏制御部とを具備し、前記演奏制御部は、前記演奏データとは独立の制御データに応じて前記演奏位置の進行と前記自動演奏との関係を制御する。以上の態様では、演奏データとは独立の制御データに応じて演奏位置の進行と自動演奏との関係が制御されるから、演奏装置による自動演奏の制御に演奏データのみを使用する構成と比較して、自動演奏を実演奏に同期させる場合に想定される問題が低減されるように、演奏位置に応じて自動演奏を適切に制御することが可能である。
<態様13>
本発明の好適な態様(態様13)に係る演奏制御装置は、演奏者による楽曲の演奏を解析することにより前記楽曲の演奏位置を推定する演奏解析部と、前記楽曲の演奏内容を指定する演奏データに応じた自動演奏を前記演奏位置の進行に同期するように演奏装置に実行させる演奏制御部とを具備し、前記演奏解析部は、記楽曲のうち前記演奏データとは独立の制御データにより指定される部分において、前記演奏位置の推定を停止する。以上の態様では、楽曲のうち制御データにより指定される部分において演奏位置の推定が停止される。したがって、例えば演奏位置の誤推定が発生し易い部分を制御データにより指定することで、演奏位置の誤推定の可能性を低減することが可能である。
<態様14>
本発明の好適な態様(態様14)に係る演奏制御装置は、演奏者による楽曲の演奏を解析することにより前記楽曲の演奏位置を推定する演奏解析部と、前記楽曲の演奏内容を指定する演奏データに応じた自動演奏を前記演奏位置の進行に同期するように演奏装置に実行させる演奏制御部と、前記自動演奏の進行を表す演奏画像を表示装置に表示させる表示制御部とを具備し、前記表示制御部は、前記楽曲のうち前記制御データにより指定される部分において、前記演奏画像を変化させることで、前記楽曲の特定の地点を演奏者に報知する。以上の態様では、楽曲のうち制御データにより指定される部分において、演奏画像を変化させることで楽曲の特定の地点が演奏者に報知される。したがって、例えば楽曲の演奏が開始される時点や長時間にわたる休符から演奏が再開される時点を、演奏者に対して視覚的に報知することが可能である。
100…自動演奏システム、10…演奏制御装置、12…演奏装置、122…駆動機構、124…発音機構、14…収音装置、16…表示装置、18…撮像装置、22…制御装置、24…記憶装置、32…演奏解析部、34…演奏制御部、36…表示制御部、38…合図検出部。

Claims (12)

  1. 楽曲の演奏内容を指定する演奏データと前記楽曲の部分を指定する制御データとを含む楽曲ファイルを利用可能なコンピュータが、
    演奏者による前記楽曲の演奏を解析することにより前記楽曲の演奏位置を推定し、
    前記演奏データに応じた自動演奏を、前記自動演奏の進行が前記演奏位置の進行に同期するように演奏装置に実行させ、
    前記楽曲のうち前記制御データにより指定される部分において、前記自動演奏の進行を前記演奏位置の進行に同期させる制御を解除する
    演奏制御方法。
  2. 前記楽曲のうち前記制御データにより指定される部分において、前記自動演奏のテンポを、前記演奏データで指定される所定値に初期化する
    請求項の演奏制御方法。
  3. 前記楽曲のうち前記制御データにより指定される部分において、前記自動演奏のテンポを、当該部分の直前における前記自動演奏のテンポに維持する
    請求項の演奏制御方法。
  4. 楽曲の演奏内容を指定する演奏データと前記楽曲の部分を指定する制御データとを含む楽曲ファイルを利用可能なコンピュータが、
    演奏者による前記楽曲の演奏を解析することにより前記楽曲の演奏位置を推定し、
    前記演奏データに応じた自動演奏を、前記自動演奏の進行が前記演奏位置の進行に同期するように演奏装置に実行させ、
    前記楽曲のうち前記制御データにより指定される部分において、前記演奏位置の進行を前記自動演奏の進行に反映させる度合を、前記制御データに応じて制御する
    演奏制御方法。
  5. 前記楽曲のうち前記制御データにより指定される部分において前記演奏位置の推定を停止する
    請求項1から請求項の何れかの演奏制御方法。
  6. 楽曲の演奏内容を指定する演奏データと前記楽曲の部分を指定する制御データとを含む楽曲ファイルを利用可能なコンピュータが、
    演奏者による前記楽曲の演奏を解析することにより前記楽曲の演奏位置を推定し、
    前記演奏データに応じた自動演奏を、前記自動演奏の進行が前記演奏位置の進行に同期するように演奏装置に実行させ、
    前記楽曲のうち前記制御データにより指定される部分において前記演奏位置の推定を停止する
    演奏制御方法。
  7. 楽曲の演奏内容を指定する演奏データと前記楽曲の部分を指定する制御データとを含む楽曲ファイルを利用可能な演奏制御装置であって、
    演奏者による前記楽曲の演奏を解析することにより前記楽曲の演奏位置を推定する演奏解析部と、
    前記演奏データに応じた自動演奏を、前記自動演奏の進行が前記演奏位置の進行に同期するように演奏装置に実行させる演奏制御部とを具備し、
    前記演奏制御部は、前記楽曲のうち前記制御データにより指定される部分において、前記自動演奏の進行を前記演奏位置の進行に同期させる制御を解除する
    演奏制御装置。
  8. 楽曲の演奏内容を指定する演奏データと前記楽曲の部分を指定する制御データとを含む楽曲ファイルを利用可能な演奏制御装置であって、
    演奏者による前記楽曲の演奏を解析することにより前記楽曲の演奏位置を推定する演奏解析部と、
    前記演奏データに応じた自動演奏を、前記自動演奏の進行が前記演奏位置の進行に同期するように演奏装置に実行させる演奏制御部とを具備し、
    前記演奏制御部は、前記楽曲のうち前記制御データにより指定される部分において、前記演奏位置の進行を前記自動演奏の進行に反映させる度合を、前記制御データに応じて制御する
    演奏制御装置。
  9. 楽曲の演奏内容を指定する演奏データと前記楽曲の部分を指定する制御データとを含む楽曲ファイルを利用可能な演奏制御装置であって、
    演奏者による前記楽曲の演奏を解析することにより前記楽曲の演奏位置を推定する演奏解析部と、
    前記演奏データに応じた自動演奏を、前記自動演奏の進行が前記演奏位置の進行に同期するように演奏装置に実行させる演奏制御部とを具備し、
    前記演奏解析部は、前記楽曲のうち前記制御データにより指定される部分において前記演奏位置の推定を停止する
    演奏制御装置。
  10. 楽曲の演奏内容を指定する演奏データと前記楽曲の部分を指定する制御データとを含む楽曲ファイルを利用可能なコンピュータを、
    演奏者による前記楽曲の演奏を解析することにより前記楽曲の演奏位置を推定する演奏解析部、および、
    前記演奏データに応じた自動演奏を、前記自動演奏の進行が前記演奏位置の進行に同期するように演奏装置に実行させる演奏制御部
    として機能させるプログラムであって、
    前記演奏制御部は、前記楽曲のうち前記制御データにより指定される部分において、前記自動演奏の進行を前記演奏位置の進行に同期させる制御を解除する
    プログラム。
  11. 楽曲の演奏内容を指定する演奏データと前記楽曲の部分を指定する制御データとを含む楽曲ファイルを利用可能なコンピュータを、
    演奏者による前記楽曲の演奏を解析することにより前記楽曲の演奏位置を推定する演奏解析部、および、
    前記演奏データに応じた自動演奏を、前記自動演奏の進行が前記演奏位置の進行に同期するように演奏装置に実行させる演奏制御部
    として機能させるプログラムであって、
    前記演奏制御部は、前記楽曲のうち前記制御データにより指定される部分において、前記演奏位置の進行を前記自動演奏の進行に反映させる度合を、前記制御データに応じて制御する
    プログラム。
  12. 楽曲の演奏内容を指定する演奏データと前記楽曲の部分を指定する制御データとを含む楽曲ファイルを利用可能なコンピュータを、
    演奏者による前記楽曲の演奏を解析することにより前記楽曲の演奏位置を推定する演奏解析部、および、
    前記演奏データに応じた自動演奏を、前記自動演奏の進行が前記演奏位置の進行に同期するように演奏装置に実行させる演奏制御部
    として機能させるプログラムであって、
    前記演奏解析部は、前記楽曲のうち前記制御データにより指定される部分において前記演奏位置の推定を停止する
    プログラム。
JP2016200130A 2016-10-11 2016-10-11 演奏制御方法、演奏制御装置およびプログラム Active JP6776788B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016200130A JP6776788B2 (ja) 2016-10-11 2016-10-11 演奏制御方法、演奏制御装置およびプログラム
PCT/JP2017/035824 WO2018070286A1 (ja) 2016-10-11 2017-10-02 演奏制御方法および演奏制御装置
CN201780062383.7A CN109804427B (zh) 2016-10-11 2017-10-02 演奏控制方法以及演奏控制装置
US16/376,714 US10720132B2 (en) 2016-10-11 2019-04-05 Performance control method and performance control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016200130A JP6776788B2 (ja) 2016-10-11 2016-10-11 演奏制御方法、演奏制御装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2018063295A JP2018063295A (ja) 2018-04-19
JP6776788B2 true JP6776788B2 (ja) 2020-10-28

Family

ID=61905569

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016200130A Active JP6776788B2 (ja) 2016-10-11 2016-10-11 演奏制御方法、演奏制御装置およびプログラム

Country Status (4)

Country Link
US (1) US10720132B2 (ja)
JP (1) JP6776788B2 (ja)
CN (1) CN109804427B (ja)
WO (1) WO2018070286A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7383943B2 (ja) * 2019-09-06 2023-11-21 ヤマハ株式会社 制御システム、制御方法、及びプログラム
WO2018016581A1 (ja) * 2016-07-22 2018-01-25 ヤマハ株式会社 楽曲データ処理方法およびプログラム
JP6699677B2 (ja) * 2018-02-06 2020-05-27 ヤマハ株式会社 情報処理方法、情報処理装置およびプログラム
JP6737300B2 (ja) * 2018-03-20 2020-08-05 ヤマハ株式会社 演奏解析方法、演奏解析装置およびプログラム
JP7343268B2 (ja) * 2018-04-24 2023-09-12 培雄 唐沢 任意信号挿入方法及び任意信号挿入システム
JP7103106B2 (ja) * 2018-09-19 2022-07-20 ヤマハ株式会社 情報処理方法および情報処理装置
WO2023170757A1 (ja) * 2022-03-07 2023-09-14 ヤマハ株式会社 再生制御方法、情報処理方法、再生制御システムおよびプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07122793B2 (ja) * 1989-07-03 1995-12-25 カシオ計算機株式会社 自動演奏装置
US5521323A (en) * 1993-05-21 1996-05-28 Coda Music Technologies, Inc. Real-time performance score matching
US5952597A (en) * 1996-10-25 1999-09-14 Timewarp Technologies, Ltd. Method and apparatus for real-time correlation of a performance to a musical score
JP3430895B2 (ja) * 1997-01-09 2003-07-28 ヤマハ株式会社 自動伴奏装置及び自動伴奏制御プログラムを記録したコンピュータ読み取り可能な記録媒体
US5942710A (en) 1997-01-09 1999-08-24 Yamaha Corporation Automatic accompaniment apparatus and method with chord variety progression patterns, and machine readable medium containing program therefore
US6166314A (en) * 1997-06-19 2000-12-26 Time Warp Technologies, Ltd. Method and apparatus for real-time correlation of a performance to a musical score
US5913259A (en) * 1997-09-23 1999-06-15 Carnegie Mellon University System and method for stochastic score following
JP2001195063A (ja) 2000-01-12 2001-07-19 Yamaha Corp 演奏支援装置
KR100412196B1 (ko) * 2001-05-21 2003-12-24 어뮤즈텍(주) 악보 추적 방법 및 그 장치
JP3933583B2 (ja) * 2003-01-10 2007-06-20 ローランド株式会社 電子楽器
JP4225258B2 (ja) * 2004-08-30 2009-02-18 ヤマハ株式会社 自動伴奏装置及びプログラム
JP4650182B2 (ja) * 2005-09-26 2011-03-16 ヤマハ株式会社 自動伴奏装置及びプログラム
JP2007241181A (ja) * 2006-03-13 2007-09-20 Univ Of Tokyo 自動伴奏システム及び楽譜追跡システム
JP4816177B2 (ja) * 2006-03-17 2011-11-16 ヤマハ株式会社 電子楽器およびプログラム
CN201294089Y (zh) * 2008-11-17 2009-08-19 音乐传奇有限公司 互动音乐演奏设备
US8660678B1 (en) * 2009-02-17 2014-02-25 Tonara Ltd. Automatic score following
JP5654897B2 (ja) * 2010-03-02 2015-01-14 本田技研工業株式会社 楽譜位置推定装置、楽譜位置推定方法、及び楽譜位置推定プログラム
JP5958041B2 (ja) * 2012-04-18 2016-07-27 ヤマハ株式会社 表情演奏リファレンスデータ生成装置、演奏評価装置、カラオケ装置及び装置
JP6187132B2 (ja) 2013-10-18 2017-08-30 ヤマハ株式会社 スコアアライメント装置及びスコアアライメントプログラム
JP6809112B2 (ja) * 2016-10-12 2021-01-06 ヤマハ株式会社 演奏システム、自動演奏方法およびプログラム

Also Published As

Publication number Publication date
US20190237055A1 (en) 2019-08-01
JP2018063295A (ja) 2018-04-19
CN109804427B (zh) 2023-06-23
US10720132B2 (en) 2020-07-21
CN109804427A (zh) 2019-05-24
WO2018070286A1 (ja) 2018-04-19

Similar Documents

Publication Publication Date Title
JP6776788B2 (ja) 演奏制御方法、演奏制御装置およびプログラム
US10482856B2 (en) Automatic performance system, automatic performance method, and sign action learning method
JP6724879B2 (ja) 再生制御方法、再生制御装置およびプログラム
JP6699677B2 (ja) 情報処理方法、情報処理装置およびプログラム
JP7432124B2 (ja) 情報処理方法、情報処理装置およびプログラム
JP5151245B2 (ja) データ再生装置、データ再生方法およびプログラム
JP4720563B2 (ja) 楽音制御装置
JP6070652B2 (ja) リファレンス表示装置およびプログラム
US10140965B2 (en) Automated musical performance system and method
WO2019092791A1 (ja) データ生成装置およびプログラム
JP6838357B2 (ja) 音響解析方法および音響解析装置
JP6977813B2 (ja) 自動演奏システムおよび自動演奏方法
JP2013200455A (ja) 演奏練習支援システム
JP5338312B2 (ja) 自動演奏同期装置、自動演奏鍵盤楽器およびプログラム
JP4159961B2 (ja) カラオケ装置
JP2007233078A (ja) 評価装置、制御方法及びプログラム
WO2019092793A1 (ja) データ生成装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200921

R151 Written notification of patent or utility model registration

Ref document number: 6776788

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151