JP7259987B2 - 情報処理システム、鍵盤楽器、情報処理方法およびプログラム - Google Patents

情報処理システム、鍵盤楽器、情報処理方法およびプログラム Download PDF

Info

Publication number
JP7259987B2
JP7259987B2 JP2021558381A JP2021558381A JP7259987B2 JP 7259987 B2 JP7259987 B2 JP 7259987B2 JP 2021558381 A JP2021558381 A JP 2021558381A JP 2021558381 A JP2021558381 A JP 2021558381A JP 7259987 B2 JP7259987 B2 JP 7259987B2
Authority
JP
Japan
Prior art keywords
chord
operators
keys
user
root note
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021558381A
Other languages
English (en)
Other versions
JPWO2021100679A1 (ja
JPWO2021100679A5 (ja
Inventor
剛志 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of JPWO2021100679A1 publication Critical patent/JPWO2021100679A1/ja
Publication of JPWO2021100679A5 publication Critical patent/JPWO2021100679A5/ja
Application granted granted Critical
Publication of JP7259987B2 publication Critical patent/JP7259987B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
    • G10G3/04—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/32—Constructional details
    • G10H1/34—Switch arrangements, e.g. keyboards or mechanical switches specially adapted for electrophonic musical instruments
    • G10H1/344—Structural association with individual keys
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/38—Chord
    • G10H1/383—Chord detection and/or recognition, e.g. for correction, or automatic bass generation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/571—Chords; Chord sequences
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/571—Chords; Chord sequences
    • G10H2210/581—Chord inversion
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/021—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays
    • G10H2220/026—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays associated with a key or other user input device, e.g. key indicator lights
    • G10H2220/036—Chord indicators, e.g. displaying note fingering when several notes are to be played simultaneously as a chord
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/221—Keyboards, i.e. configuration of several keys or key-like input devices relative to one another
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

本開示は、相異なる複数の音高で構成されるコード（和音）を特定する技術に関する。
利用者が楽器を演奏した結果からコード（和音）を推定する技術が従来から提案されている。例えば特許文献１には、利用者による演奏を表す演奏情報からコードを推定する構成が開示されている。
特開２０１５－３１７３８号公報
例えば転回形の関係にある複数のコードの間においては、複数の音高の組合せは共通するけれども根音が相違する場合がある。従来の技術のもとでは、根音の区別まで含めて正確にコードを特定することは困難である。以上の事情を考慮して、本開示のひとつの態様は、根音の差異も加味してコードを正確に特定することを目的のひとつとする。
以上の課題を解決するために、本開示のひとつの態様に係る情報処理システムは、相異なる音高に対応する複数の操作子の各々に対する利用者の操作を検出する操作検出部と、前記複数の操作子のうち前記操作が検出された２以上の操作子の組合せに対応するコードであって、前記２以上の操作子の各々における操作量または操作強度に応じて定まる根音を含むコードを特定する操作解析部とを具備する。
本開示のひとつの態様に係る鍵盤楽器は、相異なる音高に対応する複数の鍵を含む鍵盤と、前記複数の鍵の各々に対する利用者の操作を検出する操作検出部と、前記複数の鍵のうち前記操作検出部が操作を検出した鍵に対応する音高の楽音を再生装置に再生させる再生制御部と、前記複数の鍵のうち前記操作が検出された２以上の鍵の組合せに対応するコードであって、前記２以上の鍵の各々における操作量または操作強度に応じて定まる根音を含むコードを特定する操作解析部とを具備する。
本開示のひとつの態様に係る情報処理方法は、相異なる音高に対応する複数の操作子の各々に対する利用者の操作を検出し、前記複数の操作子のうち前記操作が検出された２以上の操作子の組合せに対応するコードであって、前記２以上の操作子の各々における操作量または操作強度に応じて定まる根音を含むコードを特定する。
本開示のひとつの態様に係るプログラムは、相異なる音高に対応する複数の操作子の各々に対する利用者の操作を検出する操作検出部、および、前記複数の操作子のうち前記操作が検出された２以上の操作子の組合せに対応するコードであって、前記２以上の操作子の各々における操作量または操作強度に応じて定まる根音を含むコードを特定する操作解析部、としてコンピュータを機能させる。
第１実施形態における鍵盤楽器の構成を例示するブロック図である。 各鍵の変位に関する説明図である。 鍵盤楽器の機能的な構成を例示するブロック図である。 参照テーブルの模式図である。 演奏コードを特定する方法に関する説明図である。 解析処理の具体的な手順を例示するフローチャートである。 第２実施形態における鍵盤楽器の機能的な構成を例示するブロック図である。 第２実施形態における解析処理の具体的な手順を例示するフローチャートである。 第３実施形態における操作解析部の説明図である。 学習済モデルの機械学習に関する説明図である。
Ａ：第１実施形態
図１は、本開示の第１実施形態に係る鍵盤楽器１００の構成を例示するブロック図である。鍵盤楽器１００は、利用者による演奏に応じた楽音を発音する電子楽器である。鍵盤楽器１００は、鍵盤１０と検出装置２０Aと情報処理システム３０と再生装置４０と表示装置５０とを具備する。
鍵盤１０は、相異なる音高に対応する複数の鍵１２で構成される。複数の鍵１２は、鍵盤楽器１００を演奏する利用者の横方向に配列され、複数の白鍵と複数の黒鍵とを含む。複数の鍵１２の各々は、利用者による操作（押鍵または離鍵）に応じて変位する操作子である。
図２は、鍵１２の変位に関する説明図である。各鍵１２は、始点位置Ｅ1と終点位置Ｅ2との間において、利用者による操作に応じて鉛直方向に変位する。始点位置Ｅ1は、利用者の指が鍵１２に接触していない解放状態における当該鍵１２の表面の位置である。他方、終点位置Ｅ2は、利用者が鍵１２を完全に押下した押鍵状態における当該鍵１２の表面の位置である。利用者は、始点位置Ｅ1と終点位置Ｅ2との間の任意の位置に各鍵１２を操作可能である。
図１の検出装置２０Aは、複数の鍵１２の各々の変位を検出する。具体的には、検出装置２０Aは、鉛直方向における各鍵１２の位置に応じた信号レベルの検出信号Ｄaを生成する。検出信号Ｄaは、鉛直方向における各鍵１２の移動に連動して信号レベルが段階的または連続的に変化する電気信号である。例えば、検出装置２０Aは、各鍵１２の移動に連動した磁界の変化を利用して検出信号Ｄaを生成する磁気センサ、または、各鍵１２の移動に連動した受光量の変化を利用して検出信号Ｄaを生成する光学センサである。ただし、検出装置２０Aが各鍵１２の変位を検出するための構成および方法は、以上の例示に限定されない。
情報処理システム３０は、利用者が演奏したコード（以下「演奏コード」という）を特定する。演奏コードは、相互に並列に発音される複数の音高の組合せである。情報処理システム３０は、検出信号Ｄaの解析により演奏コードを特定する。情報処理システム３０による演奏コードの特定は、利用者による演奏に並行して反復される。情報処理システム３０は、制御装置３１と記憶装置３２とを具備するコンピュータシステムで実現される。
制御装置３１は、鍵盤楽器１００の各要素を制御する単数または複数のプロセッサで構成される。例えば、制御装置３１は、ＣＰＵ（Central Processing Unit）、ＳＰＵ（Sound Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、またはＡＳＩＣ（Application Specific Integrated Circuit）等の１種類以上のプロセッサで構成される。
記憶装置３２は、制御装置３１が実行するプログラムと制御装置３１が使用するデータとを記憶する単数または複数のメモリである。記憶装置３２は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体で構成される。複数種の記録媒体の組合せにより記憶装置３２が構成されてもよい。また、鍵盤楽器１００に着脱可能な可搬型の記録媒体、または、鍵盤楽器１００が通信可能な外部記録媒体（例えばオンラインストレージ）を、記憶装置３２として利用してもよい。
再生装置４０は、制御装置３１による制御のもとで利用者による鍵盤１０の操作に応じた楽音を再生する。具体的には、再生装置４０は、音源装置４１と放音装置４２とを具備する。なお、再生装置４０は、情報処理システム３０に搭載されてもよいし、情報処理システム３０とは別体の装置として構成されてもよい。
音源装置４１は、利用者による鍵盤１０の操作に応じた楽音の波形を表す音響信号Ｖを生成する。具体的には、複数の鍵１２のうち利用者が押鍵した鍵１２に対応する音高の楽音を表す音響信号Ｖが生成される。放音装置４２は、音響信号Ｖが表す楽音を放音する。例えばスピーカまたはヘッドホンが放音装置４２として利用される。なお、記憶装置３２に記憶されたプログラムを制御装置３１が実行することで音源装置４１の機能（すなわちソフトウェア音源）を実現してもよい。
表示装置５０は、制御装置３１による制御のもとで画像を表示する。例えば液晶表示パネルまたは有機ＥＬ表示パネル等の表示パネルが表示装置５０として利用される。第１実施形態の表示装置５０は、制御装置３１が特定した演奏コードのコード名を表示する。なお、表示装置５０は、情報処理システム３０に搭載されてもよいし、情報処理システム３０とは別体の装置として構成されてもよい。
図３は、情報処理システム３０の機能的な構成を例示するブロック図である。制御装置３１は、記憶装置３２に記憶されたプログラムを実行することで、利用者による鍵盤１０の操作を解析するための複数の機能（操作検出部６１A，再生制御部６２および操作解析部６３A）を実現する。
操作検出部６１Aは、複数の鍵１２の各々に対する利用者の操作を検出する。具体的には、操作検出部６１Aは、検出装置２０Aが生成する検出信号Ｄaを解析することで各鍵１２の操作量Ｚを特定する。操作量Ｚは、図２に例示される通り、利用者の操作による鍵１２の変位量である。具体的には、図２に例示される通り、操作量Ｚは、始点位置Ｅ1を基準とした鍵１２の変位量である。すなわち、利用者の操作により鍵１２が押下される深さが操作量Ｚとして特定される。また、操作検出部６１Aは、各鍵１２の操作量Ｚに応じて各鍵１２に対する操作の有無を特定する。具体的には、操作検出部６１Aは、操作量Ｚが所定の閾値を上回る鍵１２が利用者により操作されたと判定する。
図３の再生制御部６２は、再生装置４０による楽音の再生を制御する。具体的には、再生制御部６２は、鍵盤１０を構成する複数の鍵１２のうち操作検出部６１Aが操作を検出した鍵１２に対応する音高の楽音を、再生装置４０に再生させる。
操作解析部６３Aは、鍵盤１０の操作により利用者が演奏した演奏コードを特定する。操作解析部６３Aは、操作検出部６１Aによる検出の結果を利用して演奏コードを特定する。具体的には、操作解析部６３Aによる演奏コードの特定には、記憶装置３２に記憶された参照テーブルＴが利用される。
図４は、参照テーブルＴの模式図である。参照テーブルＴは、演奏コードの候補となる複数のコードの各々について、コード名と構成音と根音とが登録されたデータテーブルである。各コードのコード名は、当該コードの名称を表す文字列である。各コードの構成音は、当該コードを構成する複数の音高の組合せである。各コードの根音（root）は、当該コードを構成する複数の音高のうち当該コードの基礎となる１個の音高である。例えばコードを構成する複数の音高のうちの最低音が、根音に相当する。
図３の操作解析部６３Aは、参照テーブルＴを参照することで、操作検出部６１Aが操作を検出した複数の鍵１２の組合せに対応する演奏コードを特定する。具体的には、操作解析部６３Aは、参照テーブルＴに登録された複数のコードのうち、操作検出部６１Aが操作を検出した複数の鍵１２にそれぞれ対応する複数の音高を構成音とするコードを、演奏コードとして特定する。
ところで、例えば相互に転回形の関係にある複数のコードの間では、複数の音高の組合せは共通するけれども根音が相違する場合がある。したがって、複数の音高の組合せのみからでは、利用者が意図した演奏コードを一意に特定できない場合が想定される。以上の事情を考慮して、操作解析部６３Aは、利用者が演奏した複数の音高のうち演奏コードの根音を特定する。
利用者は、所望のコードを構成する複数の音高のうち、当該コードの根音に対応する１個の鍵１２を、根音以外の音高に対応する１個以上の鍵１２と比較して強目に操作するという傾向がある。したがって、利用者が操作した複数の鍵１２のうち、利用者が意図したコードの根音に対応する１個の鍵１２の操作量Ｚは、当該鍵１２以外の１個以上の鍵１２の操作量Ｚを上回るという傾向がある。
以上の傾向を考慮して、第１実施形態の操作解析部６３Aは、複数の鍵１２の各々の操作量Ｚに応じて演奏コードの根音を特定する。具体的には、操作解析部６３Aは、利用者が操作した複数の鍵１２のうち操作量Ｚが最大である１個の鍵１２に対応する音高を根音として特定する。そして、操作解析部６３Aは、当該根音を含むコードを演奏コードとして特定する。以上の説明から理解される通り、第１実施形態の操作解析部６３Aは、操作検出部６１Aが操作を検出した複数の鍵１２の組合せに対応し、かつ、複数の鍵１２の各々の操作量Ｚに応じて特定された根音を含むコードを特定する。また、操作解析部６３Aは、演奏コードについて参照テーブルＴに登録されたコード名を表示装置５０に表示させる。
図５は、操作解析部６３Aが演奏コードを特定する動作の具体例である。図５の例Ａから例Ｃにおいては、「Ｃ（ド）」「Ｅ（ミ）」および「Ｇ（ソ）」の各音高に対応する３個の鍵１２を利用者が操作した状況が想定されている。以上に例示した３個の音高を構成音とするコードとしては、「Ｃ」と「Ｅm(+5)」と「Ｇ6sus4」とが存在する。
例Ａにおいては、利用者が操作した３個の鍵１２のうち、音高「Ｃ」に対応する鍵１２の操作量Ｚが、音高「Ｅ」および「Ｇ」の各々に対応する鍵１２の操作量Ｚを上回る。したがって、操作解析部６３Aは、音高「Ｃ」を根音として特定し、当該根音「Ｃ」を含むコード「Ｃ」を演奏コードとして特定する。
例Ｂにおいては、利用者が操作した３個の鍵１２のうち、音高「Ｅ」に対応する鍵１２の操作量Ｚが、音高「Ｃ」および「Ｇ」の各々に対応する鍵１２の操作量Ｚを上回る。したがって、操作解析部６３Aは、音高「Ｅ」を根音として特定し、当該根音「Ｅ」を含むコード「Ｅm(+5)」を演奏コードとして特定する。
例Ｃにおいては、利用者が操作した３個の鍵１２のうち、音高「Ｇ」に対応する鍵１２の操作量Ｚが、音高「Ｃ」および「Ｅ」の各々に対応する鍵１２の操作量Ｚを上回る。したがって、操作解析部６３Aは、音高「Ｇ」を根音として特定し、当該根音「Ｇ」を含むコード「Ｇ6sus4」を演奏コードとして特定する。
図６は、制御装置３１が実行する処理（以下「解析処理」という）Ｓaの具体的な手順を例示するフローチャートである。例えば利用者からの指示を契機として解析処理Ｓaが開始される。
解析処理Ｓaが開始されると、操作検出部６１Aは、検出装置２０Aから供給される検出信号Ｄaを取得する（Ｓa1）。操作検出部６１Aは、検出信号Ｄaを解析することで複数の鍵１２の各々の操作量Ｚを特定する（Ｓa2）。すなわち、操作検出部６１Aは、複数の鍵１２の各々に対する利用者からの操作を検出する。操作検出部６１Aは、利用者がコードを演奏したか否かを判定する（Ｓa3）。例えば、操作検出部６１Aは、２個以上の鍵１２の操作量Ｚが閾値を上回るか否かを判定する。操作検出部６１Aは、２個以上の鍵１２の操作量Ｚが閾値を上回る場合に利用者がコードを演奏したと判定し（Ｓa3：YES）、操作量Ｚが閾値を上回る鍵１２が１個以下である場合には利用者がコードを演奏していないと判定する（Ｓa3：NO）。操作検出部６１Aは、利用者がコードを演奏するまで、検出信号Ｄaの取得（Ｓa1）と各鍵１２の操作量Ｚの特定（Ｓa2）とを反復する（Ｓa3：NO）。なお、再生制御部６２は、利用者が操作した鍵１２に対応する音高の楽音を再生装置４０に再生させる。
利用者がコードを演奏した場合（Ｓa3：YES）、操作解析部６３Aは、利用者が演奏したコードの根音を特定する（Ｓa4）。具体的には、操作解析部６３Aは、操作検出部６１Aが操作を検出した複数の鍵１２のうち、操作量Ｚが最大である１個の鍵１２に対応する音高を、根音として特定する。
操作解析部６３Aは、利用者が操作した複数の鍵１２の組合せに対応し、かつ、操作量Ｚに応じて特定した根音を含むコードを、演奏コードとして特定する（Ｓa5）。具体的には、操作解析部６３Aは、利用者が演奏した複数の音高を構成音とする２以上のコードを参照テーブルＴから検索し、当該２以上のコードのうちステップＳa4にて特定した根音を含むコードを、演奏コードとして特定する。操作解析部６３Aは、演奏コードについて参照テーブルＴに登録されたコード名を表示装置５０に表示させる（Ｓa6）。
制御装置３１は、所定の終了条件が成立したか否かを判定する（Ｓa7）。終了条件は、例えば、利用者から終了が指示されたこと、または、利用者による演奏が終了したことである。終了条件が成立しない場合（Ｓa7：NO）、制御装置３１は処理をステップＳa1に移行する。すなわち、終了条件が成立するまで、各鍵１２の操作量Ｚの検出（Ｓa1－Ｓa3）と、演奏コードの特定（Ｓa4，Ｓa5）と、演奏コードのコード名の表示（Ｓa6）とが反復される。終了条件が成立した場合（Ｓa7：YES）、制御装置３１は解析処理Ｓaを終了する。
以上に説明した通り、第１実施形態においては、利用者による操作が検出された複数の鍵１２の各々における操作量Ｚに応じて演奏コードの根音が特定される。したがって、利用者が操作した複数の鍵１２の組合せのみから演奏コードを特定する構成と比較して、根音の差異も加味された正確なコードを特定できる。第１実施形態においては特に、利用者が操作した複数の鍵１２のうち操作量Ｚが最大である鍵１２に対応する音高を根音として含む演奏コードが特定される。したがって、所望のコードのうち根音に対応する鍵１２を利用者が強目に操作するという傾向のもとで、根音が正確に区別されたコードを特定できる。
Ｂ：第２実施形態
第２実施形態を以下に説明する。なお、以下に例示する各態様において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
図７は、第２実施形態における制御装置３１の機能的な構成を例示するブロック図である。図７に例示される通り、第２実施形態においては、第１実施形態の検出装置２０Aが検出装置２０Bに置換される。検出装置２０Bは、利用者が各鍵１２を操作する強度（操作強度）に応じた信号レベルの検出信号Ｄbを生成する。具体的には、検出装置２０Bは、利用者が各鍵１２を押圧する圧力に応じた検出信号Ｄbを生成する圧力センサである。
第２実施形態においては、操作検出部６１Aが操作検出部６１Bに置換され、操作解析部６３Aが操作解析部６３Bに置換される。操作検出部６１Bは、複数の鍵１２の各々に対する利用者の操作を検出する。第２実施形態の操作検出部６１Bは、検出装置２０Bが生成する検出信号Ｄbを解析することで、利用者が各鍵１２を操作する強度（以下「操作強度」という）Ｘを特定する。操作強度Ｘは、例えば、利用者が鍵１２を押下する圧力である。なお、操作検出部６１Aが操作を検出した鍵１２に対応する音高の楽音を、再生制御部６２が再生装置４０に再生させる構成および動作は、第１実施形態と同様である。
操作解析部６３Bは、操作検出部６１Bによる検出の結果を利用して演奏コードを特定する。操作解析部６３Bによる演奏コードの特定には、第１実施形態と同様の参照テーブルＴが利用される。
前述の通り、利用者は、所望のコードを構成する複数の音高のうち、当該コードの根音に対応する１個の鍵１２を、根音以外の音高に対応する１個以上の鍵１２と比較して強目に操作するという傾向がある。したがって、利用者が操作した複数の鍵１２のうち、利用者が意図したコードの根音に対応する１個の鍵１２の操作強度Ｘは、当該鍵１２以外の１個以上の鍵１２の操作強度Ｘを上回るという傾向がある。
以上の傾向を考慮して、第２実施形態の操作解析部６３Bは、複数の鍵１２の各々の操作強度Ｘに応じて演奏コードの根音を特定する。具体的には、操作解析部６３Bは、利用者が操作した複数の鍵１２のうち操作強度Ｘが最大である１個の鍵１２に対応する音高を根音として特定する。そして、操作解析部６３Aは、当該根音を含むコードを演奏コードとして特定する。以上の説明から理解される通り、第２実施形態の操作解析部６３Bは、操作検出部６１Bが操作を検出した複数の鍵１２の組合せに対応し、かつ、複数の鍵１２の各々の操作強度Ｘに応じて特定された根音を含むコードを特定する。
第２実施形態においては、第１実施形態の解析処理Ｓaに代えて図８の解析処理Ｓbが実行される。例えば利用者からの指示を契機として解析処理Ｓbが開始される。
解析処理Ｓbが開始されると、操作検出部６１Bは、検出装置２０Bから供給される検出信号Ｄbを解析することで各鍵１２の操作強度Ｘを特定する（Ｓb1，Ｓb2）。すなわち、操作検出部６１Bは、複数の鍵１２の各々に対する操作を検出する。操作検出部６１Bは、第１実施形態と同様に、利用者がコードを演奏したか否かを判定する（Ｓb3）。操作検出部６１Bは、利用者がコードを演奏するまで、各鍵１２の操作強度Ｘを特定する処理（Ｓb1，Ｓb2）を反復する（Ｓb3：NO）。
利用者がコードを演奏した場合（Ｓb3：YES）、操作解析部６３Bは、利用者が演奏したコードの根音を特定する（Ｓb4）。具体的には、操作解析部６３Bは、操作検出部６１Bが操作を検出した複数の鍵１２のうち、操作強度Ｘが最大である１個の鍵１２に対応する音高を、根音として特定する。
操作解析部６３Bは、利用者が操作した複数の鍵１２の組合せに対応し、かつ、操作強度Ｘに応じて特定した根音を含むコードを、演奏コードとして特定する（Ｓb5）。操作解析部６３Bは、第１実施形態と同様に、演奏コードについて参照テーブルＴに登録されたコード名を表示装置５０に表示させる（Ｓb6）。所定の終了条件が成立するまで（Ｓb7：YES）、以上の処理（Ｓb1－Ｓb6）が反復される。
第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態においては、利用者が操作した複数の鍵１２のうち操作強度Ｘが最大である鍵１２に対応する音高を根音として含む演奏コードが特定される。したがって、利用者が所望のコードのうち根音に対応する鍵１２を強目に操作するという傾向のもとで、根音が正確に区別されたコードを特定できる。
Ｃ：第３実施形態
第３実施形態においては、第１実施形態の操作解析部６３Aが図９の操作解析部６３Cに置換される。第１実施形態の操作解析部６３Aは、前述の通り、参照テーブルＴを利用して演奏コードを特定する。第３実施形態の操作解析部６３Cは、演奏コードの特定に学習済モデルＭを利用する。
具体的には、操作解析部６３Cは、操作検出部６１Aによる検出の結果を表す入力データＱ1を学習済モデルＭに入力することで出力データＱ2を生成する。入力データＱ1は、複数の鍵１２の各々について操作検出部６１Aが特定した操作量Ｚを表すデータである。他方、出力データＱ2は、演奏コードを表すデータである。
学習済モデルＭは、各鍵１２の操作量Ｚと演奏コードとの関係（入力データＱ1と出力データＱ2との関係）を機械学習により学習した統計的推定モデルである。具体的には、学習済モデルＭは、例えば深層ニューラルネットワーク（ＤＮＮ：Deep Neural Network）で構成される。例えば、再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）、または畳込ニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）等の任意の形式のニューラルネットワークが学習済モデルＭとして利用される。また、長短期記憶（ＬＳＴＭ：Long Short-Term Memory）等の付加的な要素が学習済モデルＭに搭載されてもよい。隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）またはサポートベクタマシン（ＳＶＭ：Support Vector Machine）等の認識モデルも学習済モデルＭとして利用される。
学習済モデルＭは、入力データＱ1から出力データＱ2を生成する演算を制御装置３１に実行させるプログラムと、当該演算に適用される複数の変数（具体的には加重値およびバイアス）との組合せで実現される。学習済モデルＭを実現するプログラムおよび複数の変数は、記憶装置３２に記憶される。複数の変数の各々の数値は、機械学習により事前に設定される。
図１０は、学習済モデルＭの機械学習に関する説明図である。制御装置３１は、記憶装置３２に記憶されたプログラムを実行することで図１０の学習処理部６４として機能する。学習処理部６４は、複数の訓練データτを利用した教師あり機械学習により学習済モデルＭを確立する。記憶装置３２には複数の訓練データτが記憶される。なお、鍵盤楽器１００とは別個の機械学習システムによる機械学習で学習済モデルＭを構築し、当該学習済モデルＭを鍵盤楽器１００に転送してもよい。
複数の訓練データτの各々は、入力データＱ1tと出力データＱ2tとの組合せで構成される。出力データＱ2tは、演奏コードを表すデータである。各訓練データτの入力データＱ1tは、当該訓練データτの出力データＱ2tが表す演奏コードに対応する複数の鍵１２の組合せを指定する。すなわち、演奏コードの演奏時に操作される複数の鍵１２の組合せが入力データＱ1tにより指定される。また、入力データＱ1tは、演奏コードに対応する複数の鍵１２の各々について操作量Ｚを指定する。入力データＱ1tが指定する複数の鍵１２の組合せが複数の訓練データτの間で共通する場合でも、各鍵１２の操作量Ｚが相違する場合には、当該各訓練データτの出力データＱ2tが表す演奏コードは相違する。具体的には、入力データＱ1tが表す複数の鍵１２のうち、操作量Ｚが最大である鍵１２に対応する音高を根音とする演奏コードが、出力データＱ2tにより指定される。
学習処理部６４は、初期的または暫定的なモデルに各訓練データτの入力データＱ1tを入力することで出力される出力データＱ2と、当該訓練データτの出力データＱ2t（正解値）との相違が低減されるように、学習済モデルＭの複数の変数を反復的に更新する。複数の変数の更新には、例えば誤差逆伝播法が利用される。以上の説明から理解される通り、学習済モデルＭは、複数の訓練データτにおける入力データＱ1tと出力データＱ2tとの間に潜在する関係のもとで、未知の入力データＱ1に対して統計的に妥当な出力データＱ2を出力する。
前述の通り、各訓練データτの出力データＱ2tが示す演奏コードは、入力データＱ1tが鍵１２毎に指定する操作量Ｚに応じた根音を含むコードである。したがって、操作解析部６３Cは、第１実施形態の操作解析部６３Aと同様に、利用者が操作した複数の鍵１２の組合せに対応し、かつ、複数の鍵１２の各々の操作量Ｚに応じて特定された根音を含む演奏コード（出力データＱ2）を特定する。以上の説明から理解される通り、第３実施形態においても第１実施形態と同様の効果が実現される。
なお、以上の説明においては、各鍵１２の操作量Ｚに応じて演奏コードを特定する形態を例示したが、第２実施形態のように各鍵１２の操作強度Ｘに応じて演奏コードを特定する形態にも、第３実施形態と同様の学習済モデルＭが利用される。具体的には、入力データＱ1および入力データＱ1tの各々は、複数の鍵１２の各々について操作強度Ｘを指定する。また、各訓練データτの出力データＱ2tは、当該訓練データτの入力データＱ1tが表す複数の鍵１２のうち、操作強度Ｘが最大である鍵１２に対応する音高を根音とする演奏コードを指定する。学習処理部６４による学習済モデルＭの機械学習の手順は、図１０を参照して前述した手順と同様である。以上の構成によれば、第２実施形態と同様に、利用者が操作した複数の鍵１２の組合せに対応し、かつ、複数の鍵１２の各々の操作強度Ｘに応じて特定された根音を含む演奏コード（出力データＱ2）が特定される。
Ｄ：変形例
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
（１）前述の各形態においては、演奏コードのコード名を表示装置５０に表示したが、演奏コードを特定した結果を利用する方法は、以上の例示に限定されない。例えば、操作解析部６３（６３A，６３Bまたは６３C）が解析した演奏コードの時系列を記憶装置３２に保存してもよい。また、操作解析部６３が特定した演奏コードに対応する楽音を再生装置４０に再生させる構成も想定される。例えば、再生制御部６２は、相異なるコードに対応する複数の伴奏音のうち、操作解析部６３が特定した演奏コードに対応する伴奏音を、再生装置４０に再生させる。また、操作解析部６３が解析した演奏コードを、例えばインターネット等の通信網を介して他の情報装置に送信してもよい。
（２）前述の各形態においては、鍵盤１０を構成する各鍵１２を操作子として例示したが、操作子の具体的な形態は、鍵１２に限定されない。利用者による操作に応じて変位する任意の形態の操作子が、前述の各形態における鍵１２と同様に利用される。また、操作検出部６１（６１A，６１B）が検出する操作の方向は鉛直方向に限定されない。例えばピッチ方向，ヨー方向またはロール方向等、操作子に関する回転方向の変位を操作検出部６１が検出してもよい。
（３）例えばスマートフォンまたはタブレット端末等の端末装置との間で通信するサーバ装置により情報処理システム３０が実現されてもよい。端末装置は、鍵盤１０に対する利用者からの操作に応じた検出信号Ｄ（Ｄa，Ｄb）を、例えばインターネット等の通信網を介して情報処理システム３０に送信する。情報処理システム３０は、前述の各形態と同様に検出信号Ｄを解析することで演奏コードを特定し、当該演奏コードを端末装置に送信する。端末装置は、情報処理システム３０から受信した演奏コードを利用した各種の処理を実行する。
（４）以上に例示した機能は、前述の通り、制御装置３１を構成する単数または複数のプロセッサと、記憶装置３２に記憶されたプログラムとの協働により実現される。本開示に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、配信装置が通信網を介してプログラムを配信する構成では、当該配信装置においてプログラムを記憶する記憶装置が、前述の非一過性の記録媒体に相当する。
Ｅ：付記
以上に例示した形態から、例えば以下の構成が把握される。
本開示のひとつの態様（態様１）に係る情報処理システムは、相異なる音高に対応する複数の操作子の各々に対する利用者の操作を検出する操作検出部と、前記複数の操作子のうち前記操作が検出された２以上の操作子の組合せに対応するコードであって、前記２以上の操作子の各々における操作量または操作強度に応じて定まる根音を含むコードを特定する操作解析部とを具備する。以上の態様においては、利用者による操作が検出された２以上の操作子の各々における操作量または操作強度に応じてコードの根音が区別される。したがって、利用者による操作が検出された２以上の操作子の組合せのみからコードを特定する構成と比較して、根音の差異も加味された正確なコードを特定できる。
「操作子」は、例えば鍵盤楽器における鍵である。したがって、操作子に対する操作は、例えば利用者による押鍵または離鍵である。また、「操作量」は、利用者の操作による操作子の移動量を意味し、例えば、利用者の操作により操作子が押込まれる深さである。また、「操作強度」は、操作子に対する操作の強度を意味し、典型的には、操作により操作子に作用する圧力（例えば押鍵圧力）である。
「２以上の操作子の各々における操作量または操作強度に応じて定まる根音を含むコード」とは、２以上の操作子の組合せが共通する場合でも、各操作子における操作量または操作強度が相違すれば、結果的に特定されるコードが相違することを意味する。
態様１の具体例（態様２）において、前記操作解析部は、前記２以上の操作子のうち前記操作量が最大である操作子に対応する音高を前記根音として含むコードを特定する。利用者は、所望のコードのうち根音に対応する操作子を強目に操作する傾向がある。したがって、２以上の操作子のうち操作量が最大である操作子に対応する音高を根音とする前述の態様によれば、利用者が意図した根音を含む正確なコードを特定できる。
態様１の具体例（態様３）において、前記操作解析部は、前記２以上の操作子のうち前記操作強度が最大である操作子に対応する音高を前記根音として含むコードを特定する。利用者は、所望のコードのうち根音に対応する操作子を強目に操作する傾向がある。したがって、利用者による操作が検出された２以上の操作子のうち操作強度が最大である操作子に対応する音高を根音とする前述の態様によれば、根音が正確に区別されたコードを特定できる。
態様１の具体例（態様４）において、前記操作解析部は、２以上の操作子の各々に関する操作量または操作強度と、コードとの関係を学習した学習済モデルに対して、前記操作検出部が操作を検出した２以上の操作子の各々における前記操作量または前記操作強度を含む入力データを入力することで、前記コードを特定する。以上の構成によれば、利用者による操作が検出された２以上の操作子の組合せのみからコードを特定する構成と比較して、根音の差異も加味された正確なコードを特定できる。なお、学習済モデルは、例えば機械学習により構築された統計的推定モデルである。
本開示のひとつの態様（態様５）に係る鍵盤楽器は、相異なる音高に対応する複数の鍵を含む鍵盤と、前記複数の鍵の各々に対する利用者の操作を検出する操作検出部と、前記複数の鍵のうち前記操作検出部が操作を検出した鍵に対応する音高の楽音を再生装置に再生させる再生制御部と、前記複数の鍵のうち前記操作が検出された２以上の鍵の組合せに対応するコードであって、前記２以上の鍵の各々における操作量または操作強度に応じて定まる根音を含むコードを特定する操作解析部とを具備する。
本開示のひとつの態様（態様６）に係る情報処理方法は、相異なる音高に対応する複数の操作子の各々に対する利用者の操作を検出し、前記複数の操作子のうち前記操作が検出された２以上の操作子の組合せに対応するコードであって、前記２以上の操作子の各々における操作量または操作強度に応じて定まる根音を含むコードを特定する。
本開示のひとつの態様（態様７）に係るプログラムは、相異なる音高に対応する複数の操作子の各々に対する利用者の操作を検出する操作検出部、および、前記複数の操作子のうち前記操作が検出された２以上の操作子の組合せに対応するコードであって、前記２以上の操作子の各々における操作量または操作強度に応じて定まる根音を含むコードを特定する操作解析部、としてコンピュータを機能させる。
１００…鍵盤楽器、１０…鍵盤、１２…鍵、２０A，２０B…検出装置、３０…情報処理システム、３１…制御装置、３２…記憶装置、４０…再生装置、４１…音源装置、４２…放音装置、５０…表示装置、６１A，６１B…操作検出部、６２…再生制御部、６３A，６３B，６３C…操作解析部、６４…学習処理部。

Claims (13)

  1. 相異なる音高に対応する複数の操作子の各々に対する利用者の操作を検出する操作検出部と、
    前記複数の操作子のうち前記操作が検出された２以上の操作子の組合せに対応するコードであって、前記２以上の操作子の各々における操作量または操作強度に応じて定まる根音を含むコードを特定する操作解析部と
    を具備する情報処理システム。
  2. 前記操作解析部は、前記２以上の操作子のうち前記操作量が最大である操作子に対応する音高を前記根音として含むコードを特定する
    請求項１の情報処理システム。
  3. 前記操作解析部は、前記２以上の操作子のうち前記操作強度が最大である操作子に対応する音高を前記根音として含むコードを特定する
    請求項１の情報処理システム。
  4. 前記操作解析部は、２以上の操作子の各々に関する操作量または操作強度と、コードとの関係を学習した学習済モデルに対して、前記操作検出部が操作を検出した２以上の操作子の各々における前記操作量または前記操作強度を含む入力データを入力することで、前記コードを特定する
    請求項１の情報処理システム。
  5. 相異なる音高に対応する複数の鍵を含む鍵盤と、
    前記複数の鍵の各々に対する利用者の操作を検出する操作検出部と、
    前記複数の鍵のうち前記操作検出部が操作を検出した鍵に対応する音高の楽音を再生装置に再生させる再生制御部と、
    前記複数の鍵のうち前記操作が検出された２以上の鍵の組合せに対応するコードであって、前記２以上の鍵の各々における操作量または操作強度に応じて定まる根音を含むコードを特定する操作解析部と
    を具備する鍵盤楽器。
  6. 相異なる音高に対応する複数の操作子の各々に対する利用者の操作を検出し、
    前記複数の操作子のうち前記操作が検出された２以上の操作子の組合せに対応するコードであって、前記２以上の操作子の各々における操作量または操作強度に応じて定まる根音を含むコードを特定する
    コンピュータにより実現される情報処理方法。
  7. 前記コードの特定においては、前記２以上の操作子のうち前記操作量が最大である操作子に対応する音高を前記根音として含むコードを特定する
    請求項６の情報処理方法。
  8. 前記コードの特定においては、前記２以上の操作子のうち前記操作強度が最大である操作子に対応する音高を前記根音として含むコードを特定する
    請求項６の情報処理方法。
  9. 前記コードの特定においては、２以上の操作子の各々に関する操作量または操作強度と、コードとの関係を学習した学習済モデルに対して、前記操作検出部が操作を検出した２以上の操作子の各々における前記操作量または前記操作強度を含む入力データを入力することで、前記コードを特定する
    請求項６の情報処理方法。
  10. 相異なる音高に対応する複数の操作子の各々に対する利用者の操作を検出する操作検出部、および、
    前記複数の操作子のうち前記操作が検出された２以上の操作子の組合せに対応するコードであって、前記２以上の操作子の各々における操作量または操作強度に応じて定まる根音を含むコードを特定する操作解析部、
    としてコンピュータを機能させるプログラム。
  11. 前記操作解析部は、前記２以上の操作子のうち前記操作量が最大である操作子に対応する音高を前記根音として含むコードを特定する
    請求項１０のプログラム。
  12. 前記操作解析部は、前記２以上の操作子のうち前記操作強度が最大である操作子に対応する音高を前記根音として含むコードを特定する
    請求項１０のプログラム。
  13. 前記操作解析部は、２以上の操作子の各々に関する操作量または操作強度と、コードとの関係を学習した学習済モデルに対して、前記操作検出部が操作を検出した２以上の操作子の各々における前記操作量または前記操作強度を含む入力データを入力することで、前記コードを特定する
    請求項１０のプログラム。
JP2021558381A 2019-11-20 2020-11-17 情報処理システム、鍵盤楽器、情報処理方法およびプログラム Active JP7259987B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962937799P 2019-11-20 2019-11-20
US62/937,799 2019-11-20
PCT/JP2020/042703 WO2021100679A1 (ja) 2019-11-20 2020-11-17 情報処理システム、鍵盤楽器、情報処理方法およびプログラム

Publications (3)

Publication Number Publication Date
JPWO2021100679A1 JPWO2021100679A1 (ja) 2021-05-27
JPWO2021100679A5 JPWO2021100679A5 (ja) 2022-06-10
JP7259987B2 true JP7259987B2 (ja) 2023-04-18

Family

ID=75980546

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021558381A Active JP7259987B2 (ja) 2019-11-20 2020-11-17 情報処理システム、鍵盤楽器、情報処理方法およびプログラム

Country Status (5)

Country Link
US (1) US20220277714A1 (ja)
EP (1) EP4064268A4 (ja)
JP (1) JP7259987B2 (ja)
CN (1) CN114730556A (ja)
WO (1) WO2021100679A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004163767A (ja) 2002-11-14 2004-06-10 Nec Access Technica Ltd 環境同期制御システム、制御方法及びプログラム
JP2009282464A (ja) 2008-05-26 2009-12-03 Kawai Musical Instr Mfg Co Ltd コード検出装置およびコード検出プログラム
JP2010538335A (ja) 2007-09-07 2010-12-09 マイクロソフト コーポレーション 音声メロディ向けの自動伴奏
JP2017215520A (ja) 2016-06-01 2017-12-07 株式会社Ｎｔｔドコモ 識別装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3216529B2 (ja) * 1995-07-11 2001-10-09 ヤマハ株式会社 演奏データ分析装置および演奏データ分析方法
JP3536709B2 (ja) * 1999-03-01 2004-06-14 ヤマハ株式会社 付加音発生装置
US6057502A (en) * 1999-03-30 2000-05-02 Yamaha Corporation Apparatus and method for recognizing musical chords
JP5005445B2 (ja) * 2007-07-02 2012-08-22 株式会社河合楽器製作所 コード名検出装置及びコード名検出用プログラム
JP5229998B2 (ja) * 2008-07-15 2013-07-03 株式会社河合楽器製作所 コード名検出装置及びコード名検出用プログラム
JP5282548B2 (ja) * 2008-12-05 2013-09-04 ソニー株式会社 情報処理装置、音素材の切り出し方法、及びプログラム
JP6151121B2 (ja) 2013-07-31 2017-06-21 株式会社河合楽器製作所 コード進行推定検出装置及びコード進行推定検出プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004163767A (ja) 2002-11-14 2004-06-10 Nec Access Technica Ltd 環境同期制御システム、制御方法及びプログラム
JP2010538335A (ja) 2007-09-07 2010-12-09 マイクロソフト コーポレーション 音声メロディ向けの自動伴奏
JP2009282464A (ja) 2008-05-26 2009-12-03 Kawai Musical Instr Mfg Co Ltd コード検出装置およびコード検出プログラム
JP2017215520A (ja) 2016-06-01 2017-12-07 株式会社Ｎｔｔドコモ 識別装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
丸尾智志他，音楽音響信号に対する歌声・伴奏音・打楽器音分離に基づくコード認識，情報処理学会研究報告［ｏｎｌｉｎｅ］，2015年08月31日，Vol.2015-MUS-108, No.1，pp.1-6

Also Published As

Publication number Publication date
JPWO2021100679A1 (ja) 2021-05-27
EP4064268A4 (en) 2024-01-10
WO2021100679A1 (ja) 2021-05-27
US20220277714A1 (en) 2022-09-01
EP4064268A1 (en) 2022-09-28
CN114730556A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
JP4320782B2 (ja) 演奏制御装置、およびプログラム
JP6724938B2 (ja) 情報処理方法、情報処理装置およびプログラム
US10140967B2 (en) Musical instrument with intelligent interface
Weinberg et al. Robotic musicianship: embodied artificial creativity and mechatronic musical expression
JP7069819B2 (ja) コード特定方法、コード特定装置およびプログラム
JP7327497B2 (ja) 演奏解析方法、演奏解析装置およびプログラム
JP2006178197A (ja) 楽器の演奏駆動装置、鍵盤楽器の演奏駆動システム及び鍵盤楽器。
CN110379400A (zh) 一种用于生成乐谱的方法及系统
US20230351989A1 (en) Information processing system, electronic musical instrument, and information processing method
JP7259987B2 (ja) 情報処理システム、鍵盤楽器、情報処理方法およびプログラム
JP2007322683A (ja) 楽音制御装置およびプログラム
JP4828219B2 (ja) 電子楽器及び演奏レベル表示方法
WO2021187395A1 (ja) パラメータ推論方法、パラメータ推論システム、及びパラメータ推論プログラム
JP2017102415A (ja) 演奏システム
WO2022172732A1 (ja) 情報処理システム、電子楽器、情報処理方法および機械学習システム
JP2007248880A (ja) 演奏制御装置、およびプログラム
JP2008008946A (ja) 楽音制御装置およびプログラム
WO2022176506A1 (ja) 情報処理システム、電子楽器、情報処理方法、および学習済モデルの生成方法
JP6119422B2 (ja) 情報処理装置及び楽器
WO2023182005A1 (ja) データ出力方法、プログラム、データ出力装置および電子楽器
WO2023181570A1 (ja) 情報処理方法、情報処理システムおよびプログラム
WO2021100743A1 (ja) 発音制御装置、鍵盤楽器、発音制御方法およびプログラム
WO2024085175A1 (ja) データ処理方法およびプログラム
WO2024004564A1 (ja) 音響解析システム、音響解析方法およびプログラム
US8294015B2 (en) Method and system for utilizing a gaming instrument controller

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220401

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230320

R151 Written notification of patent or utility model registration

Ref document number: 7259987

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151