JP7456430B2 - 情報処理装置、電子楽器システム、電子楽器、音節進行制御方法及びプログラム - Google Patents
情報処理装置、電子楽器システム、電子楽器、音節進行制御方法及びプログラム Download PDFInfo
- Publication number
- JP7456430B2 JP7456430B2 JP2021207715A JP2021207715A JP7456430B2 JP 7456430 B2 JP7456430 B2 JP 7456430B2 JP 2021207715 A JP2021207715 A JP 2021207715A JP 2021207715 A JP2021207715 A JP 2021207715A JP 7456430 B2 JP7456430 B2 JP 7456430B2
- Authority
- JP
- Japan
- Prior art keywords
- syllable
- electronic musical
- musical instrument
- operator
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 28
- 230000010365 information processing Effects 0.000 title claims description 27
- 239000011295 pitch Substances 0.000 description 28
- 230000015572 biosynthetic process Effects 0.000 description 22
- 238000003786 synthesis reaction Methods 0.000 description 22
- 238000004519 manufacturing process Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 14
- 230000001755 vocal effect Effects 0.000 description 8
- 230000004044 response Effects 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 7
- 230000003595 spectral effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/38—Chord
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Electrophonic Musical Instruments (AREA)
Description
本発明は、情報処理装置、電子楽器システム、電子楽器、音節進行制御方法及びプログラムに関する。
近年、合成音声の利用シーンが拡大している。そうした中、自動演奏だけではなく、ユーザ（演奏者）の押鍵操作に応じて歌詞を進行させ、歌詞に対応した合成音声を出力できる電子楽器があれば、より柔軟な合成音声の表現が可能となり好ましい。
例えば、特許文献１においては、鍵盤などを用いたユーザ操作に基づく演奏に同期させて歌詞を進行させる技術が開示されている。
ところで、左手でコード（和音）、右手でメロディーを弾く演奏方法で歌詞を発音させる場合、押鍵に応じて歌詞の音節を進めると、右手のメロディーの押鍵に合わせて音節が進行してしまい、左手のコードチェンジに合わせて自然に音節を進行させることができない。
本発明は、上記の問題に鑑みてなされたものであり、音節の進行をコードの変化に合わせて良好に制御できるようにすることを目的とする。
上記課題を解決するため、本発明の情報処理装置は、
操作子への操作がコードを指定する操作と判断する場合に、発音させる音声に対応する音節を第１音節から次の第２音節に進めるように制御し、
コードを指定する操作ではないと判断する場合に、前記第１音節から前記第２音節に進めないように制御する制御部、
を備える。
操作子への操作がコードを指定する操作と判断する場合に、発音させる音声に対応する音節を第１音節から次の第２音節に進めるように制御し、
コードを指定する操作ではないと判断する場合に、前記第１音節から前記第２音節に進めないように制御する制御部、
を備える。
本発明によれば、音節の進行をコードの変化に合わせて良好に制御することが可能となる。
以下に、本発明を実施するための形態について、図面を用いて説明する。但し、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されている。そのため、本発明の技術的範囲を以下の実施形態及び図示例に限定するものではない。
［電子楽器システム１の構成］
図１は、本発明に係る電子楽器システム１の全体構成例を示す図である。
図１に示すように、電子楽器システム１は、電子楽器２と、端末装置３と、が通信インターフェースＩ（又は通信ネットワークＮ）を介して接続されて構成されている。
図１は、本発明に係る電子楽器システム１の全体構成例を示す図である。
図１に示すように、電子楽器システム１は、電子楽器２と、端末装置３と、が通信インターフェースＩ（又は通信ネットワークＮ）を介して接続されて構成されている。
［電子楽器２の構成］
電子楽器２は、ユーザの鍵盤１０１の押鍵操作に応じて楽器音を出力する通常モードの他、鍵盤１０１の押鍵操作に応じて歌声を発音する歌声発音モードを有している。本実施形態の歌声発音モードでは、左手でコード、右手でメロディーを弾く演奏方法に適した音節進行制御にて歌声を発音させるようになっている。
電子楽器２は、ユーザの鍵盤１０１の押鍵操作に応じて楽器音を出力する通常モードの他、鍵盤１０１の押鍵操作に応じて歌声を発音する歌声発音モードを有している。本実施形態の歌声発音モードでは、左手でコード、右手でメロディーを弾く演奏方法に適した音節進行制御にて歌声を発音させるようになっている。
図２は、電子楽器２の外観例を示す図である。電子楽器２は、操作子としての複数の鍵からなる鍵盤１０１と、各種設定を指示する第１のスイッチパネル１０２及び第２のスイッチパネル１０３と、各種表示を行うＬＣＤ１０４（Liquid Crystal Display）と、を備える。また、電子楽器２は、演奏により生成された楽音や音声（歌声）を放音するスピーカ２１４を裏面部、側面部、又は背面部等に備える。
図３は、図１の電子楽器２の制御系の機能的構成を示すブロック図である。図３に示すように、電子楽器２は、タイマ２１０に接続されたＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、音源部２０４、音声合成部２０５、図２の鍵盤１０１、第１のスイッチパネル１０２、及び第２のスイッチパネル１０３が接続されるキースキャナ２０６、図２のＬＣＤ１０４が接続されるＬＣＤコントローラ２０７、及び通信部２０８が、それぞれバス２０９に接続されて構成されている。本実施形態において、第１のスイッチパネル１０２には、後述する歌声発音モードスイッチが含まれる。また、第２のスイッチパネル１０３には、後述する音色設定スイッチが含まれる。
また、音源部２０４、音声合成部２０５には、それぞれＤ／Ａコンバータ２１１、２１２が接続され、音源部２０４から出力される楽器音の波形データ、音声合成部２０５から出力される歌声の音声波形データ（歌声波形データ）は、それぞれＤ／Ａコンバータ２１１、２１２によりアナログ信号に変換され、アンプ２１３により増幅された後、スピーカ２１４から出力されるようになっている。
また、音源部２０４、音声合成部２０５には、それぞれＤ／Ａコンバータ２１１、２１２が接続され、音源部２０４から出力される楽器音の波形データ、音声合成部２０５から出力される歌声の音声波形データ（歌声波形データ）は、それぞれＤ／Ａコンバータ２１１、２１２によりアナログ信号に変換され、アンプ２１３により増幅された後、スピーカ２１４から出力されるようになっている。
ＣＰＵ２０１は、ＲＡＭ２０３をワークメモリとして使用しながらＲＯＭ２０２に記憶されたプログラムを実行することにより、図１の電子楽器２の制御動作を実行する。ＣＰＵ２０１は、ＲＯＭ２０２に記憶されているプログラムとの協働により後述する発音制御処理及び音節進行制御処理を実行することで、本発明の情報処理装置の制御部の機能を実現する。
ＲＯＭ２０２は、プログラム及び各種固定データ等を記憶する。
ＲＯＭ２０２は、プログラム及び各種固定データ等を記憶する。
音源部２０４は、ピアノ、オルガン、シンセサイザー、弦楽器、管楽器等の楽器音の波形データ（楽器音波形データ）の他、歌声発音モードにおける発声音源用の波形データ（発声音源用波形データ）として、人の声、犬の声、猫の声等の様々な音色の波形データが記憶された波形ＲＯＭを有する。なお、楽器音波形データについても発声音源用波形データとして使用することが可能である。
音源部２０４は、通常モードにおいて、ＣＰＵ２０１からの制御指示に従い、鍵盤１０１の押鍵操作された鍵の音高情報に基づいて、例えば図示しない波形ＲＯＭから楽器音波形データを読み出し、Ｄ／Ａコンバータ２１１に出力する。また、音源部２０４は、歌声発音モードにおいて、ＣＰＵ２０１からの制御指示に従い、鍵盤１０１の押鍵操作された鍵の音高情報に基づいて、例えば図示しない波形ＲＯＭから波形データを読み出し、発声音源用波形データとして音声合成部２０５に出力する。音源部２０４は、同時に複数チャネル分の波形データの出力が可能である。なお、音高情報と波形ＲＯＭに記憶されている波形データに基づいて、鍵盤１０１の押鍵操作された鍵の音高に応じた波形データを生成してもよい。
音源部２０４は、ＰＣＭ（Pulse Code Modulation）音源方式に限定されず、例えば、ＦＭ（Frequency Modulation）音源方式等、他の音源方式を用いたものであってもよい。
音源部２０４は、ＰＣＭ（Pulse Code Modulation）音源方式に限定されず、例えば、ＦＭ（Frequency Modulation）音源方式等、他の音源方式を用いたものであってもよい。
音声合成部２０５は、合成フィルタ２０５ａを有し、ＣＰＵ２０１から与えられる歌声パラメータと音源部２０４から入力される発声音源用波形データとに基づいて歌声波形データを生成し、Ｄ／Ａコンバータ２１２に出力する。
なお、音源部２０４、音声合成部２０５は、ＬＳＩ（Large-Scale Integration）等の専用のハードウエアにより構成されることとしてもよいし、ＣＰＵ２０１とＲＯＭ２０２に記憶されたプログラムとの協働によるソフトウエアにより実現されることとしてもよい。
キースキャナ２０６は、図２の鍵盤１０１の各鍵の押鍵／離鍵状態、第１のスイッチパネル１０２、及び第２のスイッチパネル１０３のスイッチ操作状態を定常的に走査し、操作された鍵の音高及び押鍵／離鍵情報（演奏操作情報）及びスイッチ操作情報をＣＰＵ２０１に出力する。
ＬＣＤコントローラ２０７は、ＬＣＤ１０４の表示状態を制御するＩＣ（集積回路）である。
通信部２０８は、インターネット等の通信ネットワークＮやＵＳＢ(Universal Serial Bus)ケーブル等の通信インターフェースＩを介して接続された端末装置３等の外部装置とのデータ送受信を行う。
［端末装置３の構成］
図４は、図１の端末装置３の機能的構成を示すブロック図である。
図４に示すように、端末装置３は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、記憶部３０４、操作部３０５、表示部３０６、通信部３０７等を備えて構成されたコンピュータであり、各部はバス３０８により接続されている。端末装置３としては、例えば、タブレットＰＣ（Personal Computer）、ノートＰＣ、スマートフォン等が適用可能である。
図４は、図１の端末装置３の機能的構成を示すブロック図である。
図４に示すように、端末装置３は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、記憶部３０４、操作部３０５、表示部３０６、通信部３０７等を備えて構成されたコンピュータであり、各部はバス３０８により接続されている。端末装置３としては、例えば、タブレットＰＣ（Personal Computer）、ノートＰＣ、スマートフォン等が適用可能である。
端末装置３のＲＯＭ３０２には、学習済みモデル３０２ａが搭載されている。学習済みモデル３０２ａは、複数の歌唱曲の楽譜データ（歌詞データ（歌詞のテキスト情報）及び音高データ（音の長さの情報も含む））と、それぞれの歌唱曲を或る歌い手が歌ったときの歌声波形データと、からなる複数のデータセットを機械学習することにより生成されたものである。学習済みモデル３０２ａは、任意の歌唱曲（フレーズでもよい）の歌詞データ及び音高データが入力されると、学習済みモデル３０２ａを生成したときの歌い手が入力された歌唱曲を歌った場合と同等の歌声を発音するための歌声パラメータ群（歌声情報という）を推論する。
［歌声発音モードの動作］
図５は、歌声発音モードにおける、鍵盤１０１の押鍵操作に応じた歌声の発音に係る構成を示す図である。以下、図５を参照して、電子楽器２において歌声発音モードで鍵盤１０１の押鍵操作に応じて歌声を発音する際の動作について説明する。
図５は、歌声発音モードにおける、鍵盤１０１の押鍵操作に応じた歌声の発音に係る構成を示す図である。以下、図５を参照して、電子楽器２において歌声発音モードで鍵盤１０１の押鍵操作に応じて歌声を発音する際の動作について説明する。
歌声発音モードで演奏を行いたい場合、ユーザは、電子楽器２において第１のスイッチパネル１０２の歌声発音モードスイッチを押下し、歌声発音モードへの移行を指示する。
ＣＰＵ２０１は、歌声発音モードスイッチが押下されると、動作モードを歌声発音モードに移行させる。また、ユーザが第２のスイッチパネル１０３の音色選択スイッチにより発音させたい声の音色を選択すると、ＣＰＵ２０１は、選択された音色の情報を音源部２０４に設定する。
ＣＰＵ２０１は、歌声発音モードスイッチが押下されると、動作モードを歌声発音モードに移行させる。また、ユーザが第２のスイッチパネル１０３の音色選択スイッチにより発音させたい声の音色を選択すると、ＣＰＵ２０１は、選択された音色の情報を音源部２０４に設定する。
次いで、ユーザは、端末装置３において、電子楽器２に歌声発音モードで発音させたい任意の歌唱曲の歌詞データ及び音高データを専用のアプリケーション等を用いて入力する。歌唱曲の歌詞データ及び音高データを記憶部３０４に記憶しておき、記憶部３０４に記憶されている中から任意の歌唱曲の歌詞データ及び音高データを選択することとしてもよい。
端末装置３において、歌声発音モードで発音させたい任意の歌唱曲の歌詞データ及び音高データが入力されると、ＣＰＵ３０１は、入力された歌唱曲の歌詞データ及び音高データを学習済みモデル３０２ａに入力して、学習済みモデル３０２ａに歌声パラメータ群を推論させ、推論された歌声パラメータ群である歌声情報を通信部３０７により電子楽器２に送信する。
端末装置３において、歌声発音モードで発音させたい任意の歌唱曲の歌詞データ及び音高データが入力されると、ＣＰＵ３０１は、入力された歌唱曲の歌詞データ及び音高データを学習済みモデル３０２ａに入力して、学習済みモデル３０２ａに歌声パラメータ群を推論させ、推論された歌声パラメータ群である歌声情報を通信部３０７により電子楽器２に送信する。
ここで、歌声情報について説明する。
歌唱曲を時間方向に所定時間単位で区切ったそれぞれの区間をフレームと呼び、学習済みモデル３０２ａは、フレーム単位で歌声パラメータを生成する。すなわち、１つの歌唱曲の歌声情報は、フレーム単位の複数の歌声パラメータ（歌声パラメータ群）により構成される。本実施形態では、歌唱曲を所定のサンプリング周波数（例えば、４４．１ｋＨｚ）でサンプリングしたときの１サンプルの長さ×２２５を１フレームとする。
歌唱曲を時間方向に所定時間単位で区切ったそれぞれの区間をフレームと呼び、学習済みモデル３０２ａは、フレーム単位で歌声パラメータを生成する。すなわち、１つの歌唱曲の歌声情報は、フレーム単位の複数の歌声パラメータ（歌声パラメータ群）により構成される。本実施形態では、歌唱曲を所定のサンプリング周波数（例えば、４４．１ｋＨｚ）でサンプリングしたときの１サンプルの長さ×２２５を１フレームとする。
フレーム単位の歌声パラメータには、スペクトルパラメータ（発音される声の周波数スペクトル）及び基本周波数Ｆ０パラメータ（発音される声のピッチ周波数）が含まれる。
また、フレーム単位の歌声パラメータには、音節の情報が含まれる。
図６は、フレームと音節の関係を示すイメージ図である（なお、図６は、登録商標を使用したものではない）。図６に示すように、歌唱曲の音声は、複数の音節（図６では第１音節～第３音節）により構成されている。それぞれの音節は、一般的には、１つの母音、又は、１つの母音と１又は複数の子音の組み合わせにより構成されている。各音節は、時間方向に連続する複数のフレーム区間にわたって発音され、一つの歌唱曲に含まれる各音節の音節開始位置、音節終了位置、母音開始位置、母音終了位置（いずれも、時間方向における位置）は、フレーム位置（先頭から何番目のフレームか）によって特定することができる。歌声情報における、各音節の音節開始位置、音節終了位置、母音開始位置、母音終了位置に該当するフレームの歌声パラメータには、第〇音節開始フレーム、第〇音節終了フレーム、第〇母音開始フレーム、第〇母音終了フレーム（〇は自然数）等の情報が含まれている。
図６は、フレームと音節の関係を示すイメージ図である（なお、図６は、登録商標を使用したものではない）。図６に示すように、歌唱曲の音声は、複数の音節（図６では第１音節～第３音節）により構成されている。それぞれの音節は、一般的には、１つの母音、又は、１つの母音と１又は複数の子音の組み合わせにより構成されている。各音節は、時間方向に連続する複数のフレーム区間にわたって発音され、一つの歌唱曲に含まれる各音節の音節開始位置、音節終了位置、母音開始位置、母音終了位置（いずれも、時間方向における位置）は、フレーム位置（先頭から何番目のフレームか）によって特定することができる。歌声情報における、各音節の音節開始位置、音節終了位置、母音開始位置、母音終了位置に該当するフレームの歌声パラメータには、第〇音節開始フレーム、第〇音節終了フレーム、第〇母音開始フレーム、第〇母音終了フレーム（〇は自然数）等の情報が含まれている。
図５に戻り、電子楽器２において、通信部２０８により端末装置３から歌声情報を受信すると、ＣＰＵ２０１は、受信した歌声情報をＲＡＭ２０３に記憶させる。
ユーザにより鍵盤１０１が操作され、キースキャナ２０６から演奏操作情報が入力されると、ＣＰＵ２０１は、押鍵操作された鍵の音高情報を音源部２０４に入力する。音源部２０４は、予め設定された音色の、入力された音高情報に応じた波形データを発声音源用波形データとして波形ＲＯＭから読み出し音声合成部２０５の合成フィルタ２０５ａに入力する。
また、キースキャナ２０６から演奏操作情報が入力されると、ＣＰＵ２０１は、後述する音節進行制御処理（図８参照）を実行することにより、演奏操作に応じて発音させるフレームを特定し、特定されたフレームのスペクトルパラメータをＲＡＭ２０３から読み出して合成フィルタ２０５ａに入力する。
ユーザにより鍵盤１０１が操作され、キースキャナ２０６から演奏操作情報が入力されると、ＣＰＵ２０１は、押鍵操作された鍵の音高情報を音源部２０４に入力する。音源部２０４は、予め設定された音色の、入力された音高情報に応じた波形データを発声音源用波形データとして波形ＲＯＭから読み出し音声合成部２０５の合成フィルタ２０５ａに入力する。
また、キースキャナ２０６から演奏操作情報が入力されると、ＣＰＵ２０１は、後述する音節進行制御処理（図８参照）を実行することにより、演奏操作に応じて発音させるフレームを特定し、特定されたフレームのスペクトルパラメータをＲＡＭ２０３から読み出して合成フィルタ２０５ａに入力する。
合成フィルタ２０５ａは、入力されたスペクトルパラメータと発声音源用波形データに基づいて歌声波形データを生成し、Ｄ／Ａコンバータ２１２に出力する。Ｄ／Ａコンバータ２１２に出力された歌声波形データはアナログ音声信号に変換され、アンプ２１３で増幅されてスピーカ２１４から出力される。
ここで、左手でコード、右手でメロディーを弾く演奏方法で歌詞を発音させる場合、右手のメロディーの押鍵に合わせて音節が進行してしまうと、左手のコードチェンジに合わせて自然に音節を進行させることができない。
そこで、ＣＰＵ２０１は、歌声発音モードにおいて、キースキャナ２０６からの演奏操作情報の入力に応じて、図８に示す音節進行制御処理を含む発音制御処理を実行することにより、コードチェンジに応じて適切に音節が進行するよう制御する。
図７は、発音制御処理の流れを示すフローチャートである。発音制御処理は、例えば通信部２０８により端末装置３から受信した歌声情報をＲＡＭ２０３に記憶させた際に、ＣＰＵ２０１とＲＯＭ２０２に記憶されているプログラムとの協働により実行される。
まず、ＣＰＵ２０１は、音節進行制御処理で使用される変数を初期化する（ステップＳ１）。
次いで、ＣＰＵ２０１は、キースキャナ２０６により演奏操作情報が入力されたか否かを判断する（ステップＳ２）。
演奏操作情報が入力されたと判断した場合（ステップＳ２；ＹＥＳ）、ＣＰＵ２０１は、音節進行制御処理を実行する（ステップＳ３）。
次いで、ＣＰＵ２０１は、キースキャナ２０６により演奏操作情報が入力されたか否かを判断する（ステップＳ２）。
演奏操作情報が入力されたと判断した場合（ステップＳ２；ＹＥＳ）、ＣＰＵ２０１は、音節進行制御処理を実行する（ステップＳ３）。
図８は、音節進行制御処理の流れを示すフローチャートである。音節進行制御処理は、ＣＰＵ２０１とＲ０Ｍ２０２に記憶されているプログラムとの協働により実行される。
音節進行制御処理において、ＣＰＵ２０１は、キースキャナ２０６から入力された演奏操作情報に基づいて、押鍵操作又は離鍵操作を検出する（ステップＳ３１）。
押鍵操作を検出した場合（ステップＳ３１；ＹＥＳ）、ＣＰＵ２０１は、KeyOnCounterにKeyOnCounter＋1を設定する（ステップＳ３２）。
ここで、KeyOnCounterは、現在押鍵されている（押鍵中の）鍵の数（操作継続中の操作子の数）を格納する変数である。
押鍵操作を検出した場合（ステップＳ３１；ＹＥＳ）、ＣＰＵ２０１は、KeyOnCounterにKeyOnCounter＋1を設定する（ステップＳ３２）。
ここで、KeyOnCounterは、現在押鍵されている（押鍵中の）鍵の数（操作継続中の操作子の数）を格納する変数である。
次いで、ＣＰＵ２０１は、KeyOnCounterが１であるか否かを判断する（ステップＳ３３）。
すなわち、検出された押鍵操作が他の操作子が押鍵されていない状態でなされたか否かを判断する。
すなわち、検出された押鍵操作が他の操作子が押鍵されていない状態でなされたか否かを判断する。
KeyOnCounterが１であると判断した場合（ステップＳ３３；ＹＥＳ）、ＣＰＵ２０１は、SystemTime（システム時間）を取得し、取得したSystemTimeをFirstKeyOnTimeに設定し（ステップＳ３４）、ステップＳ３８に移行する。
ここで、FirstKeyOnTimeは、現在押鍵されている鍵のうち最初に押鍵された鍵（第１操作子）が押鍵された時間を格納する変数である。すなわち、ＣＰＵ２０１は、KeyOnCounterが１であると判断した場合、第１操作子への操作（第１押鍵と呼ぶ）を検出したと判断てFirstKeyOnTimeの設定を行う。
ここで、FirstKeyOnTimeは、現在押鍵されている鍵のうち最初に押鍵された鍵（第１操作子）が押鍵された時間を格納する変数である。すなわち、ＣＰＵ２０１は、KeyOnCounterが１であると判断した場合、第１操作子への操作（第１押鍵と呼ぶ）を検出したと判断てFirstKeyOnTimeの設定を行う。
KeyOnCounterが１ではないと判断した場合（ステップＳ３３；ＮＯ）、ＣＰＵ２０１は、SystemTimeを取得し、SystemTime - FirstKeyOnTime≦Mであるか否かを判断する（ステップＳ３５）。
ここで、Mは、検出した押鍵操作（第２操作子への操作）が、第１押鍵とほぼ同時に操作されたか否かを判定するために予め設定された同時判定期間（数msec程度。本発明の設定時間に対応。）である。ＣＰＵ２０１は、SystemTime - FirstKeyOnTime≦Mである場合（すなわち、第１押鍵からの経過時間が同時判定期間内である場合）、第１押鍵と検出された押鍵は同時押鍵であるとみなす。SystemTime - FirstKeyOnTime≦Mではない場合（すなわち、第１押鍵からの経過時間が同時判定期間外である場合）、第１押鍵と検出された押鍵は同時押鍵ではないとみなす。なお、同時押鍵数が３以上の場合、コードが指定されたとみなすことができる。
ここで、Mは、検出した押鍵操作（第２操作子への操作）が、第１押鍵とほぼ同時に操作されたか否かを判定するために予め設定された同時判定期間（数msec程度。本発明の設定時間に対応。）である。ＣＰＵ２０１は、SystemTime - FirstKeyOnTime≦Mである場合（すなわち、第１押鍵からの経過時間が同時判定期間内である場合）、第１押鍵と検出された押鍵は同時押鍵であるとみなす。SystemTime - FirstKeyOnTime≦Mではない場合（すなわち、第１押鍵からの経過時間が同時判定期間外である場合）、第１押鍵と検出された押鍵は同時押鍵ではないとみなす。なお、同時押鍵数が３以上の場合、コードが指定されたとみなすことができる。
SystemTime - FirstKeyOnTime≦Mである（同時判定期間内である）と判断した場合（ステップＳ３５；ＹＥＳ）、ＣＰＵ２０１は、ステップＳ４２に移行する。
ここで、ステップＳ３５の判断がＹＥＳとなる押鍵は、第１押鍵と同時押鍵である。複数の同時押鍵の場合は、第１押鍵も含めて全体で１つの音節が進むよう制御する。本実施形態では、第１押鍵で音節を進めているため、同時押鍵となるその他の押鍵では、ステップＳ４２に移行して、音節を進めないよう制御する。
ここで、ステップＳ３５の判断がＹＥＳとなる押鍵は、第１押鍵と同時押鍵である。複数の同時押鍵の場合は、第１押鍵も含めて全体で１つの音節が進むよう制御する。本実施形態では、第１押鍵で音節を進めているため、同時押鍵となるその他の押鍵では、ステップＳ４２に移行して、音節を進めないよう制御する。
SystemTime - FirstKeyOnTime≦Mではない（同時判定期間外である（第１押鍵から同時判定期間が経過した後である））と判断した場合（ステップＳ３５；ＮＯ）、ＣＰＵ２０１は、KeyOnCounter≧３、すなわち、現在押鍵されている鍵数が設定数である３以上であるか否かを判断する（ステップＳ３６）。
ここで、コードは、押鍵されている鍵数が設定数３以上であることが要件の１つである。
ここで、コードは、押鍵されている鍵数が設定数３以上であることが要件の１つである。
KeyOnCounter≧３ではないと判断した場合（ステップＳ３６；ＮＯ）、ＣＰＵ２０１は、ステップＳ４２に移行する。
KeyOnCounter≧３であると判断した場合（ステップＳ３６；ＹＥＳ）、ＣＰＵ２０１は、押鍵が検出された鍵の音高がトップノート（現在押鍵されている鍵の音高のうち最高音高）であるか否かを判断する（ステップＳ３７）。
押鍵が検出された鍵の音高がトップノートであると判断した場合（ステップＳ３７；ＹＥＳ）、ＣＰＵ２０１は、ステップＳ４２に移行する。
ここで、ステップＳ３７の判断がＹＥＳとなる押鍵は、メロディーの押鍵であるといえるので、ＣＰＵ２０１は、コードを指定する操作ではないと判断する。
押鍵が検出された鍵の音高がトップノートであると判断した場合（ステップＳ３７；ＹＥＳ）、ＣＰＵ２０１は、ステップＳ４２に移行する。
ここで、ステップＳ３７の判断がＹＥＳとなる押鍵は、メロディーの押鍵であるといえるので、ＣＰＵ２０１は、コードを指定する操作ではないと判断する。
押鍵が検出された鍵の音高がトップノートではないと判断した場合（ステップＳ３７；ＮＯ）、ＣＰＵ２０１は、ステップＳ３８に移行する。
ここで、ステップＳ３７の判断がＮＯとなる押鍵は、コードが変化する押鍵であるので、ＣＰＵ２０１は、コードを指定する操作であると判断する。
ここで、ステップＳ３７の判断がＮＯとなる押鍵は、コードが変化する押鍵であるので、ＣＰＵ２０１は、コードを指定する操作であると判断する。
ステップＳ３８において、ＣＰＵ２０１は、CurrentFramePosが最後の音節のフレーム位置であるか否かを判断する（ステップＳ３８）。
このCurrentFramePosは、現在の発音対象のフレームのフレーム位置を格納する変数であり、ステップＳ４４又はＳ４５において次の発音対象のフレームのフレーム位置に置き換えられるまでは、前回発音されたフレームのフレーム位置が格納されている。
このCurrentFramePosは、現在の発音対象のフレームのフレーム位置を格納する変数であり、ステップＳ４４又はＳ４５において次の発音対象のフレームのフレーム位置に置き換えられるまでは、前回発音されたフレームのフレーム位置が格納されている。
CurrentFramePosが最後の音節のフレーム位置であると判断した場合（ステップＳ３８；ＹＥＳ）、ＣＰＵ２０１は、次の発音対象のフレームのフレーム位置を格納する変数であるNextFramePosに、最初の音節の音節開始位置を設定し（ステップＳ３９）、ステップＳ４４に移行する。
CurrentFramePosが最後の音節のフレーム位置ではないと判断した場合（ステップＳ３８；ＮＯ）、ＣＰＵ２０１は、NextFramePosに、次の音節の音節開始位置を設定し（ステップＳ４０）、ステップＳ４４に移行する。
ステップＳ４４において、ＣＰＵ２０１は、CurrentFramePosにNextFramePosを設定し（ステップＳ４４）、図７のステップＳ４に移行する。
すなわち、前回発音されたフレームが最後の音節ではない場合は、発音対象のフレームの位置が次の音節の音節開始位置に進行する。前回発音されたフレームが最後の音節である場合は、前回発音された音節の次の音節がないため、発音対象のフレームの位置が最初の音節開始位置のフレームに進行する。
すなわち、前回発音されたフレームが最後の音節ではない場合は、発音対象のフレームの位置が次の音節の音節開始位置に進行する。前回発音されたフレームが最後の音節である場合は、前回発音された音節の次の音節がないため、発音対象のフレームの位置が最初の音節開始位置のフレームに進行する。
一方、ステップＳ３１において、離鍵が検出されたと判断した場合（ステップＳ３１；ＮＯ）、ＣＰＵ２０１は、KeyOnCounterにKeyOnCounter - 1を設定し（ステップＳ４１）、ステップＳ４２に移行する。
ステップＳ４２において、ＣＰＵ２０１は、NextFramePosにCurrentFramePos＋再生レート／１２０を設定する（ステップＳ４２）。
ここで、１２０は、デフォルトのテンポ値であるが、これに限定されるものではない。再生レートは、ユーザが予め設定した値である。例えば、再生レートが２４０に設定されている場合、次に発音するフレームの位置が現在のフレーム位置から２つ進んだ位置に設定される。再生レートが６０に設定されている場合、次に発音するフレームの位置が現在のフレーム位置から０．５進んだ位置に設定される。
ここで、１２０は、デフォルトのテンポ値であるが、これに限定されるものではない。再生レートは、ユーザが予め設定した値である。例えば、再生レートが２４０に設定されている場合、次に発音するフレームの位置が現在のフレーム位置から２つ進んだ位置に設定される。再生レートが６０に設定されている場合、次に発音するフレームの位置が現在のフレーム位置から０．５進んだ位置に設定される。
次いで、ＣＰＵ２０１は、NextFramePos＞母音終了位置であるか否かを判断する（ステップＳ４３）。すなわち、次に発音するフレームの位置が、現在の発音対象の音節の母音終了位置（すなわち前回発音された音節の母音終了位置）を超えるか否かを判断する。
NextFramePos＞母音終了位置ではないと判断した場合（ステップＳ４３；ＮＯ）、ＣＰＵ２０１は、ステップＳ４４に移行し、CurrentFramePosにNextFramePosを設定し（ステップＳ４４）、図７のステップＳ４に移行する。すなわち、発音対象のフレームのフレーム位置をNextFramePosに進行させるが、NextFramePosは前回発音された音節の母音終了位置より手前であるため、次の音節には進まない。
NextFramePos＞母音終了位置ではないと判断した場合（ステップＳ４３；ＮＯ）、ＣＰＵ２０１は、ステップＳ４４に移行し、CurrentFramePosにNextFramePosを設定し（ステップＳ４４）、図７のステップＳ４に移行する。すなわち、発音対象のフレームのフレーム位置をNextFramePosに進行させるが、NextFramePosは前回発音された音節の母音終了位置より手前であるため、次の音節には進まない。
NextFramePos＞母音終了位置であると判断した場合（ステップＳ４３；ＹＥＳ）、ＣＰＵ２０１は、CurrentFramePosに現在の発音対象の音節の母音終了位置を設定し（ステップＳ４５）、図７のステップＳ４に移行する。すなわち、発音対象のフレームのフレーム位置を前回発音された音節の母音終了位置に設定するので、次の音節には進まない。
図９は、上記の音節進行制御処理による音節制御の様子を模式的に示す図である。図９において、黒い逆三角形は、全鍵が離鍵状態となったタイミングを示している。また、KeyOnCounterの数値は、Ｔ１～Ｔ５のそれぞれのタイミングにおけるKeyOnCounterの値を示している。
図９に示す演奏のＴ１のタイミングの押鍵は、複数の鍵の同時押鍵であるため、音節が１つ進む。Ｔ２のタイミングの押鍵は、同時判定期間外の押鍵であり、このタイミングで押鍵されている鍵の数が３以上であるが、トップノートの押鍵であるため、コードが指定されていないと判断され、音節は進まない。Ｔ３のタイミングの押鍵は、同時判定期間外の押鍵であり、このタイミングで押鍵されている鍵の数が３以上であり、かつトップノート以外の押鍵であるため、コードが指定されたと判断されて音節が１つ進む。Ｔ４のタイミングの押鍵は、同時判定期間外の押鍵であり、このタイミングで押鍵されている鍵の数が３以上であるが、トップノートの押鍵であるため、コードが指定されていないと判断され、音節は進まない。Ｔ５のタイミングの押鍵は、複数の鍵の同時押鍵であるため、音節が１つ進む。なお、図９は、登録商標を使用したものではない。
図９に示す演奏のＴ１のタイミングの押鍵は、複数の鍵の同時押鍵であるため、音節が１つ進む。Ｔ２のタイミングの押鍵は、同時判定期間外の押鍵であり、このタイミングで押鍵されている鍵の数が３以上であるが、トップノートの押鍵であるため、コードが指定されていないと判断され、音節は進まない。Ｔ３のタイミングの押鍵は、同時判定期間外の押鍵であり、このタイミングで押鍵されている鍵の数が３以上であり、かつトップノート以外の押鍵であるため、コードが指定されたと判断されて音節が１つ進む。Ｔ４のタイミングの押鍵は、同時判定期間外の押鍵であり、このタイミングで押鍵されている鍵の数が３以上であるが、トップノートの押鍵であるため、コードが指定されていないと判断され、音節は進まない。Ｔ５のタイミングの押鍵は、複数の鍵の同時押鍵であるため、音節が１つ進む。なお、図９は、登録商標を使用したものではない。
このように、上記の音節進行制御処理によれば、コードを指定する操作であると判断する押鍵を検出した場合、発音する音節を次の音節に進め、コードを指定する操作ではないと判断する押鍵を検出した場合、発音する音節を次の音節に進めないよう制御する。
したがって、左手でコード（和音）、右手でメロディーを弾く演奏方法で歌詞を発音させる場合において、左手のコードチェンジに合わせて自然に音節を進行させることができる。すなわち、音節の進行をコードの変化に合わせて良好に制御することができる。
したがって、左手でコード（和音）、右手でメロディーを弾く演奏方法で歌詞を発音させる場合において、左手のコードチェンジに合わせて自然に音節を進行させることができる。すなわち、音節の進行をコードの変化に合わせて良好に制御することができる。
図７のステップＳ４において、ＣＰＵ２０１は、ステップＳ１で入力された演奏操作情報に基づいて検出された操作が押鍵操作であるか否かを判断する（ステップＳ４）。
検出された操作が押鍵操作であると判断した場合（ステップＳ４；ＹＥＳ）、ＣＰＵ２０１は、CurrentFramePosに格納されているフレーム位置のフレームを発音させる発音処理を実行し（ステップＳ５）、ステップＳ７に移行する。
ステップＳ５において、ＣＰＵ２０１は、押鍵操作が検出された鍵の音高情報と、CurrentFramePosに格納されているフレーム位置のフレームのスペクトルパラメータに基づいて、音声合成部２０５に歌声の音声を合成させて出力させる。
具体的に、ＣＰＵ２０１は、鍵盤１０１において押鍵操作された鍵及び押鍵中の鍵の音高情報を音源部２０４に入力し、音源部２０４により、予め設定された音色の、入力された音高情報に応じた波形データを波形ＲＯＭから読み出して発声音源用波形データとして音声合成部２０５の合成フィルタ２０５ａに入力させる。また、ＣＰＵ２０１は、CurrentFramePosに格納されているフレーム位置のフレームのスペクトルパラメータをＲＡＭ２０３に記憶されている歌声情報から取得して、合成フィルタ２０５ａに入力する。そして、合成フィルタ２０５ａにより、入力されたスペクトルパラメータと発声音源用波形データに基づいて歌声波形データを生成させ、生成された歌声波形データをＤ／Ａコンバータ２１２によりアナログ音声信号に変換させ、アンプ２１３とスピーカ２１４を介して出力（発音）させる。
具体的に、ＣＰＵ２０１は、鍵盤１０１において押鍵操作された鍵及び押鍵中の鍵の音高情報を音源部２０４に入力し、音源部２０４により、予め設定された音色の、入力された音高情報に応じた波形データを波形ＲＯＭから読み出して発声音源用波形データとして音声合成部２０５の合成フィルタ２０５ａに入力させる。また、ＣＰＵ２０１は、CurrentFramePosに格納されているフレーム位置のフレームのスペクトルパラメータをＲＡＭ２０３に記憶されている歌声情報から取得して、合成フィルタ２０５ａに入力する。そして、合成フィルタ２０５ａにより、入力されたスペクトルパラメータと発声音源用波形データに基づいて歌声波形データを生成させ、生成された歌声波形データをＤ／Ａコンバータ２１２によりアナログ音声信号に変換させ、アンプ２１３とスピーカ２１４を介して出力（発音）させる。
検出された操作が離鍵操作であると判断した場合（ステップＳ４；ＮＯ）、ＣＰＵ２０１は、離鍵操作された鍵の音声の消音処理を実行し（ステップＳ６）、ステップＳ７に移行する。
ステップＳ７において、ＣＰＵ２０１は、離鍵操作された鍵以外の、現在押鍵中の鍵の音高情報と、CurrentFramePosに格納されているフレーム位置のフレームのスペクトルパラメータに基づいて、歌声の音声を合成させて出力させる。
具体的に、ＣＰＵ２０１は、離鍵操作された鍵以外の、現在押鍵中の鍵の音高情報を音源部２０４に入力し、音源部２０４により、予め設定された音色の、入力された音高情報に応じた波形データを発声音源用波形データとして音声合成部２０５の合成フィルタ２０５ａに入力させる。また、ＣＰＵ２０１は、CurrentFramePosに格納されているフレーム位置のフレームのスペクトルパラメータをＲＡＭ２０３に記憶されている歌声情報から取得して、合成フィルタ２０５ａに入力する。そして、合成フィルタ２０５ａにより、入力されたスペクトルパラメータと発声音源用波形データに基づいて歌声波形データを生成させ、生成された歌声波形データをＤ／Ａコンバータ２１２によりアナログ音声信号に変換させ、アンプ２１３とスピーカ２１４を介して出力（発音）させる。
具体的に、ＣＰＵ２０１は、離鍵操作された鍵以外の、現在押鍵中の鍵の音高情報を音源部２０４に入力し、音源部２０４により、予め設定された音色の、入力された音高情報に応じた波形データを発声音源用波形データとして音声合成部２０５の合成フィルタ２０５ａに入力させる。また、ＣＰＵ２０１は、CurrentFramePosに格納されているフレーム位置のフレームのスペクトルパラメータをＲＡＭ２０３に記憶されている歌声情報から取得して、合成フィルタ２０５ａに入力する。そして、合成フィルタ２０５ａにより、入力されたスペクトルパラメータと発声音源用波形データに基づいて歌声波形データを生成させ、生成された歌声波形データをＤ／Ａコンバータ２１２によりアナログ音声信号に変換させ、アンプ２１３とスピーカ２１４を介して出力（発音）させる。
ステップＳ７において、ＣＰＵ２０１は、歌声発音モードの終了が指示されたか否かを判断する（ステップＳ７）。
例えば、歌声発音モード中に歌声発音モードスイッチが押下された場合、ＣＰＵ２０１は、歌声発音モードの終了が指示されたと判断する。
例えば、歌声発音モード中に歌声発音モードスイッチが押下された場合、ＣＰＵ２０１は、歌声発音モードの終了が指示されたと判断する。
歌声発音モードの終了が指示されていないと判断した場合（ステップＳ７；ＮＯ）、ＣＰＵ２０１は、ステップＳ２に戻る。
歌声発音モードの終了が指示されたと判断した場合（ステップＳ７；ＹＥＳ）、ＣＰＵ２０１は、歌声発音モードを終了する。
歌声発音モードの終了が指示されたと判断した場合（ステップＳ７；ＹＥＳ）、ＣＰＵ２０１は、歌声発音モードを終了する。
以上説明したように、ＣＰＵ２０１は、操作子への操作がコードを指定する操作と判断する場合に、発音させる音声に対応する音節を第１音節（先頭の音節に限らない。）から次の第２音節に進めるように制御し、コードを指定する操作ではないと判断する場合に、前記第１音節から前記第２音節に進めないように制御する。
例えば、ＣＰＵ２０１は、同時判定期間の経過後に押鍵操作が検出された場合であって、当該押鍵操作が検出されたタイミングに操作継続中の操作子の数が設定数に達し、かつ押鍵された操作子が操作継続中の操作子の中の最高音高を示すトップノートではない場合、コードを指定する操作であると判断する。同時判定期間の経過後に押鍵操作検出された場合であって、当該押鍵操作が検出されたタイミングに操作継続中の操作子の数が設定数に達し、かつ、押鍵された操作子がトップノートである場合、コードを指定する操作ではないと判断する。
したがって、左手でコード、右手でメロディーを弾く演奏方法で歌詞を発音させる場合において、左手のコードチェンジに合わせて自然に音節を進行させることができる。すなわち、音節の進行をコードの変化に合わせて良好に制御することができる。
例えば、ＣＰＵ２０１は、同時判定期間の経過後に押鍵操作が検出された場合であって、当該押鍵操作が検出されたタイミングに操作継続中の操作子の数が設定数に達し、かつ押鍵された操作子が操作継続中の操作子の中の最高音高を示すトップノートではない場合、コードを指定する操作であると判断する。同時判定期間の経過後に押鍵操作検出された場合であって、当該押鍵操作が検出されたタイミングに操作継続中の操作子の数が設定数に達し、かつ、押鍵された操作子がトップノートである場合、コードを指定する操作ではないと判断する。
したがって、左手でコード、右手でメロディーを弾く演奏方法で歌詞を発音させる場合において、左手のコードチェンジに合わせて自然に音節を進行させることができる。すなわち、音節の進行をコードの変化に合わせて良好に制御することができる。
なお、上記実施形態における記述内容は、本発明に係る情報処理装置、電子楽器、音節進行制御方法及びプログラムの好適な一例であり、これに限定されるものではない。
例えば、上記実施形態においては、本発明の情報処理装置が電子楽器２に含まれる構成として説明したが、これに限定されない。例えば、本発明の情報処理装置の機能が、有線又は無線による通信インターフェースを介して電子楽器２に接続された外部装置（例えば、上述の端末装置３（ＰＣ（Personal Computer）、タブレット端末、スマートフォン等））に備えられていることとしてもよい。この場合、情報処理装置は、音節の位置制御に応じたパラメータ（ここでは、スペクトルパラメーター）を電子楽器２に送信し、電子楽器２は、受信したパラメータに基づいて合成した音声を発音する。
例えば、上記実施形態においては、本発明の情報処理装置が電子楽器２に含まれる構成として説明したが、これに限定されない。例えば、本発明の情報処理装置の機能が、有線又は無線による通信インターフェースを介して電子楽器２に接続された外部装置（例えば、上述の端末装置３（ＰＣ（Personal Computer）、タブレット端末、スマートフォン等））に備えられていることとしてもよい。この場合、情報処理装置は、音節の位置制御に応じたパラメータ（ここでは、スペクトルパラメーター）を電子楽器２に送信し、電子楽器２は、受信したパラメータに基づいて合成した音声を発音する。
また、上記実施形態では、学習済みモデル３０２ａが端末装置３に備えられていることとして説明したが、電子楽器２に備えられている構成としてもよい。そして、電子楽器２において入力された歌詞データ及び音高データに基づいて、学習済みモデル３０２ａが歌声情報を推論することとしてもよい。
また、上記実施形態においては、電子楽器２が電子鍵盤楽器である場合を例にとり説明したが、これに限定されず、例えば、電子弦楽器、電子管楽器等の他の電子楽器であってもよい。
また、上記実施形態では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてＲＯＭ等の半導体メモリやハードディスクを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、ＳＳＤや、ＣＤ－ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も適用される。
その他、電子楽器、情報処理装置、及び電子楽器システムの細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
以上に本発明の実施形態を説明したが、本発明の技術的範囲は上述の実施の形態に限定するものではなく、特許請求の範囲に記載に基づいて定められる。更に、特許請求の範囲の記載から本発明の本質とは関係のない変更を加えた均等な範囲も本発明の技術的範囲に含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
操作子への操作がコードを指定する操作と判断する場合に、発音させる音声に対応する音節を第１音節から次の第２音節に進めるように制御し、
コードを指定する操作ではないと判断する場合に、前記第１音節から前記第２音節に進めないように制御する制御部、
を備える情報処理装置。
＜請求項２＞
前記コードを指定する操作と判断する場合は、
第１操作子への操作が検出されてから設定時間経過後に第２操作子への操作が検出された場合であって、前記第２操作子への操作が検出されたタイミングに操作継続中の操作子の数が設定数に達し、かつ前記第２操作子が前記操作継続中の操作子の中の最高音高を示すトップノートではない場合を含む、
請求項１に記載の情報処理装置。
＜請求項３＞
前記コードを指定する操作ではないと判断する場合は、
前記第１操作子への操作が検出されてから前記設定時間経過後に前記第２操作子への操作が検出された場合であって、前記第２操作子への操作が検出されたタイミングに操作継続中の操作子の数が設定数に達し、かつ、前記第２操作子が前記トップノートである場合を含む、
請求項２に記載の情報処理装置。
＜請求項４＞
前記制御部は、いずれの操作子への操作がされていない状態でいずれかの操作子への操作を検出した場合に、前記第１操作子への操作を検出したと判断して前記設定時間のカウントを開始する、
請求項２又は３に記載の情報処理装置。
＜請求項５＞
請求項１～４のいずれか一項に記載の情報処理装置と、
電子楽器と、
を備え、
前記情報処理装置は、音節の位置制御に応じたパラメータを前記電子楽器に送信し、
前記電子楽器は、受信した前記パラメータに基づいて合成した音声を発音する、
電子楽器システム。
＜請求項６＞
請求項１～４のいずれか一項に記載の情報処理装置と、
複数の操作子と、
を備える電子楽器。
＜請求項７＞
情報処理装置の制御部が、
操作子への操作がコードを指定する操作と判断する場合に、発音させる音声に対応する音節を第１音節から次の第２音節に進めるように制御し、
コードを指定する操作ではないと判断する場合に、前記第１音節から前記第２音節に進めないように制御する、方法。
＜請求項８＞
情報処理装置の制御部が、
操作子への操作がコードを指定する操作と判断する場合に、発音させる音声に対応する音節を第１音節から次の第２音節に進めるように制御し、
コードを指定する操作ではないと判断する場合に、前記第１音節から前記第２音節に進めないように制御する、
処理を実行するためのプログラム。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
操作子への操作がコードを指定する操作と判断する場合に、発音させる音声に対応する音節を第１音節から次の第２音節に進めるように制御し、
コードを指定する操作ではないと判断する場合に、前記第１音節から前記第２音節に進めないように制御する制御部、
を備える情報処理装置。
＜請求項２＞
前記コードを指定する操作と判断する場合は、
第１操作子への操作が検出されてから設定時間経過後に第２操作子への操作が検出された場合であって、前記第２操作子への操作が検出されたタイミングに操作継続中の操作子の数が設定数に達し、かつ前記第２操作子が前記操作継続中の操作子の中の最高音高を示すトップノートではない場合を含む、
請求項１に記載の情報処理装置。
＜請求項３＞
前記コードを指定する操作ではないと判断する場合は、
前記第１操作子への操作が検出されてから前記設定時間経過後に前記第２操作子への操作が検出された場合であって、前記第２操作子への操作が検出されたタイミングに操作継続中の操作子の数が設定数に達し、かつ、前記第２操作子が前記トップノートである場合を含む、
請求項２に記載の情報処理装置。
＜請求項４＞
前記制御部は、いずれの操作子への操作がされていない状態でいずれかの操作子への操作を検出した場合に、前記第１操作子への操作を検出したと判断して前記設定時間のカウントを開始する、
請求項２又は３に記載の情報処理装置。
＜請求項５＞
請求項１～４のいずれか一項に記載の情報処理装置と、
電子楽器と、
を備え、
前記情報処理装置は、音節の位置制御に応じたパラメータを前記電子楽器に送信し、
前記電子楽器は、受信した前記パラメータに基づいて合成した音声を発音する、
電子楽器システム。
＜請求項６＞
請求項１～４のいずれか一項に記載の情報処理装置と、
複数の操作子と、
を備える電子楽器。
＜請求項７＞
情報処理装置の制御部が、
操作子への操作がコードを指定する操作と判断する場合に、発音させる音声に対応する音節を第１音節から次の第２音節に進めるように制御し、
コードを指定する操作ではないと判断する場合に、前記第１音節から前記第２音節に進めないように制御する、方法。
＜請求項８＞
情報処理装置の制御部が、
操作子への操作がコードを指定する操作と判断する場合に、発音させる音声に対応する音節を第１音節から次の第２音節に進めるように制御し、
コードを指定する操作ではないと判断する場合に、前記第１音節から前記第２音節に進めないように制御する、
処理を実行するためのプログラム。
１ 電子楽器システム
２ 電子楽器
１０１ 鍵盤
１０２ 第１のスイッチパネル
１０３ 第２のスイッチパネル
１０４ ＬＣＤ
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ 音源部
２０５ 音声合成部
２０５ａ 合成フィルタ
２０６ キースキャナ
２０８ 通信部
２０９ バス
２１０ タイマ
２１１ Ｄ／Ａコンバータ
２１２ Ｄ／Ａコンバータ
２１３ アンプ
２１４ スピーカ
３ 端末装置
３０１ ＣＰＵ
３０２ ＲＯＭ
３０２ａ 学習済みモデル
３０３ ＲＡＭ
３０４ 記憶部
３０５ 操作部
３０６ 表示部
３０７ 通信部
３０８ バス
２ 電子楽器
１０１ 鍵盤
１０２ 第１のスイッチパネル
１０３ 第２のスイッチパネル
１０４ ＬＣＤ
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ 音源部
２０５ 音声合成部
２０５ａ 合成フィルタ
２０６ キースキャナ
２０８ 通信部
２０９ バス
２１０ タイマ
２１１ Ｄ／Ａコンバータ
２１２ Ｄ／Ａコンバータ
２１３ アンプ
２１４ スピーカ
３ 端末装置
３０１ ＣＰＵ
３０２ ＲＯＭ
３０２ａ 学習済みモデル
３０３ ＲＡＭ
３０４ 記憶部
３０５ 操作部
３０６ 表示部
３０７ 通信部
３０８ バス
Claims (8)
- 操作子への操作がコードを指定する操作と判断する場合に、発音させる音声に対応する音節を第１音節から次の第２音節に進めるように制御し、
コードを指定する操作ではないと判断する場合に、前記第１音節から前記第２音節に進めないように制御する制御部、
を備える情報処理装置。 - 前記コードを指定する操作と判断する場合は、
第１操作子への操作が検出されてから設定時間経過後に第２操作子への操作が検出された場合であって、前記第２操作子への操作が検出されたタイミングに操作継続中の操作子の数が設定数に達し、かつ前記第２操作子が前記操作継続中の操作子の中の最高音高を示すトップノートではない場合を含む、
請求項１に記載の情報処理装置。 - 前記コードを指定する操作ではないと判断する場合は、
前記第１操作子への操作が検出されてから前記設定時間経過後に前記第２操作子への操作が検出された場合であって、前記第２操作子への操作が検出されたタイミングに操作継続中の操作子の数が設定数に達し、かつ、前記第２操作子が前記トップノートである場合を含む、
請求項２に記載の情報処理装置。 - 前記制御部は、いずれの操作子への操作がされていない状態でいずれかの操作子への操作を検出した場合に、前記第１操作子への操作を検出したと判断して前記設定時間のカウントを開始する、
請求項２又は３に記載の情報処理装置。 - 請求項１～４のいずれか一項に記載の情報処理装置と、
電子楽器と、
を備え、
前記情報処理装置は、音節の位置制御に応じたパラメータを前記電子楽器に送信し、
前記電子楽器は、受信した前記パラメータに基づいて合成した音声を発音する、
電子楽器システム。 - 請求項１～４のいずれか一項に記載の情報処理装置と、
複数の操作子と、
を備える電子楽器。 - 情報処理装置の制御部が、
操作子への操作がコードを指定する操作と判断する場合に、発音させる音声に対応する音節を第１音節から次の第２音節に進めるように制御し、
コードを指定する操作ではないと判断する場合に、前記第１音節から前記第２音節に進めないように制御する、方法。 - 情報処理装置の制御部が、
操作子への操作がコードを指定する操作と判断する場合に、発音させる音声に対応する音節を第１音節から次の第２音節に進めるように制御し、
コードを指定する操作ではないと判断する場合に、前記第１音節から前記第２音節に進めないように制御する、
処理を実行するためのプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021207715A JP7456430B2 (ja) | 2021-12-22 | 2021-12-22 | 情報処理装置、電子楽器システム、電子楽器、音節進行制御方法及びプログラム |
| PCT/JP2022/045760 WO2023120289A1 (ja) | 2021-12-22 | 2022-12-13 | 情報処理装置、電子楽器システム、電子楽器、音節進行制御方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021207715A JP7456430B2 (ja) | 2021-12-22 | 2021-12-22 | 情報処理装置、電子楽器システム、電子楽器、音節進行制御方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023092599A JP2023092599A (ja) | 2023-07-04 |
| JP7456430B2 true JP7456430B2 (ja) | 2024-03-27 |
Family
ID=86902383
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021207715A Active JP7456430B2 (ja) | 2021-12-22 | 2021-12-22 | 情報処理装置、電子楽器システム、電子楽器、音節進行制御方法及びプログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7456430B2 (ja) |
| WO (1) | WO2023120289A1 (ja) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008170592A (ja) | 2007-01-10 | 2008-07-24 | Yamaha Corp | 歌唱合成のための装置およびプログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1020859A (ja) * | 1996-07-01 | 1998-01-23 | Casio Comput Co Ltd | 楽音発生装置 |
| JP7088159B2 (ja) * | 2019-12-23 | 2022-06-21 | カシオ計算機株式会社 | 電子楽器、方法及びプログラム |
-
2021
- 2021-12-22 JP JP2021207715A patent/JP7456430B2/ja active Active
-
2022
- 2022-12-13 WO PCT/JP2022/045760 patent/WO2023120289A1/ja unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008170592A (ja) | 2007-01-10 | 2008-07-24 | Yamaha Corp | 歌唱合成のための装置およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023092599A (ja) | 2023-07-04 |
| WO2023120289A1 (ja) | 2023-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10789922B2 (en) | Electronic musical instrument, electronic musical instrument control method, and storage medium | |
| JP3598598B2 (ja) | カラオケ装置 | |
| EP3273441B1 (en) | Sound control device, sound control method, and sound control program | |
| US20210295819A1 (en) | Electronic musical instrument and control method for electronic musical instrument | |
| US11417312B2 (en) | Keyboard instrument and method performed by computer of keyboard instrument | |
| JPH11184490A (ja) | 規則音声合成による歌声合成方法 | |
| JP5228315B2 (ja) | 自動伴奏生成装置および自動伴奏生成方法を実現するためのプログラム | |
| JP3116937B2 (ja) | カラオケ装置 | |
| JP7456430B2 (ja) | 情報処理装置、電子楽器システム、電子楽器、音節進行制御方法及びプログラム | |
| US20220301530A1 (en) | Information processing device, electronic musical instrument, and information processing method | |
| JP3307283B2 (ja) | 歌唱音合成装置 | |
| JP7509127B2 (ja) | 情報処理装置、電子楽器システム、電子楽器、音節進行制御方法及びプログラム | |
| JP2014098800A (ja) | 音声合成装置 | |
| JP2001042879A (ja) | カラオケ装置 | |
| JPH11338480A (ja) | カラオケ装置 | |
| JP7544076B2 (ja) | 情報処理装置、電子楽器、電子楽器システム、方法及びプログラム | |
| JP7468495B2 (ja) | 情報処理装置、電子楽器、情報処理システム、情報処理方法、及びプログラム | |
| JP2002221978A (ja) | ボーカルデータ生成装置、ボーカルデータ生成方法および歌唱音合成装置 | |
| JP7528488B2 (ja) | 電子楽器、方法及びプログラム | |
| JP3173310B2 (ja) | ハーモニー生成装置 | |
| WO2023120121A1 (ja) | 子音長変更装置、電子楽器、楽器システム、方法及びプログラム | |
| JP4624879B2 (ja) | 楽音情報発生プログラムおよび楽音情報発生装置 | |
| JP4033146B2 (ja) | カラオケ装置 | |
| JPH1049192A (ja) | 歌唱音合成装置 | |
| JP4147668B2 (ja) | 自動歌唱装置および記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240213 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240226 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7456430 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |