JP6728754B2 - 発音装置、発音方法および発音プログラム - Google Patents

発音装置、発音方法および発音プログラム Download PDF

Info

Publication number
JP6728754B2
JP6728754B2 JP2016032392A JP2016032392A JP6728754B2 JP 6728754 B2 JP6728754 B2 JP 6728754B2 JP 2016032392 A JP2016032392 A JP 2016032392A JP 2016032392 A JP2016032392 A JP 2016032392A JP 6728754 B2 JP6728754 B2 JP 6728754B2
Authority
JP
Japan
Prior art keywords
pronunciation
syllable
sounding
key
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016032392A
Other languages
English (en)
Other versions
JP2016177276A (ja
Inventor
桂三 濱野
桂三 濱野
良朋 太田
良朋 太田
一輝 柏瀬
一輝 柏瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of JP2016177276A publication Critical patent/JP2016177276A/ja
Application granted granted Critical
Publication of JP6728754B2 publication Critical patent/JP6728754B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/02Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • G10H1/0025Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033Voice editing, e.g. manipulating the voice of the synthesiser
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G10L13/10Prosody rules derived from text; Stress or intonation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155Musical effects
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155Musical effects
    • G10H2210/161Note sequence effects, i.e. sensing, altering, controlling, processing or synthesising a note trigger selection or sequence, e.g. by altering trigger timing, triggered note values, adding improvisation or ornaments, also rapid repetition of the same note onset, e.g. on a piano, guitar, e.g. rasgueado, drum roll
    • G10H2210/165Humanizing effects, i.e. causing a performance to sound less machine-like, e.g. by slightly randomising pitch or tempo
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005Non-interactive screen display of musical or status data
    • G10H2220/011Lyrics displays, e.g. for karaoke applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/025Envelope processing of music signals in, e.g. time domain, transform domain or cepstrum domain
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/315Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
    • G10H2250/455Gensound singing voices, i.e. generation of human voices for musical applications, vocal singing sounds or intelligible words at a desired pitch or with desired vocal effects, e.g. by phoneme synthesis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

この発明は、リアルタイム演奏時に、簡単に、表情豊かな音の演奏を行える発音装置、発音方法および発音プログラムに関する。
従来、リアルタイムに入力される演奏データに基づいて、歌唱合成を行う特許文献1記載の歌唱音合成装置が知られている。この歌唱音合成装置は、MIDI機器から受信した演奏データに基づき歌唱合成スコアが形成され、このスコアに基づいて歌唱合成が行われる。歌唱合成スコアは、音韻トラック、遷移トラック、ビブラートトラックを含んでおり、MIDI機器の操作に応じて音量制御やビブラート制御が行われる。
また、ノートと歌詞を入力して、ノートの音高にそって歌詞を歌わせる非特許文献1記載の従来のボーカルトラック作成ソフトウェアでは、声の表情や抑揚、声質や音色の変化を調整するためのパラメータが多数装備されて、歌声に細かなニュアンスや抑揚をつけられることが記載されている。
特開2002−202788号公報
VOCALOID使いこなしマニュアル「VOCALOID EDITOR活用法」[online], [平成27年 2月27日検索],インターネット<http://www.crypton.co.jp/mp/pages/download/pdf/vocaloid_master_01.pdf>
リアルタイム演奏により歌唱音合成を行う場合には、演奏中に操作できるパラメータ数に限界があり、事前に入力した情報を再生することで歌わせる非特許文献1記載のボーカルトラック作成ソフトウェアのように多数のパラメータを制御するのは困難であるという問題点があった。
そこで、本発明は、リアルタイム演奏時に、簡単に、表情豊かな音の演奏を行える発音装置、発音方法および発音プログラムを提供することを目的としている。
上記目的を達成するために、本発明の発音装置は、発音の開始を指示する発音指示手段と、前記発音指示手段からの発音の開始が指示される毎に、当該発音の発音態様を決定する発音制御パラメータを読み出す読出手段と、前記発音指示手段による発音開始に応じて、前記読出手段で読み出した発音制御パラメータに従った発音態様で発音させる発音制御手段とを備え、前記発音制御手段において、発音させる音節が他の音節とグループ化されていると判断された場合は、発音させた第1音節の発音停止が指示された際に前記第1音節にグループ化された第2音節の新たな発音を行うことを最も主要な特徴としている。
本発明の発音装置では、発音開始に応じて、読出手段で読み出した発音制御パラメータに従った発音態様で発音させるようにしたので、リアルタイム演奏時に、簡単に、表情豊かな音の演奏を行えるようになる。
本発明の発音装置のハードウェア構成を示す機能ブロック図である。 本発明にかかる第1実施例の発音装置が実行するキーオン処理および音節情報取得処理のフローチャートである。 本発明にかかる第1実施例の発音装置が処理する発音指示受付処理、音節情報取得処理、音声素片データ選択処理を説明する図である。 本発明にかかる第1実施例の発音装置の動作を示すタイミング図である。 本発明にかかる第1実施例の発音装置が実行するキーオフ処理のフローチャートである。 本発明にかかる第1実施例の発音装置が実行するキーオフ処理の他の動作例を説明する図である。 本発明にかかる第2実施例の発音装置の動作例を説明する図である。 本発明にかかる第3実施例の発音装置が実行する音節情報取得処理のフローチャートである。 本発明にかかる第3実施例の発音装置が処理する発音指示受付処理、音節情報取得処理を説明する図である。 本発明にかかる第3実施例の発音装置における歌詞情報テーブルの値1〜値3を示す図である。 本発明にかかる第3実施例の発音装置の動作例を説明する図である。
本発明の発音装置のハードウェア構成を示す機能ブロック図を図1に示す。
図1に示す本発明の発音装置1において、CPU(Central Processing Unit)10は、本発明の発音装置1全体の制御を行う中央処理装置であり、ROM(Read Only Memory)11は制御プログラムおよび各種のデータなどが格納されている不揮発性のメモリであり、RAM(Random Access Memory)3はCPU10のワーク領域および各種のバッファなどとして使用される揮発性のメモリであり、データメモリ18は歌詞を音節に区切ったテキストデータを含む音節情報および歌唱音の音声素片データが格納されている音韻データベースなどが格納されている。表示部15は、動作状態および各種設定画面やユーザーに対するメッセージなどが表示される液晶表示器等からなる表示部である。演奏操作子16は鍵盤などからなる演奏操作子であり、キーオン、キーオフ、音高、ベロシティなどの演奏情報を発生する。この演奏情報を、MIDIメッセージの演奏情報としてもよい。また、設定操作子17は、発音装置1を設定する操作つまみや操作ボタンなどの各種設定操作子である。
音源13は、複数の発音チャンネルを有し、CPU10の制御の基で、ユーザーの演奏操作子16を使用するリアルタイム演奏に応じて1つの発音チャンネルが割り当てられ、割り当てられた発音チャンネルにおいて、データメモリ18から演奏に対応する音声素片データを読み出して歌唱音データを生成する。サウンドシステム14は、音源13で生成された歌唱音データをデジタル/アナログ変換器によりアナログ信号に変換して、アナログ信号をされた歌唱音を増幅してスピーカ等へ出力している。さらに、バス19は発音装置1における各部の間のデータ転送を行うためのバスである。
本発明にかかる第1実施例の発音装置1について以下に説明する。第1実施例の発音装置1では、演奏操作子16をキーオンした際に図2(a)に示すフローチャートのキーオン処理が実行される。このキーオン処理における音節情報取得処理のフローチャートを図2(b)に示す。また、キーオン処理における発音受付処理の説明図を図3(a)に、音節情報取得処理の説明図を図3(b)に、音声素片データ選択処理の説明図を図3(c)に示す。さらに、第1実施例の発音装置1の動作を示すタイミング図を図4に示す。さらにまた、第1実施例の発音装置1において、演奏操作子16をキーオフした際に実行されるキーオフ処理のフローチャートを図5に示す。
第1実施例の発音装置1において、ユーザーがリアルタイム演奏を行う場合は、鍵盤等とされた演奏操作子16を操作して演奏を行うことになる。演奏の進行に伴い演奏操作子16がキーオンされたことをCPU10が検出すると、図2(a)に示すキーオン処理をスタートする。ここで、キーオン処理におけるステップS10の発音指示受付処理およびステップS11の音節情報取得処理はCPU10が実行し、ステップS12の音声素片データ選択処理およびステップS13の発音処理はCPU10の制御の基で音源13において実行される。
キーオン処理のステップS10では、操作された演奏操作子16のキーオンに基づく発音指示を受け付ける。この場合、CPU10はキーオンのタイミング、操作された演奏操作子16の音高情報およびベロシティなどの演奏情報を受け取るようになる。図3(a)に示す楽譜の通りユーザーがリアルタイム演奏した場合は、最初のキーオンn1の発音指示を受け付けた時に、CPU10はE5の音高情報と鍵速度に応じたベロシティ情報を受け取る。
次いで、ステップS11にて、キーオンに対応する音節情報を取得する音節情報取得処理を行う。詳細を示すフローチャートを図2(b)に示す。音節情報取得処理はCPU10で実行され、ステップS20においてカーソル位置の音節を取得する。この場合、ユーザーの演奏に先立って図3(a)に示す楽譜に対応するデータメモリ18に格納されている特定の歌詞が指定されており、指定された歌詞を音節に区切ったテキストデータの先頭の音節にカーソルが置かれている。例えば、図3(a)に示す楽譜に対応して指定された歌詞を表すテキストデータ30は、図3(b)に示すc1〜c42の「は」「る」「よ」「こ」「い」の5つの音節のテキストデータ30とされている。この場合、c1〜c3の音節「は」「る」「よ」はそれぞれ独立しているが、c41とc42との音節「こ」「い」はグループ化されており、このグループ化の情報がグループ化情報31であり各音節に埋め込まれたり対応付けられている。グループ化情報31において、「×」はグループ化されていないことを表し、「○」はグループ化されていることを表している。これにより、図3(b)に示すように、最初のキーオンn1の発音指示を受け付けた際には、CPU10は、指定された歌詞の最初の音節c1である「は」をデータメモリ18から読み出す。次いで、ステップS21にて取得した音節がグループ化されているか否かを、取得された音節のグループ化情報31からCPU10が判断する。ステップS20で取得された音節c1の「は」の場合は、そのグループ化情報31が「×」であることからグループ化されていないと判断されて、ステップS25に進む。ステップS25では、テキストデータ30の次の音節にカーソルを進め、2音節目のc2の「る」にカーソルが置かれる。ステップS25の処理が終了すると音節情報取得処理は終了し、キーオン処理のステップS12にリターンする。
このステップS12の音声素片データ選択処理は、CPU10の制御の基で音源13で行われる処理であり、取得された音節を発音させる音声素片データを音韻データベース32から選択する。音韻データベース32には、「音素連鎖データ32a」と「定常部分データ32b」が記憶されている。音素連鎖データ32aは、無音(#)から子音、子音から母音、母音から(次の音節の)子音または母音など、発音が変化する際の音素片のデータである。また、定常部分データ32bは、母音の発音が継続する際の音素片のデータである。最初のキーオンn1の発音指示を受け付けて、取得された音節がc1の「は」の場合は、音源13において、音素連鎖データ32aから「無音→子音h」に対応する音声素片データ「#−h」と「子音h→母音a」に対応する音声素片データ「h−a」が選択されると共に、定常部分データ32bから「母音a」に対応する音声素片データ「a」が選択される。次いで、ステップS13にて、ステップS12で選択した音声素片データに基づく発音処理をCPU10の制御の基で音源13が行う。上記したように、音声素片データが選択された場合は、ステップS13の発音処理において、「#−h」→「h−a」→「a」の音声素片データの発音が順次音源13において行われて、音節c1の「は」の発音が行われる。発音の際には、キーオンn1の発音指示の受付の際に受け取ったE5の音高で、ベロシティ情報に応じた音量で「は」の歌唱音が発音される。ステップS13の発音処理が終了するとキーオン処理も終了する。
このキーオン処理の動作が図4に示されている。CPU10は、時刻t1で最初のキーオンn1の発音指示を受け付け(ステップS10)、最初の音節c1を取得すると共にグループ化されていないと判断する(ステップS11)。次いで、音源13において、音節c1を発音する音声素片データ「#−h」,「h−a」,「a」が選択(ステップS12)されて、キーオンn1のベロシティ情報に応じた音量のエンベロープENV1が開始され、「#−h」→「h−a」→「a」の音声素片データをE5の音高およびエンベロープENV1の音量で発音させる(ステップS13)。これにより、「は」の歌唱音が発音される。エンベロープENV1は、キーオンn1のキーオフまでサスティンが持続する持続音のエンベロープとされ、時刻t2でキーオンn1の鍵がキーオフされるまで「a」の音声素片データが繰り返し再生される。そして、時刻t2でキーオフされたことがCPU10で検出されると、図5に示すキーオフ処理をスタートする。キーオフ処理のステップS30,ステップS33の処理はCPU10が実行し、ステップS31,ステップS32の処理はCPU10の制御の基で音源13において実行される。
キーオフ処理がスタートされると、ステップS30でキーオフ発音フラグがオンか否かが判断される。キーオフ発音フラグは、図2(a)に示す音節情報取得処理において、取得した音節がグループ化されている場合にセットされ、最初の音節c1はグループ化されていないことから、ステップS30でNoと判断され、ステップS34に進む。ステップS34では、CPU10の制御の基で音源13において消音処理が行われて、「は」の歌唱音の発音が停止される。すなわち、エンベロープENV1のリリースカーブで「は」の歌唱音が消音されていく。ステップS34の処理が終了すると、キーオフ処理は終了する。
そして、リアルタイム演奏の進行に伴い演奏操作子16が操作されて、2回目のキーオンn2が検出されると上述したキーオン処理が再度スタートされて、上述したキーオン処理が行われる。2回目のキーオン処理における、ステップS10の発音指示受付処理では、操作された演奏操作子16のキーオンn2に基づく発音指示を受け付ける際に、CPU10はキーオンn2のタイミング、E5の音高情報と鍵速度に応じたベロシティ情報を受け取る。そして、ステップS11の音節情報取得処理では、指定された歌詞のカーソルが置かれた2番目の音節c2である「る」をデータメモリ18から読み出し、この取得した音節「る」のグループ化情報31が「×」であることからグループ化されていないと判断されて、3音節目のc3の「よ」にカーソルを進める。ステップS12の音声素片データ選択処理では、音源13において、音素連鎖データ32aから「無音→子音r」に対応する音声素片データ「#−r」と「子音r→母音u」に対応する音声素片データ「r−u」が選択されると共に、定常部分データ32bから「母音u」に対応する音声素片データ「u」が選択される。ステップS13の発音処理では、「#−r」→「r−u」→「u」の音声素片データの発音がCPU10の制御の基で順次音源13において行われて、c2の「る」の音節の発音が行われ、キーオン処理は終了する。
さらに、リアルタイム演奏の進行に伴い演奏操作子16が操作されて、3回目のキーオンn3が検出されると上述したキーオン処理が再再度スタートされて、上述したキーオン処理が行われる。この3回目のキーオンn3は、2回目のキーオンn2がキーオフされる前にキーオンするレガートとされている。3回目のキーオン処理における、ステップS10の発音指示受付処理では、操作された演奏操作子16のキーオンn3に基づく発音指示を受け付ける際に、CPU10はキーオンn3のタイミング、D5の音高情報と鍵速度に応じたベロシティ情報を受け取る。そして、ステップS11の音節情報取得処理では、指定された歌詞のカーソルが置かれた3番目の音節c3である「よ」をデータメモリ18から読み出し、この取得した音節「よ」のグループ化情報31が「×」であることからグループ化されていないと判断して、4音節目のc41の「こ」にカーソルを進める。ステップS12の音声素片データ選択処理では、音源13において、音素連鎖データ32aから「母音u→子音y」に対応する音声素片データ「u−y」と「子音y→母音o」に対応する音声素片データ「y−o」が選択されると共に、定常部分データ32bから「母音o」に対応する音声素片データ「o」が選択される。これは、3回目のキーオンn3がレガートであって「る」から「よ」へ滑らかにつなげて発音させるためである。ステップS13の発音処理では、「u−y」→「y−o」→「o」の音声素片データの発音がCPU10の制御の基で順次音源13において行われて、c2の「る」から滑らかにつながるc3の「よ」の音節の発音が行われ、キーオン処理は終了する。
この2,3回目のキーオン処理の動作が図4に示されている。CPU10は、時刻t3で2回目のキーオンn2の発音指示を受け付け(ステップS10)、次の音節c2を取得すると共にグループ化されていないと判断する(ステップS11)。次いで、音節c2を発音する音声素片データ「#−r」,「r−u」,「u」が選択(ステップS12)されて、キーオンn2のベロシティ情報に応じた音量のエンベロープENV2を開始し、「#−r」→「r−u」→「u」の音声素片データをE5の音高およびエンベロープENV2の音量で発音させる(ステップS13)。これにより、「る」の歌唱音が発音される。エンベロープENV2は、エンベロープENV1と同様とされ、「u」の音声素片データが繰り返し再生される。キーオンn2の鍵がキーオフされる前の時刻t4で3回目のキーオンn3の発音指示を受け付け(ステップS10)、次の音節c3を取得すると共にグループ化されていないと判断する(ステップS11)。時刻t4では、3回目のキーオンn3がレガートであることから、図5に示すキーオフ処理をCPU10がスタートする。キーオフ処理のステップS30では、2番目の音節c2である「る」はグループ化されていないことから、ステップS30でNoと判断され、ステップS34に進む。ステップS34では、「る」の歌唱音の発音が停止される。ステップS34の処理が終了すると、キーオフ処理は終了する。これは、歌唱音用の発音チャンネルには1チャンネルが用意されて2つの歌唱音を同時に発音できないことから、キーオンn2の鍵がキーオフされる時刻t5より前の時刻t4で次のキーオンn3が検出された場合(レガート)は、時刻t5の前の時刻t4でキーオンn2に基づく歌唱音の発音を停止して、時刻t4からキーオンn3に基づく歌唱音の発音を開始させるためである。
このため、音節c3である「よ」を発音する音声素片データ「u−y」,「y−o」,「o」が選択(ステップS12)されて、時刻t4から、「u−y」→「y−o」→「o」の音声素片データがD5の音高およびエンベロープENV2のサスティンの音量で発音される(ステップS13)。これにより、「る」から「よ」への歌唱音が滑らかにつながって発音される。なお、時刻t5でキーオンn2の鍵がキーオフされても、既にキーオンn2に基づく歌唱音の発音は停止されているため、処理は何も行われない。
時刻t6でキーオンn3がキーオフされたことがCPU10で検出されると、図5に示すキーオフ処理をCPU10がスタートする。キーオフ処理のステップS30では、3番目の音節c3である「よ」はグループ化されていないことから、ステップS30でNoと判断され、ステップS34に進む。ステップS34では、音源13において消音処理が行われて、「よ」の歌唱音の発音が停止される。すなわち、エンベロープENV2のリリースカーブで「よ」の歌唱音が消音されていく。ステップS34の処理が終了すると、キーオフ処理は終了する。
そして、リアルタイム演奏の進行に伴い演奏操作子16が操作されて、4回目のキーオンn4が検出されると上述したキーオン処理が再再再度スタートされて、上述したキーオン処理が行われる。4回目のキーオン処理における、ステップS10の発音指示受付処理では、操作された演奏操作子16の4回目のキーオンn4に基づく発音指示を受け付ける際に、CPU10はキーオンn4のタイミング、E5の音高情報と鍵速度に応じたベロシティ情報を受け取る。そして、ステップS11の音節情報取得処理では、ステップS20で、指定された歌詞のカーソルが置かれた4番目の音節c41である「こ」をデータメモリ18から読み出すが、この取得した音節「こ」のグループ化情報31が「○」であることから、グループ化されているとステップS21で判断して、ステップS22に進む。ステップS22では、グループ内の音節が取得されるが、この場合は「こ」と「い」がグループ化されていることから、グループ内の音節c42である「い」をデータメモリ18から読み出す。次いで、ステップS23でキーオフ発音フラグをセットして、キーオフされた際にグループ内の次の音節「い」を発音させる準備をする。次のステップS24では、テキストデータ30のグループを越えた次の音節にカーソルを進める。ただし、図示する場合は次の音節がないことから、この処理はスキップされる。ステップS24の処理が終了すると音節情報取得処理は終了し、キーオン処理のステップS12にリターンする。
ステップS12の音声素片データ選択処理では、音源13において、グループ内の音節「こ」および「い」に対応する音声素片データが選択される。すなわち、音節「こ」に対応する音声素片データとして、音素連鎖データ32aから「無音→子音k」に対応する音声素片データ「#−k」と「子音k→母音o」に対応する音声素片データ「k−o」が選択されると共に、定常部分データ32bから「母音o」に対応する音声素片データ「o」が選択される。また、音節「い」に対応する音声素片データとして、音素連鎖データ32aから「母音o→母音i」に対応する音声素片データ「o−i」が選択されると共に、定常部分データ32bから「母音i」に対応する音声素片データ「i」が選択される。ステップS13の発音処理では、グループ内の先頭の音節の発音が行われる。すなわち、「#−k」→「k−o」→「o」の音声素片データの発音がCPU10の制御の基で順次音源13において行われて、c41の「こ」の音節の発音が行われる。発音の際には、キーオンn4の発音指示の受け付けの際に受け取ったE5の音高で、ベロシティ情報に応じた音量で「こ」の歌唱音が発音される。ステップS13の発音処理が終了するとキーオン処理も終了する。
このキーオン処理の動作が図4に示されている。CPU10は、時刻t7で4番目のキーオンn4の発音指示を受け付け(ステップS10)、4番目の音節c41を取得し、そのグループ化情報31によりグループ化されていると判断して、グループ内の音節c42を取得すると共にキーオフ発音フラグをセットする(ステップS11)。次いで、音節c41,c42を発音する音声素片データ「#−k」,「k−o」,「o」および音声素片データ「o−i」,「i」が選択(ステップS12)される。そして、キーオンn4のベロシティ情報に応じた音量のエンベロープENV3を開始し、「#−k」→「k−o」→「o」の音声素片データをE5の音高およびエンベロープENV3の音量で発音させる(ステップS13)。これにより、「こ」の歌唱音が発音される。エンベロープENV3は、エンベロープENV1と同様とされ、時刻t8でキーオンn4の鍵がキーオフされるまで「o」の音声素片データが繰り返し再生される。そして、時刻t8でキーオンn4がキーオフされたことがCPU10で検出されると、図5に示すキーオフ処理をCPU10がスタートする。
キーオフ処理のステップS30では、音節c41,c42である「こ」「い」がグループ化されていて、キーオフ発音フラグがセットされていることから、ステップS30でYesと判断され、ステップS31に進む。ステップS31では、グループ内の次の音節の発音処理が行われる。すなわち、先に行ったステップS12の音節情報取得処理において、音節「い」に対応する音声素片データとして選択された「o−i」→「i」の音声素片データをE5の音高およびエンベロープENV3のリリースカーブの音量で発音させる。これにより、c41の「こ」と同じ音高E5でc42の「い」の歌唱音が発音される。次いで、ステップS32で消音処理が行われて、「い」の歌唱音の発音が停止される。すなわち、エンベロープENV3のリリースカーブで「い」の歌唱音が消音されていく。なお、「こ」の発音は、発音が「い」に移行した時点において、発音停止されている。次いで、ステップS33でキーオフ発音フラグをリセットしてキーオフ処理は終了する。
以上説明したように、第1実施例の発音装置1では、ユーザーのリアルタイム演奏に応じた歌唱音である歌声が発音されるようになると共に、リアルタイム演奏時の1押鍵で複数の歌声を発音することができる。すなわち、第1実施例の発音装置1において、グループ化された音節は、1回の押鍵操作で発音される音節の集合とされ、例えばグループ化されたc41とc42の音節は1回の押鍵操作で発音される。この場合、1音節目は押鍵時に、2音節目以降は離鍵時に発音される。そして、グループ化の情報は、キーオフにより次の音節を発音するか否かを決定する情報なので、「キーオフ発音情報」ということができる。なお、キーオンn4の鍵がキーオフされる前に、演奏操作子16の他の鍵(キーオンn5とする)のキーオンが行われた場合は、キーオンn4のキーオフ処理が行われたあとにキーオンn5の発音が行われる。すなわち、キーオンn4のキーオフ処理としてc42の音節が発音された後に、キーオンn5に対応するc42の次の音節が発音されるようになる。あるいは、キーオンn5に対応する音節をすぐに発音させるため、キーオンn5のキーオン操作により実行されるキーオンn4のキーオフ処理においては、ステップS31を省略するよう構成してもよい。この場合、c42の音節は発音されず、キーオンn5に応じてすぐにc42の次の音節の発音が行われるようになる。
上記したように、グループ内の次の音節c42の「い」の発音は、キーオンn4がキーオフされたタイミングから発音されるため、キーオフで発音指示された音節の発音長が短すぎて不明瞭になるおそれがある。そこで、グループ内の次の音節の発音を十分長くすることができるキーオフ処理の他の動作例を図6(a)(b)(c)に示す。
図6(a)に示す例では、キーオンn4の発音指示により開始されるエンベロープENV3において、減衰開始を、キーオフから所定時間tdだけ遅らせるようにしている。すなわち、リリースカーブR1を一点鎖線で示すリリースカーブR2のように時間tdだけ遅らせることで、グループ内の次の音節の発音長を十分長くすることができる。なお、サスティンペダル等の操作によって、グループ内の次の音節の発音長を十分長くすることもできる。
図6(b)に示す例では、エンベロープENV3において、ゆっくり減衰させるようにしている。すなわち、リリースカーブを一点鎖線で示す傾斜を緩くしたリリースカーブR3を発生することで、グループ内の次の音節の発音長を十分長くすることができる。
図6(c)に示す例では、キーオフを新たなノートオン指示とみなし、同じ音高の新たなノートで次の音節を発音させる。すなわち、エンベロープENV10を、キーオフの時刻t13において開始して、グループ内の次の音節の発音を行う。これにより、グループ内の次の音節の発音長を十分長くすることができる。
以上説明した本発明の発音装置1の実施例では、歌詞を日本語として例示している。日本語では、ほぼ1文字1音節であるが、他の言語においては1文字が1音節とならない場合が多い。例えば、英語の歌詞が「september」の場合は、「sep」「tem」「ber」の3音節となり、演奏操作子16をユーザーが押鍵する毎に音節が、押鍵された鍵の音高で順次発音されていくようになる。この場合、「sep」「tem」の2音節をグループ化することにより、1回の押鍵操作における押鍵時に「sep」の音節を、離鍵時に「tem」の音節を押鍵された鍵の音高で発音させることができるようになる。なお、歌詞は日本語に限らず他の言語とされていても良い。
次に、本発明にかかる第2実施例の発音装置を説明する。第2実施例の発音装置は、ハミング音や、スキャット、コーラスなどの歌唱音、または、通常の楽器音あるいは鳥のさえずりや電話のベルなどの効果音などの歌詞のない所定の音を発音するようにしている。このことから、第2実施例の発音装置を発音装置100とする。第2実施例の発音装置100の構成は第1実施例の発音装置1とほぼ同様であるが、音源13は上記した歌詞のない所定の音の音色を備えており、指定された音色に応じて歌詞のない所定の音を発音することができる。第2実施例の発音装置100の動作例を説明する図を図7(a)(b)(c)に示す。
これらの図に示す第2実施例の発音装置100は、テキストデータ30とグループ化情報31からなる音節情報に替えてキーオフ発音情報40がデータメモリ18に格納されており、ユーザーが演奏操作子16を利用してリアルタイム演奏を行った際に歌詞のない所定の音を発音させるようにしている。第2実施例の発音装置100では、図2(a)に示すキーオン処理のステップS11で、図2(b)に示す音節情報取得処理に替えてキーオフ発音情報処理が行われ、ステップS12の音声素片データ選択処理では、予め定められた音や音声を発音させる音源波形や音声素片データが選択される。以下にその動作を説明する。
ユーザーがリアルタイム演奏を行い演奏操作子16がキーオンされたことをCPU10が検出すると、図2(a)に示すキーオン処理をスタートする。図7(a)に示す楽譜の楽曲の通りユーザーが演奏したとすると、ステップS10で最初のキーオンn1の発音指示を受け付け、CPU10はE5の音高情報と鍵速度に応じたベロシティ情報を受け取る。そして、図7(b)に示すキーオフ発音情報40を参照して最初のキーオンn1に対応するキーオフ発音情報を取得する。この場合、ユーザーの演奏に先立って図7(a)に示す楽譜に対応するデータメモリ18に格納されている特定のキーオフ発音情報40が指定されており、指定されたキーオフ発音情報40の最初のキーオフ発音情報が参照される。最初のキーオフ発音情報が「×」とされていることから、キーオンn1に対してはキーオフ発音フラグはセットされない。次いで、ステップS12で音声素片データ選択処理が音源13において行われ、予め定められた音声を発音させる音声素片データが選択される。例えば、「ナ」の音声を発音させる場合は、音素連鎖データ32aから「#−n」と「n−a」の音声素片データが選択されると共に、定常部分データ32bから音声素片データ「a」が選択される。そして、ステップS13でキーオンn1に対応する発音処理が行われる。この発音処理では、図7(c)に示すピアノロール譜41で示すように、音源13において、キーオンn1の検出の際に受け取ったE5の音高で、「#−n」→「n−a」→「a」の音声素片データの発音が行われて、例えば「ナ」の歌唱音が発音される。この発音はキーオンn1がキーオフされるまで持続され、キーオフされると消音処理されて停止される。
そして、リアルタイム演奏の進行に伴いキーオンn2をCPU10が検出すると、上記と同様の処理が行われて、キーオンn2に対応する2番目のキーオフ発音情報が「×」とされていることから、キーオンn2に対するキーオフ発音フラグはセットされない。そして、図7(c)に示すようにE5の音高で予め定められた音声、例えば「ナ」の歌唱音が発音される。キーオンn2の鍵がキーオフされる前にキーオンn3が検出され、上記と同様の処理が行われて、キーオンn3に対応する3番目のキーオフ発音情報が「×」とされていることから、キーオンn3に対するキーオフ発音フラグはセットされない。そして、図7(c)に示すようにD5の音高で予め定められた音声、例えば「ナ」の歌唱音が発音される。この場合、キーオンn3に対応する発音は、キーオンn2に対応する発音に滑らかにつながるレガートとなり、キーオンn3に対応する発音の開始と同時にキーオンn2に対応する発音が停止される。さらに、キーオンn3の鍵がキーオフされると、キーオンn3に対応する発音は消音処理されて停止される。
さらなる演奏の進行に伴いキーオンn4をCPU10が検出すると、上記と同様の処理が行われて、キーオンn4に対応する4番目のキーオフ発音情報が「○」とされていることから、キーオンn4に対するキーオフ発音フラグがセットされる。そして、図7(c)に示すようにE5の音高で予め定められた音声、例えば「ナ」の歌唱音が発音される。キーオンn4がキーオフされると、キーオンn2に対応する発音は消音処理されて停止されるが、キーオフ発音フラグがセットされていることから、図7(c)に示すキーオンn4’が新たに行われたとして、キーオンn4’に対応する発音がキーオンn4と同じ音高で行われる。すなわち、E5の音高で予め定められた音声、例えば「ナ」の歌唱音が、キーオンn4の鍵がキーオフされた時に発音される。この場合、キーオンn4’に対応する発音長は、予め決められた長さとされる。
上記した第1実施例にかかる発音装置1では、発音装置1において、ユーザーが鍵盤等の演奏操作子16を利用してリアルタイム演奏した際に、演奏操作子16を押鍵する毎に指定された歌詞を音節に区切ったテキストデータ30の音節が、押鍵された鍵の音高で発音されていくようになる。これにより、リアルタイム演奏時に指定された歌詞が歌われるようになる。そして、歌唱する音節をグループ化することにより、1回の押鍵操作における押鍵時に1音節目を、離鍵時に2音節目を押鍵された鍵の音高で発音させることができるようになる。また、上記した第2実施例にかかる発音装置100では、歌詞による歌唱音に替えて上記した歌詞のない所定の音を押鍵された鍵の音高で発音することができることから、カラオケのガイドなどに適用することができる。この場合も、1回の押鍵操作における押鍵時と、離鍵時にそれぞれ歌詞のない所定の音を発音させることができる。
次に、本発明にかかる第3実施例の発音装置200について説明する。本発明にかかる第3実施例の発音装置200では、ユーザーが鍵盤等の演奏操作子16を利用してリアルタイム演奏した際に、表情豊かな歌声の演奏を行うことができる。第3実施例の発音装置200のハードウェア構成は図1に示す通りとされ、図2(a)に示すキーオン処理が実行されるが、そのステップS11の音節情報取得処理の内容が異なっており、そのフローチャートが図8に示されている。また、第3実施例の発音装置200が処理する発音指示受付処理、音節情報取得処理を説明する図を図9(a)(b)に示し、歌詞情報テーブルの「値1」〜「値3」を図10(a)(b)に示し、第3実施例の発音装置200の動作例を図11(a)(b)(c)に示す。これらの図を参照しながら第3実施例の発音装置200を説明する。
第3実施例の発音装置200において、ユーザーがリアルタイム演奏を行う場合は、鍵盤等とされた演奏操作子16を操作して演奏を行うことになる。演奏の進行に伴い演奏操作子16がキーオンされたことをCPU10が検出すると、図2(a)に示すキーオン処理をスタートする。ここで、キーオン処理のステップS10の発音指示受付処理およびステップS11の音節情報取得処理はCPU10が実行し、ステップS12の音声素片データ選択処理およびステップS13の発音処理はCPU10の制御の基で音源13において実行される。
キーオン処理のステップS10では、操作された演奏操作子16のキーオンに基づく発音指示を受け付ける。この場合、CPU10はキーオンのタイミング、操作された演奏操作子16の音高情報およびベロシティなどの演奏情報を受け取るようになる。図9(a)に示す楽譜の楽曲の通りユーザーが演奏した場合は、最初のキーオンn1のタイミングを受け付ける時に、CPU10はE5の音高情報と鍵速度に応じたベロシティ情報を受け取る。次いで、ステップS11にて、キーオンn1に対応する音節情報を取得する音節情報取得処理を行う。この音節情報取得処理のフローチャートが図8に示されている。図8に示す音節情報取得処理がスタートされると、ステップS40においてカーソル位置の音節を取得する。この場合、ユーザーの演奏に先立って演奏に対応するデータメモリ18上の図9(a)に示す楽譜に対応する歌詞を音節に区切ったテキストデータを含む歌詞情報テーブル50が指定されており、指定された歌詞情報テーブル50のテキストデータの先頭の音節にカーソルが置かれている。次いで、取得した先頭のテキストデータの音節に対応付けられた発音制御パラメータが、歌詞情報テーブル50を参照してステップS41にて取得される。図9(a)に示す楽譜に対応する歌詞情報テーブル50を図9(b)に示す。
第3実施例の発音装置200においては、歌詞情報テーブル50が特徴的な構成とされ、図9(b)に示すように歌詞情報テーブル50は、テキストデータを含む音節情報50aと、各種パラメータタイプのいずれかを指定する発音制御パラメータタイプ50bと、発音制御パラメータの値情報50cとから構成されている。図9(b)に示す例では、音節情報50aは、図3(b)に示すテキストデータ30と同様のc1,c2,c3,c41の歌詞を音節毎に区切った音節からなり、発音制御パラメータタイプ50bにはパラメータa,b,c,dの何れかあるいは複数のパラメータタイプが設定されている。この発音制御パラメータタイプには、声に含まれる倍音成分のバランスを変化させるHarmonics、声の明暗を演出してトーン変化を与えるBrightness、有声音の音色や強弱を演出するResonance、フォルマントを変化させることにより、女性的なあるいは男性的な声の太さや質感を変化させるGenderFactorなどのタイプがある。値情報50cは、発音制御パラメータの値を設定しており、「値1」は発音制御パラメータの時間上の変化のしかたを設定し、グラフ形状で表すことができる。グラフ形状で表した「値1」の例を図10(a)に示す。この図には、w1〜w6の「値1」が示されており、それぞれ異なる時間上の変化をしているが、これに限られることはなく種々の時間上の変化をする「値1」を設定することができる。また、「値2」は、図10(b)に示すようにグラフ形状で示す「値1」の横軸の時間を設定しており、効果のかかり始めからかかり終わりまでの時間となる変化の速度を設定できる。さらに、「値3」は、図10(b)に示すようにグラフ形状で示す「値1」の縦軸の振幅を設定しており、効果のかかる度合いを示す変化の深さを設定できる。値情報50cで設定される発音制御パラメータの値の設定可能範囲は、発音制御パラメータタイプにより異なっている。ただし、音節情報50aで指定される音節によっては、発音制御パラメータタイプ50bおよびその値情報50cが設定されていないものがあってもよい。例えば、図示する音節c3には発音制御パラメータタイプ50bおよびその値情報50cが設定されていない。この歌詞情報テーブル50の音節情報50a、発音制御パラメータタイプ50b、値情報50cは、ユーザーの演奏に先立って作成/編集されて、データメモリ18に格納されている。
ステップS41に戻り、最初のキーオンn1の時には、ステップS40でc1の音節が取得されることから、歌詞情報テーブル50から音節c1に対応付けられた、音節情報50aのc1の横の段に設定されているパラメータa,パラメータbが発音制御パラメータタイプ50bとして、詳細情報が省略されて図示されている「値1」〜「値3」が値情報50cとして取得される。ステップS41の処理が終了するとステップS42に進む。ステップS42では、テキストデータの次の音節にカーソルを進め、2音節目のc2にカーソルが置かれる。ステップS42の処理が終了すると音節情報取得処理は終了し、キーオン処理のステップS12にリターンする。ステップS12の音節情報取得処理では、上記したように、取得された音節c1を発音させる音声素片データが音韻データベース32から選択される。そして、音声素片データが選択されると、ステップS13の発音処理において、選択された音声素片データの発音が順次音源13において行われて、c1の音節の発音が行われる。発音の際には、キーオンn1の受付の際に受け取ったE5の音高およびベロシティ情報に応じた音量で音節c1の歌唱音が発音される。ステップS13の発音処理が終了するとキーオン処理も終了する。
このステップS13の発音処理では、図11(c)にピアノロール譜52で示すように、音源13において、キーオンn1の検出の際に受け取ったE5の音高で、選択された音声素片データの発音が行われて、音節c1の歌唱音が発音される。この発音の際に、「値1」「値2」「値3」で設定されたパラメータaと、「値1」「値2」「値3」で設定されたパラメータbの異なる2つの発音制御パラメータタイプにより、歌唱音の発音制御が行われることから、歌唱される歌声の表情や抑揚、声質や音色に変化を与えることができ、歌声に細かなニュアンスや抑揚をつけられるようになる。
そして、リアルタイム演奏の進行に伴いキーオンn2をCPU10が検出すると、上記と同様の処理が行われて、キーオンn2に対応する2番目の音節c2がE5の音高で発音される。音節c2には図9(b)で示すように、発音制御パラメータタイプ50bとしてパラメータbとパラメータcとパラメータdの3つの発音制御パラメータタイプが対応付けられていると共に、それぞれの発音制御パラメータタイプはそれぞれの「値1」「値2」「値3」で設定されていることから、音節c2の発音の際に、図11(c)にピアノロール譜52で示すように、パラメータbとパラメータcとパラメータdの異なる3つの発音制御パラメータタイプにより、歌唱音の発音制御が行われる。これにより、歌唱される歌声の表情や抑揚、声質や音色に変化を与えられる。
さらに、リアルタイム演奏の進行に伴いキーオンn3をCPU10が検出すると、上記と同様の処理が行われて、キーオンn3に対応する3番目の音節c3がD5の音高で発音される。音節c3には図9(b)で示すように、発音制御パラメータタイプ50bが設定されていないことから、音節c3の発音の際には、図11(c)にピアノロール譜52で示すように、発音制御パラメータによる歌唱音の発音制御が行われない。
さらにまた、リアルタイム演奏の進行に伴いキーオンn4をCPU10が検出すると、上記と同様の処理が行われて、キーオンn4に対応する4番目の音節c41がE5の音高で発音される。図9(b)で示すように、音節c41に対応付けられている発音制御パラメータタイプ50bおよび値情報50cは省略されているが、音節c41の発音の際には、音節c41に対応付けられている発音制御パラメータタイプ50bおよび値情報50cに応じた発音制御が行われる。
上記した第3実施例にかかる発音装置200では、ユーザーが鍵盤等の演奏操作子16を利用してリアルタイム演奏した際に、演奏操作子16を押鍵する毎に指定されたテキストデータの音節が、押鍵された鍵の音高で発音されていくようになる。これにより、歌詞を音節毎に区切ったテキストデータとすることで歌声が発音されるようになる。この際に、音節毎に対応付けられた発音制御パラメータにより発音制御が行われるので、歌唱される歌声の表情や抑揚、声質や音色に変化を与えることができ、歌声に細かなニュアンスや抑揚をつけられるようになる。
また、第3実施例にかかる発音装置200における歌詞情報テーブル50の音節情報50aを、図3(b)に示すように歌詞を音節に区切ったテキストデータ30とそのグループ化情報31とからなるようにすると、グループ化された音節を1回の押鍵操作における押鍵時に1音節目を、離鍵時に2音節目を押鍵された鍵の音高で発音させることができるようになる。この際に、音節毎に対応付けられた発音制御パラメータにより発音制御が行われるので、歌唱される歌声の表情や抑揚、声質や音色に変化を与えることができ、歌声に細かなニュアンスや抑揚をつけられるようになる。
なお、第3実施例の発音装置200では、第2実施例の発音装置100で発音される上記した歌詞のない所定の音を発音することができる。第3実施例の発音装置200で上記した歌詞のない所定の音を発音する場合には、音節情報に応じて、取得する発音制御パラメータを決定するのではなく、何回目の押鍵操作であるかに応じて取得する発音制御パラメータを決定するようにすればよい。
以上説明した本発明の発音装置にかかるキーオフ発音情報は、音節情報の中に含むことに替えて、音節情報とは別に記憶されていてもよい。この場合は、何回目の押鍵でキーオフ発音を実行するかを記述したデータ等としてキーオフ発音情報が記憶される。また、キーオフ発音情報は、演奏時にリアルタイムでユーザーの指示により発生されるものであってもよい。例えば、ユーザーが押鍵中にペダルを踏んだときのみ、そのノートに対してキーオフ発音を実行したり、押鍵時間が所定長を超えたときにキーオフ発音を実行してもよい。また、押鍵ベロシティが所定値を超えたときにキーオフ発音を実行してもよい。
以上説明した本発明の発音装置においては、歌詞または歌詞のない歌唱音を発音したり、あるいは、楽器音や効果音などの歌詞のない所定の音を発音することができ、本発明の発音装置では、歌唱音を含む所定の音を発音することができる。
以上説明した本発明にかかる発音装置において歌詞を発音させる際に、歌詞をほぼ1文字1音節となる日本語を例に上げて説明したが、1文字が1音節とならない他の言語の歌詞を音節毎に区切って、本発明にかかる発音装置で上記したように発音させることにより、他の言語の歌詞を歌唱させるようにしても良い。
また、以上説明した本発明にかかる発音装置の演奏操作子に替えて、演奏データ発生装置を用意し、演奏データ発生装置から演奏情報を本発明にかかる発音装置に順次与えるようにしても良い。
1,100,200 発音装置、10 CPU、11 ROM、12 RAM、13 音源、14 サウンドシステム、15 表示部、16 演奏操作子、17 設定操作子、18 データメモリ、19 バス、30 テキストデータ、31 グループ化情報、32 音韻データベース、32a 音素連鎖データ、32b 定常部分データ、40 キーオフ発音情報、41 ピアノロール譜、50 歌詞情報テーブル、50a 音節情報、50b 発音制御パラメータタイプ、50c 値情報、52 ピアノロール譜

Claims (7)

  1. 発音の開始を指示する発音指示手段と、
    前記発音指示手段からの発音の開始が指示される毎に、当該発音の発音態様を決定する発音制御パラメータを読み出す読出手段と、
    前記発音指示手段による発音開始に応じて、前記読出手段で読み出した発音制御パラメータに従った発音態様で発音させる発音制御手段と、
    を備え、前記発音制御手段において、発音させる音節が他の音節とグループ化されていると判断された場合は、発音させた第1音節の発音停止が指示された際に前記第1音節にグループ化された第2音節の新たな発音を行うことを特徴とする発音装置。
  2. 音節を少なくとも含む音節情報と、音節情報に対応付けられた前記発音制御パラメータとが記憶された記憶手段を、さらに備え、
    前記読出手段は、前記発音指示手段からの発音の開始の指示により、指示された発音に対応する音節情報と、該音節情報に対応付けられた前記発音制御パラメータを前記記憶手段から読み出し、前記発音制御手段は、前記発音指示手段による発音開始に応じて、前記読出手段が読み出した音節情報に含まれる音節を、前記読出手段が読み出した前記発音制御パラメータに従った発音態様で発音させることを特徴とする請求項1に記載の発音装置。
  3. 前記第1音節と前記第2音節とが発音される際の音量エンベロープが、1つの音量エンベロープとされることを特徴とする請求項1記載の発音装置。
  4. 上記音量エンベロープの減衰開始を遅らせることにより、前記第2音節の発音を長くすることを特徴とする請求項3記載の発音装置。
  5. 上記音量エンベロープの減衰の傾斜を緩くすることにより、前記第2音節の発音を長くすることを特徴とする請求項3記載の発音装置。
  6. 発音の開始を指示する発音指示手段からの発音の開始が指示される毎に、読出手段が、当該発音の発音態様を決定する発音制御パラメータを読み出し、前記発音指示手段による発音開始に応じて、発音制御手段が、前記読出手段で読み出した発音制御パラメータに従った発音態様で発音させ、前記発音制御手段において、発音させる音節が他の音節とグループ化されていると判断された場合は、発音させた第1音節の発音停止が指示された際に前記第1音節にグループ化された第2音節の新たな発音を行うことを特徴とする発音方法。
  7. コンピュータに、
    発音の開始を指示する発音指示ステップと、
    該発音指示ステップから、発音の開始が指示される毎に、当該発音の発音態様を決定する発音制御パラメータを読み出す読出ステップと、
    前記発音指示手段による発音開始に応じて、前記読出手段で読み出した発音制御パラメータに従った発音態様で発音させる発音制御ステップと、
    からなる手順を実行させ、前記発音制御ステップにおいて、発音させる音節が他の音節とグループ化されていると判断された場合は、発音させた第1音節の発音停止が指示された際に前記第1音節にグループ化された第2音節の新たな発音を行うことを特徴とする発音プログラム。
JP2016032392A 2015-03-20 2016-02-23 発音装置、発音方法および発音プログラム Active JP6728754B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015057946 2015-03-20
JP2015057946 2015-03-20

Publications (2)

Publication Number Publication Date
JP2016177276A JP2016177276A (ja) 2016-10-06
JP6728754B2 true JP6728754B2 (ja) 2020-07-22

Family

ID=56977484

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016032392A Active JP6728754B2 (ja) 2015-03-20 2016-02-23 発音装置、発音方法および発音プログラム

Country Status (5)

Country Link
US (1) US10354629B2 (ja)
EP (1) EP3273441B1 (ja)
JP (1) JP6728754B2 (ja)
CN (1) CN107430849B (ja)
WO (1) WO2016152715A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6728754B2 (ja) * 2015-03-20 2020-07-22 ヤマハ株式会社 発音装置、発音方法および発音プログラム
JP6828530B2 (ja) * 2017-03-14 2021-02-10 ヤマハ株式会社 発音装置及び発音制御方法
WO2019003348A1 (ja) * 2017-06-28 2019-01-03 ヤマハ株式会社 歌唱音効果生成装置及び方法、プログラム
CN108320741A (zh) * 2018-01-15 2018-07-24 珠海格力电器股份有限公司 智能设备的声音控制方法、装置、存储介质和处理器
CN111656434B (zh) * 2018-02-14 2023-08-04 雅马哈株式会社 音响参数调整装置、音响参数调整方法及记录介质
CN110189741A (zh) * 2018-07-05 2019-08-30 腾讯数码(天津)有限公司 音频合成方法、装置、存储介质和计算机设备
JP7419903B2 (ja) * 2020-03-18 2024-01-23 ヤマハ株式会社 パラメータ制御装置、パラメータ制御方法およびプログラム
JP7036141B2 (ja) * 2020-03-23 2022-03-15 カシオ計算機株式会社 電子楽器、方法及びプログラム

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2800465B2 (ja) * 1991-05-27 1998-09-21 ヤマハ株式会社 電子楽器
JPH0895588A (ja) * 1994-09-27 1996-04-12 Victor Co Of Japan Ltd 音声合成装置
JPH1031496A (ja) * 1996-07-15 1998-02-03 Casio Comput Co Ltd 楽音発生装置
US5998725A (en) * 1996-07-23 1999-12-07 Yamaha Corporation Musical sound synthesizer and storage medium therefor
JP2000105595A (ja) * 1998-09-30 2000-04-11 Victor Co Of Japan Ltd 歌唱装置及び記録媒体
JP2000330584A (ja) * 1999-05-19 2000-11-30 Toppan Printing Co Ltd 音声合成装置および音声合成方法、ならびに音声通信装置
JP2001356784A (ja) * 2000-06-12 2001-12-26 Yamaha Corp 端末装置
JP3879402B2 (ja) * 2000-12-28 2007-02-14 ヤマハ株式会社 歌唱合成方法と装置及び記録媒体
JP3815347B2 (ja) * 2002-02-27 2006-08-30 ヤマハ株式会社 歌唱合成方法と装置及び記録媒体
JP4153220B2 (ja) * 2002-02-28 2008-09-24 ヤマハ株式会社 歌唱合成装置、歌唱合成方法及び歌唱合成用プログラム
JP4300764B2 (ja) * 2002-07-26 2009-07-22 ヤマハ株式会社 歌唱音声を合成する方法および装置
JP3938015B2 (ja) * 2002-11-19 2007-06-27 ヤマハ株式会社 音声再生装置
JP3823930B2 (ja) * 2003-03-03 2006-09-20 ヤマハ株式会社 歌唱合成装置、歌唱合成プログラム
JP4483188B2 (ja) * 2003-03-20 2010-06-16 ソニー株式会社 歌声合成方法、歌声合成装置、プログラム及び記録媒体並びにロボット装置
JP2004287099A (ja) * 2003-03-20 2004-10-14 Sony Corp 歌声合成方法、歌声合成装置、プログラム及び記録媒体並びにロボット装置
JP3858842B2 (ja) * 2003-03-20 2006-12-20 ソニー株式会社 歌声合成方法及び装置
JP3864918B2 (ja) * 2003-03-20 2007-01-10 ソニー株式会社 歌声合成方法及び装置
JP2008095588A (ja) * 2006-10-11 2008-04-24 Sanden Corp スクロール圧縮機
JP4858173B2 (ja) * 2007-01-05 2012-01-18 ヤマハ株式会社 歌唱音合成装置およびプログラム
US8244546B2 (en) * 2008-05-28 2012-08-14 National Institute Of Advanced Industrial Science And Technology Singing synthesis parameter data estimation system
JP2010031496A (ja) * 2008-07-28 2010-02-12 Sanwa Shutter Corp すべり出し窓の開閉装置
CN101923794A (zh) * 2009-11-04 2010-12-22 陈学煌 多功能音准练习机
GB2500471B (en) * 2010-07-20 2018-06-13 Aist System and method for singing synthesis capable of reflecting voice timbre changes
US20120234158A1 (en) * 2011-03-15 2012-09-20 Agency For Science, Technology And Research Auto-synchronous vocal harmonizer
US8653354B1 (en) * 2011-08-02 2014-02-18 Sonivoz, L.P. Audio synthesizing systems and methods
EP2602786B1 (en) * 2011-12-09 2018-01-24 Yamaha Corporation Sound data processing device and method
CN103207682B (zh) * 2011-12-19 2016-09-14 国网新疆电力公司信息通信公司 基于音节切分的维哈柯文智能输入法
JP6136202B2 (ja) * 2011-12-21 2017-05-31 ヤマハ株式会社 音楽データ編集装置および音楽データ編集方法
JP5943618B2 (ja) 2012-01-25 2016-07-05 ヤマハ株式会社 音符列設定装置および音符列設定方法
JP5895740B2 (ja) * 2012-06-27 2016-03-30 ヤマハ株式会社 歌唱合成を行うための装置およびプログラム
JP5821824B2 (ja) * 2012-11-14 2015-11-24 ヤマハ株式会社 音声合成装置
US9012756B1 (en) * 2012-11-15 2015-04-21 Gerald Goldman Apparatus and method for producing vocal sounds for accompaniment with musical instruments
US9595256B2 (en) * 2012-12-04 2017-03-14 National Institute Of Advanced Industrial Science And Technology System and method for singing synthesis
JP5949607B2 (ja) * 2013-03-15 2016-07-13 ヤマハ株式会社 音声合成装置
JP5935815B2 (ja) * 2014-01-15 2016-06-15 ヤマハ株式会社 音声合成装置およびプログラム
WO2015194423A1 (ja) * 2014-06-17 2015-12-23 ヤマハ株式会社 文字に基づく音声生成のためのコントローラ及びシステム
US9711133B2 (en) * 2014-07-29 2017-07-18 Yamaha Corporation Estimation of target character train
JP2016080827A (ja) * 2014-10-15 2016-05-16 ヤマハ株式会社 音韻情報合成装置および音声合成装置
JP6728754B2 (ja) * 2015-03-20 2020-07-22 ヤマハ株式会社 発音装置、発音方法および発音プログラム
JP6728755B2 (ja) * 2015-03-25 2020-07-22 ヤマハ株式会社 歌唱音発音装置
JP6620462B2 (ja) * 2015-08-21 2019-12-18 ヤマハ株式会社 合成音声編集装置、合成音声編集方法およびプログラム
JP6759545B2 (ja) * 2015-09-15 2020-09-23 ヤマハ株式会社 評価装置およびプログラム
JP6705142B2 (ja) * 2015-09-17 2020-06-03 ヤマハ株式会社 音質判定装置及びプログラム
JP6690181B2 (ja) * 2015-10-22 2020-04-28 ヤマハ株式会社 楽音評価装置及び評価基準生成装置
US10134374B2 (en) * 2016-11-02 2018-11-20 Yamaha Corporation Signal processing method and signal processing apparatus

Also Published As

Publication number Publication date
EP3273441A4 (en) 2018-11-14
CN107430849B (zh) 2021-02-23
JP2016177276A (ja) 2016-10-06
US20180005617A1 (en) 2018-01-04
EP3273441B1 (en) 2020-08-19
CN107430849A (zh) 2017-12-01
EP3273441A1 (en) 2018-01-24
WO2016152715A1 (ja) 2016-09-29
US10354629B2 (en) 2019-07-16

Similar Documents

Publication Publication Date Title
JP6728754B2 (ja) 発音装置、発音方法および発音プログラム
JP7484952B2 (ja) 電子機器、電子楽器、方法及びプログラム
CN113160779A (zh) 电子乐器、方法及存储介质
US20220076658A1 (en) Electronic musical instrument, method, and storage medium
US20220076651A1 (en) Electronic musical instrument, method, and storage medium
JP7180587B2 (ja) 電子楽器、方法及びプログラム
JP2016090916A (ja) 音声合成装置
JP6167503B2 (ja) 音声合成装置
JP6828530B2 (ja) 発音装置及び発音制御方法
JP6992894B2 (ja) 表示制御方法、表示制御装置およびプログラム
JP7124870B2 (ja) 情報処理方法、情報処理装置およびプログラム
WO2016152708A1 (ja) 音制御装置、音制御方法、および音制御プログラム
JP6809608B2 (ja) 歌唱音生成装置及び方法、プログラム
JP5106437B2 (ja) カラオケ装置及びその制御方法並びにその制御プログラム
JP2018151548A (ja) 発音装置及びループ区間設定方法
CN113711302A (zh) 音频信息播放方法及装置、音频信息生成方法及装置和程序
JP7158331B2 (ja) カラオケ装置
JP7186476B1 (ja) 音声合成装置
JP5552797B2 (ja) 音声合成装置および音声合成方法
JP5953743B2 (ja) 音声合成装置及びプログラム
WO2023120121A1 (ja) 子音長変更装置、電子楽器、楽器システム、方法及びプログラム
JP6787491B2 (ja) 音発生装置及び方法
JP2021149043A (ja) 電子楽器、方法及びプログラム
JPH1039896A (ja) 歌唱音声合成装置及び方法
WO2018198380A1 (ja) 歌詞表示装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200615

R151 Written notification of patent or utility model registration

Ref document number: 6728754

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151