JP3864918B2 - 歌声合成方法及び装置 - Google Patents
歌声合成方法及び装置 Download PDFInfo
- Publication number
- JP3864918B2 JP3864918B2 JP2003079149A JP2003079149A JP3864918B2 JP 3864918 B2 JP3864918 B2 JP 3864918B2 JP 2003079149 A JP2003079149 A JP 2003079149A JP 2003079149 A JP2003079149 A JP 2003079149A JP 3864918 B2 JP3864918 B2 JP 3864918B2
- Authority
- JP
- Japan
- Prior art keywords
- singing voice
- sound
- data
- key
- music
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001308 synthesis method Methods 0.000 title claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 15
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 claims description 27
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000033001 locomotion Effects 0.000 description 22
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical group N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 19
- 241001342895 Chorus Species 0.000 description 16
- 241000282414 Homo sapiens Species 0.000 description 11
- 230000008859 change Effects 0.000 description 11
- 230000009471 action Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 6
- 210000004394 hip joint Anatomy 0.000 description 6
- 210000002414 leg Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000008451 emotion Effects 0.000 description 4
- 210000002683 foot Anatomy 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 241000238876 Acari Species 0.000 description 2
- 210000000544 articulatio talocruralis Anatomy 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000000323 shoulder joint Anatomy 0.000 description 2
- 210000001364 upper extremity Anatomy 0.000 description 2
- 210000003857 wrist joint Anatomy 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
Description
【発明の属する技術分野】
本発明は、演奏データから歌声を合成する歌声合成方法及び装置に関する。
【0002】
【従来の技術】
コンピュータ等により、与えられた歌唱データから歌声を生成する技術は特許文献1に代表されるように既に知られている。
【0003】
MIDI(musical instrument digital interface)データは代表的な演奏データであり、事実上の業界標準である。代表的には、MIDIデータはMIDI音源と呼ばれるデジタル音源(コンピュータ音源や電子楽器音源等のMIDIデータにより動作する音源)を制御して楽音を生成するのに使用される。MIDIファイル(例えば、SMF(standard MIDI file))には歌詞データを入れることができ、歌詞付きの楽譜の自動作成に利用される。
【0004】
また、MIDIデータを歌声又は歌声を構成する音素セグメントのパラメータ表現(特殊データ表現)として利用する試みも特許文献2に代表されるように提案されている。
【0005】
しかし、これらの従来の技術においてはMIDIデータのデータ形式の中で歌声を表現しようとしているが、あくまでも楽器をコントロールする感覚でのコントロールに過ぎなかった。
【0006】
また、ほかの楽器用に作成されたMIDIデータを、修正を加えることなく歌声にすることはできなかった。
【0007】
また、電子メールやホームページを読み上げる音声合成ソフトはソニー(株)の「Simple Speech」をはじめ多くのメーカーから発売されているが、読み上げ方は普通の文章を読み上げるのと同じような口調であった。
【0008】
ところで、電気的又は磁気的な作用を用いて人間(生物)の動作に似た運動を行う機械装置を「ロボット」という。我が国においてロボットが普及し始めたのは、1960年代末からであるが、その多くは、工場における生産作業の自動化・無人化等を目的としたマニピュレータや搬送ロボット等の産業用ロボット(Industrial Robot)であった。
【0009】
最近では、人間のパートナーとして生活を支援する、すなわち住環境その他の日常生活上の様々な場面における人的活動を支援する実用ロボットの開発が進められている。このような実用ロボットは、産業用ロボットとは異なり、人間の生活環境の様々な局面において、個々に個性の相違した人間、又は様々な環境への適応方法を自ら学習する能力を備えている。例えば、犬、猫のように4足歩行の動物の身体メカニズムやその動作を模した「ペット型」ロボット、あるいは、2足直立歩行を行う人間等の身体メカニズムや動作をモデルにしてデザインされた「人間型」又は「人間形」ロボット(Humanoid Robot)等のロボット装置は、既に実用化されつつある。
【0010】
これらのロボット装置は、産業用ロボットと比較して、エンターテインメント性を重視した様々な動作を行うことができるため、エンターテインメントロボットと呼称される場合もある。また、そのようなロボット装置には、外部からの情報や内部の状態に応じて自律的に動作するものがある。
【0011】
この自律的に動作するロボット装置に用いられる人工知能(AI:artificial intelligence)は、推論・判断等の知的な機能を人工的に実現したものであり、さらに感情や本能等の機能をも人工的に実現することが試みられている。このような人工知能の外部への表現手段としての視覚的な表現手段や自然言語の表現手段等のうちで、自然言語表現機能の一例として、音声を用いることが挙げられる。
【0012】
【特許文献1】
特許第3233036号公報
【特許文献2】
特開平11−95798号公報
【0013】
【発明が解決しようとする課題】
以上のように従来の歌声合成は特殊な形式のデータを用いていたり、仮にMIDIデータを用いていてもその中に埋め込まれている歌詞データを有効に活用できなかったり、ほかの楽器用に作成されたMIDIデータを歌い上げたりすることはできなかった。
【0014】
本発明は、このような従来の実情に鑑みて提案されたものであり、例えばMIDIデータのような演奏データを活用して歌声を合成することが可能な歌声合成方法及び装置を提供することを目的とする。
【0015】
さらに、本発明の目的は、MIDIデータのような演奏データを活用する際、歌声に使用する合成音声の音域にあった歌唱を可能にする歌声合成方法及び装置を提供することである。
【0018】
【課題を解決するための手段】
本発明に係る歌声合成方法は、上記目的を達成するため、楽曲を構成する演奏データを音の高さ、長さ、歌詞の音楽情報として解析する解析工程と、解析された音楽情報に基づき、音声合成器を介して、歌声を生成する歌声生成工程と、上記歌声を生成する際に上記楽曲のキーを変更するキー変更工程とを有し、上記キー変更工程は、上記楽曲の最高音と最低音の中間にある音が、上記音声合成器の歌声として再生可能な音域内の所定の最高音と最低音の中間になるように歌声生成の際に上記演奏データのキーを変更することを特徴とする。
【0019】
ここで、「キー」とは、例えば音楽用語の「調」のことであり、主音の位置によって定まる音階の種類に対応している。キーを変更するとは、具体的には、音のピッチあるいは周波数を変更(シフト、移動)することに相当する。
【0020】
楽曲を構成する演奏データを音の高さ、長さ、歌詞の音楽情報として解析する解析手段と、解析された音楽情報に基づき、音声合成器を介して、歌声を生成する歌声生成手段と、上記歌声を生成する際に上記楽曲のキーを変更するキー変更手段とを有し、上記キー変更手段は、上記楽曲の最高音と最低音の中間にある音が、上記音声合成器の歌声として再生可能な音域内の所定の最高音と最低音の中間になるように歌声生成の際に上記演奏データのキーを変更することを特徴とする。
【0021】
この構成によれば、本発明に係る歌声合成方法及び装置は、楽曲を構成する演奏データを解析してそれから得られる歌詞や音の高さ、長さ、強さをもとにした音符情報に基づき歌声情報を生成し、その歌声情報をもとに歌声の生成を行うことができる。さらに、演奏データの音域が歌声を合成する音声合成器にとって望ましくない音域であるような場合を配慮して、キー変更機能により音声合成器の再生可能な音域に歌声が収まるように歌声生成の際に演奏データのキーを変更しているのでふさわしい音域での歌唱が可能である。
【0022】
上記演奏データはMIDIファイル(例えばSMF)の演奏データであることが好ましい。
【0023】
また、上記キー変更工程又は手段は、上記楽曲のキーを変更する際に、上記演奏データにおいて同一フレーズが複数回出現する部分をサビと判断することにより上記サビの部分を検出し、検出されたサビの部分の最高音と最低音の中間にある音が上記音声合成器の音域内の所定の最高音と最低音の中間になるように上記楽曲のキーを調整することが好ましい。
【0024】
上記音声合成器が合成することが可能な音域を示す音域データを用意し、上記キー変更工程又は手段は、この音域データに基づき上記キーの変更をするとよい。この音域データはオペレータにより指示、又は設定されるようにしてよい。また、上記音声合成器が複数種類の音声を合成可能な合成器である場合、音域データは音声合成器の声の種類毎に用意することが好ましい。
【0026】
また、上記キー変更工程又は手段は、上記キーの変更を行うか行わないかをオペレータにより指示されるようにしてよい。
【0029】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【0030】
先ず、本実施の形態における歌声合成装置の概略システム構成を図1に示す。ここで、この歌声合成装置は、少なくとも感情モデル、音声合成手段及び発音手段を有する例えばロボット装置に適用することを想定しているが、これに限定されず、各種ロボット装置や、ロボット以外の各種コンピュータAI(artificial
intelligence)等への適用も可能であることは勿論である。
【0031】
図1において、MIDIデータに代表される演奏データ1を解析する演奏データ解析部2は入力された演奏データ1を解析し演奏データ内にあるトラックやチャンネルの音の高さや長さ、強さを表す楽譜情報4に変換する。
【0032】
図2に楽譜情報4に変換された演奏データ(MIDIデータ)の例を示す。図2において、トラック毎、チャンネル毎にイベントが書かれている。イベントにはノートイベントとコントロールイベントが含まれる。ノートイベントは発生時刻(図中の時間の欄)、高さ、長さ、強さ(velocity)の情報を持つ。したがって、ノートイベントのシーケンスにより音符列又は音列が定義される。コントロールイベントは発生時刻、コントロールのタイプデータ(例えばビブラート、演奏ダイナミクス表現(expression))及びコントロールのコンテンツを示すデータを持つ。例えば、ビブラートの場合、コントロールのコンテンツとして、音の振れの大きさを指示する「深さ」、音の揺れの周期を指示する「幅」、音の揺れの開始タイミング(発音タイミングからの遅れ時間)を指示する「遅れ」の項目を有する。特定のトラック、チャンネルに対するコントロールイベントはそのコントロールタイプについて新たなコントロールイベント(コントロールチェンジ)が発生しない限り、そのトラック、チャンネルの音符列の楽音再生に適用される。さらに、MIDIファイルの演奏データにはトラック単位で歌詞を記入することができる。図2において、上方に示す「あるうひ」はトラック1に記入された歌詞の一部であり、下方に示す「あるうひ」はトラック2に記入された歌詞の一部である。すなわち図2の例は、解析した音楽情報(楽譜情報)の中に歌詞が埋め込まれた例である。
【0033】
なお、図2において、時間は「小節:拍:ティック数」で表され、長さは「ティック数」で表され、強さは「0−127」の数値で表され、高さは440Hzが「A4」で表される。また、ビブラートは、深さ、幅、遅れがそれぞれ「0−64−127」の数値で表される。
【0034】
図1に戻り、変換された楽譜情報4は歌詞付与部5に渡される。歌詞付与部5では楽譜情報4をもとに音符に対応した音の長さ、高さ、強さ、表情などの情報とともにその音に対する歌詞が付与された歌声情報6の生成を行う。
【0035】
図3に歌声情報6の例を示す。図3において、「¥song¥」は歌詞情報の開始を示すタグである。タグ「¥PP,T10673075¥」は10673075μsecの休みを示し、タグ「¥tdyna 110 649075¥」は先頭から10673075μsecの全体の強さを示し、タグ「¥fine−100¥」はMIDIのファインチューンに相当する高さの微調整を示し、タグ「¥vibrato NRPN_dep=64¥」、[¥vibrato NRPN_del=50¥]、「¥vibrato NRPN_rat=64¥」はそれぞれ、ビブラートの深さ、遅れ、幅を示す。また、タグ「¥dyna 100¥」は音毎の強弱を示し、タグ「¥G4,T288461¥あ」はG4の高さで、長さが288461μsecの歌詞「あ」を示す。図3の歌声情報は図2に示す楽譜情報(MIDIデータの解析結果)から得られたものである。図2と図3の比較から分かるように、楽器制御用の演奏データ(例えば音符情報)が歌声情報の生成において十分に活用されている。例えば、歌詞「あるうひ」の構成要素「あ」について、「あ」以外の歌唱属性である「あ」の音の発生時刻、長さ、高さ、強さ等について、楽譜情報(図2)中のコントロール情報やノートイベント情報に含まれる発生時刻、長さ、高さ、強さ等が直接的に利用され、次の歌詞要素「る」についても楽譜情報中の同じトラック、チャンネルにおける次のノートイベント情報が直接的に利用され、以下同様である。
【0036】
図1に戻り、歌声情報6は歌声生成部7に渡される。歌声生成部7は音声合成器(speech synthesizer)を構成する。歌声生成部7においては歌声情報6をもとに歌声波形8の生成を行う。ここで、歌声情報6から歌声波形8を生成する歌声生成部7は例えば図4に示すように構成される。
【0037】
図4において、歌声韻律生成部7−1は歌声情報6を歌声韻律データに変換する。波形生成部7−2は声質別波形メモリ7−3を介して歌声韻律データを歌声波形8に変換する。
【0038】
具体例として、「A4」の高さの歌詞要素「ら」を一定時間伸ばす場合について説明する。ビブラートをかけない場合の歌声韻律データは、以下の表のように表される。
【0039】
【表1】
【0040】
この表において、[LABEL]は、各音韻の継続時間長を表したものである。すなわち、「ra」という音韻(音素セグメント)は、0サンプルから1000サンプルまでの1000サンプルの継続時間長であり、「ra」に続く最初の「aa」という音韻は、1000サンプルから39600サンプルまでの38600サンプルの継続時間長である。また、[PITCH]は、ピッチ周期を点ピッチで表したものである。すなわち、0サンプル点におけるピッチ周期は56サンプルである。ここでは「ら」の高さを変えないので全てのサンプルに渡り56サンプルのピッチ周期が適用される。また、[VOLUME]は、各サンプル点での相対的な音量を表したものである。すなわち、デフォルト値を100%としたときに、0サンプル点では66%の音量であり、39600サンプル点では57%の音量である。以下同様にして、40100サンプル点では48%の音量等が続き42600サンプル点では3%の音量となる。これにより「ら」の音声が時間の経過と共に減衰することが実現される。
【0041】
これに対して、ビブラートをかける場合には、例えば、以下に示すような歌声韻律データが作成される。
【0042】
【表2】
【0043】
この表の[PITCH]の欄に示すように、0サンプル点と1000サンプル点におけるピッチ周期は50サンプルで同じであり、この間は音声の高さに変化がないが、それ以降は、2000サンプル点で53サンプルのピッチ周期、4009サンプル点で47サンプルのピッチ周期、6009サンプル点で53のピッチ周期というようにピッチ周期が約4000サンプルの周期(幅)を以て上下(50±3)に振れている。これにより音声の高さの揺れであるビブラートが実現される。この[PITCH]の欄のデータは歌声情報6における対応歌声要素(例えば「ら」)に関する情報、特にノートナンバー(例えばA4)とビブラートコントロールデータ(例えば、タグ「¥vibrato NRPN_dep=64¥」、[¥vibrato NRPN_del=50¥]、「¥vibrato NRPN_rat=64¥」)に基づいて生成される。
【0044】
波形生成部7−2はこのような歌声音韻データに基づき、声質別に音素セグメントデータを記憶する声質別波形メモリ7−3から該当する声質のサンプルを読み出して歌声波形8を生成する。すなわち、波形生成部7−2は、声質別波形メモリ7−3を参照しながら、歌声韻律データに示される音韻系列、ピッチ周期、音量等をもとに、なるべくこれに近い音素セグメントデータを検索してその部分を切り出して並べ、音声波形データを生成する。すなわち、声質別波形メモリ7−3には、声質別に、例えば、CV(Consonant, Vowel)や、VCV、CVC等の形で音素セグメントデータが記憶されており、波形生成部7−2は、歌声韻律データに基づいて、必要な音素セグメントデータを接続し、さらに、ポーズ、アクセント、イントネーション等を適切に付加することで、歌声波形8を生成する。なお、歌声情報6から歌声波形8を生成する歌声生成部7については上記の例に限らず、任意の適当な公知の音声合成器を使用できる。
【0045】
図1に戻り、演奏データ1はMIDI音源9に渡され、MIDI音源9は演奏データをもとに楽音の生成を行う。この楽音は伴奏波形10である。
【0046】
歌声波形8と伴奏波形10はともに同期を取りミキシングを行うミキシング部11に渡される。
【0047】
ミキシング部11では、歌声波形8と伴奏波形10との同期を取りそれぞれを重ね合わせて出力波形3として再生を行うことにより、演奏データ1をもとに伴奏を伴った歌声による音楽再生を行う。
【0048】
ここで、歌声生成部7の出力にとって歌声情報6は必ずしも適切な音域をもつとは限らない。この点を配慮して、実施の形態では、歌声生成部7の最も声が綺麗に聞こえる音域をベスト音域データ14として用意すると共に、歌声として生成可能な音域は音域データ13として用意している。これらのデータ13、14はオペレータの指示により変更することも可能である。
【0049】
解析された楽譜情報4は歌詞付与部5に渡されると同時にサビ検出部15に渡される。
【0050】
サビ検出部15では楽譜情報4をもとに同じ音符の動きのパターン(フレーズ)が複数回出現する部分を楽曲におけるサビと判断することによりサビの楽曲部分を検出し、サビデータ16として保存する。サビデータ16は音域を示し、例えばサビの楽曲部分が検出された場合、サビにおける最高音と最低音の情報を有する。このサビデータ16はオペレータが指示することも可能である。
【0051】
歌詞付与部5によって生成された歌声情報6は歌声生成部7に渡される前にキー変更部12に渡される。キー変更部12でははじめにサビデータ16を参照し、このサビデータ16に基づき歌声情報6のキーの移動を行う。
【0052】
詳細には、キー変更部12は先ずベスト音域データ14をもとにサビの部分の最高音と最低音の中間にある音が、ベスト音域データ14の最高音と最低音の中間にある音と同じ音になるようにキーの移動を行う。
【0053】
ここで中間点を求める際に音域の音数が偶数の場合は中間点に近い低い音を中間点の音として採用する。例えば、ベスト音域データがC4からC5の間であった場合は中間の音はF#4の音になり、サビ情報がG4からD5の間の場合はA#4がサビデータの中間になる。
【0054】
キー変更部12は、これらの中間点から楽曲のサビの中間点A#4がベストな音域の中間点F#4よりも長3度(4半音分)高いことを判断し、楽曲のキーを長3度下げた歌声情報6に変換する。このことにより楽曲のサビの音域を歌声としてベストな音域になるようにキーの調整が行われる。
【0055】
また、サビの指定がない場合や、サビ検出部15においてサビが検出できなかった場合は楽譜情報4に示される楽曲中の最高音と最低音がサビデータとして生成される。
【0056】
サビが検出されなかったり指定されていない場合もこの楽曲中の最低音と最高音をもとにサビが検出された場合と同様のキーの変更が行われる。
【0057】
また、サビデータ16がベスト音域データ14に示す音域の範囲を高いほう又は低いほうのいずれかでも超えている場合は歌声として可能な音域を表す音域データ13の範囲にサビデータが収まるようにキーの調整を行う。この際の方法も同じように各音域の中間点をそろえる形で行う。
【0058】
ここで、中間点をそろえてもサビデータ16の音域が音域データ13の音域に収まらない場合は、その音域を上に超えている場合は1オクターブ下げ、下に超えている場合は1オクターブ上げる処理を行なう。また、このオクターブ移動処理の指示がなされていない場合は何もしない。
【0059】
これらにより移調されたキーの移動幅はMIDI音源9を再生する際に制御情報として渡され、歌声と同時に再生されるMIDIからの出力のキーも変更される。
【0060】
なお、歌声生成部7が複数種類の音声を合成可能な音声合成器である場合、ベスト音域データ14と歌声として可能な音域を表す音域データ13は声の種類毎に用意される。
【0061】
また、上記キーの変更を行うか行わないかをオペレータにより指示することができる。
【0062】
なお、歌声情報に関して、演奏データに歌詞が含まれている場合を説明したが、これには限られず、演奏データに歌詞が含まれない場合に任意の歌詞、例えば「ら」や「ぼん」等を自動生成し、又はオペレータにより入力し、歌詞の対象とする演奏データ(トラック、チャンネル)を、歌詞付与部を介して選択して歌詞を割り振るようにしてもよい。
【0063】
図5に図1に示す歌声合成装置の全体動作をフローチャートで示す。
【0064】
この図5において、先ずMIDIファイルの演奏データ1を入力する(ステップS1)。次に演奏データ1を解析し、楽譜データ4を作成する(ステップS2、S3)。次にオペレータに問い合わせオペレータの設定処理(例えば、キー変更をするかしないかの指示、声質の選択、音域データ13の設定、ベスト音域データ14の設定、歌詞の対象とするトラックの指定等)を行う(ステップS4)。なおオペレータが設定しなかった部分についてはデフォルトが後続処理で使用される。
【0065】
次に、作成した楽譜データに基づき、歌詞を対象とするトラック又はチャンネルの演奏データに割り振って歌声情報6を作成する(ステップS5、S6)。
【0066】
次にオペレータからのキー変更指示をチェックし(ステップS7)、指示なしなら移調することなくステップS8に進んで音声波形(歌声波形8)を生成するが、キー変更指示なら、移調ルーチンの最初のステップS9に進む。
【0067】
ステップS9ではサビデータを作成する。詳細には、例えば、(a1)先ずオペレータにサビの指定を問い合わせ、サビ指定があればそれに基づきサビデータを作成し、(a2)サビ指定がなければ上述したサビ検出器15によりサビ検出ルーチンを実行してサビの検出、すなわち同じ音符の動きのパターン(フレーズ)が複数回出現する部分の検出を試みる。(a3)サビの検出に成功したときはサビの最高音と最低音をサビデータとして作成し、(a4)サビの検出に失敗したときは歌声情報6の最高音と最低音をサビデータとして作成する。
【0068】
次のステップS10では、ベスト音域内のチェックを行う。詳細には、例えば(b1)サビデータの中間の音P2とベスト音域データの中間の音P1の差Dを求め、(b2)差Dだけずらしたサビデータの音域がベスト音域データの音域に収まるか判定し、(b3)収まれば、「ベスト音域内である」として差DをステップS12に渡し、(b4)収まらなければ「ベスト音域内でない」としてステップS11に進む。
【0069】
ステップS11では使用可能な音域内のチェックを行う。詳細には、(c1)サビデータの中間の音P2と音域データの中間の音P1の差Dを求め、(c2)差Dだけずらしたサビデータの音域が音域データの音域に収まるか判定し、(c3)収まれば、「音域内である」として差DをステップS12に渡し、(c4)収まらなければステップS12をスキップして波形生成ステップS13に進む。
【0070】
ステップS12では差Dだけ歌声情報6に含まれる各音のノートナンバーをシフトして楽曲のキーを変更する。
【0071】
波形生成ステップS13では歌声生成部7により、これまでの処理で得られている歌声情報6から歌声の音声波形を作成する。
【0072】
次に演奏データ1の各音のノートナンバーについて差DだけシフトしてMIDIデータを歌声と同じキーに移調する(ステップS14)。
【0073】
ステップS14又はS8の後、MIDI音源9によりMIDIを再生して伴奏波形10を作成する(ステップS15)。
【0074】
ここまでの処理で、歌声波形8、及び伴奏波形10が得られた。
【0075】
そこで、ミキシング部11により、歌声波形8と伴奏波形10との同期を取りそれぞれを重ね合わせて出力波形3として再生を行う(ステップS16、S17)。この出力波形3は図示しないサウンドシステムを介して音響信号として出力される。
【0076】
以上説明した歌声合成機能は例えば、ロボット装置に搭載される。
【0077】
以下、一構成例として示す2足歩行タイプのロボット装置は、住環境その他の日常生活上の様々な場面における人的活動を支援する実用ロボットであり、内部状態(怒り、悲しみ、喜び、楽しみ等)に応じて行動できるほか、人間が行う基本的な動作を表出できるエンターテインメントロボットである。
【0078】
図6に示すように、ロボット装置60は、体幹部ユニット62の所定の位置に頭部ユニット63が連結されると共に、左右2つの腕部ユニット64R/Lと、左右2つの脚部ユニット65R/Lが連結されて構成されている(ただし、R及びLの各々は、右及び左の各々を示す接尾辞である。以下において同じ。)。
【0079】
このロボット装置60が具備する関節自由度構成を図7に模式的に示す。頭部ユニット63を支持する首関節は、首関節ヨー軸101と、首関節ピッチ軸102と、首関節ロール軸103という3自由度を有している。
【0080】
また、上肢を構成する各々の腕部ユニット64R/Lは、、肩関節ピッチ軸107と、肩関節ロール軸108と、上腕ヨー軸109と、肘関節ピッチ軸110と、前腕ヨー軸111と、手首関節ピッチ軸112と、手首関節ロール軸113と、手部114とで構成される。手部114は、実際には、複数本の指を含む多関節・多自由度構造体である。ただし、手部114の動作は、ロボット装置60の姿勢制御や歩行制御に対する寄与や影響が少ないので、本明細書ではゼロ自由度と仮定する。したがって、各腕部は7自由度を有するとする。
【0081】
また、体幹部ユニット62は、体幹ピッチ軸104と、体幹ロール軸105と、体幹ヨー軸106という3自由度を有する。
【0082】
また、下肢を構成する各々の脚部ユニット65R/Lは、股関節ヨー軸115と、股関節ピッチ軸116と、股関節ロール軸117と、膝関節ピッチ軸118と、足首関節ピッチ軸119と、足首関節ロール軸120と、足部121とで構成される。本明細書中では、股関節ピッチ軸116と股関節ロール軸117の交点は、ロボット装置60の股関節位置を定義する。人体の足部121は、実際には多関節・多自由度の足底を含んだ構造体であるが、ロボット装置60の足底は、ゼロ自由度とする。したがって、各脚部は、6自由度で構成される。
【0083】
以上を総括すれば、ロボット装置60全体としては、合計で3+7×2+3+6×2=32自由度を有することになる。ただし、エンターテインメント向けのロボット装置60が必ずしも32自由度に限定されるわけではない。設計・制作上の制約条件や要求仕様等に応じて、自由度すなわち関節数を適宜増減することができることはいうまでもない。
【0084】
上述したようなロボット装置60がもつ各自由度は、実際にはアクチュエータを用いて実装される。外観上で余分な膨らみを排してヒトの自然体形状に近似させること、2足歩行という不安定構造体に対して姿勢制御を行うことなどの要請から、アクチュエータは小型かつ軽量であることが好ましい。また、アクチュエータは、ギア直結型でかつサーボ制御系をワンチップ化してモータユニット内に搭載したタイプの小型ACサーボ・アクチュエータで構成することがより好ましい。
【0085】
図8には、ロボット装置60の制御システム構成を模式的に示している。図8に示すように、制御システムは、ユーザ入力などに動的に反応して情緒判断や感情表現を司る思考制御モジュール200と、アクチュエータ350の駆動などロボット装置60の全身協調運動を制御する運動制御モジュール300とで構成される。
【0086】
思考制御モジュール200は、情緒判断や感情表現に関する演算処理を実行するCPU(Central Processing Unit)211や、RAM(Random Access Memory)212、ROM(Read only Memory)213、及び、外部記憶装置(ハード・ディスク・ドライブなど)214で構成される、モジュール内で自己完結した処理を行うことができる、独立駆動型の情報処理装置である。
【0087】
この思考制御モジュール200は、画像入力装置251から入力される画像データや音声入力装置252から入力される音声データなど、外界からの刺激などに従って、ロボット装置60の現在の感情や意思を決定する。ここで、画像入力装置251は、例えばCCD(Charge Coupled Device)カメラを複数備えており、また、音声入力装置252は、例えばマイクロホンを複数備えている。
【0088】
また、思考制御モジュール200は、意思決定に基づいた動作又は行動シーケンス、すなわち四肢の運動を実行するように、運動制御モジュール300に対して指令を発行する。
【0089】
一方の運動制御モジュール300は、ロボット装置60の全身協調運動を制御するCPU311や、RAM312、ROM313、及び外部記憶装置(ハード・ディスク・ドライブなど)314で構成される、モジュール内で自己完結した処理を行うことができる、独立駆動型の情報処理装置である。外部記憶装置314には、例えば、オフラインで算出された歩行パターンや目標とするZMP軌道、その他の行動計画を蓄積することができる。ここで、ZMPとは、歩行中の床反力によるモーメントがゼロとなる床面上の点のことであり、また、ZMP軌道とは、例えばロボット装置60の歩行動作期間中にZMPが動く軌跡を意味する。なお、ZMPの概念並びにZMPを歩行ロボットの安定度判別規範に適用する点については、Miomir Vukobratovic 著“LEGGED LOCOMOTION ROBOTS”(加藤一郎外著『歩行ロボットと人工の足』(日刊工業新聞社))に記載されている。
【0090】
運動制御モジュール300には、図8に示したロボット装置60の全身に分散するそれぞれの関節自由度を実現するアクチュエータ350、体幹部ユニット62の姿勢や傾斜を計測する姿勢センサ351、左右の足底の離床又は着床を検出する接地確認センサ352,353、バッテリなどの電源を管理する電源制御装置354などの各種の装置が、バス・インターフェース(I/F)301経由で接続されている。ここで、姿勢センサ351は、例えば加速度センサとジャイロ・センサの組み合わせによって構成され、接地確認センサ352,353は、近接センサ又はマイクロ・スイッチなどで構成される。
【0091】
思考制御モジュール200と運動制御モジュール300は、共通のプラットフォーム上で構築され、両者間はバス・インターフェース201,301を介して相互接続されている。
【0092】
運動制御モジュール300では、思考制御モジュール200から指示された行動を体現すべく、各アクチュエータ350による全身協調運動を制御する。すなわち、CPU311は、思考制御モジュール200から指示された行動に応じた動作パターンを外部記憶装置314から取り出し、又は、内部的に動作パターンを生成する。そして、CPU311は、指定された動作パターンに従って、足部運動、ZMP軌道、体幹運動、上肢運動、腰部水平位置及び高さなどを設定するとともに、これらの設定内容に従った動作を指示する指令値を各アクチュエータ350に転送する。
【0093】
また、CPU311は、姿勢センサ351の出力信号によりロボット装置60の体幹部ユニット62の姿勢や傾きを検出するとともに、各接地確認センサ352,353の出力信号により各脚部ユニット65R/Lが遊脚又は立脚のいずれの状態であるかを検出することによって、ロボット装置60の全身協調運動を適応的に制御することができる。
【0094】
また、CPU311は、ZMP位置が常にZMP安定領域の中心に向かうように、ロボット装置60の姿勢や動作を制御する。
【0095】
さらに、運動制御モジュール300は、思考制御モジュール200において決定された意思通りの行動がどの程度発現されたか、すなわち処理の状況を、思考制御モジュール200に返すようになっている。
【0096】
このようにしてロボット装置60は、制御プログラムに基づいて自己及び周囲の状況を判断し、自律的に行動することができる。
【0097】
このロボット装置60において、上述した歌声合成機能をインプリメントしたプログラム(データを含む)は例えば思考制御モジュール200のROM213に置かれる。この場合、歌声合成プログラムの実行は思考制御モジュール200のCPU211により行われる。
【0098】
このようなロボット装置に上記歌声合成機能を組み込むことにより、伴奏に合わせて歌うロボットとしての表現能力が新たに獲得され、エンターテインメント性が広がり、人間との親密性が深められる。
【0099】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【0100】
例えば、本件出願人が先に提案した特願2002−73385の明細書及び図面に記載の音声合成方法及び装置等に用いられる歌声合成部及び波形生成部に対応した歌声生成部7に使用可能な歌声情報を例示しているが、この他種々の歌声生成部を用いることができ、この場合、各種の歌声生成部によって歌声生成に必要とされる情報を含むような歌声情報を、上記演奏データから生成するようにすればよいことは勿論である。また、演奏データは、MIDIデータに限定されず、種々の規格の演奏データを使用可能である。
【0101】
【発明の効果】
以上詳細に説明したように、本発明に係る歌声合成方法及び装置によれば、楽曲を構成する演奏データを音の高さ、長さ、歌詞の音楽情報として解析し、解析された音楽情報に基づき、音声合成器を介して、歌声を生成し、上記歌声を生成する際に上記楽曲のキーを変更し、その際上記音声合成器の再生可能な音域に上記歌声が収まるように歌声生成の際に上記演奏データのキーを変更することにより音声合成器にふさわしい音域での歌唱が可能である。したがって、従来、楽器の音のみにより表現していた音楽の作成や再生において特別な情報を加えることがなく歌声の再生を行ることによりその音楽表現は格段に向上する。
【0102】
また、本発明に係るプログラムは、本発明の歌声合成機能をコンピュータに実行させるものであり、本発明に係る記録媒体は、このプログラムが記録されたコンピュータ読み取り可能なものである。
【0103】
本発明に係るプログラム及び記録媒体によれば、楽曲を構成する演奏データを音の高さ、長さ、歌詞の音楽情報として解析し、解析された音楽情報に基づき、音声合成器を介して、歌声を生成し、上記歌声を生成する際に上記楽曲のキーを変更し、その際上記音声合成器の再生可能な音域に上記歌声が収まるように歌声生成の際に上記演奏データのキーを変更することにより音声合成器にふさわしい音域での歌唱が可能である。
【0104】
また、本発明に係るロボット装置は本発明の歌声合成機能を実現する。すなわち、本発明のロボット装置によれば、供給された入力情報に基づいて動作を行う自律型のロボット装置において、入力された、楽曲を構成する演奏データを音の高さ、長さ、歌詞の音楽情報として解析し、解析された音楽情報に基づき、音声合成器を介して、歌声を生成し、上記歌声を生成する際に上記楽曲のキーを変更し、その際上記音声合成器の再生可能な音域に上記歌声が収まるように歌声生成の際に上記演奏データのキーを変更することにより音声合成器にふさわしい音域での歌唱が可能である。したがって、ロボット装置の表現能力が向上し、エンターテインメント性を高めることができると共に、人間との親密性を深めることができる。
【図面の簡単な説明】
【図1】本実施の形態における歌声合成装置のシステム構成を説明するブロック図である。
【図2】解析結果の楽譜情報の例を示す図である。
【図3】歌声情報の例を示す図である。
【図4】歌声生成部の構成例を説明するブロック図である。
【図5】本実施の形態における歌声合成装置の動作を説明するフローチャートである。
【図6】本実施の形態におけるロボット装置の外観構成を示す斜視図である。
【図7】同ロボット装置の自由度構成モデルを模式的に示す図である。
【図8】同ロボット装置のシステム構成を示すブロック図である。
【符号の説明】
2 演奏データ解析部、5 歌詞付与部、7 歌声生成部(音声合成器)、12 キー変更部、15 サビ検出部、60 ロボット装置、211 CPU、213 ROM
Claims (3)
- 楽曲を構成する演奏データを音の高さ、長さ、歌詞の音楽情報として解析する解析工程と、
解析された音楽情報に基づき、音声合成器を介して、歌声を生成する歌声生成工程と、
上記歌声を生成する際に上記楽曲のキーを変更するキー変更工程と
を有し、
上記キー変更工程は、上記楽曲の最高音と最低音の中間にある音が、上記音声合成器の歌声として再生可能な音域内の所定の最高音と最低音の中間になるように歌声生成の際に上記演奏データのキーを変更することを特徴とする歌声合成方法。 - 上記キー変更工程は、上記楽曲のキーを変更する際に、上記演奏データにおいて同一フレーズが複数回出現する部分をサビと判断することにより上記サビの部分を検出し、検出されたサビの部分の最高音と最低音の中間にある音が上記音声合成器の音域内の所定の最高音と最低音の中間になるように上記楽曲のキーを調整することを特徴とする請求項1記載の歌声合成方法。
- 楽曲を構成する演奏データを音の高さ、長さ、歌詞の音楽情報として解析する解析手段と、
解析された音楽情報に基づき、音声合成器を介して、歌声を生成する歌声生成手段と、
上記歌声を生成する際に上記楽曲のキーを変更するキー変更手段と
を有し、
上記キー変更手段は、上記楽曲の最高音と最低音の中間にある音が、上記音声合成器の歌声として再生可能な音域内の所定の最高音と最低音の中間になるように歌声生成の際に上記演奏データのキーを変更することを特徴とする歌声合成装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003079149A JP3864918B2 (ja) | 2003-03-20 | 2003-03-20 | 歌声合成方法及び装置 |
US10/801,682 US7241947B2 (en) | 2003-03-20 | 2004-03-17 | Singing voice synthesizing method and apparatus, program, recording medium and robot apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003079149A JP3864918B2 (ja) | 2003-03-20 | 2003-03-20 | 歌声合成方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004287096A JP2004287096A (ja) | 2004-10-14 |
JP3864918B2 true JP3864918B2 (ja) | 2007-01-10 |
Family
ID=33293347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003079149A Expired - Fee Related JP3864918B2 (ja) | 2003-03-20 | 2003-03-20 | 歌声合成方法及び装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7241947B2 (ja) |
JP (1) | JP3864918B2 (ja) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7176372B2 (en) * | 1999-10-19 | 2007-02-13 | Medialab Solutions Llc | Interactive digital music recorder and player |
US9818386B2 (en) | 1999-10-19 | 2017-11-14 | Medialab Solutions Corp. | Interactive digital music recorder and player |
JP4067762B2 (ja) * | 2000-12-28 | 2008-03-26 | ヤマハ株式会社 | 歌唱合成装置 |
US7076035B2 (en) * | 2002-01-04 | 2006-07-11 | Medialab Solutions Llc | Methods for providing on-hold music using auto-composition |
EP1326228B1 (en) * | 2002-01-04 | 2016-03-23 | MediaLab Solutions LLC | Systems and methods for creating, modifying, interacting with and playing musical compositions |
US7169996B2 (en) | 2002-11-12 | 2007-01-30 | Medialab Solutions Llc | Systems and methods for generating music using data/music data file transmitted/received via a network |
US7928310B2 (en) * | 2002-11-12 | 2011-04-19 | MediaLab Solutions Inc. | Systems and methods for portable audio synthesis |
US9065931B2 (en) * | 2002-11-12 | 2015-06-23 | Medialab Solutions Corp. | Systems and methods for portable audio synthesis |
JP2004287099A (ja) * | 2003-03-20 | 2004-10-14 | Sony Corp | 歌声合成方法、歌声合成装置、プログラム及び記録媒体並びにロボット装置 |
KR100689849B1 (ko) * | 2005-10-05 | 2007-03-08 | 삼성전자주식회사 | 원격조정제어장치, 영상처리장치, 이를 포함하는 영상시스템 및 그 제어방법 |
WO2007053687A2 (en) * | 2005-11-01 | 2007-05-10 | Vesco Oil Corporation | Audio-visual point-of-sale presentation system and method directed toward vehicle occupant |
KR100658869B1 (ko) * | 2005-12-21 | 2006-12-15 | 엘지전자 주식회사 | 음악생성장치 및 그 운용방법 |
JP2007178890A (ja) * | 2005-12-28 | 2007-07-12 | Yamaha Corp | 自動演奏装置 |
US7737354B2 (en) * | 2006-06-15 | 2010-06-15 | Microsoft Corporation | Creating music via concatenative synthesis |
US7977560B2 (en) * | 2008-12-29 | 2011-07-12 | International Business Machines Corporation | Automated generation of a song for process learning |
JP5471858B2 (ja) * | 2009-07-02 | 2014-04-16 | ヤマハ株式会社 | 歌唱合成用データベース生成装置、およびピッチカーブ生成装置 |
EP2599532A2 (en) * | 2009-07-30 | 2013-06-05 | Carlos Alberto Ibañez Vignolo | Self-playing biodegradable robot guitar having a leather-like casing, biodegradable musical pick, and structured protein/amino acids |
TWI398853B (zh) * | 2010-05-10 | 2013-06-11 | Univ Nat Cheng Kung | 人臉說話模擬系統及方法 |
WO2012011475A1 (ja) * | 2010-07-20 | 2012-01-26 | 独立行政法人産業技術総合研究所 | 声色変化反映歌声合成システム及び声色変化反映歌声合成方法 |
US9159310B2 (en) | 2012-10-19 | 2015-10-13 | The Tc Group A/S | Musical modification effects |
JP5881579B2 (ja) * | 2012-10-26 | 2016-03-09 | 株式会社東芝 | 対話システム |
US9595256B2 (en) * | 2012-12-04 | 2017-03-14 | National Institute Of Advanced Industrial Science And Technology | System and method for singing synthesis |
US9123315B1 (en) * | 2014-06-30 | 2015-09-01 | William R Bachand | Systems and methods for transcoding music notation |
JP6728754B2 (ja) * | 2015-03-20 | 2020-07-22 | ヤマハ株式会社 | 発音装置、発音方法および発音プログラム |
JP6582517B2 (ja) * | 2015-04-24 | 2019-10-02 | ヤマハ株式会社 | 制御装置およびプログラム |
JP6497404B2 (ja) * | 2017-03-23 | 2019-04-10 | カシオ計算機株式会社 | 電子楽器、その電子楽器の制御方法及びその電子楽器用のプログラム |
JP7059524B2 (ja) * | 2017-06-14 | 2022-04-26 | ヤマハ株式会社 | 歌唱合成方法、歌唱合成システム、及びプログラム |
CN109326280B (zh) * | 2017-07-31 | 2022-10-04 | 科大讯飞股份有限公司 | 一种歌唱合成方法及装置、电子设备 |
US11257471B2 (en) * | 2020-05-11 | 2022-02-22 | Samsung Electronics Company, Ltd. | Learning progression for intelligence based music generation and creation |
CN113053355A (zh) * | 2021-03-17 | 2021-06-29 | 平安科技(深圳)有限公司 | 佛乐的人声合成方法、装置、设备及存储介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4527274A (en) * | 1983-09-26 | 1985-07-02 | Gaynor Ronald E | Voice synthesizer |
JPH05341793A (ja) * | 1991-04-19 | 1993-12-24 | Pioneer Electron Corp | カラオケ演奏装置 |
JP3333022B2 (ja) * | 1993-11-26 | 2002-10-07 | 富士通株式会社 | 歌声合成装置 |
US5998725A (en) * | 1996-07-23 | 1999-12-07 | Yamaha Corporation | Musical sound synthesizer and storage medium therefor |
US6304846B1 (en) * | 1997-10-22 | 2001-10-16 | Texas Instruments Incorporated | Singing voice synthesis |
JP2000105595A (ja) * | 1998-09-30 | 2000-04-11 | Victor Co Of Japan Ltd | 歌唱装置及び記録媒体 |
JP4032273B2 (ja) | 1999-12-28 | 2008-01-16 | ソニー株式会社 | 同期制御装置および方法、並びに記録媒体 |
JP4465768B2 (ja) | 1999-12-28 | 2010-05-19 | ソニー株式会社 | 音声合成装置および方法、並びに記録媒体 |
JP2002258886A (ja) | 2001-03-02 | 2002-09-11 | Sony Corp | 音声合成装置および音声合成方法、並びにプログラムおよび記録媒体 |
JP2002268663A (ja) | 2001-03-08 | 2002-09-20 | Sony Corp | 音声合成装置および音声合成方法、並びにプログラムおよび記録媒体 |
JP2002268699A (ja) | 2001-03-09 | 2002-09-20 | Sony Corp | 音声合成装置及び音声合成方法、並びにプログラムおよび記録媒体 |
JP2002304187A (ja) | 2001-04-03 | 2002-10-18 | Sony Corp | 音声合成装置および音声合成方法、並びにプログラムおよび記録媒体 |
JP2002311979A (ja) | 2001-04-17 | 2002-10-25 | Sony Corp | 音声合成装置および音声合成方法、並びにプログラムおよび記録媒体 |
JP2002311981A (ja) | 2001-04-17 | 2002-10-25 | Sony Corp | 自然言語処理装置および自然言語処理方法、並びにプログラムおよび記録媒体 |
-
2003
- 2003-03-20 JP JP2003079149A patent/JP3864918B2/ja not_active Expired - Fee Related
-
2004
- 2004-03-17 US US10/801,682 patent/US7241947B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20040243413A1 (en) | 2004-12-02 |
JP2004287096A (ja) | 2004-10-14 |
US7241947B2 (en) | 2007-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3864918B2 (ja) | 歌声合成方法及び装置 | |
JP4483188B2 (ja) | 歌声合成方法、歌声合成装置、プログラム及び記録媒体並びにロボット装置 | |
EP1605435B1 (en) | Singing voice synthesizing method, singing voice synthesizing device, program, recording medium, and robot | |
JP3858842B2 (ja) | 歌声合成方法及び装置 | |
US7062438B2 (en) | Speech synthesis method and apparatus, program, recording medium and robot apparatus | |
EP1345207B1 (en) | Method and apparatus for speech synthesis program, recording medium, method and apparatus for generating constraint information and robot apparatus | |
JP4415573B2 (ja) | 歌声合成方法、歌声合成装置、プログラム及び記録媒体並びにロボット装置 | |
US20030093280A1 (en) | Method and apparatus for synthesising an emotion conveyed on a sound | |
Solis et al. | Musical robots and interactive multimodal systems: An introduction | |
Savery et al. | Shimon sings-robotic musicianship finds its voice | |
JP2005004106A (ja) | 信号合成方法及び装置、歌声合成方法及び装置、プログラム及び記録媒体並びにロボット装置 | |
Bouënard et al. | Virtual gesture control and synthesis of music performances: Qualitative evaluation of synthesized timpani exercises | |
Cosentino et al. | Human–robot musical interaction | |
Jalics et al. | Rocking, tapping and stepping: A prelude to dance | |
JP2006285898A (ja) | 制御装置および方法、並びにプログラム | |
Ellenberg et al. | Exploring creativity through humanoids and dance | |
JP2002346958A (ja) | 脚式移動ロボットのための制御装置及び制御方法 | |
Oudeyer | The synthesis of cartoon emotional speech | |
Solis et al. | Improvement of the oral cavity and finger mechanisms and implementation of a pressure-pitch control system for the Waseda Saxophonist Robot | |
Lim et al. | Programming by playing and approaches for expressive robot performances |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060307 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060807 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060912 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060925 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 3864918 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091013 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101013 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101013 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111013 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111013 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121013 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121013 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131013 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |