JP4456088B2 - スコアデータ表示装置およびプログラム - Google Patents

Description

本発明は、自動演奏のためのスコアデータの表示を行う装置、およびプログラムに関する。

楽曲に含まれる音の音高および発音期間等を示すノートデータを複数含むスコアデータを用いて、自動演奏装置に楽曲の自動演奏を行わせる技術がある。また、自動演奏用のスコアデータを表示および編集するスコアデータ表示編集装置がある。

スコアデータ表示編集装置において用いられる、スコアデータの表示方法の一つに、ピアノロール表示と呼ばれるものがある。ピアノロール表示の画面においては、音高を示す軸と時間を示す軸から構成される座標平面上に、各ノートデータが示す音に対応する棒状の図形が配置される。ユーザは棒状の図形の音高軸方向の位置と、時間軸方向の位置および長さにより、各音の音高および発音期間を知ることができる。

ところで、スコアデータに含まれるノートデータは、音高および発音期間を示すデータに加え、各種タイプのデータを含んでいる。スコアデータ表示編集装置は、ノートデータに含まれる各種タイプのデータの表示および編集も行うことができる。

例えば、ピアノロール表示によりノートデータの音高および発音期間を表示すると共に、歌詞データを表示および編集し、編集した歌詞データをノートデータが示す各音に対応付ける装置が例えば特許文献１に開示されている。

一方、音高および発音期間を示すデータに加え、歌詞に関するデータを含む歌唱スコアデータを用いて、歌唱合成装置により歌唱を自動的に行わせる技術がある（例えば、特許文献２参照。）。

特開２００１−３０６０６７号公報 特開２００２−２０２７９０号公報

さて、ユーザがスコアデータに含まれる、あるデータを編集する場合、ユーザは同じノートデータに含まれる他のデータとの対応関係を確認する必要がある。さらにユーザは、編集対象のデータと、前後のノートデータに含まれるデータとの関係を確認する必要がある。

しかしながら、従来技術によるスコアデータ表示編集装置では、ノートデータに含まれる複数タイプのデータの内容を複数のノートデータに関して同時に表示させると、ノートデータの音高および発音期間を示す図形等と、例えばビブラートなどの音高および発音期間以外の情報を示す図形等が離れて表示されていた。従って、ユーザは各ノートに如何なる情報が付随しているかを直観的に把握することが困難であった。

なお、従来技術によるスコアデータ表示編集装置の中には、ノートデータに含まれる複数タイプのデータの内容を、ノートデータの音高および発音期間を示す図形等の近くに表示させる機能を持ったものもある。しかしながら、このスコアデータ表示編集装置では、ユーザによって選択された１つのノートデータに関してのみ、それらのデータの内容が表示され、他のノートデータの内容に関しては同時に表示がされなかった。従って、ユーザは、例えばある長さを持ったフレーズ内のどの位置に属する音符にどのような表情付けするか、といった音高および発音期間以外の情報の時間軸上での配置状態を表示内容から直ちに把握することが困難であった。

また、ノートデータに含まれるデータの中には、そのデータによって指示された処理が行われる期間あるいはそのデータによって指示された効果が現れる期間と、ノートデータによって指定された発音期間との相対的位置関係が重要であるようなものもある。例えば、音に震えの表情を付加するビブラートを指示するデータがその典型例である。ある音声を発音するとき、その発音期間のどの位置においてビブラートを開始するかは、聴者に与える演奏の印象を左右する重要な要素である。しかしながら、従来のスコアデータ表示編集装置は、この種のデータによって指示されたビブラートなどの処理ないしは効果を如何なるタイミングにおいて発生させるかをノートの発音期間との関係において把握し得るような表示をしていなかった。このため、ユーザは、聴者が受けるであろう歌唱の印象を把握するのが困難であった。

また、歌唱合成装置を用いて歌唱演奏を自動的に行う場合、歌唱スコアデータによって示される発音期間と、実際に行われる歌唱演奏の音声の発音期間との間に、若干のずれが生じる場合がある。しかしながら、従来技術によるスコアデータ表示編集装置を用いる場合、ユーザは歌唱スコアデータによって示される発音期間と、実際の歌唱演奏の音声との時間的な関係を確認する方法がなかった。

この発明は、以上説明した状況に鑑みてなされたものであり、演奏に含まれる音の発音期間と、その音に対し付加される表情付け等の指示が実行されるタイミングもしくは期間との時間的な関係をユーザが容易に確認することを可能とする装置を提供することを目的としている。

さらに、本発明は、歌唱合成装置において用いられる歌唱スコアデータが示す音の発音期間と、歌唱合成装置によって行われる歌唱演奏の音声との時間的な関係をユーザが容易に確認することを可能とする装置を提供する。

以上説明した課題を解決するため、本発明は、複数の音の各々に関し、該音の高さを示す音高データと該音の発音期間を示す発音期間データとを含み、さらに前記複数の音のうち１以上の音の各々に関し、該音の一の属性の継続期間を示す属性継続期間データとを含むスコアデータを記憶する記憶手段と、音の高さをピアノロールにより表示する表示手段であって、音の高さを示す第１の軸と時間の経過を示す第２の軸を有する座標平面上に、前記複数の音の各々に関し、前記音高データが示す音の高さに対応する前記第１の軸方向の位置に、前記発音期間データが示す発音期間の始期および終期に対応する前記第２の軸方向の位置をそれぞれ１の端点および他の端点とする第１の図形を表示すると同時に、前記１以上の音の各々に関し、前記第１の軸方向における該音に関する前記第１の図形の前記第１の軸の方向に対して隣り合うように、前記属性継続期間データが示す継続期間の始期および終期に対応する前記第２の軸方向の位置をそれぞれ１の端点および他の端点とする第２の図形を表示する表示手段とを備えることを特徴とするスコアデータ表示装置を提供する。

好ましい態様において、前記表示手段は、前記座標平面上における位置を指示するための図形もしくは記号であるポインタをさらに表示し、前記ポインタの前記座標平面上における位置を制御する位置制御手段と、前記ポインタにより指示される位置に、前記表示手段により一の音に関する前記第２の図形が表示されている場合、当該第２の図形を指定する指定手段と、前記指定手段により指定された前記第２の図形に対応する前記属性継続期間データを、前記位置制御手段による前記ポインタの位置の変化に応じて変更するデータ変更手段とをさらに備えてもよい。

さらに好ましい態様において、前記記憶手段は、歌詞を構成する複数の文字の各々と前記複数の音の各々との対応関係を示す歌詞データをさらに記憶し、前記歌詞データにより示される歌詞を構成する複数の文字の各々に関し、該文字が発声された場合の音声を構成する母音および子音を各々素片として特定する構成素片特定手段と、前記歌詞データにより示される歌詞を構成する複数の文字の各々に関し、該文字に対応する音の前記発音期間データに基づき、前記構成素片特定手段により特定された１以上の素片の各々が発声される期間を示す素片発声期間データを生成する素片発声期間データ生成手段とをさらに備え、前記記憶手段は、前記素片発声期間データを前記属性継続期間データとして含む前記スコアデータを記憶してもよい。

さらに、本発明は、上記のスコアデータ表示装置が行う処理と同様の処理をコンピュータに実行させるプログラムを提供する。

［１．実施形態］
［１．１．構成］
図１は、この発明の一実施形態である歌唱合成システムを実現するコンピュータ１の構成を示すブロック図である。図１において、コンピュータ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、ＨＤ（Ｈａｒｄ Ｄｉｓｋ）１０４、表示部１０５、操作部１０６、データ入出力部１０７、Ｄ／Ａ（Ｄｉｇｉｔａｌ ｔｏ Ａｎａｌｏｇ）コンバータ１０８、アンプ１０９およびスピーカ１１０を有している。アンプ１０９およびスピーカ１１０以外の構成部は、バス１１５を介して接続されており、互いにデータの送受信が可能である。

ＣＰＵ１０１は汎用的なデータ処理を行うマイクロプロセッサであり、ＲＯＭ１０２に記憶されたＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）等の制御用プログラムおよびＨＤ１０４に記憶されたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）に従い、コンピュータ１の他の構成部の制御処理を行う。

ＲＯＭ１０２はＢＩＯＳ等の制御用プログラムを格納する不揮発性メモリである。また、ＲＡＭ１０３はＣＰＵ１０１や他の構成部が利用するデータを一時的に記憶するための揮発性メモリである。ＲＯＭ１０２内のＢＩＯＳは、コンピュータ１の電源が投入されたときに、ＣＰＵ１０１によって読み出され、ＲＡＭ１０３に書き込まれる。ＣＰＵ１０１は、このＲＡＭ１０３内のＢＩＯＳに従ってハードウェアの利用環境を構築する。

ＨＤ１０４は大容量の記憶領域を有する不揮発性のメモリであり、ＨＤ１０４に記憶されるデータは書き換え可能である。ＨＤ１０４には、ＯＳと、各種のアプリケーションと、各アプリケーションにより利用されるデータが記憶されている。ＣＰＵ１０１は、ＢＩＯＳによるハードウェア環境の構築後、ＨＤ１０４からＯＳを読み出してＲＡＭ１０３に書き込み、ＯＳに従ってＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）環境およびアプリケーションの実行環境の構築等の処理を行う。

ＨＤ１０４に記憶されているアプリケーションのうち主要なものとして、歌唱合成アプリケーションがある。ＣＰＵ１０１は、マウス操作等により、歌唱合成アプリケーションの実行指示をユーザから受け取ると、ＨＤ１０４から歌唱合成アプリケーションを読み出してＲＡＭ１０３に書き込み、歌唱合成アプリケーションに従って各種処理を行う環境を構築する。このようにしてコンピュータ１は、本実施形態に係る歌唱合成システムとして機能する。

表示部１０５は、液晶ディスプレイと、ＣＰＵ１０１による制御の下、液晶ディスプレイを駆動する駆動回路とを有し、文字、図形等の情報を表示する。操作部１０６はキーパッドやマウス等を有し、ユーザによって行われる操作内容を反映したデータをＣＰＵ１０１に送信する。

データ入出力部１０７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ
Ｂｕｓ）インタフェース等、各種データを入出力可能なインタフェースであり、外部機器からデータを受信し、受信したデータをＣＰＵ１０１に転送し、またＣＰＵ１０１により生成されたデータを外部機器に送信する。

Ｄ／Ａコンバータ１０８は、ＣＰＵ１０１からデジタル音声データを受信し、これをアナログ音声信号に変換し、アンプ１０９に出力する。アンプ１０９は、このアナログ音声信号を増幅し、スピーカ１１０から音として出力する。

図２は、ＣＰＵ１０１が歌唱合成アプリケーションに従って提供する歌唱合成システムの機能を示すブロック図である。歌唱合成システムは、スコアデータ編集部２０と歌唱合成部３０から構成されている。スコアデータ編集部２０は、歌唱スコアデータをユーザに表示し、またユーザの操作に従い編集し、編集した歌唱スコアデータを歌唱合成部３０に引き渡すモジュールである。ここで、歌唱スコアデータは、歌唱楽曲を構成する時系列の歌唱音のそれぞれの音高を指定する音高データ、発音期間を指定する発音期間データ、歌詞に対応する発音記号等を含む。歌唱合成部３０は、この歌唱スコアデータに基づき、歌唱音声データを合成するモジュールである。

スコアデータ編集部２０は、データ入力手段２０１、整形手段２０２、記憶手段２０３、表示手段２０４、操作手段２０５、選択手段２０６、状態変更手段２０７、データ変更手段２０８、位置制御手段２０９、指定手段２１０およびデータ出力手段２１１を備えている。これらのうち記憶手段２０３は、コンピュータ１のＲＡＭ１０３およびＨＤ１０４である。また、それ以外の要素は、歌唱合成アプリケーションを構成するソフトウェアモジュールである。

歌唱合成部３０は、データ入力手段３０１、記憶手段３０２、素片データベース３０３、データ選択手段３０４、音高調整手段３０５、継続期間調整手段３０６、音量調整手段３０７、ビブラート付加手段３０８、操作手段３０９、音声出力手段３１０およびデータ出力手段３１１を備えている。これらのうち素片データベース３０３および記憶手段３０２は、コンピュータ１のＲＡＭ１０３もしくはＨＤ１０４である。また、それ以外の要素は、歌唱合成アプリケーションを構成するソフトウェアモジュールである。

なお、スコアデータ編集部２０および歌唱合成部３０の各構成要素の機能については、説明の重複を避けるため、本実施形態の動作説明の項において併せて説明する。

［１．２．動作］
本発明の特徴は、スコアデータ編集部２０にある。しかしながら、スコアデータ編集部２０により行われる処理の技術的意義を理解するためには、このスコアデータ編集部２０の出力データを利用して歌唱合成を行う歌唱合成部３０の処理内容を理解しておくのが好ましい。そこで、以下では、まず歌唱合成部３０の動作について説明し、その後、スコアデータ編集部２０の動作を説明する。

まず、歌唱合成部３０のデータ入力手段３０１は、スコアデータ編集部２０から歌唱スコアデータを受信し、受信した歌唱スコアデータを記憶手段３０２に記憶させる。

図３は、この歌唱スコアデータの構成を示す図である。歌唱スコアデータには、歌唱演奏を表すパートデータが、１もしくは複数含まれている。また、歌唱スコアデータには、このパートデータの他に、演奏で用いられる拍子およびテンポを示すデータ、および分解能を示すデータが含まれている。図３に示される歌唱スコアデータは、パート１〜３の３つのパートデータを含み、拍子として４／４拍子が、テンポとして１２０が、また分解能として４８０が設定されている。テンポに関する数値「１２０」は、この歌唱スコアデータが示す楽曲が、１分間に４分音符を１２０含むテンポで演奏されることを示している。また、分解能に関する数値「４８０」は、この歌唱スコアデータにおいて、１つの４分音符を４８０分割した時間が単位時間として用いられていることを示している。

パートデータは、そのパートを構成する複数の歌唱音のそれぞれにつき、音高、発音期間、発音記号、音の強さ、アクセントの強さ、レガートの強さ、ビブラートの強さ、ビブラート期間に関するデータの組であるノートデータを複数含んでいる。

音高および発音期間を示すデータは、音の発音を指示するにあたり不可欠な基本属性データである。また、発音記号、音の強さ、アクセントの強さ、レガートの強さおよびビブラートの強さを示すデータは、音に対し表情付け等の指示を与える付加属性データである。付加属性データは基本属性データに対する付加的なデータであるため、如何なる種類のデータを付加属性データとして用いるかは様々に変更可能である。さらに、ビブラート期間に関するデータは、付加属性データの１つである「ビブラートの強さ」により示される表情付けが、基本属性データにより示される音に対し、どの期間において適用されるかを示す時間データである。

発音期間に関するデータは、発音期間の始期を示すデータと発音期間の終期を示すデータとにより構成されている。また、ビブラートの期間に関するデータは、ビブラート期間の始期およびビブラート期間の時間長を示すデータにより構成されている。パートデータにおいては、以上説明したノートデータが、例えば発音期間の始期の早い順に、また発音期間の始期が同じ場合には音高が高い順に、並んでいる。また、各ノートデータには、それぞれを識別するための番号が付されている。以下、例えば番号Ｎ１００１が付されたノートデータを、ノートＮ１００１のように表す。

本実施形態においては、歌唱スコアデータが含む発音期間の始期および発音期間の終期を示すデータは、各々、「小節番号＋拍番号＋単位時間番号」の形式で表現される。例えば、「０００５：０３：２４０」は、第５小節の第３拍のタイミングから単位時間２４０個の時間、すなわち１／２拍分の時間が経過したタイミングを表している。なお、歌唱スコアデータにおけるタイミングの表現の方法は、「小節番号＋拍番号＋単位時間番号」に限られない。通常の「時間＋分＋秒」の形式等、様々な表現方法が採用可能である。また、基準となるタイミングからの絶対時間ではなく、先行のデータからの相対時間により後続のデータのタイミングを特定する方法を採用してもよい。

本実施形態において、音の強さは０〜１２７の数値で表される。また、アクセントとは、音の立ち上がり部分を強調する音楽的な表情のことをいい、アクセントの強さは、「強」「中」「弱」に対応する「Ｈ」、「Ｍ」、「Ｌ」の文字で表される。また、レガートとは、音高が異なる隣り合う２つの音に関し、音声の変化をなめらかに行う音楽的な表情のことをいい、レガートの強さは、アクセントの場合と同様に「Ｈ」、「Ｍ」、「Ｌ」の文字で表される。なお、本実施形態においては、レガートに関するデータは、レガートが付される隣り合う２つの音のうち、先行する音のノートデータに対して与えられるものとする。ビブラートとは、音に震えを与える音楽的な表情のことをいい、ビブラートの強さは、アクセントの場合と同様に「Ｈ」、「Ｍ」、「Ｌ」の文字で表される。なお、アクセント、レガートおよびビブラートが付されないノートデータに関しては、対応する欄は空欄となる。

ビブラート期間の始期は、ビブラートをノートデータが示す音に付加する期間の開始タイミングを示すデータであり、発音期間の始期からビブラートの開始タイミングまでの時間長を単位時間数で表した数値である。ビブラートの時間長は、ビブラートを付加する時間長を単位時間数で表した数値である。

以上説明したような歌唱スコアデータがデータ入力手段３０１により記憶手段３０２に記憶されると、データ選択手段３０４は、歌唱スコアデータによって指示された歌唱音の歌唱音声データを生成するために必要となるデータを素片データベース３０３から読み出す処理を行う。

図４は素片データベース３０３の構成を示す図である。素片データベース３０３は、複数の歌唱者の各々に対応した個人別データベースに分かれている。図４に示される例では、素片データベース３０３はそれぞれ３人の歌唱者に対応する個人別データベース３０３ａ〜ｃを含んでいる。

各歌唱者に対応した個人別データベースには、その歌唱者の歌唱音声波形から採取された素片データが複数含まれている。素片データとは、歌唱音声波形から、音声学的な特徴部分を切り出して符号化した音声データである。

ここで、素片データについて、「さいた」という歌詞を歌唱する場合を例として説明する。「さいた」という歌詞は発音記号で「ｓａｉｔａ」と表される。発音記号「ｓａｉｔａ」で表される音声の波形を特徴により分析すると、「ｓ」の音の立ち上がり部分→「ｓ」の音→「ｓ」の音から「ａ」の音への遷移部分→「ａ」の音・・・と続き、「ａ」の音の減衰部分で終わる。それぞれの素片データは、これらの音声学的な特徴部分に対応する音声データである。

以下の説明において、ある発音記号で表される音の立ち上がり部分に対応する素片データを、その発音記号の前に「＃」を付けて、「＃ｓ」のように表す。また、ある発音記号で表される音の減衰部分に対応する素片データを、その発音記号の後に「＃」を付けて、「ａ＃」のように表す。また、ある発音記号で表される音から他の発音記号で表される音への遷移部分に対応する素片データを、それらの発音記号の間に「−」を入れて、「ｓ−ａ」のように表す。

素片データベース３０３の素片データ群３０３０には、歌唱者が通常に歌唱した場合の歌唱音声波形から採取された、あらゆる音および音の組み合わせに関する素片データが格納されている。

また、素片データベース３０３の素片データ群３０３１Ｈ〜Ｌには、それぞれ歌唱者が強いアクセント、中程度のアクセントおよび弱いアクセントを付加して歌唱した場合の歌唱音声波形から採取された、あらゆる音および音の組み合わせに関する素片データが格納されている。ただし、アクセントは音の減衰部分に付加されることはないので、素片データ群３０３１Ｈ〜Ｌには、音の減衰部分に対応する素片データは含まれていない。

さらに、素片データベース３０３の素片データ群３０３２Ｈ〜Ｌには、それぞれ歌唱者が強いレガート、中程度のレガートおよび弱いレガートを付加して歌唱した場合の歌唱音声波形から採取された、あらゆる音の組み合わせに関する素片データが格納されている。本実施形態においては、レガートは音の遷移部分に付加される表情であるものとし、従って、素片データ群３０３２Ｈ〜Ｌには、音の遷移部分に対応する素片データのみが含まれている。なお、レガートが付加される素片データに関しては、上記の例に限られず、他の素片データにレガートを付ける態様も考えられる。

次に、データ選択手段３０４が素片データベース３０３から歌唱音声データを生成するために必要となる素片データを読み出す処理を、図３に示した歌唱スコアデータを用いて説明する。

まず、データ選択手段３０４は、歌唱スコアデータにおいてノートデータの並び順に、発音期間の始期および終期を参照し、先行するノートデータの発音期間の終期と、後続のノートデータの発音期間の始期との差が所定の期間、例えば単位時間４８個分より短ければ、これら２つのノートデータの発音記号が示す音声は連続して発音されると判定する。逆に、差が単位時間４８個分以上であれば、２つのノートデータの発音記号が示す音声は切れて発音されると判断する。図３の例では、データ選択手段３０４はノートＮ１００１〜Ｎ１００３の発音記号が連続して発音され、またノートＮ１００４以降の発音記号は別の一連の発音を成すと判断する。

続いて、データ選択手段３０４は、連続して発音されると判断した発音記号を繋ぎ合わせ、一連の発音記号列を生成する。図３の例では、「ｓａｋｕｒａ」が生成される。続いて、データ選択手段３０４は生成した発音記号列を素片データの単位に分解する。「ｓａｋｕｒａ」は、「＃ｓ」「ｓ」「ｓ−ａ」「ａ」「ａ−ｋ」「ｋ」「ｋ−ｕ」「ｕ」「ｕ−ｒ」「ｒ」「ｒ−ａ」「ａ」「ａ＃」の素片データの単位に分解される。

続いて、データ選択手段３０４は、各ノートデータのアクセントの強さおよびレガートの強さに関するデータを参照し、「＃ｓ」「ｓ」「ｓ−ａ」「ａ」「ａ−ｋ」「ｋ」「ｋ−ｕ」「ｕ」「ｕ−ｒ」「ｒ」「ｒ−ａ」「ａ」「ａ＃」のそれぞれに対応する素片データを、適する素片データ群から読み出す。例えば、ノートＮ１００１にはアクセントの強さとして「Ｈ」が指定されているので、ノートＮ１００１に対応する素片データ、すなわち「＃ｓ」「ｓ」「ｓ−ａ」「ａ」は素片データ群３０３１Ｈから読み出される。データ選択手段３０４は、読み出した素片データを、歌唱スコアデータと共に音高調整手段３０５に送信する。

音高調整手段３０５は、受信した素片データに対し、歌唱スコアデータに含まれる音高に関するデータに基づき、音高調整を行う。音高調整手段３０５は、音高調整を行った素片データを、歌唱スコアデータと共に継続期間調整手段３０６に送信する。

継続期間調整手段３０６は、受信した素片データに対し、歌唱スコアデータに含まれる発音期間に関するデータに基づき、素片の継続時間の調整を施す。以下、継続期間調整手段３０６が素片データに対し時間調整を行うための、継続期間の算出の手順を説明する。

まず、継続期間調整手段３０６は、受信した各素片データに対応した歌唱タイミングデータを作成し、記憶手段３０２に書き込む。図５は歌唱タイミングデータの構成を示す図である。歌唱タイミングデータは、各素片データに関し、素片番号、素片名称、素片時間長、母音素片か否かに関する情報、発音期間の始期および調整後素片時間長の項目を有している。継続期間調整手段３０６は、各素片データを受信した段階で、これらの項目を有する歌唱タイミングデータのブランクフォームを生成し、これらの歌唱タイミングデータの素片番号の項目に一連の番号を、また素片名称の項目に各素片データの名称を書き込む。

続いて、継続期間調整手段３０６は、各素片データのデータ量から、各素片データによって表された各素片の時間長を算出し、素片時間長の項目に書き込む。図５の例では、例えば素片番号１の素片データは、単位時間１５個分の時間長を持つ音声データである。続いて、継続期間調整手段３０６は、各素片データのうち、一連の素片列の途中に位置し、かつ母音を示す素片データに関し、母音素片の欄に「Ｙｅｓ」を書き込む。以下、母音素片の欄に「Ｙｅｓ」が書き込まれた素片データを、母音素片データと呼ぶ。図５の例では、素片番号４、８および１２の素片データが母音素片データである。

続いて、継続期間調整手段３０６は歌唱スコアデータの発音記号を示すデータを参照し、母音素片データに対応するノートデータを特定する。この場合、素片番号４、８および１２の母音素片データは、それぞれノートＮ１００１〜Ｎ１００３に対応する。続いて、継続期間調整手段３０６は、歌唱タイミングデータの母音素片データに関する発音期間の始期の欄に、対応するノートデータの歌唱スコアデータにおける発音期間の始期のデータを書き込む。例えば、歌唱タイミングデータにおける素片番号４の素片データは、母音「ａ」の素片に関するものであり、この母音「ａ」は、歌唱スコアデータにおいてノートＮ１００１に割り当てられた発音記号「ｓａ」に属している。従って、素片番号４の素片データの発音期間の始期の欄には、歌唱スコアデータにおけるノートＮ１００１の発音期間の始期である「０００１：０１：０２０」が書き込まれる。

続いて、継続期間調整手段３０６は、最後の素片データ、すなわち素片番号１３の素片データの発音期間の始期の欄に、対応するノートデータの発音期間の終期のデータを書き込む。素片番号１３の素片データに対応するノートデータはノートＮ１００３であり、その歌唱スコアデータにおける発音期間の終期は「０００１：０４：４２４」であるので、歌唱タイミングデータにおける素片番号１３の素片データの発音期間の始期の欄には、「０００１：０４：４２４」が書き込まれる。

本実施形態においては、上記のように、母音素片データが示す音の発音期間の始期が、歌唱演奏データにおけるノートデータの発音期間の始期により示されるタイミングと一致するように、素片の時間長が調整される。これは、歌唱者は、音符により示される発音期間の始期に、母音の音を発し始めるように歌唱することが多いためである。また、本実施形態においては、一連の発音記号列の最後において、母音素片データが示す音の発音期間の終期が、歌唱演奏データにおけるノートデータの発音期間の終期により示されるタイミングと一致するように、素片の時間長が調整される。これは、一連として発音される歌詞の最後の部分において、歌唱者が音符により示される発音期間の終期に、母音の音の発声を終了することが多いためである。しかしながら、これらのタイミングの設定の方法はこれに限られず、例えば子音から母音への遷移部分の発音期間の始期を、ノートデータが示す発音期間の始期と一致させる等、様々な方法が適用可能である。

続いて、継続期間調整手段３０６は、各母音素片データの発音期間の始期から順次、先行する素片データの素片時間長を差し引き、その結果得られるタイミングに関するデータを、その先行する素片データの発音期間の始期の欄に書き込む。例えば、素片番号３の素片データの発音期間の始期は、素片番号４の母音素片の発音期間の始期である「０００１：０１：０２０」から、素片番号３の素片時間長である「０３２」を差し引いた「００００：０４：４６８」となる。同様に、素片番号２の素片データの発音期間の始期は、素片番号３の発音期間の始期である「００００：０４：４６８」から、素片番号２の素片時間長である「０１３」を差し引いた「００００：０４：４５５」となる。

続いて、継続期間調整手段３０６は、母音素片データの発音期間の始期と、後続の素片データの発音期間の始期から、母音素片データの実際に発音すべき時間長を算出し、算出した時間長を調整後素片時間長として書き込む。例えば、素片番号４の母音素片データは、素片番号５の発音期間の始期から素片番号４の発音期間の始期を差し引くことにより、「３４５」となる。さらに、継続期間調整手段３０６は母音素片データ以外の素片データに関し、素片時間長のデータを、調整後素片時間長の欄に書き込む。以上の処理により、記憶手段３０２内に、完成した歌唱タイミングデータが得られる。

継続期間調整手段３０６は、歌唱タイミングデータの素片時間長のデータと、調整後素片時間長のデータに基づき、母音素片データに関し継続期間の調整を行う。なお、以上の説明では母音素片データに関してのみ、継続期間の調整を行うものとして説明したが、他の素片データに対しても歌唱スコアデータのテンポ等に応じて継続期間の調整を行ってもよい。継続期間調整手段３０６は、以上のように必要な時間調整を行った後の全ての素片データを、歌唱スコアデータと共に音量調整手段３０７に送信する。

音量調整手段３０７に送られる歌唱スコアデータは、個々の素片データに対応した音の強さに関するデータを含んでいる。音量調整手段３０７は、このデータに基づき、各素片データの音量調整を行う。さらに、音量調整手段３０７は、音量調整を行った素片データのそれぞれに関し、先行するデータの最後の音量と後続のデータの最初の音量とが一致するように、素片データの終端付近もしくは先頭付近の音量調整を行う。音量調整手段３０７は音量調整を行った素片データを繋ぎ合わせ、繋ぎ合わせた音声データを、歌唱スコアデータと共にビブラート付加手段３０８に送信する。

ビブラート付加手段３０８に送られる歌唱スコアデータは、ビブラートの強さおよびビブラート期間に関するデータを含んでいる。ビブラート付加手段３０８は、これらのデータに基づき、音量調整手段３０７から受信した音声データに、音量および音高の変化を加える。ビブラート付加手段３０８は、音量および音高の変化を加えた音声データを、歌唱音声データとして記憶手段３０２に記憶させる。

ユーザが、操作手段３０９を用いて歌唱合成部３０に対し再生の指示を与えると、音声出力手段３１０は記憶手段３０２から歌唱音声データを読み出し、図１におけるＤ／Ａコンバータ１０８に出力する。その結果、ユーザは歌唱スコアデータにより示される歌唱演奏を聴くことができる。

なお、歌唱合成部３０による歌唱演奏をより自然なものとするために、素片データベース３０３には、同じ発音記号で表される音の特徴部分に関し、異なるテンポや音高、またはアクセントおよびレガート以外の音楽的な表情等に応じた異なる素片データをさらに複数格納させ、データ選択手段３０４には、それらの素片データから最適なものを読み出させるようにしてもよい。

また、上記の説明において、歌唱合成部３０において用いられる素片データは音声波形を符号化した音声データであったが、素片データの形式はこれに限られない。例えば、素片データベース３０３には、音声波形から得られる音声データの周波数成分の特徴をパラメータ化したものを素片データとして格納させ、データ選択手段３０４等が素片データに含まれるパラメータに基づいて音声データを再生成することにより、歌唱音声データを生成させるようにしてもよい。

次に、スコアデータ編集部２０の動作を説明する。まず、スコアデータ編集部２０のデータ入力手段２０１は、外部機器等から歌唱スコアデータを受信し、受信した歌唱スコアデータを整形手段２０２に送信する。データ入力手段２０１が外部機器等から受信する歌唱スコアデータの構成は、図３に示したものと同じである。

整形手段２０２は、歌唱スコアデータの各パートデータに含まれるノートデータを、発音期間の始期の早い順に、また発音期間の始期が同じ場合には、音高の高い順に並び替える。整形手段２０２はノートデータの並び替えを行った歌唱スコアデータを、記憶手段２０３に記憶させる。以下の説明においては、図３に示した歌唱スコアデータが整形手段２０２により記憶手段２０３に記憶されたものとする。

［１．２．１．一般的なデータの表示および変更動作］
整形手段２０２の指示により記憶手段２０３に歌唱スコアデータが記憶されると、選択手段２０６は歌唱スコアデータに含まれるデータの項目に応じて、表示編集指示データを作成し、記憶手段２０３に記憶させる。図６は、表示編集指示データの構成を示す図である。

表示編集指示データは、歌唱スコアデータに含まれる各パートデータに対応するデータシートを含んでいる。各データシートには、そのパートデータを表示するか否かを「Ｙｅｓ」もしくは「Ｎｏ」で示す、パート表示の項目が設けられている。選択手段２０６により表示編集指示データが作成された時点では、全てのパートデータのパート表示の項目にはデフォルトとして「Ｙｅｓ」が書き込まれる。

各パートデータに対応したデータシートは、データ名称、表示および編集の欄を持っている。データ名称の欄には、歌唱スコアデータに含まれるデータの項目名が書き込まれる。その際、例えば発音期間の始期および発音期間の終期のように、互いに関連するものは１つにまとめられる。表示の欄には、対応するデータを表示するか否かを示す「Ｙｅｓ」または「Ｎｏ」が書き込まれる。ただし、音高および発音期間に関するデータは、「パート表示」において「Ｙｅｓ」が選ばれた以上、常に表示されるため、ユーザにより選択ができないことを示す「−」が書き込まれている。同様に、編集の欄には、対応するデータを編集可能とするか否かを示す「Ｙｅｓ」または「Ｎｏ」が書き込まれる。選択手段２０６により表示編集指示データが作成された時点では、音高および発音期間を示すデータの表示の欄以外には、デフォルトとして「Ｎｏ」が書き込まれる。

続いて、選択手段２０６は、表示手段２０４に、表示編集指示データの確認および変更をユーザに対し促すためのメッセージ窓を表示させる。図７はそのメッセージ窓を示す図である。図７に示すように、表示手段２０４はメッセージ窓や、以下に説明するピアノロール表示の画面において、マウスポインタ５０１を表示させる。

マウスポインタ５０１は、ユーザが画面上の特定位置を指定する際に用いる図形である。ユーザがマウスを机上で前後左右に移動させる等の操作を行うと、操作手段２０５はその操作に応じて、位置データを位置制御手段２０９に送信する。位置制御手段２０９は受信した位置データに基づき、マウスポインタ５０１の表示位置を表示手段２０４に対し指示する。表示手段２０４は位置制御手段２０９の指示に従った位置にマウスポインタ５０１を再表示する。

ユーザは、マウスをクリックする等の操作を行うことにより、マウスポインタ５０１の位置に表示される図形等に対し、何らかの操作を行うことができる。例えば、図７の画面において、ユーザがマウスポインタ５０１をセル５０２の上に移動した後、マウスをクリックすると、位置制御手段２０９はマウスがクリックされた時点のマウスポインタ５０１の位置としてセル５０２を特定し、セル５０２がクリックされたことを示すデータを選択手段２０６に送信する。

続いて、選択手段２０６は、セル５０２に対応するデータを表示編集指示データから読み出し、ユーザにより変更可能な状態とする。表示手段２０４はセル５０２の文字を、例えば枠で囲んで表示することにより、セル５０２に対応するデータが変更可能な状態であることをユーザに示す。

ユーザが上記のように、あるデータを変更可能な状態にした後、データの変更指示を行うと、選択手段２０６はユーザの変更指示に応じて、先に読み出したデータを変更した後、その変更後のデータで表示編集指示データを書き換える。

ユーザが図７のメッセージ窓において、表示させたいパートデータ、表示させたいデータの種類および編集を可能としたいデータの種類を「Ｙｅｓ」および「Ｎｏ」で指定した後、「ＯＫ」を指示すると、選択手段２０６はユーザの指定に従い変更を行った表示編集指示データを、記憶手段２０３に記憶させる。

続いて、表示手段２０４は、歌唱スコアデータおよび表示編集指示データに基づき、ピアノロール表示を行う。図８は、ユーザによりパート１のみの表示が指定され、パート１に関し、音の強さ、アクセントおよびレガートに関するデータの表示と、音の強さの編集を可能とする指定がされた場合に、表示手段２０４により表示されるピアノロール表示の画面である。

図８において、ノートバー４０１ａ〜ｆのそれぞれは、ノートデータに対応している。画面の上下方向は音の高さに対応しており、画面左部に示されるピアノ鍵盤の図により、ユーザは各ノートバーが示すノートデータの音高を確認することができる。画面の左右方向は時間に対応しており、ユーザは各ノートバーの左端の位置および右端の位置から、ノートバーが示すノートデータの発音期間の始期および発音期間の終期を確認することができる。ユーザにより複数のパートデータの表示が指示された場合、表示手段２０４は、例えばパートデータごとに異なる色でノートバーを表示する。

数字６０１ａ〜ｆは、それぞれの下に表示されているノートバーに対応するノートデータの、音の強さを表している。記号６０２ａおよび記号６０２ｂは、それぞれの上に表示されているノートバーに対応するノートデータに、アクセントが付けられていることを示している。また、記号６０２ａおよび記号６０２ｂの右の文字は、アクセントの強さを表している。記号６０３ａおよび記号６０３ｂは、それぞれの上に表示されているノートバーに対応するノートデータに、レガートが付けられていることを示している。また、記号６０３ａおよび記号６０３ｂの右の文字は、レガートの強さを表している。

ユーザは、図８の画面において、音の強さに関するデータを変更することができる。ユーザは、例えばマウスを用いて数字６０１ａの上にマウスポインタ５０１を移動し、クリック等の操作を行う。ユーザの操作に応じて、位置制御手段２０９は状態変更手段２０７に対し、数字６０１ａがクリックされたことを示すデータを送信する。

状態変更手段２０７は、歌唱スコアデータを参照して、数字６０１ａに対応するデータがパート１の音の強さに関するデータであることを特定する。続いて、状態変更手段２０７は表示編集指示データを参照して、パート１の音の強さに関する編集の欄が「Ｙｅｓ」となっているか否かを判定する。パート１の音の強さに関する編集の欄が「Ｙｅｓ」となっていない場合、状態変更手段２０７は何も行わない。一方、パート１の音の強さに関する編集の欄が「Ｙｅｓ」となっている場合、状態変更手段２０７はデータ変更手段２０８に対し、数字６０１ａに対応するデータを変更可能な状態にするよう指示する。

データ変更手段２０８は、歌唱スコアデータから数字６０１ａに対応するデータ、すなわちノートＮ１００１の音の強さを読み出し、ユーザにより変更可能な状態とする。同時に、表示手段２０４は数字６０１ａを、例えば枠で囲んで表示する。また、表示手段２０４は、変更可能な状態となっているデータを含むパート１に関する全てのノートバーを、斜線を付して表示する。図８は、表示手段２０４により、枠および斜線が付された状態の画面が示されている。なお、いずれかのデータが編集可能となっているパートデータのノートバーを、他のパートデータのノートバーと区別する方法は、斜線を付す以外に、色や線の太さを変えたり、ノートバーを点滅させる等、様々な方法が適用可能である。

続いて、ユーザはキーパッド等を用いて数字６０１ａに示される数字の変更の指示を行うか、変更を行わずに現在のデータを維持する指示を行う。ユーザにより変更の指示が行われた場合、データ変更手段２０８はその指示に従い、先に読み出したデータを変更した後、変更後のデータで歌唱スコアデータを書き換え、そのデータを変更不可能な状態に戻す。ユーザにより現在のデータを維持する指示が行われた場合、データ変更手段２０８は先に読み出したデータを変更せず、変更不可能な状態に戻す。

データ変更手段２０８により、ノートＮ１００１の音の強さに関するデータが変更不可能な状態に戻されると、状態変更手段２０７は歌唱スコアデータを参照し、次に変更可能な状態とすべきデータを特定する。この場合、歌唱スコアデータにおいてノートＮ１００１の次に位置するノートＮ１００２の、音の強さに関するデータが特定される。状態変更手段２０７はデータ変更手段２０８に対し、ノートＮ１００２の音の強さに関するデータを変更可能な状態にするよう指示する。

その後、上記と同様のデータ変更処理が、パート１の後続するノートデータに関し、順次繰り返される。その結果、ユーザは数字６０１ａ→数字６０１ｂ→数字６０１ｃ・・・と、順次、異なるノートデータに含まれる同じ種類のデータを変更することができる。上記のデータ変更処理は、パート１のパートデータにおける最後のノートデータに関し処理が完了するか、ユーザがデータ変更処理の中止を指示すると終了する。

ユーザが図７のメッセージ窓において、複数のデータの種類に関して編集の欄を「Ｙｅｓ」と指定した場合、状態変更手段２０７はあるデータに関してデータ変更処理が完了した際に、次に変更可能な状態とすべきデータとして、後続のノートデータの同じ種類のデータを選択してもよいし、同じノートデータの他の種類のデータを選択してもよい。後者の場合、例えば図７のメッセージ窓において「アクセント」および「レガート」の欄が「Ｙｅｓ」に指定されたとすると、ユーザは記号６０２ａ→記号６０３ａ→記号６０２ｂ・・・と、順次、異なるノートデータに含まれる、互いに関連する異なる種類のデータを変更することができる。

また、上記の例ではデータ変更処理の対象となるノートデータの選択の順番は、歌唱スコアデータの並び順に従って、発音期間の始期が早い順、また発音期間の始期が同じノートデータが複数ある場合には、音高が高い順となっているが、それに限られない。例えば、音の強さ等の任意のデータに基づいて順序を決定してもよい。また、一定の条件を満たすデータを含むノートデータに関してのみ、選択の対象としてもよい。例えば、アクセントが付けられているノートデータに関してのみ、音の強さの昇順で、音の強さに関するデータを順次変更する、といった指定を行うと、ユーザは数字６０１ｄ→数字６０１ａの順序で変更作業を行うことができる。

［１．２．２．付加属性データの適用期間もしくは適用タイミングの表示および変更動作］
ユーザはマウス等の操作により、いつでも図７に示したメッセージ窓を表示させ、表示編集指示データの内容を変更することができる。図９は、ユーザが図７のメッセージ窓において、パート１およびパート２のパート表示の項目に「Ｙｅｓ」を指定し、パート１に関して、ビブラートに関するデータの表示および編集の欄に「Ｙｅｓ」を指定し、他の欄には「Ｎｏ」を指定して「ＯＫ」をクリックした際に表示されるピアノロール表示の画面である。

図９の画面において、ノートバー４０２ａ〜ｆのそれぞれは、パート２に含まれるノートデータに対応している。図形６０４ａおよび図形６０４ｂは、それぞれの上に表示されているノートバーに対応するノートデータに、ビブラートが付けられていることを示している。また、図形６０４ａおよび図形６０４ｂの右の文字は、ビブラートの強さを表している。

図３に示したように、ビブラートに関するデータとしては、ビブラートの強さに加え、ビブラート期間の始期およびビブラート期間の時間長がある。すなわち、付加属性データとしての「ビブラートの強さ」に対し、「ビブラートの強さ」が示す表情付けの適用期間を示す「ビブラート期間の始期」および「ビブラート期間の時間長」が、時間データとして対応付けられている。表示手段２０４は、ビブラート期間の始期およびビブラート期間の時間長に基づき、対応するノートバーに対して、時間を示す左右方向の適する位置に、適するサイズで、ビブラート期間を示す図形を表示する。

例えば、図３のデータにおいて、ノートＮ１００３のビブラート期間の始期は１２０、ビブラート期間の時間長は４８０となっている。表示手段２０４は、これらのデータに基づき、ノートＮ１００３に対応するノートバー４０１ｃの左端から単位時間１２０個分を示す距離だけ右方向に移動した位置に、図形６０４ａの左端がくるように図形６０４ａを表示する。また、表示手段２０４は、図形６０４ａの左右方向の長さが単位時間４８０個分を示す距離となるように、図形６０４ａを表示する。

ユーザは、図９の画面において、図形６０４ａおよび図形６０４ｂの位置およびサイズを変更することにより、対応するデータを変更することができる。例えば、ユーザはマウスポインタ５０１を図形６０４ａの中央付近に移動し、図形６０４ａに対しドラッグアンドドロップ、すなわちマウスのボタンを押下し、そのままマウスを移動した後、ボタンから手を離す操作を行う。

この場合、マウスのボタンが押下された時点で、位置制御手段２０９から指定手段２１０に、図形６０４ａの中央付近でボタンが押下されたことを示すデータが送信される。指定手段２１０は、歌唱スコアデータを参照して、図形６０４ａに対応するデータが、パート１のビブラートに関するデータであることを特定する。続いて、指定手段２１０は表示編集指示データを参照して、パート１のビブラートに関する編集の欄が「Ｙｅｓ」となっているか否かを判定する。パート１のビブラートに関する編集の欄が「Ｙｅｓ」となっていない場合、指定手段２１０は何も行わない。一方、パート１のビブラートに関する編集の欄が「Ｙｅｓ」となっている場合、指定手段２１０はデータ変更手段２０８に対し、図形６０４ａに対応するデータを変更可能な状態にするよう指示する。

データ変更手段２０８は、指定手段２１０からの指示に従い、歌唱スコアデータからノートＮ１００３のビブラート期間の始期を読み出し、変更可能な状態とする。続いて、ユーザがマウスのボタンから手を離した時点で、位置制御手段２０９からデータ変更手段２０８に対し、マウスの移動方向および移動距離、すなわちマウスポインタ５０１の移動方向および移動距離を示すデータが送信される。

データ変更手段２０８は、マウスポインタ５０１の移動方向および左右方向の移動距離に応じて、先に読み出したデータを変更した後、変更後のデータで歌唱スコアデータを書き換える。例えば、マウスのボタンが押下された後、マウスポインタ５０１が右方向に単位時間１００個分だけ移動した後、ボタンからユーザの手が離された場合、データ変更手段２０８はノートＮ１００３のビブラート期間の始期に１００を加算する。

なお、データ変更手段２０８は上記のようにビブラート期間の始期を変更する際、ビブラート期間がノートデータの発音期間を超えることがないよう、データの変更範囲を制限する。例えば、歌唱スコアデータによれば、ノートＮ１００３の発音期間は単位時間９０４個分である。一方、ノートＮ１００３のビブラート期間の時間長は４８０である。従って、ユーザが図形６０４ａを大きく右方向にドラッグする操作を行っても、ノートＮ１００３のビブラート期間の始期が４２４を超えることはない。

また、ユーザは図形６０４ａの左端付近をドラッグアンドドロップすることにより、ビブラート期間の終わりのタイミングに変更を加えることなく、ビブラート期間の始期およびビブラート期間の時間長を同時に変更することができる。また、ユーザは図形６０４ａの右端付近をドラッグアンドドロップすることにより、ビブラート期間の始期を変えることなく、ビブラート期間の時間長を変更することができる。それらの場合においても、ビブラート期間がノートデータの発音期間を超えることはない。

なお、ビブラートに関するデータのように、表情付け等の適用期間が重要である付加属性データの他に、ボリュームの変更のように、表情付け等の適用タイミングが重要である付加属性データもある。そのような付加属性データには、時間長に関する時間データは対応付けられておらず、タイミングに関する時間データが対応付けられている。そのような付加属性データに関しては、表示手段２０４は、左右方向の幅に意味を持たない記号等を画面の対応する位置に表示する。

［１．２．３．歌唱タイミングデータの表示および変更動作］
スコアデータ編集部２０は、歌唱合成部３０において生成される歌唱タイミングデータ（図５参照）の内容を表示することもできる。歌唱タイミングデータは、既に説明したように、歌唱合成部３０において演奏される歌唱音声に含まれる素片のそれぞれについて、発音期間に関するデータを「発音期間の始期」および「調整後素片時間長」として含んでいる。

各素片の発音期間は、その歌唱演奏に用いられる素片データのサイズにより左右される。素片データは、データ選択手段３０４により素片データベース３０３から選択されるが、素片データベース３０３には、図４に示したように、異なる複数の歌唱者の歌唱音声波形から採取された素片データ群が、複数の個人別データベースとして格納されている。

継続期間調整手段３０６は、いずれの個人別データベースから素片データが選択された場合でも、歌唱演奏データに含まれる発音期間の始期に関するデータに、母音素片データの発音期間の始期を一致させるように素片の時間長を調整する。しかしながら、歌唱者によっては、母音素片データの前に位置する子音から母音への遷移部分の時間長が長く、そのため、歌唱合成部３０により演奏される歌唱音声において、聴衆にとって歌唱のタイミングが早く感じられる場合がある。また、その逆の場合もある。

上記のような事情から、ユーザが歌唱演奏における各素片の発音期間を確認したい、と考える場合、ユーザはスコアデータ編集部２０に対し、歌唱タイミングデータの表示を指示する。スコアデータ編集部２０は歌唱スコアデータを、歌唱タイミングデータの送信指示と共に、データ出力手段２１１を介して歌唱合成部３０に送信する。

歌唱合成部３０は、スコアデータ編集部２０から歌唱スコアデータおよび歌唱タイミングデータの送信指示を受信すると、受信した歌唱スコアデータに基づき、既に説明した処理を行って歌唱タイミングデータを生成する。その後、歌唱合成部３０は生成した歌唱タイミングデータを、データ出力手段３１１を介してスコアデータ編集部２０に送信する。

スコアデータ編集部２０はデータ入力手段２０１を介して歌唱タイミングデータを受信し、記憶手段２０３に記憶する。表示手段２０４は歌唱タイミングデータに基づき、各素片データが示す音声の発音期間を示す図形を、ピアノロール表示の画面上に表示する。

図１０は、歌唱タイミングデータの内容が表示されたピアノロール表示の画面を示す図である。図１０において、左右方向のスケールは、図９等の場合と比較し、同じ長さが１／４の時間を示すように拡大されている。図形６０５ａ〜ｅは、それぞれの上に表示されている記号６０６ａ〜ｅにより示される発音記号に対応する素片データを示す図形である。

例えば、図形６０５ａは、記号６０６ａにより示される発音記号「ｓ」に対応する素片データとして、素片データ「＃ｓ」「ｓ」「ｓ−ａ」の３つの素片データを表している。図形６０５ａの左右方向の頂点の位置が、それらの各素片データが示す音声の開始および終了のタイミングを示している。すなわち、図形６０５ａの左部分の三角形は素片データ「＃ｓ」を、中央部分の長方形は素片データ「ｓ」を、右部分の三角形は素片データ「ｓ−ａ」に対応している。図形６０５ｂ以降も同様である。なお、図形６０５ａの右部分の三角形と、図形６０５ｂの左部分の三角形は、共に素片データ「ｓ−ａ」に対応している。

表示手段２０４は、各ノートデータに対応する素片データを、歌唱スコアデータにおける発音記号のデータから特定する。例えば、ノートＮ１００１の発音記号は「ｓａ」であるので、対応する素片データは「＃ｓ」「ｓ」「ｓ−ａ」「ａ」「ａ−ｋ」となる。また、表示手段２０４は、各素片データに対応する図形の左右方向の表示位置およびサイズを、歌唱タイミングデータにおける発音期間の始期および調整後素片時間長のデータに基づき決定する。

ユーザは、上述したビブラート期間を示す図形６０４ａに対する操作と同様に、図形６０５ａ〜ｅを操作することにより、歌唱タイミングデータにおける発音期間の始期および調整後素片時間長に関するデータを変更することができる。なお、ピアノロール表示において、素片データに対応する図形に対するユーザの操作により、歌唱タイミングデータに変更が加えられた場合には、歌唱スコアデータにおける対応するノートデータの発音期間に関するデータが、同時に変更されるようにしてもよい。

ユーザは、上記のように歌唱スコアデータに対し変更を加えた後、歌唱演奏の実行を指示する。スコアデータ編集部２０はユーザの指示に応じて、歌唱スコアデータをデータ出力手段２１１を介して歌唱合成部３０に送信する。また、記憶手段２０３に歌唱タイミングデータが記憶され、かつその歌唱タイミングデータに変更が加えられている場合には、スコアデータ編集部２０は歌唱スコアデータの代わりに、変更後の歌唱タイミングデータを歌唱合成部３０に送信する。

歌唱合成部３０は、スコアデータ編集部２０から歌唱スコアデータを受信した場合、既に説明した動作に従って、歌唱タイミングデータを作成した後、歌唱音声データを生成し、その歌唱音声データを再生することにより歌唱演奏を行う。また、歌唱合成部３０は、スコアデータ編集部２０から歌唱タイミングデータを受信した場合、受信した歌唱タイミングデータを用いて歌唱音声データを生成し、その歌唱音声データを再生することにより歌唱演奏を行う。

以上のように、本実施形態によれば、ユーザは、歌唱スコアデータに基づく歌唱演奏を聴覚により確認するとともに、歌唱タイミングデータの表示を見ることにより、各素片の発音期間を視覚により把握することができる。従って、ユーザは、本実施形態によるスコアデータ表示編集装置に慣れ親しむに従い、歌唱スコアデータに基づいて行われるであろう歌唱演奏を視覚により把握しながら、歌唱演奏のためのスコアデータの編集をすることができるようになる。

［２．変形例］
上述した実施形態は、本発明の実施形態の例示であり、上記実施形態に対しては、本発明の主旨から逸脱しない範囲で様々な変形を加えることができる。

例えば、スコアデータ表示編集装置により編集されたスコアデータが、歌唱合成装置に対してではなく、単声楽器の音を出力可能な音源装置に対して送信されてもよい。ただし、その場合にはスコアデータに発音記号に関するデータは含まれず、また歌唱タイミングデータの内容が表示されることはない。

また、歌唱スコアデータの形式としては、例えばＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）規格に従ったデータ形式など、他のデータ形式が用いられてもよい。

また、上述した実施形態においては、汎用的なコンピュータに、アプリケーションに従った処理を実行させることにより、歌唱合成システムを実現したが、同様の歌唱合成システムを専用のハードウェアにより構成してもよい。さらに、汎用的なコンピュータを用いる場合、専用のハードウェアを用いる場合のいずれにおいても、歌唱合成システムの構成要素は一つの筐体に配置される必要はない。例えば、歌唱合成システムの個々の構成要素が独立した装置を形成し、それらが互いにＬＡＮ等により接続されていてもよい。

本実施形態の歌唱合成システムを実現するコンピュータの構成を示すブロック図である。 本実施形態の歌唱合成システムの機能を示すブロック図である。 本実施形態の歌唱スコアデータの構成を示す図である。 本実施形態の素片データベースの構成を示す図である。 本実施形態の歌唱タイミングデータの構成を示す図である。 本実施形態の表示編集指示データの構成を示す図である。 本実施形態の選択手段の指示により表示されるメッセージ窓を示す図である。 本実施形態のピアノロール表示の画面を示す図である。 本実施形態のピアノロール表示の画面を示す図である。 本実施形態のピアノロール表示の画面を示す図である。

符号の説明

１…コンピュータ、１０１…ＣＰＵ、１０２…ＲＯＭ、１０３…ＲＡＭ、１０４…ＨＤ、１０５…表示部、１０６…操作部、１０７…データ入出力部、１０８…Ｄ／Ａコンバータ、１０９…アンプ、１１０…スピーカ、１１５…バス、２０…スコアデータ編集部、３０…歌唱合成部、２０１・３０１…データ入力手段、２０２…整形手段、２０３・３０２…記憶手段、２０４…表示手段、２０５・３０９…操作手段、２０６…選択手段、２０７…状態変更手段、２０８…データ変更手段、２０９…位置制御手段、２１０…指定手段、２１１・３１１…データ出力手段、３０３…素片データベース、３０４…データ選択手段、３０５…音高調整手段、３０６…継続期間調整手段、３０７…音量調整手段、３０８…ビブラート付加手段、３１０…音声出力手段。

Claims (4)

1. 複数の音の各々に関し、該音の高さを示す音高データと該音の発音期間を示す発音期間データとを含み、さらに前記複数の音のうち１以上の音の各々に関し、該音の一の属性の継続期間を示す属性継続期間データとを含むスコアデータを記憶する記憶手段と、
   音の高さをピアノロールにより表示する表示手段であって、音の高さを示す第１の軸と時間の経過を示す第２の軸を有する座標平面上に、前記複数の音の各々に関し、前記音高データが示す音の高さに対応する前記第１の軸方向の位置に、前記発音期間データが示す発音期間の始期および終期に対応する前記第２の軸方向の位置をそれぞれ１の端点および他の端点とする第１の図形を表示すると同時に、前記１以上の音の各々に関し、前記第１の軸方向における該音に関する前記第１の図形の前記第１の軸の方向に対して隣り合うように、前記属性継続期間データが示す継続期間の始期および終期に対応する前記第２の軸方向の位置をそれぞれ１の端点および他の端点とする第２の図形を表示する表示手段と
   を備えることを特徴とするスコアデータ表示装置。
2. 前記表示手段は、前記座標平面上における位置を指示するための図形もしくは記号であるポインタをさらに表示し、
   前記ポインタの前記座標平面上における位置を制御する位置制御手段と、
   前記ポインタにより指示される位置に、前記表示手段により一の音に関する前記第２の図形が表示されている場合、当該第２の図形を指定する指定手段と、
   前記指定手段により指定された前記第２の図形に対応する前記属性継続期間データを、前記位置制御手段による前記ポインタの位置の変化に応じて変更するデータ変更手段と
   をさらに備える
   ことを特徴とする請求項１に記載のスコアデータ表示装置。
3. 前記記憶手段は、歌詞を構成する複数の文字の各々と前記複数の音の各々との対応関係を示す歌詞データをさらに記憶し、
   前記歌詞データにより示される歌詞を構成する複数の文字の各々に関し、該文字が発声された場合の音声を構成する母音および子音を各々素片として特定する構成素片特定手段と、
   前記歌詞データにより示される歌詞を構成する複数の文字の各々に関し、該文字に対応する音の前記発音期間データに基づき、前記構成素片特定手段により特定された１以上の素片の各々が発声される期間を示す素片発声期間データを生成する素片発声期間データ生成手段と
   をさらに備え、
   前記記憶手段は、前記素片発声期間データを前記属性継続期間データとして含む前記スコアデータを記憶する
   ことを特徴とする請求項１または２に記載のスコアデータ表示装置。
4. 複数の音の各々に関し、該音の高さを示す音高データと該音の発音期間を示す発音期間データとを含み、さらに前記複数の音のうち１以上の音の各々に関し、該音の一の属性の継続期間を示す属性継続期間データとを含むスコアデータを記憶する第１の処理と、
   音の高さをピアノロールにより表示する表示データを生成する第２の処理であって、音の高さを示す第１の軸と時間の経過を示す第２の軸を有する座標平面上に、前記複数の音の各々に関し、前記音高データが示す音の高さに対応する前記第１の軸方向の位置に、前記発音期間データが示す発音期間の始期および終期に対応する前記第２の軸方向の位置をそれぞれ１の端点および他の端点とする第１の図形を表示させると同時に、前記１以上の音の各々に関し、前記第１の軸方向における該音に関する前記第１の図形の前記第１の軸の方向に対して隣り合うように、前記属性継続期間データが示す継続期間の始期および終期に対応する前記第２の軸方向の位置をそれぞれ１の端点および他の端点とする第２の図形を表示させる表示データを生成する第２の処理と
   をコンピュータに実行させることを特徴とするプログラム。

Images