JP7000782B2

JP7000782B2 - 歌唱音声の編集支援方法、および歌唱音声の編集支援装置

Info

Publication number: JP7000782B2
Application number: JP2017191616A
Authority: JP
Inventors: 基小笠原
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2017-09-29
Filing date: 2017-09-29
Publication date: 2022-01-19
Anticipated expiration: 2037-09-29
Also published as: EP3462442A1; JP2019066648A; US20190103084A1; EP3462442B1; US10497347B2

Description

本発明は、歌唱音声の編集を支援する技術に関する。

近年、歌唱音声を電気的に合成する歌唱合成技術が普及している。この種の歌唱合成技術では、歌唱合成の各種パラメータの値を調整することで、音響効果の付与や歌唱音声の歌い方などの歌唱の個性の調整が行われる（例えば、特許文献１参照）。音響効果の付与の一例としてはリバーブの付与やイコライジングが挙げられ、歌唱音声の歌唱の個性の調整の具体例としては、人間の歌唱したような自然な歌唱音声となるように音量の変化態様や音高の変化態様を編集することが挙げられる。

特開２０１７－０４１２１３号公報

従来、歌唱音声の歌唱の個性の調整や音響効果の付与を行う際には、編集を所望する箇所毎に編集内容に応じてユーザが手動でパラメータの値を適切に調整する必要があり、容易ではなかった。

本発明は上記課題に鑑みて為されたものであり、歌唱合成される歌唱音声の歌唱の個性の調整や音響効果の付与を容易かつ適切に行えるようにする技術を提供すること、を目的とする。

上記課題を解決するために本発明の一態様による歌唱音声の編集支援方法は、音符の時系列を表す楽譜データと各音符に対応する歌詞を表す歌詞データとを用いてコンピュータが合成する歌唱音声データの表す歌唱音声の歌唱の個性を規定するとともに当該歌唱音声に付与する音響効果を規定する歌唱スタイルデータを当該コンピュータが読み出す読み出しステップと、楽譜データと歌詞データと読み出しステップにて読み出した歌唱スタイルデータとを用いて、歌唱の個性の調整および音響効果の付与を行った歌唱音声データを上記コンピュータが合成する合成ステップとを有することを特徴とする。

本発明によれば、上記コンピュータは、上記読み出しステップにて読み出した歌唱スタイルデータにしたがって歌唱音声の歌唱の個性の調整および音響効果の付与を行うので、合成される歌唱音声の歌唱の個性の調整や音響効果の付与が容易になる。そして、歌唱音声の合成対象の曲の属する音楽ジャンルや歌唱合成に用いる音声素片の声色に相応しい歌唱の個性や音響効果を規定する歌唱スタイルデータを予め用意しておけば、合成される歌唱音声の歌唱の個性の調整や音響効果の付与を容易かつ適切に行うことが可能になる。

より好ましい態様の編集支援方法における読み出しステップにおいて上記コンピュータは、各々曲の音楽ジャンルに応じた歌唱スタイルを示す複数の歌唱スタイルデータを記憶した記憶装置からユーザにより指示された音楽ジャンルに応じた歌唱スタイルデータを読み出すことを特徴とする。この態様によれば、歌唱音声の合成対象の曲の属する音楽ジャンルを指定することで、その音楽ジャンルに相応しい歌唱の個性を有し、かつ同音楽ジャンルに相応しい音響効果を付与された歌唱音声を合成することが可能になる。

別の好ましい態様の編集支援方法の読み出しステップにて上記コンピュータが読み出す歌唱スタイルデータは、楽譜データおよび歌詞データを用いて上記コンピュータが合成する歌唱音声データに対して上記コンピュータが施す編集を表す第１のデータと、当該歌唱音声データの合成に使用されるパラメータに対して上記コンピュータが施す編集を表す第２のデータとを含むことを特徴とする。なお、上記第１のデータと上記第２のデータとを含むデータ構造の歌唱スタイルデータを提供しても良い。別の好ましい態様の編集支援方法は、歌唱音声データの合成に使用された楽譜データおよび歌詞データと読み出しステップにて読み出した歌唱スタイルデータとを対応付けて、上記コンピュータが記憶装置へ書き込む書き込みステップを有することを特徴とする。

また、上記課題を解決するために本発明の一態様による歌唱音声の編集支援装置は、音符の時系列を表す楽譜データと各音符に対応する歌詞を表す歌詞データとを用いて合成される歌唱音声データの表す歌唱音声の歌唱の個性を規定するとともに当該歌唱音声に付与する音響効果を規定する歌唱スタイルデータを読み出す読み出し手段と、楽譜データと歌詞データと読み出し手段により読み出された歌唱スタイルデータとを用いて、歌唱の個性の調整および音響効果の付与を行った歌唱音声データを合成する合成手段と、を有することを特徴とする。この態様によっても、合成される歌唱音声の歌唱の個性の調整や音響効果の付与を容易かつ適切に行うことが可能になる。

本発明の別の態様としては、上記読み出しステップおよび合成ステップをコンピュータに実行させるプログラム、或いは、コンピュータを上記読み出し手段および上記合成手段として機能させるプログラム、を提供する態様が考えられる。また、これらプログラムの具体的な提供態様や前述のデータ構造を有する歌唱スタイルデータの具体的な提供態様としてはインターネットなどの電気通信回線経由のダウンロードにより配布する態様や、ＣＤ－ＲＯＭ（Compact Disk-Read Only Memory）などのコンピュータ読み取り可能な記録媒体に書き込んで配布する態様が考えられる。

本発明の一実施形態による編集支援方法を実行する歌唱合成装置１の構成例を示す図である。本実施形態における歌唱合成用データセットの構成を説明するための図である。歌唱合成用データセットに含まれる歌詞データ、楽譜データ、歌声識別子および試聴用波形データの関係を説明するための図である。歌唱音声の歌唱の個性の調整の一例を示す図である。歌唱音声に対する音響効果付与を説明するための図である。編集支援プログラムに内蔵されている歌唱スタイルテーブルを説明するための図である。編集支援プログラムにしたがって制御部１００が実行する編集処理の流れを示すフローチャートである。編集支援プログラムにしたがって制御部１００が表示部１２０ａに表示させる編集支援画面の一例を示す図である。編集支援画面のトラック領域Ａ０１における歌唱合成用データセットの配置例を示す図である。編集支援プログラムにしたがって制御部１００が実行する編集処理の流れを示すフローチャートである。編集支援プログラムにしたがって制御部１００が表示部１２０ａに表示させる歌唱スタイル指定用ポップアップ画面ＰＵの表示例を示す図である。変形例（２）を説明するための図である。本発明の編集支援装置１０Ａおよび１０Ｂの構成例を示す図である。

以下、図面を参照しつつ本発明の実施形態を説明する。
図１は、本発明の一実施形態の歌唱合成装置１の構成例を示す図である。本実施形態の歌唱合成装置１のユーザは、例えばインターネットなどの電気通信回線経由のデータ通信により歌唱合成用データセットを取得し、取得した歌唱合成用データセットを利用して簡便に歌唱合成を行うことができる。

図２は、本実施形態における歌唱合成用データセットの構成を示す図である。本実施形態の歌唱合成用データセットは、１つのフレーズ分に相当するデータであり、１つのフレーズ分の歌唱音声を合成したり、再生したり、編集したりするためのデータである。フレーズとは、楽曲の一部の区間であり、「楽句」とも呼ばれる。１つのフレーズは、１小節よりも短いこともあれば、１または複数の小節に相当することもある。図２に示すように本実施形態の歌唱合成用データセットには、ＭＩＤＩ情報、歌声識別子、歌唱スタイルデータ、および試聴用波形データが含まれる。

ＭＩＤＩ情報は、例えばＳＭＦ（Standard MIDI File）の形式に準拠したデータ、すなわち発音すべきノートのイベントを発音順に規定するデータである。ＭＩＤＩ情報は、１つのフレーズ分の歌唱音声のメロディと歌詞を表す情報であり、メロディを表す楽譜データと歌詞を表す歌詞データとを含む。楽譜データは、１つのフレーズ分の歌唱音声のメロディを構成する音符の時系列を表す時系列データである。より具体的には、楽譜データは、図３に示すように、各音符の発音開始時刻、発音終了時刻、および音高およびを表すデータである。歌詞データは、合成する歌唱音声の歌詞を表すデータである。図３に示すように、歌詞データでは、楽譜データに記録されている音符のデータ毎に、対応する歌詞のデータが記録されている。音符のデータに対応する歌詞のデータとは、当該音符のデータを用いて合成する歌唱音声の歌詞の内容を表すデータのことを言う。歌詞の内容を表すデータは、歌詞を構成する文字を表すテキストデータであっても良いし、歌詞の音素、すなわち歌詞を構成する子音や母音を表すデータであっても良い。

試聴用波形データは、当該試聴用波形データとともに歌唱合成用データセットに含まれているＭＩＤＩ情報、歌唱音声識別子および歌唱スタイルデータを使用して、歌詞データの示す音素の波形に楽譜データの示す音高にシフトさせる音高シフトを施して接続することで合成される歌唱音声の音波形を表す波形データ、すなわち当該音波形のサンプル列である。試聴用波形データは、歌唱合成用データセットに対応するフレーズの聴感を確かめる試聴の際に利用される。

歌声識別子は、歌唱合成用データベースに記憶されている複数の音声素片データの中から、特定の一人の声色、すなわち同じ声色に該当する音声素片データ群（一人の声色に相当する複数の音声素片データをまとめたひとつのグループ）を特定するデータである。歌唱音声を合成する際には、楽譜データおよび歌詞データの他に多種多様な音声素片データが必要であり、これらの音声素片データは、その声色、すなわち誰の声か、によってグループ分けされ、データベース化されている。つまり、１つの歌唱合成用データベースには、一人の声色（同じ声色）の音声素片データ群を、１つの音声素片データグループとしてグループ化し、複数人の声色分の音声素片データグループが記憶されている。このように声色毎にグループ化された音声素片データの集合を「音声素片データグループ」と呼び、さらに、複数の音声素片データグループ（複数人の音声に相当する複数の音声素片データグループ）の集合を「歌唱合成用データベース」と呼ぶ。歌声識別子は、試聴用波形データの合成に用いられた音声素片の声色を示すデータ、つまり、複数の音声素片データグループのうちの、どの声色に相当する音声素片データグループを使うかを表すデータ（使用する１つの音声素片データグループを特定するデータ）である。

図３は、楽譜データ、歌詞データ、歌声識別子および歌唱音声の波形データの関係を示す図である。楽譜データ、歌詞データ、および歌声識別子は歌唱合成エンジンに入力される。歌唱合成エンジンは、楽譜データを参照し、歌唱音声の合成対象となるフレーズにおける音高の時間変化を表すピッチカーブを生成する。次いで、歌唱合成エンジンは、歌声識別子の示す声色および歌詞データの示す歌詞の音素により特定される音声素片データを歌唱合成用データベースから読み出すとともに、当該歌詞に対応する時間区間の音高を上記ピッチカーブを参照して特定し、上記音声素片データに当該音高にシフトさせるピッチ変換を施して発音順に接続することで歌唱音声の波形データが生成される。

本実施形態の歌唱合成用データセットには、ＭＩＤＩ情報、歌声識別子および試聴用波形データの他に歌唱スタイルデータが含まれている点と、ＭＩＤＩ情報および歌声識別子に加えて歌唱スタイルデータを使用して試聴用波形データを合成する点に、本実施形態の特徴が現れている。歌唱スタイルデータとは、当該歌唱合成用データセットのデータにより合成、或いは再生される歌唱音声の、歌唱の個性および音響効果を規定するデータである。ＭＩＤＩ情報および歌唱音声識別子の他に歌唱スタイルデータを使用して試聴用波形データを合成するとは、歌唱スタイルデータにしたがって歌唱の個性の調整および音響効果の付与を行って試聴用波形データを合成する、という意味である。歌唱音声の歌唱の個性とは、歌唱音声の歌い方のことを言い、歌唱音声の歌唱の個性の調整の具体例としては、人間の歌唱したような自然な歌唱音声となるように音量の変化態様や音高の変化態様を編集することが挙げられる。歌唱音声の個性の調整は、歌唱音声への表情付け、歌唱音声への表情の付与、歌唱音声に表情を付ける編集などと呼ばれることがある。図２に示すように、歌唱スタイルデータには、第１編集内容データと第２編集内容データとが含まれる。

第１編集内容データは、楽譜データと歌詞データとに基づいて合成される歌唱音声の波形データに付与する音響効果（すなわち、音響効果の編集内容）を表し、その具体例としては、上記波形データに、コンプレッサを施す旨および当該施すコンプレッサの強さを表すデータ、或いはイコライザを施す旨および当該イコライザにより強める或いは弱める帯域とその程度を表すデータ、或いは上記歌唱音声にディレイやリバーブを施す旨および当該付与するディレイの大きさやりバーブの深さを表すデータが挙げられる。以下では、イコライザのことをＥＱと略記する場合がある。

本実施形態では、図４に示すようにハードロックなどに相応しいハードエフェクトセットと、より温かみのある楽曲に相応しいワームエフェクトセットなどのように、音楽ジャンル毎に第１編集内容データが用意されている。第１編集内容データは、或る音楽ジャンルに相応しい音響効果の編集内容を規定しており、第１編集内容データ毎に当該第１編集内容データが何れの音楽ジャンルに相応しいかを特定できるようになっている。例えば、第１編集内容データに当該データの該当する音楽ジャンルを表すデータが入っている。図４に示すようにハードエフェクトセットは、強めのコンプレッサとドンシャリと呼ばれるＥＱの組み合わせであり、ワームエフェクトセットは、ソフトディレイとリバーブの付与の組み合わせである。ドンシャリとは、低音域と高音域の振幅を大きくすることをいう。

第２編集内容データは、歌唱合成を行うときに歌唱合成エンジンにおいて使用される楽譜データや歌詞データなど歌唱合成用のパラメータの内容に対する編集を表し、合成される歌唱音声の歌唱の個性を規定するデータである。上記歌唱合成用のパラメータの一例としては、楽譜データの表す各音符の音量、音高、および継続時間の少なくとも１つ、ブレスの付与タイミング或いは回数、ブレスの強さを表すパラメータ、或いは歌唱音声の音色を表すパラメータ（歌唱合成に用いる音声素片データグループの声色を示す歌声識別子）が挙げられる。例えば、ブレスの付与タイミング或いは回数を表すパラメータに対する編集の具体例としては、ブレスの付与回数を増加或いは減少させる編集が挙げられる。また、楽譜データの表す各音符の音高に関する編集の具体例としては、楽譜データの表すピッチカーブに対する編集が挙げられ、ピッチカーブに対する編集の具体例としては、ビブラートの付与やロボットボイス化が挙げられる。ロボットボイス化とは、あたかもロボットが発音しているかのようにピッチの変化を急峻にすることを言う。例えば、楽譜データの表すピッチカーブが図５におけるピッチカーブＰ１である場合、ビブラートの付与によって図５におけるピッチカーブＰ２が得られ、ロボットボイス化によって図３におけるピッチカーブＰ３が得られる。

以上に説明したように本実施形態では、歌唱音声に対する音響効果付与のための編集と歌唱の個性の調整のための編集とでは実行タイミングが異なり、編集の対象とするデータも異なる。より詳細に説明すると、前者は波形データの合成後の編集、すなわち、歌唱合成された波形データを対象とする編集であり、後者は波形データの合成前の編集、すなわち、歌唱合成を行うときに歌唱合成エンジンにおいて使用される楽譜データや歌詞データなど歌唱合成用のパラメータの内容に対する編集である。本実施形態では、第１編集内容データの表す編集と第２編集内容データの表す編集の組み合わせにより、すなわち、歌唱音声に対する歌唱の個性の調整のための編集と音響効果の付与のための編集により１つの歌唱スタイルが定義され、この点も本実施形態の特徴の１つである。

歌唱合成装置１のユーザは、電気通信回線経由で取得した１つまたは複数の歌唱合成用データセットを時間軸方向に並べて配置して曲全体に亘る歌唱音声を合成するためのトラックデータを生成することで、曲全体に亘る歌唱音声の編集を簡便に行うことができる。トラックデータとは、１または複数の歌唱合成用データを、それぞれを再生したいタイミングとともに規定した、歌唱合成用データの再生シーケンスデータである。前述したように歌唱音声の合成には、楽譜データおよび歌詞データの他に各々が複数種の声色のそれぞれに対応する複数の音声素片データグループを記憶した歌唱合成用データベースが必要である。本実施形態の歌唱合成装置１にも、各々が複数種の声色のそれぞれに対応する複数の音声素片データグループを記憶した歌唱合成用データベース１３４ａが予めインストールされている。

昨今では多種多様な歌唱合成用データベースが一般に市販されており、歌唱合成装置１のユーザが取得した歌唱合成用データセットに含まれる試聴用波形データの合成に用いられた音声素片データグループが歌唱合成用データベース１３４ａに登録されているとは限らない。歌唱合成用データセットに含まれる試聴用波形データの合成に用いられた音声素片データグループを歌唱合成装置１のユーザが利用できない場合には、歌唱合成装置１では、歌唱合成用データベース１３４aに登録されている声色で歌唱音声を合成するため、合成された歌唱音声の声色と、試聴用波形データの声色とが異なるものとなってしまう。

本実施形態の歌唱合成装置１は、歌唱合成用データセットに含まれる試聴用波形データの合成に用いられた音声素片データを歌唱合成装置１のユーザが利用できない場合であっても、歌唱音声の編集に役立つ試聴を行えるように構成されており、この点に本実施形態の特徴の１つがある。加えて、本実施形態の歌唱合成装置１は、ユーザが希望する音楽ジャンルや声色に相応しい個性（歌い方）を有し、かつ同音楽ジャンルや声色に相応しい音高効果を付与されたフレーズの作成や利用を容易かつ適切に行えるように構成さており、この点も本実施形態の特徴の１つである。
以下、歌唱合成装置１の構成について説明する。

歌唱合成装置１は、例えばパーソナルコンピュータであり、歌唱合成用データベース１３４ａと歌唱合成プログラム１３４ｂが予めインストールされている。図１に示すように、歌唱合成装置１は、制御部１００、外部機器インタフェース部１１０、ユーザインタフェース部１２０、記憶部１３０、およびこれら構成要素間のデータ授受を仲介するバス１４０を有する。なお、図１では、外部機器インタフェース部１１０は外部機器Ｉ／Ｆ部１１０と略記されており、ユーザインタフェース部１２０はユーザＩ／Ｆ部１２０と略記されている。以下、本明細書においても同様に略記する。本実施形態では、歌唱合成用データベース１３４ａおよび歌唱合成プログラム１３４ｂのインストール先のコンピュータ装置である場合について説明するが、タブレット端末やスマートフォン、ＰＤＡなどの携帯型情報端末であっても良く、また、携帯型或いは据置型の家庭用ゲーム機であっても良い。

制御部１００は例えばＣＰＵ（Central Processing Unit）である。制御部１００は記憶部１３０に記憶されている歌唱合成プログラム１３４ｂを実行することにより、歌唱合成装置１の制御中枢として機能する。詳細については後述するが、歌唱合成プログラム１３４ｂには、本実施形態の特徴を顕著に示す編集支援方法を制御部１００に実行させる編集支援プログラムが含まれている。また、編集支援プログラム１３４ｂには、図６に示す歌唱スタイルテーブルが内蔵されている。

図６に示すように、歌唱スタイルテーブルには、歌唱合成用データベース１３４ａに音声素片データが格納されている声色を示す（格納されている音声素片データグループを特定する）歌声識別子と音楽ジャンルを示す音楽ジャンル識別子に対応づけて、その声色およびその音楽ジャンルの曲に相応しい歌唱スタイルを示す歌唱スタイルデータ（第１編集内容データと第２編集内容データの組み合わせ）が格納されている。本実施形態における歌唱スタイルテーブルの格納内容は次の通りである。図６に示すように、歌手１を示す歌声識別子およびハードＲ＆Ｂを示す音楽ジャンル識別子には、図５におけるピッチカーブＰ１をピッチカーブＰ２に編集すること、すなわちピッチカーブ全体に亘ってビブラートを付与する編集を示す第２編集内容データと図４におけるハードエフェクトセットを示す第１編集内容データの組み合わせが対応付けられている。そして、歌手２を示す歌声識別子およびワームＲ＆Ｂを示す音楽ジャンル識別子には、同第２編集内容データと図４におけるワームエフェクトセットを示す第１編集内容データの組み合わせが対応付けられている。また、図６に示すように、歌手１を示す歌声識別子およびハードロボットを示す音楽ジャンル識別子には、図５におけるピッチカーブＰ１をピッチカーブＰ３に編集すること、すなわちピッチカーブ全体に亘ってロボットボイス化する編集を示す第２編集内容データと図４におけるハードエフェクトセットを示す第１編集内容データの組み合わせが対応付けられている。そして、歌手２を示す歌声識別子およびワームロボットを示す音楽ジャンル識別子には、同第２編集内容データと図４におけるワームエフェクトセットを示す第１編集内容データの組み合わせが対応付けられている。詳細については後述するが、歌唱スタイルテーブルは、ユーザが希望する音楽ジャンルや歌唱者の声色に相応しい歌唱の個性および音高効果の付与されたフレーズの作成や利用を容易かつ適切に行えるようにするために使用される。

図１では詳細な図示を省略したが、外部機器Ｉ／Ｆ部１１０は、通信インタフェースとＵＳＢインタフェースを含む。外部機器Ｉ／Ｆ部１１０は、他のコンピュータ装置などの外部機器との間でデータ授受を行う。具体的には、ＵＳＢ（Universal Serial Bus）インタフェースにはＵＳＢメモリ等が接続され、制御部１００による制御の下で当該ＵＳＢメモリからデータを読み出し、読み出したデータを制御部１００に引き渡す。通信インタフェースはインターネットなどの電気通信回線に有線接続または無線接続される。通信インタフェースは、制御部２００による制御の下で接続先の電気通信回線から受信したデータを制御部１００に引き渡す。

ユーザＩ／Ｆ部１２０は、表示部１２０ａと、操作部１２０ｂと、音出力部１２０ｃとを有する。表示部１２０ａは例えば液晶ディスプレイとその駆動回路である。表示部１２０ａは、制御部１００による制御の下、各種画像を表示する。表示部１２０ａに表示される画像の一例としては、本実施形態の編集支援方法の実行過程で各種操作の実行をユーザに促し、歌唱音声の編集を支援する編集支援画面の画像が挙げられる。操作部１２０ｂは、例えばマウスなどのポインティングデバイスとキーボードとを含む。操作部１２０ｂに対してユーザが何らかの操作を行うと、操作部１２０ｂはその操作内容を表すデータを制御部１００に与える。これにより、ユーザの操作内容が制御部１００に伝達される。なお、歌唱合成プログラム１３４ｂを携帯型情報端末にインストールして歌唱合成装置１を構成する場合には、操作部１２０ｂとしてタッチパネルを用いるようにすれば良い。音出力部１２０ｃは制御部１００から与えられる波形データにＤ／Ａ変換を施してアナログ音信号を出力するＤ／Ａ変換器と、Ｄ／Ａ変換器から出力されるアナログ音信号に応じて音を出力するスピーカとを含む。

記憶部１３０は、図１に示すように揮発性記憶部１３２と不揮発性記憶部１３４とを含む。揮発性記憶部１３２は例えばＲＡＭ（Random Access Memory）である。揮発性記憶部１３２は、プログラムを実行する際のワークエリアとして制御部１００によって利用される。不揮発性記憶部１３４は例えばハードディスクである。不揮発性記憶部１３４には、歌唱合成用データベース１３４ａが記憶されている。不揮発性記憶部１３４ａには、歌唱合成用データベース１３４ａの他に歌唱合成プログラム１３４ｂが格納されている。また、図１では詳細な図示を省略したが、不揮発性記憶部１３４には、ＯＳ（Operating System）を制御部１００に実現させるカーネルプログラムと、歌唱合成用データセットの取得の際に利用される通信プログラムが予め記憶されている。この通信プログラムの一例としては、ｗｅｂブラウザやＦＴＰクライアントが挙げられる。また、不揮発性記憶部１３４には、通信プログラムにしたがって取得された複数の歌唱合成用データセットが予め記憶されている。

制御部１００は、歌唱合成装置１の電源投入を契機としてカーネルプログラムを不揮発性記憶部１３４から揮発性記憶部１３２に読出し、その実行を開始する。なお、図１では、歌唱合成装置１の電源の図示は省略されている。カーネルプログラムにしたがってＯＳを実現している状態の制御部１００は、操作部１２０ｂに対する操作により実行を指示されたプログラムを不揮発性記憶部１３４から揮発性記憶部１３２へ読出し、その実行を開始する。例えば、操作部１２０ｂに対する操作により通信プログラムの実行を指示された場合には、制御部１００は通信プログラムを不揮発性記憶部１３４から揮発性記憶部１３２へ読出し、その実行を開始する。また、操作部１２０ｂに対する操作により歌唱合成プログラムの実行を指示された場合には、制御部１００は歌唱合成プログラムを不揮発性記憶部１３４から揮発性記憶部１３２へ読出し、その実行を開始する。なお、プログラムの実行を指示する操作の具体例としては、プログラムに対応付けて表示部１２０ａに表示されるアイコンのマウスクリックや当該アイコンに対するタップが挙げられる。

図１に示すように歌唱合成プログラム１３４ｂには編集支援プログラムが含まれており、歌唱合成装置１のユーザによって歌唱合成プログラム１３４ｂの実行を指示される毎に制御部１００は、編集支援プログラムを実行する。編集支援プログラムの実行を開始した制御部１００は、不揮発性記憶部１３４に記憶されている複数の歌唱合成用データセットの各々を順次１つずつ選択し、図７に示す編集処理を実行する。つまり、図７に示す編集処理は、不揮発性記憶部１３４に記憶されている複数の歌唱合成用データセットの各々について実行される処理である。

図７に示すように、制御部１００は、選択した歌唱合成用データセットを処理対象として取得し（ステップＳＡ１００）、当該取得した歌唱合成用データセットに含まれている試聴用波形データの生成に用いられた音声素片データグループを歌唱合成装置１のユーザが利用可能であるか否かを判定する（ステップＳＡ１１０）。なお、選択した歌唱合成用データセットを取得するとは、選択した歌唱合成用データセットを不揮発性記憶部１３４から揮発性記憶部１３２へ読み出すことを言う。より詳細に説明すると、上記ステップＳＡ１１０では、制御部１００は、ステップＳＡ１００にて取得した歌唱合成用データセットに含まれている歌声識別子に対応する声色の音声素片データグループが歌唱合成用データベース１３４ａに格納されているか否かを判定し、格納されていない場合に、試聴用波形データの生成に用いられた音声素片データを歌唱合成装置１のユーザが利用可能ではないと判定する。つまり、ステップＳＡ１００にて取得した歌唱合成用データセットに含まれている歌声識別子に対応する声色の音声素片データグループが歌唱合成用データベース１３４ａに格納されていない場合にステップＳＡ１１０の判定結果は“Ｎｏ”となる。

ステップＳＡ１１０の判定結果が“Ｎｏ”である場合、制御部１００はステップＳＡ１００にて取得した歌唱合成用データセットを編集し（ステップＳＡ１２０）、当該歌唱合成用データセットについての編集処理を終了する。これに対して、ステップＳＡ１１０の判定結果が“Ｙｅｓ”である場合は、制御部１００はステップＳＡ１２０の処理を実行することなく、本編集処理を終了する。より詳細に説明すると、このステップＳＡ１２０では、制御部１００は、ステップＳＡ１００にて取得した歌唱合成用データセットに含まれている試聴用波形データを削除し、当該歌唱合成用データセットに含まれている楽譜データ、歌詞データおよび歌唱スタイルデータ、さらに、当該取得した歌唱合成用データセットに含まれている歌声識別子に対応する声色にかえて歌唱合成装置１のユーザが利用可能な声色（歌唱合成用データベース１３４ａに格納されている複数の音声素片データグループのうちの何れか１つに対応する声色）、を用いて当該歌唱合成用データセットの試聴用波形データを合成し直す。

ステップＳＡ１２０にて試聴用波形データの合成に用いる音声素片データグループは、歌唱合成装置１のユーザが利用可能な音声素片データグループ、すなわち、歌唱合成用データベース１３４ａに格納されている複数の音声素片データグループのうちの予め定められた声色の音声素片データグループであっても良いし、疑似乱数等を用いてランダムに定めた声色の音声素片データグループであっても良い。また、試聴用波形データの合成に使用する音声素片データグループをユーザに指定させるようにしても良い。何れの場合であっても、歌唱合成用データセットに含まれていた歌声識別子は、波形データの再合成の際に使用された音声素片データグループの声色を示す歌声識別子に更新される。

ステップＳＡ１２０における波形データの合成は以下の要領で行われる。すなわち、制御部１００は、まず、ステップＳＡ１００にて取得した歌唱合成用データセットに含まれている楽譜データの示すピッチカーブに同歌唱合成用データセットの歌唱スタイルデータに含まれる第２編集内容データの示す編集を施す。これにより、歌唱音声の歌唱の個性の調整が実現される。次いで、制御部１００は、当該取得した歌唱合成用データセットに含まれている歌詞データの示す各音素の波形を表す音声素片データに上記編集後のピッチカーブの示す音高にシフトさせる音高シフトを施して発音順に接続し、波形データを生成する。さらに、制御部１００は、上記の要領で得られた波形データに上記歌唱合成用データセットの歌唱スタイルデータに含まれる第１編集内容データの示す編集を施して歌唱音声に対する音響効果付与し、試聴用波形データを生成する。

不揮発性記憶部１３４に記憶されている複数の歌唱合成用データセットの全てについて図７に示す編集処理を終了すると、編集支援プログラムにしたがって作動している制御部１００は、図８に示す編集支援画面を表示部１２０ａに表示する。図８に示すように編集支援画面は、不揮発性記憶部１３４に記憶されている歌唱合成用データセット（図７に示す編集処理を経た歌唱合成用データセット）を用いて歌唱音声を編集するためのトラック編集領域Ａ０１と、図７に示す編集処理を経た複数の歌唱合成用データセットの各々に対応するアイコンを表示するデータセット表示領域Ａ０２とを有する。

歌唱合成装置１のユーザは、データセット表示領域Ａ０２に表示されたアイコンをトラック編集領域Ａ０１にドラッグすることで、トラックデータの生成に用いる歌唱合成用データセットの読み出しを制御部１００に指示することができ、当該アイコンをトラック編集領域Ａ０１における時間軸ｔに沿って配列すること（トラック編集領域Ａ０１の希望する再生タイミングに相当する位置へドロップしてコピーすること）で、希望する歌唱音声を合成するための歌唱音声のトラックデータを作成することができる。

何れかの歌唱合成用データセットのアイコンがトラック編集領域Ａ０１にドラッグ＆ドロップされると、制御部１００は、当該アイコンに相当する歌唱合成用データセットにしたがって合成される歌唱音声が、当該アイコンがドロップされた位置に相当する再生タイミングにおいて再生されるように、トラックデータの中に、当該歌唱合成用データのコピーと、当該再生タイミングの情報を追加する、といった編集支援を実行する。なお、トラック編集領域Ａ０１における歌唱合成用データセットのアイコンの配列の仕方は、図９における歌唱合成用データセット１と歌唱合成用データセット２のようにフレーズ間の時間を開けずに配列する態様であっても良く、また、図９における歌唱合成用データセット２と歌唱合成用データセット３のようにフレーズ間に空白の時間を設けて配列する態様であっても良い。

また、編集支援プログラムにしたがって作動している制御部１００は、トラック編集領域Ａ０１に配置された歌唱合成用データセット毎に、対応する歌唱音声の再生や歌唱スタイルの変更といった編集支援をユーザの指示に応じて実行する。例えば、トラックデータの生成に用いる歌唱合成用データセットの再生タイミングに対応する位置への配置を行ったユーザは、トラック編集領域Ａ０１に配置された歌唱合成用データセットのアイコンをマウスクリック等で選択して所定の操作（例えば、ｃｔｒキーとＬキーの同時押下等）を行うことでその歌唱合成用データセットに含まれている試聴用波形データの表す音を再生し、当該歌唱合成用データセットに対応するフレーズの聴感を確認することができる。また、トラック編集領域Ａ０１に表示された歌唱合成用データセットのアイコンをマウスクリック等で選択して所定の操作（例えば、ｃｔｒキーとＲキーの同時押下等）を行うことで、当該歌唱合成用データセットに対応するフレーズの歌唱スタイルの変更することができる。なお、歌唱合成用データセットに対応するフレーズの聴感の確認や歌唱スタイルの変更は、トラック編集領域Ａ０１へのアイコンのドラッグ＆ドロップ後であれば任意のタイミングで行うことができる。

トラック編集領域Ａ０１に配置された複数の歌唱合成用データセットのうちの何れかの選択および当該選択された歌唱合成用データセットに対する歌唱スタイルの変更指示が為されると、制御部１００は、図１０に示す編集処理を実行する。図１０に示すように、制御部１００は、歌唱合成用データセットの選択および歌唱スタイルの変更指示が為されたことを契機として（ステップＳＢ１００）、変更先の歌唱スタイルをユーザに指定させるポップアップ画面ＰＵ（図１１参照）を当該選択されたアイコンの近傍に表示する。なお、図１１には、図９における歌唱合成用データセット２が選択され、歌唱スタイルの変更が指示された場合について例示されている。図１１では、上記選択された歌唱合成用データセット２に対応するアイコンがハッチングで示さている。

歌唱合成用データセット２についてのトラック編集領域Ａ０１へのドラッグ＆ドロップの際に、歌手１の音声素片を用いて波形データの再合成が行われていたとする。この場合、ポップアップ画面ＰＵには、歌手１を示す歌声識別子に対応付けて歌唱スタイルテーブルに格納されている音楽ジャンル識別子がリスト表示される。ユーザは、ポップアップ画面ＰＵにリスト表示される音楽ジャンル識別子のうちから所望の音楽ジャンル識別子を選択することで、その音楽ジャンル識別子の示す音楽ジャンルおよび歌声の声色に相応しい歌唱スタイルを指定することができる。

上記の要領で歌唱スタイルの指定（図１０：ステップＳＢ１１０）が為されると、制御部１００は、該当する歌唱スタイルデータを歌唱スタイルテーブルから読み出す（ステップＳＢ１２０）。そして、制御部１００は、編集対象の歌唱合成用データセットに含まれている歌唱スタイルデータに上記ステップＳＢ１２０にて読み出した歌唱スタイルデータを設定（すなわち上書き）し、波形データを合成し直す（ステップＳＢ１３０）。このステップＳＢ１３０では、制御部１００は、前述したステップＳＡ１１０における場合と同様に、ステップＳＢ１００にて選択された歌唱合成用データセットに含まれている試聴用波形データの再合成を、新たに設定された歌唱スタイルデータを使用して行う。加えて、ステップＳＢ１３０では、制御部１００は、編集対象の歌唱合成用データセットとともにトラック編集領域Ａ０１に配列されている他の歌唱合成用データセットにより構成されるトラックデータに対応する歌唱音声の波形データの再合成を行う。

ステップＳＢ１３０の処理を完了すると、制御部１００は、ステップＳＢ１３０にて歌唱スタイルデータの更新および試聴用波形データの再合成が行われた歌唱合成用データセットで、不揮発性記憶部１３４に書き込み（トラックデータの該当する位置のデータを上書きし）（ステップＳＢ１４０）、本編集処理を終了する。本実施形態では、トラック編集領域Ａ０１にコピーされた歌唱合成用データセットについて歌唱スタイルが変更された場合の動作について説明したが、データセット表示領域Ａ０２に表示されたアイコンに対して上記選択操作および歌唱スタイル変更操作が為されたことを契機として当該アイコンに対応する歌唱合成用データセットのコピーを生成し、当該コピーを編集対象の歌唱合成用データセットとして上記ステップＳＢ１１０～ステップＳＢ１４０の処理を制御部１００に実行させても良い。この場合ステップＳＢ１３０では、編集対象の歌唱合成用データセットに含まれる試聴用波形データの再合成のみを行えば良く、ステップＳＢ１４０では、編集対象の歌唱合成用データセットに新たなアイコンを対応付けて、上記コピー元の歌唱合成用データセットとは別箇に不揮発性記憶部１３４に書き込めば良い。また、歌唱合成用データセットを選択してその歌唱合成用データセットに含まれる試聴用波形データの表す音の試聴を行う際に、新たな歌唱スタイルをユーザに設定させ、その歌唱スタイルの表す音響効果の付与および歌唱の個性の調整を行った歌唱音声を再生しても良い。具体的には、新たな歌唱スタイルの設定を契機として、上記選択された歌唱合成用データセットに含まれる楽譜データ、歌詞データおよび歌声識別子と上記新たに設定された歌唱スタイルの歌唱スタイルデータとにしたがって歌唱音声の波形データを合成し、当該波形データを音として再生する処理を制御部１００に実行させるようにすれば良い。この場合、上記選択された歌唱合成用データセットに含まれる試聴用波形データを上記波形データで上書きしても良く、このような上書きを省略しても良い。

以上説明したように本実施形態では、歌唱合成用データセットに含まれていた試聴用波形データ（以下、オリジナル試聴用波形データ）の合成の際に用いられた音声素片データグループを歌唱合成装置１のユーザが利用できない場合には、編集支援プログラムの起動を契機としてオリジナル試聴用波形データを削除し、試聴用波形データを再合成するといった編集支援が為される。このため、オリジナル試聴用波形データの合成の際に用いられた音声素片データグループを歌唱合成装置１のユーザが利用できない場合であっても、当該歌唱合成データセットを用いてトラックデータを編集する際の当該歌唱合成用データセットに対応する歌唱音声の試聴に問題が発生することはない。

加えて、本実施形態によれば、トラックデータを構成する歌唱合成用データセットに対して音楽ジャンルを指定するといった簡便な操作で、その音楽ジャンルおよびその声色に相応しい歌唱スタイルの歌唱スタイルデータが制御部１００によって読み出され、当該歌唱合成用データセットに対応する歌唱音声に対する歌唱の個性の調整や音響効果の付与がその歌唱スタイルデータにしたがって実行される。このような編集支援が為されるので、ユーザはトラックデータの編集を円滑に進めることができる。なお、上記実施形態では、合成対象の歌唱音声の音楽ジャンルの指定により歌唱スタイルを変更する場合について説明したが、合成対象の歌唱音声の声色の指定により歌唱スタイルを変更しても勿論良い。このように本実施形態によれば、歌唱合成における歌唱音声の歌唱の個性の調整や音響効果の付与を容易かつ適切に行うことが可能になる。

以上本発明の一実施形態について説明したが、この実施形態に以下の変形を加えても勿論良い。
（１）上記実施形態では、編集支援プログラムの起動時に、不揮発性記憶部１３４に記憶されている全ての歌唱合成用データセットを対象として図７に示す編集処理を実行した。しかし、編集支援プログラムの起動時には上記編集処理を実行せず、データセット表示領域Ａ０２からトラック編集領域Ａ０１へのアイコンのドラッグ＆ドロップ（すなわち、トラックデータの生成に用いる歌唱合成用データセットの不揮発性記憶部１３４から揮発性記憶部１３２への読み出し、すなわち制御部１００による歌唱合成用データセットの取得）を契機として、トラック編集領域Ａ０１へドラッグ＆ドロップされたアイコンに対応する歌唱合成用データセットをコピーするときに、当該歌唱合成用データセットのコピーに含まれる歌声識別子の示す声色の音声素片データグループを歌唱合成装置１のユーザが使用可能であるか否かを判定し、使用可能である場合には当該歌唱合成用データセットをそのままコピーする一方、使用可能ではない場合には図７の処理と同様に試聴用波形データを合成し直して、トラックデータの編集（当該歌唱合成用データのコピーとその再生タイミングの情報のトラックデータへの追加）を行っても良い。この場合、ステップＳＡ１２０では、当該アイコンに対応する歌唱合成用データセット（トラック編集領域Ａ０１にコピーされた歌唱合成用データセット）に含まれる試聴用波形データの再合成に加えて、トラックデータに対応する歌唱音声の波形データの再合成を行うようにすれば良い。また、制御部１００による歌唱合成用データセットの取得は、不揮発性記憶部１３４から揮発性記憶部１３２への当該歌唱合成用データセットの読み出しには限定されず、例えば電気通信回線経由のダウンロード或いは記録媒体から揮発性記憶部１３２への読み出しであっても良い。この場合、歌唱合成用データセットの取得時に当該歌唱合成用データセットについてのステップＳＡ１１０の判定結果が“Ｎｏ”となった場合には、当該歌唱合成用データセットからの試聴用波形データの削除のみを行い、トラック編集領域Ａ０１へのドラッグ＆ドロップ或いは編集支援プログラムの起動を契機として試聴用波形データの再合成を行うようにしても良い。

（２）上記実施形態では、合成対象の歌唱音声の音楽ジャンルおよび声色に相応しい音響効果の付与と歌唱の個性の調整を一括して行った。しかし、歌唱合成装置１にて歌唱音声に付与可能な歌唱の個性の一覧を表示部１２０ａに表示させ、一覧表示された個性のうちの何れかをユーザに指定させることで歌唱音声に対する歌唱の個性の付与を実現しても良い。歌唱音声に対する音響効果の付与についても同様に、歌唱音声に付与する歌唱の個性とは別個独立にユーザに指定させるようにしても良い。このような態様であれば、歌唱音声に付与する歌唱の個性と音響効果の組み合わせをユーザに自由に指定させることができるとともに、歌唱音声に対する歌唱の個性の調整や音響効果の付与を容易かつ適切に行うことが可能になる。

（３）上記実施形態では、フレーズ単位で歌唱合成用データセットが生成されていたが、ＡメロやＢメロ、サビといったパート単位、或いは小節単位で歌唱合成用データセットが生成されていても良く、また曲単位で歌唱合成用データセットが生成されていても良い。また、上記実施形態では、１つの歌唱合成用データセットに歌唱スタイルデータが１つだけ含まれている場合について説明したが、１つの歌唱合成用データセットに複数の歌唱スタイルデータを含めておいても良い。具体的には、歌唱合成用データセットに対応する時間区間全体に対してそれら複数の歌唱スタイルデータの各々が表す歌唱スタイルを平均化した歌唱スタイルを当該時間区間に適用する態様が考えられる。例えばロックの歌唱スタイルデータと民謡の歌唱スタイルデータとが歌唱合成用データセットに含まれていた場合には、両者の中間の歌唱スタイルを適用することで、ロックソーラン節のようなロックと民謡の中間の個性および音響効果を伴った歌唱音声を合成することができると期待される。このように本態様によれば新たな歌唱スタイルを創り出すことができると期待される。また、歌唱合成用データセットに対応する時間区間を図１２に示すように複数のサブ区間に区切り、サブ区間毎に１または複数の歌唱スタイルデータを設定する態様も考えられる。この態様によれば、歌唱音声に対する歌唱の個性の調整や音響効果の付与をサブ区間単位できめ細かく行うことが可能になる。

（４）上記実施形態では、歌唱合成用データセットを利用可能とすること、および歌唱スタイルの指定を可能とすることで歌唱音声の編集を支援する態様について説明した。しかし、歌唱合成用データセットの利用と歌唱スタイルの指定の何れか一方のみをサポートしても良い。何れか一方のサポートであっても、従来に比較して歌唱音声の編集が容易になるからである。歌唱合成用データセットの利用をサポートし、歌唱スタイルの指定をサポートしない場合には、歌唱合成用データセットに歌唱スタイルデータを含める必要はなく、この場合はＭＩＤＩ情報と歌唱音声データ（試聴用波形データ）とで歌唱合成用データセットを構成すれば良い。

（５）上記実施形態では、歌唱合成装置１の表示部１２０ａに編集画面を表示させたが、外部機器Ｉ／Ｆ部１１０を介して歌唱合成装置１に接続される表示装置に編集画面を表示させても良い。歌唱合成装置１に対して各種指示を入力するための操作入力装置についても、歌唱合成装置１の操作部１２０ｂを用いるのではなく、外部機器Ｉ／Ｆ部１１０を介して歌唱合成装置１に接続されるマウスやキーボードにその役割を担わせても良い。同様に、歌唱合成用データセットの書き込み先となる記憶装置についても、外部機器Ｉ／Ｆ部１１０を介して歌唱合成装置１に接続される外付けハードディスクやＵＳＢメモリにその役割を担わせても良い。また、上記実施形態では、歌唱合成装置１の制御部１００に本発明の編集支援方法を実行させたが、この編集支援方法を実行する編集支援装置を歌唱合成装置とは別箇の装置として提供しても良い。

例えば、楽譜データと歌詞データと歌唱音声データとからなる歌唱合成用データセットを利用可能とすることで歌唱音声の編集を支援する編集支援装置１０Ａは、図１３に示すように、編集ステップ（図７におけるステップＳＡ１２０）を実行する編集手段を有していれば良い。編集手段は、歌唱合成用データセットに含まれる歌唱音声データの合成に使用された音声素片データを編集支援装置１０Ａのユーザが利用可能であるか否かを判定し、利用可能ではない場合に当該歌唱合成用データセットに含まれる試聴用波形データを削除し、当該ユーザが利用可能な音声素片データと上記楽譜データと上記歌詞データとを用いて試聴用波形データを合成し直す。

また、コンピュータを上記編集手段として機能させるプログラムを提供しても良い。この態様によれば、パーソナルコンピュータやタブレット端末等の一般的なコンピュータ装置を本発明の編集支援装置として機能させることが可能になる。また、編集支援装置を１台のコンピュータで実現するのではなく、電気通信回線経由の通信により協働可能な複数のコンピュータにより編集支援装置を実現するクラウド態様であっても良い。

これに対して、歌唱スタイルの指定を可能とすることで歌唱音声の編集を支援する編集支援装置１０Ｂは、図１３に示すように、読み出しステップ（図１０におけるステップＳＢ１２０）を実行する読み出し手段と、合成ステップ（図１０におけるステップＳＢ１３０）を実行する合成手段とを有していれば良い。読み出し手段は、音符の時系列を表す楽譜データとおよび各音符に対応する歌詞を表す歌詞データとを用いて合成される歌唱音声データの表す歌唱音声の歌唱の個性を規定するとともに当該歌唱音声に付与する音響効果を規定する歌唱スタイルデータを読み出す。合成手段は、楽譜データと歌詞データと読み出し手段により読み出した歌唱スタイルデータとを用いて歌唱の個性の調整および音響効果の付与を行った歌唱音声データを合成する。本態様についてもクラウド態様で実現しても良い。また、コンピュータを上記読み出し手段および合成手段として機能させるプログラムを提供しても良い。

また、音符の時系列を表す楽譜データと各音符に対応する歌詞を表す歌詞データとを用いてコンピュータが合成する歌唱音声データに対して当該コンピュータが施す編集を表す第１のデータ（第１編集内容データ）と、歌唱音声データの合成に使用されるパラメータに対して当該コンピュータが施す編集を表す第２のデータ（第２編集データ）とを含むデータ構造の歌唱スタイルデータをＣＤ－ＲＯＭなどの記録媒体に書き込んで配布しても良く、インターネットなどの電気通信回線経由のダウンロードにより配布しても良い。このようにして配布される歌唱スタイルデータに歌声識別子および音楽ジャンル識別子を対応付けて歌唱スタイルデーブルに格納することで、歌唱合成装置１にて選択可能な歌唱スタイルの種類を増やすことができる。

１…歌唱合成装置、１０Ａ，１０Ｂ…編集支援装置、１００…制御部、１１０…外部機器Ｉ／Ｆ部、１２０…ユーザＩ／Ｆ部、１２０ａ…表示部、１２０ｂ…操作部、１２０ｃ…音出力部、１３０…記憶部、１３２…揮発性記憶部、１３４…不揮発性記憶部、１４０…バス。

Claims

音符の時系列を表す楽譜データと前記各音符に対応する歌詞を表す歌詞データとを用いてコンピュータが合成する歌唱音声データの表す歌唱音声の歌唱の個性を規定するとともに当該歌唱音声に付与する音響効果を規定する歌唱スタイルデータを前記コンピュータが読み出す読み出しステップと、
前記楽譜データと前記歌詞データと前記読み出しステップにて読み出した歌唱スタイルデータとを用いて、歌唱の個性の調整および音響効果の付与を行った歌唱音声データを前記コンピュータが合成する合成ステップと、
前記楽譜データおよび前記歌詞データと前記読み出しステップにて読み出した歌唱スタイルデータとを対応付けて、前記コンピュータが記憶装置へ書き込む書き込みステップと、を有し、
前記歌唱スタイルデータは、
前記楽譜データおよび歌詞データを用いて前記コンピュータが合成する歌唱音声データに対して前記コンピュータが施す編集を表す第１のデータと、前記歌唱音声データの合成に使用されるパラメータに対して前記コンピュータが施す編集を表す第２のデータとを含む
ことを特徴とする歌唱音声の編集支援方法。
音符の時系列を表す楽譜データと前記各音符に対応する歌詞を表す歌詞データとを用いてコンピュータが合成する歌唱音声データの表す歌唱音声の歌唱の個性を規定するとともに当該歌唱音声に付与する音響効果を規定する歌唱スタイルデータを前記コンピュータが読み出す読み出しステップと、
前記楽譜データと前記歌詞データと前記読み出しステップにて読み出した歌唱スタイルデータとを用いて、歌唱の個性の調整および音響効果の付与を行った歌唱音声データを前記コンピュータが合成する合成ステップと、
前記楽譜データおよび前記歌詞データと前記読み出しステップにて読み出した歌唱スタイルデータとを対応付けて、前記コンピュータが記憶装置へ書き込む書き込みステップと、を有し、
前記読み出しステップにおいて前記コンピュータは、各々曲の音楽ジャンルに応じた複数の歌唱スタイルデータを記憶した記憶装置からユーザにより指示された音楽ジャンルに応じた歌唱スタイルデータを読み出す
ことを特徴とする歌唱音声の編集支援方法。
音符の時系列を表す楽譜データと前記各音符に対応する歌詞を表す歌詞データとを用いてコンピュータが合成する歌唱音声データの表す歌唱音声の歌唱の個性を各々規定するとともに当該歌唱音声に付与する音響効果を各々規定する複数の歌唱スタイルデータを前記コンピュータが読み出す読み出しステップと、
前記楽譜データと前記歌詞データと前記読み出しステップにて読み出した複数の歌唱スタイルデータとを用いて歌唱の個性の調整および音響効果の付与を行って歌唱音声データを合成することによって、前記複数の歌唱スタイルデータの示す各歌唱スタイルを平均化した歌唱スタイルの歌唱音声の歌唱音声データを前記コンピュータが合成する合成ステップと、を含み、
前記歌唱スタイルデータは、
前記楽譜データおよび歌詞データを用いて前記コンピュータが合成する歌唱音声データに対して前記コンピュータが施す編集を表す第１のデータと、前記歌唱音声データの合成に使用されるパラメータに対して前記コンピュータが施す編集を表す第２のデータとを含む
ことを特徴とする編集支援方法。
音符の時系列を表す楽譜データと前記各音符に対応する歌詞を表す歌詞データとを用いてコンピュータが合成する歌唱音声データの表す歌唱音声の歌唱の個性を各々規定するとともに当該歌唱音声に付与する音響効果を各々規定する複数の歌唱スタイルデータを前記コンピュータが読み出す読み出しステップと、
前記楽譜データと前記歌詞データと前記読み出しステップにて読み出した複数の歌唱スタイルデータとを用いて歌唱の個性の調整および音響効果の付与を行って歌唱音声データを合成することによって、前記複数の歌唱スタイルデータの示す各歌唱スタイルを平均化した歌唱スタイルの歌唱音声の歌唱音声データを前記コンピュータが合成する合成ステップと、を含み、
前記読み出しステップにおいて前記コンピュータは、各々曲の音楽ジャンルに応じた複数の歌唱スタイルデータを記憶した記憶装置からユーザにより指示された音楽ジャンルに応じた歌唱スタイルデータを読み出す
ことを特徴とする編集支援方法。
前記楽譜データおよび前記歌詞データと前記読み出しステップにて読み出した歌唱スタイルデータとを対応付けて、前記コンピュータが記憶装置へ書き込む書き込みステップを有することを特徴とする請求項３又は請求項４に記載の編集支援方法。
音符の時系列を表す楽譜データと前記各音符に対応する歌詞を表す歌詞データとを用いて合成される歌唱音声データの表す歌唱音声の歌唱の個性を規定するとともに当該歌唱音声に付与する音響効果を規定する歌唱スタイルデータを読み出す読み出し手段と、
前記楽譜データと前記歌詞データと前記読み出し手段により読み出した歌唱スタイルデータとを用いて、歌唱の個性の調整および音響効果の付与を行った歌唱音声データを合成する合成手段と、
前記楽譜データおよび前記歌詞データと前記読み出し手段にて読み出した歌唱スタイルデータとを対応付けて、記憶装置へ書き込む書き込み手段と、を有し、
前記歌唱スタイルデータは、
前記楽譜データおよび歌詞データを用いて合成される歌唱音声データに対して施す編集を表す第１のデータと、前記歌唱音声データの合成に使用されるパラメータに対して施す編集を表す第２のデータとを含む
ことを特徴とする歌唱音声の編集支援装置。
音符の時系列を表す楽譜データと前記各音符に対応する歌詞を表す歌詞データとを用いて合成される歌唱音声データの表す歌唱音声の歌唱の個性を規定するとともに当該歌唱音声に付与する音響効果を規定する歌唱スタイルデータを読み出す読み出し手段と、
前記楽譜データと前記歌詞データと前記読み出し手段により読み出した歌唱スタイルデータとを用いて、歌唱の個性の調整および音響効果の付与を行った歌唱音声データを合成する合成手段と、
前記楽譜データおよび前記歌詞データと前記読み出し手段にて読み出した歌唱スタイルデータとを対応付けて、記憶装置へ書き込む書き込み手段と、を有し、
前記読み出し手段は、各々曲の音楽ジャンルに応じた複数の歌唱スタイルデータを記憶した記憶装置からユーザにより指示された音楽ジャンルに応じた歌唱スタイルデータを読み出す
ことを特徴とする歌唱音声の編集支援装置。
音符の時系列を表す楽譜データと前記各音符に対応する歌詞を表す歌詞データとを用いて合成される歌唱音声データの表す歌唱音声の歌唱の個性を各々規定するとともに当該歌唱音声に付与する音響効果を各々規定する複数の歌唱スタイルデータを読み出す読み出し手段と、
前記楽譜データと前記歌詞データと前記読み出し手段により読み出した複数の歌唱スタイルデータとを用いて歌唱の個性の調整および音響効果の付与を行って歌唱音声データを合成することによって、前記複数の歌唱スタイルデータの示す各歌唱スタイルを平均化した歌唱スタイルの歌唱音声の歌唱音声データを合成する合成手段と、を有し、
前記歌唱スタイルデータは、
前記楽譜データおよび歌詞データを用いて合成される歌唱音声データに対して施す編集を表す第１のデータと、前記歌唱音声データの合成に使用されるパラメータに対して施す編集を表す第２のデータとを含む
ことを特徴とする歌唱音声の編集支援装置。
音符の時系列を表す楽譜データと前記各音符に対応する歌詞を表す歌詞データとを用いて合成される歌唱音声データの表す歌唱音声の歌唱の個性を各々規定するとともに当該歌唱音声に付与する音響効果を各々規定する複数の歌唱スタイルデータを読み出す読み出し手段と、
前記楽譜データと前記歌詞データと前記読み出し手段により読み出した複数の歌唱スタイルデータとを用いて歌唱の個性の調整および音響効果の付与を行って歌唱音声データを合成することによって、前記複数の歌唱スタイルデータの示す各歌唱スタイルを平均化した歌唱スタイルの歌唱音声の歌唱音声データを合成する合成手段と、を有し、
前記読み出し手段は、各々曲の音楽ジャンルに応じた複数の歌唱スタイルデータを記憶した記憶装置からユーザにより指示された音楽ジャンルに応じた歌唱スタイルデータを読み出す
ことを特徴とする歌唱音声の編集支援装置。
前記楽譜データおよび前記歌詞データと前記読み出し手段により読み出した歌唱スタイルデータとを対応付けて、記憶装置へ書き込む書き込み手段を有することを特徴とする請求項８又は請求項９に記載の編集支援装置。
コンピュータに、
音符の時系列を表す楽譜データと前記各音符に対応する歌詞を表す歌詞データとを用いて前記コンピュータが合成する歌唱音声データの表す歌唱音声の歌唱の個性を規定するとともに当該歌唱音声に付与する音響効果を規定する歌唱スタイルデータであって、前記楽譜データおよび歌詞データを用いて前記コンピュータが合成する歌唱音声データに対して前記コンピュータが施す編集を表す第１のデータと、前記歌唱音声データの合成に使用されるパラメータに対して前記コンピュータが施す編集を表す第２のデータとを含む歌唱スタイルデータを読み出す読み出しステップと、
前記楽譜データと前記歌詞データと前記読み出しステップにて読み出した歌唱スタイルデータとを用いて、歌唱の個性の調整および音響効果の付与を行った歌唱音声データを合成する合成ステップと、
前記楽譜データおよび前記歌詞データと前記読み出しステップにて読み出した歌唱スタイルデータとを対応付けて、記憶装置へ書き込む書き込みステップと、
を実行させるプログラム。
コンピュータに、
音符の時系列を表す楽譜データと前記各音符に対応する歌詞を表す歌詞データとを用いて前記コンピュータが合成する歌唱音声データの表す歌唱音声の歌唱の個性を規定するとともに当該歌唱音声に付与する音響効果を規定する歌唱スタイルデータを読み出す読み出しステップであって、各々曲の音楽ジャンルに応じた複数の歌唱スタイルデータを記憶した記憶装置からユーザにより指示された音楽ジャンルに応じた歌唱スタイルデータを読み出す読み出しステップと、
前記楽譜データと前記歌詞データと前記読み出しステップにて読み出した歌唱スタイルデータとを用いて、歌唱の個性の調整および音響効果の付与を行った歌唱音声データを合成する合成ステップと、
前記楽譜データおよび前記歌詞データと前記読み出しステップにて読み出した歌唱スタイルデータとを対応付けて、記憶装置へ書き込む書き込みステップと、
を実行させるプログラム。
コンピュータに、
音符の時系列を表す楽譜データと前記各音符に対応する歌詞を表す歌詞データとを用いて前記コンピュータが合成する歌唱音声データの表す歌唱音声の歌唱の個性を各々規定するとともに当該歌唱音声に付与する音響効果を各々規定する複数の歌唱スタイルデータであって、前記楽譜データおよび歌詞データを用いて前記コンピュータが合成する歌唱音声データに対して前記コンピュータが施す編集を表す第１のデータと、前記歌唱音声データの合成に使用されるパラメータに対して前記コンピュータが施す編集を表す第２のデータとを各々が含む複数の歌唱スタイルデータを読み出す読み出しステップと、
前記楽譜データと前記歌詞データと前記読み出しステップにて読み出した複数の歌唱スタイルデータとを用いて歌唱の個性の調整および音響効果の付与を行って歌唱音声データを合成することによって、前記複数の歌唱スタイルデータの示す各歌唱スタイルを平均化した歌唱スタイルの歌唱音声の歌唱音声データを合成する合成ステップと、
を実行させるプログラム。
コンピュータに、
音符の時系列を表す楽譜データと前記各音符に対応する歌詞を表す歌詞データとを用いて前記コンピュータが合成する歌唱音声データの表す歌唱音声の歌唱の個性を各々規定するとともに当該歌唱音声に付与する音響効果を各々規定する複数の歌唱スタイルデータを読み出す読み出しステップであって、各々曲の音楽ジャンルに応じた複数の歌唱スタイルデータを記憶した記憶装置からユーザにより指示された音楽ジャンルに応じた歌唱スタイルデータを読み出す読み出しステップと、
前記楽譜データと前記歌詞データと前記読み出しステップにて読み出した複数の歌唱スタイルデータとを用いて歌唱の個性の調整および音響効果の付与を行って歌唱音声データを合成することによって、前記複数の歌唱スタイルデータの示す各歌唱スタイルを平均化した歌唱スタイルの歌唱音声の歌唱音声データを合成する合成ステップと、
を実行させるプログラム。
前記楽譜データおよび前記歌詞データと前記読み出しステップにて読み出した歌唱スタイルデータとを対応付けて、記憶装置へ書き込む書き込みステップを、
前記コンピュータにさらに実行させることを特徴とする請求項１３又は請求項１４に記載のプログラム。