JP6136202B2 - 音楽データ編集装置および音楽データ編集方法 - Google Patents

Description

本発明は、音楽データを編集する技術に関する。

楽曲の複数の音符を表示して利用者からの指示に応じて編集する技術が従来から提案されている。例えば特許文献１には、楽曲の各音符を表現する図像（以下「音指示子」という）を、音高軸と時間軸とが設定されたピアノロール型の座標平面に配置する技術が開示されている。

特開２００８−１６５１３０号公報

しかし、例えば複数のパートについて各音符の音指示子が同時に表示される構成では、各パートの音指示子が相互に近接または重複して表示が複雑化し、パート毎の各音符について発音文字等の音楽情報を利用者が確認し難いという問題がある。複数のパートのうち編集対象となるパートのみを表示して他のパートを非表示とする構成も想定され得るが、各パート間の関係を確認することが困難となる。以上の事情を考慮して、本発明は、表示画像の複雑化を抑制しながら複数のパートの音符を表示することを目的とする。

以上の課題を解決するために本発明が採用する手段を説明する。なお、本発明の理解を容易にするために、以下の説明では、本発明の要素と後述の実施形態の要素との対応を括弧書で付記するが、本発明の範囲を実施形態の例示に限定する趣旨ではない。

本発明の音楽データ編集装置は、楽曲の複数のパートの各々に対応し、音高と発音時点とを含む複数種の音楽情報を音符毎に指定する音楽データを編集する装置であって、複数のパートのうち編集対象パート（例えば利用者が選択したパート）の音楽データを編集する編集処理手段（例えば編集処理部３４）と、音高軸と時間軸とが設定された楽譜領域（例えば第２楽譜領域５２）のうち音楽データが指定する音高および発音時点に応じた位置に複数のパートの各音符に対応する音指示子を配置した編集画面を表示装置に表示させる手段であって、編集対象パートについては音高および発音時点を含むＭ種類（Ｍ≧３）の音楽情報を表現する音指示子（例えば音指示子ＶA）を表示させる一方、編集対象パート以外の非選択パートについては、Ｍ種類の音楽情報のうち音高および発音時点を含むＮ種類（Ｎ＜Ｍ）の音楽情報を表現する音指示子（例えば音指示子ＶB）を表示させる表示制御手段（例えば表示制御部３２）とを具備する。以上の構成では、非選択パートの音指示子が編集対象パートの音指示子と比較して簡易な態様（音楽情報の種類数を削減した態様）で表示される。したがって、表示画像の複雑化を抑制しながら複数のパートの音符を表示することが可能である。

本発明の好適な態様において、音楽データは、発音の継続長を音楽情報として指定し、表示制御手段は、編集対象パートの各音符について、時間軸方向の長さが継続長に応じて選定された音符図形を含む音指示子を表示させる一方、非選択パートの各音符について、時間軸方向の長さが所定値に固定された音符図形（例えば図４の音符図形ＶB1）を含む音指示子を表示させる。以上の態様では、非選択パートの各音符について時間軸方向の長さが所定値に固定された音符図形を含む音指示子が表示される。すなわち、非選択パートの各音符については継続長の表示が省略される。したがって、表示画像の複雑化を抑制できるという効果は格別に顕著である。なお、以上の態様の具体例は、例えば第２実施形態（図４）として後述される。

本発明の好適な態様において、音楽データは、発音内容を示す音声符号を音楽情報として指定し、表示制御手段は、編集対象パートの各音符について、音符図形の内側または周囲に音声符号を配置した音指示子を表示させる一方、非選択パートの各音符について、音高および発音時点に応じた位置に音声符号（例えば図５の音声符号ＶB2）を表示させる。以上の態様では、非選択パートの各音符について音高および発音時点に応じた位置に音声符号が表示される。すなわち、非選択パートの各音符については継続長の表示が省略される。したがって、表示画像の複雑化を抑制できるという効果は格別に顕著である。なお、以上の態様の具体例は、例えば第３実施形態（図５）として後述される。

本発明の好適な態様において、音楽データは、発音内容を示す音声符号を音楽情報として指定し、表示制御手段は、編集対象パートの各音符について、音符図形の内側または周囲に音声符号を配置した音指示子を表示させる一方、非選択パートの各音符について、音声符号を省略した音指示子を表示させ、楽譜領域とは相違する補助領域（例えば補助領域５３）に非選択パートの各音符の音声符号を表示させる。以上の態様では、非選択パートの各音符について音声符号を省略した音指示子が表示されるから、表示画像の複雑化を抑制することが可能である。他方、楽譜領域とは別個の補助領域には非選択パートの各音符の音声符号が表示されるから、楽譜領域内の表示画像の複雑化を有効に抑制しながら非選択パートについても各音符の音声符号を確認できるという効果が実現される。補助領域のうち時間軸方向における各音符の発音時点に対応する位置に当該音符の音声符号を配置する構成によれば、非選択パートの各音符と音声符号との対応を容易に把握できるという利点がある。なお、以上の態様の具体例は、例えば第４実施形態（図６，図７）として後述される。

本発明の好適な態様において、表示制御手段は、楽譜領域内の位置を利用者が指定するためのポインタが非選択パートの一の音指示子を指示する場合に、一の音指示子が示す音符のＭ種類の音楽情報のうち一の音指示子にて省略された音楽情報を表示装置に表示させる。以上の態様によれば、非選択パートの１個の音指示子をポインタにより指示することで省略対象の音楽情報が一時的に表示されるから、表示画像の複雑化を抑制しながら非選択パートの各音符についても詳細な音楽情報を確認できるという格別に効果が実現される。なお、以上の態様の具体例は、例えば第５実施形態および第６実施形態として後述される。

本発明の好適な態様において、表示制御手段は、編集対象パートの音符と非選択パートの音符との間で音高が共通するとともに発音期間の少なくとも一部が重複する場合に、編集対象パートの当該音符と非選択パートの当該音符との重複を視覚的に知覚可能な態様で音指示子を表示させる。以上の態様では、複数のパートの各々の音符の重複を利用者が視覚的および直観的に把握できるという利点がある。なお、以上の態様の具体例は、例えば第７実施形態として後述される。

以上の各態様に係る音楽データ編集装置は、音楽データの編集に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）で実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働でも実現される。本発明のプログラムは、楽曲の複数のパートの各々に対応し、音高と発音時点とを含む複数種の音楽情報を音符毎に指定する音楽データを編集するために、複数のパートのうち編集対象パートの音楽データを編集する編集処理と、音高軸と時間軸とが設定された楽譜領域のうち音楽データが指定する音高および発音時点に応じた位置に複数のパートの各音符に対応する音指示子を配置した編集画面を表示装置に表示させる処理であって、編集対象パートについては音高および発音時点を含むＭ種類（Ｍ≧３）の音楽情報を表現する音指示子を表示させる一方、編集対象パート以外の非選択パートについては、Ｍ種類の音楽情報のうち音高および発音時点を含むＮ種類（Ｎ＜Ｍ）の音楽情報を表現する音指示子を表示させる表示制御処理とをコンピュータに実行させる。以上のプログラムによれば、本発明の音声合成データ編集装置と同様の作用および効果が実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされるほか、通信網を介した配信の形態で提供されてコンピュータにインストールされる。

本発明の第１実施形態に係る音声合成装置のブロック図である。 楽曲データの模式図である。 編集画面の模式図である。 第２実施形態における編集画面（第２楽譜領域）の模式図である。 第３実施形態における編集画面（第２楽譜領域）の模式図である。 第４実施形態における編集画面の模式図である。 第４実施形態の変形例における編集画面の模式図である。 第５実施形態における編集画面の模式図である。 第６実施形態における編集画面の模式図である。 第７実施形態における音指示子の模式図である。 変形例における編集画面の模式図である。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る音声合成装置１００のブロック図である。音声合成装置１００は、素片接続型の音声合成で歌唱音を生成する信号処理装置であり、図１に示すように、演算処理装置１２と記憶装置１４と表示装置２２と入力装置２４と放音装置２６とを具備するコンピュータシステムで実現される。例えば据置型の情報処理装置（パーソナルコンピュータ）や携帯型の情報処理装置（携帯電話機や携帯情報端末）で音声合成装置１００は実現される。

演算処理装置１２は、記憶装置１４に格納されたプログラムＰGMを実行することで複数の機能（表示制御部３２，編集処理部３４，音声合成部３６）を実現する。なお、演算処理装置１２の各機能を複数の集積回路に分散した構成や、専用の電子回路（例えばＤＳＰ）が一部の機能を実現する構成も採用され得る。

表示装置２２（例えば液晶表示装置）は、演算処理装置１２が指示する画像を表示する。入力装置２４は、利用者からの指示を受付ける機器（例えばマウス等のポインティングデバイスやキーボード）である。なお、表示装置２２と一体に構成されたタッチパネルを入力装置２４として採用することも可能である。放音装置２６（例えばヘッドホンやスピーカ）は、演算処理装置１２が生成した音声信号Ｓに応じた音波を放射する。

記憶装置１４は、演算処理装置１２が実行するプログラムＰGMや演算処理装置１２が使用する各種のデータ（音声素片群ＤA，楽曲データＤB）を記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数の記録媒体の組合せが記憶装置１４として採用される。

音声素片群ＤAは、相異なる音声素片に対応する複数の素片データ（例えば音声素片の波形のサンプル系列）で構成されて音声合成の素材として使用される音声合成ライブラリである。音声素片は、言語的な意味の区別の最小単位である音素（例えば母音や子音）、または複数の音素を連結した音素連鎖（例えばダイフォンやトライフォン）である。

楽曲データＤBは、楽曲を構成する音符の時系列を指定するデータであり、図２に示すように、楽曲内の相異なるパート（例えば合唱曲の各歌唱パート）に対応する複数の音楽データＱを包含する。以下の説明では、楽曲データＤBが２個の音楽データＱで構成される場合を想定するが、楽曲データＤBを３個以上の音楽データＱで構成することも可能である。１個のパートの音楽データＱは、そのパートの各音符に対応する複数の単位データＵを含んで構成される。各単位データＵは、音符に関する音楽的な情報（以下「音楽情報」という）Ｘを指定する。

第１実施形態の単位データＵは、図２に示すように、複数種の音楽情報Ｘ（Ｘ1〜Ｘ6）を指定する。具体的には、単位データＵは、音高Ｘ1と発音時点Ｘ2と継続長Ｘ3と発音文字Ｘ4と音素記号Ｘ5と付属情報Ｘ6とを音楽情報Ｘとして指定する。音高Ｘ1は音符の音高（実際には各音高に付与されたノートナンバ）である。発音時点Ｘ2は発音が開始する時刻（発音時刻）を意味し、継続長Ｘ3は音符の発音が継続する時間（音価）を意味する。すなわち、発音時点Ｘ2と継続長Ｘ3とで音符の発音期間が規定される。発音文字Ｘ4は、音符に付与された歌詞の文字（書記素）を意味し、音素記号Ｘ5は、発音文字Ｘ4に対応する音素の記号を意味する。すなわち、発音文字Ｘ4および音素記号Ｘ5は、発音内容を示す符号（音声符号）に相当する。付属情報Ｘ6は、音符の音楽的な特性を制御するための変数（制御パラメータ）である。例えば音符の音量（ベロシティ）やビブラートの態様（深さや時間），明瞭度（発音時の開口の度合），音高の揺らぎ（ピッチベンド），ポルタメントの有無等の表情パラメータが付属情報Ｘ6として指定される。

図１の表示制御部３２は、各音楽データＱの生成および編集のために利用者が確認する図３の編集画面５０を表示装置２２に表示させる。図３に示すように、編集画面５０は、第１楽譜領域５１と第２楽譜領域５２とを含んで構成される。第１楽譜領域５１は、楽曲の相異なるパート（トラック）に対応する複数の単位領域５１aに区分される。第１楽譜領域５１の各単位領域５１aおよび第２楽譜領域５２は、相互に交差する時間軸（横軸）および音高軸（縦軸）が設定されたピアノロール型の座標平面である。第１楽譜領域５１と第２楽譜領域５２とでは時間軸方向の表示倍率（縮尺）が個別に変更される。

第１楽譜領域５１内の各パートの単位領域５１aには、そのパートの音楽データＱが指定する各音符を図形的に表現した音符図形（ノートバー）Ｗの時系列が表示される。音高軸方向における音符図形Ｗの位置は音楽データＱの音高Ｘ1に応じて設定され、時間軸方向における音符図形Ｗの位置は音楽データＱの発音時点Ｘ2に応じて設定される。また、時間軸方向における音符図形Ｗの長さは音楽データＱの継続長Ｘ3に応じて設定される。

利用者は、入力装置２４を適宜に操作することで、第１楽譜領域５１内の時間軸上の任意の区間５５を指定することが可能である。楽曲のうち区間５５内の各音符が第２楽譜領域５２内に表示される。また、利用者は、入力装置２４を適宜に操作することで、楽曲の複数のパートの何れか（以下「編集対象パート」という）を編集対象として選択することが可能である。図３では、「パートI」を編集対象パートとして選択した状況が例示されている。

図１の表示制御部３２は、楽曲の複数のパートの各々について音指示子Ｖ（ＶA，ＶB）の時系列を第２楽譜領域５２内に配置する。第２楽譜領域５２内に配置される複数の音指示子Ｖは、楽曲の複数のパートのうち編集対象パートの各音符を表現する音指示子ＶAと、楽曲の複数のパートのうち編集パート以外のパート（以下「非選択パート」という）の各音符を表現する音指示子ＶBとに区分される。編集対象パートの各音指示子ＶAと非選択パートの各音指示子ＶBとは音高軸と時間軸とを共通にして第２楽譜領域５２内に配置される。以下に詳述するように、非選択パートの各音指示子ＶBは、編集対象パートの各音指示子ＶAと比較して、表示対象の音楽情報Ｘの種類数を削減した簡易な態様で表示される。

編集対象パートの各音指示子ＶAは、音符図形ＶA1と音声符号ＶA2とを含んで構成される。音符図形ＶA1は、編集対象パートの音符を表現する図像である。編集対象パートの音楽データＱが指定する音高Ｘ1に応じて音高軸方向における音符図形ＶA1の位置が選定され、編集対象パートの音楽データＱが指定する発音時点Ｘ2に応じて時間軸方向における音符図形ＶA1の端点（左端）の位置が選定される。また、時間軸方向における音符図形ＶA1の長さは、編集対象パートの音楽データＱが指定する継続長Ｘ3に応じて選定される。すなわち、音符図形ＶA1は、音高Ｘ1と発音時点Ｘ2と継続長Ｘ3とを視覚的に表現する。

音声符号ＶA2は、編集対象パートの音楽データＱが指定する発音文字Ｘ4および音素記号Ｘ5の文字列であり、音符図形ＶA1の輪郭線の内側に配置されて音符図形ＶA1と重複する。以上の説明から理解されるように、編集対象パートの各音指示子ＶAは、編集対象パートの１個の音符について音高Ｘ1と発音時点Ｘ2と継続長Ｘ3と発音文字Ｘ4と音素記号Ｘ5とを視覚的に表現する。なお、音符図形ＶA1の周囲（ただし、音符図形ＶA1と音声符号ＶA2との対応を利用者が特定できる位置）に音声符号ＶA2を配置することも可能である。

他方、非選択パートの各音指示子ＶBは、音符図形ＶB1と音声符号ＶB2とを含んで構成される。音符図形ＶB1は、非選択パートの音符を表現する図像である。具体的には、編集対象パートの音符図形ＶA1と同様に、非選択パートの音楽データＱが指定する継続長Ｘ3に応じた長さの音符図形ＶB1が、第２楽譜領域５２のうち非選択パートの音楽データＱで指定される音高Ｘ1および発音時点Ｘ2に応じた位置に配置される。

図３に示すように、各音指示子ＶAの音符図形ＶA1と各音指示子ＶBの音符図形ＶB1とは相異なる態様（形状や色彩や階調等の視覚的に識別可能な性状）で表示される。具体的には、音指示子ＶAの音符図形ＶA1は矩形状の図形であるが、音指示子ＶBの音符図形ＶB1は、音指示子ＶAの音符図形ＶA1と比較して細い直線状の図形である。また、音符図形ＶA1と音符図形ＶB1とで色彩や模様や形状等の表示態様を相違させることも可能である。

非選択パートの音指示子ＶBの音声符号ＶB2は、非選択パートの音楽データＱが指定する発音文字Ｘ4の文字列であり、音符図形ＶB1の周囲に配置される。以上の説明から理解されるように、非選択パートの音指示子ＶBは、非選択パートの１個の音符について音高Ｘ1と発音時点Ｘ2と継続長Ｘ3と発音文字Ｘ4とを視覚的に表現する。すなわち、編集対象パートの音指示子ＶAが５種類の音楽情報Ｘ（Ｘ1〜Ｘ5）を表現するのに対し、非選択パートの音指示子ＶBは、編集対象パートの音指示子ＶAで表現される５種類の音楽情報Ｘのうち音素記号Ｘ5を省略した４種類の音楽情報Ｘ（Ｘ1〜Ｘ4）を表現する。

図１の編集処理部３４は、第２楽譜領域５２に対する利用者からの指示に応じて編集対象パートの音楽データＱを編集する。例えば、編集処理部３４は、第２楽譜領域５２内の既存の音指示子ＶAの変更（例えば音符図形ＶA1の位置または長さの変更や音声符号ＶA2の文字の変更）が指示された場合には、編集対象パートの音楽データＱのうちその音指示子ＶAに対応する単位データＵの音楽情報Ｘを指示内容に応じて変更し、第２楽譜領域５２に対する音指示子ＶAの追加が指示された場合には、その音指示子ＶAに対応する単位データＵを編集対象パートの音楽データＱに追加する。また、利用者は、入力装置２４を適宜に操作することで各音符の付属情報Ｘ6を指定することも可能である。

図１の音声合成部３６は、音声素片群ＤAと楽曲データＤBとを利用して音声信号Ｓを生成する。具体的には、音声合成部３６は、第１に、音楽データＱの各単位データＵが指定する音素記号Ｘ5に対応する音声素片の素片データを音声素片群ＤAから順次に選択し、第２に、各素片データを、単位データＵが指定する音高Ｘ1および継続長Ｘ3に調整するとともに、付属情報Ｘ6が指定する特性を付与する。第３に、音声合成部３６は、調整後の素片データを、各単位データＵが指定する発音時点Ｘ2に配置して相互に連結することで音声信号を生成する。音声合成部３６は、以上の手順でパート毎に生成した音声信号を相互に加算することで楽曲の音声信号Ｓを生成する。音声合成部３６が生成した音声信号Ｓが放音装置２６に供給されて音波として再生される。

以上に説明したように、第１実施形態では、非選択パートの音指示子ＶBが編集対象パートの音指示子ＶAと比較して簡易な態様（音指示子Ｖで表現される音楽情報Ｘの種類数を削減した態様）で表示される。したがって、楽曲の複数のパートが共通の態様で表示される構成と比較して、編集画面５０（第２楽譜領域５２）の複雑化を抑制しながら複数のパートの音符を表示することが可能である。他方、非選択パートについても音高Ｘ1および発音時点Ｘ2は省略されずに表示されるから、非選択パートの表示を簡略化した構成にも関わらず非選択パートの概要を確認することが可能である。したがって、利用者は、非選択パートと対比しながら編集対象パートを編集できるという利点がある。

＜第２実施形態＞
本発明の第２実施形態を説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。

図４は、第２実施形態の編集画面５０（第２楽譜領域５２）の模式図である。編集対象パートの各音指示子ＶAの表示態様は第１実施形態と同様である。他方、第２実施形態における非選択パートの各音指示子ＶBは、図４に示すように音符図形ＶB1で構成され、第１実施形態の音声符号ＶB2は省略される。すなわち、非選択パートの各音符については音声符号ＶB2（発音文字Ｘ4，音素記号Ｘ5）が省略される。

第１実施形態と同様に、音高軸方向における音符図形ＶB1の位置は非選択パートの音楽データＱが指定する音高Ｘ1に応じて設定され、時間軸方向における音符図形ＶB1の端点（左端）の位置は発音時点Ｘ2に応じて設定される。他方、音符図形ＶB1の時間軸方向の長さは、継続長Ｘ3に依存しない固定長に設定される。すなわち、非選択パートの各音符については継続長Ｘ3の表示が省略される。

以上の説明から理解されるように、第２実施形態における非選択パートの音指示子ＶBは、非選択パートの１個の音符について音高Ｘ1と発音時点Ｘ2とを視覚的に表現する。すなわち、編集対象パートの音指示子ＶAが５種類の音楽情報Ｘ（Ｘ1〜Ｘ5）を表現するのに対し、非選択パートの音指示子ＶBは、音指示子ＶAの５種類の音楽情報から継続長Ｘ3と発音文字Ｘ4と音素記号Ｘ5とを省略した２種類の音楽情報Ｘ（Ｘ1，Ｘ2）を表現する。

第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、非選択パートの音指示子ＶBが第１実施形態と比較して更に簡略化されるから、編集画面５０の複雑化を抑制しながら複数のパートの音符を表示できるという効果は格別に顕著である。他方、音高Ｘ1および発音時点Ｘ2は表示装置２２に表示されるから、非選択パートの音指示子ＶBを簡略化した構成にも関わらず、非選択パートの概要を把握することは可能である。

＜第３実施形態＞
図５は、第３実施形態の編集画面５０（第２楽譜領域５２）の模式図である。編集対象パートの各音指示子ＶAの表示態様は第１実施形態と同様である。他方、第３実施形態における非選択パートの音指示子ＶBは、図５に示すように音声符号ＶB2で構成され、第１実施形態の音符図形ＶB1を含まない。音楽データＱが指定する発音文字Ｘ4が音声符号ＶB2として表示される。ただし、音声符号ＶB2が発音文字Ｘ4および音素記号Ｘ5の双方を含む構成や音声符号ＶB2が音素記号Ｘ5のみを含む構成も採用され得る。

音高軸方向における音声符号ＶB2の位置は、非選択パートの音楽データＱが指定する音高Ｘ1に応じて選定され、時間軸方向における音声符号ＶB2の位置は、非選択パートの音楽データＱが指定する発音時点Ｘ2に応じて選定される。以上の説明から理解されるように、第３実施形態における非選択パートの音指示子ＶBは、非選択パートの１個の音符について音高Ｘ1と発音時点Ｘ2と発音文字Ｘ4とを表現する。すなわち、非選択パートについては継続長Ｘ3および音素記号Ｘ5の表示が省略される。

第３実施形態においても第１実施形態と同様の効果が実現される。また、第３実施形態では、非選択パートの音指示子ＶBが第１実施形態と比較して更に簡略化されるから、編集画面５０の複雑化を抑制しながら複数のパートの音符を表示できるという効果は格別に顕著である。他方、各音指示子ＶBの音声符号ＶB2の位置が音高Ｘ1および発音時点Ｘ2に応じて選定されるから、非選択パートの音指示子ＶBを簡略化した構成にも関わらず、非選択パートの概要を把握することは可能である。

＜第４実施形態＞
図６は、第４実施形態の編集画面５０の模式図である。編集対象パートの各音指示子ＶAの表示態様は第１実施形態と同様である。他方、第４実施形態における非選択パートの音指示子ＶBは、図６に示すように、音高Ｘ1と発音時点Ｘ2と継続長Ｘ3とを表現する第１実施形態と同様の音符図形ＶB1で構成される。すなわち、音指示子ＶBは、音声符号ＶB2を含まない態様（発音文字Ｘ4や音素記号Ｘ5を省略した態様）に簡略化される。

図６に示すように、第４実施形態の編集画面５０は、第１楽譜領域５１と第２楽譜領域５２とに加えて補助領域５３を含んで構成される。表示制御部３２は、第２楽譜領域５２内の音指示子ＶBで省略された音声符号ＶB2を補助領域５３内に表示させる。各発音文字Ｘ4は時間軸に沿って補助領域５３内に等間隔に配列する。なお、図６では発音文字Ｘ4のみを音声符号ＶB2として補助領域５３内に表示したが、発音文字Ｘ4に加えて（または発音文字Ｘ4に代えて）音素記号Ｘ5を補助領域５３内に配置することも可能である。

第４実施形態においても第１実施形態と同様の効果が実現される。また、第４実施形態では、音指示子ＶBにて省略される音声符号ＶB2（発音文字Ｘ4および音素記号Ｘ5の少なくとも一方）が補助領域５３内に表示される。したがって、音指示子ＶBの簡略化により編集画面５０の複雑化を抑制しながら、非選択パートについても音声符号ＶB2を容易に確認できるという格別の効果が実現される。

なお、図６の例示では、音声符号ＶB2を補助領域５３内に等間隔に配列したが、図７に例示するように、補助領域５３のうち時間軸方向における各音指示子ＶAの端点の位置（すなわち非選択パートの１個の音符の発音時点Ｘ2）に音声符号ＶB2を配置することも可能である。図７の構成によれば、第２楽譜領域５２内の非選択パートの各音指示子ＶBと補助領域５３内の各音声符号ＶB2との対応を利用者が容易に把握できるという利点がある。

＜第５実施形態＞
図８は、第５実施形態の編集画面５０（第２楽譜領域５２）の模式図である。編集対象パートの各音指示子ＶAの表示態様は第１実施形態と同様である。他方、第５実施形態における非選択パートの音指示子ＶBは、図８に示すように、音高Ｘ1と発音時点Ｘ2と継続長Ｘ3とを表現する第１実施形態と同様の音符図形ＶB1で構成される。すなわち、音指示子ＶBは、音声符号ＶB2を含まない態様（発音文字Ｘ4や音素記号Ｘ5を省略した態様）に簡略化される。

表示制御部３２は、表示装置２２にポインタ（マウスポインタ）６０を表示させる。利用者は、入力装置２４を適宜に操作してポインタ６０を移動させることで編集画面５０内の任意の位置を指示することが可能である。第２楽譜領域５２内の非選択パートの１個の音指示子ＶBがポインタ６０により指示された場合（例えばポインタ６０が音指示子ＶBの近傍に移動した場合）、表示制御部３２は、音指示子ＶBで省略された音楽情報Ｘを表示装置２２に一時的に表示させる。具体的には、吹出状の図形６２により音声符号ＶB2が音指示子ＶBの近傍（ポインタ６０の近傍）に配置される。なお、図８では発音文字Ｘ4を音声符号ＶB2としたが、発音文字Ｘ4に加えて（または発音文字Ｘ4に代えて）音素記号Ｘ5を音声符号ＶB2として図形６２により表示することも可能である。

第５実施形態においても第１実施形態と同様の効果が実現される。また、第５実施形態では、通常状態（ポインタ６０で指示されない状態）の音指示子ＶBで省略された音楽情報Ｘが、ポインタ６０による指示を契機として一時的に表示される。したがって、音指示子ＶBの簡略化により編集画面５０の複雑化を抑制しながら、非選択パートについても詳細な音楽情報Ｘを確認できるという格別の効果が実現される。

＜第６実施形態＞
図９は、第６実施形態の編集画面５０（第２楽譜領域５２）の模式図である。編集対象パートの各音指示子ＶAは、第１実施形態と同様の音符図形ＶA1および音声符号ＶA2に加えて補助図形ＶA3を含んで構成される。補助図形ＶA3は、単位データＵの付属情報Ｘ6を表現する図像である。図９では、付属情報Ｘ6が指定するビブラートの有無を表現する補助図形ＶA3が例示されている。

他方、非選択パートの音指示子ＶBは、第５実施形態と同様に音符図形ＶB1で構成され、音指示子ＶAの音声符号ＶA2および補助図形ＶA3は、非選択パートの音指示子ＶBでは省略される。すなわち、編集対象パートの音指示子ＶAが６種類の音楽情報Ｘ（Ｘ1〜Ｘ6）を表示するのに対し、非選択パートの音指示子ＶBは、音指示子ＶAの６種類の音楽情報Ｘから発音文字Ｘ4と音素記号Ｘ5と付属情報Ｘ6とを省略した３種類の音楽情報Ｘ（Ｘ1〜Ｘ3）を表現する。

第２楽譜領域５２内の１個の音指示子ＶBがポインタ６０により指示された場合（例えばポインタ６０が音指示子ＶBの近傍に移動した場合）、表示制御部３２は、非選択パートの各音符の発音文字Ｘ4および音素記号Ｘ5を示す音声符号ＶB2と付属情報Ｘ6に応じた補助図形ＶB3（ビブラートの有無）とを、吹出状の図形６２により音指示子ＶBの近傍（ポインタ６０の近傍）に表示させる。

第６実施形態においても第１実施形態と同様の効果が実現される。また、第６実施形態では、音指示子ＶBにて省略された音声符号ＶB2および補助図形ＶB3が、ポインタ６０による指示を契機として一時的に表示される。したがって、音指示子ＶBの簡略化により編集画面５０の複雑化を抑制しながら、非選択パートについても詳細な音楽情報Ｘ（発音文字Ｘ4，音素記号Ｘ5，付属情報Ｘ6）を確認できるという格別の効果が実現される。

＜第７実施形態＞
音高が共通する音符の発音期間が複数のパート（例えば編集対象パートと非選択パート）の間で重複する場合、各パートの音指示子Ｖが第２楽譜領域５２内で重なり合い、一方の音指示子Ｖが他方の音指示子Ｖの背後に隠れて利用者が視認できない可能性がある。以上の事情を考慮して、第７実施形態の表示制御部３２は、音高が共通する音符の発音期間が複数のパートの間で重複する場合に、音符の重複を視覚的に知覚可能な態様で各パート（編集対象パートおよび非選択パート）の音指示子Ｖを表示させる。具体的には以下に例示する各態様が採用され得る。

（１）第１態様
図１０の部分(A)に示すように、編集対象パートのうち非選択パートと重複しない音符の音指示子ＶAの音符図形ＶA1と非選択パートに重複する音符の音指示子ＶAの音符図形ＶA1とを相異なる態様（例えば色彩や階調や明度）で表示する。

（２）第２態様
図１０の部分(B)に示すように、複数のパートの間で重複する音符の音指示子Ｖを、複数の音指示子Ｖの音符図形ＶA1が相互に重複した状態を模式的に表現する画像で表示する。

（３）第３態様
編集対象パートの音指示子ＶAの音符図形ＶA1と非選択パートの音指示子ＶBの音符図形ＶB1とを相異なる態様で表示する構成において、図１０の部分(C)に示すように、音符図形ＶA1と比較して細い図形で表現された音符図形ＶB1を、音符図形ＶA1の前面に重ねて配置する。

（４）第４態様
図１０の部分(D)に示すように、複数のパートの各々の番号を１個のパートの音指示子Ｖの近傍に配置する。編集対象パートの番号は強調表示（例えば番号を丸で囲んだ表示）される。

以上に例示した第７実施形態では、複数の音符の重複を視覚的に知覚可能な態様で各パート（編集対象パートおよび非選択パート）の音指示子Ｖが表示されるから、各音符の重複を利用者が視覚的かつ直観的に把握できるという利点がある。

＜変形例＞
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を適宜に併合することも可能である。

（１）編集対象パートの音指示子ＶAが表現する音楽情報Ｘや非選択パートの音指示子ＶBが表現する音楽情報Ｘは以上の例示に限定されない。編集対象パートの音指示子ＶAを音符図形ＶA1で構成して３種類の音楽情報Ｘ（音高Ｘ1，発音時点Ｘ2，継続長Ｘ3）を表現し、非選択パートの音指示子ＶBを図４の音符図形ＶB1で構成して２種類の音楽情報Ｘ（音高Ｘ1，発音時点Ｘ2）を表現することも可能である。以上の例示から理解されるように、表示制御部３２は、編集対象パートの各音符について音指示子ＶAを表示させる一方、非選択パートの各音符について、編集対象パートの音指示子ＶAを簡略化した態様の音指示子ＶBを表示させる要素として包括され、音指示子ＶAや音指示子ＶBで表現される音楽情報Ｘの種類や総数は前述の例示から適宜に変更される。音指示子ＶBを音指示子ＶAと比較して簡略化した構成の典型例は、前述の各形態での例示から理解される通り、音指示子ＶBで表現される音楽情報Ｘの種類数Ｎ（Ｎ≧２）が、音指示子ＶAで表現される音楽情報Ｘの種類数Ｍ（Ｍ≧３）を下回る構成である（Ｎ＜Ｍ）。

（２）前述の各形態では、楽曲の複数のパートのうち１個のパートを編集対象パートとして選択する場合を例示したが、複数のパートを選択対象パートとして選択できる構成も採用され得る。複数の選択対象パートを選択可能な構成では、利用者が各パートを視覚的に区別できるように、例えば、各音指示子Ｖがパート毎に相異なる態様（色彩や階調や明度等）で表示される。

（３）前述の各形態を適宜に組合わせることも可能である。例えば、第２実施形態で例示した図４の音指示子ＶBを非選択パートの音符毎に表示したうえで、第４実施形態（図６）や第５実施形態（図７）の例示のように非選択パートの各音符の音声符号ＶB2（発音文字Ｘ4，音素記号Ｘ5）を補助領域５３に配置することも可能である。

（４）第５実施形態（図８）ではポインタ６０で指示された音指示子ＶBの近傍に音声符号ＶB2（発音文字Ｘ4）を表示させ、第６実施形態（図９）ではポインタ６０で指示された音指示子ＶBの近傍に音声符号ＶB2と補助図形ＶB3とを表示させたが、ポインタ６０による指示を契機として一時的に表示される音楽情報Ｘは適宜に変更される。例えば、図４の例示のように非選択データについて継続長Ｘ3の表示を省略した構成において、ポインタ６０で指示された音指示子ＶBに対応する音符の継続長Ｘ3の数値を吹出状の図形６２により表示することも可能である。また、入力装置２４に処理の操作（例えば特定の操作子の押下）が付与された場合に、音指示子ＶAと比較して省略された全部の音楽情報Ｘを音指示子ＶBに追加することも可能である。以上の説明から理解されるように、非選択パートの１個の音指示子ＶBがポインタ６０で指示された場合に、その音指示子ＶBに対応する音符のＭ種類の音楽情報Ｘのうち音指示子ＶBにて省略された音楽情報Ｘを表示装置２２に表示させる構成が好適である。

（５）第５実施形態（図８）および第６実施形態（図９）では、非選択パートのうち利用者が選択した１個の音指示子ＶBについて音楽情報Ｘの表示を追加したが、複数の音指示子ＶBが選択され得る構成も採用される。例えば、非選択パートのうち利用者が入力装置２４の操作で任意に選択した複数の音指示子ＶBの各々について、音指示子ＶAと比較して省略された音楽情報Ｘが並列に表示される。

（６）前述の各形態では、音声素片群ＤAと楽曲データＤBとを記憶する記憶装置１４を音声合成装置１００に搭載したが、音声合成装置１００とは独立した外部装置（例えばサーバ装置）が音声素片群ＤAおよび楽曲データＤBの一方または双方を記憶する構成も採用され得る。音声合成装置１００は、例えば通信網を介して音声素片群ＤAまたは楽曲データＤBを取得して、編集画面５０の表示や各音楽データＱの編集や音声信号Ｓの合成を実行する。以上の説明から理解されるように、音声素片群ＤAや楽曲データＤB（音楽データＱ）を記憶する要素（前述の各形態における記憶装置１４）は音声合成装置１００の必須の要素ではない。

（７）前述の各形態では、日本語の音声の合成を例示したが、合成対象となる音声の言語は任意であり、日本語には限定されない。例えば、英語，スペイン語，中国語，韓国語等の任意の言語の音声を生成する場合にも以上の各形態を同様に適用することが可能である。

（８）前述の各形態では、音声合成部３６を含む音声合成装置１００を例示したが、楽曲データＤBを編集するための装置（音楽データ編集装置）としても本発明は実現される。音楽データ編集装置は、例えば図１の音声合成装置１００から音声合成部３６を省略した構成である。音楽データ編集装置に音声合成部３６を追加することで音声合成装置１００が実現されると換言することも可能である。

（９）前述の各形態では、歌唱音等の音声をパート毎に指定する音楽データＱ（楽曲データＤB）を例示したが、音楽データＱで表現される音響は音声に限定されない。例えば、楽器の演奏音等の楽音を指定する音楽データＱ（例えば楽音の合成に適用される音楽データＱ）を編集および表示する場合にも、前述の各形態と同様に本発明を適用することが可能である。例えば図１１に示すように、選択パート（例えばバイオリン）については音符図形ＶA1と補助図形ＶA3（音高の微小な変動を表現する図形）とを含む音指示子ＶAが音楽データＱに応じて音符毎に表示され、非選択パート（例えばトランペット）については、音符図形ＶA1とは態様が相違する音符図形ＶB1が音指示子ＶBとして音楽データＱに応じて音符毎に表示される。すなわち、非選択パートの各音符を示す音指示子ＶBでは補助図形ＶA3の表示が省略される。また、音声符号ＶB2（発音文字Ｘ4，音素記号Ｘ5）は音指示子ＶAおよび音指示子ＶBの何れにも表示されない。

１００……音声合成装置、１２……演算処理装置、１４……記憶装置、２２……表示装置、２４……入力装置、２６……放音装置、３２……表示制御部、３４……編集処理部、３６……音声合成部。

Claims (4)

1. 楽曲の複数のパートの各々に対応し、音高と発音時点と継続長とを含む複数種の音楽情報を音符毎に指定する音楽データを編集する装置であって、
   前記複数のパートのうち編集対象パートの音楽データを編集する編集処理手段と、
   音高軸と時間軸とが設定された楽譜領域のうち前記音楽データが指定する音高および発音時点に応じた位置に前記複数のパートの各音符に対応する音指示子を配置した編集画面を表示装置に表示させる手段であって、前記編集対象パートについては音高および発音時点を含むＭ種類（Ｍ≧３）の音楽情報を表現する音指示子を表示させる一方、前記編集対象パート以外の非選択パートについては、前記Ｍ種類の音楽情報のうち音高および発音時点を含むＮ種類（Ｎ＜Ｍ）の音楽情報を表現する音指示子を表示させる表示制御手段と
   を具備し、
   前記表示制御手段は、前記編集対象パートの各音符について、時間軸方向の長さが継続長に応じて選定された音符図形を含む前記音指示子を表示させる一方、前記非選択パートの各音符について、時間軸方向の長さが所定値に固定された音符図形を含む前記音指示子を表示させる
   音楽データ編集装置。
2. 前記音楽データは、発音内容を示す音声符号を音楽情報として指定し、
   前記表示制御手段は、前記編集対象パートの各音符について、音符図形の内側または周囲に音声符号を配置した前記音指示子を表示させる一方、前記非選択パートの各音符について、前記音声符号を省略した音指示子を表示させ、前記楽譜領域とは相違する補助領域に前記非選択パートの各音符の音声符号を表示させる
   請求項１の音楽データ編集装置。
3. 前記表示制御手段は、前記楽譜領域内の位置を利用者が指定するためのポインタが前記非選択パートの一の音指示子を指示する場合に、前記一の音指示子が示す音符の前記Ｍ種類の音楽情報のうち前記一の音指示子にて省略された音楽情報を前記表示装置に表示させる
   請求項１または請求項２の音楽データ編集装置。
4. 楽曲の複数のパートの各々に対応し、音高と発音時点と継続長とを含む複数種の音楽情報を音符毎に指定する音楽データを編集する方法であって、
   コンピュータシステムが、
   前記複数のパートのうち編集対象パートの音楽データを編集し、
   音高軸と時間軸とが設定された楽譜領域のうち前記音楽データが指定する音高および発音時点に応じた位置に前記複数のパートの各音符に対応する音指示子を配置した編集画面を表示装置に表示させ、
   前記編集画面の表示においては、前記編集対象パートについては音高および発音時点を含むＭ種類（Ｍ≧３）の音楽情報を表現する音指示子を表示させる一方、前記編集対象パート以外の非選択パートについては、前記Ｍ種類の音楽情報のうち音高および発音時点を含むＮ種類（Ｎ＜Ｍ）の音楽情報を表現する音指示子を表示させ、
   前記編集対象パートの各音符について、時間軸方向の長さが継続長に応じて選定された音符図形を含む前記音指示子を表示させる一方、前記非選択パートの各音符について、時間軸方向の長さが所定値に固定された音符図形を含む前記音指示子を表示させる
   音楽データ編集方法。

Images