JP6070010B2

JP6070010B2 - 音楽データ表示装置および音楽データ表示方法

Info

Publication number: JP6070010B2
Application number: JP2012209486A
Authority: JP
Inventors: 入山　達也; 達也入山
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2011-11-04
Filing date: 2012-09-24
Publication date: 2017-02-01
Anticipated expiration: 2032-09-24
Also published as: EP2590162A1; CN103093750A; CN103093750B; US8975500B2; JP2013117712A; US20130112062A1; EP2590162B1

Description

本発明は、音楽データを表示する技術に関する。

音楽データが指定する音符の時系列を表示装置に表示させる技術が従来から提案されている。例えば特許文献１には、楽曲の各音符を表現する図形（以下「音符図形」という）を、音高軸と時間軸とが設定されたピアノロール型の楽譜領域に表示し、各音符に付与された音声符号（例えば例えば歌唱曲の各音符に対応する歌詞）を音符図形の内側に配置する技術が開示されている。

特開２０１１−１２８１８６号公報

ところで、楽譜領域の表示倍率を低下させた場合（例えば時間軸方向に縮小表示した場合）には、音符図形が縮小されるから、所定の表示サイズの音声符号が音声図形の内側に入りきらない可能性がある。音符図形の縮小に連動して音声符号の表示サイズを縮小すれば音声図形の内側に音声符号を配置することも可能であるが、利用者が音声符号を視認し難いという問題がある。なお、以上の説明では歌詞等の音声符号を例示したが、各音符に関連する各種の情報（例えばビブラート等の音楽的な表情を示す文字列や記号）を音符図形に併記する場合にも同様の問題が発生し得る。以上の事情を考慮して、本発明は、楽譜領域を縮小表示する場合でも各音符に関連する情報の視認性を確保することを目的とする。

以上の課題を解決するために本発明が採用する手段を説明する。なお、本発明の理解を容易にするために、以下の説明では、本発明の要素と後述の実施形態の要素との対応を括弧書で付記するが、本発明の範囲を実施形態の例示に限定する趣旨ではない。

本発明の音楽データ表示装置は、音高軸と時間軸とが設定された楽譜領域のうち音楽データが指定する音高および発音時点に応じた位置に、音楽データが指定する継続長に応じて時間軸方向の長さが設定された音符図形を音符毎に表示させる手段であって、第１表示状態では、音楽データが各音符に指定する関連情報を当該音符の音符図形の内側に配置し、楽譜領域の表示倍率（特に時間軸方向の表示倍率）が第１表示状態よりも低い第２表示状態では、音楽データが各音符に指定する関連情報を当該音符の音符図形の外側に配置する表示制御手段（例えば表示制御部３２）とを具備する。なお、音高と発音時点と継続長と関連情報とを音符毎に指定する音楽データは記憶手段（例えば記憶装置１４）に記憶され得る。以上の構成では、楽譜領域の表示倍率が高い第１表示状態においては各音符図形の内側に関連情報が配置され、楽譜領域の表示倍率が低い第２表示状態においては各音符図形の外側に関連情報が配置される。したがって、楽譜領域を縮小表示する場合でも、利用者が容易に視認可能な適切な態様で関連情報を表示することが可能である。なお、関連情報は、音符に関連する任意の情報（属性情報）である。例えば音符に付与された音声符号（歌詞や音素記号）が関連情報として例示され得る。

本発明の好適な態様において、表示制御手段は、第２表示状態において、各音符の関連情報を、楽譜領域内の当該音符の音符図形の周囲に配置する。以上の態様では、各音符の関連情報が楽譜領域内の当該音符の音符図形の周囲に配置されるから、各音符図形と各関連情報との関係を利用者が容易に把握できるという利点がある。以上の態様の具体例は、例えば第１実施形態から第６実施形態として後述される。

本発明の好適な態様において、表示制御手段は、第２表示状態において、楽譜領域内の複数の音符図形が示す各音符の関連情報のうちの一部の関連情報を、楽譜領域内に時間軸方向に配列する。以上の態様では、複数の関連情報のうちの一部の関連情報が選択的に楽譜領域内に配置されるから、表示倍率が極端に低下した場合でも、部分的ではあるが利用者が関連情報を視認できるという効果が実現される。以上の態様の具体例は、例えば第３実施形態として後述される。

本発明の好適な態様において、表示制御手段は、第２表示状態において、楽譜領域内の複数の音符図形が示す各音符の関連情報を、楽譜領域内に音高軸方向に配列する。以上の態様では、複数の関連情報が楽譜領域内に音高軸方向に配列されるから、複数の関連情報を時間軸方向に配列する場合と比較して各関連情報の表示サイズを確保し易いという利点がある。以上の態様の具体例は、例えば第４実施形態として後述される。

本発明の好適な態様において、表示制御手段は、第２表示状態において、楽譜領域内の位置を利用者が指定するためのポインタが一の音符図形を指示する場合に、一の音符図形が示す音符の関連情報を一の音符図形の周囲に表示させる。以上の態様では、ポインタで指示された音符図形に対応する関連情報がその音符図形の周囲に表示されるから、音符図形が指示されない場合の楽譜領域内の表示が簡素化される一方、所望の音符の関連情報を利用者が任意に確認できるという利点がある。以上の態様の具体例は、例えば第５実施形態や第６実施形態として後述される。なお、以上の構成は、利用者が１個の音符図形のみを指定する場合に加えて複数の音符図形を指定する場合も当然に包含する。利用者が複数の音符図形を指定した場合には音符図形毎に関連情報が表示される。

本発明の好適な態様において、表示制御手段は、第２表示状態において、各音符の関連情報を、楽譜領域とは別個の補助領域に配置する。以上の態様では、各音符図形が配置される楽譜領域とは別個の補助領域に各音符の関連情報が表示されるから、音符図形および関連情報の双方が楽譜領域内に配置される構成と比較して、各音符の時系列と各音符の関連情報とを個別に確認する作業が容易化される。なお、補助領域のうち時間軸方向における各音符の発音時点に対応する位置に当該音符の関連情報を配置する構成によれば、各音符図形と各関連情報との対応を利用者が容易に把握できるという利点がある。以上の各態様の具体例は、例えば第７実施形態として後述される。

以上の各態様に係る音楽データ表示装置は、音楽データの表示に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）で実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働でも実現される。本発明のプログラムは、コンピュータに、音高軸と時間軸とが設定された楽譜領域のうち音楽データが指定する音高および発音時点に応じた位置に、音楽データが指定する継続長に応じて時間軸方向の長さが設定された音符図形を音符毎に表示させる処理であって、第１表示状態では、音楽データが各音符に指定する関連情報を当該音符の音符図形の内側に配置し、楽譜領域の表示倍率が第１表示状態よりも低い第２表示状態では、音楽データが各音符に指定する関連情報を当該音符の音符図形の外側に配置する表示制御処理を実行させる。以上のプログラムによれば、本発明の音楽データ表示装置と同様の作用および効果が実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされるほか、通信網を介した配信の形態で提供されてコンピュータにインストールされる。

本発明の第１実施形態に係る音声合成装置のブロック図である。音楽データの模式図である。第１表示状態における編集画面の模式図である。第２表示状態における編集画面の模式図である。表示制御部の動作のフローチャートである。第２実施形態における第２表示状態の編集画面の模式図である。第３実施形態における第２表示状態の編集画面の模式図である。第３実施形態の変形例における第２表示状態の編集画面の模式図である。第４実施形態における第２表示状態の編集画面の模式図である。第５実施形態における第２表示状態の編集画面の模式図である。第６実施形態における第１表示状態の編集画面の模式図である。第６実施形態における第２表示状態の編集画面の模式図である。第７実施形態における第２表示状態の編集画面の模式図である。第７実施形態の変形例における第２表示状態の編集画面の模式図である。第８実施形態における第２表示状態の編集画面の模式図である。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る音声合成装置１００のブロック図である。音声合成装置１００は、素片接続型の音声合成で歌唱音の音声信号Ｓを生成する信号処理装置であり、図１に示すように、演算処理装置１２と記憶装置１４と表示装置２２と入力装置２４と放音装置２６とを具備するコンピュータシステムで実現される。例えば据置型の情報処理装置（パーソナルコンピュータ）や携帯型の情報処理装置（携帯電話機や携帯情報端末）で音声合成装置１００は実現される。

演算処理装置１２は、記憶装置１４に格納されたプログラムＰGMを実行することで複数の機能（表示制御部３２，編集処理部３４，音声合成部３６）を実現する。なお、演算処理装置１２の各機能を複数の集積回路に分散した構成や、専用の電子回路（例えばＤＳＰ）が一部の機能を実現する構成も採用され得る。

表示装置２２（例えば液晶表示装置）は、演算処理装置１２が指示する画像を表示する。入力装置２４は、利用者からの指示を受付ける機器（例えばマウス等のポインティングデバイスやキーボード）である。なお、表示装置２２と一体に構成されたタッチパネルを入力装置２４として採用することも可能である。放音装置２６（例えばヘッドホンやスピーカ）は、演算処理装置１２が生成した音声信号Ｓに応じた音波を放射する。

記憶装置１４は、演算処理装置１２が実行するプログラムＰGMや演算処理装置１２が使用する各種のデータ（音声素片群ＤA，音楽データＤB）を記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数の記録媒体の組合せが記憶装置１４として採用される。

音声素片群ＤAは、相異なる音声素片に対応する複数の素片データ（例えば音声素片の波形のサンプル系列）で構成されて音声合成の素材として使用される音声合成ライブラリである。音声素片は、言語的な意味の区別の最小単位である音素（例えば母音や子音）、または複数の音素を連結した音素連鎖（例えばダイフォンやトライフォン）である。

音楽データＤBは、楽曲を構成する音符の時系列を指定するデータであり、図２に示すように、楽曲の各音符に対応する複数の単位データＵを含んで構成される。各単位データＵは、音高Ｘ1と発音時点Ｘ2と継続長Ｘ3と音声符号Ｘ4とを指定する。音高Ｘ1は音符の音高（実際には各音高に付与されたノートナンバ）である。発音時点Ｘ2は発音が開始する時刻（発音時刻）を意味し、継続長Ｘ3は音符の発音が継続する時間（音価）を意味する。すなわち、発音時点Ｘ2と継続長Ｘ3とで音符の発音期間が規定される。音声符号Ｘ4は、歌詞等の発音内容を示す符号である。以下の説明では歌詞（書記素）を音声符号Ｘ4として例示する。

図１の表示制御部３２は、音楽データＤBの内容を利用者が確認する図３の編集画面５０を表示装置２２に表示させる。図３に示すように、第１実施形態の編集画面５０は、楽譜領域５１を含んで構成される。楽譜領域５１は、相互に交差する時間軸（横軸）および音高軸（縦軸）が設定されたピアノロール型の座標平面である。図３において時間軸方向に等間隔に配列された縦方向の破線Ｌは、楽曲内の１拍分に相当する期間の境界線（以下「拍線」という）を意味する。すなわち、時間軸上で相互に隣合う２本の拍線Ｌの間隔が楽曲の１拍分の時間長に相当する。

楽譜領域５１には、音楽データＤBが指定する各音符を表現する音符図形Ｖが時系列に配置される。第１実施形態の音符図形Ｖは矩形状の図形である。音楽データＤBに対応する楽曲のうちの一部の区間（以下「表示対象区間」という）内の音符について音符図形Ｖが楽譜領域５１に表示される。音高軸方向における音符図形Ｖの位置は音楽データＤBの音高Ｘ1に応じて設定され、時間軸方向における音符図形Ｖの位置は音楽データＤBの発音時点Ｘ2に応じて設定される。また、時間軸方向における音符図形Ｖの表示長は音楽データＤBの継続長Ｘ3に応じて設定される。すなわち、継続長Ｘ3が長いほど音符図形Ｖの表示長は増加する。以上の説明から理解される通り、第１実施形態の音符図形Ｖは、合成すべき音の音高Ｘ1と発音時点Ｘ2と継続長Ｘ3とを表現する。

図３に示すように、編集画面５０は、楽譜領域５１の時間軸方向の表示倍率Ｒを利用者が変更するための操作子画像（スライダ）５２を含む。利用者は、入力装置２４を使用して操作子画像５２を適宜に操作することが可能である。表示制御部３２は、操作子画像５２に対する利用者からの指示に応じて表示倍率Ｒを可変に設定する。

表示倍率Ｒは、楽譜領域５１内での楽曲の単位時間（例えば楽曲の１拍分の時間長）の表示上の長さに相当する。したがって、表示倍率Ｒが増加する（楽譜領域５１内での単位時間の表示長が長くなる）ほど楽曲内の表示対象区間は短くなり、楽曲のうち楽譜領域５１内に表示される小節数や拍数が減少する（拍線Ｌの間隔が拡大する）とともに各音符図形Ｖは時間軸方向に拡大する。他方、表示倍率Ｒが減少する（楽譜領域５１内での単位時間の表示長が短くなる）ほど楽曲内の表示対象区間は長くなり、楽曲のうち楽譜領域５１内に表示される小節数や拍数が増加する（拍線Ｌの間隔が縮小する）とともに音符図形Ｖは時間軸方向に縮小される。なお、表示倍率Ｒを変化させた場合でも楽譜領域５１自体の表示サイズは変化しない。

表示制御部３２は、音楽データＤBが各音符に指定する音声符号Ｘ4を表示倍率Ｒに応じた位置に表示させる。具体的には、表示制御部３２は、表示倍率Ｒが高い第１表示状態と表示倍率Ｒが低い第２表示状態とで音声符号Ｘ4の表示位置を変化させる。第１表示状態は、例えば音楽データＤBが指定する複数の音符のうち最短の音符を示す音符図形Ｖの時間軸方向の表示長が所定値を上回る状態（表示倍率Ｒが閾値を上回る場合）であり、第２表示状態は、例えば音楽データＤBが指定する複数の音符のうち最短の音符を示す音符図形Ｖの時間軸方向の表示長が所定値を下回る状態（表示倍率Ｒが閾値を下回る場合）である。図３は、第１表示状態での編集画面５０の表示例であり、図４は、第２表示状態での編集画面５０の表示例である。

図３に示すように、第１表示状態では、表示制御部３２は、音楽データＤBが表示対象区間内の各音符に指定する音声符号Ｘ4を、その音符の音符図形Ｖの輪郭線の内側に配置する。すなわち、音声符号Ｘ4は音符図形Ｖに重ねて表示される。

他方、表示倍率Ｒが第１表示状態と比較して低い第２表示状態では、表示制御部３２は、図４に示すように、音楽データＤBが表示対象区間内の各音符に指定する音声符号Ｘ4を各音符図形Ｖの外側に配置する。例えば、各音符の音符図形Ｖの底辺から音高軸方向の負側（下方）に所定距離だけ離間した位置にその音符の音声符号Ｘ4が配置される。音声符号Ｘ4の時間軸方向の位置は、音符図形Ｖと同様に発音時点Ｘ2に応じて選定される。

以上に説明した通り、通常表示時（第１表示状態）には音符図形Ｖの内側に表示される音声符号Ｘ4が、縮小表示時（第２表示状態）には音符図形Ｖの外側に表示される。すなわち、音符図形Ｖの内側に音声符号Ｘ4が配置された第１表示状態で表示倍率Ｒを徐々に低下させていくと、各音符図形Ｖが時間軸方向に徐々に縮小していき、音符図形Ｖの時間軸方向の表示長が所定値を下回る段階（表示倍率Ｒが閾値を下回る段階）で第２表示状態に移行して、音声符号Ｘ4が各音符図形Ｖの内側から外側に移動する。音声符号Ｘ4の表示サイズは第１表示状態と第２表示状態とで同等である。

図５は、表示制御部３２が表示倍率Ｒに応じて表示画像（音声符号Ｘ4の表示位置）を制御する動作のフローチャートである。表示倍率Ｒの指定（変更）を入力装置２４の操作で利用者が指示するたびに図５の処理が実行される。なお、編集画面５０の表示が開始された当初は例えば第１表示状態が選択される。

図５の処理を開始すると、表示制御部３２は、利用者から指示された表示倍率（変更後の表示倍率）Ｒが所定の閾値ＲTHを上回るか否かを判定する（Ｓ1）。表示倍率Ｒが閾値ＲTHを上回る場合（Ｓ1：YES）、表示制御部３２は、第１表示状態を選択する（Ｓ2）。すなわち、各音符の音声符号Ｘ4が音符図形Ｖの内側に配置される。他方、表示倍率Ｒが閾値ＲTH以下である場合（Ｓ1：NO）、表示制御部３２は、第２表示状態を選択する（Ｓ3）。すなわち、各音符の音声符号Ｘ4が音符図形Ｖの外側に配置される。表示倍率Ｒの指定毎（変更毎）に以上の動作が実行される結果、表示倍率Ｒに応じた表示態様（第１表示状態／第２表示状態）で各音符の音声符号Ｘ4が表示される。

図１の編集処理部３４は、楽譜領域５１に対する利用者からの指示に応じて音楽データＤBを編集する。例えば楽譜領域５１内の既存の音符図形Ｖの位置の変更が指示された場合、その音符図形Ｖに対応する単位データＵの音高Ｘ1および発音時点Ｘ2が変更され、音符図形Ｖの長さの変更が指示された場合には単位データＵの継続長Ｘ3が変更される。また、各音符図形Ｖに対応する音声符号Ｘ4の変更または追加が指示された場合、その音符図形Ｖに対応する単位データＵの音声符号Ｘ4が変更または追加される。また、音符図形Ｖの追加が指示された場合にはその音符図形Ｖに対応する単位データＵが音楽データＤBに追加される。

図１の音声合成部３６は、音声素片群ＤAと音楽データＤBとを利用して音声信号Ｓを生成する。具体的には、音声合成部３６は、第１に、音楽データＤBが各音符に指定する音声符号Ｘ4に対応する音声素片の素片データを音声素片群ＤAから順次に選択し、第２に、各素片データを、単位データＵが指定する音高Ｘ1および継続長Ｘ3に調整する。第３に、音声合成部３６は、調整後の素片データを、各単位データＵが指定する発音時点Ｘ2に配置して相互に連結することで音声信号Ｓを生成する。音声合成部３６が生成した音声信号Ｓが放音装置２６に供給されて音波として再生される。

以上に説明したように、第１表示状態では音声符号Ｘ4が音符図形Ｖの内側に表示され、第１表示状態と比較して表示倍率Ｒが低い第２表示状態では音声符号Ｘ4が音符図形Ｖの外側に表示される。したがって、第１実施形態によれば、楽譜領域５１を縮小表示する場合でも音声符号Ｘ4の視認性を充分に確保できるという利点がある。なお、各音符（音符図形Ｖ）と音声符号Ｘ4との対応を明確化するという観点からは音声符号Ｘ4を音符図形Ｖの内側に配置した表示が有利である。すなわち、第１実施形態によれば、第１表示状態および第２表示状態の双方にて音声符号Ｘ4を音符図形Ｖの外側に表示する構成と比較すると、第１表示状態にて音符図形Ｖと音声符号Ｘ4との対応を明確に把握できるという利点がある。ただし、第２表示状態でも音声符号Ｘ4は音符図形Ｖの周囲に配置されるから、音声符号Ｘ4と音符図形Ｖとの対応を把握することは可能である。

＜第２実施形態＞
本発明の第２実施形態を説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。

図６は、第２実施形態における第２表示状態での編集画面５０の模式図である。第１実施形態では、第２表示状態において音高軸方向における音声符号Ｘ4の位置を音符毎に相違させた。第２実施形態では、図６に示すように、楽譜領域５１内の複数の音声符号Ｘ4が時間軸方向に１列に配列される。具体的には、表示制御部３２は、楽譜領域５１内の先頭（最左方）の音符図形Ｖの底辺から所定距離だけ下方の位置に、楽譜領域５１内の複数の音声符号Ｘ4を直線状に配列する。すなわち、音高軸方向の位置は複数の音声符号Ｘ4について共通する。各音声符号Ｘ4の時間軸方向の位置は、第１実施形態と同様に、各音符の発音時点Ｘ2に応じて選定される。なお、第１表示状態での表示画像は第１実施形態と同様である。

第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、複数の音声符号Ｘ4が時間軸方向に直線状に配列されるから、第１実施形態と比較して音声符号Ｘ4の時系列を利用者が確認し易いという利点がある。

＜第３実施形態＞
図７は、第３実施形態における編集画面５０の模式図である。図７では、図６に例示した第２表示状態から更に表示倍率Ｒを低下させた場合の編集画面５０の表示例が図示されている。なお、第１表示状態での表示画像は第１実施形態と同様である。

第２表示状態のもとで表示倍率Ｒが所定の閾値を下回ると、表示制御部３２は、楽譜領域５１内の各音符に対応する複数の音声符号Ｘ4の時系列を時間軸上で前方部分と後方部分とに区分し、図７に示すように、前方部分のみを楽譜領域５１内（各音符図形Ｖの外側）に配置する。すなわち、後方部分の表示は省略される。図７では、表示対象区間内の「さいたさいた」という音声符号Ｘ4の時系列が前半部分の「さいた」と後半部分の「さいた」とに区分されて後半部分の表示を省略した場合が例示されている。複数の音声符号Ｘ4を前方部分と後方部分とに区分する方法は任意であるが、例えば、楽曲内の休符（例えば相前後する各音符の発音期間が時間軸上で相互に離間する時点）や利用者が指定した時点を境界として複数の音声符号Ｘ4の時系列を前方部分と後方部分とに区分することが可能である。

第３実施形態においても第１実施形態と同様の効果が実現される。また、第３実施形態では、表示倍率Ｒを低下させた場合に複数の音声符号Ｘ4の一部が省略されて残余の部分のみが表示されるから、表示倍率Ｒを極端に低下させた場合でも利用者が音声符号Ｘ4を部分的ではあるが確認できるという利点がある。

なお、楽曲内の休符を境界として音符図形Ｖの時系列を複数の集合（以下「フレーズ」という）に区分し、フレーズ毎に音声符号Ｘ4の時系列を配置することも可能である。例えば図８では、「さいたさいた」という音声符号Ｘ4のフレーズと「ちゅーりっぷのはなが」という音声符号Ｘ4のフレーズとを相前後する位置に指定した場合が例示されている。各フレーズの音声符号Ｘ4は、フレーズ内の先頭の音符図形Ｖに対応する位置（音符図形Ｖの始点の位置）から後方に配列され、直後のフレームと重複しないように音声符号Ｘ4の一部（末尾側）が省略される。例えば図８の例示では、前方のフレーズの音声符号Ｘ4である「さいたさいた」のうち先頭側の「さい」に後続する音声符号Ｘ4が省略され、後方のフレーズの音声符号Ｘ4である「ちゅーりっぷのはなが」のうち先頭側の「ちゅーりっ」に後続する音声符号Ｘ4が省略されている。なお、図８の例示から理解されるように、音声符号Ｘ4の位置を音符図形Ｖに応じて変化させる構成も好適である。また、音声符号Ｘ4と音符図形Ｖとを相互に重複して表示する（音声符号Ｘ4および音符図形Ｖの一方が他方の前面に配置される）ことも可能である。

＜第４実施形態＞
図９は、第４実施形態における編集画面５０の模式図である。図９では、図７と同様に、図６に例示した第２表示状態から更に表示倍率Ｒを低下させた場合の編集画面５０の表示例が図示されている。なお、第１表示状態での表示画像は第１実施形態と同様である。

第２表示状態のもとで表示倍率Ｒが所定の閾値を下回ると、表示制御部３２は、楽譜領域５１内の各音符に対応する複数の音声符号Ｘ4の時系列を複数の部分（以下「部分符号列」という）に区分し、図９に示すように、各部分符号列の複数の音声符号Ｘ4を音高軸方向に配列する。具体的には、各部分符号列のうち先頭の音声符号Ｘ4に対応する音符図形Ｖの底辺から所定距離だけ下方の位置を始点として、その部分符号列の複数の音声符号Ｘ4が音高軸方向に配列される。図９では、表示対象区間内の「さいたさいた」という音声符号Ｘ4の時系列が、前半の「さいた」の部分符号列と後半の「さいた」の部分符号列とに区分された場合が例示されている。複数の音声符号Ｘ4を各部分符号列に区分する方法は任意であるが、例えば、楽曲内の休符や利用者が指定した時点を境界として複数の音声符号Ｘ4の時系列を複数の部分符号列に区分することが可能である。

第４実施形態においても第１実施形態と同様の効果が実現される。また、第４実施形態では、表示倍率Ｒを低下させた場合に複数の音声符号Ｘ4の配列方向が時間軸方向から音高軸方向（縦方向）に変更されるから、表示倍率Ｒを極端に低下させた場合でも音声符号Ｘ4を適切に配置できるという利点がある。

＜第５実施形態＞
図１０は、第５実施形態における第２表示状態での編集画面５０の模式図である。図１０に示すように、表示制御部３２は、表示画面の任意の位置を利用者が指示するためのポインタ（例えばマウスポインタ）６０を表示装置２２に表示させる。利用者は、入力装置２４を適宜に操作することでポインタ６０を任意の位置に移動させることが可能である。

表示倍率Ｒが低い第２表示状態では、楽曲の表示対象区間内の各音符に対応する音符図形Ｖが楽譜領域５１内に配置される。また、第５実施形態では、第２表示状態においてポインタ６０が何れの音符図形Ｖも指示しない場合には、各音符の音声符号Ｘ4は表示されない。すなわち、第１表示状態から表示倍率Ｒを低下させていくと第２表示状態に移行した時点で各音符の音声符号Ｘ4が消去される。

第２表示状態において、楽譜領域５１内の１個の音符図形Ｖがポインタ６０により指示された場合（例えばポインタ６０が音符図形Ｖの近傍に移動した場合）、表示制御部３２は、その音符図形Ｖが示す音符の音声符号Ｘ4を表示装置２２に表示させる。具体的には、図１０に示すように、吹出状の図形６２により音声符号Ｘ4が音符図形Ｖの周囲（ポインタ６０の近傍）に配置される。ポインタ６０による音符図形Ｖの指示が解除された場合（例えばポインタ６０が音符図形Ｖから離間した場合）、音声符号Ｘ4の表示（図形６２）は消去される。すなわち、第５実施形態では、楽譜領域５１内に表示された複数の音符のうち利用者が指示した音符の音声符号Ｘ4がその音符の音符図形Ｖの周囲に一時的に表示される。なお、第１表示状態での表示画像は第１実施形態と同様である。

第５実施形態においても第１実施形態と同様の効果が実現される。また、第５実施形態では、利用者が何れの音符図形Ｖも指示しない状態では音声符号Ｘ4の表示が省略されるから、楽譜領域５１が簡素化されて各音符図形Ｖ（楽曲内の各音符の時系列）を利用者が容易に確認できるという利点がある。他方、利用者の指示に応じて音声符号Ｘ4が音符図形Ｖの周囲に表示されるから、音声符号Ｘ4の視認性は充分に確保される。

なお、以上の説明では、利用者が選択した１個の音符図形Ｖの周囲に音声符号Ｘ4を配置したが、利用者が複数の音符図形Ｖを任意に選択できる構成も好適である。利用者が選択した複数の音符図形Ｖの各々について音声符号Ｘ4が表示される。また、入力装置２４に所定の操作（例えば特定の操作子の押下）が付与された場合に、指定済の全部の音符の音声符号Ｘ4または特定の一部の音符の音声符号Ｘ4を表示する構成も採用され得る。

＜第６実施形態＞
図１１は、第６実施形態における第１表示状態での編集画面５０の模式図である。図１１に示すように、第１表示状態では、音符図形Ｖと音声符号Ｘ4と補助図形Ｗとが音符毎に楽譜領域５１内に配置される。第１実施形態と同様に、第１表示状態では音声符号Ｘ4は音符図形Ｖの内側に配置される。

補助図形Ｗは、各音符の音楽的な特性を示す付属情報を模式化した図形である。付属情報は例えば音楽データＤB内に設定され、例えば音符の音量（ベロシティ）やビブラートの態様（深さや時間），明瞭度（発音時の開口の度合），音高の揺らぎ（ピッチベンド），ポルタメントの有無等の表情パラメータを指定する。図１１では、付属情報で指定されるビブラートの付加を表現する補助図形Ｗが例示されている。

図１２は、第６実施形態における第２表示状態での編集画面５０の模式図である。図１２に示すように、表示倍率Ｒが低い第２表示状態では、第１実施形態と同様に音符図形Ｖが第１表示状態と比較して時間軸方向に縮小され、補助図形Ｗも表示倍率Ｒの低下に連動して時間軸方向に縮小される。また、第２表示状態においてポインタ６０が何れの音符図形Ｖも指示しない場合には、各音符の音声符号Ｘ4は非表示に設定される。

第２表示状態において楽譜領域５１内の１個の音符図形Ｖがポインタ６０により指示された場合、表示制御部３２は、図１２に示すように、その音符図形Ｖに対応する音符の音符図形Ｖ'と音声符号Ｘ4と補助図形Ｗ'とを、第１表示状態と同様の形態で、利用者が指示した音符図形Ｖの周囲に配置する。具体的には、利用者が指示した音符図形Ｖの周囲に吹出状の図形６２が配置され、図形６２の内側に音符図形Ｖ'と音声符号Ｘ4と補助図形Ｗ'とが配置される。なお、利用者が複数の音符図形Ｖを選択できる構成とし、利用者が選択した複数の音符図形Ｖの各々について音声符号Ｖ'と音声符号Ｘ4と補助図形Ｗ'とを表示することも可能である。

第６実施形態においても第１実施形態と同様の効果が実現される。また、第６実施形態では、第２表示状態において１個の音符が指示された場合にその音符の付属情報を表現する補助図形Ｗが音声符号Ｘ4とともに音符図形Ｖの周囲に表示されるから、第２表示状態で各音符の音声符号Ｘ4の表示を省略することで楽譜領域５１を簡素化しながら、各音符の音楽情報（音声符号Ｘ4や付属情報）を利用者が詳細に確認できるという利点がある。

＜第７実施形態＞
図１３は、第７実施形態における第２表示状態での編集画面５０の模式図である。図１３に示すように、第７実施形態の編集画面５０は、各音符の音符図形Ｖが配置される楽譜領域５１に加えて補助領域５３を含んで構成される。表示倍率Ｒが低い第２表示状態では、表示制御部３２は、表示対象区間内の各音符に対応する音声符号Ｘ4を補助領域５３内に表示させる。具体的には、各音声符号Ｘ4が時間軸に沿って補助領域５３内に等間隔に配列される。楽譜領域５１内に音声符号Ｘ4は表示されない。また、第１表示状態では、第１実施形態と同様に楽譜領域５１内の各音符図形Ｖの内側に音声符号Ｘ4が配置され、補助領域５３に音声符号Ｘ4は表示されない。

第７実施形態においても第１実施形態と同様の効果が実現される。また、第７実施形態の第２表示状態では、楽譜領域５１とは別個の補助領域５３に各音符の音声符号Ｘ4が配置されるから、音声符号Ｘ4が音符図形Ｖとともに楽譜領域５１内に表示される構成と比較して音声符号Ｘ4の時系列を利用者が視認し易いという利点がある。

なお、図１３の例示では、複数の音声符号Ｘ4を補助領域５３内に等間隔に配列したが、図１４に示すように、補助領域５３のうち時間軸方向における各音符図形Ｖの端点の位置（すなわち音符の発音時点Ｘ2）に音声符号Ｘ4を配置することも可能である。図１４の構成によれば、楽譜領域５１内の各音符図形Ｖと補助領域５３内の各音声符号Ｘ4との対応を利用者が容易に把握できるという利点がある。

以上の各形態の説明から理解されるように、第２表示状態における音声符号Ｘ4の表示位置は、音符図形Ｖの外側として包括される。すなわち、音符図形Ｖの外側とは、第１実施形態から第６実施形態に例示した音符図形Ｖの周囲（楽譜領域５１内）と、第７実施形態に例示した補助領域５３内とを少なくとも包含する。他方、第１表示状態における音声符号Ｘ4の表示位置は、音符図形Ｖの内側（音符図形Ｖの輪郭線の内部）として包括される。

＜第８実施形態＞
以上に説明した各形態では、表示倍率Ｒを低下させた場合に、音声符号Ｘ4を内部に表示できない程度の長さまで音符図形Ｖが時間軸方向に縮小される構成を例示した。第８実施形態では、図１５に示すように、表示倍率Ｒが閾値を下回る場合（第２表示状態）に、音符図形Ｖの時間軸方向の表示長を所定長（以下「基準長」という）Ｑに設定する。すなわち、各音符図形Ｖは表示倍率Ｒの低下に連動して時間軸方向に縮小されるが、基準長Ｑを下回る表示長までは縮小されない。したがって、表示倍率Ｒが閾値を下回る第２表示状態では、音符図形Ｖの時間軸方向の表示長（基準長Ｑ）は、各音符の実際の継続長Ｘ3に対応する表示長ｑを上回る。基準長Ｑは、音声符号Ｘ4を音符図形Ｖの内側に適切に表示できる長さに設定され、第２表示状態においても各音符の音声符号Ｘ4は音符図形Ｖの内側に配置される。

第８実施形態においては、表示倍率Ｒが閾値を下回る場合でも音符図形Ｖの時間軸方向の表示長が基準長Ｑに維持されて音声符号Ｘ4は音符図形Ｖの内側に配置される。したがって、楽譜領域５１を縮小表示した場合でも音声符号Ｘ4の視認性を確保できるという利点がある。

＜変形例＞
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を適宜に併合することも可能である。

（１）前述の各形態では、音声合成に利用される音楽データＤBを例示したが、音楽データＤBは音声合成用のデータに限定されない。例えば、楽曲（例えば歌唱曲）の楽譜を表現する音楽データＤBを表示装置２２に表示させる場合（音声合成の実行の有無は不問）にも本発明は適用される。

（２）前述の各形態では、歌詞（発音文字）を音声符号Ｘ4として例示したが、例えば音素記号を音声符号Ｘ4として表示する構成や、発音文字と音素記号との組合せを音声符号Ｘ4として表示する構成も採用され得る。また、音符図形Ｖとともに表示される情報は音声符号Ｘ4に限定されない。例えば、各音符の音声に付加されるビブラートの種類を表現する符号（文字列や記号や図形）を前述の各実施形態の音声符号Ｘ4に代えて（または音声符号Ｘ4とともに）音符図形Ｖの内側または外側に表示することも可能である。また、例えば器楽曲の楽譜を示す音楽データＤBを表示装置２２に表示させる場合には、各音符の演奏を担当する楽器の種類や楽音の特徴等の情報が、音声符号Ｘ4に代えて音符図形Ｖの内側または外側に表示され得る。以上の説明から理解されるように、本発明において音符図形の内側や外側に表示される情報は、各音符に関連する情報（関連情報）として包括され、音声符号Ｘ4は関連情報のひとつの例示である。また、関連情報は、各音符の属性を表現する属性情報とも換言され得る。なお、例えば入力装置２４に対する利用者からの操作に応じて、表示装置２２に表示させる関連情報の種類（例えば歌詞，音素記号，ビブラートの情報等のうちの何れを表示するか）を変更することも可能である。

（３）前述の各形態では、楽曲の１個のパートの音符を楽譜領域５１に表示したが、楽曲の複数のパートの各々の音符を楽譜領域５１に同時または選択的に表示することも可能である。音符図形Ｖはパート毎に相異なる態様（すなわち、色彩や階調の相違により各パートの音符図形Ｖを視覚的に区別可能な態様）で表示される。

（４）前述の各形態では、第２表示状態において音符図形Ｖの内側には音声符号Ｘ4を表示しない構成を例示したが、第２表示状態において音符図形Ｖの内側および外側の双方に音声符号Ｘ4を表示することも可能である。音符図形Ｖの内側および外側の双方に音声符号Ｘ4を表示する構成では、音符図形Ｖの内側に配置された音声符号Ｘ4の表示サイズを表示倍率Ｒの低下に連動して縮小することも可能である。

（５）音声合成の実行時（楽曲の再生時）に、表示装置２２に時系列に表示された各音声符号Ｘ4（関連情報）を、再生進行に連動して順次に強調表示することも可能である。例えば、再生位置に対応する音声符号Ｘ4を他の音声符号Ｘ4とは相違する態様で表示する構成が好適である。

（６）音声符号Ｘ4（関連情報）を配置する位置は適宜に変更される。例えば、利用者が事前に指定した位置（例えば音符図形Ｖの上方）に音声符号Ｘ4を配置する構成や、入力装置２４の操作（例えばマウスによるドラッグ）で利用者が音声符号Ｘ4の位置を変更できる構成も採用され得る。

（７）前述の各形態を適宜に組合わせることも可能である。例えば、音声符号Ｘ4が配置される第７実施形態の補助領域５３を第１実施形態から第６実施形態の編集画面５０に追加することも可能である。また、例えば音声符号Ｘ4の一部の表示が省略される第３実施形態において、第５実施形態や第６実施形態のように、利用者がポインタ６０で指示した音符図形Ｖの周囲に音声符号Ｘ4（および付属情報等）を配置することも可能である。

（８）前述の各形態では、編集処理部３４および音声合成部３６を含む音声合成装置１００を例示したが、音楽データＤBを表示装置２２に表示させるための装置（音楽データ表示装置）や、音楽データＤBを表示装置２２に表示させて利用者からの指示に応じて編集する装置（音楽データ編集装置）としても本発明は実現される。音楽データ表示装置は、例えば図１の音声合成装置１００から編集処理部３４および音声合成部３６を省略した構成であり、音楽データ編集装置は、音声合成装置１００から音声合成部３６を省略した構成である。

（９）前述の各形態では、音声素片群ＤAおよび音楽データＤBを記憶する記憶装置１４が音声合成装置１００に搭載された構成を例示したが、音声合成装置１００とは独立した外部装置（例えばサーバ装置）が音声素片群ＤAおよび音楽データＤBの一方または双方を保持する構成も採用される。音声合成装置１００は、例えば通信網を介して音声素片群ＤAや音楽データＤBを取得して編集画面５０の表示や音声信号ＶOUTの合成を実行する。以上の説明から理解されるように、音声素片群ＤAや音楽データＤBを記憶する要素（前述の各形態における記憶装置１４）は音声合成装置１００の必須の要素ではない。

（１０）前述の各形態では、日本語の音声符号Ｘ4を例示したが、音声符号Ｘ4の言語は任意である。例えば、英語，スペイン語，中国後，韓国語等の任意の言語の音声符号Ｘ4を表示する場合にも以上の各形態を同様に適用することが可能である。

１００……音声合成装置、１２……演算処理装置、１４……記憶装置、２２……表示装置、２４……入力装置、２６……放音装置、３２……表示制御部、３４……編集処理部、３６……音声合成部。

Claims

音高軸と時間軸とが設定された楽譜領域のうち音楽データが指定する音高および発音時点に応じた位置に、前記音楽データが指定する継続長に応じて前記時間軸方向の長さが設定された音符図形を音符毎に表示させる表示制御手段を具備し、
前記表示制御手段は、
前記音高軸方向の表示倍率を維持したまま前記時間軸方向の表示倍率を変更可能であり、
第１表示状態では、前記音楽データが各音符に指定する関連情報を当該音符の音符図形の内側に配置し、前記時間軸方向の表示倍率が前記第１表示状態よりも低い第２表示状態では、前記音楽データが各音符に指定する関連情報を、前記第１表示状態と同等の表示サイズで、当該音符の音符図形の外側に配置する表示制御手段と
を具備する音楽データ表示装置。
前記表示制御手段は、前記第２表示状態において、前記各音符の関連情報を、前記楽譜領域内の当該音符の音符図形の周囲に配置する
請求項１の音楽データ表示装置。
前記表示制御手段は、前記第２表示状態において、前記楽譜領域内の複数の音符図形が示す各音符の関連情報のうちの一部の関連情報を、前記楽譜領域内に前記時間軸方向に配列する
請求項１の音楽データ表示装置。
前記表示制御手段は、前記第２表示状態において、前記楽譜領域内の複数の音符図形が示す各音符の関連情報を、前記楽譜領域内に前記音高軸方向に配列する
請求項１の音楽データ表示装置。
前記表示制御手段は、前記第２表示状態において、前記楽譜領域内の位置を利用者が指定するためのポインタが一の音符図形を指示する場合に、前記一の音符図形が示す音符の関連情報を前記一の音符図形の周囲に表示させる
請求項１の音楽データ表示装置。
コンピュータシステムが、
音高軸と時間軸とが設定された楽譜領域のうち音楽データが指定する音高および発音時点に応じた位置に、前記音楽データが指定する継続長に応じて前記時間軸方向の長さが設定された音符図形を音符毎に表示させる方法であって、
前記音高軸方向の表示倍率を維持したまま前記時間軸方向の表示倍率を変更可能であり、
第１表示状態では、前記音楽データが各音符に指定する関連情報を当該音符の音符図形の内側に配置し、前記時間軸方向の表示倍率が前記第１表示状態よりも低い第２表示状態では、前記音楽データが各音符に指定する関連情報を、前記第１表示状態と同等の表示サイズで、当該音符の音符図形の外側に配置する
音楽データ表示方法。