JP6341032B2 - 楽音情報を処理する装置およびプログラム - Google Patents

Description

本発明は、楽音情報を生成する技術に関する。

ピアノロール上において音の高さや発音タイミングを一音ずつ指定することによって、楽曲を表す楽音情報を生成する装置が知られている（特許文献１等）。
他方、入力されたテキスト情報に音高その他の楽音情報を付与することにより、合成音声を生成する技術がある（特許文献２等）。

特許第３２５０５５９号明細書 特開２０１２−１０３６５４号公報

特許文献１の技術も特許文献２の技術も、ユーザに楽音情報を入力させるという機能を有する点で共通するが、入力方式（操作感）は全く異なるし、生成される楽音情報の形式も同一であるとは限らない。すなわち、特許文献１のような予め決められた入力フォーマットに従って発音する音を指定することによって楽音情報を完成させる方式で得られた楽音情報と、先行するテキスト情報に後から楽音情報を付与していくことにより楽音情報を完成させる方式で得られた楽音情報とを、統一的に扱うことができない。
例えば、前者の方式で作曲した楽曲の再生中に後者の方式で作曲した合成音を割り込ませることによって新たな楽曲を作成したい場合、ピアノロールを用いて入力を行うためのソフトウェアを用いてメロディを作曲し、別途テキスト情報に歌詞を付与するためのソフトウェアを用いて合成音を生成し、その後、一方のソフトウェア上でまたは他のソフトウェアを用いて、割り込みのタイミングを指定する編集作業を行うことになる。すなわち、アプリケーションの切り替えなどの必要性が生じ、編集作業に時間がかかるばかりでなく、編集内容を直感的に把握することが困難である。また、２つのデータの同一性・互換性が保証されていないから、楽曲の重要な要素である割り込みのタイミングを意図した通りに正確に合わせることが容易でない可能性がある。
本発明は、異なる入力方式で生成された楽音情報を統一的に扱えるようにすることを目的とする。

本発明は、一の態様において、第１の楽音情報および第２の楽音情報を入力する入力部と、該入力された第１の楽音情報に基づいて、音の高さおよび発音タイミングを第１の時間基準を用いて時系列で表した第１の画像を生成する第１画像生成部と、該入力された第２の楽音情報に基づいて、音の高さおよび発音タイミングを第２の時間基準を用いて時系列で表した第２の画像を生成する第２画像生成部と、該生成された第２の画像の位置を指定する指定部と、前記第１の画像とともに、該指定された位置に前記第２の画像を表示する表示部と、前記位置に応じて、前記第２の楽音情報の発音タイミングを前記第１の時間基準に従った発音タイミングに変換することによって、前記第１の楽音情報および前記第２の楽音情報から一の楽音情報を生成する楽音情報処理部とを有する楽音情報処理装置を提供する。
好ましい態様において、前記第１の画像において、各音が所定の間隔で配列された音高のうちのいずれか一に属するのかが表されるとともに、各音の発音持続時間は所定の時間基準に従って表され、前記第２の画像において、連続的な音程の時間変化を表す曲線と、当該曲線上に発音タイミングに応じて配置された、歌詞を構成する複数の形態素とが表される。
他の好ましい態様において、前記入力部は、前記第１の画像の表示中に入力された前記第１の楽音情報において所定の音列パターンを検出すると、前記第２画像生成部は、前記第１の画像上における当該音列パターンに対応する位置に、前記第２の画像を表示する。
他の好ましい態様において、前記第１の画像および前記第２の画像において、時間軸が表示され、前記変換において、前記第２の画像において前記第２の楽音情報の発音開始時点および発音終了時点をそれぞれ示す値が、前記第１の画像が表す時間軸で示される値にそれぞれ一致するように、前記第２の楽音情報の発音タイミングが変更される。
他の好ましい態様において、前記楽音情報処理部は、前記第２の画像の位置に応じて、音の高さについて第２の楽音情報で用いられる形式を前記第１の楽音情報にて用いられる形式に変換することにより、前記一の楽音情報において音の高さの情報は前記第１の楽音情報にて用いられる形式に従う。
他の好ましい態様において、前記楽音情報処理部は、該入力された第１の楽音情報が変更されると、該入力された第２の楽音情報を当該変更の内容に応じて変更する。
他の好ましい態様において、前記楽音情報処理部は、前記第１の楽音情報の再生速度が変更されると、前記第２の楽音情報の発音開始タイミングと発音終了タイミングを維持したまま、前記第２の楽音情報を構成する複数の音素のそれぞれの発音持続時間の調整および各音素間の発音タイミングの間隔の調整のうち少なくともいずれかを実行する。
本発明は、他の観点において、コンピュータに、第１の楽音情報および第２の楽音情報を入力するステップと、該入力された第１の楽音情報に基づいて、音の高さおよび発音タイミングを第１の時間基準を用いて時系列で表した第１の画像を生成するステップと、該入力された第２の楽音情報に基づいて、音の高さおよび発音タイミングを第２の時間基準を用いて時系列で表した第２の画像を生成するステップと、該生成された第２の画像の位置を指定する指定部と、前記第１の画像とともに、該指定された位置に前記第２の画像を表示するステップと、前記位置に応じて、前記第２の楽音情報の発音タイミングを前記第１の時間基準に従った発音タイミングに変換することによって、前記第１の楽音情報および前記第２の楽音情報から一の楽音情報を生成するステップとを実行させるためのプログラムを提供する。

本発明によれば、異なる入力方式で生成された楽音情報を統一的に扱うことができる。

楽音処理装置１００のハードウェア構成図である。 楽音処理装置１００の機能ブロック図である。 楽音処理装置１００の動作例である。 表示画面の例である。 表示画面の例である。 表示画面の例である。 表示画面の例である。 表示画面の例である。 表示画面の例である。 表示画面の例である。 表示画面の例である。 表示画面の例である。 表示画面の例である。 表示画面の例である。

図１Ａは楽音処理装置１００のハードウェア構成図である。
楽音処理装置１００は、入力装置５０２、記憶装置５０４、プロセッサ５０６、表示装置５０８、放音装置５１０および通信インターフェース５１２を有する。プロセッサ５０６は、汎用のＣＰＵや画像処理用のプロセッサであって、記憶装置５０４に記憶されたプログラムに従って楽音処理装置１００を制御する。具体的には、プロセッサ５０６は、記憶装置５０４から読み出した情報や入力装置５０２から入力された内容に応じて、表示装置５０８や放音装置５１０等へ制御命令を供給する。表示装置５０８は液晶ディスプレイやその駆動回路を含み、プロセッサ５０６からの命令に応じて画像を表示する。入力装置５０２は、キーボード、マウス、タッチパネル、マイクなどの、ユーザが情報や指示を楽音処理装置１００に入力するための装置である。通信インターフェース５１２は、ＬＡＮカード、無線通信モジュール等の有線または無線によって他のノードと通信を行うモジュールである。記憶装置５０４は、半導体メモリ、ハードディスク等の記憶手段であって、プロセッサ５０６にて実行されるプログラム、各種設定情報、および楽音情報を記憶する装置である。放音装置５１０はスピーカや増幅回路であって、プロセッサ５０６から供給される楽音情報や命令に基づいて放音する。

図１Ｂは楽音処理装置１００の機能ブロック図である。楽音処理装置１００の機能は、大別すると、入力部１０２、画像生成部１０８、表示部１１４、放音部１１８を含む。

入力部１０２は、楽音処理装置１００に対する各種の命令や指示の入力を受け付けるほか、第１の楽音情報および第２の楽音情報の入力を受け付ける。入力部１０２は、入力装置５０２によって実現される。すなわち、第１の楽音情報および第２の楽音情報の入力はユーザによって行われる。あるいは、入力部１０２は、記憶装置５０４によって実現され、記憶装置５０４に記憶されている第１の楽音情報および／または第２の楽音情報を読み出してもよい。あるいは、入力部１０２は、通信部２０２を介して他の装置から第１の楽音情報および／または第２の楽音情報を取得してもよい。また、入力部１０２は、一度入力された内容を変更（編集）する機能も含む。

第１の楽音情報は、発音される音のそれぞれについて音高（ピッチ）と発音タイミングとを少なくとも表す。好ましい態様において、第１の楽音情報はＭＩＤＩデータと互換性を有する形式で記述される。本実施例では、音高については、その音が所定の間隔で配列された音高（音階）のうちのいずれか一に属するのかを表し、発音タイミングについては、その音の発音持続時間を所定の時間基準に従って表したものである。例えば、所定の時間基準を単位長である１小節の長さと設定し、この単位長の整数倍または整数分の一によって表される。あるいは楽曲とは関係のない時間（例えば１秒）をこの時間基準に定めてもよい。その他、この時間基準は自由に定義することができる。第１の楽音情報には、これ以外の情報、例えば強弱（音量の大小）、アクセント（細かいピッチの変動）、その音を発音する際の音色を指定する情報、その音に対応する歌詞（テキスト）の情報（例えば形態素）が含まれていてもよい。

第２の楽音情報は、音高（ピッチ）と発音タイミングとを少なくとも表す。本実施例では、第２の楽音情報は、各時点における音高（音高の時間的変化を表す曲線）と、歌詞を構成する複数の音素（形態素）と、各形態素の発音タイミングに対応した当該曲線上における位置とを含む。第１画像生成部１１２は、ユーザに歌詞（テキスト）を入力させ、入力された歌詞に対し、プロセッサ５０６によって実現される解析部２０４にて、既存のアルゴリズムを用いて解析を行うことによって形態素を取得してもよい。
なお、第２の楽音情報は、歌唱という音楽を表現するものに限らず、例えばテキストの読み上げや会話などの発話の内容、その他非音楽的な合成音を表すものであってもよい。

第１の楽音情報および第２の楽音情報が表す内容は、それぞれ楽曲、歌唱、非音楽的な合成音のいずれであってもよく、その組み合わせは任意である。第１の楽音情報および第２の楽音情報は同じ種類の情報を表していてもかまわない。例えば、第１の楽音情報および第２の楽音情報はともに歌唱を表してもよいし、ともに非音楽的な情報を表してもよい。
ここで、第１の楽音情報と第２の楽音情報は、共通の音高に関する基準（例えば指定可能な最小ピッチ幅）や発音タイミング基準（例えば時間原点や発音期間の最小単位）を用いて表現されてなくて構わない。換言すると、第１の楽音情報と第２の楽音情報との間にデータの形式に互換性がある必要はない。ただし、第１の楽音情報および第２の楽音情報は、それ自体が独立して編集・楽音再生等の処理対象となる。逆にいえば、第１の楽音情報と第２の楽音情報とを用いて一の楽音情報を生成するに際し、音高やタイミングの基準を規定する必要がある。

画像生成部１０８は、プロセッサ５０６によって実現され、第１画像生成部１１２および第２画像生成部１１０を含む。第１画像生成部１１２は、入力された第１の楽音情報に基づいて、音の高さおよび発音タイミングを第１の時間基準を用いて時系列で表した第１の画像を生成する。第１の画像とは、具体的には、横軸が単位長の整数倍または整数分の一によって表される時間を表し、縦軸は所定の間隔で配列された音高のうちのいずれか一に属するのかを表す、いわゆるピアノロールである。好ましい態様において、第１の画像は表示画面全体に表示され、その表示位置は固定されている。
なお、第１の楽音情報に歌詞その他の音高や発音タイミング以外の付随的な情報が含まれる場合は、当該付随的な情報を表す画像を第１の画像の中に含ませてもよい。例えば、第１の楽音情報に形態素の集合である歌詞の情報が含まれている場合、各々発音タイミングに対応する位置に、音素を表すテキストを表示する。

第２画像生成部１１０は、入力された第２の楽音情報に基づいて、音の高さおよび発音タイミングを第２の時間基準を用いて時系列で表した第２の画像を生成する。第２の画像とは、具体的には、横軸を時間軸、縦軸を音高軸として、連続的な音程の時間変化を表す曲線と、当該曲線上に発音タイミングに応じて配置された、歌詞を構成する複数の形態素とを表す。また、第２の画像は、ユーザの操作によって表示位置を変更することができる画像オブジェクトである。本実施例では、第２の画像は表示ウィンドウである。
なお、形態素とは、一般的には、意味をもつ最小の単位をいい、一の形態素は一の音素または複数の音素（音素のまとまり）に対応するものである。しかし、本実施例における形態素とは、このような音声学または言語学上の意味に必ずしも限定されない。要するに、その形態素に意味のある音の割り当てを行うことができる最小の単位、またはこの最小単位のまとまりである。
例えば、日本語の場合、五十音の清音とこれに濁音、半濁音、長音、促音、撥音、拗音を組み合わせて得られる音、およびこれらの音を複数組み合わせたものを形態素と定義することができる。このように形態素の定義は任意であり、言語によって適切な定義は異なり得るが、本発明は全ての言語に適用することが可能である。

指定部１０４は、入力装置５０２によって実現され、第２の画像を表示する位置を指定する。具体的には、表示位置は、時間軸上の２点、すなわち第２の画像において前記第２の楽音情報の発音開始時点を表す位置と発音終了時点を表す位置とによって規定することができる。この位置は、ウィンドウの枠によって規定されてもよいし、ウィンドウ内の所定の位置を基準点として設定してもよい。また、画像の位置を、ピッチの時間軸（横軸）に加えて、縦軸（ピッチ軸）によって規定してもよい。つまり、ウィンドウのサイズは固定であっても可変であってもよく、少なくともウィンドウ内の時間軸上の２点が指定されればよい。指定された位置の情報は、画像生成部１０８および楽音情報処理部１１６に供給される。

画像生成部１０８は、指定部１０４から供給された第２画像の位置の情報に基づいて、前記第１の画像とともに、該指定された位置に前記第２の画像を同一の画面内に表示するための描画データを生成し、描画命令とともに表示部１１４に供給する。
より具体的には、この描画命令は第１の画像の上に第２の画像を重ねて表示するという命令である。この際、第１の画像と第２の画像の重なり部分については、所定のアルゴリズムに基づいた描画処理が行われる。好ましくは、重なり部分については第２の画像が優先して表示される。例えば、重なり部分において第１の画像が完全に隠れてもよいし、所定の透過率で第２の画像を描画することによって、第１の画像と第２の画像をともに認識できるようにしてもよい。また、重なり部分における第２画像の一部のみを透過的または優先的に描画してもよい。

表示部１１４は、表示装置５０８によって実現され、画像生成部１０８から供給された描画データに従って画面に画像を表示する。
楽音情報処理部１１６は、指定部１０４から供給された第２の画像の位置を表す情報に応じて、前記第２の楽音情報の少なくとも発音タイミングについて、前記第１の時間基準に従った発音タイミングに変換することによって、前記第１の楽音情報および前記第２の楽音情報から一の楽音情報を生成する。具体的には、前記第２の画像において前記第２の楽音情報の発音開始時点および発音終了時点をそれぞれ示す値が、当該位置における前記第１の画像が表す時間軸で示される値にそれぞれ一致するように、前記第２の楽音情報の発音タイミングが変更される。ここで、第１の楽音情報と第２の楽音情報とで採用する時間基準が異なる場合、例えば第１の楽音情報および第２の楽音情報の一方が一小節を時間基準として採用し、他方が時間（秒）を時間基準として採用している場合、第１の楽音情報に含まれる、楽曲のテンポ（楽曲の全体もしくは楽曲の任意の各区間におけるテンポ）を指定する情報を用いて発音タイミングの変換を行うのが好ましい。

加えて、楽音情報処理部１１６は、第１の楽音情報に含まれる音高と第２の楽音情報に含まれる音高の表現方法が異なる場合、両音高を他の表現方法に変換してもよい。例えば、第１の楽音情報において音高は周波数（Ｈｚ）表記され、第２の楽音情報においては音階名（“Ｃ１”、“Ｄ３”など）とで表現されている場合に、周波数と音階名との間で変換処理を行う。
変換によって得られた情報は、表示部１１４に供給し、第１の画像にて指定される音高と、第２の画像にて指定される音高の対応関係を視覚的に表示してもよい。例えば、変換前後の数値を併記してもよいし、色彩、明度、模様などによって対応関係を表してもよい。
なお、この変換処理は、必ずしも線形変換に限られない。例えば、第１の画像にて採用される音高の表示方法と第２の画像にて採用される音高の表示方法とが異なる場合、例えば第１の画像の縦軸が周波数の対数スケールであり、第２の画像の縦軸が周波数のメル尺度（mel scale）であるような場合、非線形な変換が行われることになる。
要するに、第１の画像にて表される音高その他の楽音情報と、第１の画像にて表される音高その他の楽音情報とが、一対一に対応していればよい。
このようにすることで、第１の楽音情報および第２の楽音情報の形式が異なっていても、ユーザは楽音情報に含まれる各種値の対応関係を画面上で確認することができる。

生成された楽音情報は、ユーザの指示に応じて放音部１１８に供給される。放音部１１８は放音装置５１０によって実現され、楽音情報処理部１１６から供給される楽音情報に基づいて放音処理を行う。

図２は楽音処理装置１００の動作例である。
まず、ユーザが所定の操作を行うと、第１の画像（ピアノロール）が表示される（Ｓ１０）。ユーザは画面を見ながら、第１の楽音情報を構成する１つ１つの音についてピッチおよび発音期間を入力していく（Ｓ１２）。入力された情報はピアノロールに即座に反映される（Ｓ１４）。ユーザは、第１情報の入力を完了させると、入力方法の切り替えを楽音処理装置１００に指示する操作を行う（Ｓ１６；ＹＥＳ）。すると、第２の画像（ウィンドウ）が表示される（Ｓ１８）。ユーザはこのウィンドウ内に第２の楽音情報を入力する（Ｓ２０）。入力された情報は即座にウィンドウ内の表示内容に反映される（Ｓ２２）。第２の楽音情報の入力を完成させたユーザはウィンドウの位置を指定する操作を行う（Ｓ２４）。第１の楽音情報および第２の楽音情報の入力、およびウィンドウ位置の指定が完了すると（Ｓ２６；ＹＥＳ）、楽音情報が生成される（Ｓ２８）。

以下、図２における各ステップを実行した際の表示画面の例を説明する。
図３は、図２のステップＳ１０〜Ｓ１４において表示される画面の例である。この工程では、第１の画面のみが表示される。より具体的には、第１の画面はピアノロールＢ１とスクロールバーＯＢ１０によって構成される。Ｂ１は、横軸が時間軸（発音されるタイミング）、縦軸が音の高さをそれぞれ表す。指定できる最小のピッチ（ピッチ間隔）はΔＰであり、半音（１００セント）に相当する。時間の単位はΔＴであり、一小節の長さに相当する。Ｔ０はこの楽曲の開始される時点であり、第１の画面における時間軸の原点である。なお、必ずしもＴ０において最初の音が発音されている必要はなく、Ｔ０から無音区間が続いてもよい。

同画面において、発音される音は黒く塗られた横棒によって示される。例えば、音Ｑ１は、時点Ｔ１＋ΔＴ／２において発音が開始され、時点Ｔ２において発音が終了し、その音高はＰ１であることを示している。同図の例では、Ｔ０からＴ７までの音について入力を行っている例である。計６つの音符が指定されたことに相当する。なお、時点Ｔ７以降に発音される音については、ユーザはスクロールバーＯＢ１０を用いて画面をスクロールさせたのち入力するようになっている。また、スクロールバーＯＢ１０は、全体の楽曲の中で現在入力作業を行っている位置を示す。このように、ユーザは、第１の画面上で各音について横棒の位置、高さ、長さを画面上で指定していくことで、１つの楽曲を表す第１の楽音情報の入力が完了する。

ユーザは、第１の楽音情報に基づいてピアノロール上で表される楽曲の所望の区間に異なる楽音を埋め込みたいと考え、入力方法の切替を指示したとする。この指示は、例えば所定のキーを押すなどしてメニュー画面Ｍ１を表示させ（図４参照）、この画面に提示された動作オプションの中から所望のものを指定することによって行う。この例では、ボタンＯＢ３０、ＯＢ３２、ＯＢ３４、ＯＢ３６が提示され、ボタンＯＢ３２が指定されたとする（図２のＳ１６；ＹＥＳ）。

すると、図５のような、第２の楽音情報を入力するためのウィンドウＷ１が、画面中央部にピアノロールに重ねて表示される。

なお、ピアノロール上で所定の入力が行われたことを検知すると、ウィンドウＷ１を表示させるようにしてもよい。例えば、所定長（例えば1小節分）以上の長さの音符を入力、あるいは、同一音階あるいは所定の音列パターンの音符を所定数（例えば４つ）連続で入力を検出した場合に、ウィンドウＷ１を表示する。こうすれば、第１の楽音情報の入力作業から第２の楽音情報の入力作業への移行がスムーズになる。
このようにピアノロールを表示させた状態において入力された内容に基づいてウィンドウＷ１を出現させる場合、初期状態のウィンドウＷ１の位置、形状、サイズ、縦軸、横軸の単位や、一単位の長さ（目盛の幅）などの表示要素の少なくともいずれか一つを、当該入力内容に応じて決定してもよい。
例えば、第１の楽音情報において所定の音列パターンを検出すると、ピアノロール上における当該音列パターンに対応する位置に、ウィンドウＷ１を表示する。具体的には、ウィンドウＷ１の横方向のサイズに関して、所定長の音符が入力された場合は、予め定められたデフォルトのサイズが採用される一方、所定の音階パターンの音符がｎ個連続して入力された場合は、n個分の発音持続時間の合計に相当する長さがウィンドウＷ１の横方向のサイズと決定される。
このように、第１楽音情報に挿入したい第２の楽音情報の全体の長さをユーザがピアノロール上で指定することで、第２の楽音情報の入力に適した形状やサイズに調整された状態でウィンドウＷ１が表示される。

ウィンドウＷ１は、フィールドＯＢ２０とＯＢ２２とによって構成される。ユーザはフィールドＯＢ２０にピッチカーブを描画し、フィールドＯＢ２０に楽音情報（メロディ）を付加したいテキスト情報（歌詞）を入力する。このウィンドウＷ１において、ピッチの基準はｐ０、指定可能なピッチの最小単位はΔｐに設定されている。Δｐが表すピッチは、ΔＰが表すピッチに一致している必要はない。換言すると、画面における見かけ上のピッチ幅と、楽音情報が表す実際のピッチ幅は、第１の画像と第２の画像とでは異なっている（ただし一致していても構わない）。

一例では、ΔＰは、Δｐの５倍に相当するものと設定される。すなわち、第２の画像上における１メモリ分のピッチ幅は２０セントに相当する。換言すると、第１の楽音情報を指定および画面表示することがピッチ単位（半音）に比べて、第２の楽音情報はピッチを５倍細かく指定できる。これは、ピアノロールが一般的な楽曲（メロディ）を入力することを想定しているのに対し、ウィンドウは一般的な言葉に対する合成音（一般的に通常の楽曲よりも抑揚が小さく、発音のニュアンスを表現するためにはより細かいピッチ幅を指定できたほうが好ましい）を入力することを想定しているという事情に起因する。
Δｔは第２の楽音情報において基準となる時間の単位（例えば１秒）である。ΔＴはΔｔに一致している必要はない。これも、ピッチと同様、必ずしも小節や拍という時間基準が必要とされない合成音の入力を想定していることによる。

図５の画面において、フィールドＯＢ２２にピッチカーブＳを入力し、フィールドＯＢ２０にテキスト「おなかすいたな」を入力し、各形態素（「お」、「な」、「か」、「す」、「い」、「た」、「な」）の発音タイミングおよびピッチカーブＳの指定を行った後のウィンドウＷ２を図６に示す（図２のＳ２０、Ｓ２２）。
フィールドＯＢ２２には、ピッチカーブＳ上に各形態素に対応するオブジェクトＯＢ２４が配置される。例えば、「か」は、ピッチｐ１（＝ｐ０＋２＊Δｐ）で、時点ｔ５で発音が開始され、時点ｔ６で発音が終了することを意味する。この例では、第２の楽音情報が全体として時点ｔｉで発音が開始され、時点ｔｆで発音が終了することを表している。

なお、ユーザは、第２の楽音情報の入力作業において、オブジェクトＯＢ２４の位置を自由に何度でも指定し直すことができる。一のオブジェクトＯＢ２４の位置を変更すると、変更後の位置に応じてピッチカーブＳが自動的に補正されるようになっている。このように、ウィンドウを用いた入力は、基準のタイミングやピッチ、発音タイミングやピッチの指定可能な最小間隔がピアノロールのそれとは異なるほか、形態素のピッチや発音タイミングを直感的かつ高い自由度で指定することができるというメリットがある。その反面、正確なリズムを指定するのはピアノロールを用いた入力には及ばない。なお、ピッチカーブＳの描画とテキストの入力の順番は問わない。

ユーザは、図６の画面において第１の楽音情報の生成が完了すると、所定の操作を行ってメニュー画面Ｍ２を表示させる。このときの画面の例を図７に示す。メニュー画面Ｍ２において「割り込み調整」が指定されると、ウィンドウのピアノロール上の配置位置、および横方向のサイズを変更する（図２のＳ２４）。例えば、サイズ変更については、ウィンドウの枠を掴んでドラックすることによって行い、位置の変更については、ウィンドウの中心部を所望の位置までドラック操作することによって変更後の位置を指定する。

図８は、ウィンドウＷ２に対して位置およびサイズの調整を行った後のウィンドウＷ３の例を示す。この例では、ユーザは、ピアノロールの時間軸上のＴ３〜Ｔ６の区間において第２の楽音情報を割り込ませ、割り込ませる楽音のピッチの基準をピアノロールのピッチ軸上の値Ｐ３にしようと意図している。
この意図に従って位置およびサイズの調整が行われた結果、縦方向（ピッチ軸）については、ウィンドウ内の基準位置p０がピアノロールのピッチ軸上の値Ｐ３に一致し、横方向（時間軸）については、ウィンドウにおける楽音再生開始時点ｔｉ（「お」の発音開始タイミングに等しい）がピアノロールの時間軸上における値Ｔ３に一致し、第２の楽音情報の再生終了時点ｔｆがＴ６に一致するように、ウィンドウの位置およびサイズが指定されている。同図に示すように、ウィンドウの横方向の長さが変更された結果、ウィンドウ内の時間単位（１目盛分の長さ）がΔｔからΔｔ´へと短くなっている。

ピアノロールは、ウィンドウと重ならない領域については表示され、少なくともピッチ軸や時間軸については、ウィンドウのサイズや位置の如何に関わらず表示されていることが好ましい。これにより、ユーザは、ウィンドウの位置やサイズの調整の際、ピアノロール上におけるウィンドウの位置の把握が容易となっている。この例では、時点Ｔ３においてＱ２の発音終了後「お」の発音が開始され、期間Ｔ３〜Ｔ６において第２の楽音情報の発音が行われ、Ｔ６以降は第１の楽音情報の発音が再び開始されることが、容易に理解できる。

時間軸についての位置合わせについては、ウィンドウ内にｔｉを表す基準線Ｒ１とｔｆを表す基準線Ｒ２（この例ではウィンドウの枠線に一致する）とが表示されており、これらの基準線をピアノロールの時間軸のメモリに合わせれば、小節や拍単位での割り込みタイミングを簡単に指定することができる。なお、この例では、ウィンドウ内であってＲ１より左側の領域は、ピアノロールに存在する音（Ｑ２）が隠れないように、透過表示されている。こうすることで、第１の楽音情報に含まれる音（Ｑ２）の発音終了直後に第２の楽音情報に含まれる音（「お」）を発生させたいような場合であっても、タイミング合わせを正確に行うことができる。なお、この領域はピッチの値を表示するために設けられているが、フィールドＯＢ２２の内にピッチの値を表示し、この領域を設けなくてもよい。この場合、ウィンドウの左辺と右辺の位置が、そのままそれぞれ第２の楽音情報の発音開始／終了タイミングに対応する。

ウィンドウの位置およびサイズが確定すると、ユーザは所定の操作を行って、図９に示すようなメニュー画面Ｍ３を表示させる（図２のＳ２６；ＹＥＳ）。メニュー画面Ｍ３においてＯＫが選択されると、ウィンドウ上で第２の楽音情報とウィンドウの位置およびサイズとに基づいて、第２の楽音情報の変換が行われる。

具体的には、ピッチについては、第２の楽音情報で定義されたｐ０がＰ３に一致するように、第２の楽音情報を構成する全ての形態素のピッチに対して補正が行われる。この結果、例えば、「か」のピッチはｐ１（＝ｐ０＋２＊Δｐ）からＰ３＋２＊Δｐに変更される。ここで、Δｐ＝１／５ΔＰとすると、「か」に付与する新しいピッチの値は、Ｐ３＋２／５＊ΔＰとなる。この補正は全ての形態素に対してピッチの基準を移行させるものであるから、補正前後で第２の楽音情報の相対的なピッチは保たれる。
なお、第１の楽音情報においてこのような基準単位よりも微小な音程の情報を有することが許容されていない場合は、ピッチの端数を切り上げ／切捨てするなどのデータ処理を行って、データ形式を第１の楽音情報ものと整合させてもよい。あるいは、第１の楽音情報は、このような微小な音程の変化を他の種類のパラメータ（例えばピッチベンドパラメータ）として保有する場合、第２の楽音情報の音高についての情報に基づいて第１の楽音情報における上述のパラメータの値を書き込んでもよい。

発音タイミングについては、ｔｉ＝Ｔ３、ｔｆ＝Ｔ６となるように、全ての形態素の発音タイミングが変更される。例えば、「か」の発音タイミングは、ｔｉ＋（ｔ５−ｔｉ）＊Δｔ´／ΔＴと決定される。
こうして、第２の楽音情報は第１の楽音情報と統一的に扱えるように変換されたのち、第１の楽音情報と結合され、無音区間だったＴ３〜Ｔ６の間に、第１の楽音情報と同一の形式で表現された楽音情報が差し込まれ、新たな楽音情報が生成される。

ユーザが所定の操作を行って、図１０に示すメニュー画面Ｍ４を表示させ、「再生」を選択すると、生成された楽音情報に基づいて放音処理が実行される（図２のＳ２８）。

図１０のメニュー画面Ｍ４において、「表示切替」を選択すると、図１１に示すように、図８〜１０においてウィンドウ内に表示されていた第２の楽音情報が、ウィンドウ内ではなくピアノロール上に表示される。なお、この例の場合、半音階より細かいピッチ情報はピアノロールでは表現することはできないので、ピッチの値に対して所定の丸め処理を行っている。その結果、第２の楽音情報は、全て同一のピッチＰ３で、同一の発音持続時間を有する音の集合として表現されている。また、図１１の表示状態から、所定の操作を行うことによって図１０のようにウィンドウ表示に戻してもよい。変換後のピッチや発音タイミングを第１の楽音情報の形式に整合させるための処理を行っても、整合処理前のデータを保持していれば、相互に表示方式を切り替えることが可能である。

この実施例によれば、第１の画像（ピアノロール）および第２の画像（ウィンドウ）が一つの画面内に同時に表示されるので、第１の楽音情報および第２の楽音情報の入力作業や入力内容の変更作業において、画面やアプリの切り替えといった複数のアプリケーションを跨ぐ複雑な操作を強いられることがない。また、ウィンドウのピアノロール上における位置に応じて、第１の楽音情報と第２の楽音情報と用いた編集処理の内容（挿入タイミングやピッチ合わせ）が確定する。ユーザは、第１の画面と第２の画面の両方を確認しながらウィンドウの位置を合わせるだけでよい、ユーザの意図した通りの編集内容が簡単に実現される。また、ウィンドウの時間軸上の位置が発音開始タイミングや発音終了タイミングに対応し（従って横方向のサイズが全体の発音時間に相当し）、縦方向の位置が基準ピッチに対応するので、編集内容が直感的に理解できる。例えば、第２の楽音情報の再生速度を上げたいのなら、ウィンドウの横方向のサイズを小さくすれば（つまり横方向にウィンドウを縮めれば）よいという具合である。

また、第１の楽音情報および第２の楽音情報は互いに独立しており、その表す内容は、楽曲、歌唱、非音楽的な合成音等を追わない。従って、第１の楽音情報および第２の楽音情報を生成するための画面の構成（ユーザインターフェース）は、その画面全体の表示位置の調整ができるものであれば、詳細（ウィンドウ内のオブジェクトの配置やその他の画面デザイン）については問わない。つまり、本発明においては、第１の楽音情報および第２の楽音情報を生成するためのユーザインターフェースには制限がない。従って、ユーザは、生成する第１（第２）の楽音情報の種類や、目的、嗜好などに応じて使用するユーザインターフェースを自由に選択することができる。

＜変形例＞
第２の楽音情報のサイズが大きい場合、典型的には全ての歌詞が表示しきれない場合、図１２に示すように、入力作業や入力内容の確認がし易いように、ウィンドウ内にスクロールバーＯＢ２６を設けてもよい。この場合、スクロール操作をしても、第２の楽音情報全体の発音開始時点tiと終了時点tfとは、それぞれ基準線Ｒ１およびＲ２によって規定され、ウィンドウのサイズの位置またはサイズが変更されない限り不変である。すなわち、tiおよびtfはウィンドウの位置および横方向のサイズの指定は図８に示したものと同一である。すなわち、ウィンドウ内で入力した楽音情報が同じで、tiおよびtfが同じであれば、変換内容は同一であり、従って、生成される楽音情報は同一である。つまり、ユーザに求められる作業がウィンドウの位置およびサイズの決定のみである点は、上記実施例と変わらない。

ウィンドウは、横方向だけでなく縦方向のサイズも変更可能であってもよい。図１３は、横方向のサイズと縦方向のサイズとを変更して得られたウィンドウＷ５の例である。ウィンドウＷ５においては、見かけ上のピッチの間隔Δｐ´がΔｐよりも大きくなっているので、第２の楽音情報の入力や編集作業がやりやすい。

ウィンドウの見かけ上の縦軸や横軸の見かけ上の長さ、その他の表示設定の詳細はユーザに指定させてもよい。例えば、図７で示したメニュー画面等を用いて、表示設定についての情報をユーザに入力させ、この情報は記憶装置５０４に記憶される。画像生成部１０８は、記憶装置５０４に記憶された情報を参照して描画処理を行う。

例えば、ウィンドウの横方向のサイズの変更に関わらず、ウィンドウ内の見かけ上の単位時間の長さが常に維持されるような表示制御を行ってもよい。この結果、例えばユーザがウィンドウのサイズを初期状態から縮小する操作を行った場合は、初期状態にてウィンドウ内に表示されていた音素の一部が画面に収まらなくなる場合がある。この場合、スクロールバー等のオブジェクトを用いて、入力された第２の楽音情報の全体を視認できるようにする。あるいは、あえて全体を表示せず、開始タイミング（Ｒ１）を基準として表示可能な範囲までを表示してもよい。この場合であっても、ウィンドウの位置を指定することによって、第１の楽音情報の再生タイミングを基準とした第２の楽音情報の再生タイミング（より具体的には、第２の楽音情報の再生開始時点および終了時点）が決定されることには変わりがない。

第２の楽音情報の入力とウィンドウの位置とサイズの決定の順序は、任意である。例えば、先にウィンドウの位置やサイズを確定させ、その後第２の楽音情報を入力してもよい。
また、第１の楽音情報および第２の楽音情報の入力（および合成処理）を一度確定させた後に、入力した第１の楽音情報および／または第２の楽音情報を修正（編集）してもよい。すなわち、入力部１０２はユーザの修正の指示を受け付け、画像生成部１０８は、受け付けた指示に基づいて画面表示を行う。
この場合、一方の楽音情報に対してなされた修正を、他方の楽音情報の内容に反映させてもよい。あるいは、当該他方の楽音情報の内容は保持したまま、一方の楽音情報に対してなされた修正を当該他方の楽音情報の入力するための画面のデザイン変更に反映してもよい。
具体的には、入力部１０２は、一方の楽音情報についての変更指示を受け付けた場合、その指示を画像生成部１０８に出力するとともに、楽音情報処理部１１６にも出力する。楽音情報処理部１１６は、受け取った当該変更の内容に基づいて他方の楽音情報についての変更内容を決定し、決定した変更内容を、入力部１０２を介して画像生成部１０８に出力する。

なお、一方の楽音情報に対して変更があった場合に、これを自動的に他方の楽音情報に反映させるのではなく、このような編集内容の連携を行うか否かをユーザに選択させてもよい。具体的には、編集内容の連携が有効な第１モードと無効な第２モードを用意し、いずれかをユーザに選択させる。選択されたモードの情報は記憶装置５０４に記憶され、入力部１０２は、記憶装置５０４を参照し、第２モードが選択されている場合は、入力内容を第１画像生成部１１２または第２画像生成部１１０へのみ出力し、第１モードが選択されている場合は、入力内容を第１画像生成部１１２または第２画像生成部１１０に加えて楽音情報処理部１１６に出力する。

第１の楽音情報に対してなされた変更を第２の楽音情報の内容に反映させる処理の具体例について説明する。
例えば、ユーザは第２の楽音情報の入力完了後にウィンドウを閉じてピアノロールのみを表示させ第１の楽音情報の全体のテンポを変更する作業を行った場合、第１の楽音情報に対してなされたテンポの変更量に対応する補正を第２の楽音情報全体に対して行う。より具体的には、第１の楽音情報のテンポを遅くした場合、各形態素についての発音持続時間をテンポに変更量に対応する量だけ長くするという変更が行われる。これにより、第２の楽音情報に基づく楽音の再生において発音区間と無音区間のバランスが保たれ、再生時において第１の楽音情報との統一感が維持される。
このように変更内容を２つの楽音情報間で自動的に連動させるのは、ユーザは第１の楽音情報に対するテンポ変更とともに第２の楽音情報についてもテンポ変更作業を行う蓋然性が高いからである。これにより、同様の変更を２つの楽音情報に対してそれぞれ行う必要がなく、ユーザの手間が省かれる。

次に、入力された第１の楽音情報に対してなされた変更をウィンドウのデザインに反映させる具体例について説明する。
ユーザは第１の楽音情報の編集後に第２の楽音情報を編集しようとしてウィンドウを表示させる場合、第１の楽音情報に対する第２の楽音情報の再生開始時点および終了時点に対するタイミングについての情報は保持されたままなので、表示されるウィンドウの位置（Ｒ１およびＲ２）は、編集後に表示されているピアノロール上を基準とした第２楽音情報の挿入位置に対応することになる。すると、第１の楽音情報の編集前に比べてウィンドウの横方向のサイズが変更される可能性がある。この結果、ウィンドウ領域に対する第２の楽音情報の音素の配置間隔が変更され、視認性が悪化し、第２の楽音情報を編集する際に作業がし辛くなることも考えられる。このような場合は、図１３に示すように、視認性・作業性が悪化しないように、ウィンドウの横軸の単位が調節され、または必要に応じてスクロールバー等のオブジェクトがウィンドウ内に表示される。

なお、上述した、ウィンドウの位置やサイズの変更とウィンドウのデザインの変更は、いずれか一方のみを行ってもよいし、両方を行ってもよい。

ウィンドウは、楽音情報を入力・表示するための画像の一例であって、矩形である必要はなく、視覚的に把握可能なオブジェクトであればよい。また、縦軸や横軸の単位は任意である。横軸が表す時間は、小節等の単位時間長の整数倍または整数分の一でなくてもよく、例えば、再生開始からの経過時間（秒単位）であってもよい。縦軸は、周波数（Ｈｚ）であってもよいし、音階名（“Ｃ”、“Ｄ”など）であってもよい。
また、ウィンドウとピアノロールとでは縦軸や横軸の単位や表現形式が異なっていてもよい。例えば、横軸の単位については、秒（あるいはミリ秒）や、ＭＢＴ形式（（小節）、（拍）、ティック（Tick））という単位系から選択されて設定される。縦軸の単位および横軸の単位のうち少なくともいずれか一方をユーザが指定してもよい。例えば、ピアノロールについてはＭＢＴ形式が設定され、ウィンドウについては絶対時間（ミリ秒等）が設定される。
要するに、少なくとも、第２の楽音情報が第１の楽音情報と区別可能に表示され、第２の楽音情報の発音開始タイミングと終了タイミングとが、当該オブジェクトに対してユーザが指定した位置によって特定され、第１の楽音情報と第２の楽音情報とを結合するにあたり、第２の楽音情報の発音タイミングおよびピッチが第１の楽音情報と統一的に扱えるように変換されれば、単位系は自由に設定することができる。

ピアノロールとウィンドウとの主従関係を逆転させてもよい。すなわち、第２の画像をまずは画面全体に表示し、その上に第１の画像（ピアノロール）を表示するウィンドウを重ねて表示させてもよい。すなわち、ウィンドウ内にはピアノロールが表示され、このウィンドウ内において第１の楽音情報が入力される。そして、ウィンドウの位置に基づいて第１の楽音情報を第２の楽音情報に整合させるように変換することによって一の楽音情報が生成される。

上記実施例においては、第１の画像によって表される第１の楽音情報と第２の画像によって表される第２の楽音情報とから一の楽音情報を生成するものであったが、同時に表示される画像（ウィンドウ）の数は３以上であってもよい。例えば、ピアノロール（第１の画像）に第１のウィンドウ（第２の画像）と第２のウィンドウ（第３の画像）とが同時に表示される。この場合、各画像の位置関係に基づいて、３つの楽音情報から一の楽音情報が生成される。

換言すると、本発明においては、ウィンドウの位置に応じて、ウィンドウ内に表示されている楽音情報をウィンドウ外以外の画面に表示されている楽音情報と統一的に扱うための変換処理が行われればよい。編集対象の各楽音情報は、音高や発音タイミングが含まれていれば、楽音情報の数（種類）、その詳細な内容やデータ形式については、特に制限はない。
要するに、本発明の楽音情報生成装置は、第１の楽音情報および第２の楽音情報を入力する機能と、該入力された第１の楽音情報に基づいて、音の高さおよび発音タイミングを第１の時間基準を用いて時系列で表した第１の画像を生成する機能と、該入力された第２の楽音情報に基づいて、音の高さおよび発音タイミングを第２の時間基準を用いて時系列で表した第２の画像を生成する機能と、該生成された第２の画像の位置を指定する機能と、前記第１の画像とともに、該指定された位置に前記第２の画像を表示する表示部と、前記位置に応じて、前記第２の楽音情報の発音タイミングを前記第１の時間基準に従った発音タイミングに変換することによって、前記第１の楽音情報および前記第２の楽音情報から一の楽音情報を生成する機能とを有するものと把握できる。

本発明は、また、上述した機能を装置に実装させるためのプログラムおよびプログラムを記憶した記録媒体を提供する。記録媒体とは、例えば、半導体メモリ、光ディスク、磁気ディスクである。あるいは、このプログラムは、ネットワークを介してダウンロードされるものであってもよい。

１００：楽音処理装置、５１２：通信インターフェース、５０２：入力装置、５０８：表示装置、５０４：記憶装置、５０６：プロセッサ、５１０：放音装置、２０６：データベース、２０２：通信部、２０４：解析部、１０２：入力部、１０４：指定部、１０８：画像生成部、１１２：第１画像生成部、１１０：第２画像生成部、１１４：表示部、１１６：楽音情報処理部、１１８：放音部

Claims (6)

1. 第１の楽音情報および第２の楽音情報を入力する入力部と、
   該入力された第１の楽音情報に基づいて、音の高さおよび発音タイミングを第１の時間基準を用いて時系列で表した第１の画像を生成する第１画像生成部と、
   該入力された第２の楽音情報に基づいて、音の高さおよび発音タイミングを第２の時間基準を用いて時系列で表した第２の画像を生成する第２画像生成部と、
   該生成された第２の画像の位置を指定する指定部と、
   前記第１の画像とともに、該指定された位置に前記第２の画像を表示する表示部と、
   前記位置に応じて、前記第２の楽音情報の発音タイミングを前記第１の時間基準に従った発音タイミングに変換することによって、前記第１の楽音情報および前記第２の楽音情報から一の楽音情報を生成する楽音情報処理部と
   を有する楽音情報処理装置。
2. 前記第１の画像において、各音が所定の間隔で配列された音高のうちのいずれか一に属するかが表されるとともに、各音の発音持続時間は所定の時間基準に従って表される
   ことを特徴とする請求項１記載の楽音情報処理装置。
3. 前記入力部は、前記第１の画像の表示中に入力された前記第１の楽音情報において所定の音列パターンを検出すると、前記第２画像生成部は、前記第１の画像上における当該音列パターンに対応する位置に、前記第２の画像を表示する
   ことを特徴とする請求項１または２に記載の楽音情報処理装置。
4. 前記第１の画像および前記第２の画像において、時間軸が表示され、
   前記変換において、前記第２の画像において前記第２の楽音情報の発音開始時点および発音終了時点をそれぞれ示す値が、前記第１の画像が表す時間軸で示される値にそれぞれ一致するように、前記第２の楽音情報の発音タイミングが変更される
   ことを特徴とする請求項１ないし３のいずれか一つに記載の楽音情報処理装置。
5. 前記楽音情報処理部は、前記第２の画像の位置に応じて、音の高さについて第２の楽音情報で用いられる形式を前記第１の楽音情報にて用いられる形式に変換することにより、前記一の楽音情報において音の高さの情報は前記第１の楽音情報にて用いられる形式に従う
   ことを特徴とする請求項１ないし４のいずれか一つに記載の楽音情報処理装置。
6. コンピュータに、
   第１の楽音情報および第２の楽音情報を入力するステップと、
   該入力された第１の楽音情報に基づいて、音の高さおよび発音タイミングを第１の時間基準を用いて時系列で表した第１の画像を生成するステップと、
   該入力された第２の楽音情報に基づいて、音の高さおよび発音タイミングを第２の時間基準を用いて時系列で表した第２の画像を生成するステップと、
   該生成された第２の画像の位置を指定するステップと、
   前記第１の画像とともに、該指定された位置に前記第２の画像を表示するステップと、
   前記位置に応じて、前記第２の楽音情報の発音タイミングを前記第１の時間基準に従った発音タイミングに変換することによって、前記第１の楽音情報および前記第２の楽音情報から一の楽音情報を生成するステップと
   を実行させるためのプログラム。

Images