JP5663935B2 - Information editing apparatus and program - Google Patents
Information editing apparatus and program Download PDFInfo
- Publication number
- JP5663935B2 JP5663935B2 JP2010092820A JP2010092820A JP5663935B2 JP 5663935 B2 JP5663935 B2 JP 5663935B2 JP 2010092820 A JP2010092820 A JP 2010092820A JP 2010092820 A JP2010092820 A JP 2010092820A JP 5663935 B2 JP5663935 B2 JP 5663935B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- editing
- control information
- sound
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、音声合成(特に歌唱合成)に適用される楽譜情報を編集する技術に関する。 The present invention relates to a technique for editing musical score information applied to speech synthesis (especially song synthesis).
指定音の合成に適用される制御情報(例えば音高や発音文字)を時系列に指定する楽譜情報を利用者からの指示に応じて編集する技術が従来から提案されている。例えば特許文献1には、各指定音を図形化した音指示子を音高軸および時間軸のもとで配列した楽譜画像(ピアノロール画像)を表示装置に表示し、楽譜画像に対する利用者からの指示に応じて各指定音の制御情報を編集する技術が開示されている。
Conventionally, a technique for editing musical score information for designating control information (for example, pitches and pronunciation characters) applied to synthesis of a designated sound in time series according to an instruction from a user has been proposed. For example, in
しかし、特許文献1に開示された楽譜画像では表示内容が制約されるから、楽譜情報の詳細な内容を利用者が確認できないという問題がある。以上の事情を考慮して、本発明は、楽譜情報の詳細な内容を効率的に確認または編集することを目的とする。
However, since the display content is restricted in the musical score image disclosed in
以上の課題を解決するために、本発明の情報編集装置は、指定音の合成に適用される情報を含む複数種の制御情報を指定音毎に時系列に配列した楽譜情報を編集する装置であって、行列状に配列された複数の単位領域の各々に楽譜情報の各制御情報を配置した編集用図表を表示装置に表示させる表示制御手段と、編集用図表の各単位領域に対する利用者からの指示に応じて楽譜情報のうち当該単位領域に対応する制御情報を変更する情報管理手段とを具備する。以上の構成では、楽譜情報の各制御情報が編集用図表として表形式で表示され、編集用図表内の各単位領域に対する利用者からの指示に応じて当該単位領域内の制御情報が更新される。したがって、楽譜画像のみが表示される構成と比較して、楽譜情報の詳細な内容を利用者が効率的に確認しながら編集することが可能である。
In order to solve the above problems, an information editing apparatus of the present invention is an apparatus for editing musical score information in which a plurality of types of control information including information applied to synthesis of a designated sound is arranged in time series for each designated sound. Display control means for displaying on the display device an editing chart in which each piece of control information of the musical score information is arranged in each of the plurality of unit areas arranged in a matrix, and a user for each unit area of the editing chart Information management means for changing control information corresponding to the unit area in the musical score information according to the instruction. In the above configuration, each piece of control information of the musical score information is displayed in a table format as an editing chart, and the control information in the unit area is updated according to an instruction from the user for each unit area in the editing chart. . Therefore, the user can edit the detailed contents of the musical score information while efficiently checking the content, as compared with the configuration in which only the musical score image is displayed.
本発明の好適な態様において、楽譜情報は、指定音の音高を制御情報として含み、表示制御手段は、楽譜情報が示す音高に応じて第1方向の位置が決定された音指示子を指定音毎に第2方向に配列した楽譜画像を編集用図表とともに表示装置に表示させ、楽譜画像のうち利用者が選択した指定音の音指示子を他の音指示子とは相違する態様で表示し、かつ、編集用図表のうち当該指定音の単位領域を他の単位領域とは相違する態様で表示する。以上の態様においては、利用者が選択した指定音の音指示子および単位領域が強調表示されるから、楽譜画像内の各音指示子と編集用図表内の各単位領域との対応を利用者が容易に確認できるという利点がある。なお、画像の表示の態様とは、観察者が視覚的に識別できる画像の状態を意味する。例えば、画像の形状や寸法,階調の濃淡,表示色(色相,明度,彩度),模様,またはこれらの組合せが、画像の態様の概念に包含される。 In a preferred aspect of the present invention, the score information includes the pitch of the designated sound as control information, and the display control means includes a sound indicator whose position in the first direction is determined according to the pitch indicated by the score information. The score image arranged in the second direction for each designated sound is displayed on the display device together with the editing chart, and the sound indicator of the designated sound selected by the user among the score images is different from the other sound indicators. The unit area of the designated sound in the editing chart is displayed in a manner different from other unit areas. In the above aspect, since the sound indicator and unit area of the designated sound selected by the user are highlighted, the correspondence between each sound indicator in the score image and each unit area in the editing chart is displayed. There is an advantage that can be easily confirmed. The image display mode means a state of an image that can be visually identified by an observer. For example, the shape and size of an image, gradation of gradation, display color (hue, brightness, saturation), pattern, or a combination thereof is included in the concept of an image mode.
本発明の好適な態様において、情報管理手段は、楽譜情報のうち利用者が編集用図表にて選択した複数の単位領域に対応する制御情報を楽譜情報内で複製または移動する。以上の態様においては、編集用図表内の複数の単位領域にわたる既存の制御情報(特に発音文字)について楽譜情報内での複製または移動が可能であるから、指定音毎に制御情報を個別に変更する必要がある構成と比較して楽譜情報を効率的に編集できるという利点がある。 In a preferred aspect of the present invention, the information management means duplicates or moves control information corresponding to a plurality of unit areas selected by the user in the editing chart from the score information. In the above embodiment, the existing control information (especially pronunciation characters) over multiple unit areas in the editing chart can be duplicated or moved in the score information, so the control information is individually changed for each specified sound. There is an advantage that the musical score information can be edited efficiently compared to the configuration that needs to be performed.
本発明の好適な態様において、楽譜情報は、指定音の発音文字および音声記号と当該音声記号の変更の許可/禁止を指定する音声管理情報とを制御情報として含み、情報管理手段は、音声管理情報が音声記号の変更の禁止を指定する指定音の音声記号を、指定音の発音文字が変更された場合にも維持する。以上の態様では、音声管理情報が音声記号の変更の禁止を指定する指定音の音声記号が発音文字の変更時にも維持されるから、特定の音声記号を固定したまま楽譜情報の各発音文字を編集することが可能である。なお、以上の態様の具体例は例えば第2実施形態として後述される。 In a preferred aspect of the present invention, the musical score information includes, as control information, phonetic characters and phonetic symbols of the designated sound and voice management information designating permission / prohibition of change of the phonetic symbol, and the information management means includes voice management The sound symbol of the designated sound whose information specifies prohibition of the change of the sound symbol is maintained even when the pronunciation character of the designated sound is changed. In the above aspect, since the voice symbol of the designated sound that specifies that the voice management information prohibits the change of the phonetic symbol is maintained even when the phonetic character is changed, each phonetic character of the score information is kept with a specific phonetic symbol fixed. It is possible to edit. In addition, the specific example of the above aspect is later mentioned as 2nd Embodiment, for example.
本発明の好適な態様において、楽譜情報は、指定音の合成に使用される音声素片の波形の表示/非表示を指定する波形管理情報を制御情報として含み、表示制御手段は、波形管理情報が波形の表示を指定する音声素片の波形が配置された波形画像を編集用図表とともに表示装置に表示させ、情報管理手段は、波形画像に対する利用者からの指示に応じて当該音声素片の波形を調整する。以上の態様では、表示管理情報が表示を指定する音声素片の波形が表示装置に表示されて利用者からの指示に応じて編集されるから、音声素片の波形を利用者が容易に把握して所望の特性に効率的に調整できるという利点がある。なお、以上の態様の具体例は例えば第3実施形態として後述される。 In a preferred aspect of the present invention, the musical score information includes, as control information, waveform management information for designating display / non-display of a waveform of a speech unit used for synthesis of a designated sound, and the display control means includes waveform management information. Displays the waveform image in which the waveform of the speech unit for designating the waveform is arranged on the display device together with the editing chart, and the information management means displays the speech unit in response to an instruction from the user with respect to the waveform image. Adjust the waveform. In the above aspect, since the waveform of the speech unit whose display management information specifies the display is displayed on the display device and edited according to the instruction from the user, the user can easily grasp the waveform of the speech unit. Thus, there is an advantage that the desired characteristics can be adjusted efficiently. In addition, the specific example of the above aspect is later mentioned as 3rd Embodiment, for example.
以上の各態様に係る情報編集装置は、情報の編集に専用されるDSP(Digital Signal Processor)などのハードウェア(電子回路)で実現されるほか、CPU(Central Processing Unit)などの汎用の演算処理装置とプログラムとの協働でも実現される。本発明のプログラムは、指定音の合成に適用される情報を含む複数種の制御情報を指定音毎に時系列に配列した楽譜情報を記憶する記憶手段を具備するコンピュータに、行列状に配列された複数の単位領域の各々に楽譜情報の各制御情報を配置した編集用図表を表示装置に表示させる表示制御処理と、編集用図表の各単位領域に対する利用者からの指示に応じて楽譜情報のうち当該単位領域に対応する制御情報を変更する情報管理処理とを実行させる。以上のプログラムによれば、本発明の情報編集装置と同様の作用および効果が実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。 The information editing apparatus according to each aspect described above is realized by hardware (electronic circuit) such as a DSP (Digital Signal Processor) dedicated to information editing, and general-purpose arithmetic processing such as a CPU (Central Processing Unit). It is also realized by cooperation between the device and the program. The program of the present invention is arranged in a matrix on a computer having storage means for storing musical score information in which a plurality of types of control information including information applied to synthesis of a designated sound is arranged in time series for each designated sound. In addition, a display control process for displaying on the display device an editing chart in which each control information of the score information is arranged in each of the plurality of unit areas, and in response to an instruction from the user for each unit area of the editing chart, Among them, an information management process for changing control information corresponding to the unit area is executed. According to the above program, the same operation and effect as the information editing apparatus of the present invention are realized. The program of the present invention is provided to a user in a form stored in a computer-readable recording medium and installed in the computer, or provided from a server device in a form of distribution via a communication network and installed in the computer. Is done.
<A:第1実施形態>
図1は、本発明の第1実施形態に係る音響処理装置100のブロック図である。音響処理装置100は、複数の指定音を時系列に配列した歌唱音等の音声(以下「合成音」という)を生成する音声合成装置であり、図1に示すように、演算処理装置10と記憶装置12と入力装置14と表示装置16と放音装置18とを具備するコンピュータシステムで実現される。
<A: First Embodiment>
FIG. 1 is a block diagram of a
演算処理装置(CPU)10は、記憶装置12に記憶されたプログラムPGの実行で、音響信号SOUTの生成に必要な複数の機能(音響生成部22,表示制御部24,情報管理部26)を実現する。音響信号SOUTは、合成音の時間軸上の波形を示す信号である。なお、演算処理装置10の各機能を専用の電子回路(DSP)で実現した構成や、演算処理装置10の各機能を複数の集積回路に分散した構成も採用され得る。
The arithmetic processing unit (CPU) 10 executes a plurality of functions (
入力装置14は、利用者からの指示を受付ける機器(例えばマウスやキーボード)である。表示装置16(例えば液晶表示装置)は、演算処理装置10から指示された画像を表示する。放音装置18(例えばスピーカやヘッドホン)は、演算処理装置10が生成する音響信号SOUTに応じた合成音を再生する。
The
記憶装置12は、演算処理装置10が実行するプログラムPGや演算処理装置10が使用する各種のデータ(素片群DV,楽譜情報DS)を記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置12として任意に採用される。なお、複数の記録媒体にプログラムPGや各データ(DV,DS)を分散して記憶した構成も採用され得る。
The
素片群DVは、相異なる音声素片に対応する多数の素片データdの集合(ライブラリ)である。素片データdは、音声素片の波形や特徴量を示すデータであり、合成音の素材として利用される。音声素片は、聴覚的に区別できる最小の単位である音素、または複数の音素を連結した音素連鎖である。相異なる属性(以下「素片属性」という)に対応する複数の素片データdが音声素片毎に用意される。本実施形態では、音声素片の音高と音量と発声者とを素片属性として例示する。すなわち、音高と音量と発声者との組合せ(素片属性)毎に素片データdが記憶装置12に記憶される。
The unit group DV is a set (library) of a large number of unit data d corresponding to different speech units. The segment data d is data indicating the waveform and feature amount of the speech segment, and is used as a material for synthesized sound. The phoneme segment is a phoneme which is the smallest unit that can be distinguished auditorily or a phoneme chain in which a plurality of phonemes are connected. A plurality of segment data d corresponding to different attributes (hereinafter referred to as “segment attributes”) is prepared for each speech segment. In the present embodiment, the pitch and volume of the speech unit and the speaker are exemplified as the unit attributes. That is, the segment data d is stored in the
楽譜情報DSは、指定音を時系列に指定する情報(スコアデータ)であり、図2に示すように、相異なる指定音に対応する複数の単位情報Uの時系列で構成される。各単位情報Uは、音符情報UNと文字情報ULと1個以上の素片情報UVとを含む。音符情報UNは、指定音の音符を指定する情報であり、指定音の開始点と継続長と音高とを含んで構成される。文字情報ULは、指定音の発音の内容を指定する情報であり、発音文字(歌詞の音節)と音声記号(phonetic)とを含んで構成される。音声記号(例えばSAMPA(Speech Assessment Methods Phonetic Alphabet)記号)は、発音文字に応じて自動的に設定される。素片情報UVは、指定音の合成に使用される素片データdを指定する情報であり、指定音の合成に必要な音声素片毎に素片識別子と素片属性(音高,音量,発声者)とを含んで構成される。素片識別子は、音声素片を識別するための符号(素片名)である。図2の記号「Sil」は無音を意味する。 The musical score information DS is information (score data) for designating a designated sound in time series, and is composed of a plurality of unit information U corresponding to different designated sounds as shown in FIG. Each unit information U includes note information UN, character information UL, and one or more piece information UV. The note information UN is information for designating the note of the designated sound, and includes the start point, duration and pitch of the designated sound. The character information UL is information that specifies the content of pronunciation of the designated sound, and includes a pronunciation character (lyric syllable) and a phonetic symbol (phonetic). A phonetic symbol (for example, a SAMPA (Speech Assessment Methods Phonetic Alphabet) symbol) is automatically set according to a phonetic character. The unit information UV is information for specifying the unit data d used for the synthesis of the designated sound. For each speech unit necessary for the synthesis of the designated sound, the unit identifier and the unit attribute (pitch, volume, Speaker). The unit identifier is a code (unit name) for identifying a speech unit. The symbol “Sil” in FIG. 2 means silence.
以上に説明したように、楽譜情報DSは、指定音を規定する複数種の制御情報(開始点,継続長,音高,発音文字,音声記号,素片識別子,素片属性)を指定音毎に時系列に配列して構成される。図2から把握されるように、楽譜情報DSは、複数の音符情報UNの時系列と複数の文字情報ULの時系列と複数の素片情報UVの時系列との集合としても把握され得る。 As described above, the musical score information DS includes a plurality of types of control information (start point, continuation length, pitch, phonetic character, phonetic symbol, segment identifier, segment attribute) that define the specified sound for each specified sound. Are arranged in time series. As can be understood from FIG. 2, the score information DS can also be grasped as a set of a time series of a plurality of note information UN, a time series of a plurality of character information UL, and a time series of a plurality of segment information UV.
入力装置14に対する操作で利用者が合成音の生成を指示すると、図1の音響生成部22は、記憶装置12に記憶された素片群DVおよび楽譜情報DSを利用して各指定音の音響信号SOUTを生成する。具体的には、音響生成部22は、素片群DVのうち楽譜情報DSの素片識別子および素片属性に対応する素片データdを音符情報UNで規定される継続長および音高に調整し、調整後の素片データdを音符情報UNで規定される開始点に配置したうえで相互に連結することで音響信号SOUTを生成(音声合成)する。音響生成部22が生成した音響信号SOUTは、放音装置18に供給されることで音響として再生される。
When the user instructs the generation of the synthesized sound by operating the
図1の表示制御部24は、楽譜情報DSの生成や編集のために利用者が視認する図3の楽譜画像40と図4の編集用図表50とを生成して表示装置16に表示させる。図3に示すように、楽譜画像40は、音高軸(縦軸)と時間軸(横軸)とが設定された領域内に各指定音の音高の時間的な変化を提示する画像(ピアノロール画像)である。具体的には、指定音を図形化した音指示子42が時系列に楽譜画像40に配置される。表示制御部24は、音符情報UNが指定する音高に応じて音指示子42の音高軸の方向の位置を可変に設定し、音符情報UNが指定する開始点に応じて音指示子42の時間軸の方向の位置を可変に設定する。時間軸の方向における音指示子42のサイズは音符情報UNの継続長に応じて可変に設定される。また、文字情報ULが指定する発音文字(歌詞)と音声記号とが音指示子42に重ねて配置される。
The
楽譜情報DSで規定される指定音の時系列のうち楽譜画像40に音指示子42が配置される区間は、入力装置14に対する利用者からの指示に応じて変更(スクロール)される。利用者は、入力装置14を適宜に操作することで楽譜画像40から1個の音指示子42(指定音)を選択して編集することが可能である。表示制御部24は、利用者が選択した指定音の音指示子42(図3では発音文字「さ」の音指示子42)を他の音指示子42とは相違する態様(色彩や階調)で表示する。
The section where the
編集用図表50は、記憶装置12に記憶された楽譜情報DSを表形式で利用者に提示する画像であり、図4に示すように、相互に直交するX方向およびY方向に行列状に配列された複数の単位領域52(セル)を含んで構成される。楽譜情報DSに含まれる制御情報(開始点,継続長,音高,発音文字,音声記号,素片識別子,素片属性)が各単位領域52内に配置される。すなわち、楽譜画像40では指定音の音符情報UNおよび文字情報ULの各制御情報が図形で模式的に表示されるのに対し、編集用図表50では素片情報UVを含む楽譜情報DSの各制御情報が具体的な数値や文字として詳細に表示される。利用者は、所望の単位領域52を選択して当該単位領域52内の制御情報を変更することが可能である。
The
X方向に配列する複数の単位領域52の集合(以下「行領域54」という)は、楽譜情報DSが指定する1個の指定音(楽譜情報DS内の1個の単位情報U)に対応する。楽譜情報DSのうち1個の指定音に対応する複数種の制御情報が、当該指定音に対応する行領域54内の各単位領域52(編集用図表50の1行分)に配置される。Y方向に配列する各単位領域52(編集用図表50の1列分)には各指定音の同種の制御情報が時系列に配列される。
A set of a plurality of
表示制御部24は、楽譜情報DSで規定される指定音の時系列のうち楽譜画像40で利用者が選択した指定音を含む所定個の指定音(例えば選択中の指定音と前後の所定個の指定音)の各々に対応する行領域54を編集用図表50に配置する。例えば、楽譜画像40で表示中の区間内の各指定音について編集用図表50に行領域54を設定する構成や、楽譜画像40で表示中の区間よりも広い範囲にわたる各指定音について編集用図表50に行領域54を設定する構成が採用され得る。表示制御部24は、編集用図表50のうち利用者が楽譜画像40で選択した1個の音指示子42の指定音に対応する行領域54(図4では発音文字「さ」に対応する行領域54)を他の行領域54とは相違する態様(色彩や階調)で表示する。したがって、楽譜画像40内の各音指示子42と編集用図表50内の各行領域54との対応を利用者が容易に確認できるという利点がある。
The
情報管理部26は、楽譜画像40や編集用図表50に対する利用者からの指示に応じて楽譜情報DSを随時に更新する。表示制御部24は、情報管理部26による楽譜情報DSの変更が反映されるように楽譜画像40や編集用図表50を随時に更新することで両画像の内容を相互に整合させる。楽譜情報DSの更新に関する情報管理部26および表示制御部24の具体的な動作を以下に例示する。
The
利用者は、入力装置14を適宜に操作することで、楽譜画像40内の各音指示子42の編集(追加,変更,削除)を指示することが可能である。例えば利用者が音指示子42の追加を指示すると、表示制御部24は、利用者から指示された音指示子42を楽譜画像40に追加し、情報管理部26は、当該音指示子42に対応する指定音の単位情報Uを楽譜情報DSに追加する。表示制御部24は、楽譜情報DSに追加された単位情報Uの各制御情報を単位領域52に配置した行領域54を編集用図表50に追加する。
The user can instruct editing (addition, change, deletion) of each
選択中の音指示子42の変更を利用者が指示すると、表示制御部24は、当該音指示子42の位置やサイズを利用者からの指示に応じて変更し、情報管理部26は、楽譜情報DSのうち当該音指示子42に対応する指定音の単位情報Uを音指示子42の変化に応じて変更する。表示制御部24は、単位情報Uの変更に整合するように編集用図表50内の各制御情報を更新する。
When the user instructs to change the selected
選択中の音指示子42の削除を利用者が指示すると、表示制御部24は、当該音指示子42を楽譜画像40から削除し、情報管理部26は、当該音指示子42に対応する指定音の単位情報Uを楽譜情報DSから削除する。表示制御部24は、楽譜情報DSから削除された単位情報Uに対応する行領域54を編集用図表50から削除する。
When the user instructs the deletion of the selected
以上に説明した楽譜画像40の編集の指示に加えて、利用者は、編集用図表50の所望の単位領域52内の制御情報の編集(追加,変更,削除)を入力装置14の操作で指示することが可能である。音符情報UNおよび文字情報ULの各制御情報の編集と素片情報UVの各制御情報の編集とに区分して各制御情報の編集の具体的な手順を以下に説明する。
In addition to the instruction for editing the
[a]音符情報UNおよび文字情報ULの各制御情報の編集
音符情報UNや文字情報ULの編集に適用される動作モードには固定モードと浮動モードとがある。固定モードでは、編集対象以外の制御情報の時間軸上の位置が編集の前後で維持され、浮動モードでは、制御情報の追加や編集に連動して以後の制御情報の時間軸上の位置が移動(繰下/繰上)する。情報管理部26は、入力装置14に対する利用者からの指示に応じて動作モードを可変に選択する。
[A] Editing control information of note information UN and character information UL
There are a fixed mode and a floating mode as operation modes applied to the editing of the note information UN and the character information UL. In fixed mode, the position on the time axis of control information other than the object to be edited is maintained before and after editing. In floating mode, the position on the time axis of subsequent control information moves in conjunction with the addition or editing of control information. (Down / up). The
以下の説明では、制御情報の追加が指示された場合と既存の制御情報の削除が指示された場合との各々について固定モードおよび浮動モードでの動作を例示する。また、以下の説明で参照する図5および図6では複数種の制御情報のうち発音文字の編集を便宜的に例示するが、発音文字以外の制御情報の編集も同様の手順で実行される。 In the following description, the operations in the fixed mode and the floating mode are illustrated for each of the case where the addition of control information is instructed and the case where the deletion of existing control information is instructed. 5 and 6 referred to in the following description, for the sake of convenience, editing of pronunciation characters among a plurality of types of control information is illustrated for convenience. Editing of control information other than pronunciation characters is also executed in the same procedure.
[a1]制御情報の追加が指示された場合
利用者は、入力装置14を適宜に操作することで、編集用図表50に対する所望の制御情報の追加を指示することが可能である。例えば、利用者が入力装置14の操作で直接に入力した制御情報が編集用図表50に追加され得る。また、編集用図表50から利用者が選択した1個以上の単位領域52に対応する既存の制御情報が編集用図表50の他の単位領域52に追加され得る。編集用図表50内の既存の制御情報の追加には、編集用図表50内の制御情報の複製(コピー&ペースト)と移動(カット&ペースト)とがある。利用者は、編集用図表50の複数行(すなわち複数の指定音)にわたる単位領域52の制御情報を複製または移動の対象として選択し得る。
[A1] When control information addition is instructed
The user can instruct addition of desired control information to the
固定モードで制御情報の追加が指示された場合、情報管理部26は、楽譜情報DSのうち利用者が編集用図表50にて選択した単位領域52の制御情報を、利用者が追加を指示した制御情報に置換(上書)する。表示制御部24は、情報管理部26による楽譜情報DSの変更が反映されるように編集用図表50を更新する。例えば、図5の部分(A)のように「あさがくる」という発音文字が存在する状況で利用者が「あさが」を指定して「ひるも」の追加を指示した場合、表示制御部24は、図5の部分(B)に示すように「あさが」を「ひるも」に置換する。また、表示制御部24は、楽譜情報DSの変更(編集用図表50の変更)に対応するように楽譜画像40を更新する。
When the addition of the control information is instructed in the fixed mode, the
他方、浮動モードで制御情報の追加が指示された場合、情報管理部26は、楽譜情報DSのうち利用者が編集用図表50から選択した単位領域52の位置に、利用者が追加を指示した制御情報を挿入し、以後の各制御情報を今回の制御情報の追加分だけ繰下げる。表示制御部24は、情報管理部26による楽譜情報DSの変更が反映されるように編集用図表50を更新する。例えば、図5の部分(A)の状況で利用者が「あさが」を指定して「ひるも」の追加を指示した場合、表示制御部24は、図5の部分(C)に示すように「あさが」の直後に「ひるも」を挿入するとともに既存の「くる」を「ひるが」の直後に繰下げる。また、表示制御部24は、楽譜情報DSの変更(編集用図表50の変更)に対応するように楽譜画像40を更新する。
On the other hand, when addition of control information is instructed in the floating mode, the
以上のように浮動モードで制御情報が追加されると以後の制御情報が繰下げられるから、繰下げられた制御情報以外の制御情報を含まない単位情報Uが発生し得る。例えば、図4では、浮動モードでの発音文字の追加で繰下げられた発音文字「くる」の指定音の単位情報Uが音符情報UNおよび素片情報UVを含まない場合が例示されている。以上に例示した手順(固定モード,浮動モード)で発音文字が追加されると、情報管理部26は、各発音文字に対応する音声記号を特定して文字情報ULに設定する。
As described above, when control information is added in the floating mode, subsequent control information is deferred, and therefore unit information U that does not include control information other than the deferred control information may be generated. For example, FIG. 4 exemplifies a case where the unit information U of the designated sound of the pronunciation character “Kuru”, which is deferred by the addition of the pronunciation character in the floating mode, does not include the note information UN and the unit information UV. When a phonetic character is added in the procedure exemplified above (fixed mode, floating mode), the
[a2]制御情報の削除が指示された場合
固定モードで制御情報の削除が指示された場合、情報管理部26は、楽譜情報DSのうち利用者が編集用図表50で削除の対象として選択した単位領域52の制御情報を初期値に変更する。表示制御部24は、情報管理部26による楽譜情報DSの変更が反映されるように編集用図表50を更新する。例えば、図6の部分(A)のように「あさがくる」という発音文字が存在する状況で利用者が「あさが」の削除を指示した場合、表示制御部24は、図6の部分(B)に示すように、「あさが」の各発音文字を初期値「あ」に置換する。また、表示制御部24は、編集用図表50(楽譜情報DS)の変更に対応するように楽譜画像40を更新する。
[A2] When control information deletion is instructed
When the deletion of the control information is instructed in the fixed mode, the
他方、浮動モードで制御情報の削除が指示された場合、情報管理部26は、楽譜情報DSのうち利用者から指示された制御情報を削除するとともに以後の制御情報を今回の削除分だけ繰上げる。表示制御部24は、情報管理部26による楽譜情報DSの変更が反映されるように編集用図表50を更新する。例えば、図6の部分(A)の状況で利用者が「あさが」の削除を指示した場合、表示制御部24は、図6の部分(C)に示すように、「あさが」を削除するとともに以後の「くる」を繰上げる。また、表示制御部24は、編集用図表50(楽譜情報DS)の変更に対応するように楽譜画像40を更新する。
On the other hand, when deletion of the control information is instructed in the floating mode, the
[b]素片情報UVの各制御情報(素片属性)の編集
編集用図表50のうち素片情報UVの素片属性(音高,音量,発声者)に対応する単位領域52を利用者が選択した場合、表示制御部24は、図7に例示するように、素片属性の複数の選択肢を配列したリスト56を、利用者が選択した単位領域52(図7では「音量」の単位領域52)の近傍に表示する。素片群DVに実際に含まれる素片データdの素片属性が選択肢としてリスト56に配列される。利用者は、入力装置14の操作で複数の選択肢の何れかをリスト56から選択することが可能である。情報管理部26は、楽譜情報DSのうち利用者が選択した単位領域52に対応する素片属性を、利用者がリスト56から選択した選択肢の内容に変更する。表示制御部24は、情報管理部26による楽譜情報DSの変更が反映されるように編集用図表50内の素片属性を更新する。
[B] Editing each piece of control information (segment attribute) of the segment information UV
When the user selects a
以上に説明したように、本実施形態では、楽譜情報DSに含まれる各制御情報が編集用図表50として表形式で表示されるとともに利用者からの指示に応じて更新される。したがって、利用者は、楽譜情報DSの詳細な内容を効率的に確認しながら編集することが可能である。また、編集用図表50とともに表示される楽譜画像40を視認することで、指定音の時系列の概略を利用者が直感的に把握できるという利点もある。
As described above, in the present embodiment, each control information included in the score information DS is displayed in a tabular format as the
さらに、編集用図表50の複数の単位領域52にわたる制御情報が一括的に複製または移動されるから、楽譜画像40の各音指示子42に対する指示で個々の指定音の制御情報を個別に編集する場合と比較して楽譜情報DSを効率的に編集できるという利点もある。
Further, since the control information over the plurality of
<B:第2実施形態>
次に、本発明の第2実施形態を説明する。なお、以下の各例示において作用や機能が第1実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
<B: Second Embodiment>
Next, a second embodiment of the present invention will be described. In addition, about the element which an effect | action and function are equivalent to 1st Embodiment in each following illustration, the code | symbol referred by the above description is diverted and each detailed description is abbreviate | omitted suitably.
図8は、第2実施形態における編集用図表50の模式図である。図8から理解されるように、第2実施形態の楽譜情報DS内の文字情報ULは、第1実施形態と同様の発音文字および音声記号に加えて音声管理情報を含んで構成される。音声管理情報は、音声記号の変更の許可/禁止を指定する制御情報である。図8に示すように、編集用図表50は、音声管理情報が配置された単位領域52を指定音毎(行領域54毎)に含んで構成される。図8の例示では、音声記号の変更の禁止を指定する音声管理情報が記号「v」で表現されている。音声記号の変更の許可を指定する音声管理情報は空欄である。
FIG. 8 is a schematic diagram of the
固定モードで発音文字(制御情報)の追加が指示された場合、情報管理部26は、利用者が編集用図表50で選択した単位領域52の既存の発音文字を追加の制御情報に置換(上書)し、各発音文字に対応する音声記号を、置換後の文字情報に対応する音声記号に更新する。ただし、音声管理情報が禁止を指定する指定音については、発音文字が変更された場合でも音声記号を編集前の内容に維持する。
When addition of pronunciation characters (control information) is instructed in the fixed mode, the
例えば、図9の部分(A)のように、「あさがひるが」という発音文字のうち「る」の指定音の音声管理情報が禁止(記号v)を指定し、他の指定音の音声管理情報が許可を指定する場合を想定する。図9の部分(A)のように、固定モードで利用者が発音文字「あさが」を選択して「ひるが」の位置に追加(複製)する指示を付与すると、情報管理部26は、図9の部分(B)に示すように、楽譜情報DSの「ひるが」を「あさが」に置換し、置換前の「ひ」の音声記号「ci」を置換後の「あ」の音声記号「a」に更新する。発音文字「が」は変化しないから音声記号も更新されない。他方、置換前の「る」については音声管理情報が禁止を指定するから、情報管理部26は、図9の部分(A)の「る」を部分(B)の「さ」に置換するにも関わらず、音声記号を置換前の「る」の音声記号「4M」に維持する(斜線部分)。以上の楽譜情報DSの変更が反映されるように表示制御部24は楽譜画像40および編集用図表50を更新する。
For example, as shown in part (A) of FIG. 9, the voice management information of the designated sound of “ru” among the pronunciation characters “Asa Hiruga” designates prohibition (symbol v), and the sound of the other designated sound. Assume that the management information specifies permission. As shown in part (A) of FIG. 9, when the user selects the pronunciation character “Asa” in the fixed mode and gives an instruction to add (duplicate) to the position of “Hiruga”, the
なお、図9では利用者が発音文字「あさが」のみを選択した場合を例示したが、図10の部分(A)のように、「あさが」の発音文字および音声記号の双方を利用者が選択して追加を指示した場合、情報管理部26は、貼付先となる「ひるが」の音声管理情報の内容に関わらず、図10の部分(B)に示すように、「ひるが」の発音文字と音声記号と音声管理情報とを「あさが」の発音文字と音声記号と音声管理情報とに変更する。すなわち、「ひ」の音声記号「ci」が「あ」の音声記号「a」に置換されるとともに「る」の音声記号「4M」が「さ」の音声記号「sa」に置換される。
Although FIG. 9 illustrates the case where the user selects only the pronunciation character “Asa”, as shown in the part (A) of FIG. 10, both the pronunciation character and the phonetic symbol of “Asa” are used by the user. Is selected and the addition is instructed, the
楽譜情報DS内の音声管理情報の内容は、編集用図表50に対する利用者からの指示に応じて、音声記号の変更の許可および禁止の一方から他方に変更される。利用者は、例えば、編集用図表50の各単位領域52を個別に選択して音声管理情報を変更する作業や、編集用図表50の複数の単位領域52(列)を同時に選択して複数の指定音の音声管理情報を一括的に変更する作業を指示することが可能である。音声管理情報が禁止から許可に変更されると、当該指定音の音声記号は発音文字に応じた内容に更新される。例えば、図9の部分(B)の状態で禁止を指定している音声管理情報(第2番目の発音文字「さ」の音声管理情報)が許可に変更されると、当該音声管理情報に対応する音声記号「4M」は、発音文字「さ」に対応する本来の音声記号「sa」に自動的に更新される。
The contents of the voice management information in the score information DS are changed from one of permission and prohibition to change the phonetic symbol to the other in accordance with an instruction from the user to the
以上に説明した第2実施形態でも第1実施形態と同様の効果が実現される、また、第2実施形態では、音声管理情報が音声記号の変更の禁止を指定する指定音については発音文字が変更された場合でも音声記号は維持されるから、所望の音声記号を固定したまま楽譜情報DSを編集できるという利点がある。 In the second embodiment described above, the same effect as that of the first embodiment is realized. In the second embodiment, a pronunciation character is used for the designated sound whose voice management information designates prohibition of the change of the phonetic symbol. Since the phonetic symbols are maintained even when changed, there is an advantage that the musical score information DS can be edited with the desired phonetic symbols fixed.
<C:第3実施形態>
図11は、第3実施形態における編集用図表50の模式図である。図11から理解されるように、第3実施形態の楽譜情報DS内の素片情報UVは、第1実施形態と同様の素片識別子および素片属性(音高,音量,発声者)に加えて波形管理情報を含んで構成される。波形管理情報は、音声素片の波形の表示/非表示を指定する制御情報である。図11に示すように、編集用図表50は、波形管理情報が配置された単位領域52を素片情報UV毎に含んで構成される。図11の例示では、音声素片の波形の表示を指定する波形管理情報が記号「v」で表現されている(非表示の波形管理情報は空欄)。
<C: Third Embodiment>
FIG. 11 is a schematic diagram of the
波形管理情報の内容は、編集用図表50に対する利用者からの指示に応じて、表示および非表示の一方から他方に変更される。利用者は、例えば、編集用図表50の各単位領域52を個別に選択して波形管理情報を変更する作業や、編集用図表50の複数の単位領域52(列)を同時に選択して複数の指定音の波形管理情報を一括的に変更する作業を指示することが可能である。
The content of the waveform management information is changed from one of display and non-display to the other in accordance with an instruction from the user to the
表示制御部24は、第1実施形態と同様の楽譜画像40および編集用図表50に加えて図12の波形画像60を表示装置16に表示させる。図12に示すように、波形画像60は、素片情報UVの波形管理情報が表示を指定する音声素片毎に、当該音声素片の素片データdが示す波形62を配置した画像である。図12では、波形管理情報が表示を指定する3個の音声素片(Sil-a,a-s,s-a)の波形62を波形画像60に並列に配置した場合が例示されている。
The
情報管理部26は、波形画像60に対する利用者からの指示に応じて音声素片の波形62(素片データd)を調整する。例えば、情報管理部26は、音声素片の波形62のうち指定音の合成に使用される範囲(例えば通常の合成で使用される基準範囲や長音の合成時に使用される最大範囲や短音の合成時に使用される最小範囲)や,音声素片の音量の変化(時間軸上の包絡線)や,音声素片の波形62のうち前後の音声素片と重なる範囲を、入力装置14に対する利用者からの指示に応じて可変に設定する。音響生成部22は、情報管理部26による波形の調整後の素片データdを利用して音響信号SOUTを生成する。
The
以上に説明した第3実施形態でも第1実施形態と同様の効果が実現される。また、第3実施形態では、表示管理情報で指定される音声素片の波形62が表示装置16に表示されるとともに利用者からの指示に応じて編集されるから、利用者は、指定音の合成に実際に使用される音声素片の波形62を詳細に確認しながら自身の所望の特性に効率的に調整することが可能である。なお、音声管理情報を利用する第2実施形態と波形管理情報を利用する第3実施形態とは併合され得る。
In the third embodiment described above, the same effects as in the first embodiment are realized. In the third embodiment, the
なお、楽譜情報DSを構成する制御情報(編集用図表50にて表示される制御情報)は以上の各形態での例示(指定音の開始点,継続長,音高,発音文字,音声記号,音声管理情報,素片識別子,素片属性,波形管理情報)に限定されない。本発明に適用される楽譜情報DSは、指定音の合成に適用される情報を含む複数種の制御情報を時系列に配列した情報として包括される。 Note that the control information (control information displayed in the editing chart 50) constituting the score information DS is exemplified in the above-described forms (designated sound start point, duration, pitch, phonetic character, phonetic symbol, (Voice management information, segment identifier, segment attribute, waveform management information). The musical score information DS applied to the present invention is included as information in which a plurality of types of control information including information applied to the synthesis of the designated sound are arranged in time series.
また、編集用図表50の形態は以上の各形態での例示に限定されない。例えば、X方向(横方向)を時間軸として各制御情報を配列した編集用図表50も採用され得る。また、楽譜情報DSの編集用の音響処理装置100(情報編集装置)では音響生成部22が省略される。
Further, the form of the
100……音響処理装置、10……演算処理装置、12……記憶装置、14……入力装置、16……表示装置、18……放音装置、22……音響生成部、24……表示制御部、26……情報管理部、40……楽譜画像、42……音指示子、50……編集用図表、52……単位領域、54……行領域、56……リスト、60……波形画像、62……波形。
DESCRIPTION OF
Claims (6)
行列状に配列された複数の単位領域の各々に前記楽譜情報の前記各制御情報を配置した編集用図表を表示装置に表示させる表示制御手段と、
前記編集用図表の各単位領域に対する利用者からの指示に応じて前記楽譜情報のうち当該単位領域に対応する制御情報を変更する手段であって、前記音声管理情報が前記音声記号の変更の許可を指定する指定音の音声記号を、当該指定音の発音文字の変更に応じて変更し、前記音声管理情報が前記音声記号の変更の禁止を指定する指定音の音声記号を、当該指定音の発音文字が変更された場合にも維持する情報管理手段と
を具備する情報編集装置。 This is an apparatus for editing musical score information in which a plurality of types of control information including a phonetic character and a phonetic symbol of a specified sound and voice management information specifying permission / prohibition of the change of the phonetic symbol are arranged in time series for each specified sound. And
Display control means for displaying on the display device an editing chart in which each control information of the score information is arranged in each of a plurality of unit areas arranged in a matrix;
A means for changing control information corresponding to the unit area in the musical score information in accordance with an instruction from a user for each unit area of the editing chart , wherein the voice management information is allowed to change the phonetic symbol. The voice symbol of the designated sound designating the designated sound is changed according to the change of the pronunciation character of the designated sound, and the voice symbol of the designated sound for which the voice management information designates prohibition of the change of the voice symbol An information editing device comprising information management means for maintaining even when pronunciation characters are changed .
請求項1の情報編集装置。 2. The information editing apparatus according to claim 1, wherein the information management unit updates the phonetic symbol of the designated sound whose voice management information has been changed from prohibition to change of the phonetic symbol to permission, according to the pronunciation character of the designated sound. .
請求項1または請求項2の情報編集装置。 The information editing apparatus according to claim 1 or 2.
請求項1から請求項3の何れかの情報編集装置。 The information editing apparatus according to claim 1.
前記表示制御手段は、前記波形管理情報が波形の表示を指定する音声素片の波形が配置された波形画像を前記編集用図表とともに前記表示装置に表示させ、
前記情報管理手段は、前記波形画像に対する利用者からの指示に応じて当該音声素片の波形を調整する
請求項1から請求項4の何れかの情報編集装置。 The musical score information includes, as the control information, waveform management information for designating display / non-display of a waveform of a speech unit used for synthesis of a designated sound,
The display control means causes the display device to display a waveform image in which a waveform of a speech unit in which the waveform management information specifies waveform display is arranged together with the editing chart,
The information editing device according to any one of claims 1 to 4, wherein the information management unit adjusts a waveform of the speech element in accordance with an instruction from a user with respect to the waveform image.
行列状に配列された複数の単位領域の各々に前記楽譜情報の前記各制御情報を配置した編集用図表を表示装置に表示させる表示制御手段、および、 Display control means for displaying on the display device an editing chart in which the control information of the score information is arranged in each of a plurality of unit areas arranged in a matrix; and
前記編集用図表の各単位領域に対する利用者からの指示に応じて前記楽譜情報のうち当該単位領域に対応する制御情報を変更する手段であって、前記音声管理情報が前記音声記号の変更の許可を指定する指定音の音声記号を、当該指定音の発音文字の変更に応じて変更し、前記音声管理情報が前記音声記号の変更の禁止を指定する指定音の音声記号を、前記指定音の発音文字が変更された場合にも維持する情報管理手段 A means for changing control information corresponding to the unit area in the musical score information in accordance with an instruction from a user for each unit area of the editing chart, wherein the voice management information is allowed to change the phonetic symbol. The voice symbol of the designated sound that designates the change of the phonetic character of the designated sound is changed according to the change of the pronunciation character of the designated sound, and the voice symbol of the designated sound that the voice management information specifies prohibition of the change of the voice symbol Information management means to maintain even when pronunciation characters are changed
として機能させるプログラム。 Program to function as.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010092820A JP5663935B2 (en) | 2010-04-14 | 2010-04-14 | Information editing apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010092820A JP5663935B2 (en) | 2010-04-14 | 2010-04-14 | Information editing apparatus and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011221423A JP2011221423A (en) | 2011-11-04 |
JP5663935B2 true JP5663935B2 (en) | 2015-02-04 |
Family
ID=45038447
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010092820A Active JP5663935B2 (en) | 2010-04-14 | 2010-04-14 | Information editing apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5663935B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6413220B2 (en) * | 2013-10-15 | 2018-10-31 | ヤマハ株式会社 | Composite information management device |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3414163B2 (en) * | 1996-10-10 | 2003-06-09 | ヤマハ株式会社 | Apparatus and method for displaying and editing automatic performance data |
-
2010
- 2010-04-14 JP JP2010092820A patent/JP5663935B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011221423A (en) | 2011-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6070010B2 (en) | Music data display device and music data display method | |
JP6236765B2 (en) | Music data editing apparatus and music data editing method | |
JP2004258563A (en) | Device and program for score data display and editing | |
JP2019066649A (en) | Method for assisting in editing singing voice and device for assisting in editing singing voice | |
JP5648347B2 (en) | Speech synthesizer | |
US20050016361A1 (en) | Musical score display apparatus | |
JP5625321B2 (en) | Speech synthesis apparatus and program | |
JP5423375B2 (en) | Speech synthesizer | |
JP2019066648A (en) | Method for assisting in editing singing voice and device for assisting in editing singing voice | |
JP5636665B2 (en) | Music information processing apparatus and music information processing method | |
JP6136202B2 (en) | Music data editing apparatus and music data editing method | |
JP5663935B2 (en) | Information editing apparatus and program | |
JP5515986B2 (en) | Information editing apparatus and program | |
US20210097973A1 (en) | Information processing method, information processing device, and program | |
US11893304B2 (en) | Display control method, display control device, and program | |
JP5092905B2 (en) | Singing synthesis apparatus and program | |
JP4501417B2 (en) | Music score display apparatus and program for realizing music score display method | |
JP4221757B2 (en) | Music score display apparatus and program for realizing music score display method | |
JP2009230062A (en) | Voice synthesis device and reading system using the same | |
JP5790860B2 (en) | Speech synthesizer | |
US20210097975A1 (en) | Information processing method, information processing device, and program | |
JP2024057180A (en) | PROGRAM, SOUND PROCESSING METHOD AND SOUND PROCESSING SYSTEM | |
CN117877459A (en) | Recording medium, sound processing method, and sound processing system | |
JP6149373B2 (en) | Speech synthesis data editing apparatus and speech synthesis data editing method | |
JP2014170251A (en) | Voice synthesis device, voice synthesis method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140401 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140521 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141111 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141124 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5663935 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |