JP5663935B2 - Information editing apparatus and program - Google Patents

Information editing apparatus and program Download PDF

Info

Publication number
JP5663935B2
JP5663935B2 JP2010092820A JP2010092820A JP5663935B2 JP 5663935 B2 JP5663935 B2 JP 5663935B2 JP 2010092820 A JP2010092820 A JP 2010092820A JP 2010092820 A JP2010092820 A JP 2010092820A JP 5663935 B2 JP5663935 B2 JP 5663935B2
Authority
JP
Japan
Prior art keywords
information
editing
control information
sound
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010092820A
Other languages
Japanese (ja)
Other versions
JP2011221423A (en
Inventor
隼人 大下
隼人 大下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2010092820A priority Critical patent/JP5663935B2/en
Publication of JP2011221423A publication Critical patent/JP2011221423A/en
Application granted granted Critical
Publication of JP5663935B2 publication Critical patent/JP5663935B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、音声合成(特に歌唱合成)に適用される楽譜情報を編集する技術に関する。   The present invention relates to a technique for editing musical score information applied to speech synthesis (especially song synthesis).

指定音の合成に適用される制御情報(例えば音高や発音文字)を時系列に指定する楽譜情報を利用者からの指示に応じて編集する技術が従来から提案されている。例えば特許文献1には、各指定音を図形化した音指示子を音高軸および時間軸のもとで配列した楽譜画像(ピアノロール画像)を表示装置に表示し、楽譜画像に対する利用者からの指示に応じて各指定音の制御情報を編集する技術が開示されている。   Conventionally, a technique for editing musical score information for designating control information (for example, pitches and pronunciation characters) applied to synthesis of a designated sound in time series according to an instruction from a user has been proposed. For example, in Patent Document 1, a musical score image (piano roll image) in which sound indicators obtained by graphicizing each designated sound are arranged on a pitch axis and a time axis is displayed on a display device. A technique for editing control information of each designated sound in response to the instruction is disclosed.

特開2004−258564号公報JP 2004-258564 A

しかし、特許文献1に開示された楽譜画像では表示内容が制約されるから、楽譜情報の詳細な内容を利用者が確認できないという問題がある。以上の事情を考慮して、本発明は、楽譜情報の詳細な内容を効率的に確認または編集することを目的とする。   However, since the display content is restricted in the musical score image disclosed in Patent Document 1, there is a problem that the user cannot confirm the detailed content of the musical score information. In view of the above circumstances, an object of the present invention is to efficiently confirm or edit the detailed contents of musical score information.

以上の課題を解決するために、本発明の情報編集装置は、指定音の合成に適用される情報を含む複数種の制御情報を指定音毎に時系列に配列した楽譜情報を編集する装置であって、行列状に配列された複数の単位領域の各々に楽譜情報の各制御情報を配置した編集用図表を表示装置に表示させる表示制御手段と、編集用図表の各単位領域に対する利用者からの指示に応じて楽譜情報のうち当該単位領域に対応する制御情報を変更する情報管理手段とを具備する。以上の構成では、楽譜情報の各制御情報が編集用図表として表形式で表示され、編集用図表内の各単位領域に対する利用者からの指示に応じて当該単位領域内の制御情報が更新される。したがって、楽譜画像のみが表示される構成と比較して、楽譜情報の詳細な内容を利用者が効率的に確認しながら編集することが可能である。
In order to solve the above problems, an information editing apparatus of the present invention is an apparatus for editing musical score information in which a plurality of types of control information including information applied to synthesis of a designated sound is arranged in time series for each designated sound. Display control means for displaying on the display device an editing chart in which each piece of control information of the musical score information is arranged in each of the plurality of unit areas arranged in a matrix, and a user for each unit area of the editing chart Information management means for changing control information corresponding to the unit area in the musical score information according to the instruction. In the above configuration, each piece of control information of the musical score information is displayed in a table format as an editing chart, and the control information in the unit area is updated according to an instruction from the user for each unit area in the editing chart. . Therefore, the user can edit the detailed contents of the musical score information while efficiently checking the content, as compared with the configuration in which only the musical score image is displayed.

本発明の好適な態様において、楽譜情報は、指定音の音高を制御情報として含み、表示制御手段は、楽譜情報が示す音高に応じて第1方向の位置が決定された音指示子を指定音毎に第2方向に配列した楽譜画像を編集用図表とともに表示装置に表示させ、楽譜画像のうち利用者が選択した指定音の音指示子を他の音指示子とは相違する態様で表示し、かつ、編集用図表のうち当該指定音の単位領域を他の単位領域とは相違する態様で表示する。以上の態様においては、利用者が選択した指定音の音指示子および単位領域が強調表示されるから、楽譜画像内の各音指示子と編集用図表内の各単位領域との対応を利用者が容易に確認できるという利点がある。なお、画像の表示の態様とは、観察者が視覚的に識別できる画像の状態を意味する。例えば、画像の形状や寸法,階調の濃淡,表示色(色相,明度,彩度),模様,またはこれらの組合せが、画像の態様の概念に包含される。   In a preferred aspect of the present invention, the score information includes the pitch of the designated sound as control information, and the display control means includes a sound indicator whose position in the first direction is determined according to the pitch indicated by the score information. The score image arranged in the second direction for each designated sound is displayed on the display device together with the editing chart, and the sound indicator of the designated sound selected by the user among the score images is different from the other sound indicators. The unit area of the designated sound in the editing chart is displayed in a manner different from other unit areas. In the above aspect, since the sound indicator and unit area of the designated sound selected by the user are highlighted, the correspondence between each sound indicator in the score image and each unit area in the editing chart is displayed. There is an advantage that can be easily confirmed. The image display mode means a state of an image that can be visually identified by an observer. For example, the shape and size of an image, gradation of gradation, display color (hue, brightness, saturation), pattern, or a combination thereof is included in the concept of an image mode.

本発明の好適な態様において、情報管理手段は、楽譜情報のうち利用者が編集用図表にて選択した複数の単位領域に対応する制御情報を楽譜情報内で複製または移動する。以上の態様においては、編集用図表内の複数の単位領域にわたる既存の制御情報(特に発音文字)について楽譜情報内での複製または移動が可能であるから、指定音毎に制御情報を個別に変更する必要がある構成と比較して楽譜情報を効率的に編集できるという利点がある。   In a preferred aspect of the present invention, the information management means duplicates or moves control information corresponding to a plurality of unit areas selected by the user in the editing chart from the score information. In the above embodiment, the existing control information (especially pronunciation characters) over multiple unit areas in the editing chart can be duplicated or moved in the score information, so the control information is individually changed for each specified sound. There is an advantage that the musical score information can be edited efficiently compared to the configuration that needs to be performed.

本発明の好適な態様において、楽譜情報は、指定音の発音文字および音声記号と当該音声記号の変更の許可/禁止を指定する音声管理情報とを制御情報として含み、情報管理手段は、音声管理情報が音声記号の変更の禁止を指定する指定音の音声記号を、指定音の発音文字が変更された場合にも維持する。以上の態様では、音声管理情報が音声記号の変更の禁止を指定する指定音の音声記号が発音文字の変更時にも維持されるから、特定の音声記号を固定したまま楽譜情報の各発音文字を編集することが可能である。なお、以上の態様の具体例は例えば第2実施形態として後述される。   In a preferred aspect of the present invention, the musical score information includes, as control information, phonetic characters and phonetic symbols of the designated sound and voice management information designating permission / prohibition of change of the phonetic symbol, and the information management means includes voice management The sound symbol of the designated sound whose information specifies prohibition of the change of the sound symbol is maintained even when the pronunciation character of the designated sound is changed. In the above aspect, since the voice symbol of the designated sound that specifies that the voice management information prohibits the change of the phonetic symbol is maintained even when the phonetic character is changed, each phonetic character of the score information is kept with a specific phonetic symbol fixed. It is possible to edit. In addition, the specific example of the above aspect is later mentioned as 2nd Embodiment, for example.

本発明の好適な態様において、楽譜情報は、指定音の合成に使用される音声素片の波形の表示/非表示を指定する波形管理情報を制御情報として含み、表示制御手段は、波形管理情報が波形の表示を指定する音声素片の波形が配置された波形画像を編集用図表とともに表示装置に表示させ、情報管理手段は、波形画像に対する利用者からの指示に応じて当該音声素片の波形を調整する。以上の態様では、表示管理情報が表示を指定する音声素片の波形が表示装置に表示されて利用者からの指示に応じて編集されるから、音声素片の波形を利用者が容易に把握して所望の特性に効率的に調整できるという利点がある。なお、以上の態様の具体例は例えば第3実施形態として後述される。   In a preferred aspect of the present invention, the musical score information includes, as control information, waveform management information for designating display / non-display of a waveform of a speech unit used for synthesis of a designated sound, and the display control means includes waveform management information. Displays the waveform image in which the waveform of the speech unit for designating the waveform is arranged on the display device together with the editing chart, and the information management means displays the speech unit in response to an instruction from the user with respect to the waveform image. Adjust the waveform. In the above aspect, since the waveform of the speech unit whose display management information specifies the display is displayed on the display device and edited according to the instruction from the user, the user can easily grasp the waveform of the speech unit. Thus, there is an advantage that the desired characteristics can be adjusted efficiently. In addition, the specific example of the above aspect is later mentioned as 3rd Embodiment, for example.

以上の各態様に係る情報編集装置は、情報の編集に専用されるDSP(Digital Signal Processor)などのハードウェア(電子回路)で実現されるほか、CPU(Central Processing Unit)などの汎用の演算処理装置とプログラムとの協働でも実現される。本発明のプログラムは、指定音の合成に適用される情報を含む複数種の制御情報を指定音毎に時系列に配列した楽譜情報を記憶する記憶手段を具備するコンピュータに、行列状に配列された複数の単位領域の各々に楽譜情報の各制御情報を配置した編集用図表を表示装置に表示させる表示制御処理と、編集用図表の各単位領域に対する利用者からの指示に応じて楽譜情報のうち当該単位領域に対応する制御情報を変更する情報管理処理とを実行させる。以上のプログラムによれば、本発明の情報編集装置と同様の作用および効果が実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。   The information editing apparatus according to each aspect described above is realized by hardware (electronic circuit) such as a DSP (Digital Signal Processor) dedicated to information editing, and general-purpose arithmetic processing such as a CPU (Central Processing Unit). It is also realized by cooperation between the device and the program. The program of the present invention is arranged in a matrix on a computer having storage means for storing musical score information in which a plurality of types of control information including information applied to synthesis of a designated sound is arranged in time series for each designated sound. In addition, a display control process for displaying on the display device an editing chart in which each control information of the score information is arranged in each of the plurality of unit areas, and in response to an instruction from the user for each unit area of the editing chart, Among them, an information management process for changing control information corresponding to the unit area is executed. According to the above program, the same operation and effect as the information editing apparatus of the present invention are realized. The program of the present invention is provided to a user in a form stored in a computer-readable recording medium and installed in the computer, or provided from a server device in a form of distribution via a communication network and installed in the computer. Is done.

本発明の第1実施形態に係る音響処理装置のブロック図である。1 is a block diagram of a sound processing apparatus according to a first embodiment of the present invention. 楽譜情報の模式図である。It is a schematic diagram of musical score information. 楽譜画像の模式図である。It is a schematic diagram of a score image. 編集用図表の模式図である。It is a schematic diagram of the chart for edit. 制御情報(発音文字)の追加を説明するための模式図である。It is a schematic diagram for demonstrating addition of control information (phonetic character). 制御情報(発音文字)の削除を説明するための模式図である。It is a schematic diagram for demonstrating deletion of control information (pronunciation character). 素片属性の変更が指示された場合の編集用図表の模式図である。It is a schematic diagram of the chart for edit when the change of a segment attribute is instruct | indicated. 第2実施形態における編集用図表の模式図である。It is a schematic diagram of the chart for edit in 2nd Embodiment. 第2実施形態の動作の説明図である。It is explanatory drawing of operation | movement of 2nd Embodiment. 第2実施形態の動作の説明図である。It is explanatory drawing of operation | movement of 2nd Embodiment. 第3実施形態における編集用図表の模式図である。It is a schematic diagram of the chart for edit in 3rd Embodiment. 第3実施形態の波形画像の模式図である。It is a schematic diagram of the waveform image of the third embodiment.

<A:第1実施形態>
図1は、本発明の第1実施形態に係る音響処理装置100のブロック図である。音響処理装置100は、複数の指定音を時系列に配列した歌唱音等の音声(以下「合成音」という)を生成する音声合成装置であり、図1に示すように、演算処理装置10と記憶装置12と入力装置14と表示装置16と放音装置18とを具備するコンピュータシステムで実現される。
<A: First Embodiment>
FIG. 1 is a block diagram of a sound processing apparatus 100 according to the first embodiment of the present invention. The sound processing device 100 is a speech synthesizer that generates a sound such as a singing sound (hereinafter referred to as “synthetic sound”) in which a plurality of designated sounds are arranged in time series. As shown in FIG. This is realized by a computer system including a storage device 12, an input device 14, a display device 16, and a sound emitting device 18.

演算処理装置(CPU)10は、記憶装置12に記憶されたプログラムPGの実行で、音響信号SOUTの生成に必要な複数の機能(音響生成部22,表示制御部24,情報管理部26)を実現する。音響信号SOUTは、合成音の時間軸上の波形を示す信号である。なお、演算処理装置10の各機能を専用の電子回路(DSP)で実現した構成や、演算処理装置10の各機能を複数の集積回路に分散した構成も採用され得る。   The arithmetic processing unit (CPU) 10 executes a plurality of functions (acoustic generation unit 22, display control unit 24, information management unit 26) necessary for generating the acoustic signal SOUT by executing the program PG stored in the storage device 12. Realize. The acoustic signal SOUT is a signal indicating a waveform of the synthesized sound on the time axis. A configuration in which each function of the arithmetic processing device 10 is realized by a dedicated electronic circuit (DSP), or a configuration in which each function of the arithmetic processing device 10 is distributed over a plurality of integrated circuits may be employed.

入力装置14は、利用者からの指示を受付ける機器(例えばマウスやキーボード)である。表示装置16(例えば液晶表示装置)は、演算処理装置10から指示された画像を表示する。放音装置18(例えばスピーカやヘッドホン)は、演算処理装置10が生成する音響信号SOUTに応じた合成音を再生する。   The input device 14 is a device (for example, a mouse or a keyboard) that receives an instruction from a user. The display device 16 (for example, a liquid crystal display device) displays an image instructed from the arithmetic processing device 10. The sound emitting device 18 (for example, a speaker or headphones) reproduces a synthesized sound corresponding to the acoustic signal SOUT generated by the arithmetic processing device 10.

記憶装置12は、演算処理装置10が実行するプログラムPGや演算処理装置10が使用する各種のデータ(素片群DV,楽譜情報DS)を記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置12として任意に採用される。なお、複数の記録媒体にプログラムPGや各データ(DV,DS)を分散して記憶した構成も採用され得る。   The storage device 12 stores a program PG executed by the arithmetic processing device 10 and various data (segment group DV, score information DS) used by the arithmetic processing device 10. A known recording medium such as a semiconductor recording medium or a magnetic recording medium or a combination of a plurality of types of recording media is arbitrarily employed as the storage device 12. A configuration in which the program PG and each data (DV, DS) are distributed and stored in a plurality of recording media may be employed.

素片群DVは、相異なる音声素片に対応する多数の素片データdの集合(ライブラリ)である。素片データdは、音声素片の波形や特徴量を示すデータであり、合成音の素材として利用される。音声素片は、聴覚的に区別できる最小の単位である音素、または複数の音素を連結した音素連鎖である。相異なる属性(以下「素片属性」という)に対応する複数の素片データdが音声素片毎に用意される。本実施形態では、音声素片の音高と音量と発声者とを素片属性として例示する。すなわち、音高と音量と発声者との組合せ(素片属性)毎に素片データdが記憶装置12に記憶される。   The unit group DV is a set (library) of a large number of unit data d corresponding to different speech units. The segment data d is data indicating the waveform and feature amount of the speech segment, and is used as a material for synthesized sound. The phoneme segment is a phoneme which is the smallest unit that can be distinguished auditorily or a phoneme chain in which a plurality of phonemes are connected. A plurality of segment data d corresponding to different attributes (hereinafter referred to as “segment attributes”) is prepared for each speech segment. In the present embodiment, the pitch and volume of the speech unit and the speaker are exemplified as the unit attributes. That is, the segment data d is stored in the storage device 12 for each combination (segment attribute) of pitch, volume, and speaker.

楽譜情報DSは、指定音を時系列に指定する情報(スコアデータ)であり、図2に示すように、相異なる指定音に対応する複数の単位情報Uの時系列で構成される。各単位情報Uは、音符情報UNと文字情報ULと1個以上の素片情報UVとを含む。音符情報UNは、指定音の音符を指定する情報であり、指定音の開始点と継続長と音高とを含んで構成される。文字情報ULは、指定音の発音の内容を指定する情報であり、発音文字(歌詞の音節)と音声記号(phonetic)とを含んで構成される。音声記号(例えばSAMPA(Speech Assessment Methods Phonetic Alphabet)記号)は、発音文字に応じて自動的に設定される。素片情報UVは、指定音の合成に使用される素片データdを指定する情報であり、指定音の合成に必要な音声素片毎に素片識別子と素片属性(音高,音量,発声者)とを含んで構成される。素片識別子は、音声素片を識別するための符号(素片名)である。図2の記号「Sil」は無音を意味する。   The musical score information DS is information (score data) for designating a designated sound in time series, and is composed of a plurality of unit information U corresponding to different designated sounds as shown in FIG. Each unit information U includes note information UN, character information UL, and one or more piece information UV. The note information UN is information for designating the note of the designated sound, and includes the start point, duration and pitch of the designated sound. The character information UL is information that specifies the content of pronunciation of the designated sound, and includes a pronunciation character (lyric syllable) and a phonetic symbol (phonetic). A phonetic symbol (for example, a SAMPA (Speech Assessment Methods Phonetic Alphabet) symbol) is automatically set according to a phonetic character. The unit information UV is information for specifying the unit data d used for the synthesis of the designated sound. For each speech unit necessary for the synthesis of the designated sound, the unit identifier and the unit attribute (pitch, volume, Speaker). The unit identifier is a code (unit name) for identifying a speech unit. The symbol “Sil” in FIG. 2 means silence.

以上に説明したように、楽譜情報DSは、指定音を規定する複数種の制御情報(開始点,継続長,音高,発音文字,音声記号,素片識別子,素片属性)を指定音毎に時系列に配列して構成される。図2から把握されるように、楽譜情報DSは、複数の音符情報UNの時系列と複数の文字情報ULの時系列と複数の素片情報UVの時系列との集合としても把握され得る。   As described above, the musical score information DS includes a plurality of types of control information (start point, continuation length, pitch, phonetic character, phonetic symbol, segment identifier, segment attribute) that define the specified sound for each specified sound. Are arranged in time series. As can be understood from FIG. 2, the score information DS can also be grasped as a set of a time series of a plurality of note information UN, a time series of a plurality of character information UL, and a time series of a plurality of segment information UV.

入力装置14に対する操作で利用者が合成音の生成を指示すると、図1の音響生成部22は、記憶装置12に記憶された素片群DVおよび楽譜情報DSを利用して各指定音の音響信号SOUTを生成する。具体的には、音響生成部22は、素片群DVのうち楽譜情報DSの素片識別子および素片属性に対応する素片データdを音符情報UNで規定される継続長および音高に調整し、調整後の素片データdを音符情報UNで規定される開始点に配置したうえで相互に連結することで音響信号SOUTを生成(音声合成)する。音響生成部22が生成した音響信号SOUTは、放音装置18に供給されることで音響として再生される。   When the user instructs the generation of the synthesized sound by operating the input device 14, the sound generation unit 22 in FIG. 1 uses the segment group DV and the score information DS stored in the storage device 12 to generate the sound of each designated sound. A signal SOUT is generated. Specifically, the sound generation unit 22 adjusts the segment data d corresponding to the segment identifier and the segment attribute of the score information DS in the segment group DV to the duration and pitch defined by the note information UN. Then, the adjusted segment data d is arranged at the start point defined by the note information UN and then connected to each other to generate (synthesize speech) the acoustic signal SOUT. The sound signal SOUT generated by the sound generation unit 22 is supplied to the sound emitting device 18 and reproduced as sound.

図1の表示制御部24は、楽譜情報DSの生成や編集のために利用者が視認する図3の楽譜画像40と図4の編集用図表50とを生成して表示装置16に表示させる。図3に示すように、楽譜画像40は、音高軸(縦軸)と時間軸(横軸)とが設定された領域内に各指定音の音高の時間的な変化を提示する画像(ピアノロール画像)である。具体的には、指定音を図形化した音指示子42が時系列に楽譜画像40に配置される。表示制御部24は、音符情報UNが指定する音高に応じて音指示子42の音高軸の方向の位置を可変に設定し、音符情報UNが指定する開始点に応じて音指示子42の時間軸の方向の位置を可変に設定する。時間軸の方向における音指示子42のサイズは音符情報UNの継続長に応じて可変に設定される。また、文字情報ULが指定する発音文字(歌詞)と音声記号とが音指示子42に重ねて配置される。   The display control unit 24 shown in FIG. 1 generates the score image 40 shown in FIG. 3 and the editing chart 50 shown in FIG. 4 which are visually recognized by the user for generating and editing the score information DS and displaying them on the display device 16. As shown in FIG. 3, the score image 40 is an image that presents the temporal change in the pitch of each designated sound within a region in which the pitch axis (vertical axis) and the time axis (horizontal axis) are set. Piano roll image). Specifically, the sound indicator 42 in which the designated sound is made into a graphic is arranged in the score image 40 in time series. The display control unit 24 variably sets the position of the pitch indicator 42 in the direction of the pitch axis according to the pitch specified by the note information UN, and the sound indicator 42 according to the start point specified by the note information UN. The position in the direction of the time axis is set to be variable. The size of the sound indicator 42 in the direction of the time axis is variably set according to the duration of the note information UN. In addition, pronunciation characters (lyrics) and phonetic symbols specified by the character information UL are arranged on the sound indicator 42.

楽譜情報DSで規定される指定音の時系列のうち楽譜画像40に音指示子42が配置される区間は、入力装置14に対する利用者からの指示に応じて変更(スクロール)される。利用者は、入力装置14を適宜に操作することで楽譜画像40から1個の音指示子42(指定音)を選択して編集することが可能である。表示制御部24は、利用者が選択した指定音の音指示子42(図3では発音文字「さ」の音指示子42)を他の音指示子42とは相違する態様(色彩や階調)で表示する。   The section where the sound indicator 42 is arranged in the musical score image 40 in the time series of the designated sound defined by the musical score information DS is changed (scrolled) in accordance with an instruction from the user to the input device 14. The user can select and edit one sound indicator 42 (designated sound) from the score image 40 by appropriately operating the input device 14. The display control unit 24 sets the sound indicator 42 of the designated sound selected by the user (the sound indicator 42 of the pronunciation character “sa” in FIG. 3) different from the other sound indicators 42 (color and gradation). ).

編集用図表50は、記憶装置12に記憶された楽譜情報DSを表形式で利用者に提示する画像であり、図4に示すように、相互に直交するX方向およびY方向に行列状に配列された複数の単位領域52(セル)を含んで構成される。楽譜情報DSに含まれる制御情報(開始点,継続長,音高,発音文字,音声記号,素片識別子,素片属性)が各単位領域52内に配置される。すなわち、楽譜画像40では指定音の音符情報UNおよび文字情報ULの各制御情報が図形で模式的に表示されるのに対し、編集用図表50では素片情報UVを含む楽譜情報DSの各制御情報が具体的な数値や文字として詳細に表示される。利用者は、所望の単位領域52を選択して当該単位領域52内の制御情報を変更することが可能である。   The editing chart 50 is an image that presents the score information DS stored in the storage device 12 to the user in a tabular form, and is arranged in a matrix in the X and Y directions orthogonal to each other as shown in FIG. The plurality of unit regions 52 (cells) are configured. Control information (start point, duration, pitch, phonetic character, phonetic symbol, segment identifier, segment attribute) included in the score information DS is arranged in each unit area 52. That is, in the score image 40, the control information of the note information UN and the character information UL of the designated sound is schematically displayed as a figure, whereas in the editing chart 50, each control of the score information DS including the segment information UV. Information is displayed in detail as specific numerical values and characters. The user can select a desired unit area 52 and change the control information in the unit area 52.

X方向に配列する複数の単位領域52の集合(以下「行領域54」という)は、楽譜情報DSが指定する1個の指定音(楽譜情報DS内の1個の単位情報U)に対応する。楽譜情報DSのうち1個の指定音に対応する複数種の制御情報が、当該指定音に対応する行領域54内の各単位領域52(編集用図表50の1行分)に配置される。Y方向に配列する各単位領域52(編集用図表50の1列分)には各指定音の同種の制御情報が時系列に配列される。   A set of a plurality of unit areas 52 arranged in the X direction (hereinafter referred to as “row area 54”) corresponds to one specified sound (one unit information U in the score information DS) specified by the score information DS. . A plurality of types of control information corresponding to one designated sound in the score information DS are arranged in each unit area 52 (for one line of the editing chart 50) in the row area 54 corresponding to the designated sound. In each unit area 52 (one column of the editing chart 50) arranged in the Y direction, the same type of control information of each designated sound is arranged in time series.

表示制御部24は、楽譜情報DSで規定される指定音の時系列のうち楽譜画像40で利用者が選択した指定音を含む所定個の指定音(例えば選択中の指定音と前後の所定個の指定音)の各々に対応する行領域54を編集用図表50に配置する。例えば、楽譜画像40で表示中の区間内の各指定音について編集用図表50に行領域54を設定する構成や、楽譜画像40で表示中の区間よりも広い範囲にわたる各指定音について編集用図表50に行領域54を設定する構成が採用され得る。表示制御部24は、編集用図表50のうち利用者が楽譜画像40で選択した1個の音指示子42の指定音に対応する行領域54(図4では発音文字「さ」に対応する行領域54)を他の行領域54とは相違する態様(色彩や階調)で表示する。したがって、楽譜画像40内の各音指示子42と編集用図表50内の各行領域54との対応を利用者が容易に確認できるという利点がある。   The display control unit 24 includes a predetermined number of designated sounds including a designated sound selected by the user in the musical score image 40 in the time series of the designated sounds defined by the score information DS (for example, the selected designated sound and the predetermined number before and after the selected sound). A row area 54 corresponding to each of the designated sounds) is arranged in the editing chart 50. For example, a configuration in which a line area 54 is set in the editing chart 50 for each designated sound in the section being displayed in the score image 40, or an editing chart for each designated sound over a wider range than the section being displayed in the score image 40. A configuration in which the row area 54 is set to 50 may be employed. The display control unit 24 selects a line area 54 corresponding to the designated sound of one sound indicator 42 selected by the user from the musical score image 40 in the editing chart 50 (in FIG. 4, the line corresponding to the phonetic character “sa”). The area 54) is displayed in a mode (color or gradation) different from the other row areas 54. Therefore, there is an advantage that the user can easily confirm the correspondence between each sound indicator 42 in the score image 40 and each row area 54 in the editing chart 50.

情報管理部26は、楽譜画像40や編集用図表50に対する利用者からの指示に応じて楽譜情報DSを随時に更新する。表示制御部24は、情報管理部26による楽譜情報DSの変更が反映されるように楽譜画像40や編集用図表50を随時に更新することで両画像の内容を相互に整合させる。楽譜情報DSの更新に関する情報管理部26および表示制御部24の具体的な動作を以下に例示する。   The information management unit 26 updates the score information DS at any time in accordance with an instruction from the user with respect to the score image 40 and the editing chart 50. The display control unit 24 matches the contents of both images by updating the score image 40 and the editing chart 50 as needed so that the change of the score information DS by the information management unit 26 is reflected. Specific operations of the information management unit 26 and the display control unit 24 relating to the update of the musical score information DS will be exemplified below.

利用者は、入力装置14を適宜に操作することで、楽譜画像40内の各音指示子42の編集(追加,変更,削除)を指示することが可能である。例えば利用者が音指示子42の追加を指示すると、表示制御部24は、利用者から指示された音指示子42を楽譜画像40に追加し、情報管理部26は、当該音指示子42に対応する指定音の単位情報Uを楽譜情報DSに追加する。表示制御部24は、楽譜情報DSに追加された単位情報Uの各制御情報を単位領域52に配置した行領域54を編集用図表50に追加する。   The user can instruct editing (addition, change, deletion) of each sound indicator 42 in the musical score image 40 by appropriately operating the input device 14. For example, when the user instructs addition of the sound indicator 42, the display control unit 24 adds the sound indicator 42 instructed by the user to the score image 40, and the information management unit 26 sends the sound indicator 42 to the sound indicator 42. The corresponding unit information U of the designated sound is added to the score information DS. The display control unit 24 adds to the editing chart 50 a row area 54 in which the control information of the unit information U added to the score information DS is arranged in the unit area 52.

選択中の音指示子42の変更を利用者が指示すると、表示制御部24は、当該音指示子42の位置やサイズを利用者からの指示に応じて変更し、情報管理部26は、楽譜情報DSのうち当該音指示子42に対応する指定音の単位情報Uを音指示子42の変化に応じて変更する。表示制御部24は、単位情報Uの変更に整合するように編集用図表50内の各制御情報を更新する。   When the user instructs to change the selected sound indicator 42, the display control unit 24 changes the position and size of the sound indicator 42 according to the instruction from the user, and the information management unit 26 displays the score. In the information DS, the unit information U of the designated sound corresponding to the sound indicator 42 is changed according to the change of the sound indicator 42. The display control unit 24 updates each control information in the editing chart 50 so as to be consistent with the change of the unit information U.

選択中の音指示子42の削除を利用者が指示すると、表示制御部24は、当該音指示子42を楽譜画像40から削除し、情報管理部26は、当該音指示子42に対応する指定音の単位情報Uを楽譜情報DSから削除する。表示制御部24は、楽譜情報DSから削除された単位情報Uに対応する行領域54を編集用図表50から削除する。   When the user instructs the deletion of the selected sound indicator 42, the display control unit 24 deletes the sound indicator 42 from the score image 40, and the information management unit 26 designates the designation corresponding to the sound indicator 42. The sound unit information U is deleted from the score information DS. The display control unit 24 deletes the row area 54 corresponding to the unit information U deleted from the score information DS from the editing chart 50.

以上に説明した楽譜画像40の編集の指示に加えて、利用者は、編集用図表50の所望の単位領域52内の制御情報の編集(追加,変更,削除)を入力装置14の操作で指示することが可能である。音符情報UNおよび文字情報ULの各制御情報の編集と素片情報UVの各制御情報の編集とに区分して各制御情報の編集の具体的な手順を以下に説明する。   In addition to the instruction for editing the musical score image 40 described above, the user instructs to edit (add, change, delete) the control information in the desired unit area 52 of the editing chart 50 by operating the input device 14. Is possible. A specific procedure for editing each control information will be described below by dividing each control information of the note information UN and the character information UL and editing each control information of the segment information UV.

[a]音符情報UNおよび文字情報ULの各制御情報の編集
音符情報UNや文字情報ULの編集に適用される動作モードには固定モードと浮動モードとがある。固定モードでは、編集対象以外の制御情報の時間軸上の位置が編集の前後で維持され、浮動モードでは、制御情報の追加や編集に連動して以後の制御情報の時間軸上の位置が移動(繰下/繰上)する。情報管理部26は、入力装置14に対する利用者からの指示に応じて動作モードを可変に選択する。
[A] Editing control information of note information UN and character information UL
There are a fixed mode and a floating mode as operation modes applied to the editing of the note information UN and the character information UL. In fixed mode, the position on the time axis of control information other than the object to be edited is maintained before and after editing. In floating mode, the position on the time axis of subsequent control information moves in conjunction with the addition or editing of control information. (Down / up). The information management unit 26 variably selects an operation mode in accordance with an instruction from the user to the input device 14.

以下の説明では、制御情報の追加が指示された場合と既存の制御情報の削除が指示された場合との各々について固定モードおよび浮動モードでの動作を例示する。また、以下の説明で参照する図5および図6では複数種の制御情報のうち発音文字の編集を便宜的に例示するが、発音文字以外の制御情報の編集も同様の手順で実行される。   In the following description, the operations in the fixed mode and the floating mode are illustrated for each of the case where the addition of control information is instructed and the case where the deletion of existing control information is instructed. 5 and 6 referred to in the following description, for the sake of convenience, editing of pronunciation characters among a plurality of types of control information is illustrated for convenience. Editing of control information other than pronunciation characters is also executed in the same procedure.

[a1]制御情報の追加が指示された場合
利用者は、入力装置14を適宜に操作することで、編集用図表50に対する所望の制御情報の追加を指示することが可能である。例えば、利用者が入力装置14の操作で直接に入力した制御情報が編集用図表50に追加され得る。また、編集用図表50から利用者が選択した1個以上の単位領域52に対応する既存の制御情報が編集用図表50の他の単位領域52に追加され得る。編集用図表50内の既存の制御情報の追加には、編集用図表50内の制御情報の複製(コピー&ペースト)と移動(カット&ペースト)とがある。利用者は、編集用図表50の複数行(すなわち複数の指定音)にわたる単位領域52の制御情報を複製または移動の対象として選択し得る。
[A1] When control information addition is instructed
The user can instruct addition of desired control information to the editing chart 50 by appropriately operating the input device 14. For example, control information directly input by the user by operating the input device 14 can be added to the editing chart 50. Further, existing control information corresponding to one or more unit areas 52 selected by the user from the editing chart 50 can be added to other unit areas 52 of the editing chart 50. The addition of the existing control information in the editing chart 50 includes duplication (copy and paste) and movement (cut and paste) of the control information in the editing chart 50. The user can select the control information of the unit area 52 over a plurality of lines (that is, a plurality of designated sounds) of the editing chart 50 as a target of duplication or movement.

固定モードで制御情報の追加が指示された場合、情報管理部26は、楽譜情報DSのうち利用者が編集用図表50にて選択した単位領域52の制御情報を、利用者が追加を指示した制御情報に置換(上書)する。表示制御部24は、情報管理部26による楽譜情報DSの変更が反映されるように編集用図表50を更新する。例えば、図5の部分(A)のように「あさがくる」という発音文字が存在する状況で利用者が「あさが」を指定して「ひるも」の追加を指示した場合、表示制御部24は、図5の部分(B)に示すように「あさが」を「ひるも」に置換する。また、表示制御部24は、楽譜情報DSの変更(編集用図表50の変更)に対応するように楽譜画像40を更新する。   When the addition of the control information is instructed in the fixed mode, the information management unit 26 instructs the addition of the control information of the unit area 52 selected by the user in the editing chart 50 in the score information DS. Replace (overwrite) with control information. The display control unit 24 updates the editing chart 50 so that the change of the score information DS by the information management unit 26 is reflected. For example, when the user designates “Asa” and gives an instruction to add “Hirumo” in the situation where the pronunciation character “Asakura” exists as shown in part (A) of FIG. 5, the display control unit 24, “Asa” is replaced with “Hirumo” as shown in part (B) of FIG. Further, the display control unit 24 updates the score image 40 so as to correspond to the change of the score information DS (change of the editing chart 50).

他方、浮動モードで制御情報の追加が指示された場合、情報管理部26は、楽譜情報DSのうち利用者が編集用図表50から選択した単位領域52の位置に、利用者が追加を指示した制御情報を挿入し、以後の各制御情報を今回の制御情報の追加分だけ繰下げる。表示制御部24は、情報管理部26による楽譜情報DSの変更が反映されるように編集用図表50を更新する。例えば、図5の部分(A)の状況で利用者が「あさが」を指定して「ひるも」の追加を指示した場合、表示制御部24は、図5の部分(C)に示すように「あさが」の直後に「ひるも」を挿入するとともに既存の「くる」を「ひるが」の直後に繰下げる。また、表示制御部24は、楽譜情報DSの変更(編集用図表50の変更)に対応するように楽譜画像40を更新する。   On the other hand, when addition of control information is instructed in the floating mode, the information management unit 26 instructs the addition to the position of the unit area 52 selected from the editing chart 50 by the user in the score information DS. Control information is inserted, and the subsequent control information is decremented by the amount of control information added this time. The display control unit 24 updates the editing chart 50 so that the change of the score information DS by the information management unit 26 is reflected. For example, in the situation of part (A) in FIG. 5, when the user designates “Asa” and instructs to add “hiruga”, the display control unit 24 is as shown in part (C) of FIG. 5. In addition, “Hirumo” is inserted immediately after “Asa” and the existing “Kuru” is moved down immediately after “Hiruga”. Further, the display control unit 24 updates the score image 40 so as to correspond to the change of the score information DS (change of the editing chart 50).

以上のように浮動モードで制御情報が追加されると以後の制御情報が繰下げられるから、繰下げられた制御情報以外の制御情報を含まない単位情報Uが発生し得る。例えば、図4では、浮動モードでの発音文字の追加で繰下げられた発音文字「くる」の指定音の単位情報Uが音符情報UNおよび素片情報UVを含まない場合が例示されている。以上に例示した手順(固定モード,浮動モード)で発音文字が追加されると、情報管理部26は、各発音文字に対応する音声記号を特定して文字情報ULに設定する。   As described above, when control information is added in the floating mode, subsequent control information is deferred, and therefore unit information U that does not include control information other than the deferred control information may be generated. For example, FIG. 4 exemplifies a case where the unit information U of the designated sound of the pronunciation character “Kuru”, which is deferred by the addition of the pronunciation character in the floating mode, does not include the note information UN and the unit information UV. When a phonetic character is added in the procedure exemplified above (fixed mode, floating mode), the information management unit 26 specifies a phonetic symbol corresponding to each phonetic character and sets it in the character information UL.

[a2]制御情報の削除が指示された場合
固定モードで制御情報の削除が指示された場合、情報管理部26は、楽譜情報DSのうち利用者が編集用図表50で削除の対象として選択した単位領域52の制御情報を初期値に変更する。表示制御部24は、情報管理部26による楽譜情報DSの変更が反映されるように編集用図表50を更新する。例えば、図6の部分(A)のように「あさがくる」という発音文字が存在する状況で利用者が「あさが」の削除を指示した場合、表示制御部24は、図6の部分(B)に示すように、「あさが」の各発音文字を初期値「あ」に置換する。また、表示制御部24は、編集用図表50(楽譜情報DS)の変更に対応するように楽譜画像40を更新する。
[A2] When control information deletion is instructed
When the deletion of the control information is instructed in the fixed mode, the information management unit 26 changes the control information of the unit area 52 selected as the deletion target in the editing chart 50 among the score information DS to the initial value. . The display control unit 24 updates the editing chart 50 so that the change of the score information DS by the information management unit 26 is reflected. For example, when the user instructs to delete “Asa” in the situation where the pronunciation character “Asakura” exists as shown in part (A) of FIG. 6, the display control unit 24 displays the part (FIG. As shown in B), each pronunciation character of “Asa” is replaced with an initial value “A”. Further, the display control unit 24 updates the score image 40 so as to correspond to the change of the editing chart 50 (score information DS).

他方、浮動モードで制御情報の削除が指示された場合、情報管理部26は、楽譜情報DSのうち利用者から指示された制御情報を削除するとともに以後の制御情報を今回の削除分だけ繰上げる。表示制御部24は、情報管理部26による楽譜情報DSの変更が反映されるように編集用図表50を更新する。例えば、図6の部分(A)の状況で利用者が「あさが」の削除を指示した場合、表示制御部24は、図6の部分(C)に示すように、「あさが」を削除するとともに以後の「くる」を繰上げる。また、表示制御部24は、編集用図表50(楽譜情報DS)の変更に対応するように楽譜画像40を更新する。   On the other hand, when deletion of the control information is instructed in the floating mode, the information management unit 26 deletes the control information instructed by the user from the score information DS and advances the subsequent control information by the current deletion. . The display control unit 24 updates the editing chart 50 so that the change of the score information DS by the information management unit 26 is reflected. For example, in the situation of part (A) in FIG. 6, when the user instructs deletion of “Asa”, the display control unit 24 deletes “Asa” as shown in part (C) of FIG. And the subsequent “coming” is advanced. Further, the display control unit 24 updates the score image 40 so as to correspond to the change of the editing chart 50 (score information DS).

[b]素片情報UVの各制御情報(素片属性)の編集
編集用図表50のうち素片情報UVの素片属性(音高,音量,発声者)に対応する単位領域52を利用者が選択した場合、表示制御部24は、図7に例示するように、素片属性の複数の選択肢を配列したリスト56を、利用者が選択した単位領域52(図7では「音量」の単位領域52)の近傍に表示する。素片群DVに実際に含まれる素片データdの素片属性が選択肢としてリスト56に配列される。利用者は、入力装置14の操作で複数の選択肢の何れかをリスト56から選択することが可能である。情報管理部26は、楽譜情報DSのうち利用者が選択した単位領域52に対応する素片属性を、利用者がリスト56から選択した選択肢の内容に変更する。表示制御部24は、情報管理部26による楽譜情報DSの変更が反映されるように編集用図表50内の素片属性を更新する。
[B] Editing each piece of control information (segment attribute) of the segment information UV
When the user selects a unit area 52 corresponding to the segment attribute (pitch, volume, speaker) of the segment information UV in the editing chart 50, the display control unit 24, as illustrated in FIG. Then, a list 56 in which a plurality of choices of segment attributes are arranged is displayed in the vicinity of the unit area 52 (the “volume” unit area 52 in FIG. 7) selected by the user. The element attributes of the element data d actually included in the element group DV are arranged in the list 56 as options. The user can select any of a plurality of options from the list 56 by operating the input device 14. The information management unit 26 changes the segment attribute corresponding to the unit area 52 selected by the user in the score information DS to the content of the option selected from the list 56 by the user. The display control unit 24 updates the segment attribute in the editing chart 50 so that the change of the score information DS by the information management unit 26 is reflected.

以上に説明したように、本実施形態では、楽譜情報DSに含まれる各制御情報が編集用図表50として表形式で表示されるとともに利用者からの指示に応じて更新される。したがって、利用者は、楽譜情報DSの詳細な内容を効率的に確認しながら編集することが可能である。また、編集用図表50とともに表示される楽譜画像40を視認することで、指定音の時系列の概略を利用者が直感的に把握できるという利点もある。   As described above, in the present embodiment, each control information included in the score information DS is displayed in a tabular format as the editing chart 50 and is updated according to an instruction from the user. Therefore, the user can edit while confirming the detailed contents of the score information DS efficiently. Further, by visually recognizing the musical score image 40 displayed together with the editing chart 50, there is an advantage that the user can intuitively grasp the outline of the time series of the designated sound.

さらに、編集用図表50の複数の単位領域52にわたる制御情報が一括的に複製または移動されるから、楽譜画像40の各音指示子42に対する指示で個々の指定音の制御情報を個別に編集する場合と比較して楽譜情報DSを効率的に編集できるという利点もある。   Further, since the control information over the plurality of unit areas 52 of the editing chart 50 is collectively copied or moved, the control information of each designated sound is individually edited by an instruction to each sound indicator 42 of the score image 40. There is also an advantage that the musical score information DS can be edited efficiently compared to the case.

<B:第2実施形態>
次に、本発明の第2実施形態を説明する。なお、以下の各例示において作用や機能が第1実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
<B: Second Embodiment>
Next, a second embodiment of the present invention will be described. In addition, about the element which an effect | action and function are equivalent to 1st Embodiment in each following illustration, the code | symbol referred by the above description is diverted and each detailed description is abbreviate | omitted suitably.

図8は、第2実施形態における編集用図表50の模式図である。図8から理解されるように、第2実施形態の楽譜情報DS内の文字情報ULは、第1実施形態と同様の発音文字および音声記号に加えて音声管理情報を含んで構成される。音声管理情報は、音声記号の変更の許可/禁止を指定する制御情報である。図8に示すように、編集用図表50は、音声管理情報が配置された単位領域52を指定音毎(行領域54毎)に含んで構成される。図8の例示では、音声記号の変更の禁止を指定する音声管理情報が記号「v」で表現されている。音声記号の変更の許可を指定する音声管理情報は空欄である。   FIG. 8 is a schematic diagram of the editing chart 50 in the second embodiment. As understood from FIG. 8, the character information UL in the musical score information DS of the second embodiment includes voice management information in addition to phonetic characters and phonetic symbols similar to those of the first embodiment. The voice management information is control information for designating permission / prohibition of changing the voice symbol. As shown in FIG. 8, the editing chart 50 is configured to include a unit area 52 in which voice management information is arranged for each designated sound (for each row area 54). In the example of FIG. 8, the voice management information that specifies prohibition of changing the voice symbol is expressed by the symbol “v”. The voice management information for designating permission to change the voice symbol is blank.

固定モードで発音文字(制御情報)の追加が指示された場合、情報管理部26は、利用者が編集用図表50で選択した単位領域52の既存の発音文字を追加の制御情報に置換(上書)し、各発音文字に対応する音声記号を、置換後の文字情報に対応する音声記号に更新する。ただし、音声管理情報が禁止を指定する指定音については、発音文字が変更された場合でも音声記号を編集前の内容に維持する。   When addition of pronunciation characters (control information) is instructed in the fixed mode, the information management unit 26 replaces the existing pronunciation characters in the unit area 52 selected by the user in the editing chart 50 with additional control information (above The phonetic symbol corresponding to each phonetic character is updated to the phonetic symbol corresponding to the character information after replacement. However, for the designated sound that the voice management information designates prohibition, the voice symbol is maintained as it was before editing even when the pronunciation character is changed.

例えば、図9の部分(A)のように、「あさがひるが」という発音文字のうち「る」の指定音の音声管理情報が禁止(記号v)を指定し、他の指定音の音声管理情報が許可を指定する場合を想定する。図9の部分(A)のように、固定モードで利用者が発音文字「あさが」を選択して「ひるが」の位置に追加(複製)する指示を付与すると、情報管理部26は、図9の部分(B)に示すように、楽譜情報DSの「ひるが」を「あさが」に置換し、置換前の「ひ」の音声記号「ci」を置換後の「あ」の音声記号「a」に更新する。発音文字「が」は変化しないから音声記号も更新されない。他方、置換前の「る」については音声管理情報が禁止を指定するから、情報管理部26は、図9の部分(A)の「る」を部分(B)の「さ」に置換するにも関わらず、音声記号を置換前の「る」の音声記号「4M」に維持する(斜線部分)。以上の楽譜情報DSの変更が反映されるように表示制御部24は楽譜画像40および編集用図表50を更新する。   For example, as shown in part (A) of FIG. 9, the voice management information of the designated sound of “ru” among the pronunciation characters “Asa Hiruga” designates prohibition (symbol v), and the sound of the other designated sound. Assume that the management information specifies permission. As shown in part (A) of FIG. 9, when the user selects the pronunciation character “Asa” in the fixed mode and gives an instruction to add (duplicate) to the position of “Hiruga”, the information management unit 26 As shown in part (B) of FIG. 9, “Hiruga” in the musical score information DS is replaced with “Asa”, and the voice symbol “ci” of “Hi” before the replacement is replaced with the voice of “A” after the replacement. Update to symbol “a”. The phonetic symbol "ga" does not change, so the phonetic symbol is not updated. On the other hand, since the voice management information designates prohibition for “RU” before replacement, the information management unit 26 replaces “RU” in part (A) of FIG. 9 with “SA” in part (B). Nevertheless, the phonetic symbol is maintained at the “RU” phonetic symbol “4M” before the replacement (shaded portion). The display control unit 24 updates the score image 40 and the editing chart 50 so that the change in the score information DS is reflected.

なお、図9では利用者が発音文字「あさが」のみを選択した場合を例示したが、図10の部分(A)のように、「あさが」の発音文字および音声記号の双方を利用者が選択して追加を指示した場合、情報管理部26は、貼付先となる「ひるが」の音声管理情報の内容に関わらず、図10の部分(B)に示すように、「ひるが」の発音文字と音声記号と音声管理情報とを「あさが」の発音文字と音声記号と音声管理情報とに変更する。すなわち、「ひ」の音声記号「ci」が「あ」の音声記号「a」に置換されるとともに「る」の音声記号「4M」が「さ」の音声記号「sa」に置換される。   Although FIG. 9 illustrates the case where the user selects only the pronunciation character “Asa”, as shown in the part (A) of FIG. 10, both the pronunciation character and the phonetic symbol of “Asa” are used by the user. Is selected and the addition is instructed, the information management unit 26 selects “Hiruga” as shown in part (B) of FIG. 10 regardless of the content of the voice management information of “Hiruga” as the paste destination. Phonetic characters, phonetic symbols, and voice management information are changed to phonetic characters, phonetic symbols, and voice management information of “Asa”. That is, the phonetic symbol “ci” of “hi” is replaced with the phonetic symbol “a” of “a”, and the phonetic symbol “4M” of “ru” is replaced with the phonetic symbol “sa” of “sa”.

楽譜情報DS内の音声管理情報の内容は、編集用図表50に対する利用者からの指示に応じて、音声記号の変更の許可および禁止の一方から他方に変更される。利用者は、例えば、編集用図表50の各単位領域52を個別に選択して音声管理情報を変更する作業や、編集用図表50の複数の単位領域52(列)を同時に選択して複数の指定音の音声管理情報を一括的に変更する作業を指示することが可能である。音声管理情報が禁止から許可に変更されると、当該指定音の音声記号は発音文字に応じた内容に更新される。例えば、図9の部分(B)の状態で禁止を指定している音声管理情報(第2番目の発音文字「さ」の音声管理情報)が許可に変更されると、当該音声管理情報に対応する音声記号「4M」は、発音文字「さ」に対応する本来の音声記号「sa」に自動的に更新される。   The contents of the voice management information in the score information DS are changed from one of permission and prohibition to change the phonetic symbol to the other in accordance with an instruction from the user to the editing chart 50. For example, the user can individually select each unit area 52 of the editing chart 50 to change the sound management information, or can simultaneously select a plurality of unit areas 52 (columns) of the editing chart 50 to select a plurality of unit areas 52. It is possible to instruct an operation for collectively changing the sound management information of the designated sound. When the voice management information is changed from prohibition to permission, the voice symbol of the designated sound is updated to the content corresponding to the pronunciation character. For example, when the voice management information (speech management information of the second pronunciation character “sa”) that is designated as prohibited in the state of part (B) in FIG. The phonetic symbol “4M” is automatically updated to the original phonetic symbol “sa” corresponding to the phonetic character “sa”.

以上に説明した第2実施形態でも第1実施形態と同様の効果が実現される、また、第2実施形態では、音声管理情報が音声記号の変更の禁止を指定する指定音については発音文字が変更された場合でも音声記号は維持されるから、所望の音声記号を固定したまま楽譜情報DSを編集できるという利点がある。   In the second embodiment described above, the same effect as that of the first embodiment is realized. In the second embodiment, a pronunciation character is used for the designated sound whose voice management information designates prohibition of the change of the phonetic symbol. Since the phonetic symbols are maintained even when changed, there is an advantage that the musical score information DS can be edited with the desired phonetic symbols fixed.

<C:第3実施形態>
図11は、第3実施形態における編集用図表50の模式図である。図11から理解されるように、第3実施形態の楽譜情報DS内の素片情報UVは、第1実施形態と同様の素片識別子および素片属性(音高,音量,発声者)に加えて波形管理情報を含んで構成される。波形管理情報は、音声素片の波形の表示/非表示を指定する制御情報である。図11に示すように、編集用図表50は、波形管理情報が配置された単位領域52を素片情報UV毎に含んで構成される。図11の例示では、音声素片の波形の表示を指定する波形管理情報が記号「v」で表現されている(非表示の波形管理情報は空欄)。
<C: Third Embodiment>
FIG. 11 is a schematic diagram of the editing chart 50 in the third embodiment. As understood from FIG. 11, the segment information UV in the score information DS of the third embodiment is added to the segment identifier and segment attributes (pitch, volume, speaker) similar to those of the first embodiment. And includes waveform management information. The waveform management information is control information for designating display / non-display of the waveform of the speech unit. As shown in FIG. 11, the editing chart 50 is configured to include a unit area 52 in which waveform management information is arranged for each piece information UV. In the example of FIG. 11, the waveform management information for designating the display of the speech unit waveform is represented by the symbol “v” (the non-displayed waveform management information is blank).

波形管理情報の内容は、編集用図表50に対する利用者からの指示に応じて、表示および非表示の一方から他方に変更される。利用者は、例えば、編集用図表50の各単位領域52を個別に選択して波形管理情報を変更する作業や、編集用図表50の複数の単位領域52(列)を同時に選択して複数の指定音の波形管理情報を一括的に変更する作業を指示することが可能である。   The content of the waveform management information is changed from one of display and non-display to the other in accordance with an instruction from the user to the editing chart 50. For example, the user can individually select each unit region 52 of the editing chart 50 to change the waveform management information, or can simultaneously select a plurality of unit areas 52 (columns) of the editing chart 50 to select a plurality of unit areas 52. It is possible to instruct an operation for collectively changing the waveform management information of the designated sound.

表示制御部24は、第1実施形態と同様の楽譜画像40および編集用図表50に加えて図12の波形画像60を表示装置16に表示させる。図12に示すように、波形画像60は、素片情報UVの波形管理情報が表示を指定する音声素片毎に、当該音声素片の素片データdが示す波形62を配置した画像である。図12では、波形管理情報が表示を指定する3個の音声素片(Sil-a,a-s,s-a)の波形62を波形画像60に並列に配置した場合が例示されている。   The display control unit 24 causes the display device 16 to display the waveform image 60 of FIG. 12 in addition to the score image 40 and the editing chart 50 similar to those in the first embodiment. As shown in FIG. 12, the waveform image 60 is an image in which the waveform 62 indicated by the segment data d of the speech unit is arranged for each speech unit that the waveform management information of the unit information UV designates display. . FIG. 12 illustrates a case where the waveforms 62 of three speech elements (Sil-a, a-s, sa) whose waveform management information designates display are arranged in parallel on the waveform image 60.

情報管理部26は、波形画像60に対する利用者からの指示に応じて音声素片の波形62(素片データd)を調整する。例えば、情報管理部26は、音声素片の波形62のうち指定音の合成に使用される範囲(例えば通常の合成で使用される基準範囲や長音の合成時に使用される最大範囲や短音の合成時に使用される最小範囲)や,音声素片の音量の変化(時間軸上の包絡線)や,音声素片の波形62のうち前後の音声素片と重なる範囲を、入力装置14に対する利用者からの指示に応じて可変に設定する。音響生成部22は、情報管理部26による波形の調整後の素片データdを利用して音響信号SOUTを生成する。   The information management unit 26 adjusts the speech unit waveform 62 (segment data d) in accordance with an instruction from the user to the waveform image 60. For example, the information management unit 26 uses a range used for synthesizing a specified sound in the waveform 62 of the speech unit (for example, a reference range used for normal synthesis, a maximum range used for synthesizing a long sound, The minimum range used at the time of synthesis), the change in volume of the speech unit (envelope on the time axis), and the range that overlaps the previous and next speech units in the speech unit waveform 62 are used for the input device 14. It is variably set according to instructions from the person. The sound generation unit 22 generates the sound signal SOUT using the segment data d after the waveform adjustment by the information management unit 26.

以上に説明した第3実施形態でも第1実施形態と同様の効果が実現される。また、第3実施形態では、表示管理情報で指定される音声素片の波形62が表示装置16に表示されるとともに利用者からの指示に応じて編集されるから、利用者は、指定音の合成に実際に使用される音声素片の波形62を詳細に確認しながら自身の所望の特性に効率的に調整することが可能である。なお、音声管理情報を利用する第2実施形態と波形管理情報を利用する第3実施形態とは併合され得る。   In the third embodiment described above, the same effects as in the first embodiment are realized. In the third embodiment, the waveform 62 of the speech unit specified by the display management information is displayed on the display device 16 and edited in accordance with an instruction from the user. While confirming in detail the waveform 62 of the speech unit actually used for synthesis, it is possible to efficiently adjust it to its desired characteristics. Note that the second embodiment using voice management information and the third embodiment using waveform management information may be merged.

なお、楽譜情報DSを構成する制御情報(編集用図表50にて表示される制御情報)は以上の各形態での例示(指定音の開始点,継続長,音高,発音文字,音声記号,音声管理情報,素片識別子,素片属性,波形管理情報)に限定されない。本発明に適用される楽譜情報DSは、指定音の合成に適用される情報を含む複数種の制御情報を時系列に配列した情報として包括される。   Note that the control information (control information displayed in the editing chart 50) constituting the score information DS is exemplified in the above-described forms (designated sound start point, duration, pitch, phonetic character, phonetic symbol, (Voice management information, segment identifier, segment attribute, waveform management information). The musical score information DS applied to the present invention is included as information in which a plurality of types of control information including information applied to the synthesis of the designated sound are arranged in time series.

また、編集用図表50の形態は以上の各形態での例示に限定されない。例えば、X方向(横方向)を時間軸として各制御情報を配列した編集用図表50も採用され得る。また、楽譜情報DSの編集用の音響処理装置100(情報編集装置)では音響生成部22が省略される。   Further, the form of the editing chart 50 is not limited to the illustration in each of the above forms. For example, an editing chart 50 in which each control information is arranged with the X direction (horizontal direction) as a time axis may be employed. In addition, the sound generation unit 22 is omitted in the sound processing apparatus 100 (information editing apparatus) for editing the score information DS.

100……音響処理装置、10……演算処理装置、12……記憶装置、14……入力装置、16……表示装置、18……放音装置、22……音響生成部、24……表示制御部、26……情報管理部、40……楽譜画像、42……音指示子、50……編集用図表、52……単位領域、54……行領域、56……リスト、60……波形画像、62……波形。
DESCRIPTION OF SYMBOLS 100 ... Sound processing device, 10 ... Arithmetic processing device, 12 ... Memory | storage device, 14 ... Input device, 16 ... Display device, 18 ... Sound emission device, 22 ... Sound generation part, 24 ... Display Control unit 26... Information management unit 40... Musical score image 42 .. sound indicator 50 .. editing chart 52 .. unit area 54 .. line area 56. Waveform image, 62 …… Waveform.

Claims (6)

指定音の発音文字および音声記号と当該音声記号の変更の許可/禁止を指定する音声管理情報とを含む複数種の制御情報を指定音毎に時系列に配列した楽譜情報を編集する装置であって、
行列状に配列された複数の単位領域の各々に前記楽譜情報の前記各制御情報を配置した編集用図表を表示装置に表示させる表示制御手段と、
前記編集用図表の各単位領域に対する利用者からの指示に応じて前記楽譜情報のうち当該単位領域に対応する制御情報を変更する手段であって、前記音声管理情報が前記音声記号の変更の許可を指定する指定音の音声記号を、当該指定音の発音文字の変更に応じて変更し、前記音声管理情報が前記音声記号の変更の禁止を指定する指定音の音声記号を、当該指定音の発音文字が変更された場合にも維持する情報管理手段と
を具備する情報編集装置。
This is an apparatus for editing musical score information in which a plurality of types of control information including a phonetic character and a phonetic symbol of a specified sound and voice management information specifying permission / prohibition of the change of the phonetic symbol are arranged in time series for each specified sound. And
Display control means for displaying on the display device an editing chart in which each control information of the score information is arranged in each of a plurality of unit areas arranged in a matrix;
A means for changing control information corresponding to the unit area in the musical score information in accordance with an instruction from a user for each unit area of the editing chart , wherein the voice management information is allowed to change the phonetic symbol. The voice symbol of the designated sound designating the designated sound is changed according to the change of the pronunciation character of the designated sound, and the voice symbol of the designated sound for which the voice management information designates prohibition of the change of the voice symbol An information editing device comprising information management means for maintaining even when pronunciation characters are changed .
前記情報管理手段は、前記音声管理情報が音声記号の変更の禁止から許可に変更された指定音の音声記号を、当該指定音の発音文字に応じた内容に更新する
請求項1の情報編集装置。
2. The information editing apparatus according to claim 1, wherein the information management unit updates the phonetic symbol of the designated sound whose voice management information has been changed from prohibition to change of the phonetic symbol to permission, according to the pronunciation character of the designated sound. .
前記情報管理手段は、前記制御情報の追加が利用者から指示された場合に、固定モードでは、利用者が選択した制御情報を追加対象の制御情報に置換し、浮動モードでは、利用者が選択した制御情報に応じた位置に追加対象の制御情報を挿入するとともに以後の制御情報を追加分だけ繰下げる  When the addition of the control information is instructed by the user, the information management means replaces the control information selected by the user with the control information to be added in the fixed mode and selected by the user in the floating mode. The control information to be added is inserted at a position corresponding to the control information and the subsequent control information is lowered by the added amount.
請求項1または請求項2の情報編集装置。  The information editing apparatus according to claim 1 or 2.
前記情報管理手段は、前記制御情報の削除が利用者から指示された場合に、固定モードでは、利用者が選択した制御情報を初期値に変更し、浮動モードでは、利用者が選択した制御情報を削除するとともに以後の制御情報を削除分だけ繰上げる  In the fixed mode, the information management means changes the control information selected by the user to an initial value in the fixed mode and the control information selected by the user in the floating mode when the user instructs the deletion of the control information. And delete subsequent control information by the amount deleted
請求項1から請求項3の何れかの情報編集装置。  The information editing apparatus according to claim 1.
前記楽譜情報は、指定音の合成に使用される音声素片の波形の表示/非表示を指定する波形管理情報を前記制御情報として含み、
前記表示制御手段は、前記波形管理情報が波形の表示を指定する音声素片の波形が配置された波形画像を前記編集用図表とともに前記表示装置に表示させ、
前記情報管理手段は、前記波形画像に対する利用者からの指示に応じて当該音声素片の波形を調整する
請求項1から請求項4の何れかの情報編集装置。
The musical score information includes, as the control information, waveform management information for designating display / non-display of a waveform of a speech unit used for synthesis of a designated sound,
The display control means causes the display device to display a waveform image in which a waveform of a speech unit in which the waveform management information specifies waveform display is arranged together with the editing chart,
The information editing device according to any one of claims 1 to 4, wherein the information management unit adjusts a waveform of the speech element in accordance with an instruction from a user with respect to the waveform image.
指定音の発音文字および音声記号と当該音声記号の変更の許可/禁止を指定する音声管理情報とを含む複数種の制御情報を指定音毎に時系列に配列した楽譜情報を編集するためのプログラムであって、コンピュータを、  A program for editing musical score information in which a plurality of types of control information including a phonetic character and a phonetic symbol of a designated sound and voice management information designating permission / prohibition of the change of the phonetic symbol are arranged in time series for each designated sound Because the computer
行列状に配列された複数の単位領域の各々に前記楽譜情報の前記各制御情報を配置した編集用図表を表示装置に表示させる表示制御手段、および、  Display control means for displaying on the display device an editing chart in which the control information of the score information is arranged in each of a plurality of unit areas arranged in a matrix; and
前記編集用図表の各単位領域に対する利用者からの指示に応じて前記楽譜情報のうち当該単位領域に対応する制御情報を変更する手段であって、前記音声管理情報が前記音声記号の変更の許可を指定する指定音の音声記号を、当該指定音の発音文字の変更に応じて変更し、前記音声管理情報が前記音声記号の変更の禁止を指定する指定音の音声記号を、前記指定音の発音文字が変更された場合にも維持する情報管理手段  A means for changing control information corresponding to the unit area in the musical score information in accordance with an instruction from a user for each unit area of the editing chart, wherein the voice management information is allowed to change the phonetic symbol. The voice symbol of the designated sound that designates the change of the phonetic character of the designated sound is changed according to the change of the pronunciation character of the designated sound, and the voice symbol of the designated sound that the voice management information specifies prohibition of the change of the voice symbol Information management means to maintain even when pronunciation characters are changed
として機能させるプログラム。  Program to function as.
JP2010092820A 2010-04-14 2010-04-14 Information editing apparatus and program Active JP5663935B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010092820A JP5663935B2 (en) 2010-04-14 2010-04-14 Information editing apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010092820A JP5663935B2 (en) 2010-04-14 2010-04-14 Information editing apparatus and program

Publications (2)

Publication Number Publication Date
JP2011221423A JP2011221423A (en) 2011-11-04
JP5663935B2 true JP5663935B2 (en) 2015-02-04

Family

ID=45038447

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010092820A Active JP5663935B2 (en) 2010-04-14 2010-04-14 Information editing apparatus and program

Country Status (1)

Country Link
JP (1) JP5663935B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6413220B2 (en) * 2013-10-15 2018-10-31 ヤマハ株式会社 Composite information management device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3414163B2 (en) * 1996-10-10 2003-06-09 ヤマハ株式会社 Apparatus and method for displaying and editing automatic performance data

Also Published As

Publication number Publication date
JP2011221423A (en) 2011-11-04

Similar Documents

Publication Publication Date Title
JP6070010B2 (en) Music data display device and music data display method
JP6236765B2 (en) Music data editing apparatus and music data editing method
JP2004258563A (en) Device and program for score data display and editing
JP2019066649A (en) Method for assisting in editing singing voice and device for assisting in editing singing voice
JP5648347B2 (en) Speech synthesizer
US20050016361A1 (en) Musical score display apparatus
JP5625321B2 (en) Speech synthesis apparatus and program
JP5423375B2 (en) Speech synthesizer
JP2019066648A (en) Method for assisting in editing singing voice and device for assisting in editing singing voice
JP5636665B2 (en) Music information processing apparatus and music information processing method
JP6136202B2 (en) Music data editing apparatus and music data editing method
JP5663935B2 (en) Information editing apparatus and program
JP5515986B2 (en) Information editing apparatus and program
US20210097973A1 (en) Information processing method, information processing device, and program
US11893304B2 (en) Display control method, display control device, and program
JP5092905B2 (en) Singing synthesis apparatus and program
JP4501417B2 (en) Music score display apparatus and program for realizing music score display method
JP4221757B2 (en) Music score display apparatus and program for realizing music score display method
JP2009230062A (en) Voice synthesis device and reading system using the same
JP5790860B2 (en) Speech synthesizer
US20210097975A1 (en) Information processing method, information processing device, and program
JP2024057180A (en) PROGRAM, SOUND PROCESSING METHOD AND SOUND PROCESSING SYSTEM
CN117877459A (en) Recording medium, sound processing method, and sound processing system
JP6149373B2 (en) Speech synthesis data editing apparatus and speech synthesis data editing method
JP2014170251A (en) Voice synthesis device, voice synthesis method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141124

R151 Written notification of patent or utility model registration

Ref document number: 5663935

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151