WO2018198380A1 - 歌詞表示装置及び方法 - Google Patents

歌詞表示装置及び方法 Download PDF

Info

Publication number
WO2018198380A1
WO2018198380A1 PCT/JP2017/017434 JP2017017434W WO2018198380A1 WO 2018198380 A1 WO2018198380 A1 WO 2018198380A1 JP 2017017434 W JP2017017434 W JP 2017017434W WO 2018198380 A1 WO2018198380 A1 WO 2018198380A1
Authority
WO
WIPO (PCT)
Prior art keywords
displayed
section
character information
display
singing
Prior art date
Application number
PCT/JP2017/017434
Other languages
English (en)
French (fr)
Inventor
一輝 柏瀬
桂三 濱野
宇新 鄭
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Priority to PCT/JP2017/017434 priority Critical patent/WO2018198380A1/ja
Publication of WO2018198380A1 publication Critical patent/WO2018198380A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/04—Sound-producing devices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems

Definitions

  • the present invention relates to a lyrics display device and method for displaying lyrics sung by a singing section.
  • Patent Document 1 a device that synthesizes and utters a song according to a performance by a performer and displays lyrics to be sung.
  • This device updates the singing position in the lyrics indicated by the lyric data, and displays the character at the singing position in a mode (color) different from other characters.
  • An object of the present invention is to provide a lyrics display device and method that can easily visually recognize not only the current singing object but also the next singing object as coherent character information.
  • a data acquisition unit (10) that is acquired in a state of being divided into sections, and among the lyric data acquired by the data acquisition unit, character information belonging to a section including a syllable to be sung next is displayed in a first display area ( 41) and a lyric display device having a display control section (10) for displaying character information belonging to a section next to the section including the syllable to be sung in the second display area (42).
  • data for acquiring lyrics data including at least character information associated with a plurality of syllables to be sung by a singing section in a state of being divided into a plurality of sections. And the character information belonging to the section including the syllable to be sung next is displayed in the first display area among the lyrics data acquired in the acquisition step and the data acquiring step, and the section including the syllable to be sung next is displayed. And a display control step of displaying character information belonging to the next section in the second display area.
  • the present invention not only the current singing object but also the next singing object can be easily visually recognized as coherent character information.
  • FIG. 1 is a schematic diagram of a lyrics display device.
  • FIG. 2 is a schematic diagram of a lyrics display device.
  • FIG. 3 is a block diagram of an electronic musical instrument.
  • FIG. 4 is a diagram showing a main part of the display unit.
  • FIG. 5 is a flowchart showing an example of the flow of processing when a performance is performed.
  • FIG. 6 is a diagram showing an example of lyric text data.
  • FIG. 7 is a diagram showing an example of types of speech element data.
  • FIG. 8 is a flowchart of lyrics display processing. [FIG. 9A thru
  • FIG. 1 and FIG. 2 are schematic diagrams of a lyrics display device according to an embodiment of the present invention.
  • This lyric display device is configured as an electronic musical instrument 100 that is a keyboard musical instrument as an example, and has a main body 30 and a neck 31.
  • the main body 30 has a first surface 30a, a second surface 30b, a third surface 30c, and a fourth surface 30d.
  • the first surface 30a is a keyboard arrangement surface on which a keyboard unit KB composed of a plurality of keys is arranged.
  • the second surface 30b is the back surface. Hooks 36 and 37 are provided on the second surface 30b.
  • a strap (not shown) can be placed between the hooks 36 and 37, and the performer usually performs performance such as operation of the keyboard KB with the strap placed on the shoulder. Therefore, when used on the shoulder, especially when the scale direction (key arrangement direction) of the keyboard part KB is the left-right direction, the first surface 30a and the keyboard part KB face the listener side, and the third surface 30c, the fourth surface The surfaces 30d are generally directed downward and upward, respectively.
  • the electronic musical instrument 100 is designed so that the keyboard KB is mainly played with the right hand when the shoulder is used.
  • the neck portion 31 extends from the side portion of the main body portion 30.
  • the neck portion 31 is provided with various operators including a forward operator 34 and a return operator 35.
  • a display unit 33 made of liquid crystal or the like is disposed on the fourth surface 30 d of the main body 30.
  • the main body portion 30 and the neck portion 31 have a substantially rectangular shape in a side view, but the four surfaces constituting the rectangle may not be flat surfaces but may be curved surfaces such as convex surfaces.
  • the electronic musical instrument 100 is a musical instrument that simulates singing in response to an operation on a performance operator.
  • singing simulation is outputting the sound which simulated human voice by singing composition.
  • a white key and a black key are arranged in pitch order, and each key is associated with a different pitch.
  • the user presses a desired key on the keyboard KB.
  • the electronic musical instrument 100 detects a key operated by the user and generates a singing sound having a pitch corresponding to the operated key. Note that the order of syllables of the singing sounds to be generated is predetermined.
  • FIG. 3 is a block diagram of the electronic musical instrument 100.
  • the electronic musical instrument 100 includes a CPU (Central Processing Unit) 10, a timer 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a data storage unit 14, a performance operator 15, and other operations.
  • a child 16 a parameter value setting operator 17, a display unit 33, a sound source 19, an effect circuit 20, a sound system 21, a communication I / F (Interface), and a bus 23 are provided.
  • the CPU 10 is a central processing unit that controls the entire electronic musical instrument 100.
  • the timer 11 is a module that measures time.
  • the ROM 12 is a non-volatile memory that stores control programs and various data.
  • the RAM 13 is a volatile memory used as a work area for the CPU 10 and various buffers.
  • the display unit 33 is a display module such as a liquid crystal display panel or an organic EL (Electro-Luminescence) panel. The display unit 33 displays an operation state of the electronic musical instrument 100, various setting screens, a message for the user, and the like.
  • the performance operator 15 is a module that mainly accepts a performance operation that specifies a pitch.
  • the keyboard unit KB, the advance operation unit 34, and the return operation unit 35 are included in the performance operation unit 15.
  • the performance operator 15 when the performance operator 15 is a keyboard, the performance operator 15 may be configured such as note-on / note-off based on on / off of a sensor corresponding to each key, key-pressing strength (speed, velocity), and the like.
  • Output performance information may be in the form of a MIDI (musical instrument digital interface) message.
  • the other operation element 16 is an operation module such as an operation button or an operation knob for performing settings other than performance, such as settings related to the electronic musical instrument 100, for example.
  • the parameter value setting operator 17 is an operation module such as operation buttons and operation knobs for setting parameters mainly for the singing sound attribute. Examples of this parameter include harmony, brightness, resonance, and gender factor. Harmonic is a parameter that sets the balance of overtone components contained in the voice. Brightness is a parameter for setting the contrast of a voice and gives a tone change. Resonance is a parameter for setting the tone color and strength of a colored sound.
  • the gender element is a parameter for setting a formant, and changes the voice thickness and texture in a feminine or masculine manner.
  • the external storage device 3 is an external device connected to the electronic musical instrument 100, for example, and is a device that stores audio data, for example.
  • the communication I / F 22 is a communication module that communicates with an external device.
  • the bus 23 performs data transfer between each unit in the electronic musical instrument 100.
  • the data storage unit 14 stores singing data 14a (lyric data).
  • the singing data 14a includes lyric text data, phonological information database, and the like.
  • Lyric text data is data describing the lyrics.
  • the lyrics text data the lyrics for each song are described in syllable units. That is, the lyric text data has character information obtained by dividing the lyrics into syllables, and this character information is also information for display corresponding to the syllable.
  • the syllable is a group of sounds output in response to one performance operation.
  • the phoneme information database is a database that stores speech segment data.
  • the speech segment data is data indicating a speech waveform, and includes, for example, spectrum data of a sample sequence of speech segments as waveform data. Further, the speech unit data includes unit pitch data indicating the pitch of the waveform of the speech unit.
  • the lyrics text data and the speech segment data may be managed by a database.
  • the sound source 19 is a module having a plurality of sound generation channels. One tone generation channel is assigned to the sound source 19 according to the performance of the user under the control of the CPU 10.
  • the sound source 19 reads out the speech segment data corresponding to the performance from the data storage unit 14 and generates singing sound data in the assigned sounding channel.
  • the effect circuit 20 applies the acoustic effect specified by the parameter value setting operator 17 to the singing sound data generated by the sound source 19.
  • the sound system 21 converts the singing sound data processed by the effect circuit 20 into an analog signal by a digital / analog converter. And the sound system 21 amplifies the singing sound converted into the analog signal, and outputs it from a speaker.
  • FIG. 4 is a diagram showing the main part of the display unit 33.
  • the display unit 33 includes a first main area 41 (first display area), a second main area 42 (second display area), a first sub area 43, and a second sub area 44 as display areas.
  • the entire display area has two rows (two columns), the first main area 41 and the first sub area 43 are the first row (upper row), and the second main area 42 and the second sub area 44 are two rows.
  • a plurality of display frames 45 (45-1, 45-2, 45-3...) are arranged in series in the longitudinal direction of the display unit 33.
  • Each of the sub areas 43 and 44 also has a plurality of display frames.
  • the display frame 45 may be of any configuration that can display one character.
  • the configuration is not limited, and it is not essential that the display frame 45 is enclosed by a frame.
  • Characters corresponding to syllables are displayed in the order of pronunciation, starting from the leftmost display frame 45-1 in FIG.
  • the main areas 41 and 42 are mainly used for displaying lyrics.
  • the sub-areas 43 and 44 are mainly used for display other than lyrics (for example, status display).
  • FIG. 5 is a flowchart showing an example of a processing flow when a performance by the electronic musical instrument 100 is performed.
  • processing when the user performs selection of a performance song and performance of the selected song will be described.
  • a case will be described in which only a single sound is output even when a plurality of keys are operated simultaneously. In this case, only the highest pitch among the pitches of keys operated simultaneously may be processed, or only the lowest pitch may be processed.
  • the processing described below is realized, for example, when the CPU 10 executes a program stored in the ROM 12 or the RAM 13 and functions as a control unit that controls various components included in the electronic musical instrument 100.
  • the CPU 10 waits until an operation for selecting a song to be performed is received from the user (step S101). If there is no music selection operation even after a predetermined time has elapsed, the CPU 10 may determine that the music set by default has been selected.
  • the CPU 10 accepts the selection of the song, the CPU 10 reads the lyrics text data of the singing data 14a of the selected song. Then, the CPU 10 sets the cursor position at the first syllable described in the lyric text data (step S102). Here, the cursor is a virtual index indicating the position of the next syllable to be pronounced.
  • the CPU 10 determines whether or not note-on based on the operation of the keyboard unit KB is detected (step S103).
  • the CPU 10 determines whether or not the note-off is detected (step S107). On the other hand, when note-on is detected, that is, when a new key press is detected, the CPU 10 stops outputting the sound if a sound is being output (step S104). Next, CPU10 performs the output sound production
  • the CPU 10 reads out speech unit data (waveform data) of a syllable corresponding to the cursor position, and outputs a sound having a waveform indicated by the read out speech unit data at a pitch corresponding to note-on. Specifically, the CPU 10 obtains a difference between the pitch indicated by the segment pitch data included in the speech segment data and the pitch corresponding to the operated key, and the waveform data is obtained only at a frequency corresponding to the difference. The spectrum distribution shown is moved in the frequency axis direction. Thereby, the electronic musical instrument 100 can output a singing sound with the pitch corresponding to the operated key.
  • the CPU 10 updates the cursor position (reading position) (step S106), and advances the process to step S107.
  • FIG. 6 is a diagram illustrating an example of lyrics text data.
  • lyrics of five syllables c1 to c5 are described in the lyrics text data.
  • Each character “ha”, “ru”, “yo”, “ko”, “i” indicates one character of Japanese hiragana, and each character corresponds to one syllable.
  • the CPU 10 updates the cursor position in syllable units.
  • the CPU 10 moves the cursor position to the next syllable c4. In this way, the CPU 10 sequentially moves the cursor position to the next syllable according to note-on.
  • FIG. 7 is a diagram illustrating an example of the types of speech segment data.
  • the CPU 10 extracts speech segment data corresponding to the syllable from the phonological information database in order to pronounce the syllable corresponding to the cursor position.
  • speech segment data There are two types of speech segment data: phoneme chain data and stationary partial data.
  • the phoneme chain data is data indicating a speech segment when the pronunciation changes, such as “silence (#) to consonant”, “consonant to vowel”, “vowel to consonant (vowel of the next syllable)”.
  • the stationary partial data is data indicating a speech unit when the vowel sound continues.
  • the sound source 19 includes the speech chain data “# -h” corresponding to “silence ⁇ consonant h” and “consonant h ⁇ vowel a”. Is selected from the speech chain data “ha” corresponding to “” and the stationary partial data “a” corresponding to “vowel a”. Then, when the CPU 10 detects the key depression after the performance is started, the singing sound based on the voice chain data “# -h”, the voice chain data “ha”, and the stationary partial data “a” is operated. Is output with the pitch according to the operation and the velocity according to the operation. In this way, the determination of the cursor position and the pronunciation of the singing sound are executed.
  • step S107 in FIG. 5 If the note-off is detected in step S107 in FIG. 5, if the sound is being output, the CPU 10 stops outputting the sound (step S108) and advances the process to step S109. On the other hand, when note-off is not detected, the CPU 10 advances the process to step S109. In step S109, a cursor position update process is executed. This cursor position update process is executed correspondingly when the singing position is updated in step S214 of FIG. 8 described later. When the singing position is not updated, the cursor position is not updated. Thereafter, the CPU 10 determines whether or not the performance is finished (step S110). CPU10 returns a process to step S103, when performance is not complete
  • the CPU 10 determines whether or not the performance has ended, for example, whether or not the last syllable of the selected song has been pronounced, or whether or not an operation to end the performance has been performed by the other operator 16. Can be determined based on
  • the lyric text data included in the singing data 14a includes at least character information associated with a plurality of syllables corresponding to the selected song.
  • the lyric text data is data for singing by the singing section (the sound source 19, the effect circuit 20, and the sound system 21).
  • the lyric text data is divided into a plurality of sections in advance, and each divided section is referred to as a “phrase”.
  • the phrase is a certain unit and is divided by a meaning that is easy for the user to recognize, but the definition of the section is not limited to this.
  • the CPU 10 acquires the song in a state of being divided into a plurality of phrases.
  • the phrase includes one or more syllables and character information corresponding to the syllable.
  • the CPU 10 causes the first main area 41 (FIG. 4) of the display unit 33 to display character information corresponding to the first phrase among a plurality of phrases corresponding to the selected song.
  • the first character of the first phrase is displayed in the leftmost display frame 45-1, and as many characters as can be displayed in the first main area 41 are displayed.
  • the second phrase as many characters as can be displayed in the second main area 42 are displayed.
  • the keyboard unit KB plays a role as an instruction acquisition unit for acquiring a singing instruction.
  • the CPU 10 causes the singing section to sing the syllable to be sung next, and advances the display of the characters displayed in the first main area 41 according to the progress of the syllable.
  • the character display step is the left direction in FIG. 4, and characters that cannot be displayed first appear from the display frame 45 at the right end according to the progress of the singing.
  • the cursor position indicates the syllable to be sung next, and indicates the syllable corresponding to the character displayed in the display frame 45-1 of the first main area 41.
  • one character does not necessarily correspond to one syllable.
  • “da” (da) having a cloud point two letters “ta” (ta) and “′′” correspond to one syllable.
  • the lyrics may be in English.
  • the lyrics are “september”, the lyrics are three syllables “sep”, “tem”, and “ber”.
  • “Sep” is one syllable, but three letters “s”, “e”, and “p” correspond to one syllable. Since the character display step is in units of syllables, in the case of “da”, two characters are advanced by singing.
  • the lyrics are not limited to Japanese and may be in other languages.
  • the display of the second main area 42 does not change (does not advance) during the singing of the phrase that is the display target of the first main area 41 except when the advance operation element 34 and the return operation element 35 are operated.
  • the advance operator 34 is an operator for moving up the display in units of phrases.
  • the operation of pressing and releasing the advance operator 34 is an example of the phrase advance operation.
  • the phrase advance operation may be performed when the advance operator 34 is pressed.
  • the return operator 35 is an operator for lowering the display in units of phrases.
  • the operation of pressing and releasing the return operator 35 is an example of the phrase return operation.
  • the phrase return operation may be performed when the return operator 35 is pressed.
  • the lyrics display processing including these phrase advance operation and phrase return operation will be described with reference to FIGS.
  • FIG. 8 is a flowchart of the lyrics display process. This process is realized, for example, when the CPU 10 executes a program stored in the ROM 12 or the RAM 13 and functions as a control unit that controls various components included in the electronic musical instrument 100. 8 is executed in parallel with the process shown in FIG. 5 after the power is turned on.
  • the CPU 10 serves as a data acquisition unit, a display control unit, a forward operation detection unit, and a return operation detection unit.
  • 9A, 9B, 9C, and 9D are diagrams showing display examples on the display unit 33.
  • FIG. 8 is a flowchart of the lyrics display process. This process is realized, for example, when the CPU 10 executes a program stored in the ROM 12 or the RAM 13 and functions as a control unit that controls various components included in the electronic musical instrument 100. 8 is executed in parallel with the process shown in FIG. 5 after the power is turned on.
  • the CPU 10 serves as a data acquisition unit, a display control unit, a forward operation detection unit, and a return
  • the CPU 10 waits until a song is selected (step S201).
  • a song is selected
  • the CPU 10 acquires the singing data 14a of the selected song as data to be displayed from now on (step S202).
  • the CPU 10 extracts a plurality of phrases corresponding to the selected song from the lyrics text data of the acquired singing data 14a (step S203). Several phrases are already ordered. Thereafter, the process proceeds to step S204.
  • step S204 the CPU 10 causes the first main area 41 to display the first phrase of the plurality of extracted phrases as much as can be displayed from the top.
  • step S ⁇ b> 205 the CPU 10 displays the characters of the second phrase among the extracted phrases in the second main area 42 as much as can be displayed from the top. For example, as shown in FIG. 9A, the CPU 10 displays a character string “Dandant ...” in the first main area 41 and a character string “Aiweo ...” in the second main area 42.
  • the CPU 10 sets the first syllable of the first phrase as the next singing position (step S206).
  • the setting of the singing position here corresponds to the setting of the cursor position (step S102 in FIG. 5).
  • the CPU 10 determines whether or not the leftmost one syllable displayed in the first main area 41 (the syllable corresponding to the character displayed in the display frame 45-1) has been pronounced (sung). (Step S207). If the leftmost one syllable displayed in the first main area 41 has not been sounded, the CPU 10 advances the process to step S210.
  • step S208 the CPU 10 advances the display of the phrase in the first main area 41 by one syllable. Specifically, the CPU 10 erases the character corresponding to the leftmost one syllable and stuffs the character string to the left by the number of erased characters. The syllable corresponding to the character newly displayed in the display frame 45-1 by proceeding the phrase display by one syllable becomes the next singing target. Therefore, steps S207 and S208 correspond to steps S105 and S106 in FIG. For example, when the first “da” is sung in the display state shown in FIG. 9A, the display is updated as shown in FIG. 9B.
  • the display after the last character is displayed.
  • the frame 45 is blank (no display).
  • step S209 the CPU 10 determines whether or not all the syllables of the phrase to be displayed in the first main area 41 have been pronounced. If there is an unsounded syllable in the phrase that is to be displayed in the first main area 41, the CPU 10 advances the process to step S210. On the other hand, when all the syllables of the phrase to be displayed in the first main area 41 have been sounded, the CPU 10 executes a phrase display advance process (step S211). In this case, the CPU 10 causes the first main area 41 to display character information belonging to the phrase next to the phrase that is to be displayed in the first main area 41, and is to be displayed in the second main area 42.
  • the character information belonging to the phrase next to the current phrase is displayed in the second main area 42.
  • the CPU 10 displays the character information in each main area as much as it can be displayed in order from the top. Note that if there is no phrase next to the phrase that is to be displayed in the second main area 42, there are no characters displayed in the second main area 42 (all display frames 45 are blank).
  • step S210 the CPU 10 determines whether or not a phrase advance operation is detected.
  • the CPU 10 executes a phrase display advance process (step S211). For example, when the phrase advance operation is performed in the display state shown in FIG. 9A or FIG. 9B, the CPU 10 displays the character string “Aio ...” that has been displayed in the second main area 42 until then, as shown in FIG. 9C. Is displayed in the first main area 41, and the character string "Hinomaruza " of the next phrase is further displayed in the second main area 42. Note that if there is no phrase next to the phrase that is to be displayed in the second main area 42, there are no characters displayed in the second main area 42 (all display frames 45 are blank). After step S211, the process proceeds to step S214.
  • step S212 determines whether or not the phrase return operation is detected. If the phrase return operation is not detected, the CPU 10 advances the process to step S215. On the other hand, when the phrase return operation is detected, the CPU 10 executes a phrase display deferral process (step S213). In this case, the CPU 10 causes the first main area 41 to display character information that belongs to the phrase immediately before the phrase that is to be displayed in the first main area 41 and is to be displayed in the second main area 42. Character information belonging to the phrase immediately before the current phrase is displayed in the second main area 42. As described above, the CPU 10 displays the character information in each main area as much as it can be displayed in order from the top. For example, when a phrase return operation is performed in the display state illustrated in FIG. 9C or 9D, the CPU 10 updates the display so that the display mode illustrated in FIG. 9A is obtained.
  • the CPU 10 does not update the display in both the main areas 41 and 42.
  • the CPU 10 may update the display so that the first character belonging to the phrase to be displayed in the first main area 41 is displayed in the leftmost display frame 45-1.
  • step S214 the CPU 10 sets the syllable (first syllable) corresponding to the character newly displayed in the display frame 45-1 of the first main area 41 by the display update to the next singing position, and the process is performed in step S215.
  • step S215 the CPU 10 performs other processing and determines whether or not the singing synthesis is finished (step S216). For example, when the singing synthesis of all syllables corresponding to the selected music is completed (sounded or the like), the CPU 10 determines that the singing synthesis is finished. Moreover, also when a song is stopped by a user's instruction
  • the character information belonging to the phrase (section) including the syllable to be sung next is displayed in the first main area 41, and the character belonging to the phrase next to the phrase including the syllable to be sung next is displayed.
  • Information is displayed in the second main area 42.
  • phrase advance operation and phrase return operation can raise and lower the display in phrase units, respectively. Thereby, the user can update the display of a singing object per phrase by operation.
  • phrase advance operation and the phrase return operation are not limited to the above-described exemplary embodiments, and are not limited to pressing the configuration of the operator.
  • the phrase advance operation or phrase return operation is performed, the phrase is raised or lowered, but this is not restrictive.
  • the phrase return operation the phrase may be lowered only when the singing position is at the first syllable of the phrase. That is, when the singing position is in the middle syllable of the phrase, the singing position may be returned to the first syllable of the phrase, and the first character belonging to the phrase may be displayed in the display frame 45-1.
  • the entire display area of the display unit 33 has a two-row (two-tier) structure, but may have a structure of three or more lines.
  • the main areas are arranged side by side, the arrangement relationship is not limited to the example, and the main areas may be arranged side by side.
  • the main areas 41 and 42 as many characters as can be displayed are displayed.
  • a form such as the display frame 45 is not adopted, and a display form having a high degree of freedom is adopted, so that the phrase can be displayed. All the characters that belong may be displayed. For example, the size of characters belonging to the phrase may be reduced in accordance with the display width.
  • main areas 41 and 42 are not necessarily physically partitioned areas.
  • areas corresponding to the main areas 41 and 42 may be provided in a common screen, and the character strings of the phrases displayed in the respective areas may be distinguished by line feeds or the like.
  • the singing data 14a of the selected song only needs to be acquired in a state of being divided into a plurality of phrases, and is not limited to being acquired in units of songs, but may be acquired in units of phrases.
  • the mode in which the singing data 14a is stored in the data storage unit 14 is not limited to a song unit.
  • the acquisition destination of the singing data 14a is not limited to the storage unit, and an external device through the communication I / F 22 may be the acquisition destination. Further, it may be acquired by the CPU 10 when the user edits or creates the electronic musical instrument 100.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

現在の歌唱対象だけでなく次の歌唱対象も、まとまりのある文字情報として容易に視認できる歌詞表示装置を提供する。歌詞テキストデータは、予め複数のフレーズ（区間）に分けられており、ＣＰＵ１０は、曲が選択されると、選択曲の歌唱用データ１４ａを複数のフレーズに分けられた状態で取得する。ＣＰＵ１０は、歌唱用データ１４ａの歌詞テキストデータを読み出し、次に歌唱する音節を含むフレーズに属する文字情報を第１メインエリア４１に表示させると共に、次に歌唱する音節を含むフレーズの次のフレーズに属する文字情報を第２メインエリア４２に表示させる。

Description

歌詞表示装置及び方法
　本発明は、歌唱部により歌唱される歌詞を表示する歌詞表示装置及び方法に関する。
　従来、演奏者による演奏に応じて歌唱合成して発音すると共に、歌唱される歌詞を表示させる装置が知られている（特許文献１）。この装置は、歌詞データが示す歌詞における歌唱位置を更新し、歌唱位置とされている文字を他の文字とは異なる態様（色）で表示させる。
特許第４７３５５４４号公報
　しかし、上記従来の装置では、これから歌唱する文字のうち現在の歌唱位置から数文字分しか表示されず、しかも演奏しながらだと文字の視認が容易でない。そのため、演奏者はこれから歌唱される数文字を把握できるが、十分に先の文字まで把握できないという問題があった。また、一般に、曲の歌詞はフレーズ等のまとまりのある単位を複数有して構成される。そのため、数文字分しか表示されない構成だと、例えばあるフレーズの歌唱途中において、演奏者は、次のフレーズの文字が表示されるまで当該次のフレーズの開始部分の内容を把握するのが困難であるという問題があった。
　本発明の目的は、現在の歌唱対象だけでなく次の歌唱対象も、まとまりのある文字情報として容易に視認することができる歌詞表示装置及び方法を提供することである。
　上記目的を達成するために本発明によれば、歌唱部（１９、２０、２１）により歌唱されるための複数の各音節に対応付けられた文字情報を少なくとも含む歌詞データ（１４ａ）を、複数の区間に分けられた状態で取得するデータ取得部（１０）と、前記データ取得部により取得された歌詞データのうち、次に歌唱する音節を含む区間に属する文字情報を第１の表示領域（４１）に表示させると共に、前記次に歌唱する音節を含む区間の次の区間に属する文字情報を第２の表示領域（４２）に表示させる表示制御部（１０）と、を有する歌詞表示装置が提供される。
　上記目的を達成するために本発明によれば、歌唱部により歌唱されるための複数の各音節に対応付けられた文字情報を少なくとも含む歌詞データを複数の区間に分けられた状態で取得するデータ取得ステップと、前記データ取得ステップにより取得された歌詞データのうち、次に歌唱する音節を含む区間に属する文字情報を第１の表示領域に表示させると共に、前記次に歌唱する音節を含む区間の次の区間に属する文字情報を第２の表示領域に表示させる表示制御ステップと、を有する歌詞表示方法が提供される。
　なお、上記括弧内の符号は例示である。
　本発明によれば、現在の歌唱対象だけでなく次の歌唱対象も、まとまりのある文字情報として容易に視認することができる。
　［図１］歌詞表示装置の模式図である。
　［図２］歌詞表示装置の模式図である。
　［図３］電子楽器のブロック図である。
　［図４］表示ユニットの主要部を示す図である。
　［図５］演奏が行われる場合の処理の流れの一例を示すフローチャートである。
　［図６］歌詞テキストデータの一例を示す図である。
　［図７］音声素片データの種類の一例を示す図である。
　［図８］歌詞表示処理のフローチャートである。
　［図９Ａ乃至図９Ｄ］表示ユニットにおける表示例を示す図である。
　以下、図面を参照して本発明の実施の形態を説明する。
　図１、図２は、本発明の一実施の形態に係る歌詞表示装置の模式図である。この歌詞表示装置は、一例として鍵盤楽器である電子楽器１００として構成され、本体部３０及びネック部３１を有する。本体部３０は、第１面３０ａ、第２面３０ｂ、第３面３０ｃ、第４面３０ｄを有する。第１面３０ａは、複数の鍵から成る鍵盤部ＫＢが配設される鍵盤配設面である。第２面３０ｂは裏面である。第２面３０ｂにはフック３６、３７が設けられる。フック３６、３７間には不図示のストラップを架けることができ、演奏者は通常、ストラップを肩に掛けて鍵盤部ＫＢの操作等の演奏を行う。従って、肩掛けした使用時で、特に鍵盤部ＫＢの音階方向（鍵の配列方向）が左右方向となるとき、第１面３０ａ及び鍵盤部ＫＢが聴取者側を向き、第３面３０ｃ、第４面３０ｄはそれぞれ概ね下方、上方を向く。なお、電子楽器１００は、肩掛け使用時に鍵盤部ＫＢを主として右手で演奏する仕様となっている。
　ネック部３１は本体部３０の側部から延設される。ネック部３１には、進み操作子３４、戻し操作子３５をはじめとする各種の操作子が配設される。本体部３０の第４面３０ｄには、液晶等で構成される表示ユニット３３が配設される。なお、本体部３０、ネック部３１の側面視形状は概ね矩形であるが、矩形を構成する４つの各面は平坦面でなくてもよく、凸面等の湾曲面であってもよい。
　電子楽器１００は、演奏操作子への操作に応じて歌唱模擬を行う楽器である。ここで、歌唱模擬とは、歌唱合成により人間の声を模擬した音声を出力することである。鍵盤部ＫＢの各鍵は白鍵、黒鍵が音高順に並べられ、各鍵は、それぞれ異なる音高に対応付けられている。電子楽器１００を演奏する場合、ユーザは、鍵盤部ＫＢの所望の鍵を押下する。電子楽器１００はユーザにより操作された鍵を検出し、操作された鍵に応じた音高の歌唱音を発音する。なお、発音される歌唱音の音節の順序は予め定められている。
　図３は、電子楽器１００のブロック図である。電子楽器１００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０と、タイマ１１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１３と、データ記憶部１４と、演奏操作子１５と、他操作子１６と、パラメータ値設定操作子１７と、表示ユニット３３と、音源１９と、効果回路２０と、サウンドシステム２１と、通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）と、バス２３と、を備える。
　ＣＰＵ１０は、電子楽器１００全体の制御を行う中央処理装置である。タイマ１１は、時間を計測するモジュールである。ＲＯＭ１２は制御プログラムや各種のデータなどを格納する不揮発性のメモリである。ＲＡＭ１３はＣＰＵ１０のワーク領域及び各種のバッファなどとして使用される揮発性のメモリである。表示ユニット３３は、液晶ディスプレイパネル、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルなどの表示モジュールである。表示ユニット３３は、電子楽器１００の動作状態、各種設定画面、ユーザに対するメッセージなどを表示する。
　演奏操作子１５は、主として音高を指定する演奏操作を受け付けるモジュールである。本実施の形態では、鍵盤部ＫＢ、進み操作子３４、戻し操作子３５は演奏操作子１５に含まれる。一例として、演奏操作子１５が鍵盤である場合、演奏操作子１５は、各鍵に対応するセンサのオン／オフに基づくノートオン／ノートオフ、押鍵の強さ（速さ、ベロシティ）などの演奏情報を出力する。この演奏情報は、ＭＩＤＩ（ｍｕｓｉｃａｌ　ｉｎｓｔｒｕｍｅｎｔ　ｄｉｇｉｔａｌ　ｉｎｔｅｒｆａｃｅ）メッセージ形式であってもよい。
　他操作子１６は、例えば、電子楽器１００に関する設定など、演奏以外の設定を行うための操作ボタンや操作つまみなどの操作モジュールである。パラメータ値設定操作子１７は、主として歌唱音の属性についてのパラメータを設定するための操作ボタンや操作つまみなどの操作モジュールである。このパラメータとしては、例えば、和声（Ｈａｒｍｏｎｉｃｓ）、明るさ（Ｂｒｉｇｈｔｎｅｓｓ）、共鳴（Ｒｅｓｏｎａｎｃｅ）、性別要素（Ｇｅｎｄｅｒ　Ｆａｃｔｏｒ）等がある。和声とは、声に含まれる倍音成分のバランスを設定するパラメータである。明るさとは、声の明暗を設定するパラメータであり、トーン変化を与える。共鳴とは、有色音の音色や強弱を設定するパラメータである。性別要素とは、フォルマントを設定するパラメータであり、声の太さ、質感を女性的、或いは、男性的に変化させる。外部記憶装置３は、例えば、電子楽器１００に接続される外部機器であり、例えば、音声データを記憶する装置である。通信Ｉ／Ｆ２２は、外部機器と通信する通信モジュールである。バス２３は電子楽器１００における各部の間のデータ転送を行う。
　データ記憶部１４は、歌唱用データ１４ａ（歌詞データ）を格納する。歌唱用データ１４ａには歌詞テキストデータ、音韻情報データベースなどが含まれる。歌詞テキストデータは、歌詞を記述するデータである。歌詞テキストデータには、曲ごとの歌詞が音節単位で区切られて記述されている。すなわち、歌詞テキストデータは歌詞を音節に区切った文字情報を有し、この文字情報は音節に対応する表示用の情報でもある。ここで音節とは、１回の演奏操作に応じて出力する音のまとまりである。音韻情報データベースは、音声素片データを格納するデータベースである。音声素片データは音声の波形を示すデータであり、例えば、音声素片のサンプル列のスペクトルデータを波形データとして含む。また、音声素片データには、音声素片の波形のピッチを示す素片ピッチデータが含まれる。歌詞テキストデータ、音声素片データは、それぞれ、データベースにより管理されてもよい。
　音源１９は、複数の発音チャンネルを有するモジュールである。音源１９には、ＣＰＵ１０の制御の基で、ユーザの演奏に応じて１つの発音チャンネルが割り当てられる。歌唱音を発音する場合、音源１９は、割り当てられた発音チャンネルにおいて、データ記憶部１４から演奏に対応する音声素片データを読み出して歌唱音データを生成する。効果回路２０は、音源１９が生成した歌唱音データに対して、パラメータ値設定操作子１７により指定された音響効果を適用する。サウンドシステム２１は、効果回路２０による処理後の歌唱音データを、デジタル／アナログ変換器によりアナログ信号に変換する。そして、サウンドシステム２１は、アナログ信号に変換された歌唱音を増幅してスピーカなどから出力する。
　図４は、表示ユニット３３の主要部を示す図である。表示ユニット３３は、表示領域として、第１メインエリア４１（第１の表示領域）、第２メインエリア４２（第２の表示領域）、第１サブエリア４３、第２サブエリア４４を有する。全体の表示領域は２行（２段）構成となっており、第１メインエリア４１及び第１サブエリア４３が１行目（上段）、第２メインエリア４２及び第２サブエリア４４が２行目（下段）に配置される。メインエリア４１、４２のそれぞれにおいて、表示ユニット３３の長手方向に複数の表示枠４５（４５−１、４５−２、４５−３・・・）が直列に配置されている。サブエリア４３、４４のそれぞれも複数の表示枠を有している。表示枠４５は１つの文字を表示できる構成であればよく、構成は問わず、また、枠で囲まれて区画されることは必須でない。図４の左端の表示枠４５−１を先頭として、音節に対応する文字が発音予定順に表示される。メインエリア４１、４２は主として歌詞表示に用いられる。サブエリア４３、４４は主として歌詞以外の表示（例えば状態表示）に用いられる。
　図５は、電子楽器１００による演奏が行われる場合の処理の流れの一例を示すフローチャートである。ここでは、ユーザにより、演奏曲の選択と選択した曲の演奏とが行われる場合の処理について説明する。また、説明を簡単にするため、複数の鍵が同時に操作された場合であっても、単音のみを出力する場合について説明する。この場合、同時に操作された鍵の音高のうち、最も高い音高のみについて処理してもよいし、最も低い音高のみについて処理してもよい。なお、以下に説明する処理は、例えば、ＣＰＵ１０がＲＯＭ１２やＲＡＭ１３に記憶されたプログラムを実行し、電子楽器１００が備える各種構成を制御する制御部として機能することにより実現される。
　電源がオンにされると、ＣＰＵ１０は、演奏する曲を選択する操作がユーザから受け付けられるまで待つ（ステップＳ１０１）。なお、一定時間経過しても曲選択の操作がない場合は、ＣＰＵ１０は、デフォルトで設定されている曲が選択されたと判断してもよい。ＣＰＵ１０は、曲の選択を受け付けると、選択された曲の歌唱用データ１４ａの歌詞テキストデータを読み出す。そして、ＣＰＵ１０は、歌詞テキストデータに記述された先頭の音節にカーソル位置を設定する（ステップＳ１０２）。ここで、カーソルとは、次に発音する音節の位置を示す仮想的な指標である。次に、ＣＰＵ１０は、鍵盤部ＫＢの操作に基づくノートオンを検出したか否かを判定する（ステップＳ１０３）。ＣＰＵ１０は、ノートオンが検出されない場合、ノートオフを検出したか否かを判別する（ステップＳ１０７）。一方、ノートオンを検出した場合、すなわち新たな押鍵を検出した場合は、ＣＰＵ１０は、音を出力中であればその音の出力を停止する（ステップＳ１０４）。次にＣＰＵ１０は、ノートオンに応じた歌唱音を発音する出力音生成処理を実行する（ステップＳ１０５）。
　この出力音生成処理を説明する。ＣＰＵ１０はまず、カーソル位置に対応する音節の音声素片データ（波形データ）を読み出し、ノートオンに対応する音高で、読み出した音声素片データが示す波形の音を出力する。具体的には、ＣＰＵ１０は、音声素片データに含まれる素片ピッチデータが示す音高と、操作された鍵に対応する音高との差分を求め、この差分に相当する周波数だけ波形データが示すスペクトル分布を周波数軸方向に移動させる。これにより、電子楽器１００は、操作された鍵に対応する音高で歌唱音を出力することができる。次に、ＣＰＵ１０は、カーソル位置（読出位置）を更新し（ステップＳ１０６）、処理をステップＳ１０７に進める。
　ここで、ステソプＳ１０５、Ｓ１０６の処理に係るカーソル位置の決定と歌唱音の発音について、具体例を用いて説明する。まず、カーソル位置の更新について説明する。図６は、歌詞テキストデータの一例を示す図である。図６の例では、歌詞テキストデータには、５つの音節ｃ１~ｃ５の歌詞が記述されている。各字「は」、「る」、「よ」、「こ」、「い」は、日本語のひらがなの１字を示し、各字が１音節に対応する。ＣＰＵ１０は、音節単位でカーソル位置を更新する。例えば、カーソルが音節ｃ３に位置している場合、「よ」に対応する音声素片データをデータ記憶部１４から読み出し、「よ」の歌唱音を発音する。ＣＰＵ１０は、「よ」の発音が終了すると、次の音節ｃ４にカーソル位置を移動させる。このように、ＣＰＵ１０は、ノートオンに応じて次の音節にカーソル位置を順次移動させる。
　次に、歌唱音の発音について説明する。図７は、音声素片データの種類の一例を示す図である。ＣＰＵ１０は、カーソル位置に対応する音節を発音させるために、音韻情報データベースから、音節に対応する音声素片データを抽出する。音声素片データには、音素連鎖データと、定常部分データの２種類が存在する。音素連鎖データとは、「無音（＃）から子音」、「子音から母音」、「母音から（次の音節の）子音又は母音」など、発音が変化する際の音声素片を示すデータである。定常部分データは、母音の発音が継続する際の音声素片を示すデータである。例えば、カーソル位置が音節ｃ１の「は（ｈａ）」に設定されている場合、音源１９は、「無音→子音ｈ」に対応する音声連鎖データ「＃−ｈ」と、「子音ｈ→母音ａ」に対応する音声連鎖データ「ｈ−ａ」と、「母音ａ」に対応する定常部分データ「ａ」と、を選択する。そして、ＣＰＵ１０は、演奏が開始されて押鍵を検出すると、音声連鎖データ「＃−ｈ」、音声連鎖データ「ｈ−ａ」、定常部分データ「ａ」に基づく歌唱音を、操作された鍵に応じた音高、操作に応じたベロシティで出力する。このようにして、カーソル位置の決定と歌唱音の発音が実行される。
　図５のステップＳ１０７でノートオフを検出した場合は、ＣＰＵ１０は、音を出力中であればその音の出力を停止して（ステップＳ１０８）、処理をステップＳ１０９に進める。一方、ノートオフが検出されない場合は、ＣＰＵ１０は処理をステップＳ１０９に進める。ステップＳ１０９では、カーソル位置の更新処理を実行する。このカーソル位置の更新処理は、後述する図８のステップＳ２１４で歌唱位置の更新がされた場合、それに対応して実行される。歌唱位置の更新がない場合は、カーソル位置の更新もなされない。その後、ＣＰＵ１０は、演奏が終了したか否かを判別する（ステップＳ１１０）。ＣＰＵ１０は、ステップＳ１１０で、演奏を終了していない場合は処理をステップＳ１０３に戻す。一方、演奏を終了した場合は、ＣＰＵ１０は、音を出力中であればその音の出力を停止して（ステップＳ１１１）、図５に示す処理を終了する。なお、ＣＰＵ１０は、演奏を終了したか否かを、例えば、選択曲の最後尾の音節が発音されたか否か、あるいは他操作子１６により演奏を終了する操作が行われた否か、などに基づき判別できる。
　次に、歌詞表示に着目した動作について説明する。まず、歌唱用データ１４ａに含まれる歌詞テキストデータは、選択曲に応じた複数の各音節に対応付けられた文字情報を少なくとも含む。歌詞テキストデータは、歌唱部（音源１９、効果回路２０及びサウンドシステム２１）により歌唱されるためのデータである。歌詞テキストデータは、予め複数の区間に分けられており、分割された各区間を「フレーズ」と称する。フレーズは、あるまとまりのある単位であり、ユーザが認識しやすい意味により区切られたものであるが、区間の定義はこれに限定されない。ＣＰＵ１０は、曲が選択されると、複数のフレーズに分けられた状態で取得する。フレーズには１以上の音節とその音節に対応する文字情報が含まれる。
　電子楽器１００が起動されると、ＣＰＵ１０は、選択曲に対応する複数のフレーズのうち先頭のフレーズに対応する文字情報を、表示ユニット３３の第１メインエリア４１（図４）に表示させる。その際、１フレーズ目の先頭の文字が左端の表示枠４５−１に表示され、第１メインエリア４１に表示可能な数だけ文字が表示される。２フレーズ目については、第２メインエリア４２に表示可能な数だけ文字が表示される。鍵盤部ＫＢは、歌唱の指示を取得する指示取得部としての役割を果たす。ＣＰＵ１０は、歌唱の指示が取得されたことに応じて、次に歌唱する音節を歌唱部に歌唱させると共に、第１メインエリア４１に表示された文字の表示を、音節の進行に従って進める。文字表示の歩進方向は図４の左方向であり、最初に表示しきれなかった文字は、歌唱の進行に応じて右端の表示枠４５から表れる。上記カーソル位置は次に歌唱する音節を示すものであり、第１メインエリア４１の表示枠４５−１に表示された文字に対応する音節を指示する。
　なお、１文字と１音節とは必ずしも対応しない。例えば、濁点を有する「だ」（ｄａ）は、「た」（ｔａ）と「″」の２文字が１音節に対応する。また、歌詞は英語でもよく、例えば歌詞が「ｓｅｐｔｅｍｂｅｒ」の場合、「ｓｅｐ」「ｔｅｍ」「ｂｅｒ」の３音節となる。「ｓｅｐ」は１音節であるが、「ｓ」「ｅ」「ｐ」の３文字が１音節に対応する。文字表示の歩進はあくまで音節単位であるので、「だ」の場合は歌唱により２文字進むことになる。このように、歌詞は、日本語に限らず他言語であってもよい。
　進み操作子３４、戻し操作子３５の操作時を除き、第１メインエリア４１の表示対象となっているフレーズの歌唱中、第２メインエリア４２の表示は変化しない（歩進しない）。進み操作子３４は、フレーズ単位で表示を繰り上げるための操作子である。進み操作子３４を押下して離す操作をフレーズ進み操作の一例とするが、進み操作子３４を押下した時点でフレーズ進み操作がされる構成としてもよい。また、戻し操作子３５はフレーズ単位で表示を繰り下げるための操作子である。戻し操作子３５を押下して離す操作をフレーズ戻し操作の一例とするが、戻し操作子３５を押下した時点でフレーズ戻し操作がされる構成としてもよい。これらフレーズ進み操作、フレーズ戻し操作を含む歌詞表示処理を図８、図９で説明する。
　図８は、歌詞表示処理のフローチャートである。なお、この処理は、例えば、ＣＰＵ１０がＲＯＭ１２やＲＡＭ１３に記憶されたプログラムを実行し、電子楽器１００が備える各種構成を制御する制御部として機能することにより実現される。また、図８に示す処理は、電源がオンにされた後、図５に示す処理と並行して実行される。図８に示す処理において、ＣＰＵ１０は、データ取得部、表示制御部、進み操作検知部、戻し操作検知部としての役割を果たす。図９Ａ、図９Ｂ、図９Ｃ、図９Ｄは、表示ユニット３３における表示例を示す図である。
　まず、ＣＰＵ１０は、曲が選択されるまで待つ（ステップＳ２０１）。ここでは、図５のステップＳ１０１で曲の選択が受け付けられるとＹＥＳと判別される。そしてＣＰＵ１０は、曲が選択されない場合は処理をステップＳ２０４に進める。一方、ＣＰＵ１０は、曲が選択されると、選択曲の歌唱用データ１４ａをこれから表示対象とするデータとして取得する（ステップＳ２０２）。そしてＣＰＵ１０は、取得した歌唱用データ１４ａの歌詞テキストデータから選択曲に対応する複数のフレーズを抽出する（ステップＳ２０３）。複数のフレーズには既に順番が付けられている。その後、処理はステップＳ２０４に進む。
　ステップＳ２０４では、ＣＰＵ１０は、抽出した複数のフレーズのうち１フレーズ目の文字を、第１メインエリア４１に先頭から表示可能な分だけ表示させる。次に、ステップＳ２０５で、ＣＰＵ１０は、抽出した複数のフレーズのうち２フレーズ目の文字を、第２メインエリア４２に先頭から表示可能な分だけ表示させる。例えばＣＰＵ１０は、図９Ａに示すように、文字列「ダンダント・・・」を第１メインエリア４１に表示させると共に、文字列「アイウエオ・・・」を第２メインエリア４２に表示させる。
　次に、ＣＰＵ１０は、１フレーズ目の先頭音節を次の歌唱位置に設定する（ステップＳ２０６）。なお、ここでの歌唱位置の設定は、カーソル位置の設定（図５のステップＳ１０２）と対応している。次に、ＣＰＵ１０は、第１メインエリア４１に表示されている左端の１音節（表示枠４５−１に表示されている文字に対応する音節）が発音（歌唱）済みであるか否かを判別する（ステップＳ２０７）。そして、第１メインエリア４１に表示されている左端の１音節が発音済みでない場合は、ＣＰＵ１０は、処理をステップＳ２１０に進める。一方、第１メインエリア４１に表示されている左端の１音節が発音済みであれば、ＣＰＵ１０は、第１メインエリア４１のフレーズの表示を１音節分進める（ステップＳ２０８）。詳細には、ＣＰＵ１０は、左端の１音節に対応する文字を消去すると共に、消去した数の分だけ文字列を左に詰める。フレーズの表示を１音節分進めることで新たに表示枠４５−１に表示された文字に対応する音節が、次の歌唱対象となる。従って、ステップＳ２０７、Ｓ２０８は図５のステップＳ１０５、Ｓ１０６に対応している。例えば、図９Ａに示す表示状態で先頭の「ダ」が歌唱されると、表示は図９Ｂに示すように更新される。なお、歌唱が進行し、第１メインエリア４１への表示対象となっているフレーズの文字が表示枠４５の数より少なくなると、例えば図９Ｄに例示するように、最後尾の文字より後の表示枠４５は空白（表示無し）となる。
　次に、ステップＳ２０９で、ＣＰＵ１０は、第１メインエリア４１への表示対象となっているフレーズの全ての音節が発音済みとなったか否かを判別する。そしてＣＰＵ１０は、第１メインエリア４１への表示対象となっているフレーズで未発音の音節がある場合は、処理をステップＳ２１０に進める。一方、第１メインエリア４１への表示対象となっているフレーズの全ての音節が発音済みとなった場合は、ＣＰＵ１０は、フレーズ表示の繰り上げ処理を実行する（ステップＳ２１１）。この場合、ＣＰＵ１０は、第１メインエリア４１への表示対象となっているフレーズの次のフレーズに属する文字情報を第１メインエリア４１に表示させ、第２メインエリア４２への表示対象となっているフレーズの次のフレーズに属する文字情報を第２メインエリア４２に表示させる。上述したように、ＣＰＵ１０は、それぞれのメインエリアで文字情報を先頭から順に表示可能な分だけ表示させる。なお、第２メインエリア４２への表示対象となっているフレーズの次のフレーズが存在しない場合は、第２メインエリア４２へ表示される文字はなくなる（全ての表示枠４５は空白）。
　ステップＳ２１０で、ＣＰＵ１０は、フレーズ進み操作を検出したか否かを判別する。ＣＰＵ１０は、フレーズ進み操作を検出すると、フレーズ表示の繰り上げ処理（ステップＳ２１１）を実行する。例えば、図９Ａまたは図９Ｂに示す表示状態でフレーズ進み操作がされると、ＣＰＵ１０は、図９Ｃに示すように、それまで第２メインエリア４２に表示されていた文字列「アイウエオ・・・」を第１メインエリア４１に表示させると共に、さらに次のフレーズの文字列「ヒノマルザ・・・」を第２メインエリア４２に表示させる。なお、第２メインエリア４２への表示対象となっているフレーズの次のフレーズが存在しない場合は、第２メインエリア４２へ表示される文字はなくなる（全ての表示枠４５は空白）。ステップＳ２１１の後、処理はステップＳ２１４に進む。
　ステップＳ２１０で、フレーズ進み操作が検出されない場合は、ＣＰＵ１０は、フレーズ戻し操作を検出したか否かを判別する（ステップＳ２１２）。そして、フレーズ戻し操作が検出されない場合は、ＣＰＵ１０は、処理をステップＳ２１５に進める。一方、フレーズ戻し操作を検出した場合は、ＣＰＵ１０は、フレーズ表示の繰り下げ処理を実行する（ステップＳ２１３）。この場合、ＣＰＵ１０は、第１メインエリア４１への表示対象となっているフレーズの直前のフレーズに属する文字情報を第１メインエリア４１に表示させ、第２メインエリア４２への表示対象となっているフレーズの直前のフレーズに属する文字情報を第２メインエリア４２に表示させる。上述したように、ＣＰＵ１０は、それぞれのメインエリアで文字情報を先頭から順に表示可能な分だけ表示させる。例えば、図９Ｃまたは図９Ｄに示す表示状態でフレーズ戻し操作がされると、ＣＰＵ１０は、図９Ａに示す表示態様となるように表示を更新する。
　なお、第１メインエリア４１への表示対象となっているフレーズの直前のフレーズが存在しない場合は、ＣＰＵ１０は、メインエリア４１、４２共に表示の更新を行わない。あるいは、ＣＰＵ１０は、第１メインエリア４１への表示対象となっているフレーズに属する先頭文字が左端の表示枠４５−１に表示されるよう表示を更新してもよい。
　ステップＳ２１３の後、処理はステップＳ２１４に進む。ステップＳ２１４では、ＣＰＵ１０は、表示更新によって第１メインエリア４１の表示枠４５−１に新たに表示された文字に対応する音節（先頭音節）を、次の歌唱位置に設定し、処理をステップＳ２１５に進める。ステップＳ２１５では、ＣＰＵ１０は、その他の処理を実行し、歌唱合成が終了したか否かを判別する（ステップＳ２１６）。例えば、ＣＰＵ１０は、選択曲に対応する全ての音節の歌唱合成が完了（発音済み等）すると、歌唱合成が終了したと判別する。また、歌唱がユーザの指示により中止された場合も歌唱合成が終了したと判別する。そして、ＣＰＵ１０は、歌唱合成が終了していない場合は、処理をステップＳ２０７に戻す一方、歌唱合成が終了すると図８に示す処理を終了する。
　なお、図８に示す処理において、複数曲が連続して選択されている場合は、ある曲の歌唱が完了すると処理対象が次の選択曲となり、ステップＳ２０２から処理が再開されるようにしてもよい。
　本実施の形態によれば、次に歌唱する音節を含むフレーズ（区間）に属する文字情報が第１メインエリア４１に表示されると共に、次に歌唱する音節を含むフレーズの次のフレーズに属する文字情報が第２メインエリア４２に表示される。これにより、現在の歌唱対象だけでなく次の歌唱対象も、まとまりのある文字情報として容易に視認することができる。ユーザは、これから歌唱される音節をかたまりとして意識しながら演奏を行える。
　また、フレーズ進み操作、フレーズ戻し操作によって、それぞれフレーズ単位で表示を繰り上げ、繰り下げできる。これにより、ユーザは、操作によって歌唱対象の表示をフレーズ単位で更新することができる。
　なお、フレーズ進み操作、フレーズ戻し操作は、上記した例示の態様に限定されず、操作子の構成も押下するものに限定されない。
　なお、歌唱位置がフレーズの先頭音節にあっても途中の音節にあっても、フレーズ進み操作、フレーズ戻し操作があればフレーズの繰り上げ、繰り下げが実行されるとしたが、これに限らない。例えば、フレーズ戻し操作に関しては、歌唱位置がフレーズの先頭音節にあるときにだけフレーズの繰り下げが実行されるようにしてもよい。すなわち、歌唱位置がフレーズの途中の音節にあるときにはそのフレーズの先頭音節に歌唱位置が戻り、そのフレーズに属する先頭文字が表示枠４５−１に表示されるようにしてもよい。
　なお、表示ユニット３３の全体の表示領域は２行（２段）構成としたが、３行以上の構成としてもよい。また、メインエリアは上下に並べて配置したが、配置関係は例示に限定されず、左右に並べてもよい。なお、メインエリア４１、４２には、表示可能な数だけ文字が表示されるとしたが、表示枠４５のような形態を採用せず、自由度の高い表示形態を採用することで、フレーズに属する全ての文字を表示してもよい。例えば、表示幅に合わせて、フレーズに属する文字のサイズを縮小してもよい。
　なお、メインエリア４１、４２は物理的に区画されたエリアであることは必須でない。例えば、共通の画面内にメインエリア４１、４２に相当するエリアを設け、それぞれのエリアに表示される各フレーズの文字列を改行等によって区別してもよい。
　なお、選択曲の歌唱用データ１４ａは、複数のフレーズに分けられた状態で取得できればよく、曲単位で取得することに限定されず、フレーズ単位で取得してもよい。歌唱用データ１４ａがデータ記憶部１４に記憶される態様も曲単位に限定されない。また、歌唱用データ１４ａの取得先は記憶部に限定されず、通信Ｉ／Ｆ２２を通じた外部機器を取得先としてもよい。また、電子楽器１００でユーザが編集または作成することでＣＰＵ１０により取得されるようにしてもよい。
　以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
１０　ＣＰＵ（データ取得部、表示制御部、進み操作検知部、戻し操作検知部）
１４ａ　歌唱用データ（歌詞データ）
１９　音源（歌唱部）
２０　効果回路（歌唱部）
２１　サウンドシステム（歌唱部）
４１　第１メインエリア（第１の表示領域）
４２　第２メインエリア（第２の表示領域）
ＫＢ　鍵盤部（指示取得部）

Claims (9)

  1. 　歌唱部により歌唱されるための複数の各音節に対応付けられた文字情報を少なくとも含む歌詞データを、複数の区間に分けられた状態で取得するデータ取得部と、
    　前記データ取得部により取得された歌詞データのうち、次に歌唱する音節を含む区間に属する文字情報を第１の表示領域に表示させると共に、前記次に歌唱する音節を含む区間の次の区間に属する文字情報を第２の表示領域に表示させる表示制御部と、を有する歌詞表示装置。
  2. 　歌唱の指示を取得する指示取得部を有し、
    　前記表示制御部は、前記指示取得部により歌唱の指示が取得されたことに応じて、前記次に歌唱する音節を前記歌唱部に歌唱させると共に、前記第１の表示領域に表示された文字情報の表示を制御する請求項１に記載の歌詞表示装置。
  3. 　区間を進める操作を検知する進み操作検知部を有し、
    　前記表示制御部は、前記進み操作検知部により区間を進める操作が検知されると、前記第１の表示領域への表示対象となっている区間の次の区間に属する文字情報を前記第１の表示領域に表示させる請求項１または２に記載の歌詞表示装置。
  4. 　区間を戻す操作を検知する戻し操作検知部を有し、
    　前記表示制御部は、前記戻し操作検知部により区間を戻す操作が検知されると、前記第１の表示領域への表示対象となっている区間の直前の区間に属する文字情報を前記第１の表示領域に表示させる請求項１~３のいずれか１項に記載の歌詞表示装置。
  5. 　前記表示制御部は、文字情報を前記第２の表示領域に表示させる場合、歌唱する音節の順番に対応して前記文字情報を先頭から順に表示可能な分だけ表示させる請求項１~４のいずれか１項に記載の歌詞表示装置。
  6. 　前記表示制御部は、前記第１の表示領域への表示対象となっている区間の最後の音節が前記歌唱部により歌唱されると、前記第１の表示領域への表示対象となっていた区間の次の区間に属する文字情報を前記第１の表示領域に表示させる請求項１~５のいずれか１項に記載の歌詞表示装置。
  7. 　前記表示制御部は、前記第１の表示領域への表示対象となっている区間の次の区間に属する文字情報を前記第１の表示領域に表示させる場合は、前記第２の表示領域への表示対象となっている区間の次の区間に属する文字情報を前記第２の表示領域に表示させ、前記第１の表示領域への表示対象となっている区間の直前の区間に属する文字情報を前記第１の表示領域に表示させる場合は、前記第１の表示領域への表示対象となっている区間に属する文字情報を前記第２の表示領域に表示させる請求項１~６のいずれか１項に記載の歌詞表示装置。
  8. 　前記歌唱部は、前記歌詞データに基づき歌唱合成して発音する請求項１~７のいずれか１項に記載の歌詞表示装置。
  9. 　歌唱部により歌唱されるための複数の各音節に対応付けられた文字情報を少なくとも含む歌詞データを複数の区間に分けられた状態で取得するデータ取得ステップと、
    　前記データ取得ステップにより取得された歌詞データのうち、次に歌唱する音節を含む区間に属する文字情報を第１の表示領域に表示させると共に、前記次に歌唱する音節を含む区間の次の区間に属する文字情報を第２の表示領域に表示させる表示制御ステップと、を有する歌詞表示方法。
PCT/JP2017/017434 2017-04-27 2017-04-27 歌詞表示装置及び方法 WO2018198380A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/017434 WO2018198380A1 (ja) 2017-04-27 2017-04-27 歌詞表示装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/017434 WO2018198380A1 (ja) 2017-04-27 2017-04-27 歌詞表示装置及び方法

Publications (1)

Publication Number Publication Date
WO2018198380A1 true WO2018198380A1 (ja) 2018-11-01

Family

ID=63918135

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/017434 WO2018198380A1 (ja) 2017-04-27 2017-04-27 歌詞表示装置及び方法

Country Status (1)

Country Link
WO (1) WO2018198380A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003167594A (ja) * 2001-12-03 2003-06-13 Oki Electric Ind Co Ltd 歌唱音声合成を用いた携帯電話装置及び携帯電話システム
JP2006259236A (ja) * 2005-03-17 2006-09-28 Daiichikosho Co Ltd 歌詞表示器付き携帯音楽プレーヤ
JP2010286812A (ja) * 2009-05-15 2010-12-24 Fujitsu Ltd 携帯型情報処理装置、コンテンツ再生方法およびコンテンツ再生プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003167594A (ja) * 2001-12-03 2003-06-13 Oki Electric Ind Co Ltd 歌唱音声合成を用いた携帯電話装置及び携帯電話システム
JP2006259236A (ja) * 2005-03-17 2006-09-28 Daiichikosho Co Ltd 歌詞表示器付き携帯音楽プレーヤ
JP2010286812A (ja) * 2009-05-15 2010-12-24 Fujitsu Ltd 携帯型情報処理装置、コンテンツ再生方法およびコンテンツ再生プログラム

Similar Documents

Publication Publication Date Title
US10354625B2 (en) Digital sight-singing piano with a fixed-solfège keyboard, continuous keys and adjustable tones by kneading piano keys
JP3102335B2 (ja) フォルマント変換装置およびカラオケ装置
US20090217805A1 (en) Music generating device and operating method thereof
JP6728754B2 (ja) 発音装置、発音方法および発音プログラム
JP6705272B2 (ja) 発音制御装置、発音制御方法、及びプログラム
JP7259817B2 (ja) 電子楽器、方法及びプログラム
WO2015194423A1 (ja) 文字に基づく音声生成のためのコントローラ及びシステム
CN113160779A (zh) 电子乐器、方法及存储介质
US20220076658A1 (en) Electronic musical instrument, method, and storage medium
WO2007078261A1 (en) Method and system for text-editing and playing back a score
CN102682762A (zh) 和声合成器及声音信号的和声方法
JP4929604B2 (ja) 歌データ入力プログラム
JP6809608B2 (ja) 歌唱音生成装置及び方法、プログラム
WO2018198380A1 (ja) 歌詞表示装置及び方法
JP6977741B2 (ja) 情報処理装置、情報処理方法、演奏データ表示システム、およびプログラム
JP6787491B2 (ja) 音発生装置及び方法
WO2018198382A1 (ja) 歌詞表示装置及び方法
JP7338669B2 (ja) 情報処理装置、情報処理方法、演奏データ表示システム、およびプログラム
WO2019003348A1 (ja) 歌唱音効果生成装置及び方法、プログラム
WO2018198381A1 (ja) 音生成装置及び方法、楽器
WO2019026233A1 (ja) 効果制御装置
KR20100095226A (ko) 화성학 연주조건 입력기 및 이를 채택한 화성학 연주 악기
JP2020144345A (ja) 情報処理装置、情報処理方法、およびプログラム
KR20120039608A (ko) 화성학 연주조건 입력기 및 이를 채택한 화성학 연주 악기
JP2017161721A (ja) 歌詞生成装置および歌詞生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17907020

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17907020

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP