WO2012035597A1 - 楽曲情報処理装置及び方法、コンピュータプログラム並びに記録媒体 - Google Patents

楽曲情報処理装置及び方法、コンピュータプログラム並びに記録媒体 Download PDF

Info

Publication number
WO2012035597A1
WO2012035597A1 PCT/JP2010/065731 JP2010065731W WO2012035597A1 WO 2012035597 A1 WO2012035597 A1 WO 2012035597A1 JP 2010065731 W JP2010065731 W JP 2010065731W WO 2012035597 A1 WO2012035597 A1 WO 2012035597A1
Authority
WO
WIPO (PCT)
Prior art keywords
music
score
music data
input
data
Prior art date
Application number
PCT/JP2010/065731
Other languages
English (en)
French (fr)
Inventor
康夫 城▲崎▼
章雄 福島
英幸 大久保
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to JP2012533759A priority Critical patent/JP5422056B2/ja
Priority to PCT/JP2010/065731 priority patent/WO2012035597A1/ja
Publication of WO2012035597A1 publication Critical patent/WO2012035597A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10GREPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00Means for the representation of music

Definitions

  • the present invention relates to a music information processing apparatus and method, a computer program, and a recording medium on which the computer program is recorded, for example, for reproducing music data and displaying musical score data corresponding to the music data being reproduced.
  • a music information processing apparatus and method for example, for reproducing music data and displaying musical score data corresponding to the music data being reproduced.
  • a user can input between input beat positions by inputting a plurality of beat positions and the number of beats between these beat positions with respect to the displayed sound waveform while listening to music to be played back.
  • the beat position is determined according to the number of beats
  • the beat time is determined for each beat position related to input and determination based on the music data, and the beat time information indicating the determined beat time is recorded as the reproduction control information.
  • the user specifies two places that are determined to be the head of a measure while listening to the music data, and inputs the number of bars existing between the two specified places. Calculate the length of the bar by dividing the period between the two specified places into equal intervals by the number of bars entered, and then, based on the calculated bar length, An apparatus for extracting the head position and generating metadata has been proposed (see Patent Document 2).
  • this type of apparatus may be configured to indicate a position on a musical score corresponding to a reproduction position of music data, for example, in order to use it as a performance model.
  • the start position of a measure that is, the start position of the measure
  • the start position of the measure is not always correctly extracted. Then, there is a technical problem that there is a possibility that the reproduction position of the music data and the position on the score corresponding to the reproduction position are not synchronized.
  • the present invention has been made in view of the above-mentioned problems, for example, and reproduces music data, displays score data corresponding to the music data, and indicates a position on the score corresponding to the reproduction position of the music data.
  • the music information processing that can eliminate the deviation relatively easily It is an object to propose an apparatus and method, a computer program, and a recording medium.
  • the music information processing apparatus of the present invention displays a musical score data represented by musical score data corresponding to the music data being reproduced and including musical measure information.
  • the playback means including, for example, a memory, a processor, etc. plays back music data.
  • the music data is, for example, PCM (Pulse Code Modulation) data recorded on a recording medium such as a CD (Compact Disc) or a DVD, WAVE data used in a personal computer, or the like.
  • the display means including a memory, a processor, etc. displays a score corresponding to the music data being played back and indicated by score data including bar information.
  • the score data is, for example, a commercially available pdf score, a score scored as a data by a scanner or the like, and converted into data in a predetermined image file format.
  • Bar information is information indicating the position coordinates of each measure constituting the score on the score and the performance order of each measure. Specifically, the position coordinates of a certain bar are expressed as, for example, an X coordinate range: x1 to x2; a Y coordinate range: y1 to y2, and the like.
  • the musical score indicated by the musical score data may include, for example, lyrics as well as notes and performance symbols.
  • the score is not limited to the staff.
  • a tablature so-called tablature or the like may be displayed instead of or in addition to the staff.
  • the highlighting means including a memory, a processor, etc. highlights one measure on the displayed score according to the playback position of the music data being played back.
  • one measure for example, one measure is surrounded by a thick frame, the color of a note constituting one measure is made different from the color of a note constituting another measure, or one measure is constituted.
  • the size of the note may be made larger than the size of the notes constituting other measures.
  • the highlighting means recognizes that, for example, the range of one sample number among the sample numbers obtained by analyzing the music data (that is, beat information) corresponds to the position coordinates of one measure. Thus, when the music data reproduction position is within the range of one sample number, one measure is highlighted. In addition, what is necessary is just to apply various well-known techniques for the analysis of music data.
  • input means such as a touch panel, a mouse, and a keyboard can accept user input.
  • a change means including a memory, a processor, etc., shows a timing at which one measure is highlighted with respect to the playback position of the music data in accordance with a user input received via the input means. Is changed.
  • the changing unit selects a section between the reproduction position of the music data corresponding to the timing of the first input by the user and the reproduction position of the music data corresponding to the timing of the second input by the user.
  • the number of samples is changed by equally dividing the number of bars existing in the section, and the timing at which one bar is highlighted is changed.
  • the changing means divides a section from the start of music data playback to the music data playback position corresponding to the input timing by the user by the number of bars existing in the section. , Change the number of samples and change the timing at which one bar is highlighted.
  • the changing means recognizes the timing at which the input means accepts the user's input as the bar break timing, the changing means emphasizes one measure according to the user's input. By changing the timing shown, the shift between the reproduction position of the music data and the highlighted measure can be eliminated or almost eliminated.
  • the music data is played back by the playback means, and the score corresponding to the music data is displayed by the display means. Therefore, the user listens to the music data and performs highlighting on the score. It is possible to input via the input means while watching the transition. For this reason, the user can input via the input means at a timing when the break of the measure in the music data is reproduced relatively easily.
  • the music information processing apparatus of the present invention when there is a deviation between the reproduction position of the music data and the position on the score corresponding to the reproduction position, the deviation is relatively easily eliminated. can do.
  • the changing means plays the music data when the input means is accepted by the input means for the first time after reproduction of the music data is started.
  • the number of times the user inputs can be relatively reduced, and the burden on the user is reduced. can do.
  • the changing means may receive the music data when the input means is accepted by the input means from a position where the reproduction of the music data is started.
  • the timing at which the one bar is highlighted is changed according to the section up to the position being reproduced and the number of bars existing in the section based on the bar information.
  • the music information processing apparatus is connected to a network including a plurality of music data and a server device that stores a plurality of score data respectively corresponding to the plurality of music data.
  • the music information processing apparatus acquires the music data reproduced by the reproduction means and the score data displayed by the display means from the server apparatus via the network.
  • the music information processing device since the music data and the score data are stored in the server device existing on the network, the music information processing device does not need to include a large-capacity storage means such as a hard disk. Therefore, the music information processing apparatus can be reduced in size and weight.
  • the user input received by the input means includes position information indicating a position on the displayed score.
  • the user can relatively easily specify a desired measure on the displayed score, which is very advantageous in practice.
  • the music information processing method of the present invention is a music information processing method in a music information processing apparatus including input means capable of accepting user input in order to solve the above-described problem, and a reproduction step of reproducing music data; A display step of displaying a score corresponding to the music data being played and indicated by the score data including bar information; and on the displayed music score according to the playback position of the music data being played back A highlighting step that highlights one measure and a timing at which the one measure is highlighted with respect to the reproduction position is changed according to the user input received through the input unit. A change process.
  • the music information processing method of the present invention in the same manner as the music information processing apparatus of the present invention described above, when there is a difference between the reproduction position of the music data and the position on the score corresponding to the reproduction position.
  • the shift can be resolved relatively easily.
  • the computer program of the present invention causes a computer to function as the above-described music information processing apparatus of the present invention (including various aspects thereof).
  • the computer program of the present invention is read into a computer from a recording medium such as a CD-ROM (Compact Disc Only Memory) or a DVD-ROM (DVD Read Only Memory) that stores the computer program.
  • a recording medium such as a CD-ROM (Compact Disc Only Memory) or a DVD-ROM (DVD Read Only Memory) that stores the computer program.
  • the computer program is executed after being downloaded to the computer via communication means provided in the computer, the above-described music information processing apparatus of the present invention can be realized relatively easily. it can.
  • the music information processing apparatus of the present invention described above when there is a deviation between the reproduction position of the music data and the position on the score corresponding to the reproduction position, the deviation is relatively reduced. It can be easily solved.
  • the computer-readable recording medium of the present invention stores a computer program that causes a computer to function as the above-described music information processing apparatus of the present invention (including various aspects thereof) in order to solve the above-described problems.
  • the above-described music information processing apparatus of the present invention is made relatively easy. realizable.
  • the music information processing apparatus of the present invention described above when there is a deviation between the reproduction position of the music data and the position on the score corresponding to the reproduction position, the deviation is relatively reduced. It can be easily solved.
  • FIG. 1 is a block diagram showing a basic configuration of a music information processing apparatus according to this embodiment.
  • a music information processing apparatus 1 includes a music data input unit 11, a score data input unit 12, a music information analysis unit 13, a score information analysis unit 14, an output unit 15, a display position control unit 16, and a coordinate information input unit 17. It is configured with.
  • the output unit 15 includes an audio output unit 151 and a display unit 152.
  • the music data input unit 11 is a functional unit for inputting music data.
  • the music data input unit 11 is connected to a device (not shown) capable of reading information recorded on an optical disk such as a CD or DVD, or a recording medium (not shown) such as a hard disk or a nonvolatile memory. Has been.
  • the music data input unit 11 supplies the acquired music data to the music information analysis unit 13 and the audio output unit 151 of the output unit 15.
  • the music data is, for example, data obtained by converting sound information of music.
  • predetermined data processing such as processing related to known music reproduction
  • voice information of the original music is output.
  • the music information analysis unit 13 analyzes the music data supplied from the music data input unit 11 and acquires music analysis information that is information indicating beats, measures, and the like constituting the music related to the music data.
  • the music information analysis unit 13 supplies the acquired music analysis information to the display position control unit 16.
  • the music analysis information includes information in which the timing of each beat in the music related to the music data is associated with the time series in the music data (ie, beat information).
  • the beat information is represented by, for example, the number of samples from the beginning of the music to each beat.
  • FIG. 2 is a diagram illustrating an example of a music data analysis process.
  • the music information analysis unit 13 first performs envelope analysis on the music data to detect each beat and each bar in the music related to the music data. Subsequently, the music information analysis unit 13 attaches unique beat numbers (beats #) s1, s2,... To each beat detected from the music data as shown in FIG. A music information table is generated by combining the beat number and the number of samples from the beginning of the music to each beat (see FIG. 2B).
  • the number of samples of beat # s1 is 50688, the number of samples of beat # s2 is 74880, the number of samples of beat # s3 is 100244, and the number of samples of beat # s4
  • the number of samples is 125568
  • the number of samples of beat # s5 is 149760
  • the number of samples of beat # 6 is 175104
  • the number of samples of beat # 7 is 200048
  • the number of samples of beat # 8 is 224640
  • the number of samples for beat # 9 is 249984.
  • the music information analysis unit 13 further determines whether or not each beat is the head of a bar constituting the music, and adds the determination result to the music information table. Specifically, for example, in FIG. 2B, it is determined that each of beat # 1, beat # 5, and beat # 9 is the beginning of a measure ("start of measure" in FIG. 2B). The parameter shown is “1”).
  • the music information analysis unit 13 determines that beats # s1 to # s4 are first measures, beats # s5 to # 8 are second measures, and so on. The music information analysis unit 13 then assigns a unique measure number (measure #) 0 indicating the first measure to beats # s1 to # s4, and beats # s5 to # s8. , Bar # 1 indicating the second bar is added to the music information table (see “bar #” in FIG. 2B).
  • the music analysis information generated as described above is converted into a predetermined format such as a text file format and supplied to the display position control unit 16.
  • a predetermined format such as a text file format
  • the music analysis information is displayed on the score by the display position control unit 16, for example, an aspect as shown in FIG.
  • the music information analysis unit 13 replaces the number of samples from the beginning of the music with each beat.
  • the number of samples per beat may be acquired.
  • the music information analysis unit 13 calculates the time per beat from the reciprocal of the BPM of the music, and multiplies it by a sampling rate indicating the number of samples per unit time, thereby obtaining a sample per beat. A number may be obtained.
  • the score data input unit 12 is a functional unit for inputting score data in which a score or the like is converted into data in a predetermined image file format.
  • the musical score data input unit 12 is connected to a device that can read information recorded on an optical disk such as a CD or a DVD, or an imaging means such as a camera.
  • the score data input unit 12 supplies the acquired score data to the score information analysis unit 14 and the display unit 152 of the output unit 15.
  • the musical score data is subjected to predetermined data processing such as processing related to known image reproduction
  • the musical score and the lyrics accompanying the musical score are output to an image display device such as a liquid crystal display.
  • the score information analysis unit 14 analyzes the score data supplied from the score data input unit 12, information indicating coordinates indicating each measure constituting the score related to the score data (that is, measure position information), and each Score analysis information including information indicating the performance order of measures is acquired.
  • the score information analysis unit 14 supplies the acquired score analysis information to the display position control unit 16.
  • FIG. 3 is a diagram illustrating an example of score data analysis processing.
  • the score information analysis unit 14 first detects the size of the image related to the score data.
  • the size of the image is a value that defines the size of the image in the horizontal direction (for example, the X-axis direction) and the vertical direction (for example, the Y-axis direction). It is expressed using the unit shown.
  • the score information analysis unit 14 detects the size of the image as X: 2214; Y: 644.
  • the score information analysis unit 14 stores the detected image size in the score information table (see FIG. 3B).
  • the score information analysis unit 14 acquires the page number and stores it in the score information table. If the image shown in FIG. 3A is the first page of the score, the score information analysis unit 14 stores “1” in the parameter indicating the “score page” of the score information table (FIG. 3 ( (See “Music Score Page” in b)).
  • the score information analyzing unit 14 recognizes, for example, an upper Y coordinate that is a coordinate corresponding to the uppermost line of the staff in the image and a lower part that is a coordinate corresponding to the lowermost line of the staff in the image. Detection with the Y coordinate is performed. Specifically, for example, in the image shown in FIG. 3A, the upper Y coordinate of the first staff is 124, the lower Y coordinate is 207, the upper Y coordinate of the second staff is 490, and the lower Y coordinate is 573 is detected.
  • the score information analysis unit 14 detects bar lines constituting the score by image recognition, and detects an X coordinate which is a coordinate corresponding to each bar line. Specifically, for example, in the image shown in FIG. 3A, the X coordinate indicating the position of the bar line in the first staff score is detected as 38, 509, 903, 1319, 1741, 2163 in order from the left. Is done. Similarly, the X coordinate indicating the position of the bar line in the second stave is detected as 38, 518, 903, 1319, 1728, 2163 in order from the left.
  • the score information analysis unit 14 determines an area related to each measure based on the detected upper Y coordinate, lower Y coordinate, and X coordinate. Then, the score information analysis unit 14 determines, for each bar, the stage to which the bar belongs and the bar number (bar #) in the bar.
  • the Y coordinate: 124 to 207; the X coordinate 38 to 509 is included in the measure. This area is determined. Then, “1” is assigned to the parameter indicating “measure step”, and “0” is assigned to the parameter indicating “measure #” (“measure step” in FIG. 3B and FIG. 3A). See “Bar #”).
  • Y coordinates: 490 to 573; X coordinates: 1728 to 2163 are determined as areas related to the bars. Then, “2” is assigned to the parameter indicating “bar step”, and “9” is assigned to the parameter indicating “bar”.
  • the “bar to which a bar belongs” means that if the musical score (in this case, a staff notation) is arranged in a plurality of levels as in the image shown in FIG. This is information indicating the number of staves constituting the staves.
  • “bar number (bar #)” in the column is information indicating the position of the target bar from the head of the staff composed of the bar (the head of the staff)
  • the “bar #” indicating “A” may be an arbitrary value).
  • the score information analysis unit 14 detects a repetition symbol attached to each bar line by pattern recognition, for example, and generates score analysis information for the content indicated by the repetition symbol.
  • the score information analysis unit 14 is configured to represent, for example, the content indicated by the detected repetition symbol using a predetermined code (see “repetition symbol” in FIG. 3B).
  • a code “0” is generated. If there is a repetition symbol, (i) a code indicating the number of repetition symbols associated with the target bar line and (ii) a code indicating the type of the repetition symbol (further supplementary information) are generated.
  • codes indicating the type of repetition symbol and supplementary information are shown below.
  • the code indicating the start of repeat is “1”, and the code indicating the end of repeat is “2”.
  • the code indicating the start of parentheses is “3”, and as supplementary information, numerical values indicating “number” and “number” of parentheses are added after “3”.
  • the code indicating the end of the parenthesis is “4”.
  • D. S. The code indicating “dal segno” is “5”, and the numerical value indicating the “number” and “number” of the index is added after “5” as supplementary information (there is no index) In this case, “0” is given).
  • the code indicating the Se ⁇ o mark is “6”, and numerical values indicating the “number” and “number” of the index are added after “6” as supplementary information (“0” if there is no index). Is granted).
  • the code indicating to Coda is “7”, and the numerical value indicating the “number” and “number” of the index is added after “7” as supplementary information (when there is no index) Is assigned “0").
  • the code indicating Coda is “8”, and as supplementary information, numerical values indicating the “number” and “number” of the index are added after “8” (if there is no index, “ 0 ”).
  • the code indicating (Da Capo) is “9”.
  • the code indicating Fine is “10”.
  • the number of repetition symbols is 1, and the type of the repetition symbol is a Seigno mark (no index). , That represents.
  • the number of repetition symbols is 2, indicating that the types of repetition symbols are repeat end and parenthesis end.
  • the number of repetition symbols is 2, and the type of repetition symbol is D.D. S. (No index) and Coda (no index).
  • the musical score information analysis unit 14 further calculates the performance order of the measures based on the repetitive symbols detected as described above and the measure #. For example, if a musical score information table as shown in FIG. 3B is generated, the calculated performance order is as shown in FIG. 3C, with measure # 0, measure # 1, measure # 2, and measure. # 3, measure # 4, measure # 3, measure # 5, measure # 6, measure # 7, measure # 1, measure # 8, measure # 9, and so on.
  • the score information analysis unit 14 converts the score information table generated by the above-described series of processing and the data indicating the performance order as score analysis information into a predetermined format such as a text file format, and then the display position control unit 16. To supply.
  • the audio output unit 151 of the output unit 15 includes a speaker, for example, and outputs the music data supplied from the music data input unit 11 as audio.
  • the display unit 152 of the output unit 15 includes a liquid crystal display, for example, and outputs an image indicated by the score data supplied from the score data input unit 12.
  • the display position control unit 16 Based on the music analysis information supplied from the music information analysis unit 13, the display position control unit 16 detects the beat and measure of the music related to the music data output by the audio output unit 151, and the score information analysis unit 14. Based on the score analysis information supplied from, the coordinates of each measure of the score related to the score data output from the display unit 152 and the performance order of each measure are detected. Then, the display position control unit 16 highlights and shows one measure constituting the score related to the score data according to the playback position of the music data.
  • the coordinate information input unit 17 is, for example, a touch pad and can accept various inputs from the user.
  • the output unit 15 may be configured to supply an output signal for outputting music data and image data to a speaker or display which is a device different from the music information processing apparatus 1.
  • FIG. 4 is a diagram showing a configuration of an electronic score display apparatus which is a specific example of the music information processing apparatus according to the present embodiment.
  • an electronic score display apparatus 2 is a specific example of an apparatus including the information processing apparatus 1 described above.
  • the electronic musical score display device 2 can display a musical score and the like related to musical score data, and can accept various inputs from a user, a speaker 22 that can output sound related to music data, music data, And an input interface 24 for inputting musical score data.
  • the touch panel 21 displays various buttons 23 related to, for example, reproduction of music data in addition to the score.
  • the user can play, stop, pause, etc. music data by touching areas corresponding to the various buttons 23 on the touch panel 21.
  • the display position control unit 16 displays a frame 200 that surrounds one measure constituting the score displayed on the touch panel 21 in accordance with the playback position of the music data. The one measure is highlighted.
  • the user can check related information such as a score and lyrics displayed on the touch panel 21 while listening to the sound output from the speaker, and can be used as a model for performance, for example.
  • the music data analysis in the music information analysis unit 13 is not always performed correctly. For this reason, if there is an error in the generated music analysis information, a deviation occurs between the measure highlighted by the display position control unit 16 and the reproduction position of the music data. Then, there is a possibility that a user who uses the electronic musical score display device 2 as an example of performance will find it difficult to perform.
  • the display position control unit 16 changes the timing at which the selected measure is highlighted.
  • FIG. 5A there is a shift between the music playback position and the highlighted bar position (the bar surrounded by the frame in the figure).
  • the number of samples in the music analysis information supplied to the display position control unit 16 changes.
  • FIG. 5C the music playback position and the highlighted bar position coincide with each other.
  • FIG. 5 is a conceptual diagram showing the user's operation when changing the highlighting timing.
  • the display position control unit 16 inputs the user's input for the first time (that is, the first time) via the touch panel 21 (that is, the coordinate information input unit 17).
  • the section from the position where the music data is played back to the position where the music data is played when the second user input is input via the touch panel 21 is the number of bars existing in the section.
  • the number of samples in the music analysis information is changed by equally dividing with.
  • the display position control unit 16 is configured to recognize the point in time when the touch panel 21 receives an input from the user as a break between measures. Further, as described above, since the user selects one measure of the score displayed on the touch panel 21, the user's input includes position information indicating the position of the selected measure. . For this reason, the display position control unit 16 can specify the measure selected by the user from the signal indicating the user input received by the touch panel 21.
  • the playback position that is, the number of samples
  • the playback position of the music data being played is 4410
  • the user selects the second measure of the score displayed on the touch panel 21, and the playback position of the music data is 21050.
  • the display position control unit 16 sets “5410” and “23050” in the music information table shown in FIG. As in the music information table shown in FIG. 6B, the values are changed to “4410” and “21050”.
  • the display position control unit 16 further divides the section of the number of samples 4410 to 21050 equally by the number of measures existing in the section (here, “4”). As a result, “9820” (the beginning of the third measure), “14230” (the beginning of the fourth measure), and “18640” (the beginning of the fifth measure) in the music information table shown in FIG. , “8570”, “12730”, and “16890” (see FIG. 6B).
  • FIG. 6 is a diagram illustrating an example of the sample number changing process according to the present embodiment.
  • the number of samples after the second beat in the second measure is the length of the second measure (that is, the difference between the number of samples at the beginning of the second measure and the number of samples at the beginning of the third measure: “4160”) may be equally divided.
  • the music data is reproduced from the beginning of the music data.
  • the music data is not reproduced from the beat # s1 in FIG. 2A, but is reproduced from the beginning of the music data including the silent portion in FIG. The For this reason, even if the number of samples of the beat # s1 in FIG. 2A is erroneously detected by the analysis in the music information analysis unit 13, the number of samples can be changed relatively easily.
  • the music information processing apparatus 1 is configured to reproduce music data from the beat # s1 (that is, the first beat of the first measure)
  • the beat # The music information analysis unit 13 may be configured so that the number of samples of s1 is “0” (that is, the beginning of the music data).
  • the “audio output unit 151” and the “speaker 22” according to the present embodiment are examples of the “reproducing unit” according to the present invention, and the “display unit 152” and the “touch panel 21” according to the present embodiment are the present invention.
  • the “display position changing means” according to the present embodiment is an example of the “highlight display means” and the “changing means” according to the present invention, and the “coordinates” according to the present embodiment.
  • the “information input unit 17” and the “touch panel 21” are examples of the “input unit” according to the present invention.
  • music data is acquired by the music data input unit 11, and score data is acquired by the score data input unit 12 (step S101).
  • the music analysis information is acquired by the music information analysis unit 13 that acquired the music data from the music data input unit 11, and the score analysis information is acquired by the score information analysis unit 14 that acquired the score data from the score data input unit 12. Obtained (step S102).
  • step S103 it is determined whether or not a reproduction request has been made by the user (step S103). Whether or not there is a reproduction request can be determined by determining whether or not a signal indicating coordinates corresponding to the reproduction button on the screen (see FIG. 4) displayed on the touch panel 21 is received. Good.
  • step S103: No When it is determined that there is no reproduction request (step S103: No), the process of step S103 is executed again (that is, a standby state is entered). On the other hand, when it is determined that there is a reproduction request (step S103: Yes), the sound output unit 151 in the output unit 15 outputs the sound related to the music data via the speaker 22, and the display unit 152 outputs the score related to the score data. Is displayed on the touch panel 21. Further, the display position control unit 16 highlights one measure constituting the displayed score based on the music analysis information and the score analysis information (step S104).
  • step S105 it is determined whether or not there is a user input. If it is determined that there is a user input (step S105: Yes), the process described with reference to FIG. 6 is executed (step S106). On the other hand, when it is determined that there is no input from the user (step S105: No), it is determined whether or not the reproduction of the music data is finished (step S107).
  • step S107: Yes When it is determined that the music data has been played back (for example, when the playback position has reached the end of the music data, when the user presses the stop button, etc.) (step S107: Yes), the process is finished. The On the other hand, when it is determined that the reproduction of the music data has not ended (step S107: No), the process of step S105 is executed.
  • FIG. 8 is a diagram illustrating an example of the sample number changing process according to the present modification.
  • music data is reproduced from the number of samples corresponding to the beat # s1 in the beat information included in the music analysis information.
  • the display position control unit 16 includes a section from a position where music data reproduction is started to a position where music data is reproduced when a user input is input via the touch panel 21.
  • the number of samples in the music analysis information is changed by equally dividing the number of bars existing in the section.
  • the display position control unit 16 displays “9820” in the music information table shown in FIG. 8A is changed to “9420” like the music information table shown in FIG.
  • the display position control unit 16 further divides the section of the sample number 1000 to 9420 equally by the number of bars existing in the section (here, “2”). As a result, “5410” (the beginning of the second measure) in the music information table shown in FIG. 8A is changed to “4210” (see FIG. 8B).
  • FIG. 9 is a diagram illustrating an example of the sample number changing process according to the present modification
  • FIG. 10 is a diagram illustrating another example of the sample number changing process according to the present modification.
  • the display position control unit 16 shows the position where the music data is being played when the user input is input via the touch panel 21, in the bar indicated by the position information included in the user input.
  • the first sample number The first sample number.
  • the display position control unit 16 displays FIG. “9820” in the music information table shown in FIG. 9A is changed to “9420” like the music information table shown in FIG. That is, the display position control unit 16 changes only the number of samples corresponding to the head of the measure selected by the user.
  • the display position control unit 16 sets the number of samples corresponding to the head of the second measure to 4420 which is the number of samples corresponding to the head of the third measure after the change, and is smaller than the number of samples.
  • FIG. 11 is a block diagram illustrating a configuration of a music information processing apparatus according to the second embodiment.
  • the music information processing apparatus 1 is connected to a network 4 such as the Internet or a LAN (Local Area Network) including a server apparatus 3 for storing a plurality of music data, a plurality of score data, and the like.
  • a network 4 such as the Internet or a LAN (Local Area Network) including a server apparatus 3 for storing a plurality of music data, a plurality of score data, and the like.
  • the music data input unit 11 (see FIG. 1) and the score data input unit 12 (see FIG. 1) are mutually connected via an external device (here, the server device 3) and the network 4.
  • an external device here, the server device 3
  • the network 4 Are connected to a communicator (not shown) capable of communicating with each other.
  • the music data input unit 11 and the score data input unit 12 are connected to one music data and the one music data among a plurality of music data and a plurality of score data stored in the server device 3 via the network 4.
  • One musical score data corresponding to is obtained. If comprised in this way, since it is not necessary to mount recording media, such as a hard disk, for example in the music information processing apparatus 1, size reduction and weight reduction of the said music information processing apparatus 1 can be achieved.
  • the music data input unit 11 supplies the acquired music data to the audio output unit 151 (see FIG. 1) and the music information analysis unit 13 (see FIG. 1).
  • the score data input unit 12 supplies the acquired score data to the display unit 152 (see FIG. 1) and the score information analysis unit 14 (see FIG. 1).
  • the music data input unit 11 When one piece of music analysis information corresponding to the one piece of music data is stored in the server device 3 in advance, the music data input unit 11 adds the one piece of music analysis information in addition to the one piece of music data. You may also get. In this case, the music data input unit 11 supplies the acquired music analysis information to the music information analysis unit 14 instead of or in addition to the acquired music data.
  • the music information analysis unit 14 may supply the supplied music analysis information to the display position control unit 16 (see FIG. 1), or music generated as a result of reanalysis of the supplied music data.
  • the analysis information may be supplied to the display position control unit 16.
  • the music data input unit 11 may be configured to supply the acquired one piece of music analysis information directly to the display position control unit 16 (in this case, the music information analysis unit 14 is not used).
  • the display position control unit 16 displays the changed music analysis information on the music information processing apparatus 1.
  • the data is transmitted to the server device 3 via the communication unit and the network 4. If comprised in this way, when the same user reproduces
  • FIG. 12 is a block diagram illustrating a configuration of a music information processing apparatus according to a modification of the second embodiment.
  • the music information processing apparatus 5 includes a music data input unit 11, a score data input unit 12, an output unit 15, a display position control unit 16, a coordinate information input unit 17, and a communication unit 18.
  • the server device 6 includes a music information analysis unit 61, a score information analysis unit 62, a measure timing change unit 63, a storage device 64, and a communication unit 65.
  • the music data input unit 11 supplies the music data acquired via the communication unit 18 to the audio output unit 151.
  • the score data input unit 12 supplies the score data acquired via the communication unit 18 to the display unit 152.
  • the display position control unit 16 acquires music analysis information and score analysis information via the communication unit 18.
  • the coordinate information input unit 17 receives a user input for changing the timing of highlighting when the acquired music data is being reproduced, and a measure selected by the user according to the received input.
  • the position information indicating the position of is transmitted to the server device 6 via the communication unit 18 and the network 4.
  • the coordinate information input unit 17 also transmits to the server device 6 information indicating the reproduction position (that is, the number of samples) of the music data being reproduced when the user input is accepted. May be.
  • the music information analysis unit 61 analyzes each of the plurality of music data stored in the storage device 64, and music analysis that is information indicating the beats, measures, and the like constituting the music related to each music data Information is generated, and the generated music analysis information is stored in the storage device 64.
  • the score information analysis unit 62 analyzes each of a plurality of score data stored in the storage device 64, and shows information indicating coordinates indicating each measure constituting the score related to each score data, and a performance order of each measure.
  • the score analysis information including the information to be shown is generated, and the generated score analysis information is stored in the storage device 64.
  • the measure timing changing unit 63 changes the number of samples in the music analysis information corresponding to the music data being reproduced in the music information processing apparatus 5 based on the position information acquired via the communication unit 65 (ie, music Update analysis information). Then, the bar timing changing unit 63 transmits the updated music analysis information to the music information processing apparatus 5 via the communication unit 65 and the network 4.
  • FIG. 6 a process of changing the timing at which one measure constituting the musical score displayed on the music information processing apparatus 5 is highlighted is illustrated in FIG. This will be described with reference to the timing chart of FIG.
  • a timing changing method the same method as that of the first embodiment described with reference to FIG. 6 is taken as an example.
  • the music information processing apparatus 5 displays the measure selected by the user.
  • the position information corresponding to the second measure is transmitted to the server device 6 via the network 4 (step S202).
  • the music information processing apparatus 5 includes, for example, identification information related to the music data being played back, identification information indicating the music information processing apparatus 5 (and when the user input is accepted). Information indicating the reproduction position of the music data) is also transmitted to the server device 6.
  • the server device 6 receives the transmitted position information and the like, and temporarily stores it in, for example, a memory (not shown) (step S203).
  • step S204 when the user information is detected again in the music information processing apparatus 5 (step S204), the music information processing apparatus 5 detects the position information corresponding to the measure selected by the user (in the example shown in FIG. 6). , Position information corresponding to the sixth measure) is transmitted to the server device 6 via the network 4 (step S205).
  • the server device 6 receives the transmitted position information and the like, and temporarily stores it in, for example, a memory (step S206). Subsequently, the server device 6 changes the number of samples in the music analysis information corresponding to the music data being reproduced in the music information processing device 5 based on the stored two pieces of position information and the like (step S207).
  • the server device 6 transmits the updated music analysis information to the music information processing device 5 via the network 4 (step S208).
  • the music information processing apparatus 5 receives the transmitted music analysis information and supplies it to the display position control unit 17 (step S209). After that, the display position control unit 17 executes highlighting of the bars constituting the score based on the updated music analysis information.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

 楽曲情報処理装置(1)は、楽曲データを再生する再生手段(151)と、再生されている楽曲データに対応し、且つ小節情報を含む楽譜データにより示される楽譜を表示する表示手段(152)と、再生されている楽曲データの再生位置に応じて、表示されている楽譜上の一の小節を強調して示す強調表示手段(16)と、ユーザの入力を受付可能な入力手段(17)と、入力手段を介して受け付けられたユーザの入力に応じて、再生位置に対する、前記一の小節が強調して示されるタイミングを変更する変更手段(16)とを備える。

Description

楽曲情報処理装置及び方法、コンピュータプログラム並びに記録媒体
 本発明は、例えば楽曲データを再生すると共に、該再生されている楽曲データに対応する楽譜データを表示する楽曲情報処理装置及び方法、コンピュータプログラム、並びに該コンピュータプログラムが記録された記録媒体の技術分野に関する。
 この種の装置として、例えば、ユーザが再生される音楽を聴きながら、表示された音波形に関して複数の拍位置とこれらの拍位置間の拍数とを入力することにより、入力拍位置間において入力拍数に応じて拍位置が決定され、更に、入力及び決定に係る拍位置毎に拍時刻が音楽データに基づいて決定され、決定に係る拍時刻を示す拍時刻情報が再生制御情報として記録されることにより、ユーザの希望するテンポ変化を反映することができる装置が提案されている(特許文献1参照)。
 或いは、楽曲データに対して、ユーザが該楽曲データを聴きながら、小節の頭であると判断した二か所を指定すると共に、該指定された二か所の間に存在する小節数を入力すると、指定された二か所の間の期間を、入力された小節数で等間隔に分割することによって、小節の長さを算出し、そして、該算出された小節の長さに基づいて小節の頭位置を抽出してメタデータを生成する装置が提案されている(特許文献2参照)。
特許第4134624号公報 特開2007-248895号公報
 ところで、この種の装置は、例えば演奏の手本とするために、楽曲データの再生位置に対応する楽譜上の位置を示すように構成されることがある。この場合、例えば楽曲データから小節の開始位置(即ち、小節の先頭位置)が自動的に抽出されるように構成されたとしても、小節の開始位置が正しく抽出されるとは限らない。すると、楽曲データの再生位置と、該再生位置に対応する楽譜上の位置とが同期しない可能性があるという技術的問題点がある。
 特許文献1に記載の技術では、例えば演奏の手本とすべき楽曲データのテンポが変更されてしまい、上記技術的問題点を解決することは極めて困難である。特許文献2に記載の技術では、楽譜データが表示されないので、例えばテンポが変化する楽曲では小節数が誤認識される可能性があり、上記技術的問題点を解決することは極めて困難である。
 本発明は、例えば上記問題点に鑑みてなされたものであり、楽曲データを再生すると共に、該楽曲データに対応する楽譜データを表示し、楽曲データの再生位置に対応する楽譜上の位置を示すように構成された装置において、楽曲データの再生位置と、該再生位置に対応する楽譜上の位置とにずれが生じている場合に、該ずれを比較的容易に解消することができる楽曲情報処理装置及び方法、コンピュータプログラム並びに記録媒体を提案することを課題とする。
 本発明の楽曲情報処理装置は、上記課題を解決するために、楽曲データを再生する再生手段と、前記再生されている楽曲データに対応し、且つ小節情報を含む楽譜データにより示される楽譜を表示する表示手段と、前記再生されている楽曲データの再生位置に応じて、前記表示されている楽譜上の一の小節を強調して示す強調表示手段と、ユーザの入力を受付可能な入力手段と、前記入力手段を介して受け付けられた前記ユーザの入力に応じて、前記再生位置に対する、前記一の小節が強調して示されるタイミングを変更する変更手段とを備える。
 本発明の楽曲情報処理装置によれば、例えばメモリ、プロセッサ等を備えてなる再生手段は、楽曲データを再生する。ここで、楽曲データは、例えばCD(Compact Disc)やDVD等の記録媒体に記録されるPCM(Pulse Code Modulation)データや、パーソナルコンピュータで用いられるWAVEデータ等である。
 例えばメモリ、プロセッサ等を備えてなる表示手段は、再生されている楽曲データに対応し、且つ小節情報を含む楽譜データにより示される楽譜を表示する。ここで、楽譜データは、例えば市販されているpdf形式の楽譜や、スキャナ等によってデータ化された楽譜等が、所定の画像ファイル形式でデータ化されたもの等である。
 「小節情報」とは、楽譜を構成する各小節の該楽譜上における位置座標、及び各小節の演奏順序を示す情報である。ある小節についての位置座標は、具体的には例えば、X座標の範囲:x1~x2;Y座標の範囲:y1~y2等として表わされる。
 楽譜データにより示される楽譜には、音符や演奏記号の他に、例えば歌詞等が含まれていてもよい。尚、楽譜は五線譜に限られない。例えば、五線譜に代えて又は加えて、タブラチュア(所謂、タブ譜)等が表示されてもよい。
 例えばメモリ、プロセッサ等を備えてなる強調表示手段は、再生されている楽曲データの再生位置に応じて、表示されている楽譜上の一の小節を強調して示す。一の小節の強調は、例えば、一の小節を太枠で囲ったり、一の小節を構成する音符の色を、他の小節を構成する音符の色と異ならせたり、一の小節を構成する音符のサイズを、他の小節を構成する音符のサイズより大きくしたり、すればよい。
 強調表示手段は、具体的には例えば、楽曲データを解析することで得られるサンプル数(即ち、拍情報)のうち一のサンプル数の範囲が、一の小節についての位置座標に対応すると認定して、両者を関連付け、楽曲データの再生位置が一のサンプル数の範囲内にある場合に、一の小節を強調して示す。尚、楽曲データの解析には、公知の各種技術を適用すればよい。
 例えばタッチパネル、マウス、キーボード等である入力手段は、ユーザの入力を受付可能である。
 ところで、楽曲データの解析が、常に、正しくなされるとは限らない。このため、楽曲データの解析に誤りがあると、楽曲データの再生位置と強調表示される小節との間にずれが生じてしまう。特に、楽曲データの再生位置が、ある小節から次の小節に移るタイミングと、強調表示される小節が、ある小節から次の小節に変わるタイミングと、の間にずれが生じてしまう。すると、例えば、演奏の手本として使用しているユーザが、演奏のしにくさを覚える可能性がある。
 そこで本発明では、例えばメモリ、プロセッサ等を備えてなる変更手段により、入力手段を介して受け付けられたユーザの入力に応じて、楽曲データの再生位置に対する、一の小節が強調して示されるタイミングが変更される。
 具体的には例えば、変更手段は、ユーザによる1回目の入力のタイミングに対応する楽曲データの再生位置と、ユーザによる2回目の入力のタイミングに対応する楽曲データの再生位置との間の区間を、該区間内に存在する小節数で等分することによって、サンプル数を変更して、一の小節が強調して示されるタイミングを変更する。
 或いは、変更手段は、楽曲データの再生が開始されてから、ユーザによる入力のタイミングに対応する楽曲データの再生位置までの間の区間を、該区間内に存在する小節数で等分することによって、サンプル数を変更して、一の小節が強調して示されるタイミングを変更する。
 ここで、入力手段がユーザの入力を受け付けたタイミングを、小節の区切りのタイミングとして、変更手段が認識するように構成すれば、該変更手段が、ユーザの入力に応じて一の小節が強調して示されるタイミングを変更することにより、楽曲データの再生位置と強調表示される小節との間のずれを解消又はほぼ解消することができる。
 本発明では特に、再生手段により楽曲データが再生されており、且つ、表示手段により該楽曲データに対応する楽譜が表示されているので、ユーザは、楽曲データを聴くと共に、楽譜上における強調表示の遷移を見ながら、入力手段を介して入力を行うことができる。このため、ユーザは、比較的容易にして、楽曲データにおける小節の区切りが再生されるタイミングで、入力手段を介して入力を行うことができる。
 以上の結果、本発明の楽曲情報処理装置によれば、楽曲データの再生位置と、該再生位置に対応する楽譜上の位置とにずれが生じている場合に、該ずれを比較的容易に解消することができる。
 本発明の楽曲情報処理装置の一態様では、前記変更手段は、前記楽曲データの再生が開始された後、初めて前記ユーザの入力が前記入力手段に受け付けられた際に前記楽曲データが再生されている位置から、2回目に前記ユーザの入力が前記入力手段に受け付けられた際に前記楽曲データが再生されている位置までの区間と、前記小節情報に基づく前記区間内に存在する小節数と、に応じて、前記一の小節が強調して示されるタイミングを変更する。
 この態様によれば、例えばテンポが一定の楽曲について、一の小節が強調して表示されるタイミングを変更する場合に、ユーザが入力する回数を比較的少なく抑えることができ、ユーザの負担を軽減することができる。
 或いは、本発明の楽曲情報処理装置の他の態様では、前記変更手段は、前記楽曲データの再生が開始された位置から、前記ユーザの入力が前記入力手段に受け付けられた際に前記楽曲データが再生されている位置までの区間と、前記小節情報に基づく前記区間内に存在する小節数と、に応じて、前記一の小節が強調して示されるタイミングを変更する。
 この態様によれば、ユーザの負担をより軽減することができ、実用上非常に有利である。
 本発明の楽曲情報処理装置の他の態様では、当該楽曲情報処理装置は、複数の楽曲データ及び、前記複数の楽曲データに夫々対応する複数の楽譜データを格納するサーバ装置を含むネットワークに接続されており、当該楽曲情報処理装置は、前記再生手段により再生される楽曲データ及び、前記表示手段により表示される楽譜データを、前記ネットワークを介して、前記サーバ装置から取得する。
 この態様によれば、楽曲データ及び楽譜データは、ネットワーク上に存在するサーバ装置に格納されているため、当該楽曲情報処理装置が、例えばハードディスク等の大容量記憶手段を備えている必要がない。従って、当該楽曲情報処理装置の小型化や軽量化を図ることができる。
 本発明の楽曲情報処理装置の他の態様では、前記入力手段により受け付けられる前記ユーザの入力には、前記表示されている楽譜上における位置を示す位置情報が含まれる。
 この態様によれば、ユーザが比較的容易にして、表示されている楽譜上における所望の小節を指定することができ、実用上非常に有利である。
 本発明の楽曲情報処理方法は、上記課題を解決するために、ユーザの入力を受付可能な入力手段を備える楽曲情報処理装置における楽曲情報処理方法であって、楽曲データを再生する再生工程と、前記再生されている楽曲データに対応し、且つ小節情報を含む楽譜データにより示される楽譜を表示する表示工程と、前記再生されている楽曲データの再生位置に応じて、前記表示されている楽譜上の一の小節を強調して示す強調表示工程と、前記入力手段を介して受け付けられた前記ユーザの入力に応じて、前記再生位置に対する、前記一の小節が強調して示されるタイミングを変更する変更工程とを備える。
 本発明の楽曲情報処理方法によれば、上述した本発明の楽曲情報処理装置と同様に、楽曲データの再生位置と、該再生位置に対応する楽譜上の位置とにずれが生じている場合に、該ずれを比較的容易に解消することができる。
 尚、本発明の楽曲情報処理方法においても、上述した本発明の楽曲情報処理装置における各種態様と同様の各種態様を採ることが可能である。
 本発明のコンピュータプログラムは、上記課題を解決するために、コンピュータを、上述した本発明の楽曲情報処理装置(但し、その各種態様を含む)として機能させる。
 本発明のコンピュータプログラムによれば、当該コンピュータプログラムを格納するCD-ROM(Compact Disc Read Only Memory)、DVD-ROM(DVD Read Only Memory)等の記録媒体から、当該コンピュータプログラムが、コンピュータに読み込まれて実行されれば、或いは、当該コンピュータプログラムが、コンピュータが備える通信手段を介して、該コンピュータにダウンロードされた後に実行されれば、上述した本発明の楽曲情報処理装置を比較的容易にして実現できる。これにより、上述した本発明の楽曲情報処理装置の場合と同様に、楽曲データの再生位置と、該再生位置に対応する楽譜上の位置とにずれが生じている場合に、該ずれを比較的容易に解消することができる。
 本発明のコンピュータ読取可能な記録媒体は、上記課題を解決するために、コンピュータを、上述した本発明の楽曲情報処理装置(但し、その各種態様を含む)として機能させるコンピュータプログラムを格納する。
 本発明のコンピュータ読取可能な記録媒体によれば、当該記録媒体に格納されているコンピュータプログラムが、コンピュータに読み込まれて実行されれば、上述した本発明の楽曲情報処理装置を比較的容易にして実現できる。これにより、上述した本発明の楽曲情報処理装置の場合と同様に、楽曲データの再生位置と、該再生位置に対応する楽譜上の位置とにずれが生じている場合に、該ずれを比較的容易に解消することができる。
 本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。
第1実施形態に係る楽曲情報処理装置の基本的な構成を示すブロック図である。 音楽データの解析処理の一例を示す図である。 楽譜データの解析処理の一例を示す図である。 第1実施形態に係る楽曲情報処理装置の一具体例である電子楽譜表示装置の構成を示す図である。 強調表示のタイミングを変更する際のユーザの動作を示す概念図である。 第1実施形態に係るサンプル数変更処理の一例を示す図である。 第1実施形態に係る楽曲情報処理装置の動作を示すフローチャートである。 第1実施形態の第1変形例に係るサンプル数変更処理の一例を示す図である。 第1実施形態の第2変形例に係るサンプル数変更処理の一例を示す図である。 第1実施形態の第2変形例に係るサンプル数変更処理の他の一例を示す図である。 第2実施形態に係る楽曲情報処理装置の構成を示すブロック図である。 第2実施形態の変形例に係る楽曲情報処理装置の構成を示すブロック図である。 第2実施形態の変形例に係る強調表示のタイミングを変更する処理を示すタイミングチャートである。
 以下、本発明の楽曲情報処理装置に係る実施形態を、図面に基づいて説明する。
 <第1実施形態>
 本発明の楽曲情報処理装置に係る第1実施形態を、図1乃至図7を参照して説明する。
 図1を参照して、本実施形態に係る楽曲情報処理装置の構成を、図1を参照して説明する。図1は、本実施形態に係る楽曲情報処理装置の基本的な構成を示すブロック図である。
 図1において、楽曲情報処理装置1は、音楽データ入力部11、楽譜データ入力部12、楽曲情報解析部13、楽譜情報解析部14、出力部15、表示位置制御部16及び座標情報入力部17を備えて構成されている。出力部15は、音声出力部151及び表示部152を備えて構成されている。
 音楽データ入力部11は、音楽データを入力するための機能部である。音楽データ入力部11は、例えばCDやDVD等の光ディスクに記録された情報を読み取り可能な装置(図示せず)、或いは、例えばハードディスクや不揮発性メモリ等の記録媒体(図示せず)、に接続されている。音楽データ入力部11は、取得された音楽データを、楽曲情報解析部13及び出力部15の音声出力部151に供給する。
 ここで、音楽データは、例えば楽曲の音声情報等をデータ化したものである。該音楽データに対して、例えば公知の音楽再生に係る処理等の所定のデータ処理が施されると、元の楽曲の音声情報等が出力される。
 楽曲情報解析部13は、音楽データ入力部11から供給される音楽データの解析を行い、該音楽データに係る楽曲を構成する拍、小節等を示す情報である音楽解析情報を取得する。楽曲情報解析部13は、取得された音楽解析情報を表示位置制御部16に供給する。ここで、音楽解析情報には、音楽データに係る楽曲における各拍のタイミングが、該音楽データにおける時系列に関連付けられた情報(即ち、拍情報)が含まれる。拍情報は、例えば楽曲の始まりから各拍までのサンプル数等により表わされる。
 ここで、音楽解析情報について、図2を参照して説明を加える。図2は、音楽データの解析処理の一例を示す図である。
 楽曲情報解析部13は、音楽データに対して、先ず、エンベロープ解析を施すことにより、該音楽データに係る楽曲における各拍及び各小節を検出する。続いて、楽曲情報解析部13は、図2(a)に示されるような、音楽データから検出された各拍に便宜上の固有の拍番号(拍#)s1、s2、…を付し、該拍番号と、楽曲の始まりから各拍までのサンプル数とを組み合わせた楽曲情報テーブルを生成する(図2(b)参照)。
 図2(b)に示される楽曲情報テーブルでは、拍#s1のサンプル数は50688であり、拍#s2のサンプル数は74880であり、拍#s3のサンプル数は100244であり、拍#s4のサンプル数は125568であり、拍#s5のサンプル数は149760であり、拍#6のサンプル数は175104であり、拍#7のサンプル数は200448であり、拍#8のサンプル数は224640であり、拍#9のサンプル数は249984である。
 楽曲情報解析部13は、更に、各拍について、楽曲を構成する小節の先頭であるか否かを判定し、判定結果を楽曲情報テーブルに加える。具体的には例えば図2(b)では、拍#1、拍#5及び拍#9の各々が、小節の先頭であると判定されている(図2(b)における“小節の先頭”を示すパラメータが“1”)。
 また、楽曲情報解析部13は、拍#s1乃至拍#s4が第1の小節であり、拍#s5乃至拍#8が第2の小節であり、…と判定する。そして、楽曲情報解析部13は、拍#s1乃至拍#s4に対して、第1の小節であることを示す固有の小節番号(小節#)0を、拍#s5乃至拍#s8に対して、第2の小節であることを示す小節#1を、…付し、楽曲情報テーブルに加える(図2(b)における“小節#”参照)。
 上述の如く生成された音楽解析情報は、例えばテキストファイル形式等の所定の形式に変換され、表示位置制御部16に供給される。尚、該表示位置制御部16により音楽解析情報が楽譜上に表示される場合、例えば図2(c)のような態様となる。
 音楽データに係る楽曲において、単位時間当たりの拍数を示すBPM(Beats Per Minute)が楽曲全体を通じて一定である場合、楽曲情報解析部13は、楽曲の初めから各拍までのサンプル数に代えて、一拍当たりのサンプル数を取得してもよい。具体的には例えば、楽曲情報解析部13は、楽曲のBPMの逆数より1拍当たりの時間を算出し、それに単位時間当たりのサンプル数を示すサンプリングレートを乗算することにより、1拍当たりのサンプル数を取得してもよい。
 再び図1に戻り、楽譜データ入力部12は、楽譜等が所定の画像ファイル形式でデータ化された楽譜データを入力するための機能部である。楽譜データ入力部12は、例えばCDやDVD等の光ディスクに記録された情報を読み取り可能な装置、或いは、例えばカメラ等の撮像手段、に接続されている。楽譜データ入力部12は、取得された楽譜データを、楽譜情報解析部14及び出力部15の表示部152に供給する。
 楽譜データに対して、例えば公知の画像再生に係る処理等の所定のデータ処理が施されると、楽譜や該楽譜に付随する歌詞等が、例えば液晶ディスプレイ等の画像表示装置に出力される。
 楽譜情報解析部14は、楽譜データ入力部12から供給される楽譜データの解析を行い、該楽譜データに係る楽譜を構成する各小節を示す座標を示す情報(即ち、小節位置情報)、及び各小節の演奏順序を示す情報等を含む楽譜解析情報を取得する。楽譜情報解析部14は、取得された楽譜解析情報を表示位置制御部16に供給する。
 ここで、楽譜解析情報について、図3を参照して説明を加える。図3は、楽譜データの解析処理の一例を示す図である。
 楽譜情報解析部14は、先ず、楽譜データに係る画像のサイズを検出する。尚、画像のサイズは、画像の横方向(例えば、X軸方向)及び縦方向(例えば、Y軸方向)のサイズを規定する値であり、例えば画像を構成するピクセル数若しくはその他の長さを示す単位を用いて表わされる。
 例えば図3(a)に示される画像では、楽譜情報解析部14により、画像のサイズが、X:2214;Y:644として検出される。楽譜情報解析部14は、検出さえた画像のサイズを、楽譜情報テーブル(図3(b)参照)に格納する。
 尚、楽譜データに係る画像により示される楽譜が、複数のページから構成されている場合、楽譜情報解析部14は、ページ番号を取得して楽譜情報テーブルに格納する。図3(a)に示される画像が、楽譜の第1ページであるとすると、楽譜情報解析部14は、楽譜情報テーブルの「楽譜ページ」を示すパラメータに「1」を格納する(図3(b)における“楽譜ページ”参照)。
 次に、楽譜情報解析部14は、画像認識により、例えば、画像中における五線譜の最上段の線に対応する座標である上部Y座標と、該五線譜の最下段の線に対応する座標である下部Y座標との検出を行う。具体的には例えば、図3(a)に示される画像では、一段目の五線譜の上部Y座標が124、下部Y座標が207、二段目の五線譜の上部Y座標が490、下部Y座標が573として検出される。
 続いて、楽譜情報解析部14は、画像認識により、楽譜を構成する小節線の検出を行い、各小節線に対応する座標であるX座標の検出を行う。具体的には例えば、図3(a)に示される画像では、一段目の五線譜における小節線の位置を示すX座標が、左から順番に、38、509、903、1319、1741、2163として検出される。同様に、二段目の五線譜における小節線の位置を示すX座標が、左から順番に、38、518、903、1319、1728、2163として検出される。
 続いて、楽譜情報解析部14は、検出された上部Y座標及び下部Y座標、並びにX座標に基づいて、各小節に係る領域を決定する。そして、楽譜情報解析部14は、各小節について、小節が属する段、及び該段における小節の番号(小節#)を決定する。
 具体的には例えば、図3(a)に示される画像では、一段目の五線譜の最初の(即ち、左端の)小節については、Y座標:124~207;X座標38~509が該小節に係る領域として決定される。そして、「小節の段」を示すパラメータに「1」が、「小節#」を示すパラメータに「0」が割り当てられる(図3(b)における“小節の段”、及び図3(a)における“小節#”参照)。
 同様に、二段目の五線譜の最後の(即ち、右端の)小節については、Y座標:490~573;X座標:1728~2163が該小節に係る領域として決定される。そして、「小節の段」を示すパラメータに「2」が、「小節」を示すパラメータに「9」が割り当てられる。
 尚、「小節が属する段」とは、例えば図3(a)に示される画像のように、楽譜(ここでは、五線譜)が複数の段に段組みされている場合に、対象となる小節が、何段目の五線譜を構成しているのかを示す情報である。また、「段における小節の番号(小節#)」とは、対象とする小節が、該小節が構成する五線譜の先頭から何番目に位置しているのかを示す情報である(尚、五線譜の先頭を示す“小節#”は、任意の値であってよい)。
 次に、楽譜情報解析部14は、例えばパターン認識などにより、各小節線に付属する反復記号を検出し、該反復記号が示す内容について楽譜解析情報を生成する。ここで、楽譜情報解析部14は、例えば、検出された反復記号が示す内容について所定のコードを用いて表すように構成されている(図3(b)における“反復記号”参照)。
 具体的には例えば、反復記号なしの場合にはコードは「0」が生成される。反復記号がある場合には、(i)対象となる小節線に付随する反復記号の個数を示すコード、及び(ii)反復記号の種類(更に、補足情報)を示すコードが生成される。
 反復記号の種類及び補足情報を示すコードの具体例を以下に示す。リピート開始を示すコードは「1」であり、リピート終了を示すコードは「2」である。カッコ開始を示すコードは「3」であり、補足情報として、「3」の後に、カッコの「数」及び「番号」を示す数値が付与される。カッコ終了を示すコードは「4」である。
 D.S.(ダル・セーニョ:dal segno)を示すコードは「5」であり、補足情報として、「5」の後に、インデックスの「数」及び「番号」を示す数値が付与される(尚、インデックスがない場合には「0」が付与される)。セーニョマークを示すコードは「6」であり、補足情報として、「6」の後に、インデックスの「数」及び「番号」を示す数値が付与される(尚、インデックスがない場合には「0」が付与される)。
 to Coda(トゥー・コーダ)を示すコードは「7」であり、補足情報として、「7」の後に、インデックスの「数」及び「番号」を示す数値が付与される(尚、インデックスがない場合には「0」が付与される)。Coda(コーダ)を示すコードは「8」であり、補足情報として、「8」の後に、インデックスの「数」及び「番号」を示す数値が付与される(尚、インデックスがない場合には「0」が付与される)。D.C.(ダ・カーポ)を示すコードは「9」である。Fine(フィーネ)を示すコードは「10」である。
 例えば、図3(b)の「反復記号」に、「1,6,0」と格納されている場合、反復記号の数は1であり、反復記号の種類はセーニョマーク(インデックスなし)である、ことを表わしている。或いは、「2,2,4」と格納されている場合、反復記号の数は2であり、反復記号の種類はリピート終了及びカッコ終了である、ことを表わしている。或いは、「2,5,0,8,0」と格納されている場合、反復記号の数は2であり、反復記号の種類はD.S.(インデックスなし)及びCoda(インデックスなし)であることを表わしている。
 楽譜情報解析部14は、更に、上述の如く検出された反復記号と、小節#とに基づいて、小節の演奏順序を算出する。例えば、図3(b)に示すような楽譜情報テーブルが生成されたとすると、算出された演奏順序は、図3(c)に示すように、小節#0、小節#1、小節#2、小節#3、小節#4、小節#3、小節#5、小節#6、小節#7、小節#1、小節#8、小節#9、…となる。
 楽譜情報解析部14は、上述した一連の処理により生成された楽譜情報テーブル及び演奏順序を示すデータを楽譜解析情報として、例えばテキストファイル形式等の所定の形式に変換した後に、表示位置制御部16に供給する。
 再び図1に戻り、出力部15の音声出力部151は、例えばスピーカ等を備えて構成されており、音楽データ入力部11から供給された音楽データを音声として出力する。他方、出力部15の表示部152は、例えば液晶ディスプレイ等を備えて構成されており、楽譜データ入力部12から供給された楽譜データにより示される画像を出力する。
 表示位置制御部16は、楽曲情報解析部13から供給された音楽解析情報に基づいて、音声出力部151により出力される音楽データに係る楽曲の拍及び小節を検出すると共に、楽譜情報解析部14から供給された楽譜解析情報に基づいて、表示部152により出力される楽譜データに係る楽譜の各小節の座標及び各小節の演奏順序を検出する。そして、表示位置制御部16は、音楽データの再生位置に応じて、楽譜データに係る楽譜を構成する一の小節を強調して示す。
 座標情報入力部17は、例えばタッチパッド等であり、ユーザからの各種入力を受付可能である。
 尚、出力部15は、楽曲情報処理装置1とは別の装置であるスピーカ又はディスプレイに対して、音楽データ及び画像データを出力するための出力信号を供給するように構成されていてもよい。
 次に、楽曲情報処理装置1を備える電子機器の一具体例について、図4を参照して説明する。図4は、本実施形態に係る楽曲情報処理装置の一具体例である電子楽譜表示装置の構成を示す図である。
 図4において、電子楽譜表示装置2は、上述した情報処理装置1を備える装置の一具体例である。該電子楽譜表示装置2は、楽譜データに係る楽譜等を表示可能であり、且つユーザからの各種入力を受付可能なタッチパネル21と、音楽データに係る音声を出力可能なスピーカ22と、音楽データ及び楽譜データを入力するための入力インターフェース24とを備えて構成されている。
 タッチパネル21には、楽譜の他に、例えば音楽データの再生に係る各種ボタン23が表示されている。ユーザは、タッチパネル21上における、各種ボタン23に夫々対応する領域に触れることによって、音楽データを再生、停止又は一時停止等することができる。
 本実施形態では特に、表示位置制御部16(図1参照)により、音楽データの再生位置に応じて、タッチパネル21に表示されている楽譜を構成する一の小節の周囲を囲う枠200が表示されることによって、該一の小節が強調表示される。
 このため、ユーザは、スピーカから出力される音声を聴きながら、タッチパネル21に表示された楽譜や歌詞等の関連情報を確認することができるので、例えば演奏の手本とすることができる。
 ところで、楽曲情報解析部13(図1参照)における音楽データの解析が、正しくなされるとは限らない。このため、生成された音楽解析情報に誤りがあると、表示位置制御部16により強調表示される小節と、音楽データの再生位置との間にずれが生じることとなる。すると、電子楽譜表示装置2を、演奏の手本として使用しているユーザが、演奏のしにくさを覚える可能性がある。
 そこで本実施形態では、ユーザが、タッチパネル21を介して、強調表示されるタイミングを変更したい小節を選択すると、表示位置制御部16により、該選択された小節が強調表示されるタイミングが変更される。
 具体的には、例えば図5(a)に示すように、音楽の再生位置と、強調表示されている小節の位置(図中の枠で囲まれた小節)との間にずれが生じている場合、ユーザは、スピーカ22から出力される音声を聴きながら強調表示されるべき小節を選択すると(図5(b)参照)、表示位置制御部16に供給された音楽解析情報におけるサンプル数が変更され、結果として、図5(c)に示すように、音楽の再生位置と強調表示されている小節の位置とが一致することとなる。尚、図5は、強調表示のタイミングを変更する際のユーザの動作を示す概念図である。
 より具体的には、表示位置制御部16は、音楽データが再生された後、初めて(即ち、1回目の)ユーザの入力がタッチパネル21(即ち、座標情報入力部17)を介して入力された際に音楽データが再生されている位置から、2回目のユーザの入力がタッチパネル21を介して入力された際に音楽データが再生されている位置までの区間を、該区間内に存在する小節数で等分することによって、音楽解析情報におけるサンプル数を変更する。
 ここで、表示位置制御部16は、タッチパネル21がユーザの入力を受け付けた時点を、小節の区切りとして認識するように構成されている。また、ユーザは、上述の如く、タッチパネル21に表示されている楽譜の一の小節を選択するので、ユーザの入力には、選択された一の小節の位置を示す位置情報が含まれることとなる。このため、表示位置制御部16は、タッチパネル21により受け付けられたユーザの入力を示す信号からユーザが選択した小節を特定することができる。
 例えば、再生されている音楽データの再生位置(即ち、サンプル数)が4410である時点に、ユーザがタッチパネル21に表示されている楽譜の第2小節を選択し、該音楽データの再生位置が21050である時点に、ユーザが表示されている楽譜の第6小節を選択した場合、表示位置制御部16は、図6(a)に示される楽曲情報テーブルにおける「5410」及び「23050」を、夫々、図6(b)に示される楽曲情報テーブルのように「4410」及び「21050」と変更する。
 表示位置制御部16は、更に、サンプル数4410~21050の区間を、該区間に存在する小節数(ここでは、“4”)で等分する。この結果、図6(a)に示される楽曲情報テーブルにおける「9820」(第3小節の先頭)、「14230」(第4小節の先頭)及び「18640」(第5小節の先頭)は、夫々、「8570」、「12730」及び「16890」に変更される(図6(b)参照)。図6は、本実施形態に係るサンプル数変更処理の一例を示す図である。
 尚、例えば第2小節内の第2拍以降のサンプル数は、該第2小節の長さ(即ち、第2小節の先頭のサンプル数と第3小節の先頭のサンプル数との差分:ここでは“4160”)を等分して決定すればよい。
 尚、本実施形態では、音楽データは、該音楽データの先頭から再生される。具体的には例えば、本実施形態では、図2(a)における拍#s1から音楽データが再生されるのではなく、図2(a)における無音部分も含めて、音楽データの先頭から再生される。このため、仮に、楽曲情報解析部13における解析で、図2(a)における拍#s1のサンプル数が誤検出された場合であっても、比較的容易にサンプル数を変更することができる。
 ここで、当該楽曲情報処理装置1(電子楽譜表示装置2)が、拍#s1(即ち、第1小節の第1拍)から音楽データを再生するように構成されている場合には、拍#s1のサンプル数を「0」(即ち、音楽データの先頭)とするように、楽曲情報解析部13を構成すればよい。
 本実施形態に係る「音声出力部151」及び「スピーカ22」は、本発明に係る「再生手段」の一例であり、本実施形態に係る「表示部152」及び「タッチパネル21」は、本発明に係る「表示手段」の一例であり、本実施形態に係る「表示位置変更手段」は、本発明に係る「強調表示手段」及び「変更手段」の一例であり、本実施形態に係る「座標情報入力部17」及び「タッチパネル21」は、本発明に係る「入力手段」の一例である。
 次に、以上のように構成された楽曲情報処理装置1(電子楽譜表示装置2)の動作について、図7のフローチャートを参照して説明する。
 図7において、先ず、音楽データ入力部11により音楽データが取得されると共に、楽譜データ入力部12により楽譜データが取得される(ステップS101)。続いて、音楽データ入力部11から音楽データを取得した楽曲情報解析部13により音楽解析情報が取得されると共に、楽譜データ入力部12から楽譜データを取得した楽譜情報解析部14により楽譜解析情報が取得される(ステップS102)。
 次に、ユーザにより再生要求がなされたか否かが判定される(ステップS103)。尚、再生要求があるか否かは、例えばタッチパネル21に表示されている画面(図4参照)における再生ボタンに対応する座標を示す信号が受け付けられたか否かを判定することによって、判定すればよい。
 再生要求がないと判定された場合(ステップS103:No)、再びステップS103の処理が実行される(即ち、待機状態となる)。他方、再生要求があると判定された場合(ステップS103:Yes)、出力部15における音声出力部151により音楽データに係る音声がスピーカ22を介して出力され、表示部152により楽譜データに係る楽譜がタッチパネル21に表示される。更に、表示位置制御部16により、音楽解析情報及び楽譜解析情報に基づいて、表示されている楽譜を構成する一の小節が強調表示される(ステップS104)。
 次に、ユーザの入力があるか否かが判定される(ステップS105)。ユーザの入力があると判定された場合(ステップS105:Yes)、図6を参照して説明した処理が実行される(ステップS106)。他方、ユーザの入力がないと判定された場合(ステップS105:No)、音楽データの再生が終了した否かが判定される(ステップS107)。
 音楽データの再生が終了したと判定された場合(例えば、再生位置が音楽データの最後部に到達した場合、ユーザにより停止ボタンが押下された場合等)(ステップS107:Yes)、処理が終了される。他方、音楽データの再生が終了していないと判定された場合(ステップS107:No)、ステップS105の処理が実行される。
 <第1変形例>
 第1実施形態に係る楽曲情報処理装置の第1変形例について、図8を参照して説明する。図8は、本変形例に係るサンプル数変更処理の一例を示す図である。尚、本変形例に係る楽曲情報処理装置1では、典型的には、音楽解析情報に含まれる拍情報における拍#s1に対応するサンプル数から、音楽データが再生される。
 本変形例に係る表示位置制御部16は、音楽データの再生が開始された位置から、ユーザの入力がタッチパネル21を介して入力された際に音楽データが再生されている位置までの区間を、該区間内に存在する小節数で等分することによって、音楽解析情報におけるサンプル数を変更する。
 具体的には例えば、再生されている音楽データの再生位置が9420である時点に、ユーザがタッチパネル21に表示されている楽譜の第3小節を選択した場合、表示位置制御部16は、図8(a)に示される楽曲情報テーブルにおける「9820」を、図8(b)に示される楽曲情報テーブルのように「9420」と変更する。
 表示位置制御部16は、更に、サンプル数1000~9420の区間を、該区間に存在する小節数(ここでは、“2”)で等分する。この結果、図8(a)に示される楽曲情報テーブルにおける「5410」(第2小節の先頭)は、「4210」に変更される(図8(b)参照)。
 <第2変形例>
 第1実施形態に係る楽曲情報処理装置の第2変形例について、図9及び図10を参照して説明する。図9は、本変形例に係るサンプル数変更処理の一例を示す図であり、図10は、本変形例に係るサンプル数変更処理の他の一例を示す図である。
 本変形例に係る表示位置制御部16は、ユーザの入力がタッチパネル21を介して入力された際に音楽データが再生されている位置を、該ユーザの入力に含まれる位置情報により示される小節の先頭のサンプル数とする。
 具体的には例えば、再生されている音楽データの再生位置が9420である時点に、ユーザがタッチパネル21に表示されている楽譜の第3小節を選択した場合、表示位置制御部16は、図9(a)に示される楽曲情報テーブルにおける「9820」を、図9(b)に示される楽曲情報テーブルのように「9420」と変更する。つまり、表示位置制御部16は、ユーザにより選択された小節の先頭に対応するサンプル数のみ変更する。
 ところで、例えば図10に示すように、再生されている音楽データの再生位置が4420である時点に、ユーザがタッチパネル21に表示されている楽譜の第3小節を選択した場合、表示位置制御部16が、第3小節の先頭に対応するサンプル数のみ変更すると、第2小節との整合性をとることができない。そこで、この場合、表示位置制御部16は、第2小節の先頭に対応するサンプル数を、変更後の第3小節の先頭に対応するサンプル数である4420と、該サンプル数よりも小さく、且つ第3小節よりも前の小節の先頭に対応するサンプル数(ここでは、第1小節の先頭に対応するサンプル数である1000)と、の差分を、小節数(ここでは“2”)で等分する。この結果、第2小節の先頭に対応するサンプル数は、「5410」から「2710」に変更される。
 <第2実施形態>
 本発明の楽曲情報処理装置に係る第2実施形態を、図11を参照して説明する。第2実施形態では、当該楽曲情報処理装置が、ネットワークを介して、音楽データ等を取得する点が異なっている以外は、第1実施形態の構成と同様である。よって、第2実施形態について、第1実施形態と重複する説明を省略すると共に、図面上における共通箇所には同一符号を付して示し、基本的に異なる点についてのみ、図11を参照して説明する。図11は、第2実施形態に係る楽曲情報処理装置の構成を示すブロック図である。
 図11において、楽曲情報処理装置1は、複数の音楽データ及び複数の楽譜データ等を格納するサーバ装置3を含む、例えばインターネット、LAN(Local Area Network)等のネットワーク4に接続されている。
 楽曲情報処理装置1において、音楽データ入力部11(図1参照)及び楽譜データ入力部12(図1参照)は、外部の装置(ここでは、サーバ装置3)と、ネットワーク4を介して、相互に通信可能な通信部(図示せず)に接続されている。
 音楽データ入力部11及び楽譜データ入力部12は、ネットワーク4を介して、サーバ装置3に格納されている複数の音楽データ及び複数の楽譜データのうち、一の音楽データ及び、該一の音楽データに対応する一の楽譜データを取得する。このように構成すれば、楽曲情報処理装置1に、例えばハードディスク等の記録媒体が搭載されなくてよいので、当該楽曲情報処理装置1の小型化や軽量化を図ることができる。
 音楽データ入力部11は、取得された一の音楽データを、音声出力部151(図1参照)及び楽曲情報解析部13(図1参照)に供給する。他方、楽譜データ入力部12は、取得された一の楽譜データを、表示部152(図1参照)及び楽譜情報解析部14(図1参照)に供給する。
 尚、サーバ装置3に、上記一の音楽データに対応する一の音楽解析情報が、予め格納されている場合、音楽データ入力部11は、一の音楽データに加えて、該一の音楽解析情報も取得してよい。この場合、音楽データ入力部11は、取得された一の音楽データに代えて又は加えて、取得された一の音楽解析情報を楽曲情報解析部14に供給する。
 楽曲情報解析部14は、供給された一の音楽解析情報を表示位置制御部16(図1参照)に供給してもよいし、供給された一の音楽データを改めて解析した結果生成された音楽解析情報を表示位置制御部16に供給してもよい。
 尚、音楽データ入力部11が、取得された一の音楽解析情報を、直接、表示位置制御部16に供給するように構成してもよい(この場合、楽曲情報解析部14は使用されない)。
 例えば図6を参照して説明した処理等の結果、音楽解析情報に含まれるサンプル数等が変更された場合、表示位置制御部16は、変更された音楽解析情報を、楽曲情報処理装置1の通信部及びネットワーク4を介して、サーバ装置3に送信する。このように構成すれば、今回再生された音楽データを、同一のユーザが次回再生する際、又は他のユーザが再生する際に、最適な音楽解析情報を利用することができる。
 <変形例>
 第2実施形態に係る楽曲情報処理装置の変形例について、図12を参照して説明する。図12は、第2実施形態の変形例に係る楽曲情報処理装置の構成を示すブロック図である。
 図12において、楽曲情報処理装置5は、音楽データ入力部11、楽譜データ入力部12、出力部15、表示位置制御部16、座標情報入力部17及び通信部18を備えて構成されている。
 サーバ装置6は、楽曲情報解析部61、楽譜情報解析部62、小節タイミング変更部63、記憶装置64及び通信部65を備えて構成されている。
 楽曲情報処理装置5において、音楽データ入力部11は、通信部18を介して取得された音楽データを、音声出力部151に供給する。楽譜データ入力部12は、通信部18を介して取得された楽譜データを、表示部152に供給する。表示位置制御部16は、通信部18を介して、音楽解析情報及び楽譜解析情報を取得する。
 座標情報入力部17は、取得された音楽データが再生されている際に、強調表示のタイミングを変更するためのユーザの入力を受け付け、該受け付けられた入力に応じた、ユーザにより選択された小節の位置を示す位置情報を、通信部18及びネットワーク4を介して、サーバ装置6に送信する。尚、座標情報入力部17は、位置情報に加えて、ユーザの入力が受け付けられた際に再生されている音楽データの再生位置(即ち、サンプル数)を示す情報も、サーバ装置6に送信してもよい。
 サーバ装置6において、楽曲情報解析部61は、記憶装置64に格納されている複数の音楽データ各々の解析を行い、各音楽データに係る楽曲を構成する拍、小節等を示す情報である音楽解析情報を生成すると共に、該生成された音楽解析情報を記憶装置64に格納する。
 楽譜情報解析部62は、記憶装置64に格納されている複数の楽譜データ各々の解析を行い、各楽譜データに係る楽譜を構成する各小節を示す座標を示す情報、及び各小節の演奏順序を示す情報等を含む楽譜解析情報を生成すると共に、該生成された楽譜解析情報を記憶装置64に格納する。
 小節タイミング変更部63は、通信部65を介して取得された位置情報に基づいて、楽曲情報処理装置5において再生されている音楽データに対応する音楽解析情報におけるサンプル数を変更する(即ち、音楽解析情報を更新する)。そして、小節タイミング変更部63は、更新された音楽解析情報を、通信部65及びネットワーク4を介して、楽曲情報処理装置5に送信する。
 次に、以上のように構成された楽曲情報処理装置5及びサーバ装置6において、楽曲情報処理装置5に表示された楽譜を構成する一の小節が強調表示されるタイミングを変更する処理を、図13のタイミングチャートを参照して説明する。尚、ここでは、タイミングの変更方法として、図6を参照して説明した第1実施形態と同様の方法を例に挙げる。
 楽曲情報処理装置5において、ユーザの入力が検出される(即ち、ユーザが座標情報入力部17を介して入力を行う)と(ステップS201)、楽曲情報処理装置5は、ユーザにより選択された小節に対応する位置情報(図6に示される例では、第2小節に対応する位置情報)を、ネットワーク4を介して、サーバ装置6に送信する(ステップS202)。尚、楽曲情報処理装置5は、位置情報に加えて、例えば再生されている音楽データに係る識別情報、当該楽曲情報処理装置5を示す識別情報(更には、ユーザの入力が受け付けられた際の音楽データの再生位置を示す情報)等も、サーバ装置6に送信する。
 サーバ装置6は、送信された位置情報等を受信して、例えばメモリ(図示せず)等に一旦格納する(ステップS203)。
 次に、楽曲情報処理装置5において、ユーザの入力が再び検出されると(ステップS204)、楽曲情報処理装置5は、ユーザにより選択された小節に対応する位置情報(図6に示される例では、第6小節に対応する位置情報)を、ネットワーク4を介して、サーバ装置6に送信する(ステップS205)。
 サーバ装置6は、送信された位置情報等を受信して、例えばメモリ等に一旦格納する(ステップS206)。続いて、サーバ装置6は、格納された二つの位置情報等に基づいて、楽曲情報処理装置5において再生されている音楽データに対応する音楽解析情報におけるサンプル数を変更する(ステップS207)。
 次に、サーバ装置6は、更新された音楽解析情報を、ネットワーク4を介して、楽曲情報処理装置5に送信する(ステップS208)。楽曲情報処理装置5は、送信された音楽解析情報を受信して、表示位置制御部17に供給する(ステップS209)。その後、表示位置制御部17により、更新された音楽解析情報に基づいて、楽譜を構成する小節の強調表示が実行される。
 本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う楽曲情報処理装置及び方法、コンピュータプログラム並びに記録媒体もまた本発明の技術的範囲に含まれるものである。
 1、5…楽曲情報処理装置、2…電子楽譜表示装置、3、6…サーバ装置、4…ネットワーク、11…音楽データ入力部、12…楽譜データ入力部、13…楽曲情報解析部、14…楽譜情報解析部、15…出力部、16…表示位置制御部、17…座標情報入力部、21…タッチパネル、22…スピーカ、24…入力インターフェース、151…音声出力部、152…表示部

Claims (8)

  1.  楽曲データを再生する再生手段と、
     前記再生されている楽曲データに対応し、且つ小節情報を含む楽譜データにより示される楽譜を表示する表示手段と、
     前記再生されている楽曲データの再生位置に応じて、前記表示されている楽譜上の一の小節を強調して示す強調表示手段と、
     ユーザの入力を受付可能な入力手段と、
     前記入力手段を介して受け付けられた前記ユーザの入力に応じて、前記再生位置に対する、前記一の小節が強調して示されるタイミングを変更する変更手段と
     を備えることを特徴とする楽曲情報処理装置。
  2.  前記変更手段は、前記楽曲データの再生が開始された後、初めて前記ユーザの入力が前記入力手段に受け付けられた際に前記楽曲データが再生されている位置から、2回目に前記ユーザの入力が前記入力手段に受け付けられた際に前記楽曲データが再生されている位置までの区間と、前記小節情報に基づく前記区間内に存在する小節数と、に応じて、前記一の小節が強調して示されるタイミングを変更することを特徴とする請求項1に記載の楽曲情報処理装置。
  3.  前記変更手段は、前記楽曲データの再生が開始された位置から、前記ユーザの入力が前記入力手段に受け付けられた際に前記楽曲データが再生されている位置までの区間と、前記小節情報に基づく前記区間内に存在する小節数と、に応じて、前記一の小節が強調して示されるタイミングを変更することを特徴とする請求項1に記載の楽曲情報処理装置。
  4.  当該楽曲情報処理装置は、複数の楽曲データ及び、前記複数の楽曲データに夫々対応する複数の楽譜データを格納するサーバ装置を含むネットワークに接続されており、
     当該楽曲情報処理装置は、前記再生手段により再生される楽曲データ及び、前記表示手段により表示される楽譜データを、前記ネットワークを介して、前記サーバ装置から取得する
     ことを特徴とする請求項1に記載の楽曲情報処理装置。
  5.  前記入力手段により受け付けられる前記ユーザの入力には、前記表示されている楽譜上における位置を示す位置情報が含まれることを特徴とする請求項1に記載の楽曲情報処理装置。
  6.  ユーザの入力を受付可能な入力手段を備える楽曲情報処理装置における楽曲情報処理方法であって、
     楽曲データを再生する再生工程と、
     前記再生されている楽曲データに対応し、且つ小節情報を含む楽譜データにより示される楽譜を表示する表示工程と、
     前記再生されている楽曲データの再生位置に応じて、前記表示されている楽譜上の一の小節を強調して示す強調表示工程と、
     前記入力手段を介して受け付けられた前記ユーザの入力に応じて、前記再生位置に対する、前記一の小節が強調して示されるタイミングを変更する変更工程と
     を備えることを特徴とする楽曲情報処理方法。
  7.  コンピュータを、
     楽曲データを再生する再生手段と、
     前記再生されている楽曲データに対応し、且つ小節情報を含む楽譜データにより示される楽譜を表示する表示手段と、
     前記再生されている楽曲データの再生位置に応じて、前記表示されている楽譜上の一の小節を強調して示す強調表示手段と、
     ユーザの入力を受付可能な入力手段と、
     前記入力手段を介して受け付けられた前記ユーザの入力に応じて、前記再生位置に対する、前記一の小節が強調して示されるタイミングを変更する変更手段と
     を備える楽曲情報処理装置として機能させる
     ことを特徴とするコンピュータプログラム。
  8.  コンピュータを、
     楽曲データを再生する再生手段と、
     前記再生されている楽曲データに対応し、且つ小節情報を含む楽譜データにより示される楽譜を表示する表示手段と、
     前記再生されている楽曲データの再生位置に応じて、前記表示されている楽譜上の一の小節を強調して示す強調表示手段と、
     ユーザの入力を受付可能な入力手段と、
     前記入力手段を介して受け付けられた前記ユーザの入力に応じて、前記再生位置に対する、前記一の小節が強調して示されるタイミングを変更する変更手段と
     を備える楽曲情報処理装置として機能させるコンピュータプログラムが格納されている
     ことを特徴とするコンピュータ読取可能な記録媒体。
PCT/JP2010/065731 2010-09-13 2010-09-13 楽曲情報処理装置及び方法、コンピュータプログラム並びに記録媒体 WO2012035597A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012533759A JP5422056B2 (ja) 2010-09-13 2010-09-13 楽曲情報処理装置及び方法、コンピュータプログラム並びに記録媒体
PCT/JP2010/065731 WO2012035597A1 (ja) 2010-09-13 2010-09-13 楽曲情報処理装置及び方法、コンピュータプログラム並びに記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/065731 WO2012035597A1 (ja) 2010-09-13 2010-09-13 楽曲情報処理装置及び方法、コンピュータプログラム並びに記録媒体

Publications (1)

Publication Number Publication Date
WO2012035597A1 true WO2012035597A1 (ja) 2012-03-22

Family

ID=45831099

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/065731 WO2012035597A1 (ja) 2010-09-13 2010-09-13 楽曲情報処理装置及び方法、コンピュータプログラム並びに記録媒体

Country Status (2)

Country Link
JP (1) JP5422056B2 (ja)
WO (1) WO2012035597A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2816549A1 (en) * 2013-06-17 2014-12-24 Yamaha Corporation User bookmarks by touching the display of a music score while recording
JPWO2018074454A1 (ja) * 2016-10-19 2019-09-19 株式会社デザインMプラス 動画再生管理方法、システムおよびプログラム
JP2021018366A (ja) * 2019-07-23 2021-02-15 株式会社デザインMプラス 譜面表示システム、方法およびプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7147384B2 (ja) * 2018-09-03 2022-10-05 ヤマハ株式会社 情報処理方法および情報処理装置
JP7190995B2 (ja) 2019-10-23 2022-12-16 株式会社クボタ コンバイン

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06202623A (ja) * 1992-12-28 1994-07-22 Casio Comput Co Ltd 楽譜表示装置
JPH10240117A (ja) * 1997-02-25 1998-09-11 Dainippon Printing Co Ltd 楽器練習の支援装置および楽器練習用情報の記録媒体
JP2002006836A (ja) * 2000-06-21 2002-01-11 Yamaha Corp 楽譜画面表示装置及び演奏装置
JP2002041034A (ja) * 2000-07-24 2002-02-08 Yamaha Corp 表示位置情報作成方法
JP2003223166A (ja) * 2002-01-30 2003-08-08 Yamaha Corp 情報処理装置およびその楽譜頁変更方法、楽譜表示用プログラムおよび記録媒体
JP2009187021A (ja) * 2009-04-03 2009-08-20 Yamaha Corp 電子音楽装置及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06202623A (ja) * 1992-12-28 1994-07-22 Casio Comput Co Ltd 楽譜表示装置
JPH10240117A (ja) * 1997-02-25 1998-09-11 Dainippon Printing Co Ltd 楽器練習の支援装置および楽器練習用情報の記録媒体
JP2002006836A (ja) * 2000-06-21 2002-01-11 Yamaha Corp 楽譜画面表示装置及び演奏装置
JP2002041034A (ja) * 2000-07-24 2002-02-08 Yamaha Corp 表示位置情報作成方法
JP2003223166A (ja) * 2002-01-30 2003-08-08 Yamaha Corp 情報処理装置およびその楽譜頁変更方法、楽譜表示用プログラムおよび記録媒体
JP2009187021A (ja) * 2009-04-03 2009-08-20 Yamaha Corp 電子音楽装置及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2816549A1 (en) * 2013-06-17 2014-12-24 Yamaha Corporation User bookmarks by touching the display of a music score while recording
US9412352B2 (en) 2013-06-17 2016-08-09 Yamaha Corporation Recording audio in association with display content
JPWO2018074454A1 (ja) * 2016-10-19 2019-09-19 株式会社デザインMプラス 動画再生管理方法、システムおよびプログラム
JP2021018366A (ja) * 2019-07-23 2021-02-15 株式会社デザインMプラス 譜面表示システム、方法およびプログラム

Also Published As

Publication number Publication date
JPWO2012035597A1 (ja) 2014-01-20
JP5422056B2 (ja) 2014-02-19

Similar Documents

Publication Publication Date Title
US8536437B2 (en) Musical score playing device and musical score playing program
US9601029B2 (en) Method of presenting a piece of music to a user of an electronic device
JP5422056B2 (ja) 楽曲情報処理装置及び方法、コンピュータプログラム並びに記録媒体
JP4926756B2 (ja) カラオケ効果音出力システム
WO2011125204A1 (ja) 情報処理装置及び方法、並びにコンピュータプログラム
JP5549521B2 (ja) 音声合成装置およびプログラム
JP2013024967A (ja) 表示装置、表示装置の制御方法およびプログラム
JP5109426B2 (ja) 電子楽器及びプログラム
JP5969421B2 (ja) 楽器音出力装置及び楽器音出力プログラム
JP5935815B2 (ja) 音声合成装置およびプログラム
JP5338312B2 (ja) 自動演奏同期装置、自動演奏鍵盤楽器およびプログラム
JP2013073091A (ja) 歌詞テロップ表示装置及びプログラム
JP2011215347A (ja) タイミング指定装置、曲再生装置、カラオケシステム及びタイミング指定方法
JP6950180B2 (ja) 楽音データ処理方法及び楽音データ処理装置
EP2626781A1 (en) Electronic apparatus and audio guide program
JP5888295B2 (ja) 演奏情報表示装置、プログラム
WO2022209557A1 (ja) 電子楽器、電子楽器の制御方法、及びプログラム
JP6149917B2 (ja) 音声合成装置および音声合成方法
JP6127549B2 (ja) 音楽データ編集方法、当該音楽データ編集方法を実現するためのプログラムおよび音楽データ編集装置
JP2013068899A (ja) 楽音再生装置及び情報処理装置、並びにプログラム
JP2008197501A (ja) 電子楽器及び演奏データ利用プログラム
JP5810691B2 (ja) 楽譜情報生成装置および楽譜情報生成プログラム
JP2008158335A (ja) 自動演奏装置及び方法
JP6638429B2 (ja) カラオケ装置及びカラオケ用プログラム
JP5747974B2 (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10857231

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2012533759

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10857231

Country of ref document: EP

Kind code of ref document: A1