WO2011125204A1 - 情報処理装置及び方法、並びにコンピュータプログラム - Google Patents

情報処理装置及び方法、並びにコンピュータプログラム Download PDF

Info

Publication number
WO2011125204A1
WO2011125204A1 PCT/JP2010/056386 JP2010056386W WO2011125204A1 WO 2011125204 A1 WO2011125204 A1 WO 2011125204A1 JP 2010056386 W JP2010056386 W JP 2010056386W WO 2011125204 A1 WO2011125204 A1 WO 2011125204A1
Authority
WO
WIPO (PCT)
Prior art keywords
music
information
score
data
image data
Prior art date
Application number
PCT/JP2010/056386
Other languages
English (en)
French (fr)
Inventor
英幸 大久保
康夫 城▲崎▼
章雄 福島
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to PCT/JP2010/056386 priority Critical patent/WO2011125204A1/ja
Publication of WO2011125204A1 publication Critical patent/WO2011125204A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G10G1/04—Transposing; Transcribing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G10H2220/015—Musical staff, tablature or score displays, e.g. for score reading during a performance

Definitions

  • the present invention relates to an information processing apparatus and method for processing information and outputting it in the form of sound or image, and a technical field of a computer program for executing such information processing.
  • information processing device for example, information including performance information of music such as MIDI (Musical Instrument Digital Interface) data is processed, and the sound of the music indicated in the performance information is output and the performance information is also output.
  • MIDI Musical Instrument Digital Interface
  • the following prior art documents disclose a configuration in which an automatic display device for MIDI data has an image display function and displays information such as lyrics as performance data is reproduced.
  • the MIDI data is data including performance data for instructing the performance of music, and a score can be generated from the performance data by predetermined information processing. For this reason, it is convenient to display a musical score image in synchronization with the music while outputting the music as sound.
  • the present invention has been made in view of the above-described technical problems. Even if the audio information does not include performance information such as MIDI data, the image information of the score is displayed in synchronization with the output of the audio information. It is an object of the present invention to provide an information processing apparatus and method, and a computer program that can provide a performance example by performing the above.
  • an information processing apparatus includes music information acquisition means for acquiring information indicating a predetermined position in music included in music data, and predetermined information in a musical score described in image data.
  • the musical piece information and the image included in the music data based on the musical score information acquisition means for acquiring information indicating the position, the information indicating the predetermined position in the musical piece, and the information indicating the predetermined position in the musical score.
  • Synchronization means for generating synchronization information for synchronizing the score described in the data.
  • an information processing method includes a music information acquisition step of acquiring information indicating a predetermined position in music included in music data from music data including music, and image data.
  • a musical score information acquisition step for acquiring information indicating a predetermined position in the musical score, information indicating a predetermined position in the music, and information indicating a predetermined position in the musical score;
  • a synchronization step of generating synchronization information for synchronizing the music included and the score described in the image data.
  • a computer program is a computer program for operating an information processing apparatus, and obtains information indicating a predetermined position in music included in music data. And a score information acquisition step of acquiring information indicating a predetermined position in the score described in the image data, information indicating the predetermined position in the music, and information indicating the predetermined position in the score Then, the information processing apparatus is caused to execute a synchronization step of generating synchronization information for synchronizing the music included in the music data and the score described in the image data.
  • An embodiment of the information processing apparatus includes music information acquisition means for acquiring information indicating a predetermined position in music included in music data, and information indicating a predetermined position in a score described in image data. Based on the musical score information acquisition means, information indicating a predetermined position in the music, and information indicating a predetermined position in the music, the music included in the music data and the image data Synchronization means for generating synchronization information for synchronizing the musical score.
  • the information processing apparatus of the present embodiment synchronizes the music included in the music data and the score included in the image data from the music data and the image data that do not have information related to each other.
  • the music data used here is audio data such as PCM (Pulse Code Modulation) data recorded on a recording medium such as a CD or DVD, or WAVE data used on a personal computer, and is included in the music data.
  • the music is music having a predetermined tempo and beat.
  • the image data used is, for example, a commercially available pdf score or a score converted into data by a scanner or the like into an image format file, and the score and lyrics information of the music is described. is there.
  • Such music data is different from music performance data such as MIDI data, for example.
  • music performance data such as MIDI data
  • the synchronization information indicating which part of each corresponds to is not included.
  • the image data does not include synchronization information indicating which part of the musical score corresponds to which part of the music included in the music data.
  • the music information acquisition means acquires information indicating a predetermined position in the music data.
  • the information indicating the predetermined position is information indicating a time-series position at the time of outputting music data of each measure or each beat of the music, for example, the reproduction time of the first beat of each measure or a sample in the data Such as numbers.
  • the music information acquisition means acquires, for example, information generated by an analysis device capable of detecting information indicating a predetermined position in the music data described above by analyzing music data including music. For such an analysis apparatus, a known configuration for detecting bars and beats from music data may be used.
  • the musical score information acquisition means acquires information indicating a predetermined position in the image data.
  • the information indicating the predetermined position is, for example, information indicating position coordinates in the image data of each measure or each beat constituting the score.
  • the music information acquisition unit acquires, for example, information generated by an analysis device that can detect information indicating a predetermined position in the above-described image data by analyzing image data in which a score is described.
  • an analysis apparatus a known configuration that can detect a desired position coordinate by performing image recognition or pattern recognition on the image data may be used.
  • the synchronization means outputs the music data at each timing with respect to the output position of the music data based on the information indicating the time-series position of the acquired music and the information indicating the position coordinates of the score. Then, synchronization information in which the coordinate position in the image data corresponding to the output position (in other words, synchronized) is associated is generated.
  • the synchronization means determines that the coordinate ranges x1 to x2 and y1 to y2 in the image data correspond to the ranges of the sample numbers s1 to s2 in the music data, and associates the two (in other words, Synchronize).
  • One aspect of the embodiment of the information processing apparatus further includes an output unit that outputs a song included in the music data, and a display unit that displays the score described in the image data.
  • the display means determines the display position or display content of the image data according to the output position of the music based on the synchronization information.
  • the music included in the music data is output as sound, and the score described in the image data can be displayed as an image.
  • the display means determines the display content of the image data according to the output position of the music data to be output based on the synchronization information generated as described above.
  • the display means may display the score position in the image data corresponding to the output position of the music data with emphasis, or may display only the score position.
  • the information indicating a predetermined position in the music indicates a time-series position of each measure in the music when the music data is output. It may be information.
  • the time-series position at the time of outputting the music data for each measure constituting the music is acquired as information indicating the predetermined position in the music.
  • the music information acquisition means acquires, for example, information indicating a time-series position at the time of output for each measure constituting the music, which is obtained by analyzing an envelope of music data.
  • the music information acquisition means acquires the output timing of the first beat for each measure in a manner such as the reproduction time of music data or the number of samples from the beginning.
  • the information indicating the predetermined position in the score may be information indicating the position coordinates of each measure in the score described in the image data.
  • the coordinate range in the image data is acquired for each measure constituting the score as information indicating a predetermined position in the score.
  • the score information acquisition means acquires a coordinate range of a measure bar obtained by image recognition or pattern recognition for image data.
  • the musical score information acquisition means acquires a coordinate range including the upper and lower vertical coordinates of the staff area of each bar and the horizontal coordinates of the preceding and following bar lines.
  • the synchronization means uses the time-series information of each measure in the music data and the coordinate information of each measure in the image data, so that the music data and the image data can be associated with each measure. For this reason, the position in the image data corresponding to the output position of the music data can be presented to the user in more detail.
  • the score information acquisition means analyzes the performance order of the bars based on the repetition symbols included in the score.
  • the musical score information acquisition means acquires a performance order for each measure of the musical score based on a repetition symbol obtained by image recognition or pattern recognition on the image data. According to such an operation, the score information acquisition means can determine the performance order indicating which measure is played in which order in the score described in the image data.
  • the synchronization means can more appropriately synchronize with music data even for a musical score in which the performance order is described in a complicated manner.
  • the information indicating a predetermined position in the music indicates a time-series position of each beat in the music when the music data is output. It may be information.
  • the time-series position at the time of outputting the music data for each beat constituting the music is acquired as information indicating the predetermined position in the music.
  • the music information acquisition means acquires, for example, information indicating a time-series position at the time of output for each beat constituting the music, which is obtained by analyzing an envelope of music data.
  • the music information acquisition means acquires beat output timing for each beat in a manner such as the playback time of music data or the number of samples from the beginning.
  • the information indicating the predetermined position in the score may be information indicating the position coordinates of each note in the score described in the image data and the performance order of the notes.
  • the coordinate range in the image data is acquired for each note constituting the score as information indicating a predetermined position in the score.
  • the score information acquisition means acquires a coordinate range for each note of the score obtained by image recognition or pattern recognition for the image data. For example, the score information acquisition means acquires, for each measure, a coordinate range including the upper and lower vertical coordinates of the staff area where the target note is written, and the horizontal coordinates of the area before and after the note.
  • the synchronization means uses the time-series information of each beat in the music data and the coordinate information of each beat in the image data, so that the music data and the image data can be associated with each note. For this reason, the position in the image data corresponding to the output position of the music data can be presented to the user in more detail.
  • the music information acquisition unit acquires information indicating a predetermined position in the music by analyzing the music data.
  • the music information acquisition unit acquires information indicating a predetermined position in the music data by analyzing the music data.
  • the music information acquisition means acquires an envelope of music data, and notifies a predetermined frequency component (for example, a beat periodically detected in the music) in the frequency spectrum of the music data obtained by discrete Fourier transform processing or the like. Based on the frequency component generated by the musical instrument, etc.), the beat output timing in the music is acquired. Based on the output timing of the beat, the output timing for each beat or measure is acquired as data indicating a time-series position such as the number of samples of music data.
  • a predetermined frequency component for example, a beat periodically detected in the music
  • the beat output timing in the music is acquired.
  • the output timing for each beat or measure is acquired as data indicating a time-series position such as the number of samples of music data.
  • the score information acquisition means acquires information indicating a predetermined position in the score by analyzing the image data.
  • the musical score information acquisition means acquires, for example, the coordinate range of musical score measures or musical notes described in the image data by performing processing such as image recognition or pattern recognition on the image data.
  • the score information acquisition unit detects, for each bar or each note, the upper and lower vertical coordinates of the staff area where the bar or note is written, and the horizontal coordinates of the preceding or following bar line or area.
  • the coordinate range for each measure or each note is acquired.
  • Embodiments according to the information processing method of the present invention include a music information acquisition step of acquiring information indicating a predetermined position in a music included in music data, and information indicating a predetermined position in a score described in image data. Based on the musical score information acquisition step, information indicating a predetermined position in the music, and information indicating a predetermined position in the music. And a synchronization step for generating synchronization information for synchronizing the musical score.
  • An embodiment according to the computer program of the present invention is a computer program for operating an information processing apparatus, a music information acquisition step for acquiring information indicating a predetermined position in music included in music data, and image data
  • the music score information acquiring step for acquiring information indicating a predetermined position in the musical score described in the above, the information indicating the predetermined position in the music, and the information indicating the predetermined position in the musical score
  • the information processing apparatus is caused to execute a synchronization step for generating synchronization information for synchronizing the music included in the data and the score described in the image data.
  • the computer program is read from a recording medium such as a ROM, a CD-ROM, a DVD-ROM, and a hard disk that stores the computer program, and executed. If the computer program is executed after being downloaded to the computer via the communication means, the information processing apparatus can execute various operations in the embodiment of the information processing method of the present invention described above.
  • the embodiment according to the information processing apparatus of the present invention includes music information acquisition means, musical score information acquisition means, and synchronization means.
  • the embodiment according to the information processing method of the present invention includes a music information acquisition step, a score information acquisition step, and a synchronization step.
  • the embodiment according to the computer program of the present invention causes an information processing apparatus to execute a music information acquisition step, a score information acquisition step, and a synchronization step.
  • audio information recorded on a music CD or the like that does not include music performance information can be synchronized with image data in which the musical score of the music is written. According to the music data and the image data synchronized with each other, it is possible to determine the display position of the score according to the output position of the music.
  • FIG. 1 is a block diagram showing functional units constituting the information processing apparatus 1.
  • the information processing apparatus 1 includes a music data input unit 10, a music information analysis unit 11, an image data input unit 12, a score information analysis unit 13, and an output unit 14 as functional units each having a function of performing a predetermined operation. Is done.
  • the music data input unit 10 is a functional unit for inputting music data.
  • the music data input unit 10 is connected to a drive device that reads information recorded on, for example, a CD or DVD, receives input of the read music data, and supplies it to the music information analysis unit 11 and the output unit 14.
  • the music data is, for example, the audio information of the music, and the original music is obtained by performing predetermined data processing such as processing related to music playback on the music data. Audio information can be output.
  • the music information analysis unit 11 analyzes the music data supplied from the music data input unit 10 and acquires music information such as beats and measures constituting the music.
  • the music information is information in which the timing of each beat in the music included in the music data is associated with the time series in the music data, and is indicated by, for example, the number of samples from the beginning of each beat.
  • the music information analysis unit 11 supplies the output unit 14 with music information analyzed for the beats and measures of the music.
  • the image data input unit 12 is a functional unit for inputting image data in which a score or the like is described. For example, it is connected to a drive device that reads information recorded on a CD, DVD, or the like, or a photographing means such as a camera, receives the read image data, and supplies it to the score information analysis unit 13 and the output unit 14.
  • the image data is, for example, image data in which a musical score composed of a plurality of staffs is written, and data such as lyrics accompanying the musical score. For example, a known image reproduction is performed on the image data.
  • predetermined data processing such as processing related to the above, it is possible to output score information included in the image data to an image display means or the like.
  • the musical score information analysis unit 13 analyzes the musical score image data supplied from the image data input unit, and outputs the musical score information obtained by analyzing the coordinates indicating individual measures included in the musical score, the performance order of each measure, and the like. To supply.
  • the output unit 14 has a configuration such as a speaker that outputs the music data supplied from the music data input unit 10 as sound, and a configuration such as a display that outputs the image data supplied from the image data input unit 12. Is provided. Based on the music information supplied from the music information analysis unit 11, the output unit 14 can recognize the beat and measure of the music to be output. Further, the output unit 14 can recognize the coordinates of each measure and the performance order of the measures in the image data of the score by the score information supplied from the score information analysis unit 13. And the output part 14 synchronizes and outputs image data based on score information according to the beat and measure of the music contained in music information.
  • the output unit 14 may be configured to supply an output signal for outputting music data and image data to an external speaker or display.
  • the music information analysis unit 11 detects each beat and each bar in the music by analyzing the envelope of the input music data.
  • the music information analysis unit 11 attaches unique beat numbers (beats #) s1, s2,... To each beat detected from the music data as illustrated in FIG.
  • a music information table combining the number of samples from the beginning of the music is generated (see FIG. 2B).
  • beat # s1 has 50688 samples from the beginning
  • beat # s2 has 74880 samples
  • beat # s3 has 100224 samples from the beginning
  • Beat # s4 has 125568 samples from the beginning
  • beat # s5 has 149760 samples from the beginning
  • beat # s6 has 175104 samples from the beginning
  • beat # s7 has samples from the beginning.
  • the number is 200008
  • the number of samples from the beginning of beat # s8 is 224640
  • the number of samples from beat # s9 is 249984.
  • the music information analysis unit 11 generates a music information table as shown in FIG. 2B by combining the number of samples from the head for each beat #s.
  • the music information analysis unit 11 determines whether or not each beat is the head of a bar constituting the music, and includes the determination result in the music information table. In the example shown in FIG. 2B, it is determined that each of beat # s1, beat # s5, and beat # s9 is the head of a measure. Accordingly, it is determined that beats # s1 to # s4 are the first bar, beats # s5 to # s8 are the second bar, and beats # s9 and after are the third bar. Therefore, the music information analysis unit 11 assigns a unique measure number (measure #) 0 indicating the first measure to beats # s1 to # s4 to beats # s5 to # s8. Measure # 1 is added with measure # 2 for beats # s9 and after and added to the music information table.
  • the music information generated in this way is supplied to the output unit 14 in some form such as a text file.
  • the output unit 14 when displaying the produced
  • the music information analyzing unit 11 replaces the number of samples from the beginning of each beat with one The number of samples per beat may be acquired. For example, the music information analysis unit 11 obtains the number of samples per beat by calculating the time per beat from the reciprocal of the BPM of the music and multiplying it by the sampling rate indicating the number of samples per unit time. I can do it.
  • the score information analysis unit 13 obtains various pieces of information from the image data supplied from the image data input unit 12 by a series of processes shown in the flowchart of FIG. 4, and a score as shown in FIG. Generate an information table. Also, FIG. 5 shows score information (FIG. 5B) obtained by analysis processing for the image data shown in FIG. 3A and a score information table generated from the score information (FIG. 5B). Is shown.
  • the score information analysis unit 13 detects the image size in the image data supplied from the image data input unit 12 (step S101).
  • the image size is a numerical value that defines the size in the horizontal direction (in other words, the X direction) and the vertical direction (in other words, the Y direction) of the image, for example, the number of pixels forming the image, or other lengths. It is shown using the unit which shows.
  • the image sizes are detected as X2214 and Y644 and stored in the score information table.
  • the score information analysis unit 13 obtains each score page number and similarly stores it in the score information table. In the example of FIG. 5A, it is assumed that the score page is “1” and is stored in the table of FIG.
  • the score information analysis unit 13 detects a staff area in the image by image recognition (step S102), and detects an upper Y coordinate and a lower Y coordinate of the staff area (step S103).
  • a staff area in the image data shown in FIG. 3A, a two-stage staff area is described.
  • the score information analysis unit 13 detects the upper Y coordinate and the lower Y coordinate individually for each staff region.
  • the upper position Y coordinate of the first staff is 124
  • the lower position Y coordinate is 207
  • the upper position Y coordinate of the second staff is 490
  • the lower position Y coordinate is 573.
  • the musical score information analysis unit 13 detects bar lines in order from the top by image recognition for each staff area, and detects the X coordinate of each bar line (step S104).
  • the X coordinate of the bar line position in the first stage is detected as 38, 509, 903, 1319, 1741, 2163 in order.
  • the X coordinate of the bar line position in the second stage is detected as 38, 518, 903, 1319, 1728, 2163 in order.
  • the score information analysis unit 13 determines an area for each bar from the detected Y coordinate of each staff area and the X coordinate of the bar line, and for each bar, the stage of the staff area to which the bar belongs, The bar number in the stage is determined (step S105).
  • the stage of the staff region to which the bar belongs is, for example, a target bar when a plurality of staff regions are described in the vertical direction in one image page as shown in FIG. Is information indicating the number of staves in the vertical direction. Specifically, by comparing the Y coordinate of the staff area of the target bar with the Y coordinate of another staff area detected from the same image page, the staff area described in the image page As well as the number of stages, it becomes possible to determine the stage of the target bar.
  • the bar line number in the stage is information indicating the number of the detected bar line from the top in the stage of the staff area to which the bar line belongs. Specifically, it can be obtained by comparing the x-coordinate of the target bar line with the x-coordinates of other bar lines belonging to the same stage. At the same time, the number of bars that belong to the stage of the staff area can be acquired.
  • the score information analysis unit 13 is specific to each measure on the score described in one image page, based on the stage of the staff region to which the measure thus obtained belongs and the number of the measure line in the stage. Is assigned a measure number (measure #) (step S106). If the number of pages of each image page in the score information is further combined, a unique measure number can be assigned to all the measures described in one score information.
  • the bar # 0 is assigned.
  • measure # 1 is assigned to the measures at the positions of Y coordinates 124 to 207 and X coordinates 509 to 903.
  • measure # 2 is assigned to the measures at the positions of Y coordinates 124 to 207 and X coordinates 903 to 1319.
  • measure # 3 is assigned to the measures at the positions of Y coordinates 124 to 207 and X coordinates 1319 to 1741.
  • measure # 4 is assigned to the measures at the positions of Y coordinates 124 to 207 and X coordinates 1741 to 2163.
  • measure # 6 is assigned to the measures at the positions of Y coordinates 490 to 573 and X coordinates 518 to 903.
  • measure # 7 is assigned to the measures at the positions of Y coordinates 490 to 573 and X coordinates 903 to 1319.
  • measure # 8 is assigned to the measures at the positions of Y coordinates 490 to 573 and X coordinates 1319 to 1728.
  • measure # 9 is assigned to the measures at the positions of Y coordinates 490 to 573 and X coordinates 1728 to 2163.
  • the score information analysis unit 13 detects repeated notes attached to each bar line by pattern recognition, for example, and generates score information for the contents indicated by the repeated symbols (step S107).
  • the score information analysis unit 13 may express the contents indicated by each repetition symbol using a predetermined code and store them in the score information table.
  • the code “0” is described when there is no repetition symbol. If there is a repetition symbol, first, the number of repetition symbols attached to the bar line is described. If there is a repetition symbol, the type of the repetition symbol is described subsequently.
  • the code “1” is described at the start of repeat.
  • the code “2” is written at the end of repeat.
  • the code “3” is attached to the parenthesis start, and the “number” and “number” of the parenthesis are described after the code “3”.
  • the code “4” is written at the end of the parenthesis.
  • D. S. (Dal Segno: dal segno) is given a code “5”, followed by “0” if there is no index after the code “5”, and “number” and “number” of the index if there is an index. Is described. A code “6” is attached to the Seigno mark, and “0” is written when there is no index after the code “6”, and “number” and “number” of the index are written when there is an index. To Coda is given a code “7”, followed by “0” if there is no index after the code “7”, and “number” and “number” of the index if there is an index. is doing.
  • Code “8” is attached to Coda, and “0” is written when there is no index after code “8”, and “number” and “number” of the index are written when there is an index. .
  • D. C. The code “9” is described in (Da Capo).
  • a code “10” is described in Fine.
  • the musical score information analysis unit 13 calculates the performance order of the bars by performing analysis together with each bar number based on the repetition symbol attached to the bar line detected as described above (step S108). .
  • the performance order of each measure is 0, 1, 2, as shown in FIG. 5 (c). 3, 4, 3, 5, 6, 7, 1, 8, 9
  • the score information analysis unit 13 generates a score information table indicating the coordinates of each measure obtained by the above-described series of processes and data indicating the performance order of each measure as score information, for example, score information in the form of a text file or the like. (Step S109) and supply to the output unit 14.
  • the score information analysis unit 13 performs the same processing on a score (so-called grand staff) in which the treble portion and the bass portion are described together. Score information can be acquired.
  • the musical score information analysis unit 13 detects the staff region and the bar line by image recognition, thereby recognizing the treble part and the bass part as being the staff region in the same stage.
  • the music data data from the music data input unit 10 and the music image data from the image data input unit 12 are supplied to the output unit 14, respectively.
  • the output unit 14 includes the number of samples and the measure # from the beginning of the music data for each beat of the music as shown in FIG. Music information is input. Further, as described above, for example, as shown in FIG. 5 (b), the output unit 14 stores the measure # and coordinates of each measure and the measure shown in FIG. 5 (c) for the score included in the image data. Information indicating the performance order of each is input. The output unit 14 outputs music data and image data in synchronization based on these pieces of information.
  • the output unit 14 outputs the score corresponding to the output position of the music data so as to be emphasized and displayed among the score included in the image data.
  • the first measure of the first stage is highlighted by being surrounded by a cursor indicated by a dashed line portion.
  • the cursor appropriately highlights the target measure based on the upper and lower Y coordinates of the measure staff area included in the musical score information and the preceding and following measure line X coordinates.
  • the output unit 14 may output the musical score by some other method as long as it can notify the user of at least a position corresponding to the output position of the music data.
  • only the measure corresponding to the output position of the music data and its periphery may be displayed on the display.
  • the aspect which highlights not in a bar unit but in a note unit using the sample number for every beat may be sufficient. Note that page turning may be automatically performed according to the output of the music data by referring to the page number of the image data included in the score information.
  • the output unit 14 performs processing based on the sampling frequency clock of the music data when outputting the music data. Specifically, when the output of the music data is started, the output unit 14 counts a sampling frequency clock by an internal counter.
  • the cursor position in the displayed score and the counter value will be described.
  • the cursor is arranged in the measure # 0 as shown in FIG. 6A according to the performance order input from the score information analysis unit 13.
  • the counter value increases.
  • the counter reaches 149760, which is the number of samples of the first beat # 5 of measure # 1, according to the performance order input from the score information analysis unit 13, As shown in FIG. 6 (b), the cursor moves to measure # 1.
  • the output of the music advances and the counter value reaches 249987, which is the number of samples of the first beat # 9 of measure # 2, it is shown in FIG. 6 (c) according to the performance order input from the score information analysis unit 13. As shown, the cursor moves to measure # 2.
  • the counter reaches the number of samples of the first beat of the next bar, the cursor is moved to the corresponding bar.
  • the next performance measure is different from the next measure displayed adjacently in the image due to the repetition symbol.
  • the cursor is moved to the appropriate performance bar.
  • the information processing apparatus 1 outputs music that is output by synchronizing both music data including music and image data including music scores of the music.
  • the score position in the image data corresponding to the data position can be appropriately notified to the user.
  • the information processing apparatus 1 analyzes musical score information such as beats and measures of music, and musical score information including the area of the bars in the musical score, the performance order, etc., and thereby information related to performance such as MIDI data.
  • musical score information such as beats and measures of music
  • musical score information including the area of the bars in the musical score, the performance order, etc.
  • information related to performance such as MIDI data.
  • the above-described synchronous output can be realized even for audio information and image information that do not have the.
  • PCM data that is audio information recorded on a commercially available CD or the like as music data of music or WAVE data used on a personal computer is used to convert a score that is commercially available as musical score image data into an image file. Even if it is used, music data and image data can be synchronized and output.
  • the electronic score display apparatus 2 includes a display 21 for displaying a score, a speaker 22 for outputting music, a playback button unit 23 for inputting a user operation, and an input for inputting music data and image data.
  • An interface 24 is provided.
  • the user can listen to the music by outputting the music data from the speaker 22 and display the image data on the display 21 while corresponding to the output position of the music. It can be recognized by highlighting the part.
  • the user can confirm related information such as a musical score or lyrics corresponding to the output part while listening to the music output from the speaker, and can be used as a performance example.
  • the information processing apparatus 1 operates a counter for synchronizing music data and image data based on the number of samples of music data.
  • the synchronization may be performed using some other information that can specify the position of each beat of the music data, such as the playback time of the music data.
  • MIDI data may be used as music data.
  • the MIDI data may be converted into WAVE data, and the WAVE data may be analyzed by the music information analysis unit 11, and the music from the note-on message that is information about the beat and measure of the music included in the MIDI data may be used.
  • the aspect which acquires information may be sufficient. Note that the reproduction of MIDI data is performed based on a specific MIDI clock instead of a sampling frequency clock used in WAVE data or the like.
  • the information processing apparatus 1 may use a musical score created from MIDI data as image data. It is possible to analyze the score information after converting the score created from the MIDI data into image data. On the other hand, the position of the staff and the measure line known when creating the score from the MIDI data are also possible. A mode may be used in which the position coordinates of the staff area and the bar line in the score information are acquired using the position information. Note that when creating a score from MIDI data, the repeat portion shown in the repetition symbol is developed in the actual performance order according to the standard, so that the performance order information is to play the measures in order.
  • FIG. 8 is a block diagram showing a basic configuration of the information processing apparatus 1 ′.
  • the information processing apparatus 1 ′ includes a music data input unit 10, an image data input unit 12, and an output unit 14.
  • the information processing apparatus 1 'shown in FIG. 8 about the structure similar to the information processing apparatus 1 shown in FIG. 1, the same number may be attached
  • the information processing apparatus 1 ′ operates in cooperation with the music information analysis apparatus 2 and the score information analysis apparatus 3.
  • the music data input unit 10 receives music data including music and supplies it to the output unit 14.
  • the image data input unit 12 receives input of image data in which a score or the like is described, and supplies it to the output unit 14.
  • the output unit 14 inputs music data and image data based on music information supplied from a music information analysis device 2 described later and music score information supplied from the music score information analysis device 3. Output in synchronization.
  • the music information analysis apparatus 2 is an apparatus provided outside the information processing apparatus 1 ′, receives music data including music, and uses, for example, music data by the same method as the music information analysis unit 11 in the information processing apparatus 1. To obtain music information such as beats and measures constituting the music.
  • the music information analysis apparatus 2 supplies the music information analyzed for the beat and measure of the music to the output unit 14 of the information processing apparatus 1 ′.
  • the score information analysis apparatus 3 is an apparatus provided outside the information processing apparatus 1 ′.
  • the score information analysis apparatus 3 analyzes image data in which a score is described by the same method as the score information analysis unit 13 in the information processing apparatus 1, The coordinates indicating the individual bars included in the data, the playing order of each bar, and the like are acquired.
  • the score information analyzing apparatus 3 supplies the acquired score information to the output unit 14 of the information processing apparatus 1 ′.
  • the music information acquired in the music information analysis apparatus 2 having a configuration different from that of the information processing apparatus 1 ′ and the music score information acquired in the score information analysis apparatus 3 Based on this, music data and image data can be output in synchronization. According to such a configuration, it is possible to perform data synchronization based on information supplied from outside without analyzing music data and image data inside the information processing apparatus 1 ′.
  • 1 Information processing device 2 Electronic score display device, 10 Music data input section, 11 Music information analysis part, 12 Image data input section, 13 Score information analysis section, 14 Output unit.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

　本発明の情報処理装置（１）は、音楽データに含まれる楽曲中の所定の位置を示す情報を取得する楽曲情報取得手段と、画像データに記載される楽譜中の所定の位置を示す情報を取得する楽譜情報取得手段と、楽曲中の所定の位置を示す情報と楽譜中の所定の位置を示す情報とに基づいて、音楽データに含まれる楽曲と画像データに記載される楽譜とを同期させる同期情報を生成する同期手段とを備える。

Description

情報処理装置及び方法、並びにコンピュータプログラム
　本発明は、情報を処理し、音声又は画像の態様で出力する情報処理装置及び方法、並びにかかる情報処理を実行させるためのコンピュータプログラムの技術分野に関する。
　この種の情報処理装置として、例えばＭＩＤＩ（Musical Instrument Digital Interface：電子楽器デジタルインタフェース）データなど、楽曲の演奏情報を含む情報を処理し、演奏情報に示される楽曲の音声を出力するとともに、演奏情報に占めされる楽譜の画像を出力する構成が知られている。
　このような装置の用途としては、ユーザが出力される楽曲を聴くだけでなく、楽曲を聴きながら楽譜を参照することで、楽曲の演奏の手本とすることにも一般的に用いられている。
　例えば、下記の先行技術文献には、ＭＩＤＩデータの自動演奏装置において、画像表示機能を備え、演奏データの再生に伴って、歌詞などの情報を表示する構成が開示される。ＭＩＤＩデータは、楽曲の演奏を指示する演奏データを含むデータであり、所定の情報処理によって演奏データから楽譜を生成することが可能である。このため、楽曲を音声として出力しながら、該楽曲と同期させて楽譜画像を表示するためには都合が良い。
特開平０９－１３４１７３号公報
　ところで、上述の先行技術文献に開示される構成を用いて、楽曲と楽譜とを出力するためには、予め対象となる楽曲のＭＩＤＩデータが作成されている必要がある。しかしながら、演奏を正確に表現するＭＩＤＩデータを作成することが容易でないとの技術的な問題があり、ＭＩＤＩデータを上述の用途で用いることは困難である。
　他方で、実際に演奏される楽曲をＣＤやＤＶＤなどに記録した音声情報は扱いが容易であり、かかる音声情報を再生した楽曲は、演奏の手本として広く用いられている。同様に、楽譜についても市販されている形式は紙面に印刷されたものや画像形式などのものが多く、演奏の手本として広く用いられている。
　本発明は、上述した技術的な問題に鑑みて為されたものであり、ＭＩＤＩデータなどの演奏情報を含まない音声情報であっても、音声情報の出力に同期させて楽譜の画像情報の表示を行うことで演奏の手本を提供可能な情報処理装置及び方法、並びにコンピュータプログラムを提供することを課題とする。
　上記課題を解決するために、本発明の情報処理装置は、音楽データに含まれる楽曲中の所定の位置を示す情報を取得する楽曲情報取得手段と、画像データに記載される楽譜中の所定の位置を示す情報を取得する楽譜情報取得手段と、前記楽曲中の所定の位置を示す情報と前記楽譜中の所定の位置を示す情報とに基づいて、前記音楽データに含まれる前記楽曲と前記画像データに記載される前記楽譜とを同期させる同期情報を生成する同期手段とを備える。
　上記課題を解決するために、本発明の情報処理方法は、楽曲を含む音楽データから、音楽データに含まれる楽曲中の所定の位置を示す情報を取得する楽曲情報取得工程と、画像データに記載される楽譜中の所定の位置を示す情報を取得する楽譜情報取得工程と、前記楽曲中の所定の位置を示す情報と前記楽譜中の所定の位置を示す情報とに基づいて、前記音楽データに含まれる前記楽曲と前記画像データに記載される前記楽譜とを同期させる同期情報を生成する同期工程とを備える。
　上記課題を解決するために、本発明のコンピュータプログラムは、情報処理装置を動作させるためのコンピュータプログラムであって、音楽データに含まれる楽曲中の所定の位置を示す情報を取得する楽曲情報取得工程と、画像データに記載される楽譜中の所定の位置を示す情報を取得する楽譜情報取得工程と、前記楽曲中の所定の位置を示す情報と前記楽譜中の所定の位置を示す情報とに基づいて、前記音楽データに含まれる前記楽曲と前記画像データに記載される前記楽譜とを同期させる同期情報を生成する同期工程とを前記情報処理装置に実行させる。
　本発明の作用及び他の利得について、以下に示す実施の形態とともに説明する。
実施例の情報処理装置の基本的な構成例を示すブロック図である。 検出される楽曲情報と、その検出の態様とを示す図である。 画像データに含まれる楽譜の一例である。 楽譜情報の解析処理の流れを示すフローチャートである。 検出される楽譜情報を示す図である。 楽曲の出力に同期して強調表示される楽譜を示す図である。 情報処理装置の一具体例である電子楽譜表示装置の構成を示す図である。 情報処理装置の変形例の構成を示すブロック図である。
　本発明の情報処理装置に係る実施形態は、音楽データに含まれる楽曲中の所定の位置を示す情報を取得する楽曲情報取得手段と、画像データに記載される楽譜中の所定の位置を示す情報を取得する楽譜情報取得手段と、前記楽曲中の所定の位置を示す情報と前記楽譜中の所定の位置を示す情報とに基づいて、前記音楽データに含まれる前記楽曲と前記画像データに記載される前記楽譜とを同期させる同期情報を生成する同期手段とを備える。
　本実施形態の情報処理装置は、互いに関連する情報を持たない音楽データと画像データより、該音楽データに含まれる楽曲と画像データに含まれる楽譜とを同期させる。
　ここに、用いられる音楽データは、例えばＣＤやＤＶＤなどの記録媒体に記録されるＰＣＭ(Pulse Code Modulation)データや、パソコンで用いられるＷＡＶＥデータなどの音声データであり、また該音楽データに含まれる楽曲とは、所定のテンポ及び拍節を有する音楽などである。また、用いられる画像データは、例えば市販されるｐｄｆ形式の楽譜や、スキャナなどによってデータ化した楽譜などを画像形式ファイルとしたものなどであり、該楽曲の楽譜及び歌詞情報が記載されるものである。
　このような音楽データは、例えばＭＩＤＩデータなどのような楽曲の演奏データとは異なり、出力時に、音楽データの出力に合わせて楽譜の画像データを表示しようとする場合、音楽データのどの部分が楽譜のどの部分と対応しているかを示す同期情報が含まれていない。
　同様に、画像データには、記載される楽譜が表示されるにあたり、該楽譜のどの部分が音楽データに含まれる楽曲のどの部分に相当するかを示す同期情報が含まれていない。
　楽曲情報取得手段は、音楽データにおける所定の位置を示す情報を取得する。かかる所定の位置を示す情報とは、楽曲の各小節又は各拍の音楽データ出力時における時系列的な位置を示す情報であって、例えば各小節の先頭の拍の再生時間又はデータ中のサンプル数などである。楽曲情報取得手段は、例えば、楽曲を含む音楽データを解析することで、上述した音楽データにおける所定の位置を示す情報を検出可能な解析装置などによって生成された情報を取得する。かかる解析装置には、音楽データに対して小節や拍の検出を行う公知の構成が用いられてよい。
　楽譜情報取得手段は、画像データにおける所定の位置を示す情報を取得する。かかる所定の位置を示す情報とは、例えば楽譜を構成する各小節又は各拍の画像データにおける位置座標を示す情報などである。楽曲情報取得手段は、例えば、楽譜が記載される画像データを解析することで、上述した画像データにおける所定の位置を示す情報を検出可能な解析装置などによって生成された情報を取得する。かかる解析装置には、画像データに対して画像認識やパターン認識を行うことで、所望の位置座標を検出可能な公知の構成が用いられてよい。
　同期手段は、取得された楽曲の時系列的な位置を示す情報と、楽譜の位置座標を示す情報とに基づき、音楽データを出力する際に、各タイミングにおいて、音楽データの出力位置に対して、該出力位置に対応する（言い換えれば、同期する）画像データにおける座標位置を関連付けた同期情報を生成する。
　ここに、楽曲情報の例として、楽曲の第１の小節について、該小節が含まれる音楽データのサンプル数の範囲（例えば、ｓ１乃至ｓ２の範囲）が取得されたとする。また、楽譜情報の例として、同じく楽曲の第１の小節について、楽譜が記載される画像データにおける座標範囲（例えば、ｘ１乃至ｘ２、ｙ１乃至ｙ２の範囲）が取得されたとする。同期手段は検出された位置情報に基づき、音楽データにおけるサンプル数ｓ１乃至ｓ２の範囲に、画像データにおける座標範囲ｘ１乃至ｘ２、ｙ１乃至ｙ２の範囲が対応すると判断して両者を関連付ける（言い換えれば、同期させる）。
　上述した動作によれば、互いに関連する情報を持たない楽曲の音楽データと該楽曲の楽譜の画像データとを音楽データの出力に応じて同期させることが可能となる。
　本発明の情報処理装置に係る実施形態の一の態様は、前記音楽データに含まれる楽曲を出力する出力手段と、前記画像データに記載される前記楽譜を表示する表示手段とを更に備え、前記表示手段は、前記同期情報に基づいて、前記楽曲の出力位置に応じて前記画像データの表示位置又は表示内容を決定する。
　この態様によれば、音楽データに含まれる楽曲が音声として出力されるとともに、画像データに記載される楽譜を画像として表示することが可能となる。表示手段は、上述のように生成された同期情報に基づき、出力される音楽データの出力位置に応じて画像データの表示内容を決定する。
　例えば、表示手段は、音楽データの出力位置に相当する画像データ中の楽譜位置を強調して表示してもよく、また楽譜位置のみを表示してもよい。
　このように構成すれば、ユーザに対し、出力される音楽データに応じた楽譜の表示が可能となる。これは、例えば出力される楽曲と、表示される楽譜とを手本に演奏を行う場合などに有益である。
　本発明の情報処理装置に係る実施形態の他の態様では、前記楽曲中の所定の位置を示す情報は、前記音楽データを出力する際の前記楽曲中の各小節の時系列的な位置を示す情報であってもよい。
　この態様によれば、楽曲中の所定の位置を示す情報として、楽曲を構成する小節ごとの音楽データの出力時における時系列的な位置が取得される。楽曲情報取得手段は、例えば、音楽データのエンベロープを解析することによって得られる、楽曲を構成する小節ごとの出力時の時系列的な位置を示す情報を取得する。例えば、楽曲情報取得手段は、各小節について、先頭の拍の出力タイミングを、音楽データの再生時間又は先頭からのサンプル数などの態様で取得する。
　同様に、前記楽譜中の所定の位置を示す情報は、前記画像データに記載される楽譜における各小節の位置座標を示す情報であってもよい。
　この態様によれば、楽譜中の所定の位置を示す情報として、楽譜を構成する小節ごとに、画像データにおける座標範囲が取得される。楽譜情報取得手段は、画像データに対する画像認識又はパターン認識などによって得られる、楽譜の小節の座標範囲を取得する。例えば、楽譜情報取得手段は、各小節の五線領域の上部及び下部の上下方向座標、並びに前後の小節線の左右方向座標を含む座標範囲を取得する。
　同期手段は、上述のように音楽データにおける各小節の時系列情報と、画像データにおける各小節の座標情報とを用いることで、小節単位で音楽データと画像データとを関連付けることが可能となる。このため、音楽データの出力位置に対応する画像データ中の位置をより詳細にユーザに対して提示可能となる。
　また、前記楽譜情報取得手段は、前記楽譜に含まれる反復記号に基づいて、前記小節の演奏順を解析する。
　楽譜情報取得手段は、画像データに対する画像認識又はパターン認識などによって得られる反復記号などに基づき、楽譜の小節ごとの演奏順を取得する。このような動作によれば、楽譜情報取得手段は、画像データに記載される楽譜内でどの小節がどの順序で演奏されるかを示す演奏順を決定することが可能となる。
　このような演奏順に基づくことで、同期手段は、演奏順が複雑に記載される楽譜に対しても、より適切に音楽データとの同期を行うことが出来る。
　本発明の情報処理装置に係る実施形態の他の態様では、前記楽曲中の所定の位置を示す情報は、前記音楽データを出力する際の前記楽曲中の各拍の時系列的な位置を示す情報であってもよい。
　この態様によれば、楽曲中の所定の位置を示す情報として、楽曲を構成する拍ごとの音楽データの出力時における時系列的な位置が取得される。楽曲情報取得手段は、例えば、音楽データのエンベロープを解析することによって得られる、楽曲を構成する拍ごとの出力時の時系列的な位置を示す情報を取得する。例えば、楽曲情報取得手段は、各拍について、拍の出力タイミングを音楽データの再生時間又は先頭からのサンプル数などの態様で取得する。
　同様に、前記楽譜中の所定の位置を示す情報は、前記画像データに記載される楽譜における各音符の位置座標及び前記音符の演奏順を示す情報であってもよい。
　この態様によれば、楽譜中の所定の位置を示す情報として、楽譜を構成する音符ごとに、画像データにおける座標範囲が取得される。楽譜情報取得手段は、画像データに対する画像認識又はパターン認識などによって得られる、楽譜の音符ごとの座標範囲を取得する。例えば、楽譜情報取得手段は、各小節について、対象の音符が記載される五線領域の上部及び下部の上下方向座標、並びに音符の前後の領域の左右方向座標を含む座標範囲を取得する。
　同期手段は、音楽データにおける各拍の時系列情報と、画像データにおける各拍の座標情報とを用いることで、音符単位で音楽データと画像データとを関連付けることが可能となる。このため、音楽データの出力位置に対応する画像データ中の位置をより詳細にユーザに対して提示可能となる。
　本発明の情報処理装置に係る実施形態の他の態様では、前記楽曲情報取得手段は、前記音楽データを解析することで、前記楽曲中の所定の位置を示す情報を取得する。
　楽曲情報取得手段は、音楽データを解析することで、音楽データにおける所定の位置を示す情報を取得する。例えば、楽曲情報取得手段は、音楽データのエンベロープを取得し、離散フーリエ変換処理などによって求められる音楽データの周波数スペクトルにおける所定の周波数成分（例えば、楽曲において周期的に検出される、拍を報知する楽器が生じる周波数成分など）に基づき、楽曲内の拍の出力タイミングを取得する。かかる拍の出力タイミングに基づいて、拍ごと又は小節ごとの出力タイミングを、例えば音楽データのサンプル数などの時系列的な位置を示すデータとして取得する。
　本発明の情報処理装置に係る実施形態の他の態様では、前記楽譜情報取得手段は、前記画像データを解析することで、前記楽譜中の所定の位置を示す情報を取得する。
　楽譜情報取得手段は、例えば、画像データに対して画像認識又はパターン認識などの処理を施すことにより、画像データに記載される楽譜の小節又は音符の座標範囲を取得する。例えば、楽譜情報取得手段は、各小節又は各音符について、該小節又は音符が記載される五線領域の上部及び下部の上下方向座標、並びに前後の小節線又は領域の左右方向座標を夫々検出することで、小節ごと又は音符ごとの座標範囲を取得する。
　本発明の情報処理方法に係る実施形態は、音楽データに含まれる楽曲中の所定の位置を示す情報を取得する楽曲情報取得工程と、画像データに記載される楽譜中の所定の位置を示す情報を取得する楽譜情報取得工程と、前記楽曲中の所定の位置を示す情報と前記楽譜中の所定の位置を示す情報とに基づいて、前記音楽データに含まれる前記楽曲と前記画像データに記載される前記楽譜とを同期させる同期情報を生成する同期工程とを備える。
　本発明の情報処理方法に係る実施形態によれば、上述した本発明の情報処理装置に係る実施形態と同様の各種効果を享受することが出来る。
　尚、本発明の情報処理方法に係る実施形態においても、上述した本発明の情報処理装置に係る実施形態の各種態様と同様の各種態様を採ることが可能である。
　本発明のコンピュータプログラムに係る実施形態は、情報処理装置を動作させるためのコンピュータプログラムであって、音楽データに含まれる楽曲中の所定の位置を示す情報を取得する楽曲情報取得工程と、画像データに記載される楽譜中の所定の位置を示す情報を取得する楽譜情報取得工程と、前記楽曲中の所定の位置を示す情報と前記楽譜中の所定の位置を示す情報とに基づいて、前記音楽データに含まれる前記楽曲と前記画像データに記載される前記楽譜とを同期させる同期情報を生成する同期工程とを前記情報処理装置に実行させる。
　本発明のコンピュータプログラムに係る実施形態によれば、当該コンピュータプログラムを格納するＲＯＭ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク等の記録媒体から、当該コンピュータプログラムをコンピュータに読み込んで実行させれば、或いは、当該コンピュータプログラムを、通信手段を介してコンピュータにダウンロードさせた後に実行させれば、上述した本発明の情報処理方法に係る実施形態における各種動作を情報処理装置に実行させることが出来る。
　以上説明したように、本発明の情報処理装置に係る実施形態は、楽曲情報取得手段と、楽譜情報取得手段と、同期手段とを備える。本発明の情報処理方法に係る実施形態は、楽曲情報取得工程と、楽譜情報取得工程と、同期工程とを備える。本発明のコンピュータプログラムに係る実施形態は、楽曲情報取得工程と、楽譜情報取得工程と、同期工程とを情報処理装置に実行させる。
　従って、楽曲の演奏情報を含まない音楽ＣＤなどに記録される音声情報などに対しても、該楽曲の楽譜が記載される画像データと同期させることが出来る。互いに同期された音楽データと画像データとによれば、楽曲の出力位置に応じて楽譜の表示位置を決定することが可能となる。
　本発明の情報処理装置及び情報処理方法並びにコンピュータプログラムの夫々に係る各種実施形態の作用及び他の利得について、以下に示す実施例を用いてより詳細に説明する。
　以下、図面を参照して、本発明の実施例について説明する。
　（１）基本構成例
　図１を参照して、本発明の情報処理装置の実施例となる情報処理装置１の構成と動作について説明する。
　図１は、情報処理装置１を構成する機能部を示すブロック図である。情報処理装置１は、夫々所定の動作を行う機能を有する機能部として、音楽データ入力部１０、楽曲情報解析部１１、画像データ入力部１２、楽譜情報解析部１３及び出力部１４を備えて構成される。
　音楽データ入力部１０は、音楽データを入力するための機能部である。音楽データ入力部１０は、例えばＣＤやＤＶＤなどに記録された情報を読み取るドライブ装置に接続され、読み取られた音楽データの入力を受け、楽曲情報解析部１１及び出力部１４へと供給する。尚、音楽データとは、例えば楽曲の音声情報をデータ化したものであり、該音楽データに対して、例えば、公知の音楽再生に係る処理などの所定のデータ処理を行うことで、元の楽曲の音声情報を出力可能なものである。
　楽曲情報解析部１１は、音楽データ入力部１０より供給される音楽データの解析を行い、楽曲を構成する拍、小節などの楽曲情報を取得する。楽曲情報とは、音楽データに含まれる楽曲における各拍のタイミングを、音楽データにおける時系列に関連づけた情報であって、例えば各拍の先頭からのサンプル数などにより示される。楽曲情報解析部１１は、楽曲の拍及び小節について解析した楽曲情報を出力部１４に供給する。
　画像データ入力部１２は、楽譜などが記載される画像データを入力するための機能部である。例えばＣＤやＤＶＤなどに記録された情報を読み取るドライブ装置や、カメラなどの撮影手段に接続され、読み取られた画像データの入力を受け、楽譜情報解析部１３及び出力部１４へと供給する。尚、画像データは、例えば複数の段の五線譜より構成される楽譜が記載される画像データや、該楽譜に付随する歌詞などのデータであり、該画像データに対して、例えば、公知の画像再生に係る処理などの所定のデータ処理を行うことで、画像データに含まれる楽譜情報を画像表示手段などに出力可能なものである。
　楽譜情報解析部１３は、画像データ入力部より供給される楽譜の画像データを解析し、楽譜に含まれる個々の小節を示す座標、及び各小節の演奏順序などを解析した楽譜情報を出力部１４へと供給する。
　出力部１４は、音楽データ入力部１０より供給される音楽データを音声として出力するするスピーカなどの構成と、画像データ入力部１２より供給される画像データを画像出力するためのディスプレイなどの構成とを備える。出力部１４は、楽曲情報解析部１１から供給される楽曲情報に基づいて、出力する楽曲の拍及び小節を認識可能となる。また、出力部１４は、楽譜情報解析部１３より供給される楽譜情報により、楽譜の画像データにおける各小節の座標及び小節の演奏順を認識可能となる。そして、出力部１４は、楽曲情報に含まれる楽曲の拍及び小節に応じて、楽譜情報に基づき画像データを同期させて出力する。
　尚、出力部１４は、外部に備えられるスピーカ又はディスプレイに対して、音楽データ及び画像データを出力するための出力信号を供給する構成であってもよい。
　各構成のより具体的な動作について、後に詳述する。
　（２）楽曲情報の解析例
　図２を参照して、楽曲情報解析部１１による音楽データからの楽曲情報の解析例について説明する。
　先ず、楽曲情報解析部１１は、入力された音楽データに対し、エンベロープを解析することで、楽曲における各拍及び各小節の検出を行う。楽曲情報解析部１１は、図２（ａ）に例示されるような音楽データより検出された各拍に便宜上の固有の拍番号（拍＃）ｓ１、ｓ２、・・・を付し、各拍の楽曲の先頭からのサンプル数を組み合わせた楽曲情報テーブルを生成する（図２（ｂ）参照）。
　図２に示される例では、拍＃ｓ１は先頭からのサンプル数が５０６８８であり、拍＃ｓ２は先頭からのサンプル数が７４８８０であり、拍＃ｓ３は先頭からのサンプル数が１００２２４であり、拍＃ｓ４は先頭からのサンプル数が１２５５６８であり、拍＃ｓ５は先頭からのサンプル数が１４９７６０であり、拍＃ｓ６は先頭からのサンプル数が１７５１０４であり、拍＃ｓ７は先頭からのサンプル数が２００４４８であり、拍＃ｓ８は先頭からのサンプル数が２２４６４０であり、拍＃ｓ９は先頭からのサンプル数が２４９９８４である。楽曲情報解析部１１は、各拍＃ｓに対して、先頭からのサンプル数を組み合わせて、図２（ｂ）に示されるような楽曲情報テーブルを生成する。
　また、楽曲情報解析部１１は、各拍について楽曲を構成する小節の先頭であるか否かを判定し、判定結果を楽曲情報テーブルに含める。図２（ｂ）に示される例では、拍＃ｓ１、拍＃ｓ５、拍＃ｓ９の夫々が小節の先頭であると判定されている。それに伴って、拍＃ｓ１乃至拍＃ｓ４が第１の小節であり、拍＃ｓ５乃至拍＃ｓ８が第２の小節であり、拍＃ｓ９以降が第３の小節であると判断される。このため、楽曲情報解析部１１は、拍＃ｓ１乃至拍＃ｓ４に対して第１の小節であることを示す固有の小節番号（小節＃）０を、拍＃ｓ５乃至拍＃ｓ８に対して小節＃１を、拍＃ｓ９以降に対して小節＃２を付し、楽曲情報テーブルに加える。
　このように生成された楽曲情報は、例えばテキストファイルなど何らかの形式で出力部１４に供給される。尚、生成された楽曲情報を楽譜として表示する場合、図２（ｃ）に示される態様となる。
　音楽データに含まれる楽曲において、単位時間当たりの拍数を示すＢＰＭ（Beats Per Minute）が全曲を通じて一定である場合、楽曲情報解析部１１は、各拍の先頭からのサンプル数の代わりに、一拍当たりのサンプル数を取得しても良い。例えば、楽曲情報解析部１１は、楽曲のＢＰＭの逆数より１拍あたりの時間を算出し、それを単位時間当たりのサンプル数を示すサンプリングレートを乗算することで、１拍あたりのサンプル数を取得出来る。
　（３）楽譜情報の解析例
　図３から図５を参照して、楽譜情報解析部１３による画像データからの楽譜情報の解析例について説明する。ここでは、図３（ａ）に示されるような楽譜が記載される画像データの解析動作の例について説明する。
　図３（ａ）に示される画像データには、夫々５つの小節より成る２段の楽譜が記載されている。また、一部の小節には演奏順序を規定する反復記号が付加されている。
　楽譜情報解析部１３は、画像データ入力部１２より供給される画像データに対し、図４のフローチャートに示される一連の処理により、各種情報を取得し、図５（ｂ）に示されるような楽譜情報テーブルを生成する。また、図５には、図３（ａ）に示される画像データに対する解析処理により得られる楽譜情報（図５（ｂ））及び該楽譜情報より生成される楽譜情報テーブル（図５（ｂ））が示される。
　先ず、楽譜情報解析部１３は、画像データ入力部１２より供給される画像データにおける画像サイズを検出する（ステップＳ１０１）。ここに画像サイズとは、画像の横方向（言い換えれば、Ｘ方向）及び縦方向（言い換えれば、Ｙ方向）におけるサイズを規定する数値であり、例えば画像を形成するピクセル数、又はその他の長さを示す単位を用いて示される。図５（ａ）の例では、画像サイズがＸ２２１４、Ｙ６４４として検出され、楽譜情報テーブルに格納される。また、楽譜情報解析部１３は、複数の画像ページより構成される楽譜の場合、夫々の楽譜ページ番号を取得し、同様に楽譜情報テーブルに格納する。図５（ａ）の例では、楽譜ページは「１」であるとして、図５（ｂ）のテーブルに格納されている。
　続いて、楽譜情報解析部１３は、画像認識により、画像中の五線領域の検出を行い（ステップＳ１０２）、五線領域の上部Ｙ座標及び下部Ｙ座標の検出を行う（ステップＳ１０３）。図３（ａ）に示される画像データには２段の五線領域が記載されている。このような場合、楽譜情報解析部１３は、各五線領域に対して個別に上部Ｙ座標及び下部Ｙ座標の検出を行う。図５（ａ）の例では、一段目の五線譜の上部位置Ｙ座標が１２４、下部位置Ｙ座標が２０７、二段目の五線譜の上部位置Ｙ座標が４９０、下部位置Ｙ座標が５７３として検出される。
　次に、楽譜情報解析部１３は、各五線領域について、画像認識により先頭から順番に小節線の検出を行い、夫々の小節線のＸ座標を検出する（ステップＳ１０４）。図５（ａ）の例では、一段目における小節線位置のＸ座標が順番に３８、５０９、９０３、１３１９、１７４１、２１６３として検出される。同様に二段目の小節線位置のＸ座標が、順番に３８、５１８、９０３、１３１９、１７２８、２１６３として検出される。
　そして、楽譜情報解析部１３は、検出された五線領域ごとのＹ座標及び小節線のＸ座標より、個々の小節について領域を決定し、各小節について該小節が属する五線領域の段、及び段中の小節線の番号を決定する（ステップＳ１０５）。
　ここに、小節が属する五線領域の段とは、例えば図３（ａ）のように一の画像ページの中に縦方向に複数の五線領域が記載されている場合の、対象となる小節が縦方向の何段目の五線領域に属するかを示す情報である。具体的には、対象となる小節の五線領域のＹ座標を、同一の画像ページから検出される他の五線領域のＹ座標と比較することで、該画像ページに記載される五線領域の段数と共に、対象となる小節の段も判別可能となる。
　また、段中の小節線の番号とは、検出された小節線が、該小節線が属する五線領域の段において、先頭部分から何番目のものであるかを示す情報である。具体的には、対象となる小節線のｘ座標を同じ段に属する他の小節線のｘ座標と比較することで取得可能となる。同時に該五線領域の段に属する小節の数も取得可能となる。
　楽譜情報解析部１３は、このように取得される小節が属する五線領域の段と、段中の小節線の番号とに基づいて、一の画像ページに記載される楽譜上の各小節について固有の小節番号（小節＃）を割り当てる（ステップＳ１０６）。尚、更に楽譜情報における各画像ページの頁数を合わせれば、一の楽譜情報に記載される全ての小節について、固有の小節番号を割り当てることが可能となる。
　図５（ａ）の例では、１の段の先頭小節は、Ｙ座標１２４乃至２０７、Ｘ座標３８乃至５０９の位置にあることが検出され、小節＃０が割り当てられる。続いて、Ｙ座標１２４乃至２０７、Ｘ座標５０９乃至９０３の位置にある小節について、小節＃１が割り当てられる。続いて、Ｙ座標１２４乃至２０７、Ｘ座標９０３乃至１３１９の位置にある小節について、小節＃２が割り当てられる。続いて、Ｙ座標１２４乃至２０７、Ｘ座標１３１９乃至１７４１の位置にある小節について、小節＃３が割り当てられる。続いて、Ｙ座標１２４乃至２０７、Ｘ座標１７４１乃至２１６３の位置にある小節について、小節＃４が割り当てられる。
　同様に２段目の先頭小節は、Ｙ座標４９０乃至５７３、Ｘ座標３８乃至５１８の位置にあることが検出され、小節＃５が割り当てられる。続いて、Ｙ座標４９０乃至５７３、Ｘ座標５１８乃至９０３の位置にある小節について、小節＃６が割り当てられる。続いて、Ｙ座標４９０乃至５７３、Ｘ座標９０３乃至１３１９の位置にある小節について、小節＃７が割り当てられる。続いて、Ｙ座標４９０乃至５７３、Ｘ座標１３１９乃至１７２８の位置にある小節について、小節＃８が割り当てられる。続いて、Ｙ座標４９０乃至５７３、Ｘ座標１７２８乃至２１６３の位置にある小節について、小節＃９が割り当てられる。
　次に、楽譜情報解析部１３は、例えばパターン認識などにより、各小節線に付属する反復記を検出し、該反復記号が示す内容について楽譜情報を生成する（ステップＳ１０７）。
　ここで、楽譜情報解析部１３は、図５（ｂ）の楽譜情報テーブルに示されるように、各反復記号が示す内容について、所定のコードを用いて表し、楽譜情報テーブルに格納してもよい。例えば、図５（ｂ）では、反復記号なしの場合にはコード「０」を記載している。反復記号がある場合には、まず、反復記号がその小節線にいくつ付随しているかの個数を記載する。反復記号がある場合にはその後に続けて反復記号の種類を記載する。リピート開始にはコード「１」を記載している。リピート終了にはコード「２」を記載している。カッコ開始にはコード「３」を付し、更にコード「３」の後にカッコの「数」、及び「番号」を記載している。カッコ終了にはコード「４」を記載している。Ｄ．Ｓ．（ダル・セーニョ：dal segno）にはコード「５」を付し、更にコード「５」の後に、インデックスが無い場合は「０」、インデックスがある場合は、インデックスの「数」及び「番号」を記載している。セーニョマークにはコード「６」を付し、更にコード「６」の後にインデックスが無い場合は「０」、インデックスがある場合は、インデックスの「数」、「番号」を記載している。ｔｏ　Ｃｏｄａ（トゥー・コーダ）にはコード「７」を付し、更にコード「７」の後にインデックスが無い場合は「０」、インデックスがある場合は、インデックスの「数」、「番号」を記載している。Ｃｏｄａ（コーダ）にはコード「８」を付し、更にコード「８」の後にインデックスが無い場合は「０」、インデックスがある場合は、インデックスの「数」、「番号」を記載している。Ｄ．Ｃ．（ダ・カーポ）にはコード「９」を記載している。Ｆｉｎｅ（フィーネ）にはコード「１０」を記載している。
　また、楽譜情報解析部１３は、上述のように検出される小節線に付属する反復記号に基づいて、各小節番号と併せて解析を行うことで、小節の演奏順序を算出する（ステップＳ１０８）。図５（ａ）に示される楽譜より取得された図５（ｂ）に示される楽譜情報によれば、小節ごとの演奏順序は、図５（ｃ）に示されるように、０、１、２、３、４、３、５、６、７、１、８、９となるよう取得される。
　楽譜情報解析部１３は、上述の一連の処理により得られた各小節の座標を示す楽譜情報テーブル及び小節ごと演奏順序を示すデータを楽譜情報として、例えばテキストファイルなどの形式の楽譜情報として生成し（ステップＳ１０９）、出力部１４へと供給する。
　尚、楽譜情報解析部１３は、図３（ｂ）に示されるように、高音部と低音部とを合わせて表記した楽譜（所謂、大譜表）に対しても、同様の処理を行うことで楽譜情報を取得可能である。このとき楽譜情報解析部１３は、画像認識により五線領域と小節線とを夫々検出することで、高音部と低音部とを同一の段における五線領域であるよう認識する。
　（４）音楽データと画像データとの同期出力の態様
　出力部１４における楽曲情報及び楽譜情報に基づく、音楽データと画像データとの同期出力の態様について図６を参照して説明する。
　出力部１４には、音楽データ入力部１０より、楽曲の音楽データが、画像データ入力部１２より、楽譜の画像データが夫々供給される。
　また、出力部１４には、上述したように楽曲情報解析部１１より、例えば図２（ｂ）に示されるような、楽曲の各拍について、音楽データの先頭からのサンプル数及び小節＃を含む楽曲情報が入力される。また、出力部１４には、上述したように、例えば図５（ｂ）に示されるような、画像データに含まれる楽譜について、各小節の小節＃及び座標並びに図５（ｃ）に示される小節ごとの演奏順序を示す情報が入力される。出力部１４は、これらの情報に基づいて、音楽データと画像データとを同期させて出力する。
　具体的には、出力部１４は、画像データに含まれる楽譜のうち、音楽データの出力位置に相当する位置を強調して表示するよう出力する。例えば、図６（ａ）では、第１の段の最初の小節が一点破線部により示されるカーソルに囲まれて強調表示されている。該カーソルは、楽譜情報に含まれる小節の五線領域の上下のＹ座標、及び前後の小節線Ｘ座標に基づいて、対象となる小節を適切に強調表示する。尚、出力部１４は、少なくとも音楽データの出力位置に相当する位置をユーザに報知可能であるならば、その他なんらかの手法により、楽譜の出力を行ってもよい。
例えば、音楽データの出力位置に相当する小節及びその周辺のみをディスプレイに表示する態様であってもよい。また、拍ごとのサンプル数を用いて、小節単位でなく音符単位で強調表示を行う態様であってもよい。尚、楽譜情報に含まれる画像データのページ番号を参照することで、音楽データの出力に応じて、自動でページ送りを行ってもよい。
　出力部１４は、音楽データを出力するに当たり、該音楽データのサンプリング周波数のクロックを元に処理を行う。具体的には、音楽データの出力が開始されると、出力部１４は、内部のカウンタにより、サンプリング周波数のクロックのカウントを行う。
　図６を参照して、表示される楽譜におけるカーソル位置と、カウンタの値とについて説明する。先ず、再生開始状態では、「カウンタ＝０」であるため、カーソルは、楽譜情報解析部１３より入力される演奏順序に従い、図６（ａ）に示されるように小節＃０に配置される。
　楽曲の出力が進むにつれてカウンタの値は増加していき、カウンタが小節＃１の先頭の拍＃５のサンプル数である１４９７６０に達する場合、楽譜情報解析部１３より入力される演奏順序に従い、図６（ｂ）に示されるようにカーソルは小節＃１へと移動する。更に、楽曲の出力が進み、カウンタ値が小節＃２の先頭の拍＃９のサンプル数である２４９９８７に達する場合、楽譜情報解析部１３より入力される演奏順序に従い、図６（ｃ）に示されるようにカーソルは小節＃２へと移動する。以下、同様にカウンタが次の小節の先頭の拍のサンプル数に達する場合、カーソルを該当する小節に移動する。
　尚、カーソルの移動は、楽譜情報解析部１３より入力される演奏順序に従って行われるため、反復記号により、次の演奏小節が画像において隣接して表示される次の小節とは異なる場合であっても、適切な演奏小節へとカーソルの移動が行われる。
　（５）効果の説明
　以上、説明した動作によれば、情報処理装置１は、楽曲を含む音楽データと、該楽曲の楽譜を含む画像データとに対して、両者を同期させて出力される音楽データ位置に対応する画像データ中の楽譜位置をユーザに適切に報知することが出来る。
　特に、情報処理装置１は、楽曲の拍及び小節などの楽曲情報、並びに楽譜における小節の領域、及び演奏順などを含む楽譜情報を夫々解析することで、ＭＩＤＩデータのような演奏に関連する情報を有さない音声情報と画像情報とに対しても上述の同期出力を実現出来る。
　このため、例えば、楽曲の音楽データとして市販のＣＤなどに記録される音声情報であるＰＣＭデータや、パソコンで使用されるＷＡＶＥデータを用い、楽譜の画像データとして市販される楽譜を画像ファイルに変換したものなどを用いても、音楽データと画像データを同期させて出力することが出来る。
　図７に示される電子楽譜表示装置２は、上述した情報処理装置１を備える装置の一具体例である。電子楽譜表示装置２は、楽譜の表示のためのディスプレイ２１、楽曲の出力のためのスピーカ２２、ユーザによる操作を入力するための再生ボタン部２３、及び音楽データ及び画像データを入力するための入力インタフェース２４を備える。
　かかる構成を備える電子楽譜表示装置２によれば、ユーザに対し、音楽データをスピーカ２２より出力することで楽曲を受聴させつつ、画像データをディスプレイ２１に表示させるとともに、楽曲の出力位置に相当する部位を強調表示することで、認識させることが出来る。
　このため、ユーザは、スピーカから出力される楽曲を聞きながら、出力部位に相当する楽譜又は歌詞などの関連情報を確認出来、演奏の手本などとすることが出来る。
　情報処理装置１は、音楽データと画像データとの同期のためのカウンタを、音楽データのサンプル数に基づいて動作させていた。しかしながら、例えば音楽データの再生時間など、音楽データの各拍の位置を特定可能なその他の何らかの情報を用いて同期を行ってもよい。
　情報処理装置１では、ＭＩＤＩデータを音楽データとして用いてもよい。ＭＩＤＩデータをＷＡＶＥデータに変換し、該ＷＡＶＥデータを楽曲情報解析部１１において解析する態様であってもよく、また、ＭＩＤＩデータに含まれる楽曲の拍及び小節についての情報であるノートオンメッセージから楽曲情報を取得する態様であってもよい。尚、ＭＩＤＩデータの再生では、ＷＡＶＥデータなどで用いられるサンプリング周波数のクロックの代わりに、特有のＭＩＤＩクロックに基づいて行われる。
　情報処理装置１では、ＭＩＤＩデータから楽譜を作成したものを画像データとして使用してもよい。ＭＩＤＩデータから作成した楽譜を画像データに変換してから楽譜情報の解析を行う態様であってもよく、他方で、ＭＩＤＩデータから楽譜を作成する際に既知となる五線の位置、小節線の位置の情報を用いて、楽譜情報における五線領域及び小節線の位置座標を取得する態様であってもよい。尚、ＭＩＤＩデータから楽譜を作成する場合、規格上、反復記号に示されるリピート部分などは実際の演奏順に展開されて作成されるため、演奏順情報は小節を順番に演奏するものとなる。
　（６）変形例
　図８を参照して、本実施例における情報処理装置１の変形例である情報処理装置１’の構成と動作について説明する。図８は、情報処理装置１’の基本的な構成を示すブロック図である。情報処理装置１’は、音楽データ入力部１０、画像データ入力部１２及び出力部１４を備えて構成される。尚、図８に示される情報処理装置１’について、図１に示される情報処理装置１と同様の構成については、同一の番号を付して説明を省略することがある。また、情報処理装置１’は、楽曲情報解析装置２及びが楽譜情報解析装置３と連携して動作を行う。
　音楽データ入力部１０は、楽曲を含む音楽データの入力を受け、出力部１４へと供給する。画像データ入力部１２は、楽譜などが記載される画像データの入力を受け、出力部１４へと供給する。出力部１４は、入力される音楽データ及び画像データを、後述する楽曲情報解析装置２から供給される楽曲情報、及び楽譜情報解析装置３より供給される楽譜情報に基づいて、楽曲と楽譜とを同期させて出力を行う。
　楽曲情報解析装置２は、情報処理装置１’の外部に設けられる装置であって、楽曲を含む音楽データの入力を受け、例えば情報処理装置１における楽曲情報解析部１１と同様の手法によって音楽データの解析を行い、楽曲を構成する拍、小節などの楽曲情報を取得する。楽曲情報解析装置２は、楽曲の拍及び小節について解析した楽曲情報を情報処理装置１’の出力部１４に供給する。
　楽譜情報解析装置３は、情報処理装置１’の外部に設けられる装置であって、例えば情報処理装置１における楽譜情報解析部１３と同様の手法により楽譜が記載される画像データを解析し、楽譜に含まれる個々の小節を示す座標、及び各小節の演奏順序などを取得する。楽譜情報解析装置３は、取得された楽譜情報を情報処理装置１’の出力部１４へと供給する。
　変形例の情報処理装置１’によれば、例えば情報処理装置１’とは異なる構成である楽曲情報解析装置２において取得される楽曲情報と、楽譜情報解析装置３において取得される楽譜情報とに基づいて、音楽データと画像データとを同期して出力することが出来る。このような構成によれば、情報処理装置１'の内部において音楽データ及び画像データの解析を行うことなく、外部より供給される情報に基づいてデータの同期を行うことが可能となる。
　本発明は、上述した実施例に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨または思想に反しない範囲で適宜変更可能であり、そのような変更を伴なう情報処理装置及び方法並びにコンピュータプログラムなどもまた本発明の技術的範囲に含まれるものである。
１　情報処理装置、
２　電子楽譜表示装置、
１０　音楽データ入力部、
１１　楽曲情報解析部、
１２　画像データ入力部、
１３　楽譜情報解析部、
１４　出力部。

Claims (11)

  1. 　音楽データに含まれる楽曲中の所定の位置を示す情報を取得する楽曲情報取得手段と、
    　画像データに記載される楽譜中の所定の位置を示す情報を取得する楽譜情報取得手段と、
    　前記楽曲中の所定の位置を示す情報と前記楽譜中の所定の位置を示す情報とに基づいて、前記音楽データに含まれる前記楽曲と前記画像データに記載される前記楽譜とを同期させる同期情報を生成する同期手段と
    　を備えることを特徴とする情報処理装置。
  2. 　前記音楽データに含まれる楽曲を出力する出力手段と、
    　前記画像データに記載される前記楽譜を表示する表示手段とを更に備え、
    　前記表示手段は、前記同期情報に基づいて、前記楽曲の出力位置に応じて前記画像データの表示位置又は表示内容を決定することを特徴とする請求項１に記載の情報処理装置。
  3. 　前記楽曲中の所定の位置を示す情報は、前記音楽データを出力する際の前記楽曲中の各小節の時系列的な位置を示す情報であることを特徴とする請求項１又は２に記載の情報処理装置。
  4. 　前記楽譜中の所定の位置を示す情報は、前記画像データに記載される楽譜における各小節の位置座標を示す情報であることを特徴とする請求項３に記載の情報処理装置。
  5. 　前記楽譜情報取得手段は、前記楽譜に含まれる反復記号に基づいて、前記小節の演奏順を取得することを特徴とする請求項４に記載の情報処理装置。
  6. 　前記楽曲中の所定の位置を示す情報は、前記音楽データを出力する際の前記楽曲中の各拍の時系列的な位置を示す情報であることを特徴とする請求項１又は２に記載の情報処理装置。
  7. 　前記楽譜中の所定の位置を示す情報は、前記画像データに記載される楽譜における各音符の位置座標及び前記音符の演奏順を示す情報であることを特徴とする請求項６に記載の情報処理装置。
  8. 　前記楽曲情報取得手段は、前記音楽データを解析することで、前記楽曲中の所定の位置を示す情報を取得することを特徴とする請求項１に記載の情報処理装置。
  9. 　前記楽譜情報取得手段は、前記画像データを解析することで、前記楽譜中の所定の位置を示す情報を取得することを特徴とする請求項１に記載の情報処理装置。
  10. 　音楽データに含まれる楽曲中の所定の位置を示す情報を取得する楽曲情報取得工程と、
    　画像データに記載される楽譜中の所定の位置を示す情報を取得する楽譜情報取得工程と、
    　前記楽曲中の所定の位置を示す情報と前記楽譜中の所定の位置を示す情報とに基づいて、前記音楽データに含まれる前記楽曲と前記画像データに記載される前記楽譜とを同期させる同期情報を生成する同期工程と
    　を備えることを特徴とする情報処理方法。
  11. 　情報処理装置を動作させるためのコンピュータプログラムであって、
    　音楽データに含まれる楽曲中の所定の位置を示す情報を取得する楽曲情報取得工程と、
    　画像データに記載される楽譜中の所定の位置を示す情報を取得する楽譜情報取得工程と、
    　前記楽曲中の所定の位置を示す情報と前記楽譜中の所定の位置を示す情報とに基づいて、前記音楽データに含まれる前記楽曲と前記画像データに記載される前記楽譜とを同期させる同期情報を生成する同期工程と
    　を前記情報処理装置に実行させることを特徴とするコンピュータプログラム。
PCT/JP2010/056386 2010-04-08 2010-04-08 情報処理装置及び方法、並びにコンピュータプログラム WO2011125204A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/056386 WO2011125204A1 (ja) 2010-04-08 2010-04-08 情報処理装置及び方法、並びにコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/056386 WO2011125204A1 (ja) 2010-04-08 2010-04-08 情報処理装置及び方法、並びにコンピュータプログラム

Publications (1)

Publication Number Publication Date
WO2011125204A1 true WO2011125204A1 (ja) 2011-10-13

Family

ID=44762190

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/056386 WO2011125204A1 (ja) 2010-04-08 2010-04-08 情報処理装置及び方法、並びにコンピュータプログラム

Country Status (1)

Country Link
WO (1) WO2011125204A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012185340A (ja) * 2011-03-07 2012-09-27 Casio Comput Co Ltd 楽譜情報生成装置および楽音情報生成プログラム
JP2012185341A (ja) * 2011-03-07 2012-09-27 Casio Comput Co Ltd 楽音生成制御装置および楽音生成制御プログラム
JP2012220549A (ja) * 2011-04-05 2012-11-12 Casio Comput Co Ltd 楽音生成制御装置および楽音生成制御プログラム
JP2013019975A (ja) * 2011-07-08 2013-01-31 Casio Comput Co Ltd 楽音生成制御装置および楽音生成制御プログラム
JP2016014892A (ja) * 2015-09-17 2016-01-28 カシオ計算機株式会社 楽譜情報生成装置、楽譜情報生成方法及びプログラム
CN114117117A (zh) * 2020-08-25 2022-03-01 北京金铎领创智能科技有限公司 一种基于区域标注的音乐课本乐谱数字化跟踪方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06202623A (ja) * 1992-12-28 1994-07-22 Casio Comput Co Ltd 楽譜表示装置
JPH0736455A (ja) * 1993-07-22 1995-02-07 Nec Corp 音楽イベントインデックス作成装置
JPH10334179A (ja) * 1998-06-22 1998-12-18 Yamaha Corp 楽譜認識装置
JP2009031486A (ja) * 2007-07-26 2009-02-12 Yamaha Corp 演奏音の類似度を評価する方法、装置およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06202623A (ja) * 1992-12-28 1994-07-22 Casio Comput Co Ltd 楽譜表示装置
JPH0736455A (ja) * 1993-07-22 1995-02-07 Nec Corp 音楽イベントインデックス作成装置
JPH10334179A (ja) * 1998-06-22 1998-12-18 Yamaha Corp 楽譜認識装置
JP2009031486A (ja) * 2007-07-26 2009-02-12 Yamaha Corp 演奏音の類似度を評価する方法、装置およびプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012185340A (ja) * 2011-03-07 2012-09-27 Casio Comput Co Ltd 楽譜情報生成装置および楽音情報生成プログラム
JP2012185341A (ja) * 2011-03-07 2012-09-27 Casio Comput Co Ltd 楽音生成制御装置および楽音生成制御プログラム
JP2012220549A (ja) * 2011-04-05 2012-11-12 Casio Comput Co Ltd 楽音生成制御装置および楽音生成制御プログラム
JP2013019975A (ja) * 2011-07-08 2013-01-31 Casio Comput Co Ltd 楽音生成制御装置および楽音生成制御プログラム
JP2016014892A (ja) * 2015-09-17 2016-01-28 カシオ計算機株式会社 楽譜情報生成装置、楽譜情報生成方法及びプログラム
CN114117117A (zh) * 2020-08-25 2022-03-01 北京金铎领创智能科技有限公司 一种基于区域标注的音乐课本乐谱数字化跟踪方法及设备

Similar Documents

Publication Publication Date Title
CN1941071B (zh) 拍子提取及检测设备和方法、音乐同步显示设备和方法
US9601029B2 (en) Method of presenting a piece of music to a user of an electronic device
WO2011125204A1 (ja) 情報処理装置及び方法、並びにコンピュータプログラム
JP2007199306A (ja) ビート抽出装置及びビート抽出方法
JP2011215358A (ja) 情報処理装置、情報処理方法及びプログラム
JP5422056B2 (ja) 楽曲情報処理装置及び方法、コンピュータプログラム並びに記録媒体
JP5151245B2 (ja) データ再生装置、データ再生方法およびプログラム
JP5012263B2 (ja) 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム
JP2013024967A (ja) 表示装置、表示装置の制御方法およびプログラム
KR101238113B1 (ko) 입력 음성의 분석을 이용한 작곡 및 기성곡 검색 시스템
JP5338312B2 (ja) 自動演奏同期装置、自動演奏鍵盤楽器およびプログラム
JP5669646B2 (ja) 演奏評価装置、電子楽器及びプログラム
JP2010008821A (ja) 曲編集支援装置およびプログラム
JP2005107332A (ja) カラオケ装置
JP2008145972A (ja) コンテンツ再生装置およびコンテンツ同期再生システム
JP2007225916A (ja) オーサリング装置、オーサリング方法およびプログラム
WO2022209557A1 (ja) 電子楽器、電子楽器の制御方法、及びプログラム
EP3086315A1 (en) Apparatus and method for editing audio information synchronized with a visual representation
JP5888295B2 (ja) 演奏情報表示装置、プログラム
JP7425558B2 (ja) コード検出装置及びコード検出プログラム
JP6127549B2 (ja) 音楽データ編集方法、当該音楽データ編集方法を実現するためのプログラムおよび音楽データ編集装置
JP2008180794A (ja) データ再生装置
JP2010204463A (ja) 音楽関連データ処理装置および音楽関連データ処理方法
JP6424907B2 (ja) 演奏情報検索方法を実現するためのプログラム、当該演奏情報検索方法および演奏情報検索装置
JP2008158335A (ja) 自動演奏装置及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10849447

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10849447

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP