WO2017057318A1 - 再生制御方法及び再生制御システム - Google Patents

再生制御方法及び再生制御システム Download PDF

Info

Publication number
WO2017057318A1
WO2017057318A1 PCT/JP2016/078369 JP2016078369W WO2017057318A1 WO 2017057318 A1 WO2017057318 A1 WO 2017057318A1 JP 2016078369 W JP2016078369 W JP 2016078369W WO 2017057318 A1 WO2017057318 A1 WO 2017057318A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
reproduction
content
data
score
Prior art date
Application number
PCT/JP2016/078369
Other languages
English (en)
French (fr)
Inventor
陽 前澤
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Priority to JP2017543408A priority Critical patent/JP6508350B2/ja
Publication of WO2017057318A1 publication Critical patent/WO2017057318A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/30—Character recognition based on the type of data
    • G06V30/304—Music notations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
    • G10G3/04—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments

Definitions

  • the present invention relates to a reproduction control method and a reproduction control system.
  • each of a plurality of positions (for example, the position of a note) on a score image is associated with a time corresponding to the position (a time starting from the beginning of the model performance sound: hereinafter, offset).
  • data indicating the correspondence between the two is embedded in digitized score data in advance.
  • it is troublesome to make such advance preparation in the case of electronic content, there is a problem that visibility (easy to see) greatly depends on the performance (resolution, refresh rate, display screen size, etc.) of the display device that displays the content.
  • Patent Document 1 discloses a technique for converting image data obtained by taking an image of a sheet of music into MIDI (Musical Instrument Digital Interface) data corresponding to a musical note sequence described in the score, If this technique is used, it can be seen that the reproduction control of the above-described exemplary performance sound can be realized by using the score of the paper medium without performing complicated work.
  • MIDI Musical Instrument Digital Interface
  • the performance tempo is different if the performer is different.
  • This is not limited to the relationship between the model performance sound of a song or the model song sound of a song and the score of those songs, and the same applies to the relationship between the reading sound of a literary work (so-called audio book) and the book of the literary work. It is.
  • the time series of the sound (performance sound) for one paper medium content such as the relationship between the model performance sound of the music and the score of the music, or the relationship between the model reading and reading of the literary work and the book of the literary work.
  • the present invention has been made in view of the above problems, for example, and an object of the present invention is to provide a technique that enables reproduction control of content such as sound using an image without performing complicated operations. To do.
  • the playback control method of the present invention is a first step of acquiring an image corresponding to a part of content, and a second step of specifying the content corresponding to the image acquired in the first step. And a third step of instructing a playback apparatus to play back the content specified in the second step.
  • the reproduction control system of the present invention reproduces reproduction of the specified content, an acquisition unit that acquires an image corresponding to a part of the content, a specification unit that specifies the content corresponding to the acquired image And an instruction unit for instructing the apparatus.
  • the content include sound data representing a time series of sounds such as a performance sound of a song, a singing sound of a song, or a reading sound of a literary work.
  • a paper a book containing music scores and literary works in which symbols (notes and characters) corresponding to each sound constituting the time series of sounds represented by the sound data are written in the order of their pronunciation.
  • symbols notes and characters
  • the content may be sound data associated with the image itself, or may be a character string representing bibliographic information related to the time series (for example, music) of the sound represented by the sound data or another image.
  • a character string representing bibliographic information related to the time series (for example, music) of the sound represented by the sound data or another image For example, when the sound data represents the performance sound of a music and the image is a captured image of the music score of the music, a character string representing the name of the music or the name of the composer may be used as the content. A portrait or photograph of the person may be used as the content. Furthermore, you may include the name of the other music composed by the said composer in the said content.
  • a sound playback device may be used as the playback device.
  • a display device may be used as the playback device.
  • the spectrum of the sound data and the first step are used in the second step.
  • the sound playback start point is identified from the spectrum of the data for describing the electronic score obtained by analyzing the acquired image, and the playback of the sound data from the playback start point is played back in the third step You may make it instruct
  • an aspect in which a database storing contents in association with images can be considered. If the content is sound data such as the performance sound of the music and the image is an image of the music score of the music, the database is easily created using existing technology (without performing complicated work). can do. This point will be clarified in the description of the embodiment of the present invention. Also, the specification of the reproduction start point can be realized simply (without performing complicated work) using the existing technology. For this reason, according to the present invention, for example, when using an electronic score, sound is generated using an image associated with a time series of sound without performing complicated preparation such as embedding various data in advance. Playback control can be performed.
  • the user of the playback control method of the present invention may freely register data in the database.
  • performance sound data of a certain musical piece and image data obtained by imaging each page of a score on a paper medium owned by itself are registered in the database.
  • the position designated in the image is acquired in the first step, and the reproduction start point is specified from the image and position acquired in the first step in the second step. Conceivable. According to such an aspect, it becomes possible to specify the reproduction start point of the sound data in detail.
  • the image after the image acquired in the first step is displayed on the display device while being synchronized with the sound reproduction by the sound reproducing device, or the image.
  • the image is a page-by-page image of a book that contains a score or a literary work
  • there is a mode of displaying the sound reproduction position such as wiping display of symbols representing each sound in synchronization with sound reproduction. It is done.
  • an aspect of providing a sound reproduction control device for executing the above reproduction control method is conceivable.
  • the following image acquisition means, identification means, and reproduction control means are configured by an electronic circuit or the like, and a reproduction control device configured by combining these three means is provided.
  • the image acquisition means acquires at least one image.
  • the specifying unit specifies content corresponding to the image acquired by the image acquiring unit.
  • the reproduction control means instructs the reproduction apparatus to reproduce the content specified by the specifying means.
  • a program for causing a computer to execute the first to third steps or a program for causing a computer to function as the image acquisition means, the specifying means, and the reproduction control means is provided.
  • FIG. 5 is a diagram for explaining processing contents of a management device 20. It is a flowchart which shows the flow of the reproduction
  • FIG. 1 is a diagram showing a configuration example of a reproduction control system 1 that reproduces sound by the reproduction control method of the present invention.
  • the reproduction control system 1 is a reproduction control system for assisting a user who practices playing a musical instrument such as a piano while looking at a score on a paper medium. As described above, there is a case where a question about a performance method such as “how should I play here?” May arise in the process of such performance practice.
  • the reproduction control system 1 of this embodiment is for solving such a question immediately.
  • the reproduction control system 1 includes a user terminal 10 used by a user who performs performance practice, and a management device 20 that communicates with the user terminal 10 via an electric communication line (not shown in FIG. 1) such as the Internet.
  • the user terminal 10 is, for example, a smartphone, and has an image capturing function, a sound reproduction function, and a communication function.
  • the management device 20 is a computer device such as a personal computer or a workstation. Although only one user terminal 10 is illustrated in FIG. 1, a plurality of user terminals 10 may be included in the playback control system 1. Similarly, a plurality of management devices 20 may be included in the reproduction control system 1. Moreover, although this embodiment demonstrates the case where the user terminal 10 and the management apparatus 20 perform wireless communication, wired communication may be sufficient.
  • the management device 20 has a management database 200 that stores information related to musical scores.
  • FIG. 2 is a diagram illustrating an example of the contents stored in the management database 200.
  • the music identifier 210 is an identifier that uniquely indicates the music. As the music identifier 210, it is conceivable to use a character string representing the name of the music or a character string representing the name of the music and the name of the composer. In addition, a character string representing a model number of a musical score or a publication code may be used as the music identifier 210. In this embodiment, as the music identifier 210, a character string representing the name of the music and the name of the composer is employed.
  • the performance sound data 220 is WAVE data representing the sound waveform of the model performance sound of the music indicated by the music identifier 210.
  • the offset data 240_n may be created using existing technology.
  • the time range occupied by the performance sound data is specified by comparing the pitch change represented by the pitch change represented by the performance sound data.
  • the start time of the time range specified for the musical score image data 230_n becomes the offset data 240_n.
  • the management device 20 transmits image data representing an image of any page of any score (hereinafter referred to as search target data) and position information indicating a pronunciation start point designated in the page via an electric communication line.
  • search target data image data representing an image of any page of any score
  • position information indicating a pronunciation start point designated in the page via an electric communication line.
  • the following processing is executed upon receipt. That is, the management device 20 specifies performance sound data corresponding to the search target data with reference to the stored contents of the management database 200 and calculates an offset corresponding to the position information. Then, the management device 20 returns offset data indicating the offset and the performance sound data to the transmission source of the search target data.
  • the position information includes the coordinates of a position specified in two-dimensional coordinates with the upper left corner of the image represented by the search target data as the origin, the horizontal scanning direction as one coordinate axis, and the vertical scanning direction as the other coordinate axis. It is information which shows.
  • the management apparatus 20 displays an image represented by the search target data received via the telecommunication line (in FIG. 3, the image is clearly indicated by a dotted line: FIG. 3 avoids making the drawing complicated. Therefore, notation of musical notes is omitted, and musical score image data representing an image that at least partially coincides with the staff (only the staff is shown) is specified. For this image comparison, an existing technique may be appropriately used.
  • FIG. 3 illustrates the case where score image data 230_K (K is a natural number in the range of 1 to N) is specified as score image data representing an image at least partially matching the image represented by the search target data. .
  • the management device 20 calculates an offset corresponding to the position information from the coordinate position A1 (see FIG. 3) indicated by the position information and the offset 240_K corresponding to the score image data 230_K.
  • the following technique may be used for calculating the offset. For example, after analyzing the score image data 230_K to identify a measure including the coordinate position A1 indicated by the position information, and further specifying the number of measures from the beginning of the score indicated by the score image data 230_K, For example, the offset corresponding to the position information is calculated by adding the performance time until the measure is reached to the offset 240_K.
  • the position coordinates and the offset in the image are associated in advance for each measure (or note) included in the image represented by the score image data 230_n.
  • the offset corresponding to the position information may be calculated by referring to the correspondence between the two.
  • the management apparatus 20 performs the offset data indicating the offset calculated in the above manner, the performance sound data 220 and the music stored in the management database 200 in association with the score image data 230_K.
  • the identifier 210 is returned to the transmission source of the search target data.
  • FIG. 4 is a flowchart showing the flow of the reproduction control method of the present embodiment.
  • the reproduction control method of the present embodiment is composed of six steps, step SA100 to step SA150. Steps SA100 to SA120 and step SA150 are steps executed in the user terminal 10, and steps SA130 and step SA140 are steps executed in the management device 20.
  • the user of the user terminal 10 picks up an image of a page including a part where the performance method is questioned among the pages constituting the score by the image pickup function of the user terminal 10. Thereby, the user terminal 10 acquires search target data (step SA100). Next, the user designates a corresponding part in the captured image (a part where the user felt doubt about the performance method) with a fingertip or the like. Thereby, the user terminal 10 acquires the position information (step SA110). The user terminal 10 transmits the search target data acquired in step SA100 and the position information indicating the position specified in step SA110 to the management apparatus 20 by the communication function (step SA120).
  • the management device 20 when receiving the search target data and the position information, the management device 20 refers to the stored contents of the management database 200 to specify the corresponding performance sound data and calculates the offset corresponding to the position information. (Step SA130), the offset data, the performance sound data, and the music identifier are returned to the user terminal 10 (Step SA140).
  • the user terminal 10 receives the performance sound data and the offset data returned from the management device 20 by the communication function, and reproduces the performance sound after the offset indicated by the offset data by the sound reproduction function (step SA150). By listening to this performance sound, the user of the user terminal 10 can eliminate the question of the performance method.
  • the user terminal 10 will be mainly described.
  • a smartphone is used as the user terminal 10, but a tablet terminal, a portable game machine, or the like may be used as the user terminal 10.
  • any computer device having an imaging function, a communication function, and a sound reproduction function can be used as the user terminal 10 of the present embodiment.
  • FIG. 5 is a diagram illustrating a configuration example of the user terminal 10.
  • the user terminal 10 includes a control unit 100, a wireless communication unit 110, a user interface (hereinafter referred to as “user I / F”) unit 120, an imaging unit 130, a storage unit 140, and between these components. It has a bus 150 that mediates data exchange.
  • the control unit 100 is, for example, a CPU (Central Processing Unit).
  • the control unit 100 functions as a control center of the user terminal 10 by executing various programs stored in the storage unit 140 (more precisely, the nonvolatile storage unit 144).
  • the wireless communication unit 110 includes an antenna and a modulation / demodulation circuit (not shown) that modulates data to be transmitted to the wireless section via the antenna and demodulates data received through the wireless section. .
  • the radio communication unit 110 demodulates the data received from the radio section by the modulation / demodulation circuit and delivers the data to the control unit 100, and modulates the data received from the control unit 100 by the modulation / demodulation circuit and sends the data to the radio section. To do.
  • the user I / F unit 120 prompts the user to input various operations for using the user terminal 10 and outputs processing results corresponding to the operations.
  • the user I / F unit 120 includes a display unit 120a, a sound reproduction unit 120b, and an operation input unit 120c.
  • the display unit 120a is, for example, a liquid crystal display and its drive circuit (none of which is shown in FIG. 5).
  • the display unit 120 a displays various screens that encourage the use of the user terminal 10 under the control of the control unit 100.
  • the sound reproduction unit 120b includes a D / A converter that performs D / A conversion on the acoustic data delivered from the control unit 100 to convert the data into an analog acoustic signal, and a speaker that radiates the analog acoustic signal as sound ( All are omitted in FIG. 5).
  • the sound reproducing unit 120b is used not only for reproducing the call voice but also for reproducing the model performance sound.
  • the operation input unit 120c is, for example, a transparent pressure-sensitive sheet, and is attached to the display surface of the display unit 120a.
  • the operation input unit 120c forms a touch panel together with the liquid crystal display of the display unit 120a.
  • the operation input unit 120c delivers position information indicating the tap position to the control unit 100.
  • the position information the upper left corner of the touch surface of the touch panel (in other words, the display surface of the display unit 120a) is the origin, the horizontal scanning method is one coordinate axis, and the vertical scanning direction is the other coordinate axis. Information indicating the coordinates of the touch position in the two-dimensional coordinates is used.
  • the imaging unit 130 is, for example, a CCD (Charge-Coupled Device) image sensor.
  • the imaging unit 130 provides the control unit 100 with image data of an image captured in response to a user operation.
  • the storage unit 140 includes a volatile storage unit 142 and a nonvolatile storage unit 144 as shown in FIG.
  • the volatile storage unit 142 is, for example, a RAM (Random Access Memory).
  • the volatile storage unit 142 is used by the control unit 100 as a work area when executing the program.
  • the non-volatile storage unit 144 is, for example, a flash ROM (Read Only Memory).
  • the non-volatile storage unit 144 stores in advance an OS (Operating System) program (not shown in FIG. 5) and a practice support program 144a.
  • OS Operating System
  • the OS program is a program for causing the control unit 100 to realize the OS.
  • the control unit 100 reads out the OS program from the nonvolatile storage unit 144 to the volatile storage unit 142 and starts executing it when the power (not shown) of the user terminal 10 is turned on or reset.
  • the control unit 100 operating according to the OS program is given an instruction to execute another program via the operation input unit 120c (such as tapping an icon indicating another program), the other unit A function to start execution of the program is given.
  • control unit 100 reads the practice support program 144a from the non-volatile storage unit 144 to the volatile storage unit 142 when triggered by the execution instruction of the practice support program 144a via the operation input unit 120c. Start execution.
  • the control unit 100 that has started the execution of the practice support program 144a first prompts the user to perform an operation that triggers the execution of each process of Step SA100 and Step SA110 described above.
  • the control unit 100 that has started the execution of the practice support program 144a displays a message such as “Please capture the score of an unknown part” on the display unit 120a in order to prompt an operation that triggers the execution of step SA100.
  • the control unit 100 causes the display unit 120a to display a message “tap an unknown part” to prompt an operation that triggers the execution of step SA110.
  • an operation that triggers the execution of each process of Step SA100 and Step SA110 is urged. It may be an aspect that appeals to hearing.
  • step SA110 When the process of step SA110 is completed, the control unit 100 executes the process of step SA120 described above.
  • the communication destination identifier is used as information indicating the transmission destination of the search target data in step SA120.
  • the control part 100 performs the process of step SA150 triggered by reception of the data returned from the management apparatus 20.
  • performance sound data, music identifier, and offset data are returned from the management device 20.
  • the control unit 100 first displays the reproduction availability selection screen shown in FIG. 6A on the display unit 120a, and inquires the user whether or not the exemplary performance sound can be reproduced.
  • a music identifier (indicated as XXX in FIG. 6 (a)) and a virtual operation for instructing play permission (FIG. 6 (a)).
  • a Yes button and a virtual operator (No button in the example shown in FIG. 6A) for instructing non-permission are displayed.
  • the user who has visually recognized the playability selection screen shown in FIG. 6 (a) grasps whether or not the model performance sound to be played from the song identifier is the song being practiced by referring to the song identifier. can do. Then, the user instructs reproduction permission if the music is being practiced (in this embodiment, taps the Yes button), and instructs the disapproval if the music is not being practiced (in this embodiment, Tap the No button).
  • step SA150 When the operation for instructing the reproduction permission is performed, the control unit 100 executes the process of step SA150 described above. Thereby, the model performance sound after the reproduction start point designated by the tap operation described above is reproduced, and the user of the user terminal 10 can immediately solve the question of the performance method.
  • the control unit 100 ends the execution of the practice support program 144a without executing the process of step SA150.
  • 6A is displayed on the display unit 120a to inquire the user whether or not the model performance sound can be played back when the specific content in the management device 20 is wrong. This is to avoid the reproduction of the model performance sound.
  • the display of the playback selection screen is not an essential process and may be omitted. In an aspect in which the display of the reproduction permission / inhibition selection screen is omitted, it is only necessary to cause the control unit 100 to immediately execute the process of step SA150 when receiving the return data from the management device 20.
  • the song identifier, performance sound data, and offset data are returned to the management device 20 as reply data for the image data and position information received from the user terminal 10.
  • a data identifier for example, URL
  • indicating the performance sound data and offset data and a music identifier may be returned to the management apparatus 20, and in this case, as shown in FIG.
  • a playback availability selection screen shown in FIG. 6B may be displayed on the user terminal 10.
  • the data identifier (indicated as YYYY in FIG. 6B) is displayed in place of the above-mentioned Yes button and No button on the reproduction allowance selection screen shown in FIG. 6B.
  • FIG. 6B shows that a hyperlink is set for the data identifier by adding an underline to the data identifier.
  • the user who visually recognizes the reproduction permission / inhibition selection screen shown in FIG. 6B can instruct permission to reproduce the exemplary performance sound by tapping the data identifier, and can select reproduction permission without tapping the data identifier. It is possible to instruct the reproduction not permitted by closing the screen.
  • the control unit 100 of the user terminal 10 downloads data corresponding to the data identifier from the management device 20, and executes the process of step SA150 according to the data. According to such an aspect, it is possible to prevent the performance sound data specified by mistake from being downloaded from the management device 20 to the user terminal 10 in advance.
  • the practice support program 144a is pre-installed in the user terminal 10 and the management database 200 is stored in the management device 20 in advance.
  • the installation of the practice support program 144a and the creation of the management database 200 are not complicated operations compared to the operation of modifying digitized score data. That is, according to the present embodiment, an image (an image of each page of the music published on a paper medium) associated with a time series of sounds (exemplary performance sound of a music) is used without performing complicated work. This makes it possible to control playback of the sound in time series.
  • the visibility (easy to see) of the score depends on the performance of the display device (resolution, refresh rate, width of display surface), so the performance is low.
  • the display device may interfere with practice.
  • the score printed on paper is used, such a problem does not occur.
  • a player identifier for example, a character string indicating the name of the performer
  • the user of the user terminal 10 is designated in advance by the user of the user terminal 10 when transmitting the search target data, and in step SA120, the player identifier is transmitted to the user terminal 10 together with the search target data and position information.
  • step SA130 the performance data 220 corresponding to the performer identifier is selected, and the management apparatus 20 is caused to perform a process of calculating the offset of the reproduction start point using the offset data 240_n corresponding to the performer identifier. You can do that.
  • the time series of the sound in the above embodiment is the model performance sound of the music, but it may be the model song sound of the song. If the model singing voice is adopted as the time series of the sound, the reproduction control method of the present invention can be used for singing practice support.
  • the time series of sounds in the present invention is not limited to music performance sounds and singing sounds, but may be recitation sounds of literary works (so-called audio books). When an audio book is used as a sound time series, an image for each page of a book in which the literary work is recorded may be used as one or a plurality of images associated with the sound time series.
  • one or a plurality of images associated with time-series data representing a sound time-series are symbols corresponding to the sounds constituting the sound time-series, such as a score page image or a book page image. It is not limited to the image for each page of the paper in which the musical notes are written in the order of their pronunciation.
  • a moving image such as a movie screen of a movie or a computer game, or an array of screen shots of each scene may be associated with the sound of the movie or game or BGM.
  • the data about the score is registered in advance by the management company of the management device 20.
  • the user of the user terminal 10 may be allowed to register the data about the paper score owned by the user terminal 10 in the management database 200, and the score published by the company that publishes the paper score or the score published by the company. May be registered in the management database 200. According to such an aspect, it is possible to perform sound reproduction control using a score already published on a paper medium or a score published on a paper medium in the future.
  • the performance data representing the performance sound of the user is associated with the music identifier instead of the performance sound data representing the model performance sound. 200 may be stored.
  • the teacher needs guidance such as a highly difficult part using the user terminal 10 of the embodiment. Then, it is possible to specify a place to be estimated and to confirm the performance sound only in the place, and to perform guidance efficiently.
  • performance sound data etc.
  • the user terminal 10 used by the teacher is set as the transmission destination.
  • the user registers his / her performance sound in the management database 200, and transmits the musical score image data at the location where the performance method is questioned to the management apparatus 20 as search target data.
  • the teacher's user terminal 10 receives performance sound data including a portion where the user has played while doubting the performance method from the management device 20, and the teacher listens to the performance sound represented by the performance sound data.
  • the user's questions can be grasped specifically, and an accurate advice can be given.
  • the user images any page of the score of the musical composition subject to performance practice, and taps any position in the captured image to start reproduction of the performance sound.
  • a point was specified.
  • a predetermined position for example, the upper left corner or the center
  • the tap operation is not necessary.
  • the management database 200 is stored in the nonvolatile storage unit 144 of the user terminal 10 and the control unit 100 of the user terminal 10 is caused to execute the process of step SA130, the processes of step SA120 and step SA140 are also unnecessary. It is. That is, each of the processes of steps SA110, SA120, and SA140 in FIG. 4 can be omitted, and the sound reproduction control method of the present invention should include at least the following first to third steps.
  • the first step is a step of acquiring one image of one or a plurality of images associated with a sound time series
  • step SA100 in FIG. 4 corresponds to the first step.
  • the second step the stored contents of the database (the management database 200 in the above embodiment) in which the time series of sounds and one or more images associated with the time series of the sounds are stored in association with each other are stored in the first step.
  • the sound reproduction start point is identified from the acquired image, and step SA130 in FIG. 4 corresponds to the second step.
  • the third step is a step of instructing the sound reproduction device (in the above embodiment, the sound reproduction unit 120b) to reproduce the time series of the sound from the reproduction start point.
  • the process of step SA150 in FIG. This corresponds to the third step.
  • One or a plurality of images associated with a time series of sounds may be displayed on the display device in synchronization with the sound reproduction from the reproduction start point. Specifically, in synchronization with the sound reproduction, the image after the image corresponding to the reproduction start point is displayed on the display device.
  • the image of the score on and after the page corresponding to the playback start point in synchronization with the playback of the model performance sound and model singing sound May be displayed sequentially on the display device, and the playback position of the sound may be displayed in synchronization with the playback of the sound (for example, wipe display of characters representing notes and lyrics).
  • the playback position of the sound may be displayed in synchronization with the playback of the sound (for example, wipe display of characters representing notes and lyrics).
  • the practice support program 144 a is stored in advance in the nonvolatile storage unit 144 of the user terminal 10.
  • the practice support program 144a may be distributed by being written on a computer-readable recording medium such as a CD-ROM (Compact Disk-Read Memory) or may be distributed by downloading via a telecommunication line. This is because by operating a general computer in accordance with the practice support program 144a distributed in this manner, the computer can function as the user terminal 10 of the above-described embodiment.
  • the control unit 100 analyzes the acquired image, and stores data for describing an electronic score (for example, data in MusicXML format) in the storage unit 140. Further, the positional relationship between the image coordinates of the score and the data for describing the electronic score is associated. Meanwhile, the control unit 100 acquires performance sound data 220 corresponding to the electronic score from the management database 200.
  • the offset corresponding to each score page is specified by comparing the spectrum data obtained by performing spectrum analysis on the performance sound data of the song represented by the song identifier and the spectrum data of each score page. It is.
  • the performance sound data of the music indicated by the music identifier is stored in association with the music identifier, but the performance sound data may be omitted. This is because if the music identifier can be specified, performance sound data can be obtained from another computer or the like using the music identifier.
  • not only sound data but also moving image data indicating a performance method may be used as the content. Further, it is possible to display only the music title specified from the image of the score, or to display the link destination to the sound data or the moving image data indicating the performance method.
  • the reproduction control system 1 in the modification includes a management device 20 and a user terminal 10.
  • the management device 20 acquires music data, for example.
  • the music data may be stored, for example, in the database 200 of the management device 20, or may be stored in an external database or the like.
  • the content is sound data and the sound data corresponding to the score is specified by imaging a part of the score will be described as an example. It is not a thing.
  • the user terminal 10 includes an imaging unit 130 and a user I / F unit 120 as in the above embodiment.
  • the imaging unit 130 receives a musical score corresponding to the content (for example, a part of one page of a musical score which is a paper medium or one page of a musical score displayed on the display) in response to a user operation instruction to the user I / F unit 120.
  • the captured image acquired by the imaging unit 130 is displayed on the display unit 120 a of the user terminal 10.
  • the user terminal 10 transmits the image displayed on the display unit 120a to the management device 20 according to the user's designation. Specifically, for example, the user acquires an image representing a part of a desired score by moving the user terminal 10 with respect to the score.
  • the image showing a part of the said desired score is transmitted to the management apparatus 20 according to a user's instruction
  • the user terminal 10 asks the user to take an image so that a lot of information is included in the performance progression direction of the score, that is, when the taken image is a rectangular shape, the user takes a horizontally long image. It may be configured to prompt. For example, a message for the user to take a horizontally long image is displayed. Thereby, a plurality of continuous notes included in the captured image can be acquired, and comparison of sound data described later can be performed more easily.
  • the user may specify a position in the image displayed on the display unit 120a, and the user terminal 10 may be configured to acquire position information representing the position.
  • the position corresponds to, for example, a content reproduction start position (for example, a position where reproduction of sound data corresponding to a score starts) or a reproduction end position (for example, a position where reproduction of sound data corresponding to a score ends).
  • the position information is transmitted to the management device 20 in accordance with a user instruction.
  • the position information may be transmitted at the same time as the image, or may be configured to be transmitted at different timings.
  • the management device 20 acquires sound data corresponding to a part of the score based on the image acquired from the user terminal 10 (an image representing a part of the score). Specifically, for example, when the image (an image representing a part of a score) includes a plurality of stages composed of a plurality of bars, sound data corresponding to one or a plurality of stages is acquired. Etc. And the management apparatus 20 compares the sound data memorize
  • the management device 20 transmits the specified sound data and position information indicating the specified position to the user terminal 10.
  • the user terminal 10 reproduces the sound data.
  • the user terminal 10 is configured to reproduce from the portion represented by the position information in the acquired sound data. For example, when the user designates the reproduction start position and the reproduction end position as described above, the sound data is reproduced and stopped based on the reproduction start position and the reproduction end position. You may comprise.
  • the management device 20 may be configured to transmit all of the specified sound data to the user terminal 10, or a part necessary for reproduction according to the position information, the reproduction start position, the reproduction end position, etc. Only sound data may be transmitted to the user terminal 10.
  • the present invention is not limited to the above-described embodiment and the modifications (1) to (8), but is substantially the same as the configuration shown in the above-described embodiment, the configuration having the same operational effects, or the same. It may be replaced with a configuration capable of achieving the purpose.
  • the above-described embodiment and modifications (1) to (8) may be used in combination as long as they do not contradict each other.
  • the acquisition unit in the claims mainly corresponds to, for example, the imaging unit 130, and the specifying unit and the instruction unit are included in the management device 20.
  • the instruction unit may have a different configuration as long as it is included in the reproduction control system 1.

Abstract

再生制御方法であって、コンテンツの一部に対応する画像を取得する第１のステップと、前記第１のステップにて取得された画像に対応する前記コンテンツを特定する第２のステップと、前記第２のステップにて特定された前記コンテンツの再生を再生装置に指示する第３のステップと、を含むことを特徴とする。

Description

再生制御方法及び再生制御システム
　本発明は、再生制御方法及び再生制御システムに関する。
　詩歌や小説などの文芸作品を収録した書籍、或いは楽譜など、従来は紙媒体で出版されていたコンテンツの電子化が普及している。電子化されたコンテンツは、紙媒体のコンテンツにはない長所を有する場合がある。例えば、スマートフォンに表示された電子楽譜を見ながら楽曲の演奏練習を行う場合、「ここはどのように弾いたら良いのだろう？」といった演奏方法についての疑問が生じた場合に、予め録音しておいた模範演奏音を再生ソフトウェアで再生し、上記疑問を即座に解消できる、といった具合である。
特開２００３－１５６４１号公報
　ところで、電子化された楽譜に対するタップ操作等により指定された再生開始点から模範演奏音を再生するような再生制御を実現するには、以下のような事前準備を行っておく必要がある。すなわち、楽譜画像上の複数の位置（例えば、音符の位置など）の各々と当該位置に対応する時刻（模範演奏音の先頭を起算点とする時刻：以下、オフセット）とを予め対応付けておき、両者の対応関係を示すデータを電子化された楽譜のデータに予め埋め込んでおくのである。しかし、このような事前準備を行わねばならないことは煩雑である。また、電子化されたコンテンツの場合、視認性（見易さ）がコンテンツを表示する表示装置の性能（解像度やリフレッシュレート、表示面の大きさなど）に大きく依存するといった問題もある。このため、紙媒体で出版された楽譜を用いて上記のような再生制御、すなわち、楽譜上で指定された再生開始点から模範演奏音を再生することができると便利である。特許文献１には、楽譜の紙面を撮像することで得られた画像データを、その楽譜に記された音符列に対応するＭＩＤＩ（Musical Instrument Digital Interface）データに変換する技術が開示されており、この技術を用いれば、煩雑な作業を行うことなく、紙媒体の楽譜を用いて上記模範演奏音の再生制御を実現できるかに見える。
　しかし、同じ楽譜であっても演奏者が異なれば演奏テンポが異なる等、楽譜から一意に模範演奏音が得られる訳ではない。これは、楽曲の模範演奏音や歌唱曲の模範歌唱音とそれらの曲の楽譜との関係に限らず、文芸作品の朗読音声（所謂オーディオブック）とその文芸作品の書籍との関係においても同様である。つまり、楽曲の模範演奏音とその楽曲の楽譜の関係、或いは文芸作品の模範朗読音声とその文芸作品の書籍の関係のように、１つの紙媒体のコンテンツに対して音の時系列（演奏音や朗読音声）が１または複数関連付けられる場合には、当該コンテンツの頁毎の画像を用いて、音の再生制御を簡便に実現する技術は従来無かった。
　本発明は、例えば、上記課題に鑑みて為されたものであり、煩雑な作業を行うことなく、画像を用いて音等のコンテンツの再生制御を行えるようにする技術を提供することを目的とする。
　本発明の再生制御方法は、ある態様において、コンテンツの一部に対応する画像を取得する第１のステップと、前記第１のステップにて取得された画像に対応する前記コンテンツを特定する第２のステップと、前記第２のステップにて特定された前記コンテンツの再生を再生装置に指示する第３のステップと、を含むことを特徴とする。
　本発明の再生制御システムは、コンテンツの一部に対応する画像を取得する取得部と、前記取得された画像に対応する前記コンテンツを特定する特定部と、前記特定された前記コンテンツの再生を再生装置に指示する指示部と、を含むことを特徴とする。
　また、本発明は他の態様において、少なくとも１つの画像を取得する第１のステップと、第１のステップにて取得された画像に対応するコンテンツを特定する第２のステップと、第２のステップにて特定されたコンテンツの再生を再生装置に指示する第３のステップと、を含むことを特徴とする再生制御方法、を提供する。コンテンツの具体例としては、楽曲の演奏音や歌唱曲の歌唱音、或いは文芸作品の朗読音声などの音の時系列を表す音データが挙げられる。また、上記画像の具体例としては、当該音データの表す音の時系列を構成する各音に対応する記号（音符や文字）がその発音順に記された紙面（楽譜や文芸作品を収録した書籍）の頁毎の画像が挙げられる。例えば、上記第１のステップの具体的な態様としては、上記紙面の何れかの頁を撮像装置により撮像することで画像を取得する態様が考えられる。
　上記コンテンツは、画像に関連付けられた音データそのものであっても良く、当該音データの表す音の時系列（例えば、楽曲等）に関する書誌情報を表す文字列や他の画像であっても良い。例えば、上記音データが楽曲の演奏音を表し、上記画像が当該楽曲の楽譜の撮像画像である場合には、当該楽曲の名称や作曲者名を表す文字列を上記コンテンツとしても良く、当該作曲者の肖像画や写真の画像を上記コンテンツとしても良い。さらに、当該作曲者により作曲された他の楽曲の名称を上記コンテンツに含めても良い。なお、上記コンテンツが音データである場合には、上記再生装置として音再生装置を用いれば良く、上記コンテンツが文字列又は画像である場合には上記再生装置として表示装置を用いれば良い。
　上記コンテンツとして楽曲の演奏音の音データを採用するとともに上記画像として当該楽曲の紙媒体の楽譜の撮像画像を用いる場合には、上記第２のステップでは、音データのスペクトルと第１のステップにて取得された画像を解析して得られる電子楽譜を記述するためのデータのスペクトルとから音の再生開始点を特定し、上記第３のステップでは当該再生開始点からの音データの再生を再生装置に指示するようにしても良い。このような態様によれば、以下の効果が奏される。すなわち、紙媒体の楽譜を見ながら上記楽曲の演奏練習を行っている間に「ここはどのように弾いたら良いのだろう？」といった演奏方法についての疑問が練習者に生じたとしても、該当箇所を撮像して本発明の再生制御方法を利用することで、例えば、練習者は該当箇所の模範演奏音を即座に聴くことができ、上記疑問を解消することができる。
　本発明の別の態様としては、画像と対応づけてコンテンツを記憶したデータベースを構築しておく態様が考えられる。当該コンテンツが楽曲の演奏音等の音データであり、上記画像が当該楽曲の楽譜の画像である場合には、このデータベースについては既存技術を用いて簡便に（煩雑な作業を行うことなく）作成することができる。この点については本発明の実施形態の説明において明らかにする。また、上記再生開始点の特定についても既存技術を用いて簡便に（煩雑な作業を行うことなく）実現することができる。このため、本発明によれば、例えば、電子化された楽譜を用いる場合のように、各種データを予め埋め込むといった煩雑な事前準備を行うことなく、音の時系列が関連付けられる画像を用いて音の再生制御を行えるようになる。
　また、本発明の再生制御方法の利用者が、上記データベースに自由にデータを登録できるようにしても良い。例えば、ある楽曲の演奏音データと自身の所有する紙媒体の楽譜の各頁を撮像して得られる画像データとを上記データベースに登録するといった具合である。このような態様によれば、現時点までに紙媒体で出版された楽譜を有効に利用することが可能になる。俳優等による文芸作品の朗読音声とその文芸作品の書籍についても同様である。
　より好ましい態様においては、第１のステップにおいては画像内で指定された位置を取得し、第２のステップでは、第１のステップにて取得された画像および位置から再生開始点を特定する態様が考えられる。このような態様によれば音データの再生開始点をきめ細かく指定することが可能になる。さらに別の好ましい態様としては、第３のステップにおいて、音再生装置による音の再生と同期させつつ、第１のステップにて取得された画像以降の画像を表示装置に表示させる態様や、上記画像が、楽譜や文芸作品を収録した書籍の頁毎の画像である場合には音の再生に同期させて各音を表す記号のワイプ表示を行わせる等の音の再生位置を表示する態様が考えられる。
　本発明の別の態様としては、上記再生制御方法を実行する音の再生制御装置を提供する態様が考えられる。具体的には、以下の画像取得手段、特定手段および再生制御手段を電子回路等で構成し、これら３つの手段を組み合わせて構成した再生制御装置を提供する。画像取得手段は、少なくとも１つの画像を取得する。特定手段は、画像取得手段により取得された画像に対応するコンテンツを特定する。そして、再生制御手段は、特定手段により特定されたコンテンツの再生を再生装置に指示する。
　また、本発明のさらに別の態様としては、上記第１～第３のステップをコンピュータに実行させるプログラム、或いはコンピュータを上記画像取得手段、上記特定手段および再生制御手段として機能させるプログラムを提供する態様が考えられる。このような態様によれば、一般的なコンピュータに本発明の再生制御方法を実行させること、すなわち当該コンピュータを本発明の再生制御装置として機能させること、が可能になる。
本発明の再生制御方法により音の再生を行う再生制御システム１の構成例を示す図である。 再生制御システム１の管理装置２０に予め記憶されている管理データベース２００の一例を示す図である。 管理装置２０の処理内容を説明するための図である。 本実施形態における再生制御方法の流れを示すフローチャートである。 再生制御システム１のユーザ端末１０の構成例を示す図である。 ユーザ端末１０の表示部１２０ａに表示される再生可否選択画面の一例を示す図である。
　以下、図面を参照しつつ本発明の実施形態について説明する。
　図１は本発明の再生制御方法により音の再生を行う再生制御システム１の構成例を示す図である。再生制御システム１は、紙媒体の楽譜を見ながらピアノ等の楽器の演奏練習を行うユーザを支援するための再生制御システムである。このような演奏練習の過程で「ここはどのように弾いたら良いのだろう？」といった演奏方法についての疑問が生じる場合があることは前述した通りである。本実施形態の再生制御システム１は、このような疑問を即座に解決するためのものである。再生制御システム１は、演奏練習を行うユーザの使用するユーザ端末１０と、インターネットなどの電気通信回線（図１では図示略）を介して当該ユーザ端末１０と通信する管理装置２０とを有する。
　ユーザ端末１０は、例えばスマートフォンであり、画像撮像機能、音再生機能および通信機能を有する。管理装置２０は、パーソナルコンピュータやワークステーションなどのコンピュータ装置である。図１では、ユーザ端末１０が１台だけ図示されているが、複数のユーザ端末１０が再生制御システム１に含まれていても良い。同様に複数の管理装置２０が再生制御システム１に含まれていても良い。また、本実施形態では、ユーザ端末１０と管理装置２０とが無線通信を行う場合について説明するが、有線通信であっても良い。
　管理装置２０は、楽譜に関する情報を格納した管理データベース２００を有する。図２は、管理データベース２００の格納内容の一例を示す図である。図２に示すように、管理データベース２００には、楽曲識別子２１０に対応づけて演奏音データ２２０が格納されているとともに、楽曲識別子２１０と演奏音データ２２０の組み毎に、楽譜画像データ２３０＿ｎ（ｎ＝１～Ｎ：Ｎは１以上の整数）とオフセットデータ２４０＿ｎとが格納されている。
　楽曲識別子２１０は、楽曲を一意に示す識別子である。楽曲識別子２１０としては、楽曲の名称を表す文字列や、楽曲の名称とその作曲者の氏名とを表す文字列を用いることが考えられる。また、楽譜の型番や出版コードを表す文字列を楽曲識別子２１０として用いても良い。本実施形態では楽曲識別子２１０として、楽曲の名称および作曲者の氏名を表す文字列が採用されている。演奏音データ２２０は、楽曲識別子２１０の示す楽曲の模範演奏音の音波形を表すＷＡＶＥデータである。楽譜画像データ２３０＿ｎ（ｎ＝１～Ｎ）の各々は、上記楽譜の第ｎ頁をデジタルカメラ等により撮像して得られる画像の画像データであり、オフセットデータ２４０＿ｎは、第ｎ頁の先頭小節の先頭の音符に対応する音のオフセットを示すデータである。なお、楽譜画像データおよびオフセットデータの個数Ｎは楽曲毎に異なる場合がある。
　オフセットデータ２４０＿ｎについては既存技術を用いて作成すれば良い。例えば特許文献１に開示の技術を用いる場合には、楽譜画像データ２３０＿ｎ（ｎ＝１～Ｎ）の各々を当該技術を用いてＭＩＤＩデータに変換し、それらＭＩＤＩデータの各々について、そのＭＩＤＩデータの表す音高変化と演奏音データの表す音高変化とを対比して当該演奏音データに占める時間範囲を特定する。このようにして楽譜画像データ２３０＿ｎについて特定された時間範囲の先頭時刻が上記オフセットデータ２４０＿ｎとなる。
　管理装置２０は、何れかの楽譜の何れかの頁の画像を表す画像データ（以下、検索対象データ）と当該頁内で指定された発音開始点を示す位置情報とを電気通信回線を介して受け取ったことを契機として以下の処理を実行する。すなわち、管理装置２０は、検索対象データに対応する演奏音データを管理データベース２００の格納内容を参照して特定するとともに、上記位置情報に対応するオフセットを算出する。そして、管理装置２０は、上記オフセットを示すオフセットデータと上記演奏音データとを検索対象データの送信元へ返信する。本実施形態における上記位置情報は、上記検索対象データの表す画像の左上隅を原点とし、水平走査方向を一方の座標軸、垂直走査方向を他方の座標軸とする二次元座標において指定された位置の座標を示す情報である。
　より詳細に説明すると、管理装置２０は、電気通信回線を介して受信した検索対象データの表す画像（図３では、点線で当該画像を明示：なお、図３では図面が煩雑になることを避けるため音符の表記を省略し、五線のみを図示）と少なくとも一部が一致する画像を表す楽譜画像データを特定する。この画像比較についても既存の技術を適宜用いるようにすれば良い。図３では、検索対象データの表す画像と少なくとも一部が一致する画像を表す楽譜画像データとして、楽譜画像データ２３０＿Ｋ（Ｋは１～Ｎの範囲の自然数）が特定された場合について例示されている。
　次いで、管理装置２０は、位置情報の示す座標位置Ａ１（図３参照）と、楽譜画像データ２３０＿Ｋに対応するオフセット２４０＿Ｋとから、上記位置情報に対応するオフセットを算出する。このオフセットの算出については例えば下記の技術を用いるようにすれば良い。例えば、楽譜画像データ２３０＿Ｋを解析して上記位置情報の示す座標位置Ａ１を含む小節を特定し、さらに当該小節が楽譜画像データ２３０＿Ｋの示す楽譜の先頭から何小節目であるかを特定した後に、オフセット２４０＿Ｋに当該小節に至るまでの演奏時間を加算して上記位置情報に対応するオフセットを算出する、といった具合である。また、楽譜画像データ２３０＿ｎ（ｎ＝１～Ｎ）の各々について、楽譜画像データ２３０＿ｎの表す画像に含まれている小節（或いは音符）毎に当該画像における位置座標とオフセットとを予め対応付けておき、両者の対応関係を参照して上記位置情報に対応するオフセットを算出するようにしても良い。このようにしてオフセットの算出を完了すると、管理装置２０は、上記の要領で算出したオフセットを示すオフセットデータ、楽譜画像データ２３０＿Ｋに対応付けて管理データベース２００に格納されている演奏音データ２２０および楽曲識別子２１０を、上記検索対象データの送信元へ返信する。
　ユーザ端末１０のユーザは、紙の楽譜を見ながら楽器の演奏練習を行う過程で「ここはどのように弾いたら良いのだろう？」といった演奏方法に疑問が生じた場合に、本実施形態に特有の再生制御方法を以下の要領でユーザ端末１０および管理装置２０に実行させることで、その疑問を即座に解消することができる。図４は、本実施形態の再生制御方法の流れを示すフローチャートである。図４に示すように、本実施形態の再生制御方法はステップＳＡ１００～ステップＳＡ１５０の６つのステップで構成されている。ステップＳＡ１００～ステップＳＡ１２０およびステップＳＡ１５０はユーザ端末１０において実行されるステップであり、ステップＳＡ１３０およびステップＳＡ１４０は管理装置２０において実行されるステップである。
　ユーザ端末１０のユーザは、楽譜を構成する各頁のうち演奏方法に疑問を感じた箇所を含む頁の画像をユーザ端末１０の撮像機能により撮像する。これにより、ユーザ端末１０は、検索対象データを取得する（ステップＳＡ１００）。次いで、ユーザは、上記撮像画像における該当箇所（ユーザが演奏方法に疑問を感じた箇所）を指先等で指定する。これにより、ユーザ端末１０は上記位置情報を取得する（ステップＳＡ１１０）。ユーザ端末１０は、ステップＳＡ１００にて取得した検索対象データとステップＳＡ１１０にて指定された位置を示す位置情報とを管理装置２０へ上記通信機能により送信する（ステップＳＡ１２０）。前述したように、管理装置２０は、検索対象データと位置情報とを受信すると、管理データベース２００の格納内容を参照して該当する演奏音データを特定するとともに上記位置情報に対応するオフセットを算出し（ステップＳＡ１３０）、オフセットデータ、演奏音データおよび楽曲識別子をユーザ端末１０へ返信する（ステップＳＡ１４０）。ユーザ端末１０は、管理装置２０から返信されてくる演奏音データおよびオフセットデータを上記通信機能により受信し、上記音再生機能により当該オフセットデータの示すオフセット以降の演奏音を再生する（ステップＳＡ１５０）。この演奏音を聴くことで、ユーザ端末１０のユーザは上記演奏方法の疑問を解消することができる。
　以下ではユーザ端末１０を中心に説明する。なお、本実施形態では、ユーザ端末１０としてスマートフォンを用いるが、ユーザ端末１０としてタブレット端末や携帯型ゲーム機等を用いても良い。要は、撮像機能、通信機能および音再生機能を備えたコンピュータ装置であれば、本実施形態のユーザ端末１０として用いることができる。
　図５は、ユーザ端末１０の構成例を示す図である。図５に示すように、ユーザ端末１０は、制御部１００、無線通信部１１０、ユーザインタフェース（以下、「ユーザＩ／Ｆ」）部１２０、撮像部１３０、記憶部１４０、およびこれら構成要素間のデータ授受を仲介するバス１５０を有する。
　制御部１００は、例えばＣＰＵ（Central Processing Unit）である。制御部１００は記憶部１４０（より正確には不揮発性記憶部１４４）に記憶されている各種プログラムを実行することでユーザ端末１０の制御中枢として機能する。
　無線通信部１１０は、アンテナと、当該アンテナを介して無線区間へ送出するデータの変調および当該無線区間を介して受信したデータの復調を行う変調・復調回路（何れも図示略）を含んでいる。無線通信部１１０は、上記無線区間から受信したデータを変調・復調回路により復調して制御部１００に引き渡す一方、制御部１００から受け取ったデータを変調・復調回路により変調して上記無線区間へ送出する。
　ユーザＩ／Ｆ部１２０は、ユーザ端末１０を使用するための各種操作の入力をユーザに促すとともにその操作に応じた処理結果を出力する。ユーザＩ／Ｆ部１２０は、表示部１２０ａ、音再生部１２０ｂ、および操作入力部１２０ｃを含んでいる。
　表示部１２０ａは例えば液晶ディスプレイとその駆動回路（図５では何れも図示略）である。表示部１２０ａは、制御部１００による制御の下、ユーザ端末１０の利用を促す各種画面を表示する。
　音再生部１２０ｂは、制御部１００から引き渡さる音響データにＤ／Ａ変換を施してアナログ音響信号に変換するＤ／Ａ変換器と当該アナログ音響信号を音として放射するスピーカとを含んでいる（図５では何れも図示略）。音再生部１２０ｂは通話音声の再生に利用される他、模範演奏音の再生に利用される。
　操作入力部１２０ｃは例えば透明な感圧シートであり、表示部１２０ａの表示面に貼り付けられている。操作入力部１２０ｃは表示部１２０ａの液晶ディスプレイとともにタッチパネルを形成する。このタッチパネルのタッチ面の何れかの位置がタップされると、操作入力部１２０ｃはそのタップ位置を示す位置情報を制御部１００に引き渡す。本実施形態では、当該位置情報として、タッチパネルのタッチ面（換言すれば、表示部１２０ａの表示面）の左上隅を原点とし、水平走査方法を一方の座標軸とし、垂直走査方向を他方の座標軸とする二次元座標における上記タッチ位置の座標を示す情報が用いられる。
　撮像部１３０は例えばＣＣＤ（Charge-Coupled Device）イメージセンサである。撮像部１３０はユーザの操作に応じて撮像した画像の画像データを制御部１００に与える。
　記憶部１４０は、図５に示すように揮発性記憶部１４２と不揮発性記憶部１４４を有する。揮発性記憶部１４２は例えばＲＡＭ（Random Access Memory）である。揮発性記憶部１４２はプログラムを実行する際のワークエリアとして制御部１００によって利用される。不揮発性記憶部１４４は例えばフラッシュＲＯＭ（Read Only Memory）である。不揮発性記憶部１４４には、ＯＳ（Operating System）プログラム（図５では図示略）と練習支援プログラム１４４ａとが予め格納されている。
　ＯＳプログラムは、制御部１００にＯＳを実現させるためのプログラムである。本実施形態では、ユーザ端末１０の電源（図示略）の投入或いはリセットを契機として制御部１００は不揮発性記憶部１４４から揮発性記憶部１４２へＯＳプログラムを読み出し、その実行を開始する。ＯＳプログラムにしたがって作動している制御部１００には、操作入力部１２０ｃを介して他のプログラムの実行指示を与えられたこと（他のプログラムを示すアイコンのタップ等）を契機として、当該他のプログラムの実行を開始する機能が付与される。
　練習支援プログラム１４４ａには、管理装置２０を一意に示す情報（ＵＲＬやＩＰアドレス）が通信先識別子として予め埋め込まれている。制御部１００は、操作入力部１２０ｃを介して当該練習支援プログラム１４４ａの実行指示を与えられたことを契機として、不揮発性記憶部１４４から揮発性記憶部１４２に当該練習支援プログラム１４４ａを読み出し、その実行を開始する。練習支援プログラム１４４ａの実行を開始した制御部１００は、まず、前述したステップＳＡ１００およびステップＳＡ１１０の各処理の実行契機となる操作の実行をユーザに促す。
　本実施形態では、練習支援プログラム１４４ａの実行を開始した制御部１００は、ステップＳＡ１００の実行契機となる操作を促すために「わからない箇所の楽譜を撮像して下さい」といったメッセージを表示部１２０ａに表示させる。ステップＳＡ１００の処理を完了すると、制御部１００は、ステップＳＡ１１０の実行契機となる操作を促すために「わからない部分をタップして下さい」というメッセージを表示部１２０ａに表示させる。このように、本実施形態では、ユーザ端末１０のユーザの視覚に訴えることで、ステップＳＡ１００およびステップＳＡ１１０の各処理の実行契機となる操作を促すが、上記メッセージを音声出力する等、上記ユーザの聴覚に訴える態様であっても良い。
　ステップＳＡ１１０の処理を完了すると、制御部１００は、前述したステップＳＡ１２０の処理を実行する。上記通信先識別子はステップＳＡ１２０における検索対象データの送信先を示す情報として使用される。そして、制御部１００は、管理装置２０から返信されたデータの受信を契機としてステップＳＡ１５０の処理を実行する。前述したように、本実施形態では、管理装置２０から、演奏音データと楽曲識別子とオフセットデータとが返信されてくる。制御部１００は、これらのデータを受信すると、まず、図６（ａ）に示す再生可否選択画面を表示部１２０ａに表示させ、模範演奏音の再生の可否をユーザに問い合わせる。
　図６（ａ）に示すように、本実施形態の再生可否選択画面には、楽曲識別子（図６（ａ）では、ＸＸＸＸと表記）と、再生許可を指示する仮想操作（図６（ａ）に示す例では、Ｙｅｓボタン）と、不許可を指示する仮想操作子（図６（ａ）に示す例では、Ｎｏボタン）とが表示されている。図６（ａ）に示す再生可否選択画面を視認したユーザは、楽曲識別子を参照することで、これらから再生しようとする模範演奏音が自身の練習中の楽曲のものであるか否かを把握することができる。そして、ユーザは、練習中の楽曲のものであれば再生許可を指示（本実施形態では、Ｙｅｓボタンのタップ）し、練習中の楽曲のものでなければ不許可を指示（本実施形態では、Ｎｏボタンのタップ）する。
　制御部１００は、再生許可を指示する操作が為された場合には、前述したステップＳＡ１５０の処理を実行する。これにより、前述したタップ操作により指定した再生開始点以降の模範演奏音が再生され、ユーザ端末１０のユーザは演奏方法の疑問を即座に解消することができる。これに対して、不許可を指示する操作が為された場合には、制御部１００は、ステップＳＡ１５０の処理を実行することなく、練習支援プログラム１４４ａの実行を終了する。図６（ａ）に示す再生可否選択画面を表示部１２０ａに表示させて模範演奏音の再生の可否をユーザに問い合わせるのは、管理装置２０における特定内容が誤っていた場合に、誤って特定された模範演奏音が再生されることを回避するためである。なお、再生選択画面の表示は必須の処理ではなく、省略しても勿論良い。再生可否選択画面の表示を省略する態様では、管理装置２０からの返信データの受信を契機として即座にステップＳＡ１５０の処理を制御部１００に実行させれば良い。
　本実施形態では、ユーザ端末１０から受信した画像データおよび位置情報に対する返信データとして、楽曲識別子と演奏音データとオフセットデータとを管理装置２０に返信させた。しかし、上記返信データとして、上記演奏音データおよびオフセットデータを示すデータ識別子（例えば、ＵＲＬ）と楽曲識別子とを管理装置２０に返信させるようにしても良く、この場合、図６（ａ）に示す再生可否選択画面に代えて図６（ｂ）に示す再生可否選択画面をユーザ端末１０に表示させても良い。図６（ｂ）に示す再生可否選択画面には、前述のＹｅｓボタンおよびＮｏボタンに代えて上記データ識別子（図６（ｂ）では、ＹＹＹＹと表記）が表示されている。
　図６（ｂ）ではデータ識別子に下線を付与することで当該データ識別子にハイパーリンクが設定されていることが表されている。図６（ｂ）に示す再生可否選択画面を視認したユーザは、当該データ識別子をタップすることで当模範演奏音の再生許可を指示することができ、当該データ識別子をタップせずに再生可否選択画面を閉じることで再生不許可を指示することができる。上記データ識別子がタップされると、ユーザ端末１０の制御部１００は、上記データ識別子に対応するデータを管理装置２０からダウンロードし、当該データにしたがってステップＳＡ１５０の処理を実行する。このような態様によれば、誤って特定された演奏音データが管理装置２０からユーザ端末１０へダウンロードされることを未然に防ぐことができる。
　以上説明したように、上記実施形態の再生制御方法においては、ユーザ端末１０に練習支援プログラム１４４ａが予めインストールされていること、および管理装置２０に管理データベース２００が予め記憶されていることが前提となる。しかし、練習支援プログラム１４４ａのインストールや管理データベース２００の作成は、電子化された楽譜のデータを改変する作業に比べれば煩雑な作業ではない。つまり、本実施形態によれば、煩雑な作業を行うことなく、音の時系列（楽曲の模範演奏音）に関連付けられた画像（紙媒体で出版された当該楽曲の各頁の画像）を用いて当該音の時系列の再生制御を行えるようになる。
　また、電子化された楽譜を用いて演奏練習を行う場合、楽譜の視認性（見易さ）が表示装置の性能（解像度やリフレッシュレート、表示面の広さ）に依存するため、性能の低い表示装置では練習に支障が生じる場合がある。しかし、本実施形態では、紙に印刷された楽譜を用いるため、このような問題が発生することはない。
　以上本発明の一実施形態について説明したが、この実施形態を以下のように変形しても良い。
　（１）上記実施形態の管理データベース２００には、楽曲の楽譜を表す１または複数の画像データ（楽譜画像データ２３０＿ｎ（ｎ＝１～Ｎ：Ｎは１以上の整数））に対応付けて演奏音データが１つだけ格納されていた。しかし、同じ楽譜であっても、演奏者が異なれば演奏音が異なることは前述した通りである。そこで、楽譜画像データ２３０＿ｎ（ｎ＝１～Ｎ）に対して、各々異なる演奏者による演奏音を表す複数の演奏音データ２２０を対応付けておいても良い。この場合、各演奏音データ２２０にその演奏者を一意に識別す演奏者識別子（例えば、演奏者の名称を示す文字列）と、その演奏者による演奏音におけるオフセットを示すオフセットデータ２４０＿ｎ（ｎ＝１～Ｎ）とを対応付けて格納しておくことが好ましい。このような態様においては、検索対象データの送信の際にユーザ端末１０のユーザに予め演奏者識別子を指定させ、ステップＳＡ１２０では、検索対象データおよび位置情報とともに当該演奏者識別子をユーザ端末１０に送信させる。一方、ステップＳＡ１３０では、上記演奏者識別子に対応する演奏音データ２２０を選択し、当該演奏者識別子に対応するオフセットデータ２４０＿ｎを用いて再生開始点のオフセットを算出する処理を管理装置２０に実行させるようにすれば良い。
　（２）上記実施形態における音の時系列は楽曲の模範演奏音であったが、歌唱曲の模範歌唱音声であっても良い。音の時系列として模範歌唱音声を採用すれば、歌唱練習支援に本発明の再生制御方法を利用できる。また、本発明における音の時系列は曲の演奏音や歌唱音声には限られず、文芸作品の朗読音声（所謂オーディオブック）であっても良い。音の時系列としてオーディオブックを用いる場合には、当該音の時系列に関連付けられる１または複数の画像として当該文芸作品を収録した書籍の頁毎の画像を用いるようにすれば良い。
　また、音の時系列を表す時系列データに対応付けられる１または複数の画像は、楽譜の頁の画像や書籍の頁の画像のように、音の時系列を構成する各音に対応する記号（楽譜であれば音符、文芸作品等の書籍であれば文字）がその発音順に記された紙面の頁毎の画像に限定される訳ではない。例えば映画やコンピュータゲームのゲーム画面などの動画、或いは各シーンのスクリーンショットの配列を当該映画やゲームの音声、或いはＢＧＭと対応付けても良い。このような態様によれば、映画やゲーム画面の１シーンを検索キーとして、そのシーンにおける音声やＢＧＭを再生すること（すなわち、シーンを検索キーとしたＢＧＭ等の頭出し再生）が可能になる。
　（３）上記実施形態における管理データベース２００には、管理装置２０の運営元によって楽譜についてのデータが予め登録されていた。しかし、ユーザ端末１０のユーザが自身の所有する紙の楽譜についてのデータを管理データベース２００に登録できるようにしても良く、紙の楽譜を出版する企業が自身の出版した楽譜或いはこれらか出版する楽譜についてのデータを管理データベース２００に登録できるようにしても良い。このような態様によれば、紙媒体で既に出版された楽譜或いは今後紙媒体で出版される楽譜を利用して音の再生制御を行うことが可能になる。
　ユーザ端末１０のユーザによる管理データベース２００へのデータの登録を許容する態様の場合、模範演奏音を表す演奏音データではなく当該ユーザの演奏音を表す演奏音データを楽曲識別子に対応付けて管理データベース２００に格納するようにしても良い。このような態様によれば、遠隔地にいる教師の指導の下で上記ユーザが演奏練習を行う場合において、上記教師は上記実施形態のユーザ端末１０を用いて、難度の高い箇所など指導を要すると推測される箇所を指定し、当該箇所のみの演奏音を確認することができ、指導を効率良く行うことができる。また、ユーザの演奏音を表す演奏音データを管理データベース２００に格納する態様においては、検索対象データに対応する演奏音データ等を当該検索対象データの送信元へ返信するのではなく、予め定められた送信先へ送信するようにしても良い。上記のように遠隔地にいる教師の指導の下で演奏練習を行う場合には、当該教師の使用するユーザ端末１０を上記送信先としておくのである。このような態様によれば、ユーザは自身の演奏音を管理データベース２００に登録し、演奏方法に疑問が生じた箇所の楽譜の画像データを検索対象データとして管理装置２０へ送信する。上記教師のユーザ端末１０には、上記ユーザが演奏方法に疑問を感じながら演奏した箇所を含む演奏音データが管理装置２０から送信され、上記教師はこの演奏音データの表す演奏音を聴くことで上記ユーザの疑問点を具体的に把握し、的確なアドバスを与えることができる。
　（４）上記実施形態では、ユーザは、演奏練習の対象曲の楽譜のうちの何れかの頁を撮像し、さらにその撮像画像内の何れかの位置をタップすることで、演奏音の再生開始点を指定した。しかし、上記の要領で撮像された画像内の予め定められた位置（例えば、左上隅や中央）を再生開始点としても良く、このような態様であれば上記タップ操作は不要である。また、ユーザ端末１０の不揮発性記憶部１４４に管理データベース２００を記憶させておき、ステップＳＡ１３０の処理をユーザ端末１０の制御部１００に実行させるようにすれば、ステップＳＡ１２０およびステップＳＡ１４０の処理も不要である。すなわち、図４におけるステップＳＡ１１０、ＳＡ１２０およびＳＡ１４０の各処理は何れも省略可能であり、本発明の音の再生制御方法は、以下の第１～第３のステップを最低限含んでいれば良い。
　第１のステップは、音の時系列が関連付けられる１または複数の画像のうちの１の画像を取得するステップであり、図４におけるステップＳＡ１００が当該第１のステップに対応する。第２のステップは、音の時系列と当該音の時系列が関連付けられる１または複数の画像とを対応付けて記憶したデータベース（上記実施形態では管理データベース２００）の記憶内容と第１のステップにて取得された画像とから音の再生開始点を特定するステップであり、図４におけるステップＳＡ１３０が当該第２のステップに対応する。そして、第３のステップは、再生開始点からの音の時系列の再生を音再生装置（上記実施形態では、音再生部１２０ｂ）に指示するステップであり、図４におけるステップＳＡ１５０の処理が当該第３のステップに対応する。
　（５）再生開始点からの音の再生に同期させて、音の時系列が関連付けられる１または複数の画像を表示装置に表示させても良い。具体的には、音の再生と同期させて、上記再生開始点に対応する画像以降の画像を表示装置に表示させるのである。上記実施形態のように楽器の演奏練習支援や歌唱演習支援に本発明を適用する場合には、模範演奏音や模範歌唱音の再生と同期させて再生開始点に対応する頁以降の楽譜の画像を表示装置に順次表示させれば良く、さらに音の再生に同期させて音の再生位置の表示（例えば、音符や歌詞を表す文字のワイプ表示）を行わせても良い。本態様によれば、視覚を通じて楽譜を確認しつつ模範演奏音を聴くことができるため、演奏方法に疑問を感じた箇所についての理解が一層深まると期待される。
　（６）上記実施形態では、ユーザ端末１０の不揮発性記憶部１４４に練習支援プログラム１４４ａが予め記憶されていた。しかし、練習支援プログラム１４４ａをＣＤ－ＲＯＭ（Compact Disk-Read Only Memory）などのコンピュータ読み取り可能な記録媒体に書き込んで配布しても良く、また、電気通信回線経由のダウンロードにより配布しても良い。このようにして配布される練習支援プログラム１４４ａにしたがって一般的なコンピュータを作動させることで、当該コンピュータを上記実施形態のユーザ端末１０として機能させることが可能になるからである。
　（７）上記実施形態では、楽曲識別子に対応付けてその楽曲識別子の表す楽曲の楽譜の第１～第Ｎ頁の各頁の画像を表す楽譜画像データ２３０＿ｎ（ｎ＝１～Ｎ）とオフセットデータ２４０＿ｎとが管理データベース２００に格納されていた。しかし、オフセットデータ２４０＿ｎを用いずに以下のようにしても良い。まず、制御部１００は、取得した画像を解析し、電子楽譜を記述するためのデータ（例えば、MusicXML形式のデータ）を記憶部１４０に格納する。さらに楽譜の画像座標と電子楽譜を記述するためのデータの位置関係を対応付けておく。一方、制御部１００は、前記電子楽譜に対応する演奏音データ２２０を管理データベース２００から取得する。そして、特開２０１５－７９１８３号公報等に記載の技術を利用して、制御部１００は電子楽譜を記述するためのデータのスペクトルと演奏音データ２２０のスペクトルデータとを対比することで、ユーザ指定の楽譜の画像座標に相当する再生開始位置を算出し、演奏音を再生するようにしても良い。このような態様によれば、予め管理データベース２００に楽譜画像データ２３０＿ｎ（ｎ＝１～Ｎ）とオフセットデータ２４０＿ｎとを格納しておかなくても、任意の楽譜の画像座標から演奏音の再生を行うことが可能になる。
　また、上記スペクトルデータをオフセットデータ２４０＿ｎ（ｎ＝１～Ｎ）の生成に利用しても良い。具体的には、楽曲識別子の表す楽曲の演奏音データにスペクトル解析を施すことで得られたスペクトルデータと各楽譜頁のスペクトルデータとの対比により、各楽譜頁に対応するオフセットを特定するといった具合である。また、上記実施形態の管理データベース２００には楽曲識別子に対応付けてその楽曲識別子の示す楽曲の演奏音データが格納されていたが、演奏音データを省略しても良い。楽曲識別子が特定できれば、その楽曲識別子を用いて他のコンピュータ等から演奏音データを取得することが可能だからである。なお、上記実施例において、コンテンツとしては音データだけではなく、演奏方法を示す動画データを用いても良い。また、楽譜の画像から特定した楽曲名を表示するだけでも良いし、音データや演奏方法を示す動画データへのリンク先を表示するコンテンツであっても良い。
　（８）また、例えば、上記実施形態は、下記変形例のように変形してもよい。当該変形例における再生制御システム１は、管理装置２０、ユーザ端末１０を有する。当該変形例においては、管理装置２０は、例えば、音楽データを取得する。当該音楽データは、例えば、管理装置２０のデータベース２００に記憶されていてもよいし、外部のデータベース等に記憶されていてもよい。なお、下記においては、理解の容易化のため、一例として、コンテンツが音データであって、楽譜の一部を撮像して楽譜に対応する音データを特定する場合について説明するがこれに限られるものではない。
　ユーザ端末１０は、上記実施形態と同様に、撮像部１３０、ユーザＩ／Ｆ部１２０を有する。撮像部１３０は、ユーザのユーザＩ／Ｆ部１２０への操作指示に応じてコンテンツに対応する楽譜（例えば、紙媒体である楽譜の１ページの一部やディスプレイに表示された楽譜の１ページの一部等）を撮像し、当該撮像部１３０により取得された撮像画像は、ユーザ端末１０の表示部１２０ａに表示される。ユーザ端末１０は、ユーザの指定に応じて、当該表示部１２０ａに表示された画像を管理装置２０に送信する。具体的には、例えば、ユーザは、ユーザ端末１０を楽譜に対し、移動することにより、所望の楽譜の一部を表す画像を取得する。そして、当該所望の楽譜の一部を表す画像は、ユーザの指示に応じて、管理装置２０に送信される。ここで、ユーザ端末１０は、当該楽譜の演奏進行方向に多くの情報が含まれるように撮像するよう、つまり、撮像画像が矩形形状の場合、横長の画像をユーザが撮像するよう、ユーザに対し促すように構成してもよい。例えば、横長の画像をユーザが撮像するメッセージを表示する等である。これにより当該撮像画像に含まれる連続する複数の音符を取得することができ、後述する音データの比較をより容易に行うことができる。
　また、ユーザは、例えば、表示部１２０ａに表示された画像内の位置を指定し、ユーザ端末１０は、当該位置を表す位置情報を取得するように構成してもよい。当該位置は、例えば、コンテンツの再生開始位置（例えば、楽譜に対応する音データの再生を開始する位置）や再生終了位置（例えば、楽譜に対応する音データの再生を終了する位置）に相当する。そして、当該位置情報は、ユーザの指示に応じて、管理装置２０に送信される。なお、当該位置情報は、上記画像と同時に送信されるように構成してもよいし、異なるタイミングで送信されるように構成してもよい。
　管理装置２０は、ユーザ端末１０から取得した画像（楽譜の一部を表す画像）に基づいて、当該楽譜の一部に対応する音データを取得する。具体的には、例えば、当該画像（楽譜の一部を表す画像）に複数の小節で構成される段が複数含まれる場合、そのうちの一つの段または複数の段に対応する音データを取得する等である。そして、管理装置２０は、データベース２００に記憶されている音データと、当該取得した音データを比較することにより、データベース２００に記憶されている音データのうちから、上記楽譜に対応する音データを特定するとともに、当該特定された音データにおける当該画像に対応する位置を特定する。具体的には、当該音データの特定は、例えば、上記楽譜の一部をMusic XMLデータに変換し、当該変換したMusic XMLデータと、データベースに記憶されている１曲分のMusic XMLデータとをマッチングすることにより行う。
　そして、管理装置２０は、当該特定された音データと特定された位置を表す位置情報をユーザ端末１０に送信する。当該送信された音データ及び位置情報に基づいて、ユーザ端末１０は、当該音データを再生する。具体的には、例えば、ユーザ端末１０は、取得した音データのうち、当該位置情報の表す部分から再生するように構成する。また、例えば、上記のようにユーザが再生開始位置や、再生終了位置を指定するように構成する場合には、当該再生開始位置や再生終了位置に基づいて、上記音データを再生及び停止するように構成してもよい。
　なお、管理装置２０は、特定された音データの全部をユーザ端末１０に送信するように構成してもよいし、上記位置情報、再生開始位置、再生終了位置等に応じて再生に必要な部分のみの音データをユーザ端末１０に送信するように構成してもよい。
　本発明は、上記実施形態及び変形例（１）乃至（８）に限定されるものではなく、上記実施の形態で示した構成と実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えてもよい。また、上記実施の形態及び変形例（１）乃至（８）は互いに矛盾しない限り、組み合わせて用いてもよい。
　なお、上記においては主に、特許請求の範囲における取得部が、例えば、撮像部１３０に相当し、特定部、指示部が、管理装置２０に含まれる場合について説明したが、取得部、特定部、指示部は再生制御システム１に含まれていれば異なる構成であってもよい。

Claims (11)

  1. 　コンテンツの一部に対応する画像を取得する第１のステップと、
    　前記第１のステップにて取得された画像に対応する前記コンテンツを特定する第２のステップと、
    　前記第２のステップにて特定された前記コンテンツの再生を再生装置に指示する第３のステップと、
    　を含むことを特徴とする再生制御方法。
  2. 　前記コンテンツは、音データであり、
    　前記画像は、楽譜または楽譜を表す画像を撮像したものであることを特徴とする請求項１に記載の再生制御方法。
  3. 　前記再生制御方法は、更に、前記画像が表す音データを取得し、
    　前記第２のステップは、前記コンテンツが表す音データと、前記画像が表す音データとに基づいて、前記画像に対応する前記コンテンツを特定することを特徴とする請求項２に記載の再生制御方法。
  4. 　前記第２のステップは、前記コンテンツが表す音データのスペクトルと、前記画像が表す音データのスペクトルとに基づいて、前記画像に対応する前記コンテンツを特定することを特徴とする請求項３に記載の再生制御方法。
  5. 　前記第３のステップは、前記画像に基づいて特定される再生開始点から前記コンテンツの再生を再生装置に指示することを特徴とする請求項２乃至４のいずれかに記載の再生制御方法。
  6. 　前記再生制御方法は、更に、前記画像内において指定された位置情報を取得し、
    　前記第３のステップは、前記位置情報に基づいて特定される再生開始点から前記コンテンツの再生を再生装置に指示することを特徴とする請求項５に記載の再生制御方法。
  7. 　前記位置情報の取得は、端末の表示部に表示された前記画像の一部の指定に基づいて行われることを特徴とする請求項６に記載の再生制御方法。
  8. 　前記再生制御方法は、更に、前記楽譜の演奏者を識別する演奏者識別情報を取得し、
    　前記第２ステップは、更に、前記演奏者識別情報に基づいて前記コンテンツを特定することを特徴とする請求項２乃至７のいずれかに記載の再生制御方法。
  9. 　前記第３のステップでは、前記コンテンツの再生と同期させつつ、表示装置に前記コンテンツの再生の位置を表す再生位置表示を行わせることを特徴とする請求項２乃至８のいずれかに記載の再生制御方法。
  10. 　前記第２のステップは、前記コンテンツに対応する楽譜の画像を表す楽譜データと、前記第１のステップが取得された画像に基づいて、前記画像に対応する前記コンテンツを特定することを特徴とする請求項２乃至９のいずれかに記載の再生制御方法。
  11. 　コンテンツの一部に対応する画像を取得する取得部と、
    　前記取得された画像に対応する前記コンテンツを特定する特定部と、
    　前記特定された前記コンテンツの再生を再生装置に指示する指示部と、
    　を含むことを特徴とする再生制御システム。
PCT/JP2016/078369 2015-09-30 2016-09-27 再生制御方法及び再生制御システム WO2017057318A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017543408A JP6508350B2 (ja) 2015-09-30 2016-09-27 再生制御方法及び再生制御システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015195505 2015-09-30
JP2015-195505 2015-09-30

Publications (1)

Publication Number Publication Date
WO2017057318A1 true WO2017057318A1 (ja) 2017-04-06

Family

ID=58423789

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/078369 WO2017057318A1 (ja) 2015-09-30 2016-09-27 再生制御方法及び再生制御システム

Country Status (2)

Country Link
JP (1) JP6508350B2 (ja)
WO (1) WO2017057318A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020190858A (ja) * 2019-05-21 2020-11-26 Ｎｅｃプラットフォームズ株式会社 著作物提供システム、著作物提供方法、およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0736455A (ja) * 1993-07-22 1995-02-07 Nec Corp 音楽イベントインデックス作成装置
JP2012155219A (ja) * 2011-01-27 2012-08-16 Nec Casio Mobile Communications Ltd 演奏データ提供システム、方法、サーバ、携帯端末およびコンピュータプログラム
JP2012215630A (ja) * 2011-03-31 2012-11-08 Kawai Musical Instr Mfg Co Ltd 楽譜演奏装置及び楽譜演奏プログラム
WO2014203870A1 (ja) * 2013-06-17 2014-12-24 ヤマハ株式会社 演奏システム、演奏方法及び演奏プログラム
JP2015118640A (ja) * 2013-12-19 2015-06-25 ヤマハ株式会社 楽譜解析装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0736455A (ja) * 1993-07-22 1995-02-07 Nec Corp 音楽イベントインデックス作成装置
JP2012155219A (ja) * 2011-01-27 2012-08-16 Nec Casio Mobile Communications Ltd 演奏データ提供システム、方法、サーバ、携帯端末およびコンピュータプログラム
JP2012215630A (ja) * 2011-03-31 2012-11-08 Kawai Musical Instr Mfg Co Ltd 楽譜演奏装置及び楽譜演奏プログラム
WO2014203870A1 (ja) * 2013-06-17 2014-12-24 ヤマハ株式会社 演奏システム、演奏方法及び演奏プログラム
JP2015118640A (ja) * 2013-12-19 2015-06-25 ヤマハ株式会社 楽譜解析装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020190858A (ja) * 2019-05-21 2020-11-26 Ｎｅｃプラットフォームズ株式会社 著作物提供システム、著作物提供方法、およびプログラム
JP7057319B2 (ja) 2019-05-21 2022-04-19 Ｎｅｃプラットフォームズ株式会社 著作物提供システム、著作物提供方法、およびプログラム

Also Published As

Publication number Publication date
JPWO2017057318A1 (ja) 2018-04-19
JP6508350B2 (ja) 2019-05-08

Similar Documents

Publication Publication Date Title
US9412352B2 (en) Recording audio in association with display content
KR101679239B1 (ko) 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 장치 및 방법
US20060150803A1 (en) System and method for music score capture and synthesized audio performance with synchronized presentation
US9576564B2 (en) Performance recording apparatus
JP2007025447A (ja) 自動演奏システム
JP5257966B2 (ja) 音楽再生制御システム、音楽演奏プログラム、および演奏データの同期再生方法
JP2019053170A (ja) 楽器練習装置
JP2017032693A (ja) 映像記録再生装置
JP6073145B2 (ja) 歌唱音声データ生成装置、及び、歌唱動画データ生成装置
US20100240018A1 (en) Process for creating and administrating tests
JP6200450B2 (ja) 教育支援システム及び端末装置
WO2017057318A1 (ja) 再生制御方法及び再生制御システム
JP6705422B2 (ja) 演奏支援装置、及びプログラム
WO2012035597A1 (ja) 楽曲情報処理装置及び方法、コンピュータプログラム並びに記録媒体
JP6508955B2 (ja) 反復再生機能を備えるカラオケ端末
JP6116213B2 (ja) 合成動画コンテンツの生成システム
JP5243909B2 (ja) カラオケシステム
WO2022209557A1 (ja) 電子楽器、電子楽器の制御方法、及びプログラム
JP2007171717A (ja) カラオケイベント情報表示システム
JP5754449B2 (ja) 楽曲コード譜生成装置
JP2018105956A (ja) 楽音データ処理方法及び楽音データ処理装置
JP4214908B2 (ja) 教習用演奏再生表示システム
JP2007256502A (ja) 演奏データ遠隔通信システムおよびその制御方法を実現するためのプログラム
JP7063533B2 (ja) カラオケシステム
JP6264251B2 (ja) カラオケ装置、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16851489

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017543408

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16851489

Country of ref document: EP

Kind code of ref document: A1