WO2022079853A1 - 音楽データ処理方法 - Google Patents

音楽データ処理方法 Download PDF

Info

Publication number
WO2022079853A1
WO2022079853A1 PCT/JP2020/038928 JP2020038928W WO2022079853A1 WO 2022079853 A1 WO2022079853 A1 WO 2022079853A1 JP 2020038928 W JP2020038928 W JP 2020038928W WO 2022079853 A1 WO2022079853 A1 WO 2022079853A1
Authority
WO
WIPO (PCT)
Prior art keywords
music data
time
data
series
music
Prior art date
Application number
PCT/JP2020/038928
Other languages
English (en)
French (fr)
Inventor
裕紀 永目
裕 小林
強 山口
Original Assignee
株式会社SessionTree
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社SessionTree filed Critical 株式会社SessionTree
Priority to PCT/JP2020/038928 priority Critical patent/WO2022079853A1/ja
Publication of WO2022079853A1 publication Critical patent/WO2022079853A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments

Definitions

  • the present invention relates to a music data processing method, a music data processing system, and a program.
  • a video distribution service that publishes video data created by a user on a server on the Internet has become widespread.
  • the moving image data released by the user there is music data consisting of moving image data including sound data consisting of playing or singing a musical instrument.
  • different music data by different users are simultaneously played back as if they were actually ensemble (session). This enables a session with a plurality of performances without different users playing at the same place at the same time.
  • Patent Document 1 it is described that the first sound data and the second sound data including the same reference sound are synchronized by using the reference sound.
  • the user plays while listening to the music data of the other user. Will be done.
  • the user may use an earphone to listen to the music data of another user from an information processing terminal such as a smartphone that has downloaded the music data of another user.
  • an information processing terminal such as a smartphone that has downloaded the music data of another user.
  • the information processing terminal is connected to the information processing terminal, there may be a delay until the user hears the actual reproduction of the music data. Then, a time lag occurs between the music data of another user and the music data played and recorded by the user, and there arises a problem that accurate synchronization is difficult from such a viewpoint.
  • an object of the present invention is that it is difficult to accurately synchronize these music data when playing and recording new music data in accordance with the reproduction of the existing music data, which is the above-mentioned problem. , Is to provide a music data processing method that can solve the problem.
  • the music data processing method which is one embodiment of the present invention, is The first music data stored in advance is reproduced, and the second music data played in conjunction with the reproduction of the first music data is recorded in association with the first music data.
  • the second music data corresponding to the second time-series data is corrected. Registering the first music data and the second music data so that they can be played back at the same time. It takes the composition.
  • the music data processing system which is one form of the present invention, is With a recording unit that reproduces the first music data stored in advance and records the second music data played in conjunction with the reproduction of the first music data in association with the first music data.
  • the first time-series data representing the change along the time axis of the predetermined element of the first music data
  • the second time-series data representing the change along the time axis of the predetermined element of the second music data.
  • a correction unit that corrects the second music data corresponding to the second time-series data by moving the displayed second time-series data along the time axis.
  • a registration unit that registers the first music data and the second music data so that they can be played back at the same time. With, It takes the composition.
  • the program which is one form of the present invention is For information processing equipment
  • the first music data stored in advance is reproduced, and the second music data played in conjunction with the reproduction of the first music data is recorded in association with the first music data.
  • the first time-series data representing the change along the time axis of the predetermined element of the first music data and the second time-series data representing the change along the time axis of the predetermined element of the second music data.
  • the second music data corresponding to the second time-series data is corrected. Registering the first music data and the second music data so that they can be played back at the same time. To execute the process, It takes the composition.
  • the present invention can accurately synchronize these music data even when new music data is played and recorded in accordance with the reproduction of the existing music data. ..
  • FIG. 1 It is a figure which shows the whole structure of the music data processing system in Embodiment 1 of this invention. It is a block diagram which shows the structure of the user terminal and the server apparatus disclosed in FIG. It is a figure which shows the state of the processing of the music data by the user terminal disclosed in FIG. It is a figure which shows the state of the processing of the music data by the user terminal disclosed in FIG. It is a figure which shows the state of the processing of the music data by the user terminal disclosed in FIG. It is a figure which shows the state of the processing of the music data by the user terminal disclosed in FIG. It is a flowchart which shows the operation of the user terminal disclosed in FIG. It is a figure which shows the state of the processing of the music data by the user terminal disclosed in FIG.
  • FIGS. 1 to 7 are diagrams for explaining the configuration of the music data processing system
  • FIGS. 3 to 7 are diagrams for explaining the processing operation of the music data processing system.
  • the music data processing system of the present invention is a system that provides a service of publishing music data composed of moving image data of a user's own musical instrument performance or singing on a website on the Internet.
  • the music data processing system of the present invention plays music data of another person that has already been published, and records music data newly played by the user, so that the music data is played by a plurality of different users. It is a system that plays and publishes music data at the same time as if it were actually an ensemble (session).
  • the "music data" in the present invention is moving image data including sound data of a performance act including an act of a user playing a musical instrument such as a guitar or a drum or an act of singing a song, or a sound of recording a performance act. It may be just sound data.
  • the configuration of the music data processing system will be described in detail.
  • the music data processing system includes a user terminal 1 and a server device 2 connected via a network N.
  • the user terminal 1 is an information processing terminal such as a smartphone or a notebook computer operated by the user U who performs the performance. Then, as will be described later, the user terminal 1 records the performance of the user U to generate music data, and the music data is registered for public use in the server device 2 or is made public from the server device 2. It is used to play the existing music data.
  • the server device 2 is an information processing device managed by a business operator that provides a service for publishing music data, stores music data transmitted from the user terminal 1 for publication, and publishes music data. It has a function of publishing music data to the user terminal 1 that has accessed to make a request.
  • each device 1 and 2 will be described in detail.
  • the user terminal 1 is composed of an information processing terminal including an arithmetic unit and a storage device. Then, as shown in FIG. 2, the user terminal 1 includes a selection unit 11, a reproduction unit 12, a recording unit 13, a correction unit 14, and a registration unit 15. The functions of the selection unit 11, the playback unit 12, the recording unit 13, the correction unit 14, and the registration unit 15 can be realized by the arithmetic unit executing a program for realizing each function stored in the storage device. can. Further, the user terminal 1 includes a performance data storage unit 16. The performance data storage unit 16 is composed of a storage device.
  • the application for the information processing terminal provided by the business operator that provides the service for publishing the music data is installed in the user terminal 1, so that each part 11 to 16 described above is installed in the user terminal 1. Is constructed. Hereinafter, each configuration will be described in detail.
  • the selection unit 11 (recording unit) has a function of selecting music data according to the operation of the user U. For example, the selection unit 11 accesses a website that publishes music data provided by the server device 2, acquires and displays a list of music data published from the server device 2. At this time, as shown by the reference numeral D1 in FIG. 3, the selection unit 11 displays the publicly available individual music data icon A1 on the display device of the user terminal 1 and accepts the selection operation by the user U. For example, when one of the music data icons A1 is selected, the selection unit 11 accepts the music data of the selected icon A1 as music data to be played.
  • the reproduction unit 12 downloads the music data selected to be reproduced from the server device 2, stores it in the performance data storage unit 16, and reproduces it.
  • the playback unit 12 outputs the video data related to the display device of the user terminal 1 and attaches the video data to the ear of the user U connected to the user terminal 1. Sound data is output from the earphones (not shown).
  • the playback unit 12 is composed of a session in which the selected music data includes performances by a plurality of users U, that is, an ensemble of a plurality of parts in which the selected music data is a plurality of music data.
  • the video data included in each part is output so as to be displayed on the display device of the user terminal 1, and the sound data of each part is output at the same time.
  • the playback unit 12 displays each of the four parts on the display device of the user terminal 1.
  • the video data is displayed and the sound data of the four parts is output to the earphone at the same time.
  • the music data performed by one user U will be referred to as a part
  • the music data associated with a plurality of music data will be referred to as a session.
  • the earphone (not shown) that outputs the sound data reproduced by the reproduction unit 12 is connected to the user terminal 1 by short-range wireless communication such as Bluetooth (registered trademark).
  • the playback unit 12 outputs the sound data included in the music data from any device such as output from an earphone connected to the user terminal 1 by wire or output from a speaker equipped in the user terminal 1. May be good.
  • the selection unit 11 (recording unit) described above further accepts the selection of music data in which the user U participates in the session in response to the operation of the user U.
  • the selection unit 11 is shown in FIG.
  • the screen transitions to the music data selection screen as shown by reference numeral D3, a list of publicly available music data that can be sessioned from the server device 2 is acquired, and the list is displayed on the display device of the user terminal 1.
  • the "Proceed to part selection" button B3 in the bottom column is selected.
  • the music data of the selected icon A3 is accepted as the music data for the session.
  • the selection unit 11 displays a part selection screen as shown by reference numeral D4 in FIG. 4 on the display device of the user terminal 1. do.
  • the icon A4 of the video data of each of the four parts is displayed, and a check column for selecting each is displayed. Display C.
  • the "start playing" button B4 in the bottom column is selected with the icon A4 of one or a plurality of parts selected on the part selection screen as shown by the reference numeral D4 in FIG.
  • the selected one or more parts are accepted as the session target music data. That is, in the example shown by the reference numeral D4 in FIG. 4, only three of the four parts are selected, and only such three parts are included in the music data constituting the newly generated session as described later. Will be.
  • the functions of the above-mentioned reproduction unit 12 and the above-mentioned recording unit 13 (recording unit) will be described.
  • the reproduction unit 12 and the recording unit 13 cooperate to record a new session.
  • the recording button B5 in the bottom column shown on the session recording screen D5 of FIG. 5 is pressed, the recording unit 13 reproduces the session target music data of only the part selected by the reproduction unit 12 and at the same time.
  • the recording unit 13 records the music data of the performance performed by the user U. That is, as shown in the session recording screen D5 of FIG.
  • the reproduction unit 12 displays the video of the session target music data of only the selected part on the display device of the user terminal 1 as shown by the reference numeral A6.
  • the sound data of the session target music data of only the part selected from the earphones worn by the user U is output and played.
  • the recording unit 13 records the performance performed by the user U in conjunction with the reproduction of the session target music data in association with the session target music data being reproduced.
  • the recording unit 13 records the recorded music data, which is new music data by the performance of the user U, in association with the position of the time axis of the session target music data being played.
  • the recording unit 13 includes video data taken by a photographing device such as a camera equipped in the user terminal 1 and a sound collecting device such as a microphone equipped in the user terminal 1 as recorded music data by the performance of the user U. The sound data collected in is recorded together.
  • the recording unit 13 displays the image of the session part indicated by reference numeral A6 on the display device of the user terminal 1 as shown in the session recording screen D5 of FIG. Display the captured image of.
  • the recording button B5 in the lowermost column is pressed again during recording, the recording unit 13 stops recording and stores the recorded music data in the performance data storage unit 16 together with the session target music data.
  • the right figure of FIG. 5 shows the session recording screen D6 when recording is stopped.
  • the recording unit 13 displays a play button B6, a registration button B7, and a delete button B8 in the bottom column.
  • the delete button B8 is pressed, the recording unit 13 deletes the newly recorded music data of the user U's own part from the performance data storage unit 16.
  • the recording unit 13 notifies the reproduction unit 12, and the reproduction unit 12 reproduces music data consisting of a session in which the session target music data and the recorded music data are combined.
  • the registration button B7 is pressed, the recording unit 13 requests registration for publication of the music data recorded in the registration unit 15.
  • the registration unit 15 transmits the recorded music data to the server device 2 so that the recorded music data in a state associated with the time axis of the session target music data is played back at the same time as the session target music data. And make a registration request. That is, the registration unit 15 registers to publish a new session composed of the session target music data and the recorded music data on the server device 2.
  • the recording unit 13 displays the deviation correction button B9 and the edit button B10 in the upper right of the screen.
  • the recording unit 13 notifies the correction unit 14 that each request has been made.
  • the correction unit 14 Upon receiving the notification that the deviation correction button B9 has been pressed, the correction unit 14 displays the deviation correction screen D7 as shown in the left figure of FIG. 6 on the display device of the user terminal 1. Specifically, the correction unit 14 displays time-series data representing changes along the time axis of elements such as the loudness of each of the session target music data and the recorded music data of the selected part. For example, as shown in the deviation correction screen D7 in the left figure of FIG. 6, the correction unit 14 has the sound volume of each of the three selected parts (playing by the user Ua, Ub, Uc) of the music data to be sessioned.
  • the time-series data A7 (first time-series data) and the time-series data A8 (second time-series data) of the volume of the recorded music data (your performance) are displayed.
  • the recorded music data is associated with the position on the time axis of the session target music data played at the time of recording, but the correction unit 14 corresponds to the session target music data and the recorded music data on the time axis. While maintaining the relationship, the respective time series data A7 and A8 are displayed.
  • the time-series data to be displayed is not necessarily limited to an element such as the loudness of each sound data, and may be another element of the sound data.
  • the correction unit 14 displays the time-series data A8 of the recorded music data so that it can be moved along the time axis. Therefore, when the user U performs a movement operation along the time axis with respect to the time-series data A8 of the recorded music data displayed on the display device of the user terminal 1, the correction unit 14 performs such a time-series. Move the position of the data A8 on the time axis. At this time, since the position of the time-series data A7 of the session target music data on the time axis is fixed, the position of the recorded music data on the time axis is moved with respect to the position on the time axis of the session target music data. The Rukoto.
  • the deviation correction screen D8 shown on the right side of FIG. 6 shows an example of moving the recorded music data to the left as indicated by a dotted arrow so as to advance the position of the time-series data A8 on the time axis.
  • the movement of the time-series data A8 of the recorded music data is realized by the user U dragging the display area of the time-series data A8, or by the user U operating the operation button for movement. ..
  • the correction unit 14 maintains the positional relationship between the recorded music data after movement and the session target music data on the time axis and stores them in the performance data storage unit 16.
  • the registration unit 15 transmits the recorded music data in a state associated with the time axis of the session target music data after the deviation correction to the server device 2 for registration. You will make a request.
  • the correction unit 14 can also perform an operation of correcting the deviation of the recorded music data for the music data constituting the session registered in the server device 2 as described above.
  • the correction unit 14 downloads music data composed of a session including recorded music data registered by the user U himself / herself, which is open to the server device 2, and as shown in FIG. 6, such music data. Displays the time-series data of each of the session target music data and the recorded music data included in. Then, according to the operation by the user U, the position of the recorded music data on the time axis is corrected as described above, and the corrected recorded music data is associated with the session target music data again. , Register in the server device 2 via the registration unit 15.
  • the display device of the user terminal 1 displays the recorded music data. Display the edit screen.
  • the correction unit 14 displays a frame list of recorded music data, and edits such as deleting some frames according to an operation by the user U.
  • the server device 2 is composed of one or a plurality of information processing devices including an arithmetic unit and a storage device. Then, as shown in FIG. 2, the server device 2 includes a registration unit 21 and a public unit 22. The functions of the registration unit 21 and the public unit 22 can be realized by the arithmetic unit executing a program for realizing each function stored in the storage device. Further, the server device 2 includes a public data storage unit 23 configured by a storage device.
  • each configuration will be described in detail.
  • the registration unit 21 registers the user information in response to the request from the user U, and also registers the music data requested to be registered from the user terminal 1 of the user U for public use. For example, the registration unit 21 stores the music data itself transmitted from the user terminal 1 in the public data storage unit 23 as the music data of the user U. At this time, when the music data is transmitted as a session from the user terminal 1, the registration unit 21 newly records the music data in association with the session target music data of one or a plurality of parts included in the session. The recorded music data is stored and registered. The registration unit 21 constitutes a session newly recorded by the user U, a session in which the deviation is corrected as described above, and a session in which the deviation is corrected after being registered once. Register music data.
  • the public unit 22 reads the music data selected by the user U from the public data storage unit 23 and transmits it to the user terminal 1 in response to a request from the user U. At this time, if the music data selected by the user U constitutes a session, the music data of all the associated parts are transmitted. As for the music data constituting the session transmitted by the public unit 22 to the user terminal 1, all the plurality of parts or the parts selected by the user U in the reproduction unit 12 of the user terminal 1 described above are on the time axis. It is played back at the same time in the state of being associated with the position of. Further, the music data constituting the session transmitted by the public unit 22 to the user terminal 1 is used to correct the deviation on the time axis of the recorded music data which is the part recorded by the user U itself by the correction unit 14 of the user terminal 1 described above. Used.
  • the server device 2 is registered in advance with music data constituting a session by a plurality of users U as described above and music data of a single user U not constituting the session for public use. do. Then, it is assumed that a certain user U associates the recorded music data, which is the music data of the part to be played, with the session target music data, which is the existing music data, and registers a new session.
  • the user U accesses the server device 2 on the user terminal 1 and acquires and displays the public music data icon A1 as shown by the reference numeral D1 in FIG. Subsequently, the user U presses the session request button B1 on the screen as shown by the reference numerals D1 and D2 in FIG. 3 on the user terminal 1, and the music data is displayed on the screen as shown by the reference numeral D3 in FIG. By selecting the icon A1, the music of the session target music data to be the session is selected (step S1). At this time, if the selected session target music data constitutes a session including a plurality of parts, the user U is a new session on the screen as shown by the reference numeral D4 in FIG. 4 on the user terminal 1.
  • step S1 Select the part to be included in (step S1). For example, in the example shown by the reference numeral D4 in FIG. 4, only three of the four parts of the session target music data constituting the session are selected. Then, the user U performs an operation to start playing the session on the user terminal 1.
  • the user terminal 1 reproduces the session target music data of only the selected part, and records the music data of the performance performed by the user U (step S2). Specifically, the user terminal 1 displays the video A6 of the session target music data of only the selected part on the screen as shown by the reference numeral D5 in FIG. 5, and selects from the earphones worn by the user U. The sound data of the session target music data of only the part that has been performed is output and played. At the same time, the user terminal 1 records the performance performed by the user U in conjunction with the reproduction of the session target music data in association with the session target music data being reproduced. At this time, the user terminal 1 records recorded music data, which is new music data by the performance of the user U, in association with the position of the time axis of the session target music data being played.
  • the user terminal 1 displays a deviation correction screen as shown by reference numeral D7 in FIG. Specifically, the user terminal 1 has time-series data A7 of the sound volume of each of the three selected parts (performances of users Ua, Ub, and Uc) of the music data to be sessioned, and recorded music data (your performance). ) Is displayed as time-series data A8 of the loudness of the sound. At this time, the user terminal 1 displays the respective time-series data A7 and A8 while maintaining the correspondence relationship between the session target music data and the recorded music data on the time axis.
  • the user U uses the time-series data A8 of the recorded music data, which is his / her own performance, on the deviation correction screen as shown by the reference numeral D8 in FIG. Operate to move along the axis.
  • the user terminal 1 moves and corrects the position of the recorded music data on the time axis with respect to the position of the session target music data on the time axis (step S4).
  • the example shown by the reference numeral D8 in FIG. 6 shows an example in which the recorded music data is moved to the left as indicated by a dotted arrow so as to advance the position of the time-series data A8 on the time axis.
  • the user U performs a registration operation on the user terminal 1, and the user terminal 1 transfers the recorded music data in a state associated with the time axis of the session target music data after the deviation correction to the server device 2.
  • Send and request registration In response to this, the server device 2 stores the music data itself transmitted from the user terminal 1 in the public data storage unit 23 as the music data of the user U (step S5).
  • the server device 2 associates the music data of one or more parts included in the session with the session target music data of the user U. Stores and registers the newly recorded recorded music data.
  • step S6 When the user U registers the music data constituting the session in the server device 2 as described above and then corrects the music data (Yes in step S6), the user U inputs the music data constituting the session. Download from the server device 2 on the user terminal 1. Then, similarly to the above, the user U moves the position on the time axis of the recorded music data with respect to the position on the time axis of the session target music data on the screen of the user terminal 1 as shown in FIG. The operation is performed and the correction is performed (step S4). After that, the user U performs a registration operation on the user terminal 1 in the same manner as described above, so that the user terminal 1 transfers the recorded music data in a state associated with the time axis of the session target music data after the deviation correction to the server. It is transmitted to the device 2 and re-registered (step S5).
  • the user terminal 1 may display the deviation correction screen as shown by the reference numeral D9 in FIG. 8 by the function of the correction unit 14. Specifically, the user terminal 1 displays the sound volume of each of the three selected parts (performances of the users Ua, Ub, and Uc) of the music data to be sessioned on the deviation correction screen D9 shown in FIG. 8 as described above.
  • the time-series data A7 of the above and the time-series data A8 of the volume of the recorded music data (your performance) may be displayed, and the automatic correction button B12 may be displayed.
  • the user terminal 1 corrects the time-series data A8 of the recorded music data, which is its own performance, as shown by the dotted line arrow on the deviation correction screen shown by the reference numeral D10 in FIG. Processes to automatically move along the time axis for the required amount of time.
  • the user terminal 1 uses the function of the correction unit 14 to respond to the time-series data A7 of the sound volume of each of the three selected parts (performances of the users Ua, Ub, and Uc) of the music data to be sessioned. It processes the time-series data A8 of the recorded music data, which is its own performance, so as to move along the time axis.
  • the correction unit 14 of the user terminal 1 determines the output timing of the first sound in the time-series data A7 of the sound volume of the session target music data and the first sound in the time-series data A8 of the recorded music data.
  • the time-series data A8 of the recorded music data is moved along the time axis so that the output timing and the output timing are substantially the same on the time axis.
  • the automatic correction of the deviation by the user terminal 1 may be executed by any method. Even before and after the above-mentioned automatic correction of the deviation, the user U manually operates the operation buttons for drag operation and movement on the user terminal 1 in the same manner as described above, so that the time-series data of the recorded music data is manually recorded. It is also possible to move A8.
  • the position of the music data of the own music data with respect to the music data of another user is corrected on the time axis. Can be done.
  • the music data in the session can be accurately synchronized.
  • the performance of the new music data may be delayed due to a delay in the output of the played music data from the earphones. , Can be corrected more effectively and can be synchronized accurately.
  • Non-temporary computer-readable media include various types of tangible storage mediums.
  • Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (ReadOnlyMemory), CD-Rs, Includes CD-R / W, semiconductor memory (eg, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (RandomAccessMemory)).
  • the program may also be supplied to the computer by various types of transient computer readable medium.
  • Examples of temporary computer readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • the invention of the present application has been described above with reference to the above-described embodiments and the like, the invention of the present application is not limited to the above-described embodiments.
  • Various changes that can be understood by those skilled in the art can be made to the structure and details of the present invention within the scope of the present invention.
  • at least one or more of the functions of the user terminal 1 and the server device 2 described above may be executed by an information processing device installed and connected to any place on the network, that is, so-called cloud computing. It may be executed in the ing. That is, the actual processing such as reproduction, recording, and deviation correction of the music data performed by the user terminal 1 described above may be executed by the information processing device on the network via the user terminal 1.
  • the second music data corresponding to the second time-series data is corrected. Registering the first music data and the second music data so that they can be played back at the same time.
  • Music data processing method (Appendix 2) The music data processing method described in Appendix 1 The played second music data is recorded in association with the position of the time axis of the first music data being played. The first time-series data of the first music data is displayed, and the second time-series of the second music data is associated with the position of the time axis of the first time-series data.
  • Music data processing method (Appendix 3) The music data processing method according to Appendix 1 or 2. A plurality of the first music data stored in association with each other are reproduced, and the played second music data is recorded in association with the plurality of reproduced first music data. , The first time-series data of each of the plurality of first music data is displayed, and the second time-series data of the second music data is displayed, and the displayed second time. The second music data is corrected by moving the series data along the time axis. Music data processing method.
  • the first time-series data of the first music data and the second time-series data of the second music data registered so as to be playable at the same time are displayed and displayed.
  • the second music data corresponding to the second time-series data is corrected.
  • Music data processing method (Appendix 6) With a recording unit that reproduces the first music data stored in advance and records the second music data played in conjunction with the reproduction of the first music data in association with the first music data.
  • a registration unit that registers the first music data and the second music data so that they can be played back at the same time.
  • Music data processing system equipped with. (Appendix 7) The music data processing system described in Appendix 6 The recording unit records the played second music data in association with the position of the time axis of the first music data being played.
  • the correction unit displays the first time-series data of the first music data, and the second music data is associated with the position of the time axis of the first time-series data.
  • the position of the time axis with respect to the first time-series data is moved and the second time-series data is moved.
  • Correct the music data of Music data processing system (Appendix 8) The music data processing system according to Appendix 6 or 7.
  • the recording unit reproduces a plurality of the first music data associated and stored in advance, and converts the played second music data into the reproduced first music data.
  • the correction unit displays the first time-series data of each of the plurality of first music data, and also displays the second time-series data of the second music data, and the display is performed. Correcting the second music data by moving the second time series data along the time axis.
  • Music data processing system (Appendix 9) The music data processing system according to any one of Supplementary note 6 to 8.
  • the recording unit receives the selection of one or more of the first music data among the plurality of music data associated and stored in advance, and the selected one or more of the first music data.
  • the music data is reproduced, and the played second music data is recorded in association with one or more of the reproduced first music data.
  • the correction unit displays the first time-series data of the one or a plurality of the first music data, and displays the second time-series data of the second music data, and is displayed.
  • the second music data is corrected by moving the second time-series data along the time axis.
  • Music data processing system (Appendix 10) The music data processing system according to any one of Supplementary note 6 to 9.
  • the correction unit displays the first time-series data of the first music data and the second time-series data of the second music data registered so as to be playable at the same time. By moving the displayed second time-series data along the time axis, the second music data corresponding to the second time-series data is corrected.
  • the registration unit re-registers the first music data and the second music data so that they can be played back at the same time.
  • Music data processing system (Appendix 11)
  • the first music data stored in advance is reproduced, and the second music data played in conjunction with the reproduction of the first music data is recorded in association with the first music data.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

本発明の音楽データ処理システムは、予め記憶された第１の音楽データを再生すると共に、第１の音楽データの再生に併せて演奏された第２の音楽データを、第１の音楽データに対応付けて収録する収録部１２，１３と、第１の音楽データの所定要素の時間軸に沿った変化を表す第１の時系列データと、第２の音楽データの所定要素の時間軸に沿った変化を表す第２の時系列データと、をそれぞれ表示し、当該表示された第２の時系列データを時間軸に沿って移動することで当該第２の時系列データに対応する前記第２の音楽データを補正する補正部１４と、第１の音楽データと第２の音楽データとを同時に再生可能なよう登録する登録部１５と、を備える。

Description

音楽データ処理方法
　本発明は、音楽データ処理方法、音楽データ処理システム、プログラムに関する。
　近年、インターネット上のサーバにてユーザが作成した動画データを公開する動画配信サービスが普及している。ユーザが公開する動画データの一例としては、楽器の演奏や歌唱からなる音データを含む動画データからなる音楽データがある。そして、動画配信サービスでは、別々のユーザによる別々の音楽データを、実際に合奏（セッション）しているように同時に再生することも行われている。これにより、別々のユーザが同一場所で同時に演奏することなく、複数の演奏によるセッションが可能となっている。
　ここで、上述したように別々のユーザによって作成された複数の音楽データを同時に再生する場合には、複数の音楽データを同期する必要がある。そこで、下記特許文献１では、同一の参照音が含まれる第１音データ及び第２音データを、当該参照音を用いて同期することが記載されている。
特開２０１８－１５５９３６号公報
　しかしながら、別々のユーザがセッションを行う場合には、全てのユーザが必ずしも同一の参照音を含む音楽を演奏しているとは限らない。特に、別々のユーザが異なる楽器の演奏や歌唱によるセッションを行う場合には、全てのユーザが異なる音楽を演奏している場合があり、特許文献１に記載のように同一の参照音が存在しないことが多々ある。このため、より正確な同期を行うことが困難である、という問題が生じる。
　そして、上述したように、インターネット上に公開されている他のユーザの音楽データに合わせて、ユーザ自身の演奏をセッションする場合には、当該ユーザは、他のユーザの音楽データを聞きつつ演奏を行うこととなる。このような場合、ユーザは、他のユーザの音楽データをダウンロードしたスマートフォンなどの情報処理端末から、イヤホンを利用して他のユーザの音楽データを聞くことがあるが、かかるイヤホンが近距離無線通信にて情報処理端末と接続されているような場合には、実際の音楽データの再生に対してユーザが聞くまで遅延が生じうる。すると、他のユーザの音楽データと、ユーザが演奏して収録した音楽データと、の間にタイムラグが生じ、このような観点からも正確な同期を行うことが困難である、という問題が生じる。
　このため、本発明の目的は、上述した課題である、既存の音楽データの再生に合わせて新たな音楽データを演奏して収録する場合に、これら音楽データを正確に同期することが困難である、ことを解決することができる音楽データ処理方法を提供することにある。
　本発明の一形態である音楽データ処理方法は、
　予め記憶された第１の音楽データを再生すると共に、当該第１の音楽データの再生に併せて演奏された第２の音楽データを、前記第１の音楽データに対応付けて収録し、
　前記第１の音楽データの所定要素の時間軸に沿った変化を表す第１の時系列データと、前記第２の音楽データの所定要素の時間軸に沿った変化を表す第２の時系列データと、をそれぞれ表示し、当該表示された前記第２の時系列データを時間軸に沿って移動することで当該第２の時系列データに対応する前記第２の音楽データを補正し、
　前記第１の音楽データと前記第２の音楽データとを同時に再生可能なよう登録する、
という構成をとる。
　また、本発明の一形態である音楽データ処理システムは、
　予め記憶された第１の音楽データを再生すると共に、当該第１の音楽データの再生に併せて演奏された第２の音楽データを、前記第１の音楽データに対応付けて収録する収録部と、
　前記第１の音楽データの所定要素の時間軸に沿った変化を表す第１の時系列データと、前記第２の音楽データの所定要素の時間軸に沿った変化を表す第２の時系列データと、をそれぞれ表示し、当該表示された前記第２の時系列データを時間軸に沿って移動することで当該第２の時系列データに対応する前記第２の音楽データを補正する補正部と、
　前記第１の音楽データと前記第２の音楽データとを同時に再生可能なよう登録する登録部と、
を備えた、
という構成をとる。
　また、本発明の一形態であるプログラムは、
　情報処理装置に、
　予め記憶された第１の音楽データを再生すると共に、当該第１の音楽データの再生に併せて演奏された第２の音楽データを、前記第１の音楽データに対応付けて収録し、
　前記第１の音楽データの所定要素の時間軸に沿った変化を表す第１の時系列データと、前記第２の音楽データの所定要素の時間軸に沿った変化を表す第２の時系列データと、をそれぞれ表示し、当該表示された前記第２の時系列データを時間軸に沿って移動することで当該第２の時系列データに対応する前記第２の音楽データを補正し、
　前記第１の音楽データと前記第２の音楽データとを同時に再生可能なよう登録する、
処理を実行させる、
という構成をとる。
　本発明は、以上のように構成されることにより、既存の音楽データの再生に合わせて新たな音楽データを演奏して収録する場合であっても、これら音楽データを正確に同期することができる。
本発明の実施形態１における音楽データ処理システムの全体構成を示す図である。 図１に開示したユーザ端末及びサーバ装置の構成を示すブロック図である。 図１に開示したユーザ端末による音楽データの処理の様子を示す図である。 図１に開示したユーザ端末による音楽データの処理の様子を示す図である。 図１に開示したユーザ端末による音楽データの処理の様子を示す図である。 図１に開示したユーザ端末による音楽データの処理の様子を示す図である。 図１に開示したユーザ端末の動作を示すフローチャートである。 図１に開示したユーザ端末による音楽データの処理の様子を示す図である。
　＜実施形態１＞
　本発明の第１の実施形態を、図１乃至図７を参照して説明する。図１乃至図２は、音楽データ処理システムの構成を説明するための図であり、図３乃至図７は、音楽データ処理システムの処理動作を説明するための図である。
　［構成］
　本発明における音楽データ処理システムは、ユーザ自身による楽器の演奏や歌唱を撮影した動画データからなる音楽データを、インターネット上のウェブサイトにて公開するサービスを提供するシステムである。特に、本発明における音楽データ処理システムは、既に公開されている他人の音楽データを再生しつつ、新たにユーザが演奏した音楽データを収録することで、複数の別々のユーザによって演奏された別々の音楽データを、実際に合奏（セッション）しているように同時に再生して公開するシステムである。なお、本発明における「音楽データ」は、ユーザがギターやドラムなどの楽器を奏でる行為や歌を歌う行為も含む演奏行為を撮影した音データを含む動画データであったり、演奏行為を録音した音だけの音データであってもよい。以下、音楽データ処理システムの構成について詳述する。
　図１に示すように、音楽データ処理システムは、ネットワークＮを介して接続された、ユーザ端末１とサーバ装置２とを備えている。ユーザ端末１は、演奏を行うユーザＵが操作するスマートフォンやノートパソコンなどの情報処理端末である。そして、ユーザ端末１は、後述するように、ユーザＵの演奏を収録して音楽データを生成し、かかる音楽データをサーバ装置２に対して公開用に登録したり、サーバ装置２から公開されている音楽データを再生するよう利用される。また、サーバ装置２は、音楽データを公開するサービスを提供する事業者によって管理される情報処理装置であり、ユーザ端末１から送信された音楽データを公開用に記憶すると共に、音楽データの公開を要求すべくアクセスしてきたユーザ端末１に対して音楽データを公開する機能を有する。以下、各装置１，２について詳述する。
　上記ユーザ端末１は、演算装置と記憶装置とを備えた情報処理端末にて構成される。そして、ユーザ端末１は、図２に示すように、選択部１１、再生部１２、収録部１３、補正部１４、登録部１５、を備える。選択部１１、再生部１２、収録部１３、補正部１４、登録部１５の機能は、演算装置が記憶装置に格納された各機能を実現するためのプログラムを実行することにより、実現することができる。また、ユーザ端末１は、演奏データ記憶部１６を備える。演奏データ記憶部１６は記憶装置により構成される。なお、本実施形態では、音楽データを公開するサービスを提供する事業者によって提供された情報処理端末用のアプリケーションがユーザ端末１にインストールされることで、当該ユーザ端末１に上述した各部１１～１６が構築されていることとする。以下、各構成について詳述する。
　上記選択部１１（収録部）は、ユーザＵの操作に応じて、音楽データを選択する機能を有する。例えば、選択部１１は、サーバ装置２によって提供されている音楽データを公開するウェブサイトにアクセスし、かかるサーバ装置２から公開されている音楽データの一覧を取得して表示する。このとき、選択部１１は、図３の符号Ｄ１に示すように、ユーザ端末１の表示装置に、公開されている個々の音楽データのアイコンＡ１を表示し、ユーザＵによる選択操作を受け付ける。例えば、選択部１１は、音楽データのアイコンＡ１の１つが選択された場合には、当該選択されたアイコンＡ１の音楽データを、再生する音楽データとして受け付ける。
　これに応じて、再生部１２（収録部）は、再生するよう選択された音楽データをサーバ装置２からダウンロードして演奏データ記憶部１６に記憶し、再生する。このとき、再生部１２は、音楽データに映像データが含まれている場合には、ユーザ端末１の表示装置にかかる映像データを出力すると共に、ユーザ端末１に接続されたユーザＵの耳に装着されたイヤホン（図示せず）から音データを出力する。そして、再生部１２は、選択された音楽データが複数のユーザＵによる演奏を含んでいる場合、つまり、選択された音楽データが複数の音楽データである複数のパートによる合奏であるセッションにて構成されている場合には、各パートに含まれる映像データをユーザ端末１の表示装置にそれぞれ表示するよう出力し、各パートの音データを同時に出力する。例えば、図３の符号Ｄ２に示す例では、選択された音楽データが４つのパートで構成されたセッションである場合には、再生部１２は、ユーザ端末１の表示装置に４つのパートのそれぞれの映像データを表示し、４つのパートの音データを同時にイヤホンに出力する。なお、以下では、一人のユーザＵの演奏による音楽データをパートと呼び、複数の音楽データが関連付けられた音楽データをセッションと呼ぶこととする。
　ここで、再生部１２が再生した音データを出力するイヤホン（図示せず）は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）といった近距離無線通信でユーザ端末１に接続されていることとする。但し、再生部１２は、音楽データに含まれる音データを、ユーザ端末１に有線で接続されたイヤホンから出力したり、ユーザ端末１に装備されたスピーカから出力するなど、いかなる機器から出力してもよい。
　また、上述した選択部１１（収録部）は、さらに、ユーザＵの操作に応じて、当該ユーザＵがセッションに参加する音楽データの選択を受け付ける。例えば、選択部１１は、図３の符号Ｄ１に示すようなホーム画面や、図３の符号Ｄ２に示すような再生画面において、最下欄のセッション要求ボタンＢ１が選択されると、図４の符号Ｄ３に示すような音楽データの選択画面に遷移し、サーバ装置２からセッションすることが可能な公開されている音楽データの一覧を取得し、ユーザ端末１の表示装置に表示する。そして、選択部１１は、図４の符号Ｄ３に示すような音楽データの選択画面で音楽データのアイコンＡ３が選択された状態で、最下欄の「パート選択に進む」ボタンＢ３が選択されると、選択されたアイコンＡ３の音楽データを、セッション対象音楽データとして受け付ける。
　加えて、選択部１１は、選択されたセッション対象音楽データが、複数のパートを含むセッションである場合には、図４の符号Ｄ４に示すようなパート選択画面をユーザ端末１の表示装置に表示する。例えば、図４の符号Ｄ４の例では、選択されたセッション対象音楽データが４つのパートで構成されているため、４つのパートのそれぞれの映像データのアイコンＡ４を表示し、それぞれを選択するチェック欄Ｃを表示する。そして、選択部１１は、図４の符号Ｄ４に示すようなパートの選択画面で１つ又は複数のパートのアイコンＡ４が選択された状態で、最下欄の「演奏を始める」ボタンＢ４が選択されると、選択された１つ又は複数のパートをセッション対象音楽データとして受け付ける。つまり、図４の符号Ｄ４に示す例では、４つのパートのうち３つのみが選択され、かかる３つのパートのみが、後述するように新たに生成されるセッションを構成する音楽データに含まれることとなる。
　次に、上述した再生部１２及び上記収録部１３（収録部）の機能について説明する。上述したようにセッション対象音楽データのパートが選択され、セッションの演奏を始める操作が行われると、再生部１２と収録部１３とは、協働して新たなセッションの収録を行う。具体的に、収録部１３は、図５のセッション収録画面Ｄ５に示す最下欄の収録ボタンＢ５が押されると、再生部１２にて選択されたパートのみのセッション対象音楽データを再生すると共に、収録部１３にてユーザＵにて行われる演奏の音楽データを収録する。つまり、再生部１２は、図５のセッション収録画面Ｄ５に示すように、ユーザ端末１の表示装置に、符号Ａ６に示すように、選択されたパートのみのセッション対象音楽データの映像を表示すると共に、ユーザＵが装着しているイヤホンから選択されたパートのみのセッション対象音楽データの音データを出力して再生する。同時に、収録部１３は、セッション対象音楽データの再生に併せてユーザＵにて行われる演奏を、再生されているセッション対象音楽データに対応付けて収録する。このとき、収録部１３は、再生されているセッション対象音楽データの時間軸の位置に対応付けて、ユーザＵの演奏による新たな音楽データである収録音楽データを収録する。例えば、収録部１３は、ユーザＵの演奏による収録音楽データとして、ユーザ端末１に装備されたカメラなどの撮影装置にて撮影した映像データと、ユーザ端末１に装備されたマイクなどの収音装置にて収音した音データと、を合わせて収録する。なお、収録部１３は、収録時に、ユーザ端末１の表示装置に図５のセッション収録画面Ｄ５に示すように、符号Ａ６に示すセッションするパートの映像と共に、符号Ａ５に示すユーザＵ自身の演奏時の撮影画像を表示する。また、収録部１３は、収録中に最下欄の収録ボタンＢ５が再度押されると、収録を停止し、収録音楽データを、セッション対象音楽データと共に演奏データ記憶部１６に記憶しておく。
　ここで、図５の右図に、収録停止時におけるセッション収録画面Ｄ６を示す。収録部１３は、収録が停止されると、最下欄に、再生ボタンＢ６、登録ボタンＢ７、削除ボタンＢ８を表示する。収録部１３は、削除ボタンＢ８が押されると、新たに収録したユーザＵ自身のパート部分の音楽データを演奏データ記憶部１６から削除する。また、収録部１３は、再生ボタンＢ６が押されると、再生部１２に通知して、かかる再生部１２がセッション対象音楽データと収録音楽データとを合わせたセッションからなる音楽データを再生する。また、収録部１３は、登録ボタンＢ７が押されると、登録部１５に収録した音楽データの公開用の登録を依頼する。これを受けて、登録部１５は、セッション対象音楽データの時間軸に対応付けられた状態の収録音楽データが、当該セッション対象音楽データと同時に再生されるよう、収録音楽データをサーバ装置２に送信して登録依頼を行う。つまり、登録部１５は、セッション対象音楽データと収録音楽データとからなる新たなセッションを、サーバ装置２にて公開するよう登録する。
　また図５の右図のセッション収録画面Ｄ６に示すように、収録部１３は、収録が停止されると、画面右上に、ズレ補正ボタンＢ９と、編集ボタンＢ１０を表示する。収録部１３は、ズレ補正ボタンＢ９や編集ボタンＢ１０が押されると、それぞれの要求があった旨を補正部１４に通知する。
　上記補正部１４は、ズレ補正ボタンＢ９が押された旨の通知を受けると、ユーザ端末１の表示装置に、図６の左図に示すようなズレ補正画面Ｄ７を表示する。具体的に、補正部１４は、選択されたパートのセッション対象音楽データ及び収録音楽データのそれぞれの音の大きさといった要素の時間軸に沿った変化を表す時系列データを表示する。例えば、補正部１４は、図６の左図のズレ補正画面Ｄ７に示すように、セッション対象音楽データの選択された３つのパート（ユーザＵａ，Ｕｂ，Ｕｃの演奏）それぞれの音の大きさの時系列データＡ７（第１の時系列データ）と、収録音楽データ（あなたの演奏）の音の大きさの時系列データＡ８（第２の時系列データ）と、を表示する。なお、収録音楽データは、収録時に再生されたセッション対象音楽データの時間軸上の位置に対応付けられているが、補正部１４は、セッション対象音楽データと収録音楽データとの時間軸上の対応関係を維持しつつ、それぞれの時系列データＡ７，Ａ８を表示する。なお、表示する時系列データは、必ずしも各音データの音の大きさといった要素であることに限定されず、音データの他の要素であってもよい。
　そして、補正部１４は、収録音楽データの時系列データＡ８については、時間軸に沿って移動可能なよう表示する。このため、補正部１４は、ユーザ端末１の表示装置に表示されている収録音楽データの時系列データＡ８に対してユーザＵが時間軸に沿った移動操作を行った場合には、かかる時系列データＡ８の時間軸上の位置を移動する。このとき、セッション対象音楽データの時系列データＡ７の時間軸上の位置は固定であるため、セッション対象音楽データの時間軸上の位置に対して、収録音楽データの時間軸上の位置が移動されることとなる。例えば、図６の右図に示すズレ補正画面Ｄ８では、収録音楽データの時系列データＡ８の時間軸上の位置を早めるよう、点線矢印で示すように左方向に移動した一例を示している。なお、収録音楽データの時系列データＡ８の移動は、かかる時系列データＡ８の表示領域をユーザＵがドラッグ操作することで実現したり、移動用の操作ボタンをユーザＵが操作することで実現する。そして、補正部１４は、最下欄の完了ボタンＢ１１が押されると、移動後の収録音楽データとセッション対象音楽データとの時間軸上の位置関係を維持して演奏データ記憶部１６に記憶し、図５の右図に示すような収録停止時のセッション収録画面Ｄ６に戻る。かかる画面において上述したように登録ボタンＢ７が押されると、登録部１５がズレ補正後のセッション対象音楽データの時間軸に対応付けられた状態の収録音楽データを、サーバ装置２に送信して登録依頼を行うこととなる。
　また、補正部１４は、上述したようにサーバ装置２に登録されたセッションを構成する音楽データに対しても、収録音楽データのズレ補正の操作が可能である。例えば、補正部１４は、サーバ装置２に公開されているユーザＵ自身が登録した収録音楽データを含むセッションにて構成されている音楽データをダウンロードして、図６に示すように、かかる音楽データに含まれるセッション対象音楽データと収録音楽データのそれぞれの時系列データを表示する。そして、ユーザＵによる操作に応じて、上述したように収録音楽データの時系列データの時間軸上の位置を補正し、補正後の収録音楽データをセッション対象音楽データに対応付けた状態で、再度、登録部１５を介してサーバ装置２に登録する。
　なお、補正部１４は、図５の右図に示す収録停止時のセッション収録画面Ｄ６上で編集ボタンＢ１０が押された旨の通知を受けると、ユーザ端末１の表示装置に、収録音楽データの編集画面を表示する。例えば、補正部１４は、収録音楽データのフレーム一覧を表示し、ユーザＵによる操作に応じて一部のフレームを削除するなどの編集を行う。
　次に、サーバ装置２の構成について図２を参照して説明する。サーバ装置２は、演算装置と記憶装置とを備えた１台又は複数台の情報処理装置にて構成される。そして、サーバ装置２は、図２に示すように、登録部２１、公開部２２を備える。登録部２１、公開部２２の機能は、演算装置が記憶装置に格納された各機能を実現するためのプログラムを実行することにより、実現することができる。また、サーバ装置２は、記憶装置により構成された公開データ記憶部２３を備える。以下、各構成について詳述する。
　上記登録部２１は、ユーザＵからの要求に応じてユーザ情報の登録を行うと共に、かかるユーザＵのユーザ端末１から登録要求された音楽データを公開用に登録する。例えば、登録部２１は、ユーザ端末１から送信された音楽データ自体を、ユーザＵの音楽データとして公開データ記憶部２３に記憶する。このとき、登録部２１は、ユーザ端末１からセッションとして音楽データが送信された場合は、かかるセッションに含まれる１つ又は複数のパートのセッション対象音楽データに対応付けて、ユーザＵが新たに収録した収録音楽データを記憶して登録する。なお、登録部２１は、ユーザＵにて新たに収録されたセッションや、上述したようにズレ補正が行われたセッション、さらには、一度登録された後にズレ補正が行われたセッション、を構成する音楽データを登録する。
　上記公開部２２は、ユーザＵからの要求に応じて、ユーザＵが選択した音楽データを公開データ記憶部２３から読み出し、ユーザ端末１に送信する。このとき、ユーザＵが選択した音楽データがセッションを構成している場合には、関連付けられている全てのパートの音楽データを送信する。なお、公開部２２がユーザ端末１に送信したセッションを構成する音楽データは、上述したユーザ端末１の再生部１２にて、複数の全てのパートあるいはユーザＵにて選択されたパートが時間軸上の位置で対応付けられた状態で同時に再生される。また、公開部２２がユーザ端末１に送信したセッションを構成する音楽データは、上述したユーザ端末１の補正部１４によるユーザＵ自身が収録したパートである収録音楽データの時間軸上のズレ補正に用いられる。
　［動作］
　次に、上述した音楽データ処理システムの動作を、主に図７のフローチャートを参照して説明する。なお、ここでは、サーバ装置２には、事前に上述したような複数のユーザＵによるセッションを構成する音楽データや、セッションを構成しない単独ユーザＵの音楽データが公開用に登録されていることとする。そして、あるユーザＵが、既存の音楽データであるセッション対象音楽データに、自身が演奏するパートの音楽データである収録音楽データを対応付けて、新たなセッションを登録する状況であることとする。
　まず、ユーザＵは、ユーザ端末１にてサーバ装置２にアクセスし、図３の符号Ｄ１に示すように、公開されている音楽データのアイコンＡ１を取得して表示する。続いて、ユーザＵは、ユーザ端末１にて、図３の符号Ｄ１や符号Ｄ２に示すような画面上においてセッション要求ボタンＢ１を押し、図４の符号Ｄ３に示すような画面上で音楽データのアイコンＡ１を選択することで、セッションを行う対象となるセッション対象音楽データの曲を選択する（ステップＳ１）。このとき、選択したセッション対象音楽データが複数のパートを含むセッションを構成している場合には、ユーザＵはユーザ端末１にて、図４の符号Ｄ４に示すような画面上で、新たなセッションに含めるパートを選択する（ステップＳ１）。例えば、図４の符号Ｄ４に示す例では、セッションを構成するセッション対象音楽データの４つのパートのうち３つのみが選択されている。そして、ユーザＵは、ユーザ端末１にてセッションの演奏を始める操作を行う。
　すると、ユーザ端末１は、選択されたパートのみのセッション対象音楽データを再生すると共に、ユーザＵにて行われる演奏の音楽データを収録する（ステップＳ２）。具体的に、ユーザ端末１は、図５の符号Ｄ５に示すような画面上に、選択されたパートのみのセッション対象音楽データの映像Ａ６を表示すると共に、ユーザＵが装着しているイヤホンから選択されたパートのみのセッション対象音楽データの音データを出力して再生する。同時にユーザ端末１は、セッション対象音楽データの再生に併せてユーザＵにて行われる演奏を、再生されているセッション対象音楽データに対応付けて収録する。このとき、ユーザ端末１は、再生されているセッション対象音楽データの時間軸の位置に対応付けて、ユーザＵの演奏による新たな音楽データである収録音楽データを収録する。
　その後、ユーザＵは、ユーザ端末１にて収録したセッションを構成する音楽データの修正を行う場合には、図５の符号Ｄ６に示すような画面上のズレ補正ボタンを押す（ステップＳ３でＹｅｓ）。すると、ユーザ端末１は、図６の符号Ｄ７に示すようなズレ補正画面を表示する。具体的に、ユーザ端末１は、セッション対象音楽データの選択された３つのパート（ユーザＵａ，Ｕｂ，Ｕｃの演奏）それぞれの音の大きさの時系列データＡ７と、収録音楽データ（あなたの演奏）の音の大きさの時系列データＡ８と、を表示する。このとき、ユーザ端末１は、セッション対象音楽データと収録音楽データとの時間軸上の対応関係を維持しつつ、それぞれの時系列データＡ７，Ａ８を表示する。
　そして、ユーザＵは、ユーザ端末１にて、図６の符号Ｄ８に示すようなズレ補正画面上で、自身の演奏である収録音楽データの時系列データＡ８を、補正が必要な時間分だけ時間軸に沿って移動するよう操作する。これにより、ユーザ端末１は、セッション対象音楽データの時間軸上の位置に対して、収録音楽データの時間軸上の位置を移動して補正する（ステップＳ４）。例えば、図６の符号Ｄ８に示す例では、収録音楽データの時系列データＡ８の時間軸上の位置を早めるよう、点線矢印で示すように左方向に移動した一例を示している。
　その後、ユーザＵは、ユーザ端末１にて登録操作を行うことで、ユーザ端末１が、ズレ補正後のセッション対象音楽データの時間軸に対応付けられた状態の収録音楽データを、サーバ装置２に送信して登録依頼を行う。これに応じて、サーバ装置２は、ユーザ端末１から送信された音楽データ自体を、ユーザＵの音楽データとして公開データ記憶部２３に記憶する（ステップＳ５）。このとき、サーバ装置２は、ユーザ端末１からセッションを構成している音楽データが送信された場合は、かかるセッションに含まれる１つ又は複数のパートのセッション対象音楽データに対応付けて、ユーザＵが新たに収録した収録音楽データを記憶して登録する。
　なお、ユーザＵは、上述したようにサーバ装置２にセッションを構成する音楽データを登録した後に、かかる音楽データの補正を行う場合には（ステップＳ６でＹｅｓ）、当該セッションを構成する音楽データをユーザ端末１にてサーバ装置２からダウンロードする。そして、上述同様に、ユーザＵは、図６に示すようなユーザ端末１の画面上で、セッション対象音楽データの時間軸上の位置に対して、収録音楽データの時間軸上の位置を移動する操作を行い、補正する（ステップＳ４）。その後、ユーザＵは、上述同様にユーザ端末１にて登録操作を行うことで、ユーザ端末１が、ズレ補正後のセッション対象音楽データの時間軸に対応付けられた状態の収録音楽データを、サーバ装置２に送信して再登録する（ステップＳ５）。
　なお、上述したズレ補正の際に、ユーザ端末１は、補正部１４の機能により、図８の符号Ｄ９に示すようなズレ補正画面を表示してもよい。具体的に、ユーザ端末１は、図８に示すズレ補正画面Ｄ９に、上述同様に、セッション対象音楽データの選択された３つのパート（ユーザＵａ，Ｕｂ，Ｕｃの演奏）それぞれの音の大きさの時系列データＡ７と、収録音楽データ（あなたの演奏）の音の大きさの時系列データＡ８と、を表示すると共に、自動補正ボタンＢ１２を表示してもよい。そして、ユーザ端末１は、自動補正ボタンＢ１２が押されると、図８の符号Ｄ１０に示すズレ補正画面の点線矢印に示すように、自身の演奏である収録音楽データの時系列データＡ８を、補正が必要な時間分だけ時間軸に沿って自動的に移動するよう処理する。例えば、ユーザ端末１は、補正部１４の機能により、セッション対象音楽データの選択された３つのパート（ユーザＵａ，Ｕｂ，Ｕｃの演奏）それぞれの音の大きさの時系列データＡ７に応じて、自身の演奏である収録音楽データの時系列データＡ８を時間軸に沿って移動するよう処理する。一例として、ユーザ端末１の補正部１４は、セッション対象音楽データの音の大きさの時系列データＡ７内の最初の音の出力タイミングと、収録音楽データの時系列データＡ８内の最初の音の出力タイミングと、が時間軸上において略同一となるように、収録音楽データの時系列データＡ８を時間軸に沿って移動する。但し、ユーザ端末１によるズレの自動補正は、いかなる方法で実行されてもよい。なお、上述したズレの自動補正の前後であっても、ユーザＵはユーザ端末１上で、上述同様にドラック操作や移動用の操作ボタンを操作することで、手動で収録音楽データの時系列データＡ８の移動を行うことも可能である。
　以上のように、本発明では、別々のユーザによって作成された複数の音楽データからなるセッションを生成する際に、他のユーザの音楽データに対する自身の音楽データの時間軸上の位置を補正することができる。その結果、セッション内の音楽データを正確に同期することができる。特に、既存のユーザの音楽データの再生に合わせて新たな音楽データを演奏して収録する場合には、再生された音楽データのイヤホンからの出力の遅延などによる新たな音楽データの演奏のズレを、より有効に補正することができ、正確に同期することができる。
　なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。また、上述したユーザ端末１やサーバ装置２が有する機能のうちの少なくとも一以上の機能は、ネットワーク上のいかなる場所に設置され接続された情報処理装置で実行されてもよく、つまり、いわゆるクラウドコンピューティングで実行されてもよい。つまり、上述したユーザ端末１で行われた音楽データの再生や収録、ズレ補正などの実際の処理は、当該ユーザ端末１を介してネットワーク上の情報処理装置で実行されてもよい。
　＜付記＞
　上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における音楽データ処理方法、音楽データ処理システム、プログラムの構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
（付記１）
　予め記憶された第１の音楽データを再生すると共に、当該第１の音楽データの再生に併せて演奏された第２の音楽データを、前記第１の音楽データに対応付けて収録し、
　前記第１の音楽データの所定要素の時間軸に沿った変化を表す第１の時系列データと、前記第２の音楽データの所定要素の時間軸に沿った変化を表す第２の時系列データと、をそれぞれ表示し、当該表示された前記第２の時系列データを時間軸に沿って移動することで当該第２の時系列データに対応する前記第２の音楽データを補正し、
　前記第１の音楽データと前記第２の音楽データとを同時に再生可能なよう登録する、
音楽データ処理方法。
（付記２）
　付記１に記載の音楽データ処理方法であって、
　演奏された前記第２の音楽データを、再生されている前記第１の音楽データの時間軸の位置に対応付けて収録し、
　前記第１の音楽データの前記第１の時系列データを表示すると共に、当該第１の時系列データの時間軸の位置に対応付けた状態で前記第２の音楽データの前記第２の時系列データを表示し、当該表示された前記第２の時系列データを時間軸に沿って移動することで前記第１の時系列データに対する時間軸の位置を移動して前記第２の音楽データを補正する、
音楽データ処理方法。
（付記３）
　付記１又は２に記載の音楽データ処理方法であって、
　予め対応付けられて記憶された複数の前記第１の音楽データを再生すると共に、演奏された前記第２の音楽データを、再生されている複数の前記第１の音楽データに対応付けて収録し、
　複数の前記第１の音楽データのそれぞれの前記第１の時系列データを表示すると共に、前記第２の音楽データの前記第２の時系列データを表示し、当該表示された前記第２の時系列データを時間軸に沿って移動することで前記第２の音楽データを補正する、
音楽データ処理方法。
（付記４）
　付記１乃至３のいずれかに記載の音楽データ処理方法であって、
　予め対応付けられて記憶された複数の音楽データのうち、１つ又は複数の前記第１の音楽データの選択を受け付けて、当該選択された１つ又は複数の前記第１の音楽データを再生すると共に、演奏された前記第２の音楽データを、再生されている１つ又は複数の前記第１の音楽データに対応付けて収録し、
　１つ又は複数の前記第１の音楽データの前記第１の時系列データを表示すると共に、前記第２の音楽データの前記第２の時系列データを表示し、当該表示された前記第２の時系列データを時間軸に沿って移動することで前記第２の音楽データを補正する、
音楽データ処理方法。
（付記５）
　付記１乃至４のいずれかに記載の音楽データ処理方法であって、
　同時に再生可能なよう登録された、前記第１の音楽データの前記第１の時系列データと、前記第２の音楽データの前記第２の時系列データと、をそれぞれ表示し、当該表示された前記第２の時系列データを時間軸に沿って移動することで当該第２の時系列データに対応する前記第２の音楽データを補正し、
　前記第１の音楽データと前記第２の音楽データとを同時に再生可能なよう再登録する、
音楽データ処理方法。
（付記６）
　予め記憶された第１の音楽データを再生すると共に、当該第１の音楽データの再生に併せて演奏された第２の音楽データを、前記第１の音楽データに対応付けて収録する収録部と、
　前記第１の音楽データの所定要素の時間軸に沿った変化を表す第１の時系列データと、前記第２の音楽データの所定要素の時間軸に沿った変化を表す第２の時系列データと、をそれぞれ表示し、当該表示された前記第２の時系列データを時間軸に沿って移動することで当該第２の時系列データに対応する前記第２の音楽データを補正する補正部と、
　前記第１の音楽データと前記第２の音楽データとを同時に再生可能なよう登録する登録部と、
を備えた音楽データ処理システム。
（付記７）
　付記６に記載の音楽データ処理システムであって、
　前記収録部は、演奏された前記第２の音楽データを、再生されている前記第１の音楽データの時間軸の位置に対応付けて収録し、
　前記補正部は、前記第１の音楽データの前記第１の時系列データを表示すると共に、当該第１の時系列データの時間軸の位置に対応付けた状態で前記第２の音楽データの前記第２の時系列データを表示し、当該表示された前記第２の時系列データを時間軸に沿って移動することで前記第１の時系列データに対する時間軸の位置を移動して前記第２の音楽データを補正する、
音楽データ処理システム。
（付記８）
　付記６又は７に記載の音楽データ処理システムであって、
　前記収録部は、予め対応付けられて記憶された複数の前記第１の音楽データを再生すると共に、演奏された前記第２の音楽データを、再生されている複数の前記第１の音楽データに対応付けて収録し、
　前記補正部は、複数の前記第１の音楽データのそれぞれの前記第１の時系列データを表示すると共に、前記第２の音楽データの前記第２の時系列データを表示し、当該表示された前記第２の時系列データを時間軸に沿って移動することで前記第２の音楽データを補正する、
音楽データ処理システム。
（付記９）
　付記６乃至８のいずれかに記載の音楽データ処理システムであって、
　前記収録部は、予め対応付けられて記憶された複数の音楽データのうち、１つ又は複数の前記第１の音楽データの選択を受け付けて、当該選択された１つ又は複数の前記第１の音楽データを再生すると共に、演奏された前記第２の音楽データを、再生されている１つ又は複数の前記第１の音楽データに対応付けて収録し、
　前記補正部は、１つ又は複数の前記第１の音楽データの前記第１の時系列データを表示すると共に、前記第２の音楽データの前記第２の時系列データを表示し、当該表示された前記第２の時系列データを時間軸に沿って移動することで前記第２の音楽データを補正する、
音楽データ処理システム。
（付記１０）
　付記６乃至９のいずれかに記載の音楽データ処理システムであって、
　前記補正部は、同時に再生可能なよう登録された、前記第１の音楽データの前記第１の時系列データと、前記第２の音楽データの前記第２の時系列データと、をそれぞれ表示し、当該表示された前記第２の時系列データを時間軸に沿って移動することで当該第２の時系列データに対応する前記第２の音楽データを補正し、
　前記登録部は、前記第１の音楽データと前記第２の音楽データとを同時に再生可能なよう再登録する、
音楽データ処理システム。
（付記１１）
　情報処理装置に、
　予め記憶された第１の音楽データを再生すると共に、当該第１の音楽データの再生に併せて演奏された第２の音楽データを、前記第１の音楽データに対応付けて収録し、
　前記第１の音楽データの所定要素の時間軸に沿った変化を表す第１の時系列データと、前記第２の音楽データの所定要素の時間軸に沿った変化を表す第２の時系列データと、をそれぞれ表示し、当該表示された前記第２の時系列データを時間軸に沿って移動することで当該第２の時系列データに対応する前記第２の音楽データを補正し、
　前記第１の音楽データと前記第２の音楽データとを同時に再生可能なよう登録する、
処理を実行させるためのプログラム。
１　ユーザ端末
１１　選択部
１２　再生部
１３　収録部
１４　補正部
１５　登録部
１６　演奏データ記憶部
２　サーバ装置
２１　登録部
２２　公開部
２３　公開データ記憶部
 

Claims (7)

  1. 　予め記憶された第１の音楽データを再生すると共に、当該第１の音楽データの再生に併せて演奏された第２の音楽データを、前記第１の音楽データに対応付けて収録し、
    　前記第１の音楽データの所定要素の時間軸に沿った変化を表す第１の時系列データと、前記第２の音楽データの所定要素の時間軸に沿った変化を表す第２の時系列データと、をそれぞれ表示し、当該表示された前記第２の時系列データを時間軸に沿って移動することで当該第２の時系列データに対応する前記第２の音楽データを補正し、
    　前記第１の音楽データと前記第２の音楽データとを同時に再生可能なよう登録する、
    音楽データ処理方法。
  2. 　請求項１に記載の音楽データ処理方法であって、
    　演奏された前記第２の音楽データを、再生されている前記第１の音楽データの時間軸の位置に対応付けて収録し、
    　前記第１の音楽データの前記第１の時系列データを表示すると共に、当該第１の時系列データの時間軸の位置に対応付けた状態で前記第２の音楽データの前記第２の時系列データを表示し、当該表示された前記第２の時系列データを時間軸に沿って移動することで前記第１の時系列データに対する時間軸の位置を移動して前記第２の音楽データを補正する、
    音楽データ処理方法。
  3. 　請求項１又は２に記載の音楽データ処理方法であって、
    　予め対応付けられて記憶された複数の前記第１の音楽データを再生すると共に、演奏された前記第２の音楽データを、再生されている複数の前記第１の音楽データに対応付けて収録し、
    　複数の前記第１の音楽データのそれぞれの前記第１の時系列データを表示すると共に、前記第２の音楽データの前記第２の時系列データを表示し、当該表示された前記第２の時系列データを時間軸に沿って移動することで前記第２の音楽データを補正する、
    音楽データ処理方法。
  4. 　請求項１乃至３のいずれかに記載の音楽データ処理方法であって、
    　予め対応付けられて記憶された複数の音楽データのうち、１つ又は複数の前記第１の音楽データの選択を受け付けて、当該選択された１つ又は複数の前記第１の音楽データを再生すると共に、演奏された前記第２の音楽データを、再生されている１つ又は複数の前記第１の音楽データに対応付けて収録し、
    　１つ又は複数の前記第１の音楽データの前記第１の時系列データを表示すると共に、前記第２の音楽データの前記第２の時系列データを表示し、当該表示された前記第２の時系列データを時間軸に沿って移動することで前記第２の音楽データを補正する、
    音楽データ処理方法。
  5. 　請求項１乃至４のいずれかに記載の音楽データ処理方法であって、
    　同時に再生可能なよう登録された、前記第１の音楽データの前記第１の時系列データと、前記第２の音楽データの前記第２の時系列データと、をそれぞれ表示し、当該表示された前記第２の時系列データを時間軸に沿って移動することで当該第２の時系列データに対応する前記第２の音楽データを補正し、
    　前記第１の音楽データと前記第２の音楽データとを同時に再生可能なよう再登録する、
    音楽データ処理方法。
  6. 　予め記憶された第１の音楽データを再生すると共に、当該第１の音楽データの再生に併せて演奏された第２の音楽データを、前記第１の音楽データに対応付けて収録する収録部と、
    　前記第１の音楽データの所定要素の時間軸に沿った変化を表す第１の時系列データと、前記第２の音楽データの所定要素の時間軸に沿った変化を表す第２の時系列データと、をそれぞれ表示し、当該表示された前記第２の時系列データを時間軸に沿って移動することで当該第２の時系列データに対応する前記第２の音楽データを補正する補正部と、
    　前記第１の音楽データと前記第２の音楽データとを同時に再生可能なよう登録する登録部と、
    を備えた音楽データ処理システム。
  7. 　情報処理装置に、
    　予め記憶された第１の音楽データを再生すると共に、当該第１の音楽データの再生に併せて演奏された第２の音楽データを、前記第１の音楽データに対応付けて収録し、
    　前記第１の音楽データの所定要素の時間軸に沿った変化を表す第１の時系列データと、前記第２の音楽データの所定要素の時間軸に沿った変化を表す第２の時系列データと、をそれぞれ表示し、当該表示された前記第２の時系列データを時間軸に沿って移動することで当該第２の時系列データに対応する前記第２の音楽データを補正し、
    　前記第１の音楽データと前記第２の音楽データとを同時に再生可能なよう登録する、
    処理を実行させるためのプログラム。
     
PCT/JP2020/038928 2020-10-15 2020-10-15 音楽データ処理方法 WO2022079853A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/038928 WO2022079853A1 (ja) 2020-10-15 2020-10-15 音楽データ処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/038928 WO2022079853A1 (ja) 2020-10-15 2020-10-15 音楽データ処理方法

Publications (1)

Publication Number Publication Date
WO2022079853A1 true WO2022079853A1 (ja) 2022-04-21

Family

ID=81208982

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/038928 WO2022079853A1 (ja) 2020-10-15 2020-10-15 音楽データ処理方法

Country Status (1)

Country Link
WO (1) WO2022079853A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012217146A (ja) * 2011-03-25 2012-11-08 Yamaha Corp ミキシング装置
JP2018155936A (ja) * 2017-03-17 2018-10-04 ヤマハ株式会社 音データ編集方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012217146A (ja) * 2011-03-25 2012-11-08 Yamaha Corp ミキシング装置
JP2018155936A (ja) * 2017-03-17 2018-10-04 ヤマハ株式会社 音データ編集方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
13 June 2020 (2020-06-13), Retrieved from the Internet <URL:https://note.com/tkpyz/n/n7075e08f7c5b> [retrieved on 20201127] *
ANONYMOUS: ""Session Tree"-iPhone App | APPLION", WEB ARCHIVE, 26 November 2020 (2020-11-26), pages 1 - 3, XP055932863, Retrieved from the Internet <URL:https://web.archive.org/web/20201126094016/https://applion.jp/iphone/app/1471760187/> [retrieved on 20220620] *
MIIKE AYUKI: "MTR for mixing to output wave file", vol. 33, no. 3, 1 March 2008 (2008-03-01), pages 113 - 115 *

Similar Documents

Publication Publication Date Title
JP2014082582A (ja) 視聴装置、コンテンツ提供装置、視聴プログラム、及びコンテンツ提供プログラム
JP5380109B2 (ja) カラオケサービスシステム、配信サーバ、端末装置
US20170092253A1 (en) Karaoke system
JPWO2019102730A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2015031885A (ja) 音楽作成方法、装置、システム及びプログラム
WO2022079853A1 (ja) 音楽データ処理方法
JP2012190149A (ja) コンテンツ配信システム、コンテンツ配信サーバ、コンテンツ配信方法、プログラムおよび記録媒体
JP6196839B2 (ja) 通信デュエット時における音声等の切換処理に特徴を有する通信カラオケシステム
JP2014071226A (ja) 音楽再生システム、音楽再生方法
JP2021021870A (ja) コンテンツ収集・配信システム
JP6217221B2 (ja) コンテンツ再生方法、装置及びプログラム
JP2008304821A (ja) 楽曲合奏公開システム
JP2014153515A (ja) 演奏録音システム
CN113948054A (zh) 音轨处理方法、装置、电子设备和存储介质
JP4645955B2 (ja) 音声付動画データの作成方法
JP2015076808A (ja) 通話録音システム及び録音ファイル処理方法
JP6847292B1 (ja) 情報処理装置、通信システム、コンテンツ再生プログラム、コンテンツ再生方法
JP5731661B2 (ja) 記録装置、記録方法、及び記録制御用のコンピュータプログラム、並びに再生装置、再生方法、及び再生制御用のコンピュータプログラム
JP6149588B2 (ja) コンテンツ再生方法、装置及びプログラム
JP2003085068A (ja) ライブ情報提供サーバ、情報通信端末、ライブ情報提供システムおよびライブ情報提供方法
JP2013182073A (ja) コラボレーション歌唱の録画システム
JP7051923B2 (ja) 動画生成装置、動画生成方法、動画生成プログラム、再生装置、動画配信装置、及び動画システム
JP5224508B2 (ja) カラオケ録画装置
JP2014048471A (ja) サーバ、音楽再生システム
WO2020066660A1 (ja) 情報処理方法、情報処理装置およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20957682

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20957682

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP