WO2020145209A1 - 映像制御システム、及び映像制御方法 - Google Patents

映像制御システム、及び映像制御方法 Download PDF

Info

Publication number
WO2020145209A1
WO2020145209A1 PCT/JP2019/051566 JP2019051566W WO2020145209A1 WO 2020145209 A1 WO2020145209 A1 WO 2020145209A1 JP 2019051566 W JP2019051566 W JP 2019051566W WO 2020145209 A1 WO2020145209 A1 WO 2020145209A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
video
performance
reproduction
unit
Prior art date
Application number
PCT/JP2019/051566
Other languages
English (en)
French (fr)
Inventor
陽 前澤
田邑　元一
藤島　琢哉
孝司 桐山
乃梨子 越田
寿行 桑原
晃代 上平
涼彌 薄羽
Original Assignee
ヤマハ株式会社
国立大学法人東京芸術大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社, 国立大学法人東京芸術大学 filed Critical ヤマハ株式会社
Priority to CN201980087885.4A priority Critical patent/CN113272890A/zh
Publication of WO2020145209A1 publication Critical patent/WO2020145209A1/ja
Priority to US17/367,925 priority patent/US20210335331A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
    • G10G3/04—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/056—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction or identification of individual instrumental parts, e.g. melody, chords, bass; Identification or separation of instrumental parts by their characteristic voices or timbres
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G10H2220/015—Musical staff, tablature or score displays, e.g. for score reading during a performance.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation

Definitions

  • the present invention relates to a video control system and a video control method.
  • This application claims the priority on the basis of Japanese Patent Application No. 2019-000686 for which it applied on January 7, 2019, and takes in those the indications of all here.
  • Patent Document 1 discloses a technique that allows a user to intuitively edit the reproduction order of videos and the like.
  • An example of an object of the present invention is to provide a video control system that enables even a user who does not have a special technique to control a video in accordance with music.
  • an estimation unit that estimates performance information regarding performance of the music of the acoustic signal based on an output from a learned model in response to an input of an audio signal that represents performance of the music, and is input by a user.
  • the operation control includes: an acquisition unit that acquires operation information that represents an operation related to video reproduction, and a video control unit that controls reproduction of the video based on the estimated performance information.
  • a video control system that controls reproduction of the video based on the operation information when the operation information is acquired by the acquisition unit.
  • Another aspect of the present invention is to estimate performance information related to performance of the music of the acoustic signal based on an output from a learned model with respect to an input of an audio signal representing performance of the music, and to estimate the performance information.
  • Control the reproduction of the video on the basis of the operation information which is an operation input by the user, acquires operation information indicating an operation related to the reproduction of the video, and when the operation information is acquired, the operation information is acquired based on the operation information.
  • An image control method including controlling reproduction of an image.
  • FIG. 1 is a block diagram showing a configuration example of a video control system 1 of the first embodiment.
  • the video control system 1 includes, for example, a sound collection device 10, a performance analysis device 20, a video control device 30, a video output device 40, and an input device 50.
  • the sound pickup device 10 picks up a performance of a musical instrument or a song by a performer to generate an acoustic signal A.
  • the sound collection device 10 is a microphone.
  • the sound collection device 10 is connected to the performance analysis device 20 and outputs the generated acoustic signal A to the performance analysis device 20.
  • the musical performance signal output from the electronic musical instrument may be directly output to the musical performance analysis device 20.
  • the sound collection device 10 can be omitted.
  • the performance signal is a MIDI signal.
  • the performance includes a performance such as singing.
  • the performance analysis device 20 may be, for example, a computer including a memory and a processor.
  • the performance analysis device 20 estimates the performance information B regarding the performance of the acoustic signal A by analyzing the acoustic signal A acquired from the sound collection device 10. For this analysis, for example, the technique described in Japanese Patent Laid-Open No. 2015-79183 is used. The entire disclosure of Japanese Patent Laid-Open No. 2015-79183 is incorporated herein.
  • the performance information B may be information related to the performance, and is, for example, information indicating the position of the performance and/or the speed of the performance.
  • the performance analysis device 20 is connected to the video control device 30 and outputs the estimated performance information B to the video control device 30.
  • the performance analysis device 20 may estimate the performance information B by analyzing the performance signal acquired from the electronic musical instrument.
  • the input device 50 is connected to the video control device 30 and acquires the content (instruction) operated and input by the user with respect to the content displayed on the display unit 302 (see FIG. 5) of the video control device 30 described later. It is a device.
  • the input device 50 is a device such as a mouse, a keyboard or a touch panel.
  • the input device 50 acquires the content input by operation by the user and generates the operation information D based on the acquired content.
  • the operation information D is information indicating an operation performed by the user on the content displayed on the display unit 302.
  • the operation information D is, for example, information that specifies a reproduction position or a reproduction speed of a video controlled by the video control device 30.
  • the input device 50 outputs the generated operation information D to the video control device 30.
  • the video control device 30 may be, for example, a computer including a memory and a processor.
  • the video control device 30 generates the video control information C for controlling the reproduction of the video to be output to the video output device 40 based on the performance information B acquired from the performance analysis device 20 or the operation information D acquired from the input device 50.
  • the image control information C is information for controlling the reproduction of the image and is, for example, information indicating the reproduction position and the reproduction speed of the image.
  • the video control device 30 is connected to the video output device 40 and outputs the generated video control information C to the video output device 40.
  • the video control device 30 reproduces a video by prioritizing the operation by the user (operation information D from the input device 50) over the information by the machine (performance information B by the performance analysis device 20). To control. Specifically, when the operation information D is input while controlling the reproduction of the video based on the performance information B, the video control device 30 controls the reproduction of the video based on the operation information D. That is, the video control device 30 controls the reproduction of the video based on the performance information B except the period during which the reproduction of the video is controlled based on the operation information D. This allows the user to match the reproduction speed of the video to the performance speed of the live performance by a machine in the normal case, for example. On the other hand, in an important phrase (decision scene) such as a climax of a music, the user can control the image by the user's own operation to realize an effective image production.
  • an important phrase such as a climax of a music
  • the video output device 40 generates video data M based on the video control information C acquired from the video control device 30, and outputs the generated video data M to a display device (not shown) such as a screen.
  • the video data M is information of a video displayed on the display device.
  • FIG. 2 is a block diagram showing a configuration example of the performance analysis device 20 of the embodiment.
  • the performance analysis device 20 includes, for example, an acoustic signal acquisition unit 200, a performance information estimation unit 201, a performance information output unit 202, a music data storage unit 203, a learned model storage unit 204, and a control unit 205. ..
  • the performance information estimation unit 201 is an example of an “estimation unit”.
  • the acoustic signal acquisition unit 200 acquires the acoustic signal A output by the sound collection device 10.
  • the acoustic signal acquisition unit 200 outputs the acquired acoustic signal A to the performance information estimation unit 201.
  • the performance information estimation unit 201 estimates the performance information B regarding the performance of the music of the acoustic signal A by inputting the acoustic signal A into the learned model.
  • the performance information estimation unit 201 outputs the estimated performance information B to the performance information output unit 202.
  • the learned model is a model learned by performing machine learning on the correspondence between the learning performance data, which is the performance data used for learning, and the performance position indicated by the learning performance data.
  • Commonly used machine learning techniques include Hidden Markov Model (HMM), Deep Learning, Recurrent Neural Network, Convolutional Neural Network, Support Vector Machine (SVM), Decision Tree Learning, and Genetic Programming. Any of these may be used.
  • the learned model is a model in which data in which the performance position of each performance data is associated with each of the performance data (learning performance data) obtained by dividing the acoustic signal of the music at a predetermined cycle is learned. is there.
  • the degree of similarity between the acoustic signal A and the learned performance data for learning is calculated.
  • the degree of similarity is calculated, for example, as a distance in a vector space between a value obtained by digitizing the feature amount of the input acoustic signal A by vector expression and a value obtained by digitizing the feature amount of learning performance data by vector expression.
  • the distance in the vector space is proportional to the correlation amount of the values digitized by mutual vector representation, and is calculated by, for example, the inner product of the vectors. Then, the learned model estimates, in the acoustic signal A, a performance position in which the distance in the vector space from the input acoustic signal A is less than a predetermined threshold value, that is, a performance position associated with similar learning performance data. Output as the playing position.
  • the performance information B estimated by the performance information estimation unit 201 is, for example, information related to the position on the music piece at which the acoustic signal A is currently playing.
  • the performance information B is information indicating the number of bars, beats, ticks, etc. from the start of the performance in the score corresponding to the music.
  • the performance information B is the time from the performance start time to the performance position when the performance is performed at the speed indicated by the score (speed indicated by the speed symbol or speed term) as the performance position. It may be the information shown.
  • the performance information estimation unit 201 refers to the music data storage unit 203 based on the estimated performance position, and acquires the speed indicated in the score corresponding to the music.
  • the performance information estimation unit 201 derives the performance information B by converting the performance position into the time from the performance start time to the performance position, using the acquired velocity on the score.
  • the performance information B may be a performance speed indicating the speed of performance.
  • the performance information estimation unit 201 may derive the performance speed by differentiating the performance position with respect to time.
  • the performance information estimation unit 201 may estimate the performance speed by using a learned model in which data for associating the performance data for learning with the performance speed of the performance data for learning is learned as learning data.
  • the performance information estimation unit 201 sets (updates) the performance information B to the content (for example, the reproduction position or the reproduction speed) corresponding to the acquired reproduction information.
  • the reproduction information is information indicating a position (reproduction position) at which the image control device 30 is currently reproducing an image or a reproduction speed.
  • the performance information output unit 202 outputs the performance information B estimated by the performance information estimation unit 201 to the video control device 30.
  • the music data storage unit 203 stores music data corresponding to the score of the music played by the performer.
  • the music data is time-series data indicating the pitch, the volume, and the sounding period of each note constituting the music, and is, for example, a MIDI format file (SMF, Standard MIDI File).
  • the learned model storage unit 204 stores the learned model.
  • the control unit 205 is, for example, a processing circuit such as a CPU (Central Processing Unit), and controls each element of the performance analysis device 20 as a whole.
  • a storage device (for example, a cloud storage) that is separate from the performance analysis device 20 is prepared, and the control unit 205 controls the storage unit 203 via the mobile communication network or the communication network such as the Internet. , And the information stored in the learned model storage unit 204 can be written or read.
  • the performance analysis device 20 may not include the music data storage unit 203 and the learned model storage unit 204.
  • FIG. 3 is a block diagram showing a configuration example of the video control device 30 of the embodiment.
  • the video control device 30 includes, for example, a performance information acquisition unit 300, an operation information acquisition unit 301, a display unit 302, a video control unit 303, a video meta information storage unit 304, and a control unit 305.
  • the video meta information storage unit 304 is an example of a “storage unit”.
  • the performance information acquisition unit 300 acquires the performance information B from the performance analysis device 20.
  • the operation information acquisition unit 301 outputs the acquired performance information B to the video control unit 303.
  • the operation information acquisition unit 301 acquires the operation information D from the input device 50.
  • the operation information acquisition unit 301 outputs the acquired operation information D to the video control unit 303.
  • the display unit 302 is, for example, a liquid crystal display, and displays a menu screen, an operation screen, a setting screen, and the like when the user operates reproduction of video.
  • the video control unit 303 controls the reproduction of video based on the performance information B or the operation information D.
  • the video control unit 303 controls the reproduction of the video based on the performance information B or the operation information D for each section of the music played by the performer, for example, according to the content preset by the user.
  • the video control unit 303 In the section where the video is controlled based on the performance information B, the video control unit 303 generates the video control information C corresponding to the performance information B and designating the video position and/or the video speed.
  • the video control unit 303 generates video control information C corresponding to the video position and/or the video speed indicated by the operation information D in the section in which the video is controlled based on the operation information D.
  • the video control unit 303 switches to control based on the operation information D when the operation information D is acquired from the operation information acquisition unit 301 while controlling the video based on the performance information B. That is, when the video control unit 303 acquires the operation information D from the operation information acquisition unit 301 during the performance of the section where the video is controlled based on the performance information B, the section is controlled to be the section controlled based on the operation information D. Switch. That is, even if the video control unit 303 is performing control by the machine (control based on the performance information B), if the control by the user (control based on the operation information D) is operated, the video control unit 303 is operated by the user. Give priority to control.
  • the video control unit 303 switches to the control based on the performance information B when the user operates to control the video based on the performance information B while controlling the video based on the operation information D.
  • the video control unit 303 determines the section based on the performance information B. Switch to the section to be controlled. That is, the video control unit 303 follows an instruction from the user when the user gives an instruction (an instruction to perform control based on the performance information B or the operation information D).
  • the video control unit 303 outputs the reproduction information to the performance information estimation unit 201 of the performance analysis device 20 when the operation information acquisition unit 301 acquires the instruction information during the control based on the operation information D. ..
  • the instruction information is information indicating an instruction to control the reproduction of the video based on the performance information B.
  • the reproduction information is information indicating the position (reproduction position) where the video is currently reproduced or the reproduction speed.
  • the video control unit 303 uses the video meta information when performing the control based on the operation information D.
  • the video meta information is information stored in the video meta information storage unit 304.
  • the video meta information is information in which a target video to be operated by the user is associated with meta information indicating the content of reproduction (reproduction method) in the target video.
  • the meta information is information indicating the content of reproduction, and is, for example, presence/absence of reproduction, presence/absence of stop, presence/absence of jump cut, presence/absence of loop, and the like.
  • the presence/absence of reproduction is information indicating whether or not to advance (reproduce) the reproduction position of the target video after displaying the target video.
  • the presence/absence of the stop is information indicating whether or not the progress of the target video is stopped after the target video is displayed.
  • the jump cut is information indicating whether or not the display of the currently reproduced image is directly switched to the display of the target image when the target video is displayed, and the video during that period is skipped (jump cut).
  • the presence/absence of a loop is information indicating whether or not the reproduction of the target video is repeated (loop) again when the reproduction of the target video is completed.
  • the video meta information storage unit 304 stores the video meta information.
  • the control unit 305 is, for example, a processing circuit such as a CPU (Central Processing Unit), and integrally controls each element of the video control device 30.
  • CPU Central Processing Unit
  • FIG. 4 shows an example of video meta information stored in the video meta information storage unit 304 of the embodiment.
  • the video meta information includes, for example, items such as items, seconds, marker information RGB, reproduction, stop, jump cut, loop, and AI application (automatic control application).
  • the item is a number attached to the content registered as video meta information.
  • the number of seconds is information indicating the position of the video by the elapsed time [seconds] from the start of the video.
  • the marker information RGB is information that indicates the color attached to the frame of the thumbnails (images G6 to G9 in FIG. 5) of the video registered on the operation display screen (see FIG. 5) as RGB values.
  • Reproduction is information indicating whether or not to proceed with reproduction after displaying the registered video.
  • the stop is information indicating whether to stop the advance of the image after displaying the registered image.
  • the jump cut is information indicating whether or not to cut the intervening video when displaying the registered video.
  • the loop is information indicating whether or not to replay the registered video when the replay of the video is completed.
  • AI application is information indicating whether or not to apply video control (automatic video control) by the machine (performance analysis device 20).
  • the video at the start time of the video (0 seconds later), 1 second later, 630.8 seconds later, 1274.50 seconds later, etc. are respectively registered.
  • the video after 0 second is reproduced, and AI is not applied to the reproduction control in the section starting from 0 second.
  • AI is applied to the reproduction control.
  • FIG. 5 shows an example of a display on the display unit 302 of the embodiment.
  • the display unit 302 displays images G1 to G9, for example.
  • the image G1 is an operation button for operating whether to apply AI, that is, whether to apply video control by the performance analysis device 20.
  • AI automatic control
  • the video control is switched to manual.
  • the image G1 is clicked in a state where AI (automatic control) is not applied (a state of manual control)
  • the video control is switched to AI (automatic control).
  • the image G2 is an operation button for controlling reproduction of video.
  • the image G2 is provided with operation buttons such as play, stop, fast forward, and rewind.
  • the image G3 is a slide bar (knob) for changing the reproduction speed.
  • the reproduction speed is changed by operating the image G30 on the slide bar in the vertical direction. For example, moving the image G30 in the upward direction increases the reproduction speed, and moving the image G30 in the downward direction decreases the reproduction speed.
  • Image G4 is a reproduction screen on which the image being reproduced is displayed.
  • the image G5 is an image for performing an operation of switching to a video registered as video meta information.
  • Images G6 to G9 are thumbnail images of the images located at the beginning of each of the images registered as the image meta information.
  • the image G6 is an image 0 seconds after the start of the image.
  • the image G7 is a video one second after the start of the video.
  • the image G8 is an image 630.80 seconds after the start of the image.
  • the image G9 is an image 1274.50 seconds after the start of the image.
  • FIG. 6 is a diagram for explaining the operation of the video control device 30 of the embodiment.
  • the performance information B acquired by the performance information acquisition unit 300 is input to the selector 303A of the video control unit 303.
  • An operation signal which is acquired by the operation information acquisition unit 301 and indicates the operation of changing the video reproduction speed (the operation of moving the image G30 of the slide bar), is input to the selector 303A. Further, this operation signal is converted into an operation signal indicating an operation of turning off AI (automatic control). That is, this operation signal is converted into an operation of switching AI application from ON to OFF (operation of clicking the image G1). This converted operation is input to the selector 303A as an operation signal indicating an operation to turn off AI.
  • This operation signal is input to the selector 303A as a signal indicating control for selecting whether to output the signal from the selector 303A. That is, when the operation signal indicating the operation of turning off AI is input to the selector 303A, the operation signal is output from the selector 303A. On the other hand, when the operation signal indicating the operation of turning on AI is input to the selector 303A, the operation signal is not output from the selector 303A.
  • the operation signal output from the selector 303A is input to the functional unit (playback speed control unit) 303B of the video control unit 303.
  • the functional unit 303B is a functional unit that controls the reproduction speed.
  • the functional unit 303B generates video control information C (playback speed control information) from the operation signal and outputs the video control information C to the video output device 40. Further, the functional unit 303B outputs (feedback) the generated video control information C (performance position designation information) to the performance analysis device 20.
  • the functional unit 303B may periodically feed back the video control information C (performance position designation information) to the performance analysis device 20 when switched to a manual operation by the user.
  • An operation signal which is acquired by the operation information acquisition unit 301 and indicates the operation of the scene switching screen for switching the video (the operation of clicking the images G6 to G9), is input to the functional unit (playback position control unit) 303C of the video control unit 303.
  • the functional unit 303C is a functional unit that controls the reproduction position.
  • the functional unit 303C generates video control information C (playback position control information) from the input operation signal and outputs it to the video output device 40. Further, the functional unit 303C outputs (feedback) the generated video control information C (performance position designation information) to the performance analysis device 20.
  • the functional unit 303C may periodically feed back the video control information C (performance position designation information) to the performance analysis device 20 when the video is switched by the user.
  • FIG. 7 is a sequence diagram showing an operation flow of the video control system 1 of the embodiment.
  • the sound collection device 10 collects the sound of a performance (live performance, real-time performance) (step S10), and generates an acoustic signal A using the collected sound (step S11).
  • the sound collection device 10 outputs the generated acoustic signal A to the performance analysis device 20.
  • the performance analysis device 20 acquires the acoustic signal A from the sound collection device 10 (step S12), and inputs the acquired acoustic signal A to the learned model (step S13).
  • the performance analysis device 20 sets the output from the learned model as the performance information B estimated in the acoustic signal A (step S14). Alternatively, the performance analysis device 20 may estimate the performance information B based on the output from the learned model.
  • the performance analysis device 20 outputs the estimated performance information B to the video control device 30.
  • the video control device 30 acquires the performance information B from the performance analysis device 20 (step S15), and controls the reproduction of the video based on the acquired performance information B (step S16).
  • Input information indicating an input by a user operation is input to the input device 50 (step S17).
  • the input device 50 generates the operation information D using the input information (step S18).
  • the input device 50 outputs the generated operation information D to the video control device 30.
  • the video control device 30 acquires the operation information D from the input device 50 (step S19), it switches the video control and controls the video reproduction based on the operation information D (step S20).
  • the video control system 1 of the first embodiment based on the output from the learned model for the input of the acoustic signal A representing the performance of the music, the performance information B regarding the performance of the music in the audio signal A.
  • a performance information estimation unit 201 (an example of an “estimation unit”) for estimating the operation information
  • an operation information acquisition unit 301 (“acquisition unit”) that acquires operation information D that is an operation input by the user and that indicates an operation related to video reproduction.
  • an image control unit 303 that controls reproduction of an image based on the performance information B estimated by the performance information estimation unit 201 or the operation information D acquired by the operation information acquisition unit 301.
  • the video control unit 303 controls the reproduction of the video based on the operation information D.
  • the video control system 1 of the first embodiment can control the video according to the performance information.
  • the operation information D from the user is acquired, the reproduction of the video can be controlled based on the operation information D. Therefore, in an unexpected situation such as an important phrase (decision scene) such as a climax of a music piece or the sound pickup device 10 malfunctioning and the acoustic signal A is not input to the performance analysis device 20, the video is controlled by the user's operation. It is possible to realize a more effective video effect.
  • the learned model defines the correspondence between the learning performance data, which is the performance data used for learning, and the position or speed of the performance indicated by the learning performance data. It is a model learned by executing learning.
  • the performance information estimation unit 201 estimates performance information B regarding the position or speed of the performance of the music in the audio signal A.
  • the video control system 1 of the first embodiment can control the video playback position and playback speed in accordance with the performance position and speed indicated by the performance information. As a result, for example, even when the performance speed (tempo) of the live performance becomes slow or fast, the reproduction speed of the video can be matched with the performance speed of the live performance.
  • the video control unit 303 controls the reproduction of the video based on the performance information while controlling the reproduction of the video based on the operation information D.
  • the reproduction information regarding the speed of reproduction of the video is output to the performance information estimation unit 201.
  • the performance information estimation unit 201 uses the reproduction information acquired from the video control unit 303 to set (update) the performance information based on the reproduction information.
  • the control of the video by the user's operation can be returned to the control (automatic control) by the machine (performance information estimating unit 201).
  • the playback position and playback speed of the video do not change when switching to machine control, and smooth playback is possible. It is possible to perform various switching.
  • the video control system 1 of the first embodiment further includes a video meta information storage unit 304 that stores information in which target video that is an operation target and meta information that indicates a reproduction method of the target video are associated with each other. ..
  • the operation information D is information indicating the target video (information indicating selection of the target video).
  • the video control unit 303 reproduces the target video by the reproduction method indicated by the meta information.
  • the video control system 1 of the first embodiment when the user manually controls the video, it is associated with the video (target video) to be displayed, and the video playback method (for example, standby, predetermined It is possible to record (register) meta-information such as repeating (looping) reproduction of the video section. Therefore, the user can play the video as registered in the meta information by selecting the video registered in advance, and does not need to perform the operation of stopping or looping the video. You can concentrate on the adjustment.
  • the video control system 1 of the first embodiment has a performance information estimation unit 201, a performance analysis device 20 that transmits performance information, an operation information acquisition unit 301, and a video control unit 303.
  • the image control device 30 that receives the information B may be included. Thereby, the same effect as the above-mentioned effect is exhibited.
  • the performance analysis device 20 is different from the above-described embodiment in that the learned model storage unit 204 stores a plurality of learned models.
  • Each of the plurality of learned models is a model learned using different learning data for each music type.
  • the type of music is a genre with different playing styles. Specific examples of the type of music are orchestra, chamber music, singing, rock, and the like.
  • a learned model is data in which the performance position of each performance data is associated with each of the performance data (learning performance data) obtained by dividing the performance by various orchestras at a predetermined cycle. Is a model that is trained as learning data.
  • another learned model corresponds to the performance position of each performance data to each performance data (learning performance data) in which various chamber music performances are divided at predetermined intervals.
  • This is a model in which the attached data is learned as learning data.
  • genres such as singing and rock.
  • a plurality of learned models having different learning contents, which are learned by using the learning data according to the genre (type) of the music, are used.
  • the learned model used for estimation is switched according to the genre of the music played by the performer. For example, when a performer plays an orchestra, a learned model learned from playing the orchestra is used. When the performer plays chamber music, a learned model learned from playing chamber music is used. The same applies to genres such as singing and rock.
  • the performance information estimation unit 201 estimates the performance information B using a learned model corresponding to the type of music corresponding to the acoustic signal A.
  • the performance information B can be estimated by using the learned model corresponding to the type (genre) of the music to be played. It is possible to estimate performance information B that reflects characteristics peculiar to each genre, such as, rock, and singing (for example, tempo during performance is likely to change or difficult to change). As a result, it becomes possible to match the reproduction of the video with the music played.
  • All or part of the video control system 1 in the above-described embodiment may be realized by a computer.
  • the program for realizing this function may be recorded in a computer-readable recording medium, and the program recorded in this recording medium may be read by a computer system and executed.
  • the “computer system” mentioned here includes an OS and hardware such as peripheral devices.
  • the “computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, or a storage device such as a hard disk built in a computer system.
  • the "computer-readable recording medium” means to hold a program dynamically for a short time like a communication line when transmitting the program through a network such as the Internet or a communication line such as a telephone line.
  • a volatile memory inside a computer system that serves as a server or a client in that case may hold a program for a certain period of time.
  • the program may be for realizing a part of the above-mentioned functions, or may be a program for realizing the above-mentioned functions in combination with a program already recorded in a computer system, It may be realized using a programmable logic device such as FPGA.
  • the present invention may be applied to a video control system and a video control method.

Abstract

映像制御システムは、楽曲の演奏を表す音響信号の入力に対する学習済みモデルからの出力に基づいて、前記音響信号の前記楽曲における演奏に関する演奏情報を推定する推定部と、ユーザにより入力される操作であって、映像の再生に関する操作を表す操作情報を取得する取得部と、前記推定された演奏情報に基づいて前記映像の再生を制御する映像制御部と、を備える。前記映像制御部は、前記取得部により前記操作情報が取得された場合、前記操作情報に基づいて前記映像の再生を制御する。

Description

映像制御システム、及び映像制御方法
　本発明は、映像制御システム、及び映像制御方法に関する。
　この出願は、２０１９年１月７日に出願された日本国特願２０１９－０００６８６を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　従来、イベント会場などにおいては楽曲に合わせて映像を流すことで効果的な映像演出を実現している。例えば、特許文献１には、映像の再生順などの編集をユーザが直観的に行うことができる技術が開示されている。
日本国特開２０１０－１４１４６１号公報
　しかしながら、コンサートなどのイベントの場合、生演奏に合わせて映像を制御しなければならない。生演奏においては演奏者が楽譜通りに演奏することは稀であり、テンポが遅くなったり早くなったりすることがある。このような生演奏に合わせて映像を制御するには特別な訓練や技術が必要である。つまり、技術を有していないユーザにとって生演奏に合わせて映像を制御することは困難であった。
　本発明は、このような状況に鑑みてなされた。この発明の目的の一例は、特別な技術を有していないユーザであっても楽曲に合わせて映像を制御することができる映像制御システムを提供することである。
　本発明の一態様は、楽曲の演奏を表す音響信号の入力に対する学習済みモデルからの出力に基づいて、前記音響信号の前記楽曲における演奏に関する演奏情報を推定する推定部と、ユーザにより入力される操作であって、映像の再生に関する操作を表す操作情報を取得する取得部と、前記推定された演奏情報に基づいて前記映像の再生を制御する映像制御部と、を備え、前記映像制御部は、前記取得部により前記操作情報が取得された場合、前記操作情報に基づいて前記映像の再生を制御する映像制御システムである。
　本発明の別の一態様は、楽曲の演奏を表す音響信号の入力に対する学習済みモデルからの出力に基づいて、前記音響信号の前記楽曲における演奏に関する演奏情報を推定し、前記推定された演奏情報に基づいて映像の再生を制御し、ユーザにより入力される操作であって、前記映像の再生に関する操作を表す操作情報を取得し、前記操作情報が取得された場合、前記操作情報に基づいて前記映像の再生を制御する、ことを含む映像制御方法である。
　本発明の実施形態によれば、特別な技術を有していないユーザであっても楽曲に合わせて映像を制御することができる。
実施形態の映像制御システム１の構成例を示すブロック図である。 実施形態の演奏解析装置２０の構成例を示すブロック図である。 実施形態の映像制御装置３０の構成例を示すブロック図である。 実施形態の映像メタ情報記憶部３０４に記憶される情報の例を示す図である。 実施形態の表示部３０２における表示の例を示す図である。 実施形態の映像制御装置３０の動作を説明する図である。 実施形態の映像制御システム１の動作の流れを示すシーケンス図である。
　以下、本発明の実施形態を、図面を参照して説明する。
　図１は、第１の実施形態の映像制御システム１の構成例を示すブロック図である。映像制御システム１は、例えば、収音装置１０と、演奏解析装置２０と、映像制御装置３０と、映像出力装置４０と、入力装置５０とを備える。
　収音装置１０は、演奏者による楽器の演奏や歌唱を収音して音響信号Ａを生成する。例えば、収音装置１０は、マイクロホンである。収音装置１０は、演奏解析装置２０と接続しており、演奏解析装置２０に、生成した音響信号Ａを出力する。なお、演奏者が電子楽器にて演奏する場合には、電子楽器から出力される演奏信号を、直接、演奏解析装置２０に出力するように構成されてもよい。この場合、収音装置１０は省略することが可能である。例えば、演奏信号は、ＭＩＤＩ信号である。
　以下の説明では、演奏は歌唱等の実演を含む。
　演奏解析装置２０は、例えば、メモリとプロセッサを含むコンピュータであってもよい。演奏解析装置２０は、収音装置１０から取得した音響信号Ａを解析することで音響信号Ａの演奏に関する演奏情報Ｂを推定する。この解析には、例えば、日本国特開２０１５－７９１８３号公報記載の技術が用いられる。日本国特開２０１５－７９１８３号公報の開示の全てをここに取り込む。演奏情報Ｂは、演奏に関係する情報であればよく、例えば、演奏の位置及び／又は演奏の速度を示す情報である。演奏解析装置２０は、映像制御装置３０と接続しており、映像制御装置３０に推定した演奏情報Ｂを出力する。
　演奏解析装置２０は、電子楽器から取得した演奏信号を解析することで演奏情報Ｂを推定してもよい。
　入力装置５０は、映像制御装置３０と接続し、後述する映像制御装置３０の表示部３０２（図５参照）に表示される内容に対して、ユーザにより操作入力される内容（指示）を取得する装置である。例えば、入力装置５０は、マウス、キーボード、タッチパネルなどの装置である。入力装置５０は、ユーザにより操作入力された内容を取得し、取得した内容に基づいて操作情報Ｄを生成する。操作情報Ｄは、ユーザによる表示部３０２に表示された内容に対する操作を示す情報である。操作情報Ｄは、例えば、映像制御装置３０が制御する映像の再生位置や再生速度を指定する情報である。入力装置５０は、映像制御装置３０に生成した操作情報Ｄを出力する。
　映像制御装置３０は、例えば、メモリとプロセッサを含むコンピュータであってもよい。映像制御装置３０は、演奏解析装置２０から取得した演奏情報Ｂ、又は、入力装置５０から取得した操作情報Ｄに基づいて、映像出力装置４０に出力させる映像の再生を制御する映像制御情報Ｃを生成する。映像制御情報Ｃは、映像の再生を制御する情報であって、例えば、映像の再生位置や再生速度を表す情報である。映像制御装置３０は、映像出力装置４０と接続しており、映像出力装置４０に生成した映像制御情報Ｃを出力する。
　映像制御システム１においては、映像制御装置３０は、機械による情報（演奏解析装置２０による演奏情報Ｂ）よりも、ユーザによる操作（入力装置５０からの操作情報Ｄ）を優先させて、映像の再生を制御する。具体的に、映像制御装置３０は、演奏情報Ｂに基づいて映像の再生を制御している際に、操作情報Ｄが入力された場合、操作情報Ｄに基づいて映像の再生を制御する。すなわち、映像制御装置３０は、操作情報Ｄに基づいて映像の再生を制御している期間以外は、演奏情報Ｂに基づいて映像の再生を制御する。これにより、ユーザは、例えば、通常の場合は機械により生演奏の演奏速度に映像の再生速度を合わせることができる。一方、ユーザは、楽曲のクライマックスなどの重要なフレーズ（決めの場面）では、ユーザ自らの操作により映像を制御して効果的な映像演出を実現することが可能である。
　映像出力装置４０は、映像制御装置３０から取得した映像制御情報Ｃに基づいて、映像データＭを生成し、生成した映像データＭを、スクリーン等の表示装置（不図示）に出力する。映像データＭは、表示装置に表示させる映像の情報である。
　図２は、実施形態の演奏解析装置２０の構成例を示すブロック図である。演奏解析装置２０は、例えば、音響信号取得部２００と、演奏情報推定部２０１と、演奏情報出力部２０２と、楽曲データ記憶部２０３と、学習済みモデル記憶部２０４と、制御部２０５とを備える。ここで、演奏情報推定部２０１は、「推定部」の一例である。
　音響信号取得部２００は、収音装置１０により出力された音響信号Ａを取得する。音響信号取得部２００は、取得した音響信号Ａを演奏情報推定部２０１に出力する。
　演奏情報推定部２０１は、音響信号Ａを学習済みモデルに入力することにより、音響信号Ａの楽曲における演奏に関する演奏情報Ｂを推定する。演奏情報推定部２０１は、推定した演奏情報Ｂを演奏情報出力部２０２に出力する。
　学習済みモデルは、学習に用いる演奏データである学習用演奏データとその学習用演奏データが示す演奏位置との対応関係を、機械学習を実行することにより学習したモデルである。機械学習の技法としては、隠れマルコフモデル（ＨＭＭ）、ディープラーニング、リカレントニューラルネットワーク、畳み込みニューラルネットワーク、サポートベクタマシン（ＳＶＭ）、決定木学習、遺伝的プログラミング、などの一般的に用いられている技法のいずれが用いられてもよい。
　例えば、学習済みモデルは、楽曲の音響信号を所定の周期で区分した演奏データ（学習用演奏データ）の各々に、各演奏データの演奏位置を対応付けたデータを学習データとして学習させたモデルである。学習済みモデルは、未学習の音響信号Ａが入力されると、音響信号Ａと学習済みの学習用演奏データとの類似度合いを算出する。類似度合いは、例えば、入力された音響信号Ａの特徴量をベクトル表現により数値化した値と、学習用演奏データの特徴量をベクトル表現により数値化した値との、ベクトル空間における距離として算出される。ベクトル空間における距離は、互いのベクトル表現により数値化した値の相関量に比例し、例えば、ベクトルの内積等により算出される。そして、学習済みモデルは、入力された音響信号Ａとのベクトル空間における距離が所定の閾値未満である、つまり類似している学習用演奏データに対応付けられた演奏位置を、音響信号Ａにおいて推定される演奏位置として出力する。
　演奏情報推定部２０１が推定する演奏情報Ｂは、例えば、音響信号Ａが現に演奏している楽曲上の位置に関係する情報である。この場合、演奏情報Ｂは、楽曲に対応する楽譜における、演奏開始からの小節の数、拍目、ティック等を示す情報である。或いは、演奏情報Ｂは、楽譜に示された速度（速度記号や速度用語により示される速度）で演奏が行われた場合における、演奏開始時点から演奏位置に到達するまでの時間を、演奏位置として示した情報であってもよい。この場合、演奏情報推定部２０１は、推定した演奏位置に基づいて、楽曲データ記憶部２０３を参照し、楽曲に対応する楽譜において示された速度を取得する。演奏情報推定部２０１は、取得した楽譜上の速度を用いて、演奏位置を演奏開始時点から演奏位置に到達するまでの時間に換算した演奏情報Ｂを導出する。
　演奏情報Ｂは、演奏の速度を表す演奏速度であってもよい。この場合、演奏情報推定部２０１は、演奏位置を時間微分することにより演奏速度を導出してもよい。演奏情報推定部２０１は、学習用演奏データにその学習用演奏データの演奏速度を対応付けたデータを学習データとして学習させた学習済みモデルを用いて演奏速度を推定するようにしてもよい。
　演奏情報推定部２０１は、映像制御装置３０から再生情報を取得した場合、演奏情報Ｂをその取得した再生情報に対応する内容（例えば、再生位置や再生速度）に設定（更新）する。再生情報は、映像制御装置３０が、現在、映像を再生している位置（再生位置）、又は再生速度を示す情報である。これにより、演奏情報推定部２０１により推定した演奏情報Ｂが、実際の演奏位置から外れている場合に、正しい演奏位置に設定し直すことが可能である。
　演奏情報出力部２０２は、演奏情報推定部２０１により推定された演奏情報Ｂを映像制御装置３０に出力する。
　楽曲データ記憶部２０３は、演奏者が演奏する楽曲の楽譜に相当する楽曲データを記憶する。楽曲データは、楽曲を構成する音符の各々について音高と音量と発音期間とが示された時系列データであり、例えば、ＭＩＤＩ形式のファイル（ＳＭＦ、Standard MIDI File）である。
　学習済みモデル記憶部２０４は、学習済みモデルを記憶する。
　制御部２０５は、例えばＣＰＵ（Central Processing Unit）等の処理回路であり、演奏解析装置２０の各要素を統括的に制御する。
　演奏解析装置２０とは別体の記憶装置（例えばクラウドストレージ）を用意し、その記憶装置に対して、移動体通信網またはインターネット等の通信網を介して制御部２０５が、楽曲データ記憶部２０３、及び学習済みモデル記憶部２０４に記憶する情報を書込みしたり読み出したりする構成とすることも可能である。この場合、演奏解析装置２０は、楽曲データ記憶部２０３、及び学習済みモデル記憶部２０４を備えていなくてもよい。
　図３は、実施形態の映像制御装置３０の構成例を示すブロック図である。映像制御装置３０は、例えば、演奏情報取得部３００と、操作情報取得部３０１と、表示部３０２と、映像制御部３０３と、映像メタ情報記憶部３０４と、制御部３０５とを備える。ここで、映像メタ情報記憶部３０４は、「記憶部」の一例である。
　演奏情報取得部３００は、演奏解析装置２０から演奏情報Ｂを取得する。操作情報取得部３０１は、取得した演奏情報Ｂを映像制御部３０３に出力する。
　操作情報取得部３０１は、入力装置５０から操作情報Ｄを取得する。操作情報取得部３０１は、取得した操作情報Ｄを映像制御部３０３に出力する。
　表示部３０２は、例えば、液晶ディスプレイであり、ユーザが映像の再生を操作する際のメニュー画面、操作画面、設定画面などを表示する。
　映像制御部３０３は、演奏情報Ｂ、又は操作情報Ｄに基づいて、映像の再生を制御する。映像制御部３０３は、例えば、ユーザにより予め設定された内容に応じて、演奏者が演奏する楽曲の区間ごとに、演奏情報Ｂ、又は操作情報Ｄに基づいて映像の再生を制御する。
　映像制御部３０３は、演奏情報Ｂに基づいて映像を制御する区間においては、演奏情報Ｂに対応する、映像位置及び／又は映像速度を指定する映像制御情報Ｃを生成する。
　映像制御部３０３は、操作情報Ｄに基づいて映像を制御する区間においては、操作情報Ｄに示される映像位置及び／又は映像速度に対応する映像制御情報Ｃを生成する。
　映像制御部３０３は、演奏情報Ｂに基づいて映像を制御している際に、操作情報取得部３０１から操作情報Ｄを取得した場合、操作情報Ｄに基づく制御に切り替える。すなわち、映像制御部３０３は、演奏情報Ｂに基づいて映像を制御する区間の演奏中に操作情報取得部３０１から操作情報Ｄを取得した場合、その区間を操作情報Ｄに基づいて制御する区間に切り替える。つまり、映像制御部３０３は、機械による制御（演奏情報Ｂに基づく制御）を行っている場合であっても、ユーザによる制御（操作情報Ｄに基づく制御）が操作された場合には、ユーザによる制御を優先させる。
　映像制御部３０３は、操作情報Ｄに基づいて映像を制御している際に、ユーザにより演奏情報Ｂに基づいて制御する旨を指示する操作がなされた場合、演奏情報Ｂに基づく制御に切り替える。映像制御部３０３は、操作情報Ｄに基づいて映像を制御する区間の演奏中にユーザにより演奏情報Ｂに基づいて制御する旨を指示する操作がなされた場合、その区間を演奏情報Ｂに基づいて制御する区間に切り替える。つまり、映像制御部３０３は、ユーザによる指示（演奏情報Ｂ又は操作情報Ｄに基づく制御をする旨の指示）がなされた場合には、ユーザによる指示に従う。
　映像制御部３０３は、操作情報Ｄに基づく制御を行っている際に、指示情報が操作情報取得部３０１により取得された場合、演奏解析装置２０の演奏情報推定部２０１に、再生情報を出力する。指示情報は、演奏情報Ｂに基づいて映像の再生を制御する旨の指示を示す情報である。再生情報は、現在、映像を再生している位置（再生位置）、又は再生速度を示す情報である。これにより、手動制御（操作情報Ｄに基づく制御）から自動制御（演奏情報Ｂに基づく制御）に切替わった際に映像の再生位置や再生速度が変化してしまうことがなく滑らかな切替えを行うことが可能である。
　映像制御部３０３は、操作情報Ｄに基づく制御を行っている際に、映像メタ情報を用いる。映像メタ情報は、映像メタ情報記憶部３０４に記憶される情報である。
　映像メタ情報は、ユーザが操作の対象とする対象映像とその対象映像における再生の内容（再生方法）を示すメタ情報とを対応付けた情報である。
　メタ情報は、再生の内容を示す情報であって、例えば、再生の有無、停止の有無、ジャンプカットの有無、ループの有無などである。再生の有無は、対象映像を表示させた後にその映像の再生位置を進める（再生する）か否かを示す情報である。停止の有無は対象映像を表示させた後にその映像の進みを停止させたままとするか否かを示す情報である。ジャンプカットは対象映像を表示させる際に、現在再生している画像の表示から対象画像の表示に直接切り替え、その間の映像を飛ばす（ジャンプカット）するか否かを示す情報である。ループの有無は、対象映像の再生が終了した際に、再度対象映像の再生を繰り返す（ループ）するか否かを示す情報である。
　映像メタ情報記憶部３０４は、映像メタ情報を記憶する。
　制御部３０５は、例えばＣＰＵ（Central Processing Unit）等の処理回路であり、映像制御装置３０の各要素を統括的に制御する。
　図４は、実施形態の映像メタ情報記憶部３０４に記憶される映像メタ情報の例を示す。映像メタ情報は、例えば、項目、秒数、マーカ情報ＲＧＢ、再生、停止、ジャンプカット、ループ、ＡＩ適用（自動制御適用）などの各項目を備える。
　項目は、映像メタ情報として登録された内容に付された番号である。秒数は、映像の位置を映像開始時点から経過時間［秒］により示す情報である。マーカ情報ＲＧＢは、操作の表示画面（図５参照）に登録した映像のサムネイル（図５の画像Ｇ６～Ｇ９）の枠に付す色をＲＧＢ値で示す情報である。これにより登録する映像が多くなる場合であっても、操作対象とする所望の映像のサムネイルを、ユーザが見分け易くすることが可能である。
　再生は登録した映像を表示させた後に再生を進めるか否かを示す情報である。停止は登録した映像を表示させた後に映像の進みを停止するか否かを示す情報である。ジャンプカットは登録した映像を表示させる際に間の映像をカットするか否かを示す情報である。ループは登録した映像を再生し終えた際に再度その映像の再生を行うか否かを示す情報である。ＡＩ適用は機械（演奏解析装置２０）による映像制御（自動映像制御）を適用するか否かを示す情報である。
　図４の例では、映像の開始時点（０秒後）、１秒後、６３０．８秒後、１２７４．５０秒後等の映像がそれぞれ登録されている。図４の例では、０秒後の映像は再生され、０秒から開始する区間では再生の制御にＡＩは適用しない。一方で、６３０．８秒から開始する区間では、再生の制御にＡＩが適用される。
　図５は、実施形態の表示部３０２における表示の例を示す。図５の例に示すように、表示部３０２は、例えば、画像Ｇ１～Ｇ９を表示する。
　画像Ｇ１は、ＡＩの適用、つまり演奏解析装置２０による映像制御を適用するか否かを操作する操作ボタンである。ＡＩ（自動制御）が適用されている状態において画像Ｇ１がクリックされると、映像制御が手動に切り替わる。ＡＩ（自動制御）が適用されていない状態（手動制御の状態）において画像Ｇ１がクリックされると、映像制御がＡＩ（自動制御）に切り替わる。画像Ｇ２は、映像の再生を制御する操作ボタンである。画像Ｇ２には再生、停止、早送り、及び巻き戻しなどの操作ボタンが設けられる。画像Ｇ３は再生速度を変更するスライドバー（ツマミ）である。スライドバーの画像Ｇ３０を上下方向に移動させる操作を行うことにより再生速度が変化する。例えば、画像Ｇ３０を上方向に移動させると再生速度が速くなり、画像Ｇ３０を下方向に移動させると再生速度が遅くなる。
　画像Ｇ４は、再生中の画像が表示される再生画面である。画像Ｇ５は、映像メタ情報として登録された映像に切り替える操作を行うための画像である。画像Ｇ６～Ｇ９は、映像メタ情報として登録された映像の各々の先頭に位置する映像のサムネイル画像である。画像Ｇ６は映像の開始時点から０秒後の映像である。画像Ｇ７は映像の開始時点から１秒後の映像である。画像Ｇ８は映像の開始時点から６３０．８０秒後の映像である。画像Ｇ９は映像の開始時点から１２７４．５０秒後の映像である。
　図６は、実施形態の映像制御装置３０の動作を説明する図である。
　演奏情報取得部３００により取得された演奏情報Ｂは、映像制御部３０３のセレクタ３０３Ａに入力される。
　操作情報取得部３０１により取得された、映像の再生速度を変更する操作（スライドバーの画像Ｇ３０を移動させる操作）を示す操作信号は、セレクタ３０３Ａに入力される。また、この操作信号は、ＡＩ（自動制御）をＯＦＦする操作を示す操作信号に変換される。すなわち、この操作信号は、ＡＩ適用をＯＮからＯＦＦに切り替える操作（画像Ｇ１をクリックする操作）に変換される。この変換された操作は、ＡＩをＯＦＦする操作を示す操作信号として、セレクタ３０３Ａに入力される。この操作信号はセレクタ３０３Ａから信号を出力するか否かを選択する制御を示す信号として、セレクタ３０３Ａに入力される。つまり、ＡＩをＯＦＦする操作を示す操作信号がセレクタ３０３Ａに入力されると、セレクタ３０３Ａからは操作信号が出力される。一方で、ＡＩをＯＮする操作を示す操作信号がセレクタ３０３Ａに入力されると、セレクタ３０３Ａから操作信号が出力されない。
　セレクタ３０３Ａから出力された操作信号は、映像制御部３０３の機能部（再生速度制御部）３０３Ｂに入力される。機能部３０３Ｂは、再生速度を制御する機能部である。機能部３０３Ｂは、操作信号から映像制御情報Ｃ（再生速度制御情報）を生成して映像出力装置４０に出力する。また、機能部３０３Ｂは、生成した映像制御情報Ｃ（演奏位置指定情報）を演奏解析装置２０に出力（フィードバック）する。この例に示すように、機能部３０３Ｂは、ユーザによる手動の操作に切替えられた際に、周期的に映像制御情報Ｃ（演奏位置指定情報）を演奏解析装置２０にフィードバックしてもよい。
　操作情報取得部３０１により取得された、映像の切り替えるシーン切替画面の操作（画像Ｇ６～Ｇ９をクリックする操作）を示す操作信号は、映像制御部３０３の機能部（再生位置制御部）３０３Ｃに入力される。機能部３０３Ｃは、再生位置を制御する機能部である。機能部３０３Ｃは、入力された操作信号から映像制御情報Ｃ（再生位置制御情報）を生成して映像出力装置４０に出力する。また、機能部３０３Ｃは、生成した映像制御情報Ｃ（演奏位置指定情報）を演奏解析装置２０に出力（フィードバック）する。この例に示すように、機能部３０３Ｃは、ユーザにより映像が切替えられた際に、周期的に映像制御情報Ｃ（演奏位置指定情報）を演奏解析装置２０にフィードバックしてもよい。
　図７は、実施形態の映像制御システム１の動作の流れを示すシーケンス図である。
　まず、収音装置１０は演奏（生演奏、リアルタイムの演奏）の音を収音し（ステップＳ１０）、収音した音を用いて音響信号Ａを生成する（ステップＳ１１）。収音装置１０は、生成した音響信号Ａを演奏解析装置２０に出力する。
　演奏解析装置２０は、収音装置１０より音響信号Ａを取得し（ステップＳ１２）、取得した音響信号Ａを学習済みモデルに入力する（ステップＳ１３）。演奏解析装置２０は、学習済みモデルからの出力を、音響信号Ａにおいて推定された演奏情報Ｂとする（ステップＳ１４）。または、演奏解析装置２０は、学習済みモデルからの出力に基づいて、演奏情報Ｂを推定してもよい。演奏解析装置２０は、推定した演奏情報Ｂを映像制御装置３０に出力する。
　映像制御装置３０は、演奏解析装置２０より演奏情報Ｂを取得し（ステップＳ１５）、取得した演奏情報Ｂに基づいて映像の再生を制御する（ステップＳ１６）。
　入力装置５０には、ユーザの操作による入力を示す入力情報が入力される（ステップＳ１７）。入力装置５０は、入力情報を用いて操作情報Ｄを生成する（ステップＳ１８）。入力装置５０は、生成した操作情報Ｄを映像制御装置３０に出力する。
　映像制御装置３０は、入力装置５０から操作情報Ｄを取得すると（ステップＳ１９）、映像の制御を切り替え、操作情報Ｄに基づいて映像の再生の制御を行う（ステップＳ２０）。
　以上説明したように、第１の実施形態の映像制御システム１は、楽曲の演奏を表す音響信号Ａの入力に対する学習済みモデルからの出力に基づいて、音響信号Ａにおける楽曲における演奏に関する演奏情報Ｂを推定する演奏情報推定部２０１（「推定部」の一例）と、ユーザにより入力される操作であって、映像の再生に関する操作を表す操作情報Ｄを取得する操作情報取得部３０１（「取得部」の一例）と、演奏情報推定部２０１により推定された演奏情報Ｂ、又は操作情報取得部３０１により取得された操作情報Ｄに基づいて映像の再生を制御する映像制御部３０３と、を備える。映像制御部３０３は、操作情報取得部３０１により操作情報Ｄが取得された場合、操作情報Ｄに基づいて映像の再生を制御する。
　これにより、第１の実施形態の映像制御システム１は、演奏情報に応じて映像を制御することができる。その結果、特別な技術を有していないユーザであっても楽曲に合わせて映像を制御することが可能である。また、ユーザからの操作情報Ｄが取得された場合には、操作情報Ｄに基づいて映像の再生を制御することができる。このため、楽曲のクライマックスなどの重要なフレーズ（決めの場面）や収音装置１０が故障して演奏解析装置２０に音響信号Ａが入力されない等の不測の事態において、ユーザの操作により映像を制御することができ、より効果的な映像演出を実現することが可能である。
　また、第１の実施形態の映像制御システム１では、学習済みモデルは、学習に用いる演奏データである学習用演奏データとその学習用演奏データが示す演奏の位置又は速度との対応関係を、機械学習を実行することにより学習したモデルである。演奏情報推定部２０１は、音響信号Ａにおける楽曲における演奏の位置又は速度に関する演奏情報Ｂを推定する。これにより、第１の実施形態の映像制御システム１は、演奏情報に示される演奏の位置や速度に応じて、映像の再生位置や再生速度を制御することができる。その結果、例えば、生演奏の演奏速度（テンポ）が遅くなったり早くなったりする場合であっても、映像の再生速度を生演奏の演奏速度に合わせることができる。
　また、第１の実施形態の映像制御システム１では、映像制御部３０３は、操作情報Ｄに基づいて映像の再生を制御している際に、演奏情報に基づいて映像の再生を制御する旨を指示する指示情報が操作情報取得部３０１により取得された場合、演奏情報推定部２０１に映像における再生の速度に関する再生情報を出力する。演奏情報推定部２０１は、映像制御部３０３から取得した再生情報を用いて、演奏情報を再生情報に基づいて設定（更新）する。
　これにより、第１の実施形態の映像制御システム１では、ユーザの操作による映像の制御から、機械（演奏情報推定部２０１）による制御（自動制御）に戻すことができる。また、機械に制御を戻す際に現在の再生速度や再生位置を機械側に通知することで、機械の制御に切替わった際に映像の再生位置や再生速度が変化してしまうことがなく滑らかな切替えを行うことが可能である。
　また、第１の実施形態の映像制御システム１では、操作の対象である対象映像と対象映像の再生方法を示すメタ情報とを対応付けた情報を記憶する映像メタ情報記憶部３０４、を更に備える。操作情報Ｄは、対象映像を示す情報（対象映像の選択を示す情報）である。映像制御部３０３は、操作情報Ｄとしての対象映像を示す情報が操作情報取得部３０１により取得された場合、メタ情報によって示される再生方法で対象映像を再生する。これにより、第１の実施形態の映像制御システム１では、ユーザが手動により映像を制御する場合に、表示させたい映像（対象映像）に対応付けて、映像の再生方法（例えば、待機する、所定の映像区間の再生を繰り返す（ループする）など）をメタ情報として記録させる（登録する）ことができる。このため、ユーザは、予め登録した映像を選択しさえすれば、メタ情報に登録した通りに映像を再生させることができ、映像を停止させたりループさせたりする操作を行う必要がないため再生速度の調整に集中することができる。
　また、第１の実施形態の映像制御システム１は、演奏情報推定部２０１を有し、演奏情報を送信する演奏解析装置２０と、操作情報取得部３０１と映像制御部３０３とを有し、演奏情報Ｂを受信する映像制御装置３０と、を備える構成としてもよい。これにより、上述した効果と同様の効果を奏する。
（実施形態の変形例）
　次に、第１の実施形態の変形例について説明する。本変形例では、演奏解析装置２０は、学習済みモデル記憶部２０４に複数の学習済みモデルを記憶させる点において、上述した実施形態と相違する。
　複数の学習済みモデルの各々は、楽曲の種別ごとに異なる学習データを用いて学習させたモデルである。楽曲の種別は、演奏のスタイルが異なるジャンルである。楽曲の種別の具体例は、オーケストラ、室内楽、歌唱、ロックなどである。
　複数の学習済みモデルのうち、ある学習済みでモデルは、様々なオーケストラによる演奏を所定の周期で区分した演奏データ（学習用演奏データ）の各々に、各演奏データの演奏位置を対応付けたデータを学習データとして学習させたモデルである。また、複数の学習済みモデルのうち、別の学習済みでモデルは、様々な室内楽による演奏を所定の周期で区分した演奏データ（学習用演奏データ）の各々に、各演奏データの演奏位置を対応付けたデータを学習データとして学習させたモデルである。歌唱やロックなどのジャンルについても同様である。
　本変形例では、このように楽曲のジャンル（種別）に応じた学習データを用いて学習させた、複数の互いに学習内容の異なる学習済みモデルを用いる。
　そして、演奏者が演奏する楽曲のジャンルに応じて、推定に用いる学習済みモデルを切り替える。例えば、演奏者がオーケストラを演奏する場合、オーケストラの演奏を学習した学習済みモデルを用いる。演奏者が室内楽を演奏する場合、室内楽の演奏を学習した学習済みモデルを用いる。歌唱やロックなどのジャンルについても同様である。
　以上説明したように、第１の実施形態の変形例の映像制御システム１では、学習済みモデルは、楽曲の種別に応じて複数設けられる。演奏情報推定部２０１は、音響信号Ａに対応する楽曲の種別に応じた学習済みモデルを用いて演奏情報Ｂを推定する。これにより、第１の実施形態の変形例の映像制御システム１では、演奏させる楽曲の種別（ジャンル）に応じた学習済みモデルを用いて演奏情報Ｂを推定することができるので、オーケストラや、室内楽、ロック、歌唱などの各々のジャンルに特有の特徴（例えば、演奏中のテンポが変化しやすい、或いは変化し難いなど）を反映させた演奏情報Ｂを推定することができる。その結果、映像の再生を、演奏される楽曲によりマッチさせることが可能となる。
　上述した実施形態における映像制御システム１の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、請求の範囲に記載された発明とその均等の範囲に含まれるものである。
　本発明は、映像制御システム及び映像制御方法に適用してもよい。
　１…映像制御システム
　２０…演奏解析装置
　２００…音響信号取得部
　２０１…演奏情報推定部
　２０２…演奏情報出力部
　２０３…楽曲データ記憶部
　２０４…学習済みモデル記憶部
　２０５…制御部
　３０…映像制御装置
　３００…演奏情報取得部
　３０１…操作情報取得部
　３０２…表示部
　３０３…映像制御部
　３０４…映像メタ情報記憶部
　３０５…制御部

Claims (9)

  1. 　楽曲の演奏を表す音響信号の入力に対する学習済みモデルからの出力に基づいて、前記音響信号の前記楽曲における演奏に関する演奏情報を推定する推定部と、
    　ユーザにより入力される操作であって、映像の再生に関する操作を表す操作情報を取得する取得部と、
    　前記推定された演奏情報に基づいて前記映像の再生を制御する映像制御部と、
    　を備え、
    　前記映像制御部は、前記取得部により前記操作情報が取得された場合、前記操作情報に基づいて前記映像の再生を制御する、
    　映像制御システム。
  2. 　前記学習済みモデルは、学習に用いる演奏データである学習用演奏データと前記学習用演奏データにより示された楽曲における演奏の位置又は速度との対応関係を、機械学習を実行することにより学習したモデルである、
    　請求項１に記載の映像制御システム。
  3. 　前記推定部は、前記演奏情報として、前記音響信号の前記楽曲における演奏の位置又は速度に関する情報を推定する、
    　請求項１又は２に記載の映像制御システム。
  4. 　前記取得部は、前記操作情報に基づいて前記映像の再生を行う制御から前記演奏情報に基づいて前記映像の再生を行う制御への切り替えを指示する指示情報を取得し、
    　前記映像制御部は、前記指示情報が前記取得部により取得された場合、前記推定部に前記映像の再生の位置に関する再生情報を出力し、
    　前記推定部は、前記取得した再生情報に基づいて、前記演奏情報を設定する、
    　請求項１から請求項３のいずれか一項に記載の映像制御システム。
  5. 　対象映像と前記対象映像の再生方法を示すメタ情報とを対応付けた情報を記憶する映像メタ情報記憶部、を更に備え、
    　前記操作情報は、前記対象映像の選択を示す情報であり、
    　前記映像制御部は、前記対象映像の選択を示す情報が前記取得部により取得された場合、前記メタ情報によって示される前記再生方法で前記対象映像を再生する、
    　請求項１から請求項４の何れか一項に記載の映像制御システム。
  6. 　前記学習済みモデルは、それぞれ異なる楽曲の種別に応じた複数の学習済みモデルを含み、
    　前記推定部は、前記複数の学習済みモデルのうち、前記音響信号に対応する楽曲の種別に応じた学習済みモデルを用いて前記演奏情報を推定する、
    　請求項１から請求項５の何れか一項に記載の映像制御システム。
  7. 　前記音響信号は、生演奏を表す、
    　請求項１から請求項６の何れか一項に記載の映像制御システム。
  8. 　前記推定部を有し、前記演奏情報を送信する演奏解析装置と、
    　前記取得部と前記映像制御部とを有し、前記演奏情報を受信する映像制御装置と、
    　を備える請求項１から請求項７の何れか一項に記載の映像制御システム。
  9. 　楽曲の演奏を表す音響信号の入力に対する学習済みモデルからの出力に基づいて、前記音響信号の前記楽曲における演奏に関する演奏情報を推定し、
    　前記推定された演奏情報に基づいて映像の再生を制御し、
    　ユーザにより入力される操作であって、前記映像の再生に関する操作を表す操作情報を取得し、
    　前記操作情報が取得された場合、前記操作情報に基づいて前記映像の再生を制御する、
    　ことを含む映像制御方法。
PCT/JP2019/051566 2019-01-07 2019-12-27 映像制御システム、及び映像制御方法 WO2020145209A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980087885.4A CN113272890A (zh) 2019-01-07 2019-12-27 影像控制系统及影像控制方法
US17/367,925 US20210335331A1 (en) 2019-01-07 2021-07-06 Image control system and method for controlling image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-000686 2019-01-07
JP2019000686A JP7226709B2 (ja) 2019-01-07 2019-01-07 映像制御システム、及び映像制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/367,925 Continuation US20210335331A1 (en) 2019-01-07 2021-07-06 Image control system and method for controlling image

Publications (1)

Publication Number Publication Date
WO2020145209A1 true WO2020145209A1 (ja) 2020-07-16

Family

ID=71521699

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/051566 WO2020145209A1 (ja) 2019-01-07 2019-12-27 映像制御システム、及び映像制御方法

Country Status (4)

Country Link
US (1) US20210335331A1 (ja)
JP (1) JP7226709B2 (ja)
CN (1) CN113272890A (ja)
WO (1) WO2020145209A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024040194A1 (en) 2022-08-17 2024-02-22 Capstan Therapeutics, Inc. Conditioning for in vivo immune cell engineering

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7226709B2 (ja) * 2019-01-07 2023-02-21 ヤマハ株式会社 映像制御システム、及び映像制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004233698A (ja) * 2003-01-30 2004-08-19 Ricoh Co Ltd 音楽支援装置、音楽支援サーバ、音楽支援方法およびプログラム
JP2008097021A (ja) * 2001-05-10 2008-04-24 Yamaha Corp 動画再生装置
JP2010122630A (ja) * 2008-11-21 2010-06-03 Sony Corp 情報処理装置、音声解析方法、及びプログラム
JP2010521021A (ja) * 2007-02-14 2010-06-17 ミューズアミ， インコーポレイテッド 楽曲ベースの検索エンジン
JP2017044765A (ja) * 2015-08-25 2017-03-02 ヤマハ株式会社 映像提供装置、映像提供システム及びプログラム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7221852B2 (en) * 2001-05-10 2007-05-22 Yamaha Corporation Motion picture playback apparatus and motion picture playback method
JP3663626B2 (ja) * 2001-09-18 2005-06-22 ソニー株式会社 ビデオ信号処理装置および方法、プログラム、情報記録媒体、並びにデータ構造
US7897865B2 (en) * 2002-01-15 2011-03-01 Yamaha Corporation Multimedia platform for recording and/or reproducing music synchronously with visual images
JP3982443B2 (ja) * 2003-03-31 2007-09-26 ソニー株式会社 テンポ解析装置およびテンポ解析方法
JP4940588B2 (ja) * 2005-07-27 2012-05-30 ソニー株式会社 ビート抽出装置および方法、音楽同期画像表示装置および方法、テンポ値検出装置および方法、リズムトラッキング装置および方法、音楽同期表示装置および方法
JP4321518B2 (ja) * 2005-12-27 2009-08-26 三菱電機株式会社 楽曲区間検出方法、及びその装置、並びにデータ記録方法、及びその装置
CN1953044B (zh) * 2006-09-26 2011-04-27 中山大学 一种基于midi文件的乐器演奏提示和检测系统及方法
JP4506748B2 (ja) 2006-12-13 2010-07-21 ヤマハ株式会社 コンテンツ再生装置
JP2011516907A (ja) * 2008-02-20 2011-05-26 オーイーエム インコーポレーティッド 音楽の学習及びミキシングシステム
CN201294089Y (zh) * 2008-11-17 2009-08-19 音乐传奇有限公司 互动音乐演奏设备
JP5625235B2 (ja) * 2008-11-21 2014-11-19 ソニー株式会社 情報処理装置、音声解析方法、及びプログラム
JP2010141461A (ja) * 2008-12-10 2010-06-24 Panasonic Corp 映像編集装置
US8629342B2 (en) * 2009-07-02 2014-01-14 The Way Of H, Inc. Music instruction system
JP5382361B2 (ja) * 2010-05-11 2014-01-08 ブラザー工業株式会社 楽曲演奏装置
JP5842383B2 (ja) * 2011-05-16 2016-01-13 ヤマハ株式会社 カラオケシステム及びカラオケ装置
JP2013171070A (ja) * 2012-02-17 2013-09-02 Pioneer Electronic Corp 楽曲情報処理装置及び楽曲情報処理方法
JP2013231951A (ja) * 2012-04-06 2013-11-14 Yamaha Corp 音響データ処理装置および音響データ通信システム
JP6187132B2 (ja) * 2013-10-18 2017-08-30 ヤマハ株式会社 スコアアライメント装置及びスコアアライメントプログラム
US9754503B2 (en) * 2014-03-24 2017-09-05 Educational Testing Service Systems and methods for automated scoring of a user's performance
JP6627325B2 (ja) * 2014-10-17 2020-01-08 ヤマハ株式会社 音響システム及び音響装置
US9721551B2 (en) * 2015-09-29 2017-08-01 Amper Music, Inc. Machines, systems, processes for automated music composition and generation employing linguistic and/or graphical icon based musical experience descriptions
JP6614356B2 (ja) * 2016-07-22 2019-12-04 ヤマハ株式会社 演奏解析方法、自動演奏方法および自動演奏システム
US10629223B2 (en) * 2017-05-31 2020-04-21 International Business Machines Corporation Fast playback in media files with reduced impact to speech quality
CN107464572B (zh) * 2017-08-16 2020-10-16 重庆科技学院 多模式交互音乐感知系统及其控制方法
CN107770596A (zh) * 2017-09-25 2018-03-06 北京达佳互联信息技术有限公司 一种特效同步方法、装置及移动终端
CN108806657A (zh) * 2018-06-05 2018-11-13 平安科技（深圳）有限公司 音乐模型训练、音乐创作方法、装置、终端及存储介质
JP7226709B2 (ja) * 2019-01-07 2023-02-21 ヤマハ株式会社 映像制御システム、及び映像制御方法
WO2021060251A1 (ja) * 2019-09-27 2021-04-01 ヤマハ株式会社 音響処理方法および音響処理システム
US11166050B2 (en) * 2019-12-11 2021-11-02 At&T Intellectual Property I, L.P. Methods, systems, and devices for identifying viewed action of a live event and adjusting a group of resources to augment presentation of the action of the live event
US20220036866A1 (en) * 2020-07-31 2022-02-03 Yamaha Corporation Reproduction control method, reproduction control system, and reproduction control apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008097021A (ja) * 2001-05-10 2008-04-24 Yamaha Corp 動画再生装置
JP2004233698A (ja) * 2003-01-30 2004-08-19 Ricoh Co Ltd 音楽支援装置、音楽支援サーバ、音楽支援方法およびプログラム
JP2010521021A (ja) * 2007-02-14 2010-06-17 ミューズアミ， インコーポレイテッド 楽曲ベースの検索エンジン
JP2010122630A (ja) * 2008-11-21 2010-06-03 Sony Corp 情報処理装置、音声解析方法、及びプログラム
JP2017044765A (ja) * 2015-08-25 2017-03-02 ヤマハ株式会社 映像提供装置、映像提供システム及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MAEZAWA, AKIRA: "Expressive Timing Prediciton Based on Deep Autoregressive Model Using Score and Performance Data", IPSJ SIG TECHNICAL REPORT: MUSIC AND COMPUTER (MUS), vol. 2017-MUS-116, no. 9, 25 August 2017 (2017-08-25), pages 1 - 5 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024040194A1 (en) 2022-08-17 2024-02-22 Capstan Therapeutics, Inc. Conditioning for in vivo immune cell engineering
WO2024040195A1 (en) 2022-08-17 2024-02-22 Capstan Therapeutics, Inc. Conditioning for in vivo immune cell engineering

Also Published As

Publication number Publication date
US20210335331A1 (en) 2021-10-28
JP2020109918A (ja) 2020-07-16
CN113272890A (zh) 2021-08-17
JP7226709B2 (ja) 2023-02-21

Similar Documents

Publication Publication Date Title
CN1808566B (zh) 重放装置和方法
JP4226313B2 (ja) 楽音再生装置及び楽音再生プログラム
WO2016121921A1 (ja) コンピュータグラフィックスのデータ構造、情報処理装置、情報処理方法及び情報処理システム
WO2005093529A1 (ja) テンポの変化に対応するメトロノーム
CN106128437B (zh) 电子乐器
JP4755672B2 (ja) コンテンツ編集装置、方法及びプログラム
WO2017028686A1 (zh) 一种信息处理方法、终端设备及计算机存储介质
WO2020145209A1 (ja) 映像制御システム、及び映像制御方法
JP5110706B2 (ja) 絵本画像再生装置、絵本画像再生方法、絵本画像再生プログラム及び記録媒体
JPH1063281A (ja) 音響映像装置及びこれを用いた楽曲のアレンジ方法
JP5044503B2 (ja) 演出画像再生装置、演出画像再生方法、演出画像再生プログラム及び記録媒体
JP2002140080A (ja) 体操指導用の映像音楽番組を編集出力する機能を備えたカラオケ装置
JP2002175071A (ja) 演奏ガイド方法、演奏ガイド装置および記録媒体
JP6110731B2 (ja) ジェスチャーによるコマンド入力識別システム
JP6065871B2 (ja) 演奏情報表示装置、および演奏情報表示プログラム
JP2014123085A (ja) カラオケにおいて歌唱に合わせて視聴者が行う身体動作等をより有効に演出し提供する装置、方法、およびプログラム
JPH10143151A (ja) 指揮装置
Borchers et al. Engineering a realistic real-time conducting system for the audio/video rendering of a real orchestra
KR101790998B1 (ko) 악보전환방법 및 악보전환장치
JP2010008893A (ja) 電子音楽装置
JP3799359B2 (ja) 再生装置、再生方法、及びプログラム
KR102524870B1 (ko) 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법과, 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체
WO2023032137A1 (ja) データ変更方法、データ再生方法、プログラムおよびデータ変更装置
JP5510822B2 (ja) 歌唱情報処理システム
US20230076959A1 (en) System and method for synchronizing performance effects with musical performance

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19909248

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19909248

Country of ref document: EP

Kind code of ref document: A1