WO2019092793A1 - データ生成装置およびプログラム - Google Patents

データ生成装置およびプログラム Download PDF

Info

Publication number
WO2019092793A1
WO2019092793A1 PCT/JP2017/040133 JP2017040133W WO2019092793A1 WO 2019092793 A1 WO2019092793 A1 WO 2019092793A1 JP 2017040133 W JP2017040133 W JP 2017040133W WO 2019092793 A1 WO2019092793 A1 WO 2019092793A1
Authority
WO
WIPO (PCT)
Prior art keywords
key
image
data
pedal
behavior
Prior art date
Application number
PCT/JP2017/040133
Other languages
English (en)
French (fr)
Inventor
哲朗 太田
磯崎　善政
大場　保彦
智也 佐々木
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Priority to PCT/JP2017/040133 priority Critical patent/WO2019092793A1/ja
Publication of WO2019092793A1 publication Critical patent/WO2019092793A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music

Definitions

  • the present invention relates to a technique for generating data according to the performance of a piano.
  • the information when the performance of the piano is recorded is, for example, the operated key, the key depression timing, and the key release timing.
  • Such information is used in a general piano roll display.
  • these pieces of information are very small in terms of the amount of information as compared to the actual performance. According to such a piano roll display, rough performance content can be visually recognized, but detailed performance content can not be known. Therefore, even if the performer tries to improve the performance technique by analyzing his performance, the amount of information is insufficient with the general piano roll display.
  • One of the objects of the present invention is to make it possible to express a larger amount of information while using an area defined by the pitch of a key and a time axis, such as a piano roll display.
  • an acquisition unit for acquiring measurement data indicating in time series measurement values indicating the behavior of the operation element and information associated with the movement of a plurality of keys based on the measurement data are identical.
  • a display data indicating a screen to be displayed along the time axis of the data the data generation unit generating display data for displaying the measurement value by color tone change of a region corresponding to a plurality of keys along the time axis
  • a data generator comprising:
  • the behavior of the manipulator may include the behavior of a pedal or a member interlocking with the pedal.
  • measurement data indicating in time series measurement values indicating behavior of the manipulator is obtained, and based on the measurement data, the information related to the movement of a plurality of keys is identical.
  • Computer-generated display data indicating a screen to be displayed along a time axis the display data for displaying the measurement value by color tone change of a region corresponding to a plurality of keys along the time axis;
  • the program for making it run is provided.
  • the present invention it is possible to express a larger amount of information while using a region defined by the key pitch and the time axis, such as a piano roll display.
  • composition of a system in one embodiment of the present invention It is a figure showing the structure of the piano in one embodiment of the present invention. It is a block diagram showing composition of a measuring device in one embodiment of the present invention. It is a block diagram which shows the hardware constitutions of the analysis assistance apparatus in one Embodiment of this invention. It is a block diagram showing composition of an analysis support function in one embodiment of the present invention. It is a figure which shows an example of the analysis assistance screen in one Embodiment of this invention. It is a figure which shows an example of the key behavior image in one Embodiment of this invention. It is a figure which shows an example of the pedal behavior image in one Embodiment of this invention. It is a flow chart explaining analysis support processing in one embodiment of the present invention. It is a flowchart explaining the drawing process in one Embodiment of this invention.
  • FIG. 1 is a diagram showing the configuration of a system according to an embodiment of the present invention.
  • This system includes an analysis support device 1, a measuring device 30, a recording device 40 and a piano 50.
  • the recording device 40 is, for example, a microphone, and converts the input sound into an electrical signal (sound signal).
  • the recording device 40 may include a memory for recording a sound signal.
  • the playing sound input to the recording device 40 is provided to the analysis support device 1.
  • the analysis support device 1 presents the input information to the user via an information output unit such as a display or a speaker.
  • an information output unit such as a display or a speaker.
  • the piano 50 is a general grand piano in this example.
  • the piano 50 may be an acoustic piano other than the grand piano.
  • the piano 50 is not limited to the acoustic piano, and may be an electronic musical instrument such as an electronic piano.
  • the piano 50 incorporates a part of the measuring device 30.
  • FIG. 2 is a view showing the structure of a piano in an embodiment of the present invention.
  • the piano 50 is an example of a keyboard instrument having a plurality of keys 52 on the front surface of which keys are arranged to be played by a player, and a keyboard 53.
  • the pedals 53 are plural in this example, but at least include damper pedals.
  • the hammer 54 is provided corresponding to each key 52.
  • the hammer 54 is a member interlocking with the key 52, and when the key 52 is depressed, a force is transmitted via the action mechanism to move and strike the strings 55 provided corresponding to the keys 52.
  • the strings 55 are produced by striking from the hammer 54.
  • the damper 58 is moved by the damper operation mechanism.
  • the damper operating mechanism moves the damper 58 so as to control the contact state between the damper 58 and the string 55 in accordance with the depression amount of the key 52 and the depression amount of the pedal 53.
  • FIG. 3 is a block diagram showing the configuration of the measuring apparatus in an embodiment of the present invention. As described above, part of the measuring device 30 is incorporated in the piano 50. Hereinafter, the measuring device 30 will be described using FIGS. 2 and 3.
  • the measuring device 30 includes a key position measuring unit 32, a pedal position measuring unit 33, a hammer position measuring unit 34, and a data output device 35.
  • the key position measurement unit 32 includes a key sensor provided corresponding to each key 52.
  • the key position measurement unit 32 measures the position (corresponding to the pressing amount) of each key 52 with a continuous amount (fine resolution) by the key sensor, and indicates a measurement value (hereinafter referred to as “key position measurement value”) Output). This measured value is output corresponding to each key 52.
  • the key sensor may output a measurement value indicating that the key 52 has passed a specific pressed position, instead of outputting a measurement value corresponding to the position of the key 52.
  • the specific pressed positions are a plurality of positions ranging from the rest position of the key 52 to the end position.
  • the plurality of positions may be, for example, positions that change the sound generation state such as sound generation start, damping start, and the like.
  • the measurement value output from the key position measurement unit 32 may be information indicating the behavior of the key 52.
  • the pedal position measurement unit 33 includes pedal sensors provided corresponding to the respective pedals 53.
  • the pedal position measurement unit 33 measures the position (corresponding to the stepping amount) of each pedal 53 with a continuous amount (fine resolution) by the pedal sensor, and indicates a measurement result (hereinafter referred to as "pedal position measurement value") Output).
  • This measured value is output corresponding to each pedal 53.
  • the pedal sensor may output a measurement value indicating that the pedal 53 has passed a specific position, instead of outputting a measurement value corresponding to the position of the pedal 53.
  • the specific positions are a plurality of positions included in the movable range of the pedal.
  • the measured value output by the pedal position measurement unit 33 may be information indicating the behavior of the pedal 53.
  • the pedal 53 will be described as a damper pedal. Therefore, the pedal position measurement value corresponds to the position (depression amount) of the damper pedal.
  • the hammer position measurement unit 34 includes a hammer sensor provided corresponding to each hammer 54.
  • the hammer position measurement unit 34 measures the position (corresponding to the movement amount) of each hammer 54 by a continuous amount (fine resolution) with a hammer sensor, and indicates a measurement result (hereinafter referred to as “hammer position measurement value”) Output).
  • This measured value is output corresponding to each hammer 54.
  • the hammer sensor may output a measurement value indicating that the hammer 54 has passed a specific position, instead of outputting the measurement value corresponding to the position of the hammer 54.
  • the specific position is a plurality of positions included in the movable range of the hammer.
  • the measurement value output from the hammer position measurement unit 34 may be information indicating the behavior of the hammer 54.
  • the data output device 35 is provided, for example, below the shelf board of the piano 50.
  • the data output device 35 includes a data generation unit 351 and an interface 353, and generates measurement data and control data based on the information output from the key position measurement unit 32, the pedal position measurement unit 33 and the hammer position measurement unit 34. Output.
  • the data generation unit 351 generates measurement data and control data based on the information output from the key position measurement unit 32, the pedal position measurement unit 33, and the hammer position measurement unit 34.
  • the measurement data includes a key position measurement value corresponding to each key 52, a hammer position measurement value corresponding to each hammer 54, and a pedal position measurement value corresponding to the pedal 53 (damper pedal).
  • the control data is data converted from each of the above-described measured values into a predetermined data format (for example, MIDI format) that defines the sound generation content in time series.
  • the control data includes, for example, note number, note on, note off, velocity (on velocity (key velocity at note on), off velocity (key velocity at note off)), control change (pedal depression amount etc.), etc. Contains the data of
  • the interface 353 has a configuration for connecting to an external device by wire or wirelessly to transmit and receive data.
  • the measurement data and control data generated by the data generation unit 351 are output to the external device connected to the interface 353.
  • the external device may be a device capable of arithmetic processing or may be a recording medium such as a semiconductor memory.
  • the external device includes the analysis support device 1.
  • the measurement data and control data may be output from the external device in real time, or may be output to the external device after being stored in a memory as time-series information together with time information.
  • the measurement data and the control data include information arranged in time series.
  • the measurement data is data indicating each measurement value in time series. The above is the description of the measuring device 30.
  • the analysis support device 1 generates information for supporting analysis of the user's performance content based on the information output from the measurement device 30.
  • the functions implemented in the analysis support device 1 generate display data for displaying details of the user's performance content (hereinafter sometimes referred to as “analysis support screen”) on a display (display unit 17 described later)
  • Function analysis support function
  • the analysis support device 1 can be said to be a data generation device that generates data for displaying the analysis support screen as described above.
  • FIG. 4 is a block diagram showing a hardware configuration of an analysis support apparatus in an embodiment of the present invention.
  • the analysis support device 1 is, for example, a device capable of realizing a predetermined function by executing a program on a personal computer.
  • the analysis support device 1 includes a control unit 11, a storage unit 13, an operation unit 15, a display unit 17, and an interface 19. Each of these configurations is connected via a bus.
  • Control unit 11 includes an arithmetic processing circuit such as a CPU.
  • the control unit 11 causes the CPU to execute the control program stored in the storage unit 13 and causes the analysis support device 1 to realize various functions.
  • the functions to be realized include the analysis support function described above.
  • the storage unit 13 is a storage device such as a non-volatile memory and a hard disk.
  • the storage unit 13 stores a control program for realizing the analysis support function.
  • the control program may be executable by a computer, and may be provided as stored in a computer readable recording medium such as a magnetic recording medium, an optical recording medium, a magneto-optical recording medium, or a semiconductor memory.
  • the analysis support device 1 may be provided with a device for reading the recording medium.
  • the control program may be downloaded via a network.
  • the storage unit 13 may store measurement data and control data acquired from the measurement device 30.
  • the storage unit 13 stores score data of various music pieces.
  • the score data indicates, for example, the pronunciation content of a music, and is data that can be displayed as a score.
  • Each data may be stored in an external storage device (server, recording medium, etc.) connectable by wire or wireless instead of being stored in the storage unit 13.
  • the operation unit 15 is an input device such as an operation button, a keyboard, and a mouse provided on an operation panel and a remote control, and outputs a signal corresponding to the input operation to the control unit 11.
  • the operation unit 15 enables the user's instruction to be input to the analysis support device 1.
  • the display unit 17 is a display device such as a liquid crystal display or an organic EL display, and a screen based on control by the control unit 11 is displayed. Display data generated by the analysis support function is displayed on this screen.
  • the operation unit 15 and the display unit 17 may be integrated to constitute a touch panel.
  • the interface 19 has a configuration for connecting to an external device by wire or wirelessly to transmit and receive data. Measurement data and control data generated by the measurement device 30 are acquired by the analysis support device 1 through the interface 19. Further, a sound signal or the like generated in the recording device 40 is also acquired by the analysis support device 1 via the interface 19. Also, a sound output device such as a speaker may be connected to the interface 19. In this case, the sound may be reproduced by the speaker by supplying a sound signal from the analysis support device 1 to the speaker.
  • FIG. 5 is a block diagram showing the configuration of an analysis support function in an embodiment of the present invention.
  • the analysis support function 10 includes a data acquisition unit 101, a specification unit 103, a display data generation unit 105, a reproduction position specification unit 111, a reproduction unit 113, and a score acquisition unit 121.
  • the data acquisition unit 101 acquires measurement data and control data from the measurement device 30. Further, in this example, the data acquisition unit 101 acquires a sound signal from the recording device 40.
  • the identification unit 103 determines a period until note-on and note-off, that is, a period from key depression to key release (hereinafter sometimes referred to as "key depression period"). Identify for each key.
  • the control data is data generated by the measuring device 30 based on the measured values. Therefore, it can be said that the specifying unit 103 specifies the key pressing period based on the measurement value.
  • the music score acquisition unit 121 acquires, from the storage unit 13, music score data of the music designated by the user.
  • the musical score acquiring unit 121 analyzes the control data acquired from the measuring device 30 or the sound signal acquired from the recording device 40, and compares it with a plurality of musical score data stored in the storage unit 13 to obtain the most similar music.
  • the corresponding score data may be acquired.
  • the display data generation unit 105 generates display data for displaying the analysis support screen on the display unit 17 based on various information such as measurement data, control data, and score data.
  • the display data is stored in the storage unit 13.
  • the control unit 11 causes the display unit 17 to display an analysis support screen based on the display data.
  • FIG. 6 is a diagram showing an example of the analysis support screen in the embodiment of the present invention.
  • the analysis support screen in this example, includes a performance result area 700, a score area 800, and a control icon area 900.
  • the performance result area 700 defines the key pitch (corresponding to the note number) KN in the vertical direction and an image according to the content of the performance in the area in which the time t is defined in the horizontal direction. It is an area to be displayed.
  • a keyboard image 710 showing the arrangement of keys corresponding to the pitch is displayed in the vertical direction.
  • the performance result area 700 a part of the whole period of playing is displayed, and the range of the displayed period can be changed by scroll display in the direction along the time axis. it can.
  • the key depression period is often represented by a band-shaped image.
  • the key behavior image 770 enables more detailed playing contents to be grasped.
  • the pedal behavior is also displayed as the pedal behavior image 730 in the same area as the key behavior image 770 is displayed.
  • the key behavior image 770 and the pedal behavior image 730 are images that change based on measurement data and control data. Details of these images will be described later.
  • enlargement display can be performed by specifying a specific range. For example, by designating the area SA shown in FIG. 6, the area SA can be enlarged and displayed so as to be superimposed on a partial area of the display unit 17 (for example, the display shown in FIG. 7).
  • an instruction image 750 (first instruction image) indicating the reproduction position is displayed.
  • the instruction image 750 is an image for specifying the position on the time axis in the play result area 700.
  • the score area 800 is an area for displaying a score based on the score data acquired by the score acquisition unit 121.
  • an instruction image 850 (second instruction image) indicating a reproduction position is displayed.
  • the instruction image 850 is an image for specifying a position on the score.
  • the position on the score corresponds to the position on the time axis specified by the instruction image 750 described above. Therefore, when the position designated by the instruction image 750 changes, the position on the score designated by the instruction image 850 also changes.
  • the score area 800 may not exist.
  • the position on the time axis in the performance result area 700 and the position on the score in the score area 800 are associated using a so-called score alignment technique.
  • the score alignment technique is a technique of analyzing the content of performance (measurement data, control data or sound signal), and associating the time axis of the content of performance with the time axis of the content of pronunciation of the predetermined music. For example, by associating each sound in the performance content with each sound in the pronunciation content of the music, it is possible to specify which part of the music is being played, even if the performance speed has fluctuations.
  • the score data it is possible to associate the position on the time axis of the performance content with the position on the image of the score through the correspondence between the performance and the music.
  • various known techniques can be applied. For example, techniques disclosed in JP-A-2017-181724, JP-A-6187132 and the like can be used.
  • the control icon area 900 is an area in which a plurality of icons for receiving user operations are displayed. These icons allow the user to change the position designated by the instruction image 750 (the position on the time axis in the play result area 700). In this example, four icons are displayed. These icons accept an operation of rewind, pause, start of playback, and fast forward in order from the left side.
  • the reproduction position designation unit 111 designates a position on the time axis in the play result area 700 in response to an operation on an icon or the like in the control icon area 900. For example, when the start of reproduction is instructed by the icon, the designated position is advanced from the position designated at that time with the lapse of time. The reproduction position designation unit 111 outputs the designated position as the reproduction position to the reproduction unit 113. At this time, the designated image 750 and the designated image 850 change the designated position according to the reproduction position.
  • the reproduction unit 113 reproduces a sound signal acquired from the recording device 40 when an instruction to start reproduction is received by an operation on an icon or the like in the control icon area 900.
  • the position on the time axis to be reproduced is the reproduction position designated by the reproduction position designation unit 111.
  • the sound based on the control data may be reproduced using a sound source or the like.
  • both the sound signal and the control data are sound generation data that define the content of the sound (sound generation) to be reproduced in time series. The above is the description of the configuration of the analysis support function.
  • FIG. 7 is an example when the area
  • FIG. 7 is a diagram showing an example of a key behavior image according to an embodiment of the present invention.
  • band-like divided regions BN (BN-1, BN-2, BN-3) are arranged corresponding to the pitches KN of the respective keys.
  • the key behavior image 770 corresponding to the key of each pitch is displayed in the area BN (area BN-2 in this example) partitioned corresponding to the key.
  • the key behavior image 770 includes, in this example, a strip image CD, a key position image KP and a hammer position image HP.
  • the strip image CD is an image displayed with a predetermined width along the section of the area BN.
  • the key position image KP and the hammer position image HP are both linearly displayed images and have different forms that can be distinguished from each other.
  • different forms are shown by a broken line (key position image KP) and a solid line (hammer position image HP).
  • a broken line key position image KP
  • a solid line hammer position image HP
  • the strip image CD is displayed based on the control data.
  • a range in the horizontal direction (time t direction: time axis direction) of the strip image CD is defined by a range from the time of note-on non to the time of note-off Noff, that is, a key depression period.
  • the vertical direction (pitch KN direction) of the strip image CD has a length corresponding to the magnitude of the on velocity Von at the position of note on non, and corresponds to the magnitude of the off velocity Voff at the position of note off Noff. Have a length. This length may be expressed as an occupancy in the width direction of the region BN.
  • the strip image CD has a trapezoidal shape when the on velocity Von and the off velocity Voff are different. As in the example shown in FIG.
  • the value of the on velocity Von may be displayed near the position of the note on non.
  • the value of the off velocity Voff may be displayed near the position of the note off Noff.
  • the value "43" of the on velocity Von and the value "2C" of the off velocity Voff are displayed in hexadecimal.
  • the key position image KP (broken line) is displayed based on the measurement value corresponding to each key indicated by the measurement data.
  • the key position image KP is an image showing the position (pressing amount) of the key corresponding to the area BN.
  • the position of the key at each time t corresponds to the vertical direction (pitch KN direction) in the area BN. In this example, it is indicated that the key is at the rest position (the position where the key is not pressed) on the higher side of the area BN (the area BN-1 in the area BN-2). On the other hand, on the lower side of the tone pitch, it indicates that the key is at the end position (a fully depressed position).
  • the start point DS of the key position image KP corresponds to the time when the key starts to be pressed.
  • the end point DE of the key position image KP corresponds to the time when a predetermined time HT has elapsed since the key stopped at the rest position.
  • the hammer position image HP (solid line) is displayed based on the measurement value corresponding to each hammer indicated by the measurement data.
  • the hammer position image HP is an image showing the position (movement amount) of the hammer interlocked with the key corresponding to the area BN.
  • the position of the hammer at each time t corresponds to the vertical direction of the area BN.
  • the hammer is at the reference position (the position of the hammer when the key is not depressed) on the lower side of the pitch in the area BN.
  • On the high pitch side it indicates that the hammer strikes the string.
  • the hammer position image HP is displayed in the range corresponding to the start point DS to the end point DE described above. By this, the user can confirm the movement of the hammer from the key to the key release (the time slightly after the key release). Note that either one or both of the start point DS and the end point DE may be determined based on the movement of the hammer.
  • the key position image KP and the hammer position image HP do not show measured values corresponding to the whole period but show measured values obtained by extracting a partial range on the time axis.
  • the visibility of the performance result area 700 is improved by extracting and displaying a part of the data. A method of extracting and displaying data in this manner will be described in the description of the analysis support process described later.
  • the pedal behavior image 730 is displayed based on the measurement value corresponding to the pedal indicated by the measurement data.
  • the pedal behavior image 730 is an image corresponding to the position (depression amount) of the pedal, and the measured value at each time is displayed in a spread manner in a plurality of areas BN.
  • the measured values at each time are displayed in all of the areas BN displayed in the performance result area 700.
  • the pedal behavior image 730 represents the measured value by the color tone change.
  • the regions L0, L1, and L2 are displayed in different color tones.
  • Region L0 indicates a period in which the pedal is at a rest position (a state in which the pedal is not depressed).
  • a region L2 indicates a period in which the pedal is at the end position (the pedal is fully depressed).
  • Region L1 indicates a period in which the pedal is in a position between the rest position and the end position.
  • the tone change in the pedal behavior image 730 is exemplified by a change in at least one or more of hue, saturation and lightness.
  • the background of the play result area 700 may be equivalent.
  • the color tone may be changed so that the pedal behavior image 730 substantially changes in transmittance.
  • FIG. 8 is a view showing an example of a pedal behavior image according to an embodiment of the present invention.
  • FIG. 8 is for explaining the tone change of the pedal behavior image 730 more easily.
  • the lightness is shown as one stage as the region L1
  • FIG. 8 shows an example where it is shown in three stages. This shows the position of the pedal in more detail.
  • the time change of the color tone (lightness) of the pedal behavior image 730 is shown.
  • the lightness is lower as the pedal is closer to the rest position and higher as it is closer to the end position.
  • the example of FIG. 8 shows a state in which the pedal is further depressed after being temporarily returned while the pedal is depressed. According to this example, it can also be seen that it is quicker (the tone change is rapid) when the pedal is depressed again.
  • the lightness may be separately displayed in more stages.
  • the resolution of the pedal position measurement value included in the measurement data and the resolution of the lightness may be equal to or different from each other.
  • the pedal position measurement value may be converted into each level of lightness by a predetermined calculation method.
  • FIG. 9 is a flowchart illustrating analysis support processing according to an embodiment of the present invention.
  • the control unit 11 acquires measurement data obtained by the measurement device 30 (step S100).
  • the measurement data acquired here includes first measurement data indicating the key position measurement value and the hammer position measurement value in time series, and second measurement data indicating the pedal position measurement value in time series.
  • control data is also acquired.
  • a sound signal is also obtained from the recording device 40.
  • the control unit 11 generates display data for displaying the analysis support screen based on the acquired pieces of information (step S200).
  • the analysis support screen includes at least the performance result area 700.
  • the performance result area 700 is an area where measurement values corresponding to each key are displayed as a key behavior image 770 along the time axis.
  • key behavior images 770 corresponding to a plurality of keys are displayed along the same time axis.
  • measurement values in a partial range on the time axis in the entire period are displayed as the key behavior image 770.
  • FIG. 10 is a flowchart for explaining the drawing process in the embodiment of the present invention. This drawing process is executed corresponding to each key.
  • the control unit 11 reads a key position measurement value KPm (t) at time t and a hammer position measurement value HPm (t) at time t from the measurement data (step S205). At this time, when KPm (t) exceeds the last data and the measurement data ends (step S207; Yes), the control unit 11 ends the drawing processing.
  • the drawing is performed (step S213).
  • the control unit 11 reads out the key position measurement value KPm (t) and the hammer position measurement value HPm (t) from the measurement data (step S217). At this time, if KPm (t) exceeds the last data and the measurement data ends (step S219; Yes), the control unit 11 ends the drawing process.
  • the key position image KP and the hammer position image HP are drawn by repeating this process.
  • This HT corresponds to the constant time HT described in FIG.
  • step S227; No the control unit 11 returns to step S213 and advances the process.
  • the drawing of the key position image KP and the hammer position image HP is stopped. That is, a part of the key position measurement value and the hammer position measurement value is extracted on the time axis and displayed in the play result area 700 as the key position image KP and the hammer position image HP.
  • the above is the description of the drawing process.
  • the keys may be combined into one key behavior image 770 (key position image KP and hammer position image HP).
  • one key behavior image 770 includes one key position image KP and one hammer position image HP, but two strip images CD exist. Become. For example, in the case of the rendition style in which the key is continuously hit, many band-shaped images CD exist in one key behavior image 770.
  • the following analysis support can be provided to the user on the analysis support screen (in particular, the performance result area 700).
  • the key position image KP and the hammer position image HP when there is a performance (key depression operation) using a key whose pitch is distant, they are displayed on the same time axis. It is easy to compare the details of key pressing operations on keys. For example, in melody and accompaniment, it is easy to compare at what timing keys are depressed.
  • the key position image KP and the hammer position image HP it is easy to confirm the association between the movement of the key and the movement of the hammer linked to the key.
  • an image (or an image obtained by processing the waveform) indicating the waveform of the sound signal acquired from the recording device 40 may be displayed on the same time axis.
  • the pedal behavior image 730 may not be displayed in the play result area 700 in the above-described embodiment.
  • the key behavior image 770 may not be displayed in the performance result area 700 in the embodiment described above.
  • a piano roll display as in the prior art, that is, an image indicating a key depression period for each key may be displayed.
  • the value of the on velocity Von and the value of the off velocity Voff are displayed numerically in the strip image CD, but similarly, the value of the key position image KP, the hammer position image HP Or the value of the pedal behavior image 730 may be displayed. At this time, a point at which the measured value has a predetermined change may be extracted, and the measured value at that point may be displayed.
  • the key position image KP and the hammer position image HP are linear images showing the measured values at the positions in the vertical direction in the area BN, but an image representing the measured values by the color tone change
  • the image may be any image as long as it is an image represented by a method (such as linear or band-like) that can visually recognize a change in measurement value.
  • an image due to color tone change such as a pedal behavior image 730 displayed in an expanded manner in the area BN corresponding to a plurality of keys is replaced with the behavior of the pedal and It may be a behavior. That is, if the image displayed in an expanded manner in the area BN corresponding to a plurality of keys represents the behavior of the operator for inputting an instruction not related to the pitch, it represents the behavior of the pedal. It is not limited.
  • the pedal behavior image 730 is displayed according to the behavior of the pedal, but may represent the behavior of a member interlocked with the pedal, for example, a damper.
  • the key behavior image 770 includes the key position image KP, the hammer position image HP, and the band image CD, but if it includes at least one of them, it includes some images It does not have to be.
  • the key position image KP is displayed based on the position of the key, but may be displayed based on a physical quantity indicating behavior such as velocity and acceleration. The same applies to the hammer position image HP and the pedal behavior image 730.
  • a predetermined image may be displayed at a position corresponding to the relationship satisfying the condition.
  • the analysis support function 10 in the embodiment described above may not have another configuration as long as it has at least the data acquisition unit 101 and the display data generation unit 105.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

一実施形態におけるデータ生成装置は、操作子の挙動を示す測定値を時系列に示す測定データを取得する取得部と、前記測定データに基づいて、複数の鍵の動きに関連する情報を同一の時間軸に沿って表示する画面を示す表示データであって、前記時間軸に沿って複数の鍵に対応した領域の色調変化により前記測定値を表示するための表示データを生成するデータ生成部と、を備える。

Description

データ生成装置およびプログラム
　本発明は、ピアノの演奏に応じたデータを生成する技術に関する。
　鍵の動きを測定するセンサを用いて、ピアノの演奏を記録する技術がある。このように記録した演奏を、操作された鍵を表示することで表現する方法が知られている。例えば、縦方向に鍵の音高を定義し、横方向に時間軸を定義した領域において、鍵が操作された期間（押鍵から離鍵までの期間）を時間軸方向に延びた帯状の画像を配置することによって、演奏内容を表す方法がある。この方法は、一般的には「ピアノロール」といわれる。例えば特許文献１に開示されているように、ピアノロールを用いた様々な表示方法が検討されている。
特開２０１４－１８６１５４号公報
　ピアノの演奏が記録されるときの情報は、例えば、操作された鍵、押鍵タイミングおよび離鍵タイミングである。一般的なピアノロール表示では、これらの情報が用いられている。しかしながら、これらの情報は、実際の演奏に比べると情報量としては非常に少ない。このようなピアノロール表示によれば、大まかな演奏内容を視覚的に認識することができる一方、細かい演奏内容についてはわからない。そのため、演奏者が自分の演奏を分析することによって演奏技術を向上させようとしても、一般的なピアノロール表示を用いたものでは情報量が不十分であった。
　本発明の目的の一つは、ピアノロール表示のように鍵の音高と時間軸とにより定義された領域を用いつつも、情報量をより多く表現できるようにすることにある。
　本発明の一実施形態によれば、操作子の挙動を示す測定値を時系列に示す測定データを取得する取得部と、前記測定データに基づいて、複数の鍵の動きに関連する情報を同一の時間軸に沿って表示する画面を示す表示データであって、前記時間軸に沿って複数の鍵に対応した領域の色調変化により前記測定値を表示するための表示データを生成するデータ生成部と、を備えるデータ生成装置が提供される。
　前記操作子の挙動は、ペダルまたは当該ペダルに連動する部材の挙動を含んでもよい。
　また、本発明の一実施形態によれば、操作子の挙動を示す測定値を時系列に示す測定データを取得し、前記測定データに基づいて、複数の鍵の動きに関連する情報を同一の時間軸に沿って表示する画面を示す表示データであって、前記時間軸に沿って複数の鍵に対応した領域の色調変化により前記測定値を表示するための表示データを生成すること、をコンピュータに実行させるためのプログラムが提供される。
　本発明によれば、ピアノロール表示のように鍵の音高と時間軸とにより定義された領域を用いつつも、情報量をより多く表現できるようにすることができる。
本発明の一実施形態におけるシステムの構成を示す図である。 本発明の一実施形態におけるピアノの構造を示す図である。 本発明の一実施形態における測定装置の構成を示すブロック図である。 本発明の一実施形態における分析支援装置のハードウェア構成を示すブロック図である。 本発明の一実施形態における分析支援機能の構成を示すブロック図である。 本発明の一実施形態における分析支援画面の一例を示す図である。 本発明の一実施形態における鍵挙動画像の一例を示す図である。 本発明の一実施形態におけるペダル挙動画像の一例を示す図である。 本発明の一実施形態における分析支援処理を説明するフローチャートである。 本発明の一実施形態における描画処理を説明するフローチャートである。
　以下、本発明の一実施形態におけるシステムについて、図面を参照しながら詳細に説明する。以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。なお、本実施形態で参照する図面において、同一部分または同様な機能を有する部分には同一の符号または類似の符号（数字の後にＡ、Ｂ等を付しただけの符号）を付し、その繰り返しの説明は省略する場合がある。
＜実施形態＞
［１．システムの概要］
　図１は、本発明の一実施形態におけるシステムの構成を示す図である。このシステムは、分析支援装置１、測定装置３０、録音装置４０およびピアノ５０を含む。ユーザがピアノ５０を演奏すると、演奏による鍵およびペダルの挙動が測定装置３０によって測定される。測定結果は分析支援装置１に提供される。録音装置４０は、例えば、マイクロフォンであり、入力された音を電気信号（音信号）に変換する。録音装置４０は、音信号を記録するメモリを備えていてもよい。録音装置４０に入力された演奏音は、分析支援装置１に提供される。分析支援装置１は、入力された情報をディスプレイ、スピーカ等の情報出力手段を介してユーザに提示する。以下、システムの各構成について、詳述する。
［２．ピアノ］
　ピアノ５０は、この例では、一般的なグランドピアノである。なお、ピアノ５０は、グランドピアノ以外のアコースティックピアノであってもよい。また、ピアノ５０は、アコースティックピアノに限らず、電子ピアノ等の電子楽器であってもよい。この例では、ピアノ５０には、測定装置３０の一部が組み込まれている。
　図２は、本発明の一実施形態におけるピアノの構造を示す図である。ピアノ５０は、その前面に演奏者によって演奏操作がなされる鍵５２が複数配列された鍵盤、およびペダル５３を有する鍵盤楽器の一例である。ペダル５３はこの例では複数であるが、少なくともダンパペダルを含む。ハンマ５４は、各鍵５２に対応して設けられている。ハンマ５４は、鍵５２に連動する部材であって、鍵５２が押下されるとアクション機構を介して力が伝達されて移動し、各鍵５２に対応して設けられた弦５５を打撃する。弦５５は、ハンマ５４からの打撃により、発音する。
　ダンパ５８は、ダンパ動作機構によって移動される。ダンパ動作機構は、鍵５２の押下量、およびペダル５３の踏込量に応じて、ダンパ５８と弦５５との接触状態を制御するようにダンパ５８を移動する。
［３．測定装置］
　図３は、本発明の一実施形態における測定装置の構成を示すブロック図である。上述したようにピアノ５０には、測定装置３０の一部が組み込まれている。以下、図２および図３を用いて測定装置３０について説明をする。測定装置３０は、鍵位置測定部３２、ペダル位置測定部３３、ハンマ位置測定部３４およびデータ出力装置３５を含む。
　鍵位置測定部３２は、各鍵５２に対応して設けられた鍵センサを含む。鍵位置測定部３２は、鍵センサによって各鍵５２の位置（押下量に対応）を連続量（微細な分解能）で測定し、測定結果を示す測定値（以下、「鍵位置測定値」という場合がある）を出力する。この測定値は、各鍵５２に対応して出力される。なお、鍵センサは、鍵５２の位置に応じた測定値を出力する代わりに、鍵５２が特定の押下位置を通過したことを示す測定値を出力するようにしてもよい。特定の押下位置とは、鍵５２のレスト位置からエンド位置に至る範囲の複数の位置である。複数の位置は、例えば、発音開始、ダンピング開始等の発音状態に変化を与える位置であってもよい。このように、鍵位置測定部３２が出力する測定値は、鍵５２の挙動を示す情報であればよい。
　ペダル位置測定部３３は、各ペダル５３に対応して設けられたペダルセンサを含む。ペダル位置測定部３３は、ペダルセンサによって各ペダル５３の位置（踏込量に対応）を連続量（微細な分解能）で測定し、測定結果を示す測定値（以下、「ペダル位置測定値」という場合がある）を出力する。この測定値は、各ペダル５３に対応して出力される。なお、ペダルセンサは、ペダル５３の位置に応じた測定値を出力する代わりに、ペダル５３が特定の位置を通過したことを示す測定値を出力するようにしてもよい。特定の位置とは、ペダルの可動範囲に含まれる複数の位置である。このように、ペダル位置測定部３３が出力する測定値は、ペダル５３の挙動を示す情報であればよい。以下の説明では、ペダル５３という場合には、ダンパペダルを示すものとして説明する。したがって、ペダル位置測定値は、ダンパペダルの位置（踏込量）に対応する。
　ハンマ位置測定部３４は、各ハンマ５４に対応して設けられたハンマセンサを含む。ハンマ位置測定部３４は、ハンマセンサによって各ハンマ５４の位置（移動量に対応）を連続量（微細な分解能）で測定し、測定結果を示す測定値（以下、「ハンマ位置測定値」という場合がある）を出力する。この測定値は、各ハンマ５４に対応して出力される。なお、ハンマセンサは、ハンマ５４の位置に応じた測定値を出力する代わりに、ハンマ５４が特定の位置を通過したことを示す測定値を出力するようにしてもよい。特定の位置とは、ハンマの可動範囲に含まれる複数の位置である。このように、ハンマ位置測定部３４が出力する測定値は、ハンマ５４の挙動を示す情報であればよい。
　データ出力装置３５は、例えば、ピアノ５０の棚板下方に設けられている。データ出力装置３５は、データ生成部３５１およびインターフェイス３５３を含み、鍵位置測定部３２、ペダル位置測定部３３およびハンマ位置測定部３４から出力される情報に基づいて、測定データおよび制御データを生成して出力する。
　データ生成部３５１は、鍵位置測定部３２、ペダル位置測定部３３およびハンマ位置測定部３４から出力される情報に基づいて、測定データおよび制御データを生成する。測定データは、各鍵５２に対応する鍵位置測定値、各ハンマ５４に対応するハンマ位置測定値、およびペダル５３（ダンパペダル）に対応するペダル位置測定値を含む。制御データは、発音内容を時系列に規定する所定のデータ形式（例えばＭＩＤＩ形式）に、上記の各測定値から変換したデータである。制御データは、例えば、ノートナンバ、ノートオン、ノートオフ、ベロシティ（オンベロシティ（ノートオン時の鍵速度）、オフベロシティ（ノートオフ時の鍵速度））およびコントロールチェンジ（ペダルの踏込量等）などのデータを含む。
　インターフェイス３５３は、有線または無線により外部装置と接続してデータの送受信をするための構成を有する。インターフェイス３５３に接続された外部装置には、データ生成部３５１によって生成された測定データおよび制御データが出力される。外部装置は、演算処理が可能な装置であってもよいし、半導体メモリ等の記録媒体であってもよい。この例では、外部装置は分析支援装置１を含む。なお、測定データおよび制御データは、リアルタイムに外部装置出力されてもよいし、時刻情報とともに時系列な情報としてメモリ等に記憶されてから外部装置に出力されてもよい。いずれにしても、測定データおよび制御データは、時系列に並ぶ情報を含む。例えば、測定データは、各測定値を時系列に示すデータである。以上が、測定装置３０についての説明である。
［４．分析支援装置］
　分析支援装置１は、測定装置３０から出力される情報に基づいて、ユーザの演奏内容の分析を支援するための情報を生成する。分析支援装置１において実現される機能には、ユーザの演奏内容の詳細（以下、「分析支援画面」という場合がある）をディスプレイ（後述する表示部１７）に表示させるための表示データを生成する機能（分析支援機能）が含まれる。分析支援装置１は、このように分析支援画面を表示するためのデータを生成するデータ生成装置であるともいえる。
［４－１．分析支援装置のハードウェア構成］
　図４は、本発明の一実施形態における分析支援装置のハードウェア構成を示すブロック図である。分析支援装置１は、例えば、パーソナルコンピュータにおいてプログラムを実行することによって、所定の機能を実現することができる装置である。分析支援装置１は、制御部１１、記憶部１３、操作部１５、表示部１７、およびインターフェイス１９を含む。これらの各構成は、バスを介して接続されている。
　制御部１１は、ＣＰＵなどの演算処理回路を含む。制御部１１は、記憶部１３に記憶された制御プログラムをＣＰＵにより実行して、各種機能を分析支援装置１において実現させる。実現される機能には、上述した分析支援機能が含まれる。
　記憶部１３は、不揮発性メモリ、ハードディスク等の記憶装置である。記憶部１３は、分析支援機能を実現するための制御プログラムを記憶する。制御プログラムは、コンピュータにより実行可能であればよく、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよい。この場合には、分析支援装置１は、記録媒体を読み取る装置を備えていればよい。また、制御プログラムは、ネットワーク経由でダウンロードされてもよい。
　記憶部１３は、測定装置３０から取得した測定データおよび制御データを記憶してもよい。また、記憶部１３は、様々な楽曲の楽譜データを記憶している。楽譜データは、例えば、楽曲の発音内容を示し、楽譜としても表示可能なデータである。なお、各データは、記憶部１３に記憶される代わりに、有線または無線によって接続可能な外部記憶装置（サーバ、記録媒体等）に記憶されていてもよい。
　操作部１５は、操作パネルおよびリモコンなどに設けられた操作ボタン、キーボード、マウスなどの入力装置であり、入力された操作に応じた信号を制御部１１に出力する。この操作部１５によって、ユーザの指示を分析支援装置１に入力することが可能となる。
　表示部１７は、液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置であり、制御部１１による制御に基づいた画面が表示される。分析支援機能によって生成された表示データは、この画面に表示される。なお、操作部１５と表示部１７とは一体としてタッチパネルを構成してもよい。
　インターフェイス１９は、有線または無線により外部装置と接続してデータの送受信をするための構成を有する。測定装置３０において生成された測定データおよび制御データは、インターフェイス１９を介して分析支援装置１に取得される。また、録音装置４０において生成された音信号などについても、インターフェイス１９を介して分析支援装置１に取得される。また、スピーカなどの音出力装置がインターフェイス１９に接続されてもよい。この場合には、分析支援装置１からスピーカに音信号を供給することによって、スピーカに音を再生させてもよい。
［４－２．分析支援装置のソフトウェア構成］
　分析支援装置１の制御部１１が制御プログラムを実行することによって実現される分析支援機能について説明する。なお、以下に説明する分析支援機能を実現する構成の一部または全部は、ハードウェアによって実現されてもよい。
　図５は、本発明の一実施形態における分析支援機能の構成を示すブロック図である。分析支援機能１０は、データ取得部１０１、特定部１０３、表示データ生成部１０５、再生位置指定部１１１、再生部１１３、および楽譜取得部１２１を含む。
　データ取得部１０１は、測定装置３０から測定データおよび制御データを取得する。また、この例ではデータ取得部１０１は、録音装置４０から音信号を取得する。
　特定部１０３は、データ取得部１０１が取得した制御データに基づいて、ノートオンおよびノートオフまでの期間、すなわち押鍵から離鍵までの期間（以下、「押鍵期間」という場合がある）を各鍵に対して特定する。上述したように、制御データは、測定値に基づいて測定装置３０によって生成されたデータである。したがって、特定部１０３は、測定値に基づいて押鍵期間を特定しているともいえる。
　楽譜取得部１２１は、ユーザによって指定された楽曲の楽譜データを記憶部１３から取得する。楽譜取得部１２１は、測定装置３０から取得した制御データまたは録音装置４０から取得した音信号を解析し、記憶部１３に記憶されている複数の楽譜データと比較することによって、最も類似する楽曲に対応する楽譜データを取得してもよい。
　表示データ生成部１０５は、測定データ、制御データおよび楽譜データなどの各種情報に基づいて、分析支援画面を表示部１７に表示するための表示データを生成する。この表示データは、記憶部１３に記憶される。制御部１１は、この表示データに基づいて表示部１７に分析支援画面を表示させる。
　図６は、本発明の一実施形態における分析支援画面の一例を示す図である。分析支援画面は、この例では、演奏結果領域７００、楽譜領域８００および制御アイコン領域９００を含む。
　演奏結果領域７００は、いわゆるピアノロール表示と同様に、縦方向に鍵の音高（ノートナンバに対応）ＫＮを定義し、横方向に時刻ｔを定義した領域において、演奏内容に応じた画像を表示する領域である。縦方向には音高に対応した鍵の配列を示す鍵盤画像７１０が表示される。なお、演奏結果領域７００においては、演奏をした全体の期間のうち一部の期間が表示され、時間軸に沿った方向にスクロール表示をすることによって、表示される期間の範囲を変更することができる。
　ここで、一般的なピアノロール表示では、押鍵期間を帯状の画像で表す場合が多い。一方、この例では、単純に帯状の画像で演奏結果を表示するのではなく、鍵挙動画像７７０によって、より詳細の演奏内容が把握できるようになっている。また、この例では、ペダルの挙動についても鍵挙動画像７７０が表示される領域と同じ領域にペダル挙動画像７３０として表示される。鍵挙動画像７７０およびペダル挙動画像７３０については、測定データおよび制御データに基づいて変化する画像である。これらの画像の詳細については、後述する。
　演奏結果領域７００においては、特定の範囲を指定することにより拡大表示することもできる。例えば、図６に示す領域ＳＡを指定することによって、領域ＳＡを拡大して表示部１７の一部の領域に重畳するようにして表示することができる（例えば、図７に示す表示）。
　演奏結果領域７００においては、再生位置を示す指示画像７５０（第１指示画像）が表示される。指示画像７５０は、演奏結果領域７００における時間軸上の位置を指定するための画像である。
　楽譜領域８００は、楽譜取得部１２１が取得した楽譜データに基づく楽譜を表示する領域である。楽譜領域８００においては、再生位置を示す指示画像８５０（第２指示画像）が表示される。指示画像８５０は、楽譜上の位置を指定するための画像である。楽譜上の位置は、上記の指示画像７５０が指定する時間軸上の位置に対応する。したがって、指示画像７５０が指定する位置が変化すると、指示画像８５０が指定する楽譜上の位置も変化する。なお、楽譜領域８００は存在しなくてもよい。
　演奏結果領域７００における時間軸上の位置と、楽譜領域８００における楽譜上の位置とは、いわゆるスコアアライメント技術を用いて対応付けられる。スコアアライメント技術は、演奏内容（測定データ、制御データまたは音信号）を解析し、演奏内容の時間軸と、予め決められている楽曲の発音内容の時間軸とを対応付ける技術である。例えば、演奏内容における各音と、楽曲の発音内容における各音とを対応付けることによって、演奏速度に揺らぎがあったとしても、楽曲のどの部分を演奏しているのかを特定することができる。このとき、楽譜データを用いることで、演奏と楽曲との対応関係を介して、演奏内容の時間軸上の位置と、楽譜の画像上の位置とを対応付けることもできる。このような技術は、公知の様々な技術を適用することができるが、例えば、特開２０１７－１８１７２４号公報、特許６１８７１３２号公報等に開示されている技術を用いることができる。
　制御アイコン領域９００は、ユーザの操作を受け付ける複数のアイコンが表示されている領域である。これらのアイコンによって、ユーザは、指示画像７５０によって指定される位置（演奏結果領域７００における時間軸上の位置）の変化させることができる。この例では、４つのアイコンが表示されている。これらのアイコンは、左側から順に、早戻し、一時停止、再生開始、早送りの操作を受け付ける。
　図５に戻って説明を続ける。再生位置指定部１１１は、制御アイコン領域９００におけるアイコン等への操作に応じて、演奏結果領域７００における時間軸上の位置を指定する。例えば、アイコンによって再生開始が指示されると、その時点において指定されていた位置から、時間の経過とともに指定する位置を進めていく。再生位置指定部１１１は、指定した位置を再生位置として再生部１１３に出力する。このとき、指示画像７５０および指示画像８５０は、再生位置に応じて指定する位置を変化させる。
　再生部１１３は、制御アイコン領域９００におけるアイコン等への操作によって再生開始の指示を受け付けた場合に、録音装置４０から取得した音信号を再生する。再生する時間軸上の位置は、再生位置指定部１１１によって指定された再生位置である。このとき、音信号の再生に代えて、音源等を用いて制御データに基づく音を再生してもよい。このように、音信号および制御データは、いずれも、再生される音（発音）の内容を時系列に規定する発音データであるといえる。以上が、分析支援機能の構成についての説明である。
［４－３．鍵挙動画像］
　続いて、演奏結果領域７００における鍵挙動画像７７０の詳細について説明する。ここでは、上述した領域ＳＡを拡大して表示したときの例である図７を用いて説明する。
　図７は、本発明の一実施形態における鍵挙動画像の一例を示す図である。図７に示すように、各鍵の音高ＫＮに対応して、帯状に区画された領域ＢＮ（ＢＮ－１、ＢＮ－２，ＢＮ－３）が配置されている。各音高の鍵に対応する鍵挙動画像７７０は、その鍵に対応して区画された領域ＢＮ（この例では、領域ＢＮ－２）に表示される。鍵挙動画像７７０は、この例では、帯状画像ＣＤ、鍵位置画像ＫＰおよびハンマ位置画像ＨＰを含む。帯状画像ＣＤは、領域ＢＮの区画に沿って、所定の幅を有して表示される画像である。鍵位置画像ＫＰおよびハンマ位置画像ＨＰは、いずれも線状に表示される画像であって、互いに区別可能な異なる形態であることが望ましい。この例では、破線（鍵位置画像ＫＰ）と、実線（ハンマ位置画像ＨＰ）とによって、異なる形態を示している。異なる形態としては、線の太さの違い、線の色による違い等が例示される。
　帯状画像ＣＤは、制御データに基づいて表示される。帯状画像ＣＤの横方向（時刻ｔ方向：時間軸方向）の範囲は、ノートオンＮｏｎの時刻からノートオフＮｏｆｆの時刻までの範囲、すなわち押鍵期間で規定される。帯状画像ＣＤの縦方向（音高ＫＮ方向）は、ノートオンＮｏｎの位置においてオンベロシティＶｏｎの大きさに応じた長さを有し、ノートオフＮｏｆｆの位置においてオフベロシティＶｏｆｆの大きさに応じた長さを有する。この長さは、領域ＢＮの幅方向の占有率として表現されてもよい。帯状画像ＣＤは、オンベロシティＶｏｎとオフベロシティＶｏｆｆとが異なる場合には、台形状になる。図７に示す例のように、オンベロシティＶｏｎの値がノートオンＮｏｎの位置の近傍に表示されてもよい。また、オフベロシティＶｏｆｆの値がノートオフＮｏｆｆの位置の近傍に表示されてもよい。この例では、オンベロシティＶｏｎの値「４３」およびオフベロシティＶｏｆｆの値「２Ｃ」は、１６進数で表示されている。
　鍵位置画像ＫＰ（破線）は、測定データが示す各鍵に対応する測定値に基づいて表示される。鍵位置画像ＫＰは、領域ＢＮに対応する鍵の位置（押下量）を示す画像である。各時刻ｔにおける鍵の位置が領域ＢＮにおける縦方向（音高ＫＮ方向）に対応している。この例では、領域ＢＮのうち、音高が高い側（領域ＢＮ－２における領域ＢＮ－１側）において、鍵がレスト位置（押下されていない位置）であることを示している。一方、音高が低い側において、鍵がエンド位置（完全に押下された位置）であることを示している。鍵位置画像ＫＰの始点ＤＳは、鍵が押下され始めた時刻に対応する。鍵位置画像ＫＰの終点ＤＥは、鍵がレスト位置において停止してから一定時間ＨＴが経過した時刻に対応する。これによって、押鍵から離鍵（離鍵後のさらに少し後の時刻）までの鍵の動きをユーザが確認することができる。
　ハンマ位置画像ＨＰ（実線）は、測定データが示す各ハンマに対応する測定値に基づいて表示される。ハンマ位置画像ＨＰは、領域ＢＮに対応する鍵に連動するハンマの位置（移動量）を示す画像である。各時刻ｔにおけるハンマの位置が領域ＢＮの縦方向に対応している。この例では、領域ＢＮのうち、音高が低い側においてハンマが基準位置（押鍵されていないときのハンマの位置）であることを示している。一方、音高が高い側において、ハンマが弦を打撃する位置であることを示している。ハンマ位置画像ＨＰは、上述した始点ＤＳから終点ＤＥに対応した範囲で表示される。これによって、鍵から離鍵（離鍵後のさらに少し後の時刻）までのハンマの動きをユーザが確認することができる。なお、始点ＤＳおよび終点ＤＥのいずれか一方または双方は、ハンマの動きに基づいて決定されてもよい。
　上述したように、鍵位置画像ＫＰおよびハンマ位置画像ＨＰは、全期間に対応する測定値を示すのではなく、時間軸上の一部の範囲を抽出して得られた測定値を示す。このようにデータの一部が抽出されて表示されることによって、演奏結果領域７００の視認性が向上する。このようにしてデータを抽出して表示する方法については、後述する分析支援処理の説明において行う。
［４－４．ペダル挙動画像］
　続いて、ペダル挙動画像７３０について説明する。ペダル挙動画像７３０は、測定データが示すペダルに対応する測定値に基づいて表示される。ペダル挙動画像７３０は、ペダルの位置（踏込量）に対応した画像であり、各時刻における測定値が複数の領域ＢＮに拡がって表示される。この例では、各時刻における測定値が、演奏結果領域７００に表示される領域ＢＮの全てにおいて表示される。このとき、ペダル挙動画像７３０は、色調変化によって測定値を表す。図７に示す例では、領域Ｌ０、Ｌ１、Ｌ２がそれぞれ異なる色調で表示されている。領域Ｌ０は、ペダルがレスト位置（ペダルが踏み込まれていない状態）である期間を示している。一方、領域Ｌ２は、ペダルがエンド位置（ペダルが完全に踏み込まれている状態）である期間を示している。領域Ｌ１は、ペダルがレスト位置とエンド位置との間の位置にある期間を示している。
　ペダル挙動画像７３０における色調変化は、色相、彩度および明度の少なくとも一つまたは複数の組み合わせの変化が例示される。なお、ペダルがレスト位置にある状態では、演奏結果領域７００の背景と同等になるようにしてもよい。この場合には、ペダル挙動画像７３０が実質的に透過率の変化をしているように色調変化をさせてもよい。
　図８は、本発明の一実施形態におけるペダル挙動画像の一例を示す図である。図８では、ペダル挙動画像７３０の色調変化をよりわかりやすく説明するためのものである。図７においては、ペダルがレスト位置とエンド位置との間にある場合には、領域Ｌ１として明度が１つの段階で表していたが、図８では３つの段階で表す例を示している。これによって、ペダルの位置がより詳細に示される。横方向に時間軸を示し、縦方向に明度を示すグラフにおいて、ペダル挙動画像７３０の色調（明度）の時間変化を示している。この例では、ペダルがレスト位置に近いほど明度が低く、エンド位置に近いほど明度が高くなるように示されている。図８の例では、ペダルを踏み込んだ状態において、一旦戻した後、さらに踏み込んだ状態を示している。この例によれば、ペダルを戻すときも再び踏み込むときの方が速い（色調変化が急激）こともわかる。
　なお、明度がさらに多くの段階に区別されて表されてもよい。このとき、測定データに含まれるペダル位置測定値の分解能と明度の分解能（段階数に対応）とが等しくてもよいが、異なっていてもよい。この場合には、ペダル位置測定値が、所定の演算方法によって、明度の各段階に変換されればよい。
［４－５．分析支援処理］
　上述した分析支援機能１０によって実行される分析支援処理について、図９を用いて説明する。分析支援処理は、ユーザの指示等によって開始される。
　図９は、本発明の一実施形態における分析支援処理を説明するフローチャートである。制御部１１は、測定装置３０によって得られた測定データを取得する（ステップＳ１００）。ここで取得する測定データは、鍵位置測定値およびハンマ位置測定値を時系列に示す第１測定データと、ペダル位置測定値を時系列に示す第２測定データとを含む。なお、この例では、制御データについても取得される。また、録音装置４０から音信号も取得される。
　続いて、制御部１１は、取得した各情報に基づいて、分析支援画面を表示するための表示データを生成する（ステップＳ２００）。上述したように分析支援画面は、少なくとも演奏結果領域７００を含む。演奏結果領域７００は、各鍵に対応した測定値を鍵挙動画像７７０として時間軸に沿って表示した領域である。また、複数の鍵に対応する鍵挙動画像７７０は、同一時間軸に沿って表示される。このとき、全期間のうち時間軸上の一部の範囲の測定値が、鍵挙動画像７７０として表示される。続いて、表示データを生成する処理のうち、鍵位置画像ＫＰおよびハンマ位置画像ＨＰを表示するための描画処理について説明する。
［４－６．鍵位置画像ＫＰおよびハンマ位置画像ＨＰの描画処理］
　図１０は、本発明の一実施形態における描画処理を説明するフローチャートである。この描画処理は、各鍵に対応して実行される。まず、制御部１１は、時刻ｔ＝０に初期化し（ステップＳ２０１）、ｔを進めてｔ＝ｔ＋１とする（ステップＳ２０３）。制御部１１は、測定データから時刻ｔにおける鍵位置測定値ＫＰｍ（ｔ）および時刻ｔにおけるハンマ位置測定値ＨＰｍ（ｔ）を読み出す（ステップＳ２０５）。このとき、ＫＰｍ（ｔ）が最後のデータを越えて測定データが終了している場合（ステップＳ２０７；Ｙｅｓ）には、制御部１１は描画処理を終了する。一方、測定データが終了いていない場合（ステップＳ２０７；Ｎｏ）には、制御部１１は、ＫＰｍ（ｔ）＝０（鍵がレスト位置）であるか判定する（ステップＳ２１１）。ＫＰｍ（ｔ）＝０である場合（ステップＳ２１１；Ｙｅｓ）には、制御部１１は、ステップＳ２０３に戻って処理を進める。
　ＫＰｍ（ｔ）＝０でない場合（ステップＳ２１１；Ｎｏ）には、制御部１１は、対象の鍵に対応する領域ＢＮのうち時刻ｔに対応した位置に、ＫＰｍ（ｔ）およびＨＰｍ（ｔ）を描画する（ステップＳ２１３）する。制御部１１は、時刻ｔを進めてｔ＝ｔ＋１とする（ステップＳ２１５）。制御部１１は、測定データから鍵位置測定値ＫＰｍ（ｔ）およびハンマ位置測定値ＨＰｍ（ｔ）を読み出す（ステップＳ２１７）。このとき、ＫＰｍ（ｔ）が最後のデータを越えて測定データが終了している場合（ステップＳ２１９；Ｙｅｓ）には、制御部１１は描画処理を終了する。一方、測定データが終了していない場合（ステップＳ２１９；Ｎｏ）には、制御部１１は、ＫＰｍ（ｔ）＝０であるか判定する（ステップＳ２２１）。ＫＰｍ（ｔ）＝０でない場合（ステップＳ２２１；Ｎｏ）には、制御部１１は、保持時間ｔｃ＝０として（ステップＳ２２３）、ステップＳ２１３に戻って処理を進める。この処理の繰り返しにより鍵位置画像ＫＰおよびハンマ位置画像ＨＰが描画されていく。
　ＫＰｍ（ｔ）＝０である場合（ステップＳ２２１；Ｙｅｓ）には、制御部１１は、ｔｃを進めてｔｃ＝ｔｃ＋１とし（ステップＳ２２５）、ｔｃ＝ＨＴであるか判定する（ステップＳ２２７）。このＨＴは、図７において説明した一定時間ＨＴに対応する。ｔｃ＝ＨＴでない場合（ステップＳ２２７；Ｎｏ）には、制御部１１は、ステップＳ２１３に戻って処理を進める。ｔｃ＝ＨＴである場合（ステップＳ２２７；Ｙｅｓ）には、制御部１１は、ｔｃ＝０に初期化して（ステップＳ２２９）、ステップＳ２０３に戻って処理を進める。このようにすることで、ｔｃ＝ＨＴに達するまで、ＫＰｍ（ｔ）＝０が続いた場合には、次にＫＰｍ（ｔ）＝０ではない状態になるまで、すなわち次に押鍵されるまで、鍵位置画像ＫＰおよびハンマ位置画像ＨＰの描画が停止されることになる。すなわち、鍵位置測定値およびハンマ位置測定値は、時間軸上の一部が抽出され、鍵位置画像ＫＰおよびハンマ位置画像ＨＰとして演奏結果領域７００に表示されることになる。以上が、描画処理の説明である。
　なお、このような描画処理をしているため、ユーザが１度目の押鍵をし、その後に離鍵してからすぐに２度目の押鍵した場合、１度目の押鍵と２度目の押鍵とが、１つの鍵挙動画像７７０（鍵位置画像ＫＰおよびハンマ位置画像ＨＰ）としてまとめられる場合がある。この場合、押鍵期間は２つの期間として存在するため、１つの鍵挙動画像７７０において、鍵位置画像ＫＰおよびハンマ位置画像ＨＰはそれぞれ１つであるが、帯状画像ＣＤは２つ存在することになる。例えば、鍵を連打する奏法の場合、１つの鍵挙動画像７７０に多くの帯状画像ＣＤが存在することになる。
［５．分析支援の内容］
　上述した分析支援装置１によれば、分析支援画面（特に、演奏結果領域７００）において、ユーザに対して、以下のような分析支援を提供することができる。
（１）鍵位置画像ＫＰおよびハンマ位置画像ＨＰによれば、音高が離れた鍵を用いた演奏（押鍵操作）があったときに、同一時間軸上に表示されているため、互いの鍵に対する押鍵操作の詳細を比較しやすい。例えば、メロディと伴奏とにおいて、どのようなタイミングで押鍵しているか、比較がしやすい。
（２）鍵位置画像ＫＰおよびハンマ位置画像ＨＰによれば、鍵の動きと鍵に連動するハンマの動きとの関連を確認しやすい。これによって、押鍵の方法（押下量の大小、強弱、連打など）に対するハンマの挙動の相関を容易に確認することができる。
（３）ペダル挙動画像７３０によれば、複数の鍵に対応する領域ＢＮに拡がって表示されているため、いずれの音高の鍵であっても鍵位置画像ＫＰとの関係によって、押鍵タイミングとペダルを踏み込んだときのタイミングの時間軸上の位置関係を確認しやすい。このとき、音信号を再生することで、さらに音の濁り具合も併せて確認することができる。
（４）同じようなフレーズにおいて押鍵の方法に同じような傾向があるか、同じ指で押鍵するときに特定の癖があるか等を確認しやすい。このとき、楽譜領域８００における表示を確認することで、同じようなフレーズがある部分を容易に確認することもできる。
＜変形例＞
　以上、本発明の一実施形態について説明したが、本発明の一実施形態は、以下のように様々な形態に変形することもできる。また、以下に説明する変形例は互いに組み合わせて適用することもできる。
（１）上述した実施形態における演奏結果領域７００において、録音装置４０から取得した音信号の波形を示す画像（または波形を加工した画像）を、同一時間軸上に表示してもよい。
（２）上述した実施形態における演奏結果領域７００において、ペダル挙動画像７３０は表示されなくてもよい。
（３）上述した実施形態における演奏結果領域７００において、鍵挙動画像７７０は表示されなくてもよい。この場合には、ペダル挙動画像７３０が表示される領域には、従来技術のようなピアノロール表示、すなわち、各鍵に対して押鍵期間を示す画像が表示されていてもよい。
（４）上述した実施形態において、帯状画像ＣＤには、オンベロシティＶｏｎの値およびオフベロシティＶｏｆｆの値が数値で表示されていたが、同様にして、鍵位置画像ＫＰの値、ハンマ位置画像ＨＰの値またはペダル挙動画像７３０の値が表示されてもよい。このとき、測定値が所定の変化をした点を抽出して、その点の測定値が表示されるようにしてもよい。
（５）上述した実施形態において、鍵位置画像ＫＰおよびハンマ位置画像ＨＰは、測定値を領域ＢＮにおける縦方向の位置で示す線状の画像であったが、測定値を色調変化で表した画像（線状または帯状）等、視覚的に測定値の変化を認識できる方法で表された画像であれば、どのような画像であってもよい。
（６）上述した実施形態において、複数の鍵に対応した領域ＢＮに拡がって表示されるペダル挙動画像７３０のような色調変化による画像は、ペダルの挙動に代えて、ホイールコントローラ等の操作子の挙動であってもよい。すなわち、複数の鍵に対応した領域ＢＮに拡がって表示される画像は、音高とは関係のない指示を入力するための操作子の挙動を表すものであれば、ペダルの挙動を表すものに限られない。
（７）上述した実施形態において、ペダル挙動画像７３０は、ペダルの挙動に応じて表示されていたが、ペダルに連動する部材、例えばダンパの挙動を表すものであってもよい。
（８）上述した実施形態では、鍵挙動画像７７０は、鍵位置画像ＫＰ、ハンマ位置画像ＨＰおよび帯状画像ＣＤを含んでいたが、少なくともいずれかを含んでいれば、一部の画像を含んでいなくてもよい。
（９）上述した実施形態において、鍵位置画像ＫＰは鍵の位置に基づいて表示されていたが、速度、加速度などの挙動を示す物理量に基づいて表示されてもよい。ハンマ位置画像ＨＰおよびペダル挙動画像７３０についても同様である。
（１０）上述した実施形態における演奏結果領域７００において、鍵位置画像ＫＰ、ハンマ位置画像ＨＰ、帯状画像ＣＤ、およびペダル挙動画像７３０のうち少なくとも２つの関係が所定の条件を満たしている場合に、条件を満たした関係に対応する位置に所定の画像を表示するようにしてもよい。
（１１）上述した実施形態における分析支援機能１０は、少なくともデータ取得部１０１および表示データ生成部１０５を有していれば、他の構成を有していなくてもよい。
１…分析支援装置、１０…分析支援機能、１１…制御部、１３…記憶部、１５…操作部、１７…表示部、１９…インターフェイス、３０…測定装置、３２…鍵位置測定部、３３…ペダル位置測定部、３４…ハンマ位置測定部、３５…データ出力装置、４０…録音装置、５０…ピアノ、５２…鍵、５３…ペダル、５４…ハンマ、５５…弦、５８…ダンパ、１０１…データ取得部、１０３…特定部、１０５…表示データ生成部、１１１…再生位置指定部、１１３…再生部、１２１…楽譜取得部、３５１…データ生成部、３５３…インターフェイス、７００…演奏結果領域、７１０…鍵盤画像、７３０…ペダル挙動画像、７５０…指示画像、７７０…鍵挙動画像、８００…楽譜領域、８５０…指示画像、９００…制御アイコン領域

Claims (3)

  1. 　操作子の挙動を示す測定値を時系列に示す測定データを取得する取得部と、
    　前記測定データに基づいて、複数の鍵の動きに関連する情報を同一の時間軸に沿って表示する画面を示す表示データであって、前記時間軸に沿って複数の鍵に対応した領域の色調変化により前記測定値を表示するための表示データを生成するデータ生成部と、
    　を備えるデータ生成装置。
  2. 　前記操作子の挙動は、ペダルまたは当該ペダルに連動する部材の挙動を含む、請求項１に記載のデータ生成装置。
  3. 　操作子の挙動を示す測定値を時系列に示す測定データを取得し、
    　前記測定データに基づいて、複数の鍵の動きに関連する情報を同一の時間軸に沿って表示する画面を示す表示データであって、前記時間軸に沿って複数の鍵に対応した領域の色調変化により前記測定値を表示するための表示データを生成すること、
    　をコンピュータに実行させるためのプログラム。
PCT/JP2017/040133 2017-11-07 2017-11-07 データ生成装置およびプログラム WO2019092793A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/040133 WO2019092793A1 (ja) 2017-11-07 2017-11-07 データ生成装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/040133 WO2019092793A1 (ja) 2017-11-07 2017-11-07 データ生成装置およびプログラム

Publications (1)

Publication Number Publication Date
WO2019092793A1 true WO2019092793A1 (ja) 2019-05-16

Family

ID=66438788

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/040133 WO2019092793A1 (ja) 2017-11-07 2017-11-07 データ生成装置およびプログラム

Country Status (1)

Country Link
WO (1) WO2019092793A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55121470A (en) * 1979-03-13 1980-09-18 Nippon Musical Instruments Mfg Mass playing lesson device
JP2004029143A (ja) * 2002-06-21 2004-01-29 Yamaha Corp 再生性能評価装置、楽器及び鍵盤楽器
JP2005265903A (ja) * 2004-03-16 2005-09-29 Yamaha Corp 鍵盤楽器
JP2007256871A (ja) * 2006-03-27 2007-10-04 Yamaha Corp 楽器のペダル操作表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55121470A (en) * 1979-03-13 1980-09-18 Nippon Musical Instruments Mfg Mass playing lesson device
JP2004029143A (ja) * 2002-06-21 2004-01-29 Yamaha Corp 再生性能評価装置、楽器及び鍵盤楽器
JP2005265903A (ja) * 2004-03-16 2005-09-29 Yamaha Corp 鍵盤楽器
JP2007256871A (ja) * 2006-03-27 2007-10-04 Yamaha Corp 楽器のペダル操作表示装置

Similar Documents

Publication Publication Date Title
US5005459A (en) Musical tone visualizing apparatus which displays an image of an animated object in accordance with a musical performance
JP5147389B2 (ja) 楽曲提示装置、楽曲提示プログラム、楽曲提示システム、楽曲提示方法
CN111052223B (zh) 播放控制方法、播放控制装置及记录介质
JP6776788B2 (ja) 演奏制御方法、演奏制御装置およびプログラム
US11694665B2 (en) Sound source, keyboard musical instrument, and method for generating sound signal
JP6977741B2 (ja) 情報処理装置、情報処理方法、演奏データ表示システム、およびプログラム
US11430417B2 (en) Data generation device and non-transitory computer-readable storage medium
JP3996565B2 (ja) カラオケ装置
JP4204941B2 (ja) カラオケ装置
JPH11296168A (ja) 演奏情報評価装置、演奏情報評価方法及び記録媒体
JP3599686B2 (ja) カラオケ歌唱時に声域の限界ピッチを検出するカラオケ装置
WO2019092793A1 (ja) データ生成装置およびプログラム
JP4259532B2 (ja) 演奏制御装置、およびプログラム
JP5669646B2 (ja) 演奏評価装置、電子楽器及びプログラム
JP7425558B2 (ja) コード検出装置及びコード検出プログラム
JP2007225916A (ja) オーサリング装置、オーサリング方法およびプログラム
JP4159961B2 (ja) カラオケ装置
JP2005107332A (ja) カラオケ装置
JP7338669B2 (ja) 情報処理装置、情報処理方法、演奏データ表示システム、およびプログラム
JP7107720B2 (ja) 運指表示プログラム
JP4315116B2 (ja) 電子音楽装置
JP2010032809A (ja) 自動演奏装置及び自動演奏用コンピュータ・プログラム
WO2019092780A1 (ja) 評価装置およびプログラム
JP2016057389A (ja) コード決定装置及びコード決定プログラム
JP2005062766A (ja) 自動演奏装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17931441

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17931441

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP