WO2016208002A1 - 表示制御装置、表示制御方法および表示制御プログラム - Google Patents

表示制御装置、表示制御方法および表示制御プログラム Download PDF

Info

Publication number
WO2016208002A1
WO2016208002A1 PCT/JP2015/068187 JP2015068187W WO2016208002A1 WO 2016208002 A1 WO2016208002 A1 WO 2016208002A1 JP 2015068187 W JP2015068187 W JP 2015068187W WO 2016208002 A1 WO2016208002 A1 WO 2016208002A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
music
section
display
stuttering
Prior art date
Application number
PCT/JP2015/068187
Other languages
English (en)
French (fr)
Inventor
四郎 鈴木
孝義 熊倉
利尚 佐飛
Original Assignee
Ｐｉｏｎｅｅｒ ＤＪ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｐｉｏｎｅｅｒ ＤＪ株式会社 filed Critical Ｐｉｏｎｅｅｒ ＤＪ株式会社
Priority to PCT/JP2015/068187 priority Critical patent/WO2016208002A1/ja
Priority to EP15896324.9A priority patent/EP3316251B1/en
Priority to JP2017524496A priority patent/JP6426843B2/ja
Publication of WO2016208002A1 publication Critical patent/WO2016208002A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G10L21/12—Transforming into visible information by displaying time domain information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/54—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for retrieval

Definitions

  • the present invention relates to a display control device, a display control method, and a display control program.
  • the cross fade as described above is one method of mixing performed in the DJ performance.
  • Patent Document 1 only the beat positions of the preceding tune and the succeeding tune are matched, and therefore, a dissonance may occur when both the preceding tune and the subsequent tune are being played. There is. For this reason, it is necessary for the DJ to listen to the music in advance, and to determine in advance a location with good mixing compatibility that does not generate dissonance, and this preparation is troublesome.
  • An object of the present invention is to provide a display control device, a display control method, and a display control program that can support good music mixing.
  • the invention according to claim 1 includes a stuttering detection unit that detects stuttering components of a plurality of music pieces, and a display control unit that displays a detection result of the stuttering detection unit on a display unit, wherein the display control unit includes: A result display unit that displays the detection result in association with time information of each of the plurality of songs, a selection detection unit that detects a selection operation of a predetermined section of one of the plurality of songs, and the selected A display control device comprising: a display changing unit that changes a display state of the detection result other than the first piece of music according to the detection result of the stuttering component in the section.
  • the invention according to claim 6 is a display control method in which the display control device displays information related to the sound component of the music on the display unit, and the display control device detects the stuttering component of the plurality of music.
  • a result display step of displaying the detection result of the stuttering detection step in association with time information of each of the plurality of pieces of music on the display unit, and a selection operation of a predetermined section of one piece of music among the plurality of pieces of music A selection detecting step for detecting, and a display changing step for changing a display state of the detection result other than the first piece of music according to a detection result of the stuttering component in the selected section. Display control method.
  • the invention according to claim 7 is a display control program characterized by causing a display control apparatus to execute the display control method according to claim 6.
  • FIG. 1 is a block diagram showing a schematic configuration of a music playback device according to an embodiment of the present invention.
  • the flowchart which shows the music analysis process which a music reproduction apparatus implements.
  • FIG. 5 is a flowchart showing music analysis processing, showing processing following FIG. 4. Explanatory drawing of the detection process of a harmonic structure component.
  • the music playback device 1 is a system for performing DJ performances such as mixing such as crossfading and scratch operation (operation in which the user shifts the playback direction of music back and forth to produce a special sound). It is.
  • a musical tone is a sound that has a harmonic structure composed of a fundamental tone and a harmonic, and that can feel the pitch.
  • a roaring sound is a sound other than a musical sound, that is, a sound that does not have a harmonic structure, and is a sound whose pitch is not felt. Examples of musical sounds include vocal, piano, guitar, and bass sounds. Examples of the roaring sound include drum, percussion, and scratch sounds.
  • the music playback device 1 supports good cross-fading of the music so that the above-mentioned dissonance does not occur or the dissonance does not stand out (the dissonance is generated so that the user does not feel discomfort).
  • the music reproducing device 1 includes a first storage unit 2, a second storage unit 3, an operation unit 4, a display unit 5, a sound processing device 6, and a display control device 7.
  • the first storage unit 2 stores music data 21 and the like.
  • the music data 21 may be stored in an external device or an external server that can communicate with the audio processing device 6 and the display control device 7.
  • storage part 3 memorize
  • the operation unit 4 includes a keyboard, a mouse, a touch panel, etc. (not shown).
  • the display unit 5 is configured by a liquid crystal display or the like.
  • the sound processing device 6 performs signal processing such as cross-fade processing on the music data 21 stored in the first storage unit 2 based on an operation of a jog dial or a pitch controller (not shown), and the processed sound signal is sounded. Output to the output unit 8.
  • the display control device 7 includes a stuttering detection unit 71, a display control unit 72, a first memory 73, and a second memory 74.
  • the noise detection unit 71 and the display control unit 72 are configured by a CPU (Central Processing Unit) processing a display control program and data stored in the second storage unit 3.
  • CPU Central Processing Unit
  • the stuttering detection unit 71 detects a stuttering component and a musical tone component included in each of a plurality of music pieces.
  • the stuttering detecting unit 71 includes a section dividing unit 711, a component detecting unit 712, a ratio calculating unit 713, and a section attribute determining unit 714.
  • the section dividing unit 711 acquires the music data 21 from the first storage unit 2 based on the operation of the operation unit 4.
  • the section dividing unit 711 divides the music data 21 by a predetermined unit and takes in the section data.
  • the configuration in which the music data 21 is divided in units of measures is exemplified.
  • the music data 21 may be divided in units of beats, or development of music may be analyzed in advance and divided in units of development.
  • the component detection unit 712 detects a stuttering component included in each section of the music based on the section data captured by the section division unit 711.
  • the ratio calculation unit 713 calculates the ratio at which the stuttering component is included in each section based on the detection result of the component detection unit 712, and stores the calculation result in the first memory 73.
  • the section attribute determination unit 714 determines whether each section is a stuttering section or a musical sound section based on the calculation result of the ratio calculation unit 713, and stores the determination result in the second memory 74.
  • the display control unit 72 causes the display unit 5 to display the detection result of the stuttering detection unit 71.
  • the display control unit 72 includes a result display unit 721, a selection detection unit 722, and a display change unit 723.
  • the result display unit 721 displays the detection result of the stuttering detection unit 71 on the display unit 5 in association with the time information of the preceding music and the subsequent music. Specifically, as shown in FIG. 3A, the result display unit 721 causes the display unit 5 to display the preceding music information 50 related to the preceding music and the subsequent music information 55 related to the subsequent music.
  • the preceding music information 50 includes a waveform 501 of the preceding music and sound component information 502 of the preceding music.
  • the sound component information 502 includes a plurality of section bars 503, and represents that the right section is reproduced after the section corresponding to the left section bar 503 in FIG. 3A.
  • the result display unit 721 sets the color of the section bar 503 according to the detection result of the stuttering detection unit 71.
  • the succeeding music information 55 has the same configuration as the preceding music information 50, and includes a waveform 551 and sound component information 552 composed of a plurality of section bars 553.
  • the selection detection unit 722 detects a selection operation at an arbitrary position in the time information of the preceding music by the operation unit 4. When the selection determination operation is performed in a state where the cursor CR is displayed on the predetermined section bar 503 of the preceding music information 50 as shown by a two-dot chain line in FIG. 3A, the selection detection unit 722 performs the section bar 503. It is detected that the section is selected.
  • the display changing unit 723 changes the display state of the detection result of the subsequent music according to the detection result of the stuttering component in the selected section. Based on the compatibility setting table stored in the second storage unit 3 and the data stored in the first memory 73 and the second memory 74, the display change unit 723 determines whether the selected section and each section of the succeeding song are Set the compatibility. As shown in FIG. 3B, the display change unit 723 displays the compatibility information 554 indicating the degree of compatibility above the section bar 553 corresponding to each section. The display change unit 723 displays stuttering ratio information 555 indicating the ratio of stuttering components below the section bar 553. Note that the display positions of the compatibility information 554 and the stuttering ratio information 555 are not limited to the positions described above, and may be other positions as long as the information can be recognized as information corresponding to each section.
  • the music analysis process will be described with reference to FIGS.
  • the section dividing unit 711 of the display control device 7 detects a music analysis processing start operation for a predetermined music based on the operation of the operation unit 4 by the user
  • the music data 21 of the music is obtained. Obtained from the first storage unit 2 (step S1).
  • the section division unit 711 sets the section number M to 1 (step S2), and takes in section data for the Mth one bar (step S3).
  • the component detection unit 712 analyzes the section data and measures the power spectrum as shown in FIG. 6 (step S4).
  • the power spectrum is a result of the component detector 712 obtaining the intensity of each frequency every predetermined time (for example, every 0.1 seconds) and averaging the obtained intensity for each frequency.
  • the power spectrum measures the intensity of 4 octaves for each of the 12 floor names (Do, Ray, Les, Mi, Mi, Fa, So, So, La, La, Shi, Shi). It is the result.
  • the power spectrum represents the sound of one floor name for each of a plurality of power spectrums arranged continuously in the horizontal axis direction.
  • the leftmost power spectrum represents the fundamental sound, for example, when the sound corresponding to one floor name is composed of four power spectra.
  • the second, third, and fourth power spectrums from the left represent sounds (1, 2, 4, and 8th harmonics) that are 1, 2, and 4 octaves above the fundamental tone.
  • the ratio calculation unit 713 adds up all the power spectra measured by the component detection unit 712 to calculate the total sound component amount (Psa) (step S ⁇ b> 5). Then, the component detector 712 detects a harmonic structure component (Pgr), that is, a musical tone component from the power spectrum (step S6). Specifically, the component detection unit 712 has two or more power spectra out of four power spectrums constituting a sound of one floor name, that is, two or more octaves. If the sound component is composed of the sound, the sound component of the floor name is determined to be a harmonic structure component.
  • the component detection unit 712 determines that the sound component of the floor name is not a harmonic structure component when the power spectrum equal to or higher than the musical sound authorization threshold Lm is 1 or 0. For example, in the case of a power spectrum as shown in FIG. 6, the component detection unit 712 has two power spectra of “do”, “mi”, and “fa” because the two power spectra are equal to or higher than the musical sound recognition threshold Lm. It is determined that the component is a harmonic structure component, and the other sound components are determined not to be a harmonic structure component.
  • a dissonance tends to be generated, so it is not preferable to present to the user that the cross-fade of this combination is good.
  • it is a musical sound, but the rap (one of the singing methods, singing to rhythmically speaking without adding much melody and rhyme at the end of a measure) etc.
  • rap one of the singing methods, singing to rhythmically speaking without adding much melody and rhyme at the end of a measure
  • dissonance is less likely to occur even when cross-fading with other musical tones. Therefore, in the present embodiment, a musical sound such as a lap in which the same pitch is repeated is regarded as a stuttering sound and presented to the user as a sound that is unlikely to generate a dissonance even if crossfade with other musical sounds.
  • the processes of S7 and S8 are performed.
  • the component detection unit 712 detects the same pitch repeat component (Pgrex) in the harmonic structure component detected in step S6 (step S7). Specifically, the component detection unit 712 has the same component as the harmonic structure component detected in step S6 continuously in a plurality of sections (for example, four or more sections) including the section in which the harmonic structure component is detected. If detected, it is determined that the harmonic structure component is a repetitive component. For example, as shown in FIG. 7, when a power spectrum of four consecutive sections (M-3, M-2, M-1, and Mth sections) is detected, “do”, “mi”, “ Since the harmonic structure component of “F” is included in all of the four sections, it is determined that the harmonic structure component is a repetitive component of the same pitch. By the processing in step S7, a musical sound component that can be regarded as a stuttering component is detected.
  • Pgrex pitch repeat component
  • the ratio calculation unit 713 subtracts the repetitive component (Pgrex) having the same pitch from the harmonic structure component (Pgr). Then, the ratio calculation unit 713 adds up the power spectrums constituting the harmonic structure components after the subtraction, and calculates the musical sound component amount (Pss) (step S8). For example, when there are four harmonic structure components (16 spectrums) and three (12 spectra) are repetitive components, the ratio calculation unit 713 has one harmonic structure component (4 The power spectrum is summed up for the spectrum of the book. By the processing in step S8, the tone component amount is calculated by removing the tone component that can be regarded as a stutter component from the power spectrum that is regarded as a tone component from the viewpoint of the component structure.
  • the ratio calculation unit 713 performs a calculation process of the stuttering component ratio (Rs) based on the following formula (1) (step S9), and the total amount of the sound component and the stuttering component ratio are calculated as the music In association with the section number M, it is stored in the first memory 73 (step S10).
  • Rs (%) (1 ⁇ tone component amount / total tone component amount) ⁇ 100 (1)
  • the section attribute determination unit 714 determines whether or not the stuttering component ratio is equal to or greater than a stuttering recognition threshold (for example, 51%) as a threshold (step S11).
  • the section attribute determination unit 714 determines that the condition of step S11 is satisfied, the section attribute determination unit 714 identifies the Mth section as a stuttering section, and stores the stuttering section flag in association with the music piece and the section number M in the second memory 74. (Step S12). On the other hand, if the section attribute determination unit 714 determines that the condition of step S11 is not satisfied, the section attribute determination unit 714 associates the musical sound section flag indicating the musical sound section with the music and the section number M and stores them in the second memory 74 (step S13). .
  • step S12 the section attribute determination unit 714 performs step S12 or step S13
  • the section division unit 711 adds 1 to the section number M (step S14). Then, the section attribute determination unit 714 determines whether or not the analysis of the last section of the music has ended (step S15). If the section attribute determination unit 714 has not ended, the process of step S3 is performed. The music analysis process ends.
  • the harmonic structure component in the latest section is regarded as a sound component, and the ratio of the sound component is calculated.
  • the harmonic structure components in the three sections before the latest section can be regarded as a stuttering component
  • the same harmonic structure components are continued in four sections in the processing for each of the three sections.
  • the ratio of the stuttering component is calculated without being regarded as a stuttering component.
  • the harmonic structure component in the three sections is regarded as a stuttering component, the stuttering component ratio is recalculated, the data in the first memory 73 is updated, and the second calculation is performed based on the recalculation result of the stuttering component ratio.
  • Each section flag in the memory 74 may be updated.
  • FIG. 8 The music information display process is performed after the music analysis process for a plurality of music.
  • the user operates the operation unit 4 to select a preceding tune and a subsequent tune to be crossfade.
  • the result display unit 721 of the display control device 7 detects the selection operation of the preceding song and the succeeding song (steps S21 and S22)
  • the song data 21 of the preceding song and the succeeding song is stored in the first storage unit. 2 (step S23).
  • a case will be described in which one preceding song and one following song are selected, but the same processing is performed when two or more songs are selected.
  • the result display unit 721 displays the total sound component amount, the stutter component ratio, and each section flag (stuttering section flag or musical section section flag) of each section of the preceding music and the following music, in the first memory 73 and the second memory 74. (Step S24). Thereafter, the result display unit 721 displays the preceding song information 50 and the subsequent song information 55 on the display unit 5 (step S25). At this time, the result display unit 721 may display the preceding song information 50 and the subsequent song information 55 of all the sections of the music at once, or may display a part of the sections, and the rest based on the operation of the operation unit 4. You may make it update to the display of this area.
  • the result display unit 721 displays the waveforms 501 and 551 based on the music data.
  • the result display unit 721 displays the sound component information 502 and 552 based on the total amount of sound components and each section flag.
  • the result display unit 721 sets the color of the section bar 503 of each section constituting the preceding music based on Table 1 below, and the sound component information in which the section bar 503 is arranged in the reproduction order of each section. 502 is displayed below the waveform 501.
  • the result display unit 721 also sets the color of the section bar 553 for the succeeding music and displays the sound component information 552 below the waveform 551.
  • the user can recognize both the attribute of each section (whether it is a stuttering section) and the sound intensity of the entire section by looking at the section bars 503 and 553 in which colors are set based on Table 1. .
  • the user moves the cursor CR by the operation of the operation unit 4 and determines the predetermined music of the preceding music. Select the section as a crossfade candidate section.
  • the selection detection unit 722 detects a selection operation for a predetermined section of the preceding tune (step S26)
  • the display change unit 723 determines whether the selected section and each section of the subsequent tune are based on the compatibility setting table shown in FIG. A degree of compatibility is set (step S27).
  • the display changing unit 723 refers to the compatibility setting table after rounding off the ratio of the stuttering components in the selected section and each section of the succeeding music to a value of 1%, for example. For example, when the stuttering component ratio in the selected section shown in FIG. 3B is 20%, the display changing unit 723 has a compatibility degree of 35 points for sections in which the stuttering component ratio is 30%, 40%, 70%, and 90%. Set to 40 points, 55 points, and 100 points, respectively.
  • the compatibility level setting table when both the preceding music and the subsequent music are in a stuttering section (Rs ⁇ stuttering recognition threshold (51%)), a score (70 points or more) indicating that the compatibility is good is set. Is a musical interval (Rs ⁇ stuttering authorization threshold), a score (less than 70 points) indicating that the compatibility is bad is set.
  • the compatibility level setting table is configured such that when one of the preceding music and the subsequent music is a stuttering section and the other is a musical sound section, a score indicating that the compatibility is good is set.
  • the compatibility of each section of the succeeding music with respect to the selected section of the preceding music is set so that the score increases as the ratio of the stuttering component in each section of the succeeding music increases.
  • the degree of compatibility indicates that the higher the score, the less likely the dissonance is generated and the better the compatibility.
  • the display changing unit 723 displays the stuttering ratio information 555 and the compatibility information 554 of the succeeding music on the display unit 5 as characters (steps S28 and S29), and ends the music information display process. .
  • the sound processing device 6 performs processing based on this combination. For example, the audio processing device 6 ends the reproduction of the preceding music and starts the reproduction of the subsequent music by performing a crossfade between the selection section of the preceding music and the selection music of the subsequent music after starting the reproduction of the preceding music. To start.
  • the fade-out of the preceding song, the fade-in of the succeeding song, or the volume adjustment may be performed based on the operation of the jog dial or the like by the user. You may go to Further, when the user performs an operation for setting a section in which the preceding music is crossfade using the operation unit 4, the sound processing device 6 detects the setting operation and sets the section as a crossfade section. In addition, among the sections of the subsequent music, a section having a good crossfade compatibility with the set section of the preceding music may be set as a crossfade section, and a section having a bad compatibility may not be set.
  • the audio processing device 6 can set the stuttering section of the subsequent music as a crossfade section based on the section flag in the second memory 74 and also set the musical sound section. It may be impossible to set.
  • the audio processing device 6 may be able to set all the sections of the subsequent music as a crossfade section.
  • the display control device 7 detects the stuttering component of a plurality of music pieces and displays the detection result on the display unit 5 in association with the time information of each of the plurality of music pieces. And if the display control apparatus 7 detects selection operation of the predetermined area in one music (preceding music) among several music, according to the detection result of the stuttering component of this predetermined area, another music (following music) Change the display status of the detection results. For this reason, the user can easily recognize a section having good compatibility with the selection section of the preceding music and the crossfade (mixing) based on the display state of the detection result regarding the subsequent music.
  • the display control device 7 that can support crossfading of good music.
  • the section time 503 and 553 are used to represent the time information of the music, for example, compared to a configuration in which time information is represented using only characters such as “section 1”, the user The detection result of stuttering in the time information can be grasped intuitively.
  • the display control apparatus 7 displays the compatibility information 554 showing the compatibility of the crossfade with the selection section of the preceding music as a process of changing the display state of the detection result of the subsequent music. Therefore, the user can easily recognize the compatibility of the crossfade by looking at the compatibility information 554.
  • the compatibility information 554 is displayed in characters, so that the user can more easily recognize the compatibility of the crossfade as compared with the configuration in which the compatibility information 554 is displayed in a color other than characters. .
  • the compatibility information 554 indicating that the crossfade of the subsequent music selection section and the selection section has good compatibility is displayed.
  • the compatibility information 554 indicating that the crossfade compatibility between the entire section of the succeeding music and the selected section is good is displayed. For this reason, the user can more easily recognize the compatibility of the crossfade by looking at the compatibility information 554 indicating the section with good compatibility.
  • the display control device 7 displays the compatibility information 554 at a position that does not overlap with the sound component information 552. For this reason, the user can more easily recognize the compatibility of the crossfade as compared with the configuration in which the sound component information 552 and the compatibility information 554 are displayed so as to overlap each other, for example, the compatibility information 554 is displayed in the section bar 553. be able to.
  • the result display unit 721 displays the sound component information 502 and 552 representing both the attribute of each section and the sound intensity, but as shown in FIG.
  • the sound component information 502A and 552A representing the sound intensity separately may be displayed on the display unit 5.
  • the sound component information 502A includes stuttering ratio information 505A composed of a plurality of section bars 506A and sound intensity information 507A composed of a plurality of section bars 508A.
  • the sound component information 552A has the same configuration as the sound component information 502A, and includes stuttering ratio information 555A and sound intensity information 557A each composed of a plurality of section bars 556A and section bars 558A.
  • the stuttering ratio information 505A and 555A represents the stuttering component ratio of the section.
  • the section bars 506A and 556A of the noise ratio information 505A and 555A are blue when the noise component ratio is less than 25%, light blue when the ratio is 25% or more and less than 50%, orange when it is 50% or more and less than 75%, and 75%. If it is above, it is displayed in red.
  • the sound intensity information 507A and 557A represents the sound intensity of the section.
  • the section bars 508A and 558A of the sound intensity information 507A and 557A are green if the total amount of sound components is less than the first intensity threshold, light green if the total amount of sound components is less than the first intensity threshold, and the second intensity threshold. As described above, if it is less than the third intensity threshold, it is displayed in yellow green, and if it is greater than or equal to the third intensity threshold, it is displayed in yellow. Note that the sound intensity information 507A and 557A may not be displayed.
  • the display change unit 723 displays the predetermined section and each section of the subsequent music, as in the above embodiment.
  • the compatibility information 554 is displayed as shown in FIG. 9B.
  • the user can select a section in which dissonance is less likely to occur as a section to be crossfade.
  • the sound intensity information 507A and 557A representing only the sound intensity is displayed at a position different from the sound ratio information 505A and 555A, the user can recognize the sound ratio and sound intensity of each section independently. it can.
  • the display change unit 723 may display the compatibility information 554B instead of the sound component information 552A as shown in FIG. .
  • the compatibility information 554B includes a plurality of section bars 559B.
  • the interval bar 559B is black if the compatibility is 0 point or 10 points, gray if it is 20 points or more and 50 points or less, light gray if it is 60 points or more and 80 points or less, white if it is 90 points or 100 points. Is displayed.
  • the colors of the section bars 503, 553, 506A, 556A, and 559B shown in FIGS. 3A, 9A, and 10 may be other colors, and the threshold for setting the color is not limited to the above-described values. Other values may be used.
  • the result display unit 721 and the display change unit 723 set the color of the waveforms 501 and 551 corresponding to each section, the color of the frame surrounding the waveforms 501 and 551, or the color in the frame to a predetermined color.
  • the sound ratio (detection result), sound intensity, or compatibility may be expressed.
  • the result display unit 721 and the display change unit 723 express the stuttering ratio (detection result), sound intensity, or degree of compatibility with the size and blinking state of the section bars 503, 553, 506A, 556A, 559B and the compatibility information 554, 554B. May be.
  • the result display unit 721 and the display change unit 723 may represent the stuttering ratio or the intensity or compatibility of the sound with a figure such as a circle or a triangle, or “(the stuttering component ratio is high)”, “strong sound”, It may be expressed by characters such as “(compatibility) is good”.
  • the result display unit 721 and the display change unit 723 represent the time information of the music with section bars 503, 553, 506A, 556A, and 559B.
  • section 1 or “playback time 1 minute 0 seconds to 1 minute 5 seconds” It may be expressed by characters such as “no section”.
  • the stuttering ratio and the intensity or compatibility of the sound may be displayed on the top and bottom or left and right of the character representing the time information, or the stuttering ratio and sound may be set by setting the color and size of the character representing the time information.
  • the strength or compatibility may be expressed.
  • the result display unit 721 and the display change unit 723 may display the sound component information and compatibility information of the selected two or more songs at a time when at least one of the preceding and subsequent songs is selected. Good.
  • the result display unit 721 and the display change unit 723 may use a plurality of display units to display information on the preceding song on one side and information on the subsequent song on the other side.
  • the display changing unit 723 may display the sound component information of the music and the compatibility information so as to overlap each other, for example, by displaying a character indicating the degree of compatibility in the section bar 553 of FIG. 3A.
  • the display changing unit 723 may display only the compatibility information 554 related to the stuttering section of the subsequent music and may not display the compatibility information 554 related to the musical sound section. That is, the display change unit 723 may display the compatibility information 554 only for a section having a good crossfading compatibility with the selected section.
  • the display change unit 723 displays only the compatibility information 554 related to the musical tone section of the subsequent music, and does not display the compatibility information 554 related to the stuttering section, and the selection section is a stuttering section.
  • the compatibility information 554 regarding all sections of the succeeding music may not be displayed. That is, the display change unit 723 may display the compatibility information 554 only for a section where the selected section and the crossfade are not compatible.
  • the display changing unit 723 may display compatibility information of the preceding music when a predetermined section of the subsequent music is selected.
  • the component detection unit 712 continuously acquires the music data 21 from the first storage unit 2 without providing the section division unit 711 in the stuttering detection unit 71, and the music data acquired so far every predetermined time You may perform the process of step S4, S6, S7 with respect to unanalyzed data.
  • the display control device of the present invention may be applied to products other than DJ equipment such as a music player as described in Patent Document 1.
  • DESCRIPTION OF SYMBOLS 7 ... Display control apparatus, 71 ... Stuttering detection part, 72 ... Display control part, 552 ... Sound component information, 554, 554B ... Compatibility information, 712 ... Component detection part, 713 ... Ratio calculation part, 721 ... Result display part, 722 ... Selection detection unit, 723 ... Display change unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

　表示制御装置（７）は、複数の楽曲の噪音成分を検出する噪音検出部（７１）と、噪音検出部（７１）の検出結果を表示部（５）に表示させる表示制御部（７２）と、を備え、表示制御部（７２）は、噪音成分の検出結果を複数の楽曲のそれぞれの時間情報と関連付けて表示させる結果表示部（７２１）と、複数の楽曲のうち１の楽曲の所定区間の選択操作を検出する選択検出部（７２２）と、選択された区間における噪音成分の検出結果に応じ、１の楽曲以外の検出結果の表示状態を変更する表示変更部（７２３）とを備えている。

Description

表示制御装置、表示制御方法および表示制御プログラム
　本発明は、表示制御装置、表示制御方法および表示制御プログラムに関する。
　従来、再生中の先行曲を後続曲に切り替える構成が知られている（例えば、特許文献１参照）。
　この特許文献１に記載の構成では、音楽プレーヤが先行曲から後続曲にクロスフェードさせて切り換える場合、先行曲のフェードアウトを開始する位置の直前の拍位置Ｘを取得するとともに、後続曲のフェードインを完了する位置の直後の拍位置Ｙを取得する。そして、音楽プレーヤは、拍位置Ｘと拍位置Ｙとが一致するように、先行曲の再生中に後続曲の再生開始を前倒しで行うことで、ユーザが曲のリズムに乗って運動等を行っているときでも、その運動等のリズムを崩さずに、曲を切り換えて再生することができる。
特開２００８－２４２２８７号公報
　ところで、上述のようなクロスフェードは、ＤＪパフォーマンスにおいて行われるミキシングの一手法であり、この場合、特許文献１に記載のような処理を用いることが考えられる。
　しかしながら、特許文献１に記載のような処理では、先行曲と後続曲の拍位置を一致させるだけのため、先行曲と後続曲との両方が再生されているときに不協和音が発生してしまうおそれがある。このため、ＤＪが事前に楽曲を聴き、不協和音が発生せずミキシングの相性が良い箇所を予め決定しておく必要があり、この事前準備が煩わしい。
　本発明は、良好な楽曲のミキシングを支援可能な表示制御装置、表示制御方法および表示制御プログラムを提供することを１つの目的とする。
　請求項１に記載の発明は、複数の楽曲の噪音成分を検出する噪音検出部と、前記噪音検出部の検出結果を表示部に表示させる表示制御部と、を備え、前記表示制御部は、前記検出結果を前記複数の楽曲のそれぞれの時間情報と関連付けて表示させる結果表示部と、前記複数の楽曲のうち１の楽曲の所定区間の選択操作を検出する選択検出部と、前記選択された区間における前記噪音成分の検出結果に応じ、前記１の楽曲以外の前記検出結果の表示状態を変更する表示変更部と、を備えていることを特徴とする表示制御装置である。
　請求項６に記載の発明は、表示制御装置が、楽曲の音成分に関する情報を表示部に表示させる表示制御方法であって、前記表示制御装置が、複数の楽曲の噪音成分を検出する噪音検出ステップと、前記噪音検出ステップの検出結果を前記複数の楽曲のそれぞれの時間情報と関連付けて前記表示部に表示させる結果表示ステップと、前記複数の楽曲のうち１の楽曲の所定区間の選択操作を検出する選択検出ステップと、前記選択された区間における前記噪音成分の検出結果に応じて、前記１の楽曲以外の前記検出結果の表示状態を変更する表示変更ステップと、を実行することを特徴とする表示制御方法である。
　請求項７に記載の発明は、請求項６に記載の表示制御方法を表示制御装置に実行させることを特徴とする表示制御プログラムである。
本発明の一実施形態に係る楽曲再生装置の概略構成を示すブロック図。 相性度設定テーブルを示す図。 噪音検出結果の表示画面を表す模式図であり、先行曲の所定区間の選択操作が行われる前の状態を示す。 噪音検出結果の表示画面を表す模式図であり、先行曲の所定区間の選択操作が行われた後の状態を示す。 楽曲再生装置が実施する楽曲解析処理を示すフローチャート。 楽曲解析処理を示すフローチャートであり、図４に続く処理を示す。 調波構造成分の検出処理の説明図。 調波構造成分の同音高の繰り返し成分の検出処理の説明図。 楽曲再生装置が実施する楽曲情報表示処理を示すフローチャート。 本発明の変形例に係る噪音検出結果の表示画面を表す模式図であり、先行曲の所定区間の選択操作が行われる前の状態を示す。 図９Ａに示す状態で先行曲の所定区間の選択操作が行われた後の状態を示す。 図９Ａに示す状態で先行曲の所定区間の選択操作が行われた後の状態を示す。
　本発明の一実施形態について、図面を参照して説明する。
［楽曲再生装置の構成］
　まず、図１、図２、図３Ａおよび図３Ｂに基づいて、本発明の一実施形態に係る楽曲再生装置の構成について説明する。
　図１に示すように、楽曲再生装置１は、クロスフェード等のミキシングや、スクラッチ操作（ユーザが楽曲の再生方向を前後にずらして特殊な音を出す操作）等のＤＪパフォーマンスを行うためのシステムである。
　ここで、噪音と噪音とをクロスフェードする場合、不協和音が発生し難いためクロスフェードの相性が良いことが知られている。また、楽音と楽音とをクロスフェードする場合、不協和音が発生し易いためクロスフェードの相性が悪いことが知られている。なお、楽音とは、基音および倍音で構成された調波構造を有し、音の高さが感じられる音である。噪音とは、楽音以外の音、すなわち調波構造を有さない音であり、音程が感じられない音である。楽音としては、ボーカル、ピアノ、ギター、ベースの音が例示できる。噪音としては、ドラム、パーカッション、スクラッチの音が例示できる。
　楽曲再生装置１は、上述の不協和音が発生しない、あるいは不協和音が目立たないような（ユーザが違和感を覚えない程度の不協和音が発生しているような）、良好な楽曲のクロスフェードを支援する。楽曲再生装置１は、第１記憶部２と、第２記憶部３と、操作部４と、表示部５と、音声処理装置６と、表示制御装置７とを備えている。
　第１記憶部２は、楽曲データ２１等を記憶する。楽曲データ２１は、音声処理装置６および表示制御装置７と通信可能な外部機器または外部サーバー内に記憶されていてもよい。
　第２記憶部３は、表示制御プログラムや、図２に示すような相性度設定テーブル等の表示制御装置７で用いる各種データを記憶する。
　操作部４は、図示しないキーボードやマウスやタッチパネル等により構成されている。
　表示部５は、液晶ディスプレイ等により構成されている。
　音声処理装置６は、図示しないジョグダイヤルやピッチコントローラ等の操作に基づき、第１記憶部２に記憶された楽曲データ２１に対し、クロスフェード処理等の信号処理を行い、処理済みの音声信号を音声出力部８へ出力する。
　表示制御装置７は、噪音検出部７１と、表示制御部７２と、第１メモリ７３と、第２メモリ７４とを備えている。噪音検出部７１および表示制御部７２は、第２記憶部３に記憶された表示制御プログラムおよびデータをＣＰＵ（Central Processing Unit）が処理することにより構成されている。
　噪音検出部７１は、複数の楽曲にそれぞれ含まれる噪音成分および楽音成分を検出する。噪音検出部７１は、区間分割部７１１と、成分検出部７１２と、比率算出部７１３と、区間属性判定部７１４とを備えている。
　区間分割部７１１は、操作部４の操作に基づいて、第１記憶部２から楽曲データ２１を取得する。区間分割部７１１は、楽曲データ２１を所定単位で分割して、区間データを取り込む。本実施形態では、楽曲データ２１を小節単位で分割する構成を例示するが、例えば、拍単位で分割してもよいし、楽曲の展開を事前に分析し、展開単位で分割してもよい。
　成分検出部７１２は、区間分割部７１１で取り込まれた区間データに基づいて、楽曲の各区間に含まれる噪音成分を検出する。
　比率算出部７１３は、成分検出部７１２での検出結果に基づいて、各区間に噪音成分が含まれる比率を算出し、算出結果を第１メモリ７３に保存する。
　区間属性判定部７１４は、比率算出部７１３での算出結果に基づいて、各区間が噪音区間であるか、楽音区間であるかを判定し、判定結果を第２メモリ７４に保存する。
　表示制御部７２は、噪音検出部７１の検出結果を表示部５に表示させる。表示制御部７２は、結果表示部７２１と、選択検出部７２２と、表示変更部７２３とを備えている。
　結果表示部７２１は、噪音検出部７１の検出結果を先行曲および後続曲の時間情報と関連付けて、表示部５に表示させる。具体的には、結果表示部７２１は、図３Ａに示すように、先行曲に関する先行曲情報５０と、後続曲に関する後続曲情報５５とを表示部５に表示させる。
　先行曲情報５０は、先行曲の波形５０１と、先行曲の音成分情報５０２とを備えている。音成分情報５０２は、複数の区間バー５０３から構成されており、図３Ａにおける左側の区間バー５０３に対応する区間の後に右側の区間が再生されることを表している。結果表示部７２１は、区間バー５０３の色を噪音検出部７１での検出結果に応じて設定する。後続曲情報５５は、先行曲情報５０と同様の構成を有し、波形５５１と、複数の区間バー５５３から構成された音成分情報５５２とを備えている。
　選択検出部７２２は、操作部４による先行曲の時間情報における任意の箇所の選択操作を検出する。選択検出部７２２は、図３Ａに二点鎖線で示すように、先行曲情報５０の所定の区間バー５０３上にカーソルＣＲが表示された状態で、選択決定操作がなされると、当該区間バー５０３の区間が選択されたことを検出する。
　表示変更部７２３は、選択された区間における噪音成分の検出結果に応じて、後続曲の検出結果の表示状態を変更する。表示変更部７２３は、第２記憶部３に記憶された相性度設定テーブルと、第１メモリ７３および第２メモリ７４に保存されたデータとに基づいて、選択区間と後続曲の各区間との相性度を設定する。表示変更部７２３は、図３Ｂに示すように、相性度を表す相性情報５５４を各区間に対応する区間バー５５３の上方に表示させる。表示変更部７２３は、噪音成分の比率を表す噪音比率情報５５５を区間バー５５３の下方に表示させる。
　なお、相性情報５５４および噪音比率情報５５５の表示位置は、上述した位置に限らず、各区間に対応する情報であることが分かる位置であれば、他の位置であってもよい。
［楽曲再生装置の作用］
　次に、楽曲再生装置１の作用として、楽曲解析処理および楽曲情報表示処理について説明する。
　まず、図４～図７に基づいて、楽曲解析処理について説明する。
　図４に示すように、表示制御装置７の区間分割部７１１は、ユーザによる操作部４の操作に基づいて、所定の楽曲に対する楽曲解析処理の開始操作を検出すると、この楽曲の楽曲データ２１を第１記憶部２から取得する（ステップＳ１）。この後、区間分割部７１１は、区間番号Ｍを１に設定し（ステップＳ２）、Ｍ番目の１小節分の区間データを取り込む（ステップＳ３）。
　次に、成分検出部７１２は、区間データを解析し、図６に示すようなパワースペクトラムを計測する（ステップＳ４）。パワースペクトラムは、成分検出部７１２が所定時間毎（例えば、０．１秒毎）の各周波数の強度を求め、この求めた強度を周波数毎に平均化した結果である。また、パワースペクトラムは、１２の階名（ド、レ♭、レ、ミ♭、ミ、ファ、ソ♭、ソ、ラ♭、ラ、シ♭、シ)のそれぞれについて４オクターブ分の強度を計測した結果である。また、パワースペクトラムは、横軸方向に連続して並ぶ複数本のパワースペクトラム毎に、１つ階名の音を表している。すなわち、１つの階名の音に対応する複数本のパワースペクトラムのうち、左端のパワースペクトラムが基音を表し、例えば、１つの階名に対応する音が４本のパワースペクトラムで構成される場合、左から２，３，４番目のパワースペクトラムが基音の１，２，４オクターブ上の音（２，４，８倍音）を表している。
　この後、図４に示すように、比率算出部７１３は、成分検出部７１２で計測された全パワースペクトラムを合算し、音成分全体量（Ｐｓａ）を算出する（ステップＳ５）。
　そして、成分検出部７１２は、パワースペクトラムから調波構造成分（Ｐｇｒ）、すなわち楽音成分を検出する（ステップＳ６）。具体的には、成分検出部７１２は、１つの階名の音を構成する４本のパワースペクトラムのうち、２本以上のパワースペクトラムが楽音認定閾値Ｌｍ以上である場合、すなわち２つ以上のオクターブの音で構成されている場合、当該階名の音成分が調波構造成分であると判定する。一方、成分検出部７１２は、楽音認定閾値Ｌｍ以上のパワースペクトラムが１本または０本である場合、当該階名の音成分が調波構造成分でないと判断する。例えば、図６に示すようなパワースペクトラムの場合、成分検出部７１２は、「ド」、「ミ♭」、「ファ」の音成分は、それぞれ２本のパワースペクトラムが楽音認定閾値Ｌｍ以上のため、調波構造成分であると判断し、それ以外の音成分は、調波構造成分でないと判断する。
　ここで、上述のように、楽音同士をクロスフェードすると不協和音が発生し易いことから、この組み合わせのクロスフェードの相性が良いとユーザに提示することは好ましくない。しかし、楽音であるが、同じ音程が繰り返されるラップ（歌唱法の一つであり、小節の終わり等で韻を踏みながら、あまりメロディを付けずに、リズミカルにしゃべるように歌う方法）等は、同じ音程が繰り返されない楽音と比べて、他の楽音とクロスフェードしても不協和音が発生し難い。そこで、本実施形態では、このような同じ音程が繰り返されるラップ等の楽音を噪音と見なし、他の楽音とクロスフェードしても不協和音が発生し難い音としてユーザに提示するために、以下のステップＳ７，Ｓ８の処理を行う。
　図４に示すように、成分検出部７１２は、ステップＳ６で検出した調波構造成分における同音高の繰り返し成分（Ｐｇｒｅｘ）を検出する（ステップＳ７）。具体的には、成分検出部７１２は、ステップＳ６で検出した調波構造成分と同じ成分が、当該調波構造成分を検出した区間を含む複数の区間（例えば、４個以上の区間）で連続して検出された場合、当該調波構造成分が繰り返し成分であると判断する。例えば、図７に示すように、連続する４区間（Ｍ－３，Ｍ－２，Ｍ－１，Ｍ番目の区間）のパワースペクトラムが検出された場合、「ド」、「ミ♭」、「ファ」の調波構造成分が当該４区間の全てに含まれているため、当該調波構造成分が同音高の繰り返し成分であると判断する。
　このステップＳ７の処理により、噪音成分と見なすことができる楽音成分が検出される。
　この後、図４に示すように、比率算出部７１３は、調波構造成分（Ｐｇｒ）から同音高の繰り返し成分（Ｐｇｒｅｘ）を差し引く。そして、比率算出部７１３は、この差し引き後の調波構造成分を構成するパワースペクトラムを合算し、楽音成分量（Ｐｓｓ）を算出する（ステップＳ８）。例えば、調波構造成分が４個（スペクトラムが１６本）あり、そのうち３個（１２本のスペクトラム）が繰り返し成分の場合、比率算出部７１３は、繰り返し成分でない１個の調波構造成分（４本のスペクトラム）について、パワースペクトラムの合算処理を行う。
　このステップＳ８の処理により、成分構造の観点から楽音成分と見なされるパワースペクトルのうち、噪音成分と見なすことができる楽音成分を除いた楽音成分量が算出される。
　次に、図５に示すように、比率算出部７１３は、以下の式（１）に基づき噪音成分比率（Ｒｓ）の算出処理を行い（ステップＳ９）、音成分全体量および噪音成分比率を楽曲および区間番号Ｍと関連付けて、第１メモリ７３に保存する（ステップＳ１０）。
　Ｒｓ（％）＝（１－楽音成分量／音成分全体量）×１００…（１）
　この後、区間属性判定部７１４は、噪音成分比率が閾値としての噪音認定閾値（例えば、５１％）以上か否かを判断する（ステップＳ１１）。そして、区間属性判定部７１４は、ステップＳ１１の条件を満たすと判断した場合、Ｍ番目の区間を噪音区間として識別し、噪音区間フラグを楽曲および区間番号Ｍと関連付けて、第２メモリ７４に保存する（ステップＳ１２）。一方、区間属性判定部７１４は、ステップＳ１１の条件を満たさないと判断した場合、楽音区間を意味する楽音区間フラグを楽曲および区間番号Ｍと関連付けて、第２メモリ７４に保存する（ステップＳ１３）。
　区間属性判定部７１４がステップＳ１２またはステップＳ１３の処理を行った後、区間分割部７１１は、区間番号Ｍに１を加算する（ステップＳ１４）。そして、区間属性判定部７１４は、楽曲の最終区間の解析が終了したか否かを判断し（ステップＳ１５）、終了していない場合、ステップＳ３の処理を行い、終了した場合と判断した場合、楽曲解析処理を終了する。
　なお、上述のように、ステップＳ７～Ｓ９の処理により、同じ調波構造成分が４区間で連続して検出された場合、最新区間の調波構造成分を噪音成分と見なして噪音成分比率を算出する。しかし、上記最新区間より前の３区間の調波構造成分については、噪音成分と見なすことができるにもかかわらず、当該３区間のそれぞれに対する処理において、同じ調波構造成分が４区間で連続して検出されておらず、噪音成分と見なされずに噪音成分比率が算出されている場合がある。この場合、上記３区間における調波構造成分を噪音成分と見なして噪音成分比率を再算出し、第１メモリ７３内のデータを更新するとともに、噪音成分比率の再算出結果に基づいて、第２メモリ７４内の各区間フラグを更新してもよい。
　次に、図３Ａ、図３Ｂおよび図８に基づいて、楽曲情報表示処理について説明する。
　楽曲情報表示処理は、複数の楽曲に対する楽曲解析処理後に行われる。
　まず、ユーザは、操作部４を操作して、クロスフェードする先行曲と後続曲を選択する。図８に示すように、表示制御装置７の結果表示部７２１は、先行曲および後続曲の選択操作を検出すると（ステップＳ２１，Ｓ２２）、先行曲および後続曲の楽曲データ２１を第１記憶部２から取得する（ステップＳ２３）。
　本実施形態では、先行曲と後続曲とがそれぞれ１曲ずつ選択された場合を説明するが、少なくとも一方の曲が２曲以上選択された場合も、同様の処理が行われる。
　また、結果表示部７２１は、先行曲および後続曲の各区間の音成分全体量、噪音成分比率、および各区間フラグ（噪音区間フラグまたは楽音区間フラグ）を、第１メモリ７３、第２メモリ７４からそれぞれ取得する（ステップＳ２４）。この後、結果表示部７２１は、先行曲情報５０および後続曲情報５５を表示部５に表示させる（ステップＳ２５）。このとき、結果表示部７２１は、楽曲の全区間の先行曲情報５０および後続曲情報５５を一度に表示させてもよいし、一部の区間について表示させ、操作部４の操作に基づいて残りの区間の表示に更新するようにしてもよい。
　結果表示部７２１は、楽曲データに基づいて、波形５０１，５５１をそれぞれ表示させる。また、結果表示部７２１は、音成分全体量および各区間フラグに基づいて、音成分情報５０２，５５２を表示させる。具体的には、結果表示部７２１は、以下の表１に基づいて、先行曲を構成する各区間の区間バー５０３の色を設定し、区間バー５０３を各区間の再生順に並べた音成分情報５０２を波形５０１の下側に表示させる。また、結果表示部７２１は、後続曲についても区間バー５５３の色を設定し、音成分情報５５２を波形５５１の下側に表示させる。
　ユーザは、表１に基づき色が設定された区間バー５０３，５５３を見ることで、各区間の属性（噪音区間か否か）と、区間全体の音の強度との両方を認識することができる。
Figure JPOXMLDOC01-appb-T000001
　以上の処理により、図３Ａに示すような先行曲情報５０および後続曲情報５５が表示部５に表示されると、ユーザは、操作部４の操作によりカーソルＣＲを移動させて、先行曲の所定区間をクロスフェード候補の区間として選択する。
　選択検出部７２２が先行曲の所定区間の選択操作を検出すると（ステップＳ２６）、表示変更部７２３は、図２に示す相性度設定テーブルに基づいて、当該選択区間と後続曲の各区間との相性度を設定する（ステップＳ２７）。このとき、表示変更部７２３は、選択区間および後続曲の各区間の噪音成分比率を、例えば四捨五入して１％単位の値にしてから、相性度設定テーブルを参照する。例えば、表示変更部７２３は、図３Ｂに示す選択区間の噪音成分比率が２０％の場合、噪音成分比率が３０％、４０％、７０％、９０％の区間に対し、相性度を３５点、４０点、５５点、１００点にそれぞれ設定する。
　なお、相性度設定テーブルは、先行曲および後続曲の両方が噪音区間（Ｒｓ≧噪音認定閾値（５１％））の場合、相性度が良いことを表す点数（７０点以上）が設定され、両方が楽音区間（Ｒｓ＜噪音認定閾値）の場合、相性度が悪いことを表す点数（７０点未満）が設定されるように構成されている。また、相性度設定テーブルは、先行曲および後続曲のうち一方が噪音区間であり、他方が楽音区間の場合、相性度が良いことを表す点数が設定されるように構成されている。さらに、先行曲の選択区間に対する後続曲の各区間の相性度は、後続曲の各区間の噪音成分比率が高いほど点数が大きくなるように設定されている。また、相性度は、点数が大きいほど、不協和音が発生し難く、相性が良いことを表す。
　そして、表示変更部７２３は、図３Ｂに示すように、後続曲の噪音比率情報５５５と相性情報５５４とを文字で表示部５に表示させ（ステップＳ２８，Ｓ２９）、楽曲情報表示処理を終了する。
　その後、ユーザが表示部５の表示に基づきクロスフェードする区間の組み合わせを設定すると、音声処理装置６は、この組み合わせに基づく処理を行う。例えば、音声処理装置６は、先行曲の再生を開始した後、先行曲の選択区間と後続曲との選択区間とのクロスフェードを行うことで、先行曲の再生を終了するとともに後続曲の再生を開始する。
　なお、このクロスフェードの際、先行曲のフェードアウトや後続曲のフェードインあるいは音量調整は、ユーザによるジョグダイヤル等の操作に基づき行われてもよいし、ユーザの設定に基づき音声処理装置６が自動的に行ってもよい。
　また、ユーザが操作部４を用いて、先行曲のクロスフェードする区間の設定操作を行った場合、音声処理装置６は、この設定操作を検出して、当該区間をクロスフェードの区間として設定するとともに、後続曲の各区間のうち、先行曲の設定区間とクロスフェードの相性が良い区間を、クロスフェードの区間として設定可能にし、相性が悪い区間を設定不可能にするようにしてもよい。例えば、先行曲の設定区間が楽曲区間の場合、音声処理装置６は、第２メモリ７４の区間フラグに基づいて、後続曲の噪音区間をクロスフェードの区間として設定可能にするとともに、楽音区間を設定不可能にしてもよい。同様に、先行曲の設定区間が噪音区間の場合、音声処理装置６は、後続曲の全区間をクロスフェードの区間として設定可能にしてもよい。
［実施形態の効果］
　上述したように、表示制御装置７は、複数の楽曲の噪音成分を検出し、この検出結果を複数の楽曲のそれぞれの時間情報と関連付けて表示部５に表示させる。そして、表示制御装置７は、複数の楽曲のうち１の楽曲（先行曲）における所定区間の選択操作を検出すると、この所定区間の噪音成分の検出結果に応じて、他の楽曲（後続曲）の検出結果の表示状態を変更する。
　このため、ユーザは、後続曲に関する検出結果の表示状態に基づいて、先行曲の選択区間とクロスフェード（ミキシング）の相性が良い区間を容易に認識することができる。したがって、良好な楽曲のクロスフェードを支援可能な表示制御装置７を提供することができる。
　特に、本実施形態では、区間バー５０３，５５３を用いて楽曲の時間情報を表しているため、例えば「区間１」等の文字のみを用いて時間情報を表す構成と比べて、ユーザは、各時間情報における噪音の検出結果を、直感的に把握することができる。
　また、表示制御装置７は、後続曲の検出結果の表示状態を変更する処理として、先行曲の選択区間とのクロスフェードの相性を表す相性情報５５４を表示させる。
　このため、ユーザは、相性情報５５４を見て、クロスフェードの相性を容易に認識することができる。
　特に、本実施形態では、相性情報５５４を文字で表示するため、相性情報５５４を文字以外の色等で表示する構成と比べて、ユーザは、クロスフェードの相性をさらに容易に認識することができる。
　また、本実施形態では、先行曲の選択区間が楽音区間の場合、後続曲の噪音区間と選択区間とのクロスフェードの相性が良いことを表す相性情報５５４を表示させ、選択区間が噪音区間の場合、後続曲の全区間と選択区間とのクロスフェードの相性が良いことを表す相性情報５５４を表示させる。このため、ユーザは、相性が良い区間を表す相性情報５５４を見ることで、クロスフェードの相性をさらに容易に認識することができる。
　また、表示制御装置７は、音成分情報５５２と重ならない位置に相性情報５５４を表示させる。
　このため、例えば区間バー５５３の中に相性情報５５４を表示させる等、音成分情報５５２と相性情報５５４とを重ねて表示させる構成と比べて、ユーザは、クロスフェードの相性をさらに容易に認識することができる。
［変形例］
　なお、本発明は上記実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の改良ならびに設計の変更などが可能である。
　例えば、上記実施形態では、結果表示部７２１は、各区間の属性と音の強度との両方を表す音成分情報５０２，５５２を表示させたが、図９Ａに示すように、各区間の属性と音の強度とを別々に表す音成分情報５０２Ａ，５５２Ａを表示部５に表示させてもよい。
　音成分情報５０２Ａは、複数の区間バー５０６Ａから構成された噪音比率情報５０５Ａと、複数の区間バー５０８Ａから構成された音強度情報５０７Ａとを備えている。音成分情報５５２Ａは、音成分情報５０２Ａと同様の構成を有し、それぞれ複数の区間バー５５６Ａ，区間バー５５８Ａから構成された噪音比率情報５５５Ａおよび音強度情報５５７Ａを備えている。
　噪音比率情報５０５Ａ，５５５Ａは、区間の噪音成分比率を表す。噪音比率情報５０５Ａ，５５５Ａの区間バー５０６Ａ，５５６Ａは、噪音成分比率が２５％未満であれば青色、２５％以上５０％未満であれば水色、５０％以上７５％未満であれば橙色、７５％以上であれば赤色で表示される。
　音強度情報５０７Ａ，５５７Ａは、区間の音の強度を表す。音強度情報５０７Ａ，５５７Ａの区間バー５０８Ａ，５５８Ａは、音成分全体量が第１強度閾値未満であれば緑色、第１強度閾値以上、第２強度閾値未満であれば薄緑色、第２強度閾値以上、第３強度閾値未満であれば黄緑色、第３強度閾値以上であれば黄色で表示される。なお、音強度情報５０７Ａ，５５７Ａを表示させなくてもよい。
　そして、図９Ａに示す状態において、二点鎖線で示すカーソルＣＲによる所定区間の選択操作が行われると、表示変更部７２３は、上記実施形態と同様に、当該所定区間と後続曲の各区間との相性度を設定し、図９Ｂに示すように、相性情報５５４を表示させる。
　ここで、楽曲区間にクロスフェードする区間として、噪音区間を選択すると不協和音が発生し難いが、この噪音区間の噪音比率が高いほど、不協和音が発生し難いと考えられる。
　図９Ａに示すように、噪音成分比率のみを表す噪音比率情報５０５Ａ，５５５Ａを表示部５に表示させることで、ユーザは、不協和音がより発生し難い区間をクロスフェードする区間として選択することができる。また、音の強度のみを表す音強度情報５０７Ａ，５５７Ａを噪音比率情報５０５Ａ，５５５Ａと異なる位置に表示させるため、ユーザは、各区間の噪音比率と音の強度とを独立的に認識することができる。
　図９Ａに示す状態から先行曲の所定区間の選択操作が行われた際に、表示変更部７２３は、図１０に示すように、音成分情報５５２Ａの代わりに相性情報５５４Ｂを表示させてもよい。相性情報５５４Ｂは、複数の区間バー５５９Ｂから構成されている。区間バー５５９Ｂは、相性度が０点、１０点であれば黒色、２０点以上５０点以下であれば灰色、６０点以上８０点以下でれば薄い灰色、９０点、１００点であれば白色で表示される。
　図３Ａ，図９Ａ，図１０に示す区間バー５０３，５５３，５０６Ａ，５５６Ａ，５５９Ｂの色は、他の色であってもよいし、色を設定するための閾値は、上述した値に限られず、他の値であってもよい。
　結果表示部７２１、表示変更部７２３は、各区間に対応する波形５０１，５５１自体の色や、波形５０１，５５１を囲む枠の色、あるいは当該枠内の色を所定の色に設定することで、噪音比率（検出結果）や音の強度あるいは相性度を表してもよい。
　結果表示部７２１、表示変更部７２３は、区間バー５０３，５５３，５０６Ａ，５５６Ａ，５５９Ｂや相性情報５５４，５５４Ｂの大きさや点滅状態で、噪音比率（検出結果）や音の強度あるいは相性度を表現してもよい。
　結果表示部７２１、表示変更部７２３は、噪音比率や音の強度あるいは相性度を、丸や三角等の図形で表してもよいし、「（噪音成分比率が）高い」、「強い音」、「（相性が）良い」等の文字で表してもよい。
　結果表示部７２１、表示変更部７２３は、楽曲の時間情報を区間バー５０３，５５３，５０６Ａ，５５６Ａ，５５９Ｂで表したが、例えば「区間１」や「再生時間１分０秒から１分５秒の区間」等の文字で表してもよい。この場合、時間情報を表す文字の上下あるいは左右に、噪音比率や音の強度あるいは相性度を表示させてもよいし、時間情報を表す文字の色や大きさ等の設定により、噪音比率や音の強度あるいは相性度を表してもよい。
　結果表示部７２１、表示変更部７２３は、先行曲および後続曲のうち少なくとも一方が２曲以上選択された場合、この選択された２曲以上の音成分情報や相性情報を一度に表示してもよい。
　結果表示部７２１、表示変更部７２３は、複数の表示部を用い、一方に先行曲の情報を表示させ、他方に後続曲の情報を表示させてもよい。
　表示変更部７２３は、図３Ａの区間バー５５３の中に相性度を表す文字を表示させる等、楽曲の音成分情報と相性情報とを重ねて表示させてもよい。
　表示変更部７２３は、先行曲の選択区間が楽曲区間の場合、後続曲の噪音区間に関する相性情報５５４のみを表示させるとともに、楽音区間に関する相性情報５５４を表示させなくてもよい。すなわち、表示変更部７２３は、選択区間とクロスフェードの相性が良い区間のみについて、相性情報５５４を表示させてもよい。
　表示変更部７２３は、先行曲の選択区間が楽曲区間の場合、後続曲の楽音区間に関する相性情報５５４のみを表示させるとともに、噪音区間に関する相性情報５５４を表示させず、選択区間が噪音区間の場合、後続曲の全区間に関する相性情報５５４を表示させなくてもよい。すなわち、表示変更部７２３は、選択区間とクロスフェードの相性が悪い区間のみについて、相性情報５５４を表示させてもよい。
　表示変更部７２３は、後続曲の所定区間が選択された際に、先行曲の相性情報を表示してもよい。
　噪音検出部７１に区間分割部７１１を設けずに、成分検出部７１２が第１記憶部２から楽曲データ２１を連続的に取得して、所定時間毎に、それまでに取得した楽曲データのうち未解析のデータに対し、ステップＳ４，Ｓ６，Ｓ７の処理を行ってもよい。
　比率算出部７１３は、調波構造成分を構成するパワースペクトラムの本数に基づいて、噪音成分比率（Ｒｓ）を算出してもよい。
　例えば、図６に示すようなパワースペクトラムが計測され、調波構造成分のパワースペクトラムが「ド」、「ミ♭」、「ファ」の６本であり、かつ、パワースペクトラムの合計本数が４８本の場合、比率算出部７１３は、噪音成分比率（Ｒｓ）を８８％（＝（４８－６）／４８×１００）と算出してもよい。
　本発明の表示制御装置を、特許文献１に記載のような音楽プレーヤ等、ＤＪ機器以外の製品に適用してもよい。
　７…表示制御装置、７１…噪音検出部、７２…表示制御部、５５２…音成分情報、５５４，５５４Ｂ…相性情報、７１２…成分検出部、７１３…比率算出部、７２１…結果表示部、７２２…選択検出部、７２３…表示変更部。

Claims (7)

  1. 　複数の楽曲の噪音成分を検出する噪音検出部と、
    　前記噪音検出部の検出結果を表示部に表示させる表示制御部と、を備え、
    　前記表示制御部は、
    　前記検出結果を前記複数の楽曲のそれぞれの時間情報と関連付けて表示させる結果表示部と、
    　前記複数の楽曲のうち１の楽曲の所定区間の選択操作を検出する選択検出部と、
    　前記選択された区間における前記噪音成分の検出結果に応じ、前記１の楽曲以外の前記検出結果の表示状態を変更する表示変更部と、を備えていることを特徴とする表示制御装置。
  2. 　前記表示変更部は、前記表示状態を変更する処理として、前記１の楽曲以外の所定区間と前記選択された区間とのミキシングの相性を表す相性情報を表示させる処理を行うことを特徴とする請求項１に記載の表示制御装置。
  3. 　前記噪音検出部は、
    　前記楽曲の所定区間に含まれる噪音成分を検出する成分検出部と、
    　前記所定区間に前記噪音成分が含まれる比率を算出する比率算出部を備え、
    　前記表示変更部は、
    　前記選択された区間の前記比率が閾値未満の場合、前記１の楽曲以外における前記比率が前記閾値以上の区間と前記選択された区間とのミキシングの相性が良いことを表す前記相性情報を表示させることを特徴とする請求項２に記載の表示制御装置。
  4. 　前記噪音検出部は、
    　前記楽曲の所定区間に含まれる噪音成分を検出する成分検出部と、
    　前記所定区間に前記噪音成分が含まれる比率を算出する比率算出部と、を備え、
    　前記表示変更部は、
    　前記選択された区間の前記比率が閾値以上の場合、前記１の楽曲以外における全ての区間と前記選択された区間とのミキシングの相性が良いことを表す前記相性情報を表示させることを特徴とする請求項２または請求項３に記載の表示制御装置。
  5. 　前記結果表示部は、前記複数の楽曲の各区間に前記噪音成分が含まれる比率が前記閾値以上か否かを表す音成分情報を表示させ、
    　前記表示変更部は、前記音成分情報と重ならない位置に前記相性情報を表示させることを特徴とする請求項３または請求項４に記載の表示制御装置。
  6. 　表示制御装置が、楽曲の音成分に関する情報を表示部に表示させる表示制御方法であって、
    　前記表示制御装置が、
    　複数の楽曲の噪音成分を検出する噪音検出ステップと、
    　前記噪音検出ステップの検出結果を前記複数の楽曲のそれぞれの時間情報と関連付けて前記表示部に表示させる結果表示ステップと、
    　前記複数の楽曲のうち１の楽曲の所定区間の選択操作を検出する選択検出ステップと、
    　前記選択された区間における前記噪音成分の検出結果に応じて、前記１の楽曲以外の前記検出結果の表示状態を変更する表示変更ステップと、を実行することを特徴とする表示制御方法。
  7. 　請求項６に記載の表示制御方法を表示制御装置に実行させることを特徴とする表示制御プログラム。
PCT/JP2015/068187 2015-06-24 2015-06-24 表示制御装置、表示制御方法および表示制御プログラム WO2016208002A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2015/068187 WO2016208002A1 (ja) 2015-06-24 2015-06-24 表示制御装置、表示制御方法および表示制御プログラム
EP15896324.9A EP3316251B1 (en) 2015-06-24 2015-06-24 Display control device, display control method, and display control program
JP2017524496A JP6426843B2 (ja) 2015-06-24 2015-06-24 表示制御装置、表示制御方法および表示制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/068187 WO2016208002A1 (ja) 2015-06-24 2015-06-24 表示制御装置、表示制御方法および表示制御プログラム

Publications (1)

Publication Number Publication Date
WO2016208002A1 true WO2016208002A1 (ja) 2016-12-29

Family

ID=57584904

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/068187 WO2016208002A1 (ja) 2015-06-24 2015-06-24 表示制御装置、表示制御方法および表示制御プログラム

Country Status (3)

Country Link
EP (1) EP3316251B1 (ja)
JP (1) JP6426843B2 (ja)
WO (1) WO2016208002A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009244704A (ja) * 2008-03-31 2009-10-22 Brother Ind Ltd タイムストレッチシステムおよびプログラム
WO2010146624A1 (ja) * 2009-06-15 2010-12-23 パイオニア株式会社 音声信号処理装置のタイムスケーリング方法、音声信号処理装置のピッチシフト方法、音声信号処理装置およびプログラム
WO2013114421A1 (ja) * 2012-01-30 2013-08-08 パイオニア株式会社 表示システム、表示制御装置、音響機器、表示方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009244704A (ja) * 2008-03-31 2009-10-22 Brother Ind Ltd タイムストレッチシステムおよびプログラム
WO2010146624A1 (ja) * 2009-06-15 2010-12-23 パイオニア株式会社 音声信号処理装置のタイムスケーリング方法、音声信号処理装置のピッチシフト方法、音声信号処理装置およびプログラム
WO2013114421A1 (ja) * 2012-01-30 2013-08-08 パイオニア株式会社 表示システム、表示制御装置、音響機器、表示方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3316251A4 *

Also Published As

Publication number Publication date
EP3316251B1 (en) 2023-05-10
EP3316251A1 (en) 2018-05-02
JPWO2016208002A1 (ja) 2018-03-15
EP3316251A4 (en) 2019-03-27
JP6426843B2 (ja) 2018-11-21

Similar Documents

Publication Publication Date Title
JP2006030692A (ja) 楽器演奏教習装置及びそのプログラム
JP5696435B2 (ja) コード検出装置及びプログラム
WO2016208000A1 (ja) 表示制御装置、表示制御方法および表示制御プログラム
JP5704368B2 (ja) 楽音演奏装置及び楽音演奏処理プログラム
JP5005445B2 (ja) コード名検出装置及びコード名検出用プログラム
JP2006267254A (ja) 楽曲データ作成装置
WO2016208002A1 (ja) 表示制御装置、表示制御方法および表示制御プログラム
JP2007078724A (ja) 電子楽器
JP6977741B2 (ja) 情報処理装置、情報処理方法、演奏データ表示システム、およびプログラム
JP5708730B2 (ja) 楽音演奏装置及び楽音演奏処理プログラム
JP6803294B2 (ja) カラオケ装置
JP5782744B2 (ja) 歌唱音声評価装置
JP2009180757A (ja) 電子音楽装置及び演奏データ編集表示プログラム
JP6657866B2 (ja) 音響効果付与装置及び音響効果付与プログラム
JP3783687B2 (ja) 演奏練習装置及びプログラム
JP2005173628A (ja) 演奏曲再生装置
JP2020122949A (ja) カラオケ装置
JP7338669B2 (ja) 情報処理装置、情報処理方法、演奏データ表示システム、およびプログラム
JP2016057389A (ja) コード決定装置及びコード決定プログラム
JP5342841B2 (ja) 長音符の歌唱部分で歌声の倍音特性を測定して表示するカラオケ装置
JP4793204B2 (ja) 電子楽器および電子楽器制御用プログラム
JP5825449B2 (ja) コード検出装置
JP6412793B2 (ja) カラオケ装置
JP6427447B2 (ja) カラオケ装置
JP2017049428A (ja) 楽音演奏装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15896324

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017524496

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2015896324

Country of ref document: EP