WO2010119541A1 - 音発生装置、音発生方法、音発生プログラム、及び記録媒体 - Google Patents

音発生装置、音発生方法、音発生プログラム、及び記録媒体 Download PDF

Info

Publication number
WO2010119541A1
WO2010119541A1 PCT/JP2009/057655 JP2009057655W WO2010119541A1 WO 2010119541 A1 WO2010119541 A1 WO 2010119541A1 JP 2009057655 W JP2009057655 W JP 2009057655W WO 2010119541 A1 WO2010119541 A1 WO 2010119541A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
music
operator
information indicating
sound element
Prior art date
Application number
PCT/JP2009/057655
Other languages
English (en)
French (fr)
Inventor
上田浩
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to PCT/JP2009/057655 priority Critical patent/WO2010119541A1/ja
Priority to JP2011509140A priority patent/JPWO2010119541A1/ja
Publication of WO2010119541A1 publication Critical patent/WO2010119541A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/38—Chord
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/325—Musical pitch modification
    • G10H2210/331—Note pitch correction, i.e. modifying a note pitch or replacing it by the closest one in a given scale

Definitions

  • the present application relates to a technical field such as a sound generator that generates a sound that matches a music sound.
  • Patent Document 1 discloses an acoustic device in which different electronic musical instrument sounds (for example, drums, hi-hats, triangles, castanets, etc.) are assigned to each of a plurality of operation keys. Yes.
  • the electronic musical instrument sound assigned to the operation key is added to the music sound and emitted. It has become so. Thereby, the user can take a rhythm with an electronic musical instrument sound in accordance with the music sound, and can add an accent to the music sound.
  • a rhythm instrument that does not have a scale such as a drum or a triangle may be heard without any sense of incongruity because any operation key does not affect the harmony so much.
  • the user's tone is used to determine what the harmony or non-consonant sound is with respect to the reproduced music sound, and the operation key to which that sound is assigned.
  • the invention determines a sound element suitable for the music sound based on the music sound analysis means for analyzing the reproduced music sound and the analysis result of the music sound.
  • a sound element determination means that assigns the determined sound element to an operator operated by a user, and associates the operator information indicating the operator with the sound element information indicating the sound element assigned to the operator
  • a sound element assigning means for storing information, an operation detecting means for detecting an operation of the operation element during the reproduction of the music sound, and an operation element indicating the operation element when an operation of the operation element is detected.
  • Sound element information acquisition means for acquiring the sound element information stored in association with information, and sound generation means for generating a sound corresponding to the sound element indicated in the acquired sound element information. It is characterized by.
  • the invention according to claim 9 is a sound generation method in the sound generator, the step of analyzing the reproduced music sound, and a sound element suitable for the music sound based on the analysis result of the music sound Assigning the determined sound element to an operator operated by a user, and associating the operator information indicating the operator with sound element information indicating the sound element assigned to the operator
  • the invention of the sound generation processing program determines a sound element suitable for the music sound based on the music sound analysis means for analyzing the reproduced music sound and the analysis result of the music sound
  • a sound element determining means for assigning the determined sound element to an operator operated by a user, and associating the operator information indicating the operator with sound element information indicating the sound element allocated to the operator Sound element allocating means for storing, operation detecting means for detecting the operation of the operation element during reproduction of the music sound, and corresponding to operation information indicating the operation element when the operation of the operation element is detected
  • a sound element information acquiring means for acquiring the sound element information that has been attached and stored; and a sound generation means for generating a sound corresponding to the sound element indicated in the acquired sound element information.
  • FIG. 3 is a diagram illustrating an example of an appearance of an operation unit 15.
  • FIG. It is a figure which shows an example of the content of the allocation status holding table. It is a figure which shows the example of a display of an analysis result and the allocated sound element.
  • (A) is a flowchart which shows the sound element allocation process in the control part 19 of the audio equipment S
  • (B) is a flowchart which shows the operation command input process in the control part 19 of the audio equipment S.
  • FIG. 1 is a diagram illustrating a schematic configuration example of an audio device according to the present embodiment.
  • the acoustic device S includes an audio reproduction unit 11, a musical instrument sound source sound generation unit 12, an addition unit 13, an amplification unit 14, an operation unit 15, a display unit 16, a storage unit 17, an analysis unit 18, and a control unit. 19 etc. are comprised.
  • the audio playback unit 11 is recorded on a recording medium such as a CD (Compact Disc), an MD (Mini Disc), a DVD (Digital Versatile Disc), a BD (Blu-ray Disc), an HDD (Hard Disk Drive), or a flash memory.
  • the music sound (musical sound signal) is reproduced and output to the adding unit 13 and the analyzing unit 18.
  • the sound reproducing unit 11 inputs music sound from an external device such as a portable device or a microphone and outputs the music sound to the adding unit 13 and the analysis unit 18, or receives music sound from a television broadcast, a radio broadcast, or the like and adds the music sound. 13 and the analysis unit 18.
  • the instrument sound source sound generation unit 12 as an example of sound generation means is composed of a MIDI (Musical Instrument Instrument Digital Interface) sound source, a sound source IC (Integrated Circuit), etc., and generates instrument sounds according to commands from the control unit 19 (sound generation). And output to the adder 13.
  • MIDI Musical Instrument Instrument Digital Interface
  • sound source IC Integrated Circuit
  • an addition unit (mixing unit) 13 as an example of an output unit receives a musical sound from the musical instrument sound source sounding unit 12 when the musical sound from the audio reproduction unit 11 is input, The musical instrument sound is mixed (added), and the mixed sound is output to the amplifying unit 14.
  • the music sound from the sound reproduction unit 11 is input and no musical instrument sound is input from the instrument sound source sound generation unit 12, the music sound is output to the amplification unit 14 as it is.
  • an instrument sound from the instrument sound source sound generation unit 12 is input, if no music sound is input from the sound reproduction unit 11, the instrument song is output to the amplification unit 14 as it is.
  • the amplifying unit (amplifier) 14 amplifies the mixed sound from the adding unit 13 and outputs the amplified sound to the left and right speakers. Thereby, the sound is emitted from the speaker.
  • the left and right 2ch speakers are shown, but the present invention is not limited to this, and a 4ch speaker or a 5.1ch speaker may be used.
  • the amplification unit 14 may correspond to volume control, equalizer setting, mute control, sound field control, sound quality enhancement processing, and the like from the control unit 19.
  • the operation unit 15 includes a plurality of operation keys for the user to give various operation instructions, setting instructions, and sound generation instructions to the sound device S.
  • the operation unit 15 performs the operation.
  • An operation command (operation signal) corresponding to the key is output to the control unit 19.
  • the operation instructions include, for example, power-on, mute (mute), volume up (volume up), play (playback), stop (stop), track up (music number up), and the like.
  • the setting instructions include, for example, screen setting, equalizer setting, repeat setting, and the like.
  • FIG. 2 is a diagram illustrating an example of the appearance of the operation unit 15.
  • the operation unit 15 shown in FIG. 2 includes an operation / setting operation unit 15a provided with operation keys for operation instructions and setting instructions, and a sound generation operation unit 15b provided with operation keys for sound generation instructions. Yes.
  • five operation keys 1 to 5 are provided in the sound generation operation unit 15b as operation keys for sound generation instructions.
  • Each of these operation keys 1 to 5 is automatically assigned a sound element that matches the music sound output from the sound reproducing unit 11 (the music sound being played back). As it progresses, it will be changed. Examples of such sound elements include scales, chords (chords), instrument sounds (tone colors), volume, octave (sound range), PAN (left / right localization), effects, and the like.
  • five operation keys are shown as operators to which sound elements are assigned. However, fewer operation keys may be used, or more operation keys may be used. Also good.
  • the operation is detected by the control unit 19 and the sound corresponding to the sound element assigned to each operation key is detected. Is generated from the musical instrument sound source sound generation unit 12. That is, the operation key functions like a keyboard of a musical instrument (for example, an electronic piano) (however, the operation key does not have to be the shape or form of a musical instrument keyboard).
  • operation keys in the operation / setting operation unit 15a may also serve as operation keys in the sound generation operation unit 15b.
  • the operation / setting operation unit 15a and the sound generation operation unit 15b may be physically separated.
  • the operation unit 15 may be provided in the main body of the audio device S or may be provided in an operation device such as a remote controller that can communicate with the audio device S.
  • communication between the audio device S main body and the operation device may be performed by wire (cable, flexible cable, USB cable, etc.) or wirelessly (infrared communication, Bluetooth, Wi-Fi, Zigbee, etc.).
  • the push button type operation keys 1 to 5 are taken as examples of the operation element of the present application.
  • any operation unit can be used as long as the control unit 19 can detect the operation by the user.
  • a keyboard, a tact switch, a touch panel, an acceleration sensor, a shock sensor, a capacitance sensor, an ultrasonic sensor, a microphone input (voice recognition), a camera input (image recognition), or an electroencephalogram switch Manipulators are applicable.
  • the display unit 16 includes a display such as a liquid crystal or an organic EL, for example, and displays the operation state and setting state of the acoustic device S, and further, the assignment state of sound elements to the operation keys 1 to 5 on the display screen. indicate.
  • the display unit 16 may have an auxiliary role for operations or a role that is effective for production. Further, the number of display units 16 is not limited to one and may be plural (for example, one for the acoustic device S and one for the remote controller).
  • the storage unit 17 is composed of, for example, a RAM, a flash memory, or the like, and mainly stores an assignment state holding table that holds the assignment state of sound elements to the operation keys 1 to 5.
  • FIG. 3 is a diagram showing an example of the contents of the allocation state holding table.
  • an allocation state holding table is divided for each of six sound elements (may be combined into one table), and in each table, an operator number indicating an operation key (an example of operator information) Are associated with sound element information indicating sound elements assigned to each operation key.
  • the operation key 1 has C (do) as the scale, piano as the instrument sound (instrument type), 100 as the volume, 0 as the octave, 50 as the PAN (that is, Echo is assigned as an effect, respectively.
  • the analysis unit 18 as an example of the music sound analysis unit is configured by a DSP or the like, for example, and inputs the reproduced music sound, that is, the music sound output from the sound reproduction unit 11, and analyzes this, Detect chords, scales, instrument sounds (instrument types), volume, range, tune, tempo, etc. Since detection of these sound elements can be detected by various known techniques, detailed description will be omitted. For example, chords can be detected by the technique disclosed in Japanese Patent Application Laid-Open No. 2004-184510. When this technique is used, the analysis unit 18 converts the input music sound into a frequency signal indicating the magnitude of the frequency component every predetermined time, and the frequency component corresponding to each sound of equal temperament from the frequency signal.
  • chord for example, C (de), E (mi)
  • G (So), C code is detected.
  • Such an analysis is performed at predetermined analysis time intervals (for example, several hundred ms to several s) from the reproduction start time position to the reproduction end time position of the music sound as the music sound progresses.
  • Such an analysis time interval becomes longer depending on the number of sound elements to be detected and the detection processing load.
  • the analysis unit 18 accumulates chord data detected at predetermined detection time intervals when detecting the key of a song, and based on the accumulated chord data, the tone of the song (for example, C major, G major) Therefore, the analysis time interval of the key of the music is longer than the analysis time interval of the other sound elements.
  • the analysis unit 18 outputs the analysis result (including information indicating the detected chord) to the control unit 19, that is, the analysis result (analysis result of the analysis result) analyzed at the predetermined analysis time interval. Data) is output to the control unit 19 at each time interval.
  • control unit 19 includes a CPU, a RAM, a ROM, and the like. For example, by reading and executing a program (including the sound generation program of the present application) stored in the ROM, the control unit 19 performs overall control of the entire acoustic device S. At the same time, it functions as the sound element determination means, sound element assignment means, operation detection means, sound element information acquisition means, and the like of the present application.
  • a program including the sound generation program of the present application
  • control unit 19 is a sound element that matches the music sound and is a candidate for allocation based on the analysis result of the music sound from the analysis unit 18. A sound element is determined, and the candidate data indicating the determined sound element (or sound element group) is generated.
  • the control unit 19 determines the obtained chord as an assignment candidate, or the inverted form of the obtained chord (first and second in the case of a triad). Of the obtained chord and its inverted form as an assignment candidate, or each scale constituting the obtained chord is determined as an assignment candidate, or the obtained Each of the scales composing the selected chord and the scales that are different from those of the octave are determined as assignment candidates, or a part of the scales composing the obtained chord (for example, the root sound and the fifth degree sound) ) As a candidate for assignment.
  • control unit 19 determines the obtained instrument sound as an assignment candidate, or assigns an instrument sound that matches the obtained instrument sound to a harmony candidate. Or the obtained instrument sound and the instrument sound that matches this harmony are determined as assignment candidates.
  • which sound element is determined for each sound element obtained from the analysis result is set in advance by a data generation program or a table.
  • the control unit 19 assigns each sound element (candidate) indicated in the generated candidate data to each operation key 1 to 5, and assigns an operation element number indicating each operation key and the sound element assigned to the operation key. Is stored in the allocation state holding table in association with each other. For example, when a plurality of scales (or a plurality of chords) are determined as assignment candidates as described above, the control unit 19 assigns each scale (or each chord) to each separate operation key, As shown in FIG. 3, a plurality of types of sound elements (scale, instrument sound, volume, octave, PAN, effect) are assigned to each of the operation keys 1-5.
  • control unit 19 may not assign to the operation keys 4 and 5 or may assign the same sound element as the operation keys 1 and 2. Also, not all sound elements need to be automatically assigned to operation keys, for example, only scales or chords are automatically assigned to operation keys, and sound elements such as volume and PAN are not assigned to operation keys. Or you may comprise so that a user may allocate by manual operation. Even a sound element determined as an assignment candidate may not be assigned to an operation key.
  • the control unit 19 is a sound element suitable for the music sound based on each input analysis result.
  • a sound element as a candidate for assignment is determined for each time interval, the candidate data is generated, the sound element indicated in the candidate data is assigned to the operation key for each time interval, and an operator number indicating the operation key
  • the sound element information indicating the sound element assigned to the operation key are associated with each other and stored in the assignment state holding table, that is, the contents of the assignment state holding table are updated every time interval.
  • the control unit 19 displays the analysis result input at each analysis time interval on the display unit 16 or displays the sound element assigned to the operation key at each time interval on the display unit 16. It is effective.
  • FIG. 4 is a diagram showing a display example of analysis results and assigned sound elements.
  • the analysis result, the scale assigned to each operation key, and the instrument sound are displayed, and the contents are switched after a predetermined time has elapsed.
  • the control unit 19 detects the operation of any one of the operation keys (according to an operation command from the operation unit 15) during the reproduction of the music sound (that is, during the output of the music sound from the audio reproduction unit 11).
  • the latest sound element information stored in association with the operator number indicating the operation key is obtained from the assignment state holding table, and a command including the sound element information is sent to the musical instrument sound generator 12.
  • Output an instrument sound corresponding to the sound element indicated by the sound element information is generated by the instrument sound source sound generation unit 12, and the generated instrument sound and the music sound from the sound reproduction unit 11 are mixed and amplified by the addition unit 13. It is output from the speaker via the unit 14.
  • the musical instrument generated by the instrument sound source sound generation unit 12 It is desirable to delay the music sound by the time required for the determination of the time and the sound element required for the analysis and the assignment to the operation key so that the sound and the music sound output from the sound reproduction unit 11 are synchronized.
  • the time required for analyzing the music sound being played back, and the time required for determining the sound elements by the control unit 19 and assigning them to the operation keys are constant time intervals, so the delay time is also adjusted accordingly. At regular intervals.
  • the instrument sound generated by the instrument sound source sound generation unit 12 and the delayed music sound are mixed and output, it is possible to avoid a sense of incongruity due to no deviation between the instrument sound and the music sound. it can.
  • the music sound is delayed by, for example, the sound reproducing unit 11 (an example of a delay unit).
  • the sound reproducing unit 11 buffers the data related to the reproduced music sound, and delays only the output to the adding unit 13
  • the sound reproducing unit 11 In the case where the sound reproducing unit 11 is configured to receive music sound from a television broadcast, a radio broadcast, or the like and output the music sound to the adding unit 13 and the analyzing unit 18, data related to the received music sound is transmitted to the sound reproducing unit 11. Are buffered and only the output to the adder 13 is delayed.
  • FIG. 5A is a flowchart showing a sound element assignment process in the control unit 19 of the acoustic device S
  • FIG. 5B is a flowchart showing an operation command input process in the control unit 19 of the acoustic device S.
  • Step S1 If the analysis result is the same as the previous time (step S1: YES), the control unit 19 ends the process (the contents of the allocation state holding table are not updated), and waits for the input of the next analysis result. Become. Note that the analysis result comparison process need not be performed.
  • step S2 when the analysis result is not the same as the previous time (step S1: NO), the control unit 19 follows the data generation program (data generation algorithm) based on the analysis result of the music sound input this time as described above. A sound element that is a sound element that matches the music sound and is a candidate for assignment is determined, and candidate data indicating the determined sound element is generated (step S2).
  • control unit 19 assigns each sound element indicated in the generated candidate data to each operation key, and indicates the operation element number indicating each operation key and the sound element assigned to the operation key.
  • the sound element information is associated and stored in the assignment state holding table (step S3).
  • Example 1 When the sound element indicated in the candidate data is a chord of C, the control unit 19 assigns three scales of C (do), E (mi), and G (so) to one operation key 1 . That is, the obtained chord is directly assigned to the operation key as a chord. Then, the control unit 19 assigns the inversion form of the chord (E and G and C on one octave) to the other operation keys.
  • Example 2 When the sound element indicated in the candidate data is a chord of C, the control unit 19 uses the scale of C (do) as the operation key 1, the scale of E (mi) as the operation key 2, and the G ( S) is assigned to the operation key 3 respectively.
  • the control part 19 allocates C, E, and G of the octave difference to another operation key.
  • Example 3 When the sound element indicated in the candidate data is a chord of C and a bass is assumed as a musical instrument, the control unit 19 uses the root sound (C) as the operation key 1 and outputs the 5th sound (G) Assign to operation key 2. That is, the obtained chords are dispersed, and only necessary sounds are extracted from them and assigned to the operation keys. And the control part 19 allocates C and G of the octave difference to another operation key.
  • Example 4 When the sound element indicated by the candidate data is a chord of C, the control unit 19 does not switch the assignment to the operation key every time the chord is switched, but instead of switching the assignment to the operation key, Determine the scale. For example, when the major pentatonic scale of C is determined, the control unit 19 assigns C, D, E, G, A scales to the operation keys 1, 2, 3, 4, 5, respectively. If there are other operation keys, a scale with a different octave may be assigned.
  • control unit 19 displays (redraws) the input analysis result and the assigned sound element on the display unit 16 (step S4), and then ends the above process and inputs the next analysis result. It will be waiting.
  • sound elements or sound elements other than dissonance
  • sound elements that match the music sound being played are automatically assigned to the operation keys in real time.
  • the assignment of sound elements to the operation keys is not constant, and automatically changes to appropriate sound elements in real time as the music sound progresses.
  • step S11 determines whether or not the input operation command is a command to the audio playback unit 11 (for example, a music sound playback command, a stop command, etc.) (step S11). If the command is for the voice playback unit 11 (step S11: YES), the process proceeds to step S12. If the command is not for the voice playback unit 11 (step S11: NO), the process proceeds to step S13.
  • a command to the audio playback unit 11 for example, a music sound playback command, a stop command, etc.
  • step S12 the control unit 19 executes a command for the audio playback unit 11, and then ends the processing and waits for input of the next operation command.
  • the sound reproduction unit 11 operates in accordance with a command from the control unit 19, for example, music sound is reproduced and output from the sound reproduction unit 11.
  • step S13 it is determined whether or not the input operation command is a command for the musical instrument sound source sound generation unit 12, that is, a command from an operation key to which a sound element is assigned in the sound generation operation unit 15b. (That is, when the operation of the operation key to which the sound element is assigned is detected) (step S13: YES), the process proceeds to step S14, and when it is not the instruction to the musical instrument sound source sound generation unit 12 (step S13). : NO), the process proceeds to step S17.
  • step S ⁇ b> 14 the control unit 19 acquires the latest sound element information stored in association with the operator number indicating the operation key corresponding to the command to the musical instrument sound source sound generation unit 12 from the allocation state holding table. .
  • control unit 19 outputs a command including the acquired sound element information to the musical instrument sound source sound generation unit 12 (step S15).
  • a command including the acquired sound element information is generated by the instrument sound source sound generation unit 12, and the generated instrument sound and the music sound from the sound reproduction unit 11 are synchronized in the addition unit 13.
  • the sound is mixed and output from the speaker via the amplifying unit 14.
  • control unit 19 assigns information (for example, highlighted display) indicating that the operation key corresponding to the command to the instrument sound source sound generation unit 12 has been operated to the analysis result and the operation key as shown in FIG.
  • the sound element is displayed together with the sound element (step S16). Thereafter, the processing is terminated, and input of the next operation command is awaited.
  • step S17 the control unit 19 determines whether or not the input operation command is an assignment change (manual change) command, and if it is an assignment change command (step S17: YES), the control unit 19 proceeds to step S18. If it is not an assignment change command (step S17: NO), the process proceeds to step S19.
  • step S18 the control unit 19 executes a process of changing the contents of the allocation state holding table in accordance with the allocation change command, thereafter ends the process, and waits for the input of the next operation command.
  • the control unit 19 assigns the sound element instructed by the user through the operation unit 15 to the operation key instructed by the user, and the operator number indicating the operation key.
  • the sound element information indicating the sound element assigned to the operation key are associated with each other and stored in the assignment state holding table.
  • the operation key 1 is manually assigned such as a violin tone
  • the operation key 2 is a piano tone
  • the operation key 3 is a trumpet tone
  • the operation key 4 is a flute tone.
  • only one operation key for example, the operation key 2 may be assigned the tone color of an electric guitar, and the other operation keys may be automatically assigned instrument sounds according to the process of step S3.
  • step S19 for example, processing such as power on / off and various settings related to the entire apparatus, various settings of the amplification unit 14, and the like are performed.
  • the control unit 19 determines a sound element suitable for the music sound based on the analysis result of the music sound being reproduced, and automatically and in real time to the operation key.
  • the instrument sound source sound generation unit 12 is caused to generate a sound by the sound element assigned to the operation key.
  • Intuitive operation (without the need to select the operation key to which the sound that is in harmony with the sound of the music being played (or the sound that does not become dissonant) is determined by its own pitch, and to select the operation key to which that sound is assigned ( In other words, it is only necessary to concentrate on the operation timing of the operation keys (in other words, the timing of sound generation), and unintentional harmony (for example, a sound that causes dissonance) is avoided regardless of which operation key is selected. Performance is possible that. Therefore, even if the user who operates the operation key is a musical instrument beginner, it is possible to generate a sound that does not become dissonant with the music sound without making a mistake in playing, and to perform an ad-lib session with the music sound.
  • the played sound does not match the music without permission, but the sound element that excludes the sound that does not match (or the sound element that collects only the sound that matches) is sent to the user in real time ( Can be provided).
  • the user since the user has the authority to select rather than play only one predetermined sound, it is not necessary to use a previously prepared song, and any song can be applied.
  • the sound element assigned to the operation key is not a single sound element but a plurality of sound elements are assigned, options for the user are widened, and an ad-lib feeling and an original feeling are obtained.
  • the sound elements are automatically assigned to the operation keys and can be manually performed, so that the options for the user are further expanded and a more original feeling can be obtained.
  • the case where there is one sounding operation unit 15b provided with a plurality of operation keys is taken as an example.
  • the instrument sounds assigned to the operation keys in the respective sound generation operation sections 15b it becomes possible to easily enjoy the band performance.
  • an electric guitar tone is manually assigned to an operation key in the sound generation operation unit X used by the user X (a scale and a range are automatically assigned), and a drum tone is assigned to the operation key in the sound generation operation unit Y used by the user Y.
  • the piano tone color is manually assigned to the operation keys in the sound generation operation unit Z used by the user Z (manual scale and range are automatically assigned).
  • the audio device S is an audio player in general (home audio, car audio, portable player), electronic musical instrument, DJ equipment, karaoke equipment, radio equipment, television equipment, and other new built-in specialized for the present application. Applicable to products.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

　ユーザが楽器演奏初心者であっても、楽曲音に対して不協和音にならない音を発生させ、当該楽曲音とのアドリブセッションを可能とする音発生装置、音発生方法、音発生プログラム、及び記録媒体を提供する。　本願の音発生装置は、再生された楽曲音を解析し、その解析結果に基づいて、当該楽曲音に適合する音要素を決定し、決定された音要素を、ユーザにより操作される操作子に割り当て、当該操作子を示す操作子情報と当該操作子に割り当てた前記音要素を示す音要素情報を対応付けて記憶し、前記楽曲音の再生中に前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記音要素情報を取得し、前記取得された音要素情報に示される音要素に応じた音を発生させる。

Description

音発生装置、音発生方法、音発生プログラム、及び記録媒体
　本願は、楽曲音に合った音を発生する音発生装置等の技術分野に関する。
　この種の技術として、例えば、特許文献１には、複数の操作キーの夫々に対して異なる電子楽器音（例えば、ドラム、ハイハット、トライアングル、カスタネット等）が割り当てられた音響装置が開示されている。かかる音響装置では、カセットテープに記録された楽曲音の再生中に、何れかの操作キーが操作されると、当該操作キーに割り当てられた電子楽器音が上記楽曲音に加算されて放音されるようになっている。これにより、ユーザは楽曲音に合わせて電子楽器音でリズムをとったり、楽曲音にアクセントをつけることができる。
特開平8-272367号公報
　しかしながら、上述した従来の技術において、例えば、ドラムやトライアングルなどの音階をもたないリズム楽器に関しては、どの操作キーが操作されてもハーモニーにあまり影響がないため、違和感なく聞こえるかもしれないが、音階をもつ電子楽器音が割り当てられた場合、再生された楽曲音に対し、ハーモニーの合う音、又は不協和音にならない音が何かをユーザの音感で判別し、その音が割り当てられた操作キーをユーザが選択して操作しなければならないという問題がある。
　また、リズム楽器であっても、楽曲音との音量レベル差や音色の違和感（例えば、クラシックの曲にタンバリンなど）などの調節は、従来の技術ではマニュアル操作が必要であるという問題もある。
　そこで、本願は、このような問題の解消を課題の一つとし、ユーザが楽器演奏初心者であっても、楽曲音に対して不協和音にならない音を発生させ、当該楽曲音とのアドリブセッションを可能とする音発生装置、音発生方法、音発生プログラム、及び記録媒体を提供することを目的する。
　上記課題を解決するため、請求項１に記載の発明は、再生された楽曲音を解析する楽曲音解析手段と、前記楽曲音の解析結果に基づいて、当該楽曲音に適合する音要素を決定する音要素決定手段と、前記決定された音要素を、ユーザにより操作される操作子に割り当て、当該操作子を示す操作子情報と当該操作子に割り当てた前記音要素を示す音要素情報を対応付けて記憶する音要素割当手段と、前記楽曲音の再生中に、前記操作子の操作を検出する操作検出手段と、前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記音要素情報を取得する音要素情報取得手段と、前記取得された音要素情報に示される音要素に応じた音を発生させる発音手段と、を備えることを特徴とする。
　請求項９に記載の発明は、音発生装置における音発生方法であって、再生された楽曲音を解析する工程と、前記楽曲音の解析結果に基づいて、当該楽曲音に適合する音要素を決定する工程と、前記決定された音要素を、ユーザにより操作される操作子に割り当て、当該操作子を示す操作子情報と当該操作子に割り当てた前記音要素を示す音要素情報を対応付けて記憶する工程と、前記楽曲音の再生中に、前記操作子の操作を検出する工程と、前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記音要素情報を取得する工程と、前記取得された音要素情報に示される音要素に応じた音を発生させる工程と、を含むことを特徴とする。
　請求項１０に記載の音発生処理プログラムの発明は、コンピュータを、再生された楽曲音を解析する楽曲音解析手段、前記楽曲音の解析結果に基づいて、当該楽曲音に適合する音要素を決定する音要素決定手段、前記決定された音要素を、ユーザにより操作される操作子に割り当て、当該操作子を示す操作子情報と当該操作子に割り当てた前記音要素を示す音要素情報を対応付けて記憶する音要素割当手段、前記楽曲音の再生中に、前記操作子の操作を検出する操作検出手段、前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記音要素情報を取得する音要素情報取得手段、及び、前記取得された音要素情報に示される音要素に応じた音を発生させる発音手段として機能させることを特徴とする。
本実施形態に係る音響装置の概要構成例を示す図である。 操作部１５の外観の一例を示す図である。 割り当て状態保持テーブルの内容の一例を示す図である。 解析結果及び割り当てられた音要素の表示例を示す図である。 （Ａ）は、音響装置Ｓの制御部１９における音要素割り当て処理を示すフローチャートであり、（Ｂ）は、音響装置Ｓの制御部１９における操作命令入力処理を示すフローチャートである。
　以下、本願の実施形態を添付図面に基づいて説明する。なお、以下に説明する実施の形態は、音響装置に対して本願を適用した場合の実施形態である。
　先ず、図１等を参照して、本実施形態における音響装置の構成及び機能について説明する。
　図１は、本実施形態に係る音響装置の概要構成例を示す図である。
　図１に示すように、音響装置Ｓは、音声再生部１１、楽器音源発音部１２、加算部１３、増幅部１４、操作部１５、表示部１６、記憶部１７、解析部１８、及び制御部１９等を備えて構成されている。
　音声再生部１１は、ＣＤ（Compact Disc）、ＭＤ（Mini Disc）、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray Disc）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリなどの記録媒体に記録された楽曲音（楽曲音信号）を再生し、加算部１３及び解析部１８に出力する。又は、音声再生部１１は、ポータブル機器等の外部機器又はマイクから楽曲音を入力して加算部１３及び解析部１８に出力、或いは、テレビ放送やラジオ放送等から楽曲音を受信して加算部１３及び解析部１８に出力する。
　次に、発音手段の一例としての楽器音源発音部１２は、ＭＩＤＩ（Musical Instrument Digital Interface）音源や音源ＩＣ（Integrated Circuit)等により構成され、制御部１９からのコマンドに従って、楽器音を発生（発音）し、加算部１３に出力する。
　次に、出力手段の一例としての加算部（ミキシング部）１３は、音声再生部１１からの楽曲音を入力したときに、楽器音源発音部１２から楽器音を入力した場合、当該楽曲音と当該楽器音とをミキシング（加算）し、ミキシングした音を増幅部１４に出力する。なお、音声再生部１１からの楽曲音を入力したときに、楽器音源発音部１２からの楽器音の入力がない場合、当該楽曲音をそのまま増幅部１４に出力する。また、楽器音源発音部１２からの楽器音を入力したときに、音声再生部１１からの楽曲音の入力がない場合、当該楽器曲をそのまま増幅部１４に出力する。
　次に、増幅部（アンプ）１４は、加算部１３からのミキシングされた音等を増幅して左右スピーカに出力する。これにより、当該音はスピーカから放音される。なお、図１の例では、左右の２ｃｈスピーカを示しているが、これに限らず、４ｃｈスピーカや５．１ｃｈスピーカであってもよい。また、増幅部１４は、制御部１９からのボリューム制御やイコライザ設定、ミュート制御、音場制御、高音質化処理などに対応してもよい。
　次に、操作部１５には、ユーザが、音響装置Ｓに対して各種動作指示、設定指示、及び発音指示を与えるための操作キーが複数備えられており、ユーザが操作キーを操作すると当該操作キーに対応する操作命令（操作信号）が制御部１９に出力される。ここで、動作指示には、例えば、電源オン、ミュート（消音）、ボリュームアップ（音量アップ）、プレイ（再生）、ストップ（停止）、トラックアップ（曲番号アップ）等がある。また、設定指示には、例えば、画面設定、イコライザ設定、リピート設定等がある。
　図２は、操作部１５の外観の一例を示す図である。図２に示す操作部１５には、動作指示及び設定指示用の操作キーが設けられた動作・設定操作部１５ａと、発音指示用の操作キーが設けられた発音操作部１５ｂとが設けられている。
　図２の例では、発音操作部１５ｂに、発音指示用の操作キーとして、５つの操作キー１～５（本願における複数の操作子の一例）が設けられている。これらの各操作キー１～５には、音声再生部１１から出力された楽曲音（再生中の楽曲音）に適合する音要素が自動的に割り当てられ、割り当てられた音要素は、当該楽曲音の進行に伴って変更されるようになっている。かかる音要素として、例えば、音階、和音（コード）、楽器音（音色）、音量、オクターブ（音域）、ＰＡＮ（左右定位）、エフェクト等が挙げられる。なお、図２の例では、音要素が割り当てられる操作子として、５つの操作キーを示したが、これより少ない数の操作キーであってもよいし、これより多い数の操作キーであってもよい。
　そして、ユーザにより操作キー１～５の全部又は一部が操作（この例では、押下）されると、当該操作が制御部１９により検出され、各操作キーに割り当てられた音要素に応じた音が楽器音源発音部１２から発生することになる。つまり、操作キーは、楽器（例えば電子ピアノ）の鍵盤のように機能する（ただし、操作キーは、楽器の鍵盤の形状や形式である必要はない）。
　なお、動作・設定操作部１５ａにおける一部の操作キーを発音操作部１５ｂにおける操作キーとして兼ねてもよい。また、動作・設定操作部１５ａと、発音操作部１５ｂとを物理的に分離させてもよい。また、操作部１５は、音響装置Ｓ本体に設けられていてもよいし、音響装置Ｓと通信可能なリモコン等の操作機器に設けられてもよい。操作部１５が操作機器に設けられる場合、音響装置Ｓ本体と操作機器との間の通信は、有線（ケーブル、フレキ、ＵＳＢケーブルなど）で行われてもよいし、無線（赤外線通信、Bluetooth、Wi-Fi、Zigbeeなど）で行われてもよい。また、上記操作部１５では、本願の操作子として、押ボタン式の操作キー１～５を例にとったが、ユーザによる操作を制御部１９が検出できるものであればどのようなものであってもよく、例えば、鍵盤、タクトスイッチ、タッチパネル、加速度センサ、ショックセンサ、静電容量センサ、超音波センサ、マイク入力（音声認識）、カメラ入力（画像認識）、又は脳波スイッチなどにより構成された操作子が適用可能である。
　次に、表示部１６は、例えば液晶又は有機ＥＬ等のディスプレイを備え、音響装置Ｓの動作状態や設定状態、更には、操作キー１～５への音要素の割り当て状態などを表示画面上に表示する。なお、表示部１６は、操作の補助的な役割や演出効果的な役割があってもよい。また、表示部１６は、1つに限らず複数あってもよい（例えば、音響装置Ｓに一つ、リモコンに１つ）。
　次に、記憶部１７は、例えばＲＡＭやフラッシュメモリ等により構成され、主に、各操作キー１～５への音要素の割り当て状態を保持する割り当て状態保持テーブルが記憶されている。
　図３は、割り当て状態保持テーブルの内容の一例を示す図である。図３の例では、６つの音要素毎に、割り当て状態保持テーブルが分かれており（一つのテーブルにまとめてもよい）、各テーブルでは、操作キーを示す操作子番号（操作子情報の一例）と、各操作キーに割り当てられた音要素を示す音要素情報とが対応付けられている。例えば、図３に示すように、操作キー１には、音階としてＣ（ド）が、楽器音（楽器の種類）としてピアノが、音量として１００が、オクターブとして０が、ＰＡＮとして５０（つまり、左右スピーカへの出力が均等）が、エフェクトとしてエコーが、夫々割り当てられている。したがって、この割り当て状態において、ユーザにより操作キー１が操作されると、制御部１９の制御の下、当該操作キー１に割り当てられた音階、楽器音、音量、オクターブ、ＰＡＮ、及びエフェクトに応じた音が楽器音源発音部１２から発生することになる。
　次に、楽曲音解析手段の一例としての解析部１８は、例えばＤＳＰ等により構成され、再生された楽曲音、つまり、音声再生部１１から出力された楽曲音を入力しこれを解析して、和音、音階、楽器音（楽器の種類）、音量、音域、曲の調、テンポ等を検出する。これらの音要素の検出は、公知の様々な技術により検出できるので、詳しい説明は省略するが、例えば和音については特開2004-184510号公報に開示される技術により検出することができる。この技術を用いた場合、解析部１８は、入力された楽曲音を所定の時間毎に周波数成分の大きさを示す周波数信号に変換し、当該周波数信号から平均律の各音に対応した周波数成分を所定の時間毎に抽出し、その抽出した各音に対応した周波数成分のうちレベル合計が大となる３つの周波数成分の組によって構成される和音（例えば、Ｃ（ド）、E（ミ）、Ｇ（ソ）によって構成されるＣのコード）を検出する。
　このような解析は、楽曲音の進行に伴い、楽曲音の再生開始時間位置から再生終了時間位置に至るまで所定の解析時間間隔（例えば、数百ｍｓ～数ｓ）毎に行われる。かかる解析時間間隔は、検出する音要素の数や検出処理負荷に応じて長くなる。なお、解析部１８は、曲の調を検出する場合、所定の検出時間間隔毎に検出した和音のデータを蓄積し、蓄積された和音のデータに基づき曲の調（例えば、ハ長調、ト長調）を検出するので、曲の調の解析時間間隔は他の音要素の解析時間間隔に比べて長くなる。
　そして、解析部１８は、楽曲音を解析した解析結果（検出した和音等を示す情報を含む）を制御部１９に出力、つまり、上記所定の解析時間間隔毎に解析した解析結果（解析結果のデータ）を当該時間間隔毎に制御部１９に出力する。
　次に、制御部１９は、ＣＰＵ、ＲＡＭ，及びＲＯＭ等を備え、例えばＲＯＭに記憶されたプログラム（本願の音発生プログラムを含む）を読み出して実行することにより、音響装置Ｓ全体を統括制御するとともに、本願の音要素決定手段、音要素割当手段、操作検出手段、及び音要素情報取得手段等として機能する。
　より具体的には、制御部１９は、データ生成プログラム（データ生成アルゴリズム）に従い、解析部１８からの楽曲音の解析結果に基づいて、当該楽曲音に適合する音要素であって割り当て候補となる音要素を決定し、決定した音要素（又は、音要素群）が示される当該候補データを生成する。
　例えば、解析結果からある和音が得られた場合、制御部１９は、該得られた和音を割り当て候補として決定、又は、該得られた和音の転回形（三和音の場合、第１及び第２の転回形）を割り当て候補として決定、又は、該得られた和音及びこれの転回形を割り当て候補として決定、又は、該得られた和音を構成する各音階を割り当て候補として決定、又は、該得られた和音を構成する各音階及びこれらとオクターブ違いの音階を割り当て候補として決定、又は、該得られた和音を構成する各音階のうちの一部の音階（例えば、ルート音及び５度の音）を割り当て候補として決定する。
　また、例えば、解析結果からある楽器音が得られた場合、制御部１９は、該得られた楽器音を割り当て候補として決定、又は、該得られた楽器音にハーモニーの合う楽器音を割り当て候補として決定、又は該得られた楽器音及びこれとハーモニーの合う楽器音を割り当て候補として決定する。
　なお、上記のように、解析結果から得られる音要素毎にどの音要素を決定するかは、データ生成プログラムやテーブルで予め設定される。
　そして、制御部１９は、上記生成した候補データに示される各音要素（候補）を、各操作キー１～５に割り当て、当該各操作キーを示す操作子番号と当該操作キーに割り当てた音要素を示す音要素情報を対応付けて、割り当て状態保持テーブルに記憶する。例えば、上述したように複数の音階（又は、複数の和音）が割り当て候補として決定された場合、制御部１９は、当該各音階（或いは、各和音）を別々の操作キー毎に割り当てたり、さらに、図３に示すように、複数種類の音要素（音階、楽器音、音量、オクターブ、ＰＡＮ、エフェクト）を操作キー１～５毎に割り当てる。なお、制御部１９は、上記決定した音要素が３つであれば、操作キー４及び５には割り当てないか、或いは、操作キー１及び２と同一の音要素を割り当ててもよい。また、全ての音要素が操作キーに自動的に割り当てられなくともよく、例えば音階又は和音のみが自動的に操作キーに割り当てられ、例えば音量、及びＰＡＮ等の音要素は操作キーに割り当てられないか或いはユーザがマニュアル操作で割り当てるように構成してもよい。上記割り当て候補として決定された音要素であっても、操作キーに割り当てられない場合もある。
　ところで、制御部１９には解析部１８から所定の解析時間間隔毎に解析結果が入力されるので、当該制御部１９は、入力した各解析結果に基づいて、楽曲音に適合する音要素であって割り当て候補となる音要素を当該時間間隔毎に決定して、上記候補データを生成し、候補データに示される音要素を操作キーに当該時間間隔毎に割り当て、当該操作キーを示す操作子番号と当該操作キーに割り当てた音要素を示す音要素情報を対応付けて、割り当て状態保持テーブルに記憶、つまり、割り当て状態保持テーブルの内容を当該時間間隔毎に更新する。なお、このとき、制御部１９は、解析時間間隔毎に入力された解析結果を表示部１６に表示したり、上記時間間隔毎に操作キーに割り当てられた音要素を表示部１６に表示すれば効果的である。
　図４は、解析結果及び割り当てられた音要素の表示例を示す図である。図４に示す例では、解析結果、並びに各操作キーに割り当てられた音階と楽器音が表示されており、所定時間経過後にその内容が切り替わっている。
　そして、制御部１９は、楽曲音の再生中に（つまり、音声再生部１１から楽曲音の出力中に）、当該何れかの操作キーの操作を検出（操作部１５からの操作命令による）したときに、当該操作キーを示す操作子番号に対応付けられて記憶されている最新の音要素情報を、上記割り当て状態保持テーブルから取得し、当該音要素情報を含むコマンドを楽器音源発音部１２に出力する。こうして、当該音要素情報に示される音要素に応じた楽器音が楽器音源発音部１２により発生され、発生された楽器音と音声再生部１１からの楽曲音とが加算部１３においてミキシングされ、増幅部１４を介してスピーカから出力されることになる。これにより、操作キーを操作するユーザが楽器演奏初心者であっても、楽曲音に対して不協和音にならない音を発生させ、当該楽曲音とのアドリブセッションを行うことができる。
　ここで、解析部１８による再生中の楽曲音の解析に要する時間、及び制御部１９による音要素の決定及び操作キーへの割り当てに要する時間があるので、楽器音源発音部１２により発生された楽器音と、音声再生部１１から出力された楽曲音とが同期するように当該楽曲音を、上記解析に要する時間及び音要素の決定及び操作キーへの割り当てに要する時間分遅延させることが望ましい。本実施形態においては、再生中の楽曲音の解析に要する時間、及び制御部１９による音要素の決定及び操作キーへの割り当てに要する時間は、一定時間間隔であるので、遅延時間もこれに合わせて一定時間間隔とすればよい。
　これにより、楽器音源発音部１２により発生された楽器音と当該遅延された楽曲音とがミキシングされて出力されるので、楽器音と楽曲音とのずれがなくなり違和感が生じるのを回避することができる。なお、楽曲音の遅延は、例えば、音声再生部１１（遅延手段の一例）により行われる。例えば、音声再生部１１が記録媒体に記録された楽曲音を再生する構成の場合、再生された楽曲音に係るデータを音声再生部１１がバッファリングして、加算部１３への出力のみを遅延させる。同様に、音声再生部１１がテレビ放送やラジオ放送等から楽曲音を受信して加算部１３及び解析部１８に出力する構成の場合においても、受信された楽曲音に係るデータを音声再生部１１がバッファリングして、加算部１３への出力のみを遅延させるように構成する。
　次に、図５を参照して、本実施形態における音響装置Ｓの動作について説明する。
　図５（Ａ）は、音響装置Ｓの制御部１９における音要素割り当て処理を示すフローチャートであり、図５（Ｂ）は、音響装置Ｓの制御部１９における操作命令入力処理を示すフローチャートである。
　図５（Ａ）に示す処理は、制御部１９が、解析部１８から楽曲音の解析結果を入力することにより開始される。なお、入力された解析結果はＲＡＭの所定領域に記憶される。当該処理が開始されると、制御部１９は、当該入力された解析結果と、前回入力されＲＡＭに記憶された解析結果とを比較し、解析結果が前回と同じであるか否かを判別する（ステップＳ１）。そして、解析結果が前回と同じである場合には（ステップＳ１：ＹＥＳ）、制御部１９は、当該処理を終了し（割り当て状態保持テーブルの内容は更新されない）、次回の解析結果の入力待ちとなる。なお、かかる解析結果の比較処理は行わなくともよい。
　一方、解析結果が前回と同じでない場合には（ステップＳ１：ＮＯ）、制御部１９は、データ生成プログラム（データ生成アルゴリズム）に従い、上述したように、今回入力した楽曲音の解析結果に基づいて、当該楽曲音に適合する音要素であって割り当て候補となる音要素を決定し、決定した音要素が示される候補データを生成する（ステップＳ２）。
　次いで、制御部１９は、上述したように、生成した候補データに示される各音要素を、各操作キーに割り当て、当該各操作キーを示す操作子番号と当該操作キーに割り当てた音要素を示す音要素情報を対応付けて、割り当て状態保持テーブルに記憶する（ステップＳ３）。
　ここで、音要素の操作キーへの割り当ての幾つかの例を説明する。
（例１）候補データに示される音要素がＣの和音である場合、制御部１９は、Ｃ（ド）、Ｅ（ミ）、Ｇ（ソ）の３つの音階を１つの操作キー１に割り当てる。つまり、得られた和音がそのまま和音として操作キーに割り当てられる。そして、制御部１９は、他の操作キーには、当該和音の転回形（ＥとＧと1オクターブ上のＣなど）を割り当てる。
（例２）候補データに示される音要素がＣの和音である場合、制御部１９は、Ｃ（ド）の音階を操作キー1に、Ｅ（ミ）の音階を操作キー２に、Ｇ（ソ）の音階を操作キー３に夫々割り当てる。つまり、得られた和音が分散され操作キーに割り当てられる。そして、制御部１９は、他の操作キーには、オクターブ違いのＣ、Ｅ、Ｇを割り当てる。
（例３）候補データに示される音要素がＣの和音であり、楽器としてベースを想定する場合、制御部１９は、ルート音（Ｃ）を操作キー1に、５度の音（Ｇ）を操作キー２に割り当てる。つまり、得られた和音が分散され、そこから必要な音のみが抜き出されて操作キーに割り当てられる。そして、制御部１９は、他の操作キーには、オクターブ違いのＣ、Ｇを割り当てる。
（例４）候補データに示される音要素がＣの和音である場合、制御部１９は、和音が切り替わる度に操作キーへの割り当てを切り替えるのではなく、和音を累積した結果から曲の調（スケール）を割り出す。例えばＣのメジャーペンタトニックスケールと割り出した場合、制御部１９は、Ｃ，Ｄ，Ｅ，Ｇ，Ａの音階を操作キー１，２，３，４，５に夫々割り当てる。他にも操作キーがある場合、オクターブ違いのスケールを割り当てるなどしてもよい。
　次いで、制御部１９は、上記入力された解析結果、及び割り当てられた音要素を表示部１６に表示（再描画）し（ステップＳ４）、その後、上記処理を終了し、次回の解析結果の入力待ちとなる。
　このような処理により、再生中の楽曲音に合う音要素（または不協和音以外の音要素）がリアルタイムかつ自動的に操作キーに割り当てられる。また、操作キーに対する音要素の割り当ては一定ではなく、楽曲音の進行に応じてリアルタイムかつ自動的に適切な音要素に変化することになる。
　次に、図４（Ｂ）に示す処理は、制御部１９が、操作部１５から操作命令を入力することにより開始される。当該処理が開始されると、制御部１９は、入力された操作命令が音声再生部１１に対する命令（例えば、楽曲音の再生命令、停止命令等）であるか否かを判別し（ステップＳ１１）、音声再生部１１に対する命令である場合には（ステップＳ１１：ＹＥＳ）、ステップＳ１２に進み、音声再生部１１に対する命令でない場合には（ステップＳ１１：ＮＯ）、ステップＳ１３に進む。
　ステップＳ１２では、制御部１９は、音声再生部１１に対する命令を実行し、その後、当該処理を終了し、次回の操作命令の入力待ちとなる。音声再生部１１は、制御部１９からの命令にしたがって動作、例えば音声再生部１１から楽曲音が再生出力することになる。
　ステップＳ１３では、入力された操作命令が楽器音源発音部１２に対する命令、つまり、発音操作部１５ｂにおいて音要素が割り当てられた操作キーからの命令であるか否かを判別し、楽器音源発音部１２に対する命令である（つまり、音要素が割り当てられた操作キーの操作を検出した）場合には（ステップＳ１３：ＹＥＳ）、ステップＳ１４に進み、楽器音源発音部１２に対する命令でない場合には（ステップＳ１３：ＮＯ）、ステップＳ１７に進む。
　ステップＳ１４では、制御部１９は、楽器音源発音部１２に対する命令に対応する操作キーを示す操作子番号に対応付けられて記憶されている最新の音要素情報を、上記割り当て状態保持テーブルから取得する。
　次いで、制御部１９は、取得した音要素情報を含むコマンドを楽器音源発音部１２に出力する（ステップＳ１５）。こうして、当該音要素情報に示される音要素に応じた楽器音が楽器音源発音部１２により発生され、発生された楽器音と音声再生部１１からの楽曲音とが加算部１３において同期がとられつつミキシングされ、増幅部１４を介してスピーカから出力されることになる。
　次いで、制御部１９は、楽器音源発音部１２に対する命令に対応する操作キーが操作されたことを示す情報（例えば、ハイライト表示）を、図４に示すように解析結果及び操作キーに割り当てられた音要素とともに表示し（ステップＳ１６）、その後、当該処理を終了し、次回の操作命令の入力待ちとなる。
　ステップＳ１７では、制御部１９は、入力された操作命令が、割り当て変更（マニュアル変更）命令であるか否かを判別し、割り当て変更命令である場合には（ステップＳ１７：ＹＥＳ）、ステップＳ１８に進み、割り当て変更命令でない場合には（ステップＳ１７：ＮＯ）、ステップＳ１９に進む。
　ステップＳ１８では、制御部１９は、割り当て変更命令にしたがって割り当て状態保持テーブルの内容を変更する処理を実行し、その後、当該処理を終了し、次回の操作命令の入力待ちとなる。かかる割り当て状態保持テーブルの内容を変更する処理では、制御部１９は、操作部１５を通じてユーザからの指示された音要素を、ユーザから指示された操作キーに割り当て、当該操作キーを示す操作子番号と当該操作キーに割り当てた音要素を示す音要素情報を対応付けて、割り当て状態保持テーブルに記憶する。例えば、操作キー１にバイオリンの音色、操作キー２にピアノの音色、操作キー３にトランペットの音色、操作キー４にフルートの音色というようにマニュアルで割り当てられる。或いは、何れかの操作キー、例えば、操作キー２のみエレキギターの音色を割り当て、その他の操作キーにはステップＳ３の処理にしたがって自動で楽器音を割り当てるように構成してもよい。
　ステップＳ１９における、その他の処理では、例えば、装置全体に関わる電源オン／オフや各種設定、増幅部１４の各種設定などの処理が行われる。
　以上説明したように、上記実施形態によれば、制御部１９は、再生中の楽曲音の解析結果に基づいて、当該楽曲音に適合する音要素を決定して操作キーにリアルタイムかつ自動的に割り当て、当該楽曲音の再生中に操作キーの操作を検出したときに、当該操作キーに割り当てられた音要素で楽器音源発音部１２に音を発生させるようにしたので、ユーザは、現在再生されている楽曲音にハーモニーの合う音（又は不協和音にならない音）が何かを自らの音感で判別してその音が割り当てられた操作キーを選択して操作する必要がなく、直感的な操作（つまり、操作キーを操作するタイミング、言い換えれば、音を鳴らすタイミング）のみに集中すれば良く、どの操作キーを選択しても意図しないハーモニー（例えば不協和音になる音）を避ける演奏が可能となる。したがって、操作キーを操作するユーザが楽器演奏初心者であっても、弾き間違えることなく、楽曲音に対して不協和音にならない音を発生させ、当該楽曲音とのアドリブセッションを行うことができる。
　また、本実施形態に係る音響装置Ｓでは、演奏した音が勝手に楽曲に合うのではなく、合わない音を排除した音要素（もしくは合う音のみを集めた音要素）をユーザにリアルタイムに（時々刻々変化して）提供することができる。また、ユーザは決められた１つの音のみを鳴らすのではなく、選択できる権限があることから、予め用意された楽曲である必要はなく、どのような楽曲であっても適用可能である。
　また、操作キーに割り当てる音要素は１つではなく複数の音要素が割り当てられることから、ユーザにとって選択肢が広がり、アドリブ感やオリジナリル感が得られる。
　また、解析部１８に様々な解析技術を導入することにより、自動音量レベル調整や、違和感のない音色の自動割り当ても可能となる。
　また、音要素の操作キーへの割り当てを自動的に行うとともに、マニュアルで行うことができるようにしたので、ユーザにとって選択肢がより広がり、オリジナリル感を一層得られる。
　また、上記実施形態においては、複数の操作キーが設けられた発音操作部１５ｂが一つである場合を例にとったが、発音操作部１５ｂを複数ユーザで使用可能なように複数用意し、夫々の発音操作部１５ｂにおける操作キーに割り当てる楽器音等を異ならせることにより、バンド演奏を手軽に楽しむことが可能となる。例えば、ユーザＸが使用する発音操作部Ｘにおける操作キーにエレキギターの音色をマニュアルで割り当て（音階及び音域等は自動割り当て）、ユーザＹが使用する発音操作部Ｙにおける操作キーにドラムの音色をマニュアルで割り当て、ユーザＺが使用する発音操作部Ｚにおける操作キーにピアノの音色をマニュアルで割り当て（音階及び音域等は自動割り当て）るように構成する。
　また、上記実施形態において、加算部１３におけるミキシング時に、楽曲音のみをミュート（つまり、楽器音源発音部１２から発生した音のみスピーカから出力）するように構成してもよい。この構成によれば、オリジナル曲の特徴を受け継ぐ別の新しい楽曲が作曲可能となる。この構成は、上述したように、発音操作部１５ｂを複数ユーザで使用可能なように複数用意し、夫々の発音操作部１５ｂにおける操作キーに割り当てる楽器音等を異ならせるようにした場合において特に効果的である。
　なお、上記実施形態にかかる音響装置Ｓは、オーディオプレーヤー全般（ホームオーディオ、カーオーディオ、携帯プレーヤ）、電子楽器、ＤＪ機器、カラオケ機器、ラジオ機器、テレビ機器、その他本願に特化した新しい組込製品に適用可能である。
１１　音声再生部
１２　楽器音源発音部
１３　加算部
１４　増幅部
１５　操作部
１６　表示部
１７　記憶部
１８　解析部
１９　制御部
Ｓ　音響装置

Claims (11)

  1. 　再生された楽曲音を解析する楽曲音解析手段と、
    　前記楽曲音の解析結果に基づいて、当該楽曲音に適合する音要素を決定する音要素決定手段と、
    　前記決定された音要素を、ユーザにより操作される操作子に割り当て、当該操作子を示す操作子情報と当該操作子に割り当てた前記音要素を示す音要素情報を対応付けて記憶する音要素割当手段と、
    　前記楽曲音の再生中に、前記操作子の操作を検出する操作検出手段と、
    　前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記音要素情報を取得する音要素情報取得手段と、
    　前記取得された音要素情報に示される音要素に応じた音を発生させる発音手段と、
    　を備えることを特徴とする音発生装置。
  2. 　請求項１に記載の音発生装置において、
    　前記発生された音と前記再生された楽曲音とをミキシングして出力する出力手段を備えることを特徴とする音発生装置。
  3. 　請求項２に記載の音発生装置において、
    　前記発生された音と前記再生された楽曲音とが同期するように当該楽曲音を遅延させる遅延手段を備え、
    　前記出力手段は、前記発生された音と前記遅延された楽曲音とをミキシングして出力することを特徴とする音発生装置。
  4. 　請求項１乃至３の何れか一項に記載の音発生装置において、
    　前記音要素決定手段は、前記楽曲音の解析結果に基づいて、当該楽曲音に適合する複数の音要素を決定し、
    　前記音要素割当手段は、前記決定された各音要素を、前記操作子に割り当て、当該操作子を示す操作子情報と当該操作子に割り当てた前記各音要素を示す各音要素情報を対応付けて記憶し、
    　前記音要素情報取得手段は、前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記各音要素情報を取得し、
    　前記発音手段は、前記取得された各音要素情報に示される音要素に応じた音を発生させることを特徴とする音発生装置。
  5. 　請求項１乃至３の何れか一項に記載の音発生装置において、
    　前記音要素決定手段は、前記楽曲音の解析結果に基づいて、当該楽曲音に適合する複数の音要素を決定し、
    　前記音要素割当手段は、前記決定された各音要素を、複数の前記操作子のうち、別々の前記操作子毎に割り当て、当該各操作子を示す操作子情報毎に、当該各操作子に割り当てた前記各音要素を示す各音要素情報を対応付けて記憶し、
    　前記音要素情報取得手段は、何れかの前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記音要素情報を取得し、
    　前記発音手段は、前記取得された音要素情報に示される音要素に応じた音を発生させることを特徴とする音発生装置。
  6. 　請求項１乃至５の何れか一項に記載の音発生装置において、
    　前記音要素割当手段は、前記決定された音要素を、楽器音毎に対応する前記操作子の夫々に割り当て、当該各操作子を示す操作子情報毎に、当該各操作子に割り当てた前記各音要素を示す各音要素情報を対応付けて記憶し、
    　前記音要素情報取得手段は、何れかの前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記音要素情報を取得し、
    　前記発音手段は、前記取得された音要素情報に示される音要素に応じた音を、前記操作が検出された操作子に対応する楽器音で発生させることを特徴とする音発生装置。
  7. 　請求項１乃至６の何れか一項に記載の音発生装置において、
    　前記楽曲音解析手段は、前記楽曲音の開始時間位置から終了時間位置に至るまで所定時間間隔毎に解析し、
    　前記音要素決定手段は、前記楽曲音の解析結果に基づいて、当該楽曲音に適合する音要素を前記所定時間間隔毎に決定し、
    　前記音要素割当手段は、前記所定時間間隔毎に決定された音要素を、前記操作子に割り当て、当該操作子を示す操作子情報と当該操作子に割り当てた前記音要素を示す音要素情報を前記所定時間間隔毎に更新することを特徴とする音発生装置。
  8. 　請求項１乃至７の何れか一項に記載の音発生装置において、
    　前記音要素決定手段は、前記楽曲音の解析結果に基づいて、当該楽曲音に適合する和音又は音階を前記音要素として決定することを特徴とする音発生装置。
  9. 　音発生装置における音発生方法であって、
    　再生された楽曲音を解析する工程と、
    　前記楽曲音の解析結果に基づいて、当該楽曲音に適合する音要素を決定する工程と、
    　前記決定された音要素を、ユーザにより操作される操作子に割り当て、当該操作子を示す操作子情報と当該操作子に割り当てた前記音要素を示す音要素情報を対応付けて記憶する工程と、
    　前記楽曲音の再生中に、前記操作子の操作を検出する工程と、
    　前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記音要素情報を取得する工程と、
    　前記取得された音要素情報に示される音要素に応じた音を発生させる工程と、
    　を含むことを特徴とする音発生方法。
  10. 　コンピュータを、
    　再生された楽曲音を解析する楽曲音解析手段、
    　前記楽曲音の解析結果に基づいて、当該楽曲音に適合する音要素を決定する音要素決定手段、
    　前記決定された音要素を、ユーザにより操作される操作子に割り当て、当該操作子を示す操作子情報と当該操作子に割り当てた前記音要素を示す音要素情報を対応付けて記憶する音要素割当手段、
    　前記楽曲音の再生中に、前記操作子の操作を検出する操作検出手段、
    　前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記音要素情報を取得する音要素情報取得手段、及び、
    　前記取得された音要素情報に示される音要素に応じた音を発生させる発音手段として機能させることを特徴とする音発生プログラム。
  11. 　請求項１０に記載の音発生プログラムがコンピュータ読み取り可能に記録されていることを特徴とする記録媒体。
PCT/JP2009/057655 2009-04-16 2009-04-16 音発生装置、音発生方法、音発生プログラム、及び記録媒体 WO2010119541A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2009/057655 WO2010119541A1 (ja) 2009-04-16 2009-04-16 音発生装置、音発生方法、音発生プログラム、及び記録媒体
JP2011509140A JPWO2010119541A1 (ja) 2009-04-16 2009-04-16 音発生装置、音発生方法、音発生プログラム、及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/057655 WO2010119541A1 (ja) 2009-04-16 2009-04-16 音発生装置、音発生方法、音発生プログラム、及び記録媒体

Publications (1)

Publication Number Publication Date
WO2010119541A1 true WO2010119541A1 (ja) 2010-10-21

Family

ID=42982224

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/057655 WO2010119541A1 (ja) 2009-04-16 2009-04-16 音発生装置、音発生方法、音発生プログラム、及び記録媒体

Country Status (2)

Country Link
JP (1) JPWO2010119541A1 (ja)
WO (1) WO2010119541A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022049759A1 (ja) * 2020-09-07 2022-03-10 ＡｌｐｈａＴｈｅｔａ株式会社 音響機器、音響機器の制御方法およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09101780A (ja) * 1995-10-03 1997-04-15 Roland Corp 楽音制御装置
JPH10254447A (ja) * 1998-03-23 1998-09-25 Yamaha Corp リズム楽音制御装置
JP2005321514A (ja) * 2004-05-07 2005-11-17 Nintendo Co Ltd ゲーム装置および音程付効果音生成プログラムならびに方法
JP2008040284A (ja) * 2006-08-09 2008-02-21 Kawai Musical Instr Mfg Co Ltd テンポ検出装置及びテンポ検出用コンピュータプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58137898A (ja) * 1982-02-09 1983-08-16 セイコーインスツルメンツ株式会社 電子楽器
JP3577572B2 (ja) * 2001-05-17 2004-10-13 カシオ計算機株式会社 電子楽器
JP3928529B2 (ja) * 2002-09-25 2007-06-13 ヤマハ株式会社 電子楽器
JP4244133B2 (ja) * 2002-11-29 2009-03-25 パイオニア株式会社 楽曲データ作成装置及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09101780A (ja) * 1995-10-03 1997-04-15 Roland Corp 楽音制御装置
JPH10254447A (ja) * 1998-03-23 1998-09-25 Yamaha Corp リズム楽音制御装置
JP2005321514A (ja) * 2004-05-07 2005-11-17 Nintendo Co Ltd ゲーム装置および音程付効果音生成プログラムならびに方法
JP2008040284A (ja) * 2006-08-09 2008-02-21 Kawai Musical Instr Mfg Co Ltd テンポ検出装置及びテンポ検出用コンピュータプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022049759A1 (ja) * 2020-09-07 2022-03-10 ＡｌｐｈａＴｈｅｔａ株式会社 音響機器、音響機器の制御方法およびプログラム

Also Published As

Publication number Publication date
JPWO2010119541A1 (ja) 2012-10-22

Similar Documents

Publication Publication Date Title
TWI479476B (zh) 鈸振動的電子處理的系統與方法
WO2017057530A1 (ja) 音響処理装置及び音響処理方法
JP5163100B2 (ja) 自動伴奏装置及びプログラム
JP4379291B2 (ja) 電子音楽装置及びプログラム
US8373055B2 (en) Apparatus, method and computer program for switching musical tone output
JP7367835B2 (ja) 録音再生装置、録音再生装置の制御方法及び制御プログラム並びに電子楽器
JP6860077B2 (ja) 楽音データ再生装置および楽音データ再生方法
WO2010119541A1 (ja) 音発生装置、音発生方法、音発生プログラム、及び記録媒体
JP5109426B2 (ja) 電子楽器及びプログラム
KR200255782Y1 (ko) 악기 연주연습이 가능한 영상가요 반주장치
JP5510207B2 (ja) 楽音編集装置及びプログラム
JP2008187549A (ja) 楽器演奏アシストシステム
US10805475B2 (en) Resonance sound signal generation device, resonance sound signal generation method, non-transitory computer readable medium storing resonance sound signal generation program and electronic musical apparatus
JP4255871B2 (ja) 電子楽器の表示装置
JP6357772B2 (ja) 電子楽器、プログラム及び発音音高選択方法
JP4094441B2 (ja) 電子楽器
JP5590350B2 (ja) 楽曲演奏装置及び楽曲演奏用プログラム
JP6587396B2 (ja) ギターカラオケ採点機能を備えるカラオケ装置
JP6264660B2 (ja) 音源制御装置、カラオケ装置、音源制御プログラム
JP3682691B2 (ja) 楽音情報割当操作子を有する電子音楽装置
JP5151523B2 (ja) 電子楽器
JP5505012B2 (ja) 電子音楽装置及びプログラム
JP2021001989A (ja) 楽音出力装置、電子楽器、楽音出力方法、及びプログラム
KR101053940B1 (ko) 음악 파일 재생 장치 및 재생 방법
JP2005049469A (ja) 管楽器型の電子楽器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09843322

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2011509140

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09843322

Country of ref document: EP

Kind code of ref document: A1