WO2008004690A1 - Dispositif portatif de production d'accords, programme d'ordinateur et support d'enregistrement - Google Patents

Dispositif portatif de production d'accords, programme d'ordinateur et support d'enregistrement Download PDF

Info

Publication number
WO2008004690A1
WO2008004690A1 PCT/JP2007/063630 JP2007063630W WO2008004690A1 WO 2008004690 A1 WO2008004690 A1 WO 2008004690A1 JP 2007063630 W JP2007063630 W JP 2007063630W WO 2008004690 A1 WO2008004690 A1 WO 2008004690A1
Authority
WO
WIPO (PCT)
Prior art keywords
chord
output
operator
touch
image
Prior art date
Application number
PCT/JP2007/063630
Other languages
English (en)
French (fr)
Inventor
Kosuke Asakura
Seth Delackner
Original Assignee
Plato Corp.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Plato Corp. filed Critical Plato Corp.
Priority to US12/307,309 priority Critical patent/US8003874B2/en
Priority to JP2008523768A priority patent/JP4328828B2/ja
Priority to EP07768354A priority patent/EP2045796A4/en
Publication of WO2008004690A1 publication Critical patent/WO2008004690A1/ja

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10GREPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G7/00Other auxiliary devices or accessories, e.g. conductors' batons or separate holders for resin or strings
    • G10G7/02Tuning forks or like devices
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/38Chord
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005Non-interactive screen display of musical or status data
    • G10H2220/011Lyrics displays, e.g. for karaoke applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/096Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith using a touch screen
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2230/00General physical, ergonomic or hardware implementation of electrophonic musical tools or instruments, e.g. shape or architecture
    • G10H2230/005Device type or category
    • G10H2230/015PDA [personal digital assistant] or palmtop computing devices used for musical purposes, e.g. portable music players, tablet computers, e-readers or smart phones in which mobile telephony functions need not be used
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/541Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
    • G10H2250/641Waveform sampler, i.e. music samplers; Sampled music loop processing, wherein a loop is a sample of a performance that has been edited to repeat seamlessly without clicks or artifacts

Definitions

  • the present invention relates to a portable chord output device that allows an operator to perform chords played by an actual musical instrument such as a guitar or a piano, and related products.
  • this type of electronic musical instrument apparatus is configured by providing a plurality of sensors, a sound output unit, and a control unit in a casing shaped like an actual musical instrument.
  • the sensor is provided at a site where the operation is performed, and outputs predetermined data when it is detected that the operator has performed an operation.
  • the control unit stores a program and data for musical tone output, generates sound source data corresponding to the sensor output, and outputs it from a sound output unit including a speaker.
  • Some electronic musical instrument devices have a display unit such as a light emitting element or a display.
  • the operation procedure is sequentially displayed on the display unit, and the operator performs an operation input according to the procedure, thereby outputting the same musical sound as that of the actual musical instrument.
  • Some electronic musical instrument devices are accompanied by the display of lyrics, as in so-called “karaoke”. That is, the lyric data linked to the operation instruction data representing the operation content to be operated by the operator is stored in the memory of the device, and the operation instruction data is displayed together with the lyric data displayed on the display unit. By doing so, the lyrics display and the operation instruction contents are linked.
  • the conventional electronic musical instrument device has the advantage of being able to output musical sounds at a low price instead of expensive real musical instruments or power rackets.
  • these electronic musical instrument devices can be operated easily even by those who cannot play the actual musical instruments, as long as they learn the operating procedures unique to the device. Music is not something you can't enjoy unless you can skillfully play a musical instrument. Music is familiar. For example, in the case of a guitar, you can enjoy music anywhere, even if you can play a chord without being able to play a melody. However, there are a huge variety of chords, and it is hard to remember them. For example, a chord consisting of only three sounds includes C, Dm, Em, F, G, Am, and Bm.
  • chords there are four chords, such as Cm aj 7, Dm 7, E m 7, F maj 7, G 7, Am 7, B m 7 b 5.
  • chords with tenth notes such as 9 degrees and 11 degrees from the fundamental; and 3 ⁇ 4 [].
  • the chord form varies depending on the position on the fingerboard. In other words, even the C code is different from the finger hold position in the low position, the finger hold position in the high position, or the finger hold position in the middle position between them.
  • the appropriate finger pressing position is also shown on the paper for each piece of music, but the printed matter itself is bulky and the handling is poor.
  • This situation is not limited to guitars, but other real instruments that can output chords, such as pianos. It is common to a small electronic musical instrument device that electronically realizes a sound such as a fan.
  • the present invention makes it possible for an operator to output by a simple operation with free power at his / her own pace, regardless of his / her skill level, or to play and talk, or to gather many friends. It is an object of the present invention to provide a portable chord output device that can perform accompaniment during chorus by an operator. Disclosure of the invention
  • the chord output device includes a plurality of operators that can be selected by one operator with one hand and a touch sensor that can be operated directly or indirectly by the operator with one other finger.
  • the housing is provided with a data memory, a control mechanism, and a sound output mechanism that are coupled to each other, and the data memory has a chord having a sound characteristic played by a real musical instrument.
  • a plurality of chord data files to be output from the sound output mechanism are recorded together with a chord ID for identifying the chord, and one of the chord IDs is assigned to each of the plurality of operators. .
  • the control mechanism includes an operation element selection status detection unit that detects which operation element the operator starts to select and removes the selection, and an operation content detection that detects an operation content including a touch start time to the touch sensor. And a chord data file identified based on the chord ID assigned to the manipulator detected by the manipulator selection status detecting means is read from the data memory and supplied to the sound output mechanism. Chord output control means for outputting a chord that can be output from the sound output mechanism in a manner linked to the operation content detected by the operation detection means.
  • the operation content detection means detects, for example, at least one of the touch start timing, the touch operation direction to the touch sensor, the touch operation speed, and the touch operation position. It is.
  • the chord output control means when the touch operation direction or the touch operation speed is detected, the chord output control means outputs a chord determined according to the detection direction or the detection speed from the sound output mechanism, and the touch operation direction.
  • the output frequency is changed according to the direction of change, and when a change in the touch operation speed is detected, the output intensity is changed.
  • an output mode assigned in advance to the detected position is output.
  • the chord data file is, for example, a data file obtained by recording a chord played by an actual instrument.
  • the actual instrument uses a string in which the chord is played by a plurality of strings being elastic at approximately the same time. It is a musical instrument.
  • the chord output device is configured to include a memory collection / removal mechanism for detachably coupling the data memory to the control mechanism and the sound output mechanism.
  • the data memory the data file for each real musical instrument including the instrument using the stringed instrument is recorded.
  • the data memory also stores music display image data composed of a plurality of consecutive bars, and each bar has one or more chord IDs assigned to the actual musical instrument.
  • the control mechanism may include a music image for each one or more bars in a predetermined image display area based on the display image data of the music.
  • the chord data file specified based on the chord ID associated with the measure of the currently displayed music image is output from the sound output mechanism, the displayed music image
  • display control means for displaying a music image including one or more of the following measures in the image display area, the operator selecting the operator and operating the touch sensor, The display change of the music image in the image display area is advanced.
  • the music image displayed in the image display area includes, for example, the lyrics of the music assigned to the one or more measures, information for guiding the operation timing of the touch sensor for chord output, It shall be accompanied by at least one of the information that guides the generation of chords in the instrument.
  • the control mechanism further includes history recording means for recording the progress history of display change of the music image, the selection history of the operator associated with the display of the music image, and the touch operation history of the touch sensor in association with each other. It can be provided.
  • a chord output device having such a control mechanism is triggered by the input of an operator's instruction.
  • the display control means reproduces the display change of the music image in the image display area, and the selection history
  • the chord output control means reproduces the chord output linked to the display change and the change of the mode.
  • vibration image data for representing a vibration image of sound is recorded, and the control mechanism displays a vibration image file read from the data memory in a vibration image display area different from the image display area. causes display on the vibration image being displayed, it is changed according to an output of said chord, c present invention in which the output intensity can be made further comprising a vibration image display control means for stationary when it becomes zero.
  • a computer program for operating a computer mounted in a portable case as a portable chord output device is formed with a plurality of operators that can be selected by one operator with one finger of one hand, and a touch sensor that can be directly or indirectly touched by the operator with one finger of the other hand.
  • a data memory and a sound output mechanism are provided in the computer, and in the data memory, a chord data file for outputting a chord having a sound characteristic played by an actual musical instrument from the sound output mechanism, Multiple recorded chord IDs together with chord IDs for identifying chords.
  • the computer program according to the present invention provides the computer, an assigning means for assigning one of the chord IDs to each of the plurality of operators, and the operator starts selecting which operator.
  • the operator selection status detection means for detecting the key that has been released from the selection
  • the operation content detection means for detecting the operation content including the touch start time to the Mochi touch sensor, and the operator detected by the operator selection status detection means.
  • chord data file specified based on the assigned chord ID is read from the data memory and supplied to the sound output mechanism, and the touch operation detecting means detects a chord that can be output as a result. It is made to function as a chord output control means for outputting from the sound output mechanism in a manner linked with the operation content.
  • a computer program is recorded on a computer-readable recording medium.
  • FIG. 1 is a structural explanatory view showing an embodiment of the chord output device of the present invention, where (a) is a front view, (b) is an upper bottom view, and (c) is a lower bottom view.
  • Fig. 2 is a diagram showing the internal configuration of the housing and the connection state diagram of various components.
  • Fig. 3 (a) is the initial vibration image, (b) is the "medium” level vibration image, (c) is the “strong” level vibration image, and (d) is the "weak” level vibration image. is there.
  • FIG. 4 is a display screen showing an example of a music image.
  • FIG. 5 is a display screen showing an example of the guidance image.
  • Figure 6 shows an example of a screen that allows the operator to select which chord to set (modify if registered) on the eight controls on the operation switch and expansion switch.
  • Figure 7 shows an example of a screen for checking the current settings.
  • FIG. 8 (a) to (c) are diagrams showing the types of chords that can be actually selected and input with the operation switch after being set (corrected).
  • FIG. 9 is an explanatory diagram of the contents of the table for managing the chord ID and the file ID.
  • FIG. 10 is an explanatory diagram of the procedure in the vibration waveform mode.
  • FIG. 11A is a procedure explanatory diagram illustrating an example of processing of each of the first chord and the second chord when the second chord is further output after the first chord is output.
  • FIG. 11B is a procedure explanatory diagram illustrating an example of processing of each of the first chord and the second chord when the second chord is further output after the first chord is output.
  • FIG. 12 (a) to (c) are explanatory diagrams of chords output from channel A and channel B, respectively.
  • FIG. 13 (a) is an explanatory diagram of an output state of a chord output from channel A, and (b) is an explanatory diagram of an output state of a chord output from channel B.
  • FIG. 14 (a) to (d) are examples in which the stylus pen or the like is operated from the top to the bottom and then changed from side to side, and (e) to (h) are from the bottom to the top. This is an example of a change in the left / right direction after operation.
  • Fig. 15 is an explanatory diagram of the reverberation effect processing.
  • Figure 16 is an explanatory diagram of the procedure in the guidance mode.
  • Figure 17 is an explanatory diagram of the hand j in karaoke mode.
  • Figure 18 shows the difference in screen transition between success and failure in karaoke mode.
  • Fig. 19 shows an example of the display screen of Display 11 when using multiple channels and mixing and crossfade depending on the operating direction of the controls.
  • FIG. 1 is an explanatory diagram of the structure of the chord output device according to this embodiment.
  • (A) is a front view
  • (b) is an upper bottom view
  • (c) is a lower bottom view.
  • This chord output device has a housing 10 of a size that can be held with one hand, and is configured so that the memory card 20 can be removably accommodated in the housing 10.
  • a display 11 that also serves as a touch sensor panel is provided in a substantially central portion of the housing 10.
  • the display 11 is, for example, an LCD (Liquid Crystal Display) array whose surface is covered with a touch sensor such as EL (Electro Luminescence).
  • the outer edge portion of the display 11 is slightly recessed with respect to the surface of the housing 10, and a stylus pen described later is traced along the outer edge portion.
  • a touch sensor any one of a resistance film type, an optical type (infrared type), and a capacitive coupling type can be used.
  • Display 1 1 can be touched with the stylus pen tip or finger (hereinafter sometimes referred to as “stylus pen etc.”) and touched with a stylus pen etc.
  • the operation contents including the change of the touch coordinate position are transmitted to the control unit described later.
  • operation switches 1 2 1 and 1 2 2 are provided at positions almost symmetrical with respect to the central axis in the short side direction, and sound output holes 1 4 1 , 1 4 2 are formed.
  • the operation switch 1 2 1 functions as a digital joystick and has eight controls, and the operator can select one of these controls. By pressing the button, a maximum of 8 types of data can be selectively input only during the pressing operation. That is, it is possible to detect in the control unit 40, which will be described later, which operator has started to be selected and which selection has been removed.
  • the operation switch 1 2 2 functions as a digital switch and has 8 operation contacts. By pressing one of these 8 operation points, up to 8 types of data can be input. Is acceptable.
  • the operation switch 1 2 1 on the left side toward the paper surface is tilted and pressed with the thumb of the left hand, that is, 0 degrees, 45 degrees, 90 degrees, 1 3 5 degrees, 1 8 starting from the center.
  • the direction switch is used as a direction switch for pressing in the direction tilted in any of the eight directions of 0 degrees, 2 2 5 degrees, 2 70 degrees, or 3 1 5 degrees, while the operation switch on the right side is 1 2 2 Used as a switch for selecting operation modes, optional functions, etc., operated with the thumb of the right hand. Considering the presence of right-handed and left-handed operators, both switches 1 2 1 and 1 2 2 can be interchanged.
  • Operation switches 1 2 1 and 1 2 2 that both function as digital joysticks can be used, and which operation switch can be set as a direction indication switch or an operation selection switch can be arbitrarily set. Again, good. Further, the operation switch 1 2 2 does not necessarily have 8 operation contacts, and may share 2 to 4 contacts.
  • a power switch 15 is provided above the sound output hole 14 1, and a start switch 16 1 and a function switch 16 2 are provided above the sound output hole 14 2.
  • a push button can be used for these switches 1 5, 1 6 1, 1 6 2.
  • the start switch 1 6 1 is pressed by the operator when starting (resuming) the operation or pausing the operation.
  • the function switch 1 6 2 is used to press various selection screens and display contents on the operation screen for chord output.
  • a pair of expansion operation switches 1 3 1 and 1 3 2 are provided on the upper side surface of the housing 10 at portions that are substantially symmetrical with respect to the central axis in the short side direction. Furthermore, an accommodation space for the stylus pen 30 and a locking portion 17 for the stylus pen 30 are formed in the substantially central portion and are raised.
  • the extended operation switch 1 3 1 has 8 directions that can be indicated with the operation switch 1 2 1 This group is arranged in a position where the operator can operate with the index finger or middle finger of the left hand when the operator grips the housing 10 with the left hand. By pressing the extended operation switch 131 or not pressing the operator, the operator can input and input up to 16 directions with only the left hand operation.
  • the extended operation switch 132 and the operation switch 122 are the same as described above.
  • the extended operation switch 132 can switch from a group of up to eight types of selection contents that can be selected by the operation switch 122 to another group.
  • the maximum number of chords that can be output by this chord output device is (16X8).
  • a housing space 18 for the memory card 20 and an external output terminal 19 for guiding chord data output from the chord output device power to an external amplifier connected to a speaker are formed on the lower side surface of the housing 10. Yes.
  • the chord output device of this embodiment includes a control unit, which is a kind of computer, and its peripheral electronic components inside a housing 10.
  • FIG. 2 shows an internal configuration diagram of the housing 10 and a connection state of various components.
  • a control unit 40 shown in FIG. 2 includes a connector 41 for detachably storing the memory card 20, a CPU (Central Processing Unit) core 42 including a main processor, and a RAM (Random Access Memory) functioning as a cache memory. 43) SPU (Sound Processing Unit) 44 that performs sound processing, 2 GPUs (Graphic Processor Unit) 451 and 452 that perform image processing, and image display in two image areas 11 a and 1 1 b
  • the display controller 47 and the I / O (Input / Output) interface 48 are connected via the internal bus B 1.
  • SPU44 and GPU451, 452 are composed of single chip AS IC, for example.
  • the SPU 44 receives a sound command from the CPU core 42 and performs sound processing according to the sound command.
  • sound processing is information processing for outputting stereo chords that can be reproduced by each of the two sound output units 241 and 242.
  • the GPUs 451 and 452 receive the drawing command from the CPU core 42 and generate image data according to the drawing command.
  • the CPU core 42 sends an image generation instruction necessary for generating image data to the GPU 451, Give to each of 452.
  • the contents of the drawing command from the CPU core 42 to each GPU 451 and 452 vary depending on the scene, which will be described later.
  • VR AM Video Random Access Memory 461 and 462 for drawing image data are connected to the two GPUs 451 and 452, respectively.
  • image data to be displayed in the first display area 11a of the display 11 is drawn by the GPU 451.
  • image data to be displayed in the second display area 11 a of the display 11 is drawn on the VRAM 462 by the GPU 452. The contents of the image data will be described later.
  • the display controller 47 reads out the image data drawn in these VRAMs 461 and 462 and performs a required display control process.
  • Display controller 47 includes a register.
  • the register stores data values of “00”, “01”, “1 0”, “11” according to instructions from the CPU core 42.
  • the data value is determined, for example, according to the instruction content of the operator selected through the function switch 162.
  • the display controller 47 performs, for example, the following control according to the register data value.
  • Data value “00” ⁇ Does not output the image data drawn in VRAM 461 and 462 to display areas 11a and 11b. For example, when the user has become accustomed to the operation of the chord output device and the display on the display 11 is no longer required, the data value can be output to the display controller 47 by the function switch 162.
  • the second display area 11 b is the entire display area of the display 11.
  • the first display area 11 a is the entire display area of the display 11.
  • the display area of display 11 is divided into a first display area 11 a and a second display area 11 b, and the image data drawn on VRAM 461 is output to the first display area 11 a.
  • the image data drawn in VRAM 462 is displayed in the second display area. Output to lib.
  • the memory card 20 includes a ROM (Read Only Memory) 21 and an EEPROM (Electronically Erasaole and Programmable Read Only Memory) 22.
  • a flash memory or other non-volatile memory can be used in place of the EE PROM.
  • the ROM 2 and EEPROM RAM 22 are connected to each other by a bus (not shown), and this bus is joined to the internal bus B 1 of the control unit 40 via the connector 41.
  • the CPU core 42, the SPU 44, and the GPUs 451 and 452 can directly access the ROM 21 and the E EPROM 22 of the memory card 20.
  • the I / O interface 48 receives the pressing operation data from the above-described various switches 121, 122, 131, 132, 15, 161, 162 and the touch operation data from the display 1 1 force.
  • the pressing operation data is data indicating which button the operator has pressed
  • the touch operation data is data indicating the content of the touch operation by the operator.
  • chord data is output to the sound output units 241 and 242.
  • the chord data is sound data generated by the cooperation of the CPU core 42 and the SPU 44.
  • the sound output units 2 41 and 242 amplify this sound data with an amplifier and reproduce it with a speaker.
  • the ROM 21 of the memory card 20 stores various image data, chord data file and chord data output programs.
  • the chord output program detects various functions for operating the control unit 40 as a chord output device, for example, a function for detecting an operator selection status by an operator, and a content of an operation including a touch start time to the touch sensor.
  • This function builds a function that outputs chords assigned to functions and controls in a manner linked to the touch sensor operation, a history management function, etc., and is executed by the CPU core 42.
  • Image data can be broadly divided into vibration image data for expressing sound vibration images, music image data for expressing music images containing lyrics, initial display image data for expressing initial images, and various settings. Image data. First, these data Will be described.
  • the vibration image data is data for representing a vibration image in accordance with the sound intensity when sound data is output from the control unit 40 to the sound output units 2 4 1 and 2 4 2.
  • vibration images with three types of amplitude values, “weak”, “medium”, and “strong”, can be expressed.
  • Figure 3 shows an example of the display of these vibration images.
  • Figure 3 (a) is the initial vibration image 50.
  • the vibration image 5 1 in Fig. 3 (b) is the medium value
  • the vibration image 5 2 in Fig. 3 (c) is the strong value
  • the vibration image 5 3 in the Fig. 3 (d) is the weak value.
  • Yes with these amplitude values as the maximum absolute value, the absolute value of the amplitude changes at a frequency that actually matches the sound output timing.
  • the initial vibration image 50 and the vibration images 51, 52, 53 are displayed on the display 11 when a vibration waveform mode to be described later is selected.
  • the direction of the broken line indicates the direction in which the display 11 is touched with a stylus pen or the like, and the thickness of ⁇ indicates the speed when the stylus pen or the like is touched (touch In actuality, the broken line is not displayed.
  • Operation detection data including the touch start time, touch coordinate position, and change speed thereof is received through the I ZO interface 48, and these detection data are compared with predetermined reference data recorded in a table (not shown). To make a decision.
  • the expression form of the vibration image does not have to be “medium”, “strong”, and “weak”, and may be four or more. Also, it is possible to express multiple amplitude values and vibration frequencies by image processing of one vibration image data.
  • the music image data is prepared for each music.
  • the music image includes, for example, a plurality of continuous measures 6 1, a music progress graph 6 2, and a chord guidance operator image 6 3
  • This consists of the guide image 64 and the force indicating the finger press position for each chord in the guitar, which is a real instrument.
  • lyrics 6 1 1 and chord display 6 1 2 are described.
  • the timing information for guiding the operation timing of the controls may be described for each measure, and conversely, the description of the lyrics 6 11 may be omitted.
  • the minimum requirement is The chord display is 6 1 2.
  • Each measure is identified by a measure ID, and for each measure ID, data corresponding to the chord display 6 1 2, the operator image 6 3, and the guide image 6 4 and the lyrics data are associated. Furthermore, each chord display 6 1 2 is associated with a chord ID for identifying the chord.
  • the music image is selectively drawn on the VRAM 4 6 2 by, for example, G P U 4 5 2 and displayed on the second display area 1 1 b through the display controller 47.
  • FIG. 5 shows an example of a display screen in the guidance mode to be described later. Only the operation element image 6 3 and the guidance image 6 4 are read out and displayed together with the vibration image 51 shown in FIG. 3 (b). An example is shown.
  • the initial display image data is an image displayed on the display 11 when the power is turned on.
  • the setting image data displays various switches 1 2 1, 1 2 2, 1 3 1, 1 3 2, 1 5, 1 6 1, 16 2 and the screen for displaying the function contents assigned to them It is data to do. These image data are drawn on VRA M4 6 2 by, for example, GPU 4 5 2 and set to the second display area 1 1 b through the display controller 4 7 when “Setting” is selected by the function switch 1 6 2. Is displayed. When “setting” is selected, the display contents of the second display area 1 1 b are displayed on the display 11.
  • Fig. 6 shows an example of a screen that allows the operator to select which chord to set (modify if registered) on the 8 operators of the expansion switch 1 3 1
  • Fig. 7 shows the current settings. Examples of screens for each are shown.
  • the setting image data can be displayed, for example, by pressing the function switch 1 6 2 a predetermined number of times.
  • the upper left of Fig. 6 shows up to 8 chords that can be selected and input with the operation switch 1 2 1 without pressing the extension switch 1 3 1, and the upper right shows the operation switch 1 2 with the extension switch 1 3 1 pressed.
  • This is an array image of controls that sets up to 8 chords that can be selected and input in 1.
  • the lower part of the chart is an introduction image of chords to be set for each control. The operator selects one of the controls on the left and right in Fig. 6 using the selection switch 1 2 2 and selects the “Register” button, then selects the chord to be selected and input with that switch 1 2 2 Select with, and press “Register” at the bottom of Fig. 6 again. Repeat this.
  • the set contents are recorded in the EEPROM 2 2 of the memory card 20 and read when the device is started, and a chord ID is assigned to each operation switch of the operation switch 1 2 1.
  • the procedure for registering the setting contents may be arbitrary, and the order of selection of the operator and the selection of the chord may be reverse to the order described above.
  • Fig. 8 (a) to (c) shows the types of chords that can be selected and input with the operation switch 1 2 1 by setting (correcting) as described above.
  • E E P R OM 2 2 stores the setting contents of the chord ID controller described above, the operation mode setting contents after the initial screen display, and various history information.
  • the vibration waveform mode is a mode in which the vibration images 50 to 53 of FIGS. 3A to 3D are displayed on the entire surface of the display 11.
  • the guidance mode is a mode in which the guidance mode is a mode in which an image as shown in FIG. 5 is displayed on the entire surface of the display 11.
  • Karaoke mode is a mode in which an image as shown in Fig. 4 is displayed on the entire surface of display 11. Details of these operation modes will be described later.
  • the history information is retained until the data is displayed, the progress history of the displayed content of the music image, the data indicating the selection history of the controls and the touch operation history associated with the display of the music image, the time data when each data occurred, and the history data.
  • Serial number data Time data is measured with a timer (not shown). Serial number data is numbered when data representing the history is recorded.
  • chord data file recorded in R OM 2 1 was not created electronically, but was actually played on a guitar that was a so-called master player.
  • the reason for creating multiple data files for each chord in this way is mainly to minimize the sound of the chord actually played by reducing the subsequent waveform processing.
  • the CPU core 42 and SPU 44 can speed up information processing, or the chord output function can be realized without requiring much processing power. This is so that the following effects can be obtained.
  • chord ID and file ID are managed in a hierarchical manner using a table (not shown).
  • FIG. 9 is an explanatory diagram of the contents of this table.
  • “Cl0100j is a chord ID for identifying“ Am ”, and files ID“ cl01001 ”to“ cl01006 ”follow in the lower layer.
  • “Cl01001” is a file ID for identifying a chord data file that is chord Am and level 1 (weak) in the first direction (upward and downward).
  • “Cl01006” is a file ID for identifying a chord data file with chord Am and level 2 (strong) in the second direction (from bottom to top).
  • I D is assigned to other chords I D and file I D according to the same rule.
  • the chord output device is, for example, that the operator holds the casing 10 with the left hand, operates the operation switch 1 2 1 etc. with the left hand (presses and releases Z), and holds the stylus pen 30 with the right hand, or It can be operated by touching the display 11 with the tip of the pen or the tip of the finger.
  • control unit 40 When the operator turns on the power switch 15 with the memory card 20 installed in the chassis 10, the control unit 40 (CPU core 4 2) accesses the ROM 2 1 of the memory card 20. Then, the chord output program starts to be executed. Control unit 40 also loads the data recorded in the ROM 21 and EEPROM 22 of the memory card 20 and part or all of the table into the RAM 43. This creates an operating environment for the operator to operate the device as a musical instrument. Immediately after the power is turned on, the control mute 40 displays the initial screen on the entire surface of the display 11. The initial screen includes an operation mode selection item by the operator.
  • the control unit 40 displays the initial screen of the selected operation mode. Switch to the operation screen and perform processing under each operation mode. The operation procedure in each operation mode will be described below with reference to FIGS.
  • FIG. 10 is an explanatory diagram of the procedure in the vibration waveform mode.
  • the control unit 40 displays the initial vibration waveform image on the display 11 in full screen (S 101). This processing is realized by sending a drawing command and image data from the CPU core 42 to the GPU 451 and sending the above-described data value “10” to the display controller 47.
  • the control unit 40 When it is detected by the operator that one of the operation switches 121 (or together with the expansion switch 131) has been pressed (S102: Yes), the control unit 40 displays the chord ID assigned to the operation switch.
  • the chord data file specified by is read from the RAM 43 or ROM 21 and is in a state in which sound processing is possible by the SPU 44 (S103). At this point, chords are not yet output.
  • the control unit 40 reads the chord data file specified by the chord ID assigned to the operation element from the RAM 43 or ROM 21 only while the operation element is pressed, and the SPU 44 To enable sound processing (S103).
  • S103 sound processing
  • a chord is output only while the operation element is pressed, and no chord is output when the operation element is released. Therefore, the user can easily control the chord output time.
  • the sound can be processed by the SPU 44 until a predetermined time elapses after the operation element is released. (In this case, the sound may be gradually reduced after the operation element is released and faded out. ) Etc. are possible.
  • the control unit 40 When a touch operation is detected based on the output data from the touch sensor (S 1 0 4: Yes), the control unit 40 performs sound processing on the chord data and outputs the chord in a manner linked to the touch operation content (S 1 0 5). If the touch operation content is not detected (S 1 0 4: No), S 1 0 4 is repeated until the touch operation content is detected.
  • a mode linked to the touch operation content here is an example in which the tone color and intensity of the chord output sound are varied according to the touch operation direction, the touch operation speed, and the change thereof. That is, even if ⁇ is the same chord, the frequency is slightly higher when touched from top to bottom (first direction), and from bottom to top (second direction). When it gets lower. This is because the string operation of the guitar, which is a real instrument, is like that. Also, when the touch operation speed is fast, the output intensity is higher than when the touch operation speed is slow (level 3> level 1). At a touch operation speed that is soft enough to touch, a weak sound (level 1) is output.
  • the direction in which the touch operation is performed is determined by detecting the direction in which the touch operation continuously proceeds with the detection of the touch operation start position.
  • the touch operation speed is determined by detecting the touch continuous operation amount per unit time.
  • the change in the operation direction is determined by, for example, pattern matching of the change in the touch operation position. In order to facilitate these detections, it is preferable to temporarily store the operation start position in the RAM 43. Also, prepare a basic pattern as an index for pattern matching.
  • Step S 1 0 5 is realized by selecting one of the chord data files illustrated in FIG. 9 based on the file ID and sending it to S P U 4 4.
  • the amplitude value of the vibration waveform image displayed on display 11 changes according to the chord output mode, for example, the sound intensity (level 1 to level 3). (Vibrate) (S 1 0 6).
  • step S 1 0 7: Yes When it is detected that the operator that has been pressed is released, that is, when the force to stop the operation or another operator is specified, the processing returns to step S 1 0 2 (S 1 0 7: Yes). If the controller is not released (S 1 0 7: No), repeat the processing from step S 1 0 6 onward until the chord output level reaches zero (S 1 0 8: No). As a result, the lingering sound continues to be output for a predetermined time. The reverberation is gone and the sum When the sound output level becomes zero, the process returns to step S 1 0 2 (S 1 0 8: Yes).
  • the operator can operate the chord output device while enjoying the reverberation of the chords played on the actual musical instrument by looking at the vibration waveform.
  • the chords are output at the operator's own pace with only free and simple operations, unlike conventional electronic musical instrument devices, playing is easier and accompaniment when many friends gather together to sing. , It will be possible to be led by the operator.
  • first chord output process and the second chord output process can be executed in a suitable manner.
  • FIGS. 11A and B an example of the processing of the first chord and the second chord when the second chord is output after the first chord is output is shown.
  • the control unit 40 displays the initial vibration waveform image on the full screen on the display 11 (T 1 0 1).
  • This processing is realized by sending a drawing command and image data from the CPU core 42 to the GPU 45 1 and sending the data value “1 0” to the display controller 47.
  • chords there are two types of channels for outputting chords, channel 8 and channel B, and the same chord or different chords can be output simultaneously from these channels.
  • a chord is output from channel A.
  • the control unit 40 reads out the chord data file specified by the chord ID assigned to the operator for each channel from the RAM 43 or the ROM 21 and makes the sound processing possible by the SPU 44. When the touch operation content is detected, the control unit performs sound processing on the chord data in a manner linked to the touch operation content, and outputs a chord.
  • the first chord is a C chord and is touched from top to bottom (first direction).
  • T104 If the touch operation is not detected (T104: No), T104 is repeated until the touch operation is detected.
  • Step T105 is realized by selecting the chord data file of the difference or deviation illustrated in FIG. 9 based on the file ID and sending it to the SPU 44.
  • the amplitude value of the vibration waveform image displayed on the display 11 changes according to the chord output mode, for example, the sound intensity (level 1 to level 3) (vibration ) (T106)
  • T 1 0 9 When a touch operation is detected at T 1 0 9 (T 1 0 9: Yes), it is detected whether or not the touch operation is a touch operation in the opposite direction to the touch operation at T 1 0 4.
  • T 1 0 8 In addition to the first chord from the ⁇ channel ⁇ ⁇ (in this example, the chord of chord C touched in the first direction), T 1 0 8 Output a chord (second chord) from channel B that corresponds to the reverse touch operation at.
  • the chord data file recorded in R OM 2 1 is detected when the touch operation in the second direction is detected with the same C code. Therefore, the corresponding chord data is read out as the second chord.
  • the control unit 4 performs sound processing corresponding to the chord data, outputs the second chord (T 1 1 1), and returns to T 1 0 6.
  • FIG. 12 (a) An illustration of the chords output from channel A (Ch. A in the figure) and channel B (Ch. B in the figure) in this case is shown in Fig. 12 (a).
  • the second chord from channel B is output.
  • the chord output from channel A is not changed, and the chord from channel A is the same as when the output from channel B is not performed.
  • a reverberant sound is output for a predetermined time. Therefore, in this case, the first chord from channel A and the second chord from channel B are mixed and output from the speaker.
  • the first chord and the second chord are overlapped and output in the same way as the actual musical instrument because of the power of outputting the first chord and the second chord as mitigations. Therefore, there is less possibility of giving the user an audible sense of incongruity.
  • the chord output from channel A is t when the touch operation in the same direction as the touch operation at T1 0 4 is detected. As t. The sound is gradually reduced so that the volume becomes zero at the time of the tu.
  • the chord output from channel B is t, as shown in Fig. 13 (b). Is output at the minimum volume and gradually increases until it reaches the specified volume at time t i. t.
  • the period from t to t i can be determined arbitrarily. In this example, it was set to 2 thousandths of a second (0.0 0 2 seconds) so that the user feels natural. However, this period can be set longer or shorter than 0.02 seconds as appropriate. Further, this period may be changed actively depending on the pitch of the sound, the strength of the touch operation, the length of the interval between the touch operation and the next touch operation, and the like. This control can be performed with S P U 4 4.
  • cross-fade reducing the sound of channel A in a short period (about 0.02 seconds in this example) and increasing the sound of channel B from a small sound. Without crossfade, there may be a time lag between the output of the first chord and the output of the second chord, resulting in a period of silence. If there is no period for both the first chord and the second chord to be played at the same time, You can feel it, but by crossfade, you can hear it naturally.
  • the sum of the volume of channel A and channel B is always t. It may be the same as the volume value from channel A.
  • the sound from channel B is made louder and channel A and channel B are The sum of the volumes is t.
  • the volume was set to be larger than the volume value from channel A.
  • the sum of the volume of channel A and channel B is not particularly limited, and can be set using various methods.
  • the second chord is the same as the first chord and the touch operation direction (the stroke direction of the actual guitar or other instrument) is reversed.
  • the chord output processing method By changing the chord output processing method, it produces a more natural chord output that is closer to an actual instrument.
  • the two chords are mixed.
  • the other ⁇ can output more natural chords by cross-fading the first chord and the second chord.
  • a reverberation effect process for changing the timbre of a chord reverberation can be executed by changing the operation direction of the stylus pen or the like halfway.
  • Fig. 14 (a) to (d) shows an example in which the stylus pen etc. is operated from top to bottom and then changed halfway from side to side, and (e) to (! 1) are from bottom to top. This is an example of a change in the left / right direction after operation.
  • the processing procedure of the control unit 40 when operated in this way is as shown in FIG. That is, a change in the direction of operation of the stylus pen or the like is detected (A101: Yes), and if it is in the right direction (A102: Yes), the pitch of the reverberation sound is narrowed and output (A103). As a result, the frequency of the reverberant sound is slightly increased. On the other hand, when the direction change is left (A10 02: No), the pitch of the reverberation sound is widened and output (A104). As a result, the frequency of the reverberant sound is slightly lowered.
  • the above procedure is performed as long as the reverberation continues (A105: Yes :). This makes it possible to express vibrato like an electric guitar even though it is an acoustic guitar.
  • the initial guidance image is displayed (B 1 01).
  • the initial guidance image is an image obtained by replacing the vibration image 51 in Fig. 5 with the initial vibration image 50 shown in Fig. 3 (a), and is realized by outputting the above data value "11" to the display controller 47. Is done.
  • the control unit 40 When it is detected that a certain operation element is pressed (B102: Yes), the control unit 40 reads the chord data file assigned to the operation element as in the vibration waveform mode, and performs sound processing. Enable (B 103). In addition, the display state of the image related to the chord assigned to the pressed operator is changed (B104). For example, as shown in Fig. 5, the display is changed to be more conspicuous than other non-pressed controls so that the pressed controls can be seen.
  • the subsequent operations are the same as in the vibration waveform mode.
  • a chord is played in a manner corresponding to the touch operation content.
  • the amplitude value of the vibration waveform image being displayed is changed (vibrated) according to the chord output mode (B 107).
  • the control is released, the process returns to step B102 (B108: Yes). If the operator is not released (B108: No), repeat the process from step B107 until the chord output level reaches zero (B109: No). If the chord output level reaches zero, return to step B102 (B109: Yes).
  • This guidance mode makes it easier to operate while looking at the chord guidance operator image 63 and the guidance image 64.
  • the music image is displayed (K101).
  • An example of a music image is shown in Fig. 4.
  • the chord data file assigned to that operation element is read out to enable sound processing (K103) as in the vibration waveform mode.
  • the display state of the image related to the chord assigned to the pressed operator is changed (K104).
  • chord data is processed in a manner corresponding to the touch operation content, and the chord is output (K106).
  • the amplitude value of the vibration waveform image being displayed is changed (vibrated) according to the chord output mode (K10 7).
  • K108 It is determined whether or not the operator has been correctly pressed by the operator (K108). This determination is made, for example, based on whether or not the output of the chord display to be specified (current chord display 66 in Fig. 4) matches the chord ID assigned to the pressed operator. If it is pressed correctly, the music image being displayed advances (K108: Yes, K109). On the other hand, if not pushed correctly, the process of K109 is bypassed (K108: ⁇ ). When the control is released, the process returns to step K102 (Kl 10: Yes). C When the control is not released (Kl 10: No), the process after step K107 is performed until the chord output level becomes zero.
  • Step K102 When the chord output level reaches zero, return to Step K102 (Kill: Yes).
  • the music image advances in a predetermined direction. Then, the current position in the progress graph 62 is changed according to the progress. If you want to sing slowly, you can touch the chord while specifying the chord slowly. By doing this, the music can be advanced for the convenience of the operator, not the device.
  • the operation if the operation is incorrect, the music image does not advance, so the operator can easily tell which side the operation is incorrect. For example, when the operator correctly operates the chord display 6 6 to be operated (success) as shown in the upper row of Fig. 18 (guidance image 6 4 is omitted), the middle row of Fig. 18 The bar progresses like this. On the other hand, if the chord display 6 6 chords are not specified (failure), the music image will not advance.
  • Figure 19 shows an example of the display screen on display 11 when using multiple channels in the above example and mixing and crossfading depending on the operation direction of the controls.
  • the music image is a bar 7 1 representing the time from the touch operation to the next touch operation (in the figure, the individual bars 7 1 are represented as b 1, b 2 and b 1 2).
  • a controller image for chord guidance 73 and the like Lyrics 7 1 1 and chord display 7 1 2 are described in the corresponding area of each bar 7 1, respectively.
  • a timing symbol representing the touch operation from the top to the bottom (represented by V in the figure) 7 1 4 and a timing symbol representing the touch operation from the bottom to the top (reverse direction in the figure) 7 1 5 is also displayed.
  • Each bar 7 1 in FIG. 9 represents the time from the touch operation until the next touch operation, so the user can perform the touch operation according to the length of bar 7 1 and the timing symbol.
  • the timing to perform and the direction of the touch operation (in the actual guitar, the direction of the stroke) can be easily seen.
  • touch operation is performed downward at the same interval from bl to b 9, touching upward at the top of bars b4 and b7, and downward at the top of the other bars. Do.
  • the length of bar b 1 0 is half the length of bars bl to b 9 and the timing symbol is inverted V at the beginning of bar 1 1, so at the top of bar b 1 0 from the top After performing the touch operation in the downward direction, perform the touch operation in the upward direction from the bottom after half the time has elapsed.
  • Bar b 1 1 is 1.5 times longer than bars b 1-13 Yes, because the timing symbol is V at the beginning of bar b 1 2, touch operation is performed from top to bottom after 1.5 times the time at bars bl to b9. .
  • a cross-shaped button is used as an operation element of a chord output device and shown as an operation element image 7 3.
  • the bar b l indicates that the chord C is selected by pressing the left of the control (left of the cross button).
  • pressing chord F on the right side of the control, on bar b6, pressing chord Dm7 on top of the control (on the cross button) on bar b6, Pressing (below the cross button) indicates that the chord G is selected.
  • the controller image 73 is not shown, but these indicate that the button shown before is kept pressed.
  • the operator image 7 3 of b 1 indicates that the left of the operator is pressed, and therefore the left of the operator pressed in b 1 is kept pressed.
  • each bar is associated with a chord display 7 1 2, an operation element image 7 3, and lyric data, like the bar ID in the example of FIG. Further, each chord display 7 1 2 is associated with a chord ID for identifying the chord.
  • the music image is selectively drawn on the VRAM 4 6 2 by, for example, G P U 4 5 2 and displayed on the second display area 1 1 b through the display controller 47.
  • the control unit 40 has a function of managing a history of operations performed by the operator. This function is mainly effective in karaoke mode.
  • the progress history of the music image display change, the selection history of the controls associated with the display of the music image, and the touch operation history of the operator on the display 1 1 are recorded in relation to each other in EEP RO M 2 2 .
  • the information recorded in EEPPR OM 2 2 can be reproduced at any time, for example, based on the operator's instructions.
  • the progress history of a music image can be reproduced, for example, by supplying it to the GPU 4 52.
  • the action selection history and touch operation history can be reproduced by supplying them to the SPU 44.
  • chord display 6 1 2 in Fig. 4 or the chord display 7 1 2 in Fig. 1 7 may be displayed on the display 1 1 being played.
  • operation element image 63 in FIG. 4 and the operation element image 73 in FIG. 17 may be displayed.
  • the chord output device has a size that can be held with one hand, and can be carried anywhere.
  • the operator can operate the operation switch 1 2 1 with the left finger while holding the case 10 with the left hand, and touch and operate with the right hand or stylus pen. It does not necessarily require skill.
  • the operator can operate freely at his / her own pace without being led by the device, so that he / she can use his / her mood to sing slowly or sing at a fast tempo. it can. You will be able to do things like playing and talking.
  • control unit 40 may be configured to detect not only the touch start time, the touch operation direction, and the touch operation speed but also the touch operation position as the operation content.
  • a chord display and a chord ID are assigned in advance to a predetermined touch operation position, and the operator selects the position of the chord display on the display 11 1 so that the operation of the operation switch 1 2 1 can be performed. You may make it function similarly.
  • the chord is output even if the operation is wrong in the karaoke mode. You may choose not to output the corresponding chord when you work. In this way, it is possible to more quickly determine that an operation error has occurred.
  • the vibration image and the like are displayed in the first display area 11a and the music image and the like are displayed in the second display area 11b.
  • these display areas may be changed as appropriate.
  • the first display area 1 1 a and the second display 1 1 b are switched to display one display 11 1.
  • two displays are provided, and the first display area is provided on one of these displays.
  • one of the first display region 1 1 a and the second display 1 1 b may be to display the first display area 1 1 a and the other of the second display 1 1 b to the other display.
  • the present invention can be applied not only to a guitar but also to outputting a chord of a timbre played by another musical instrument such as a piano.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)

Description

携帯型和音出力装置、 コンピュータプログラムおよび記録媒体 技術分野
この発明は、 例えばギター、 ピアノ等のような実楽器で奏でられる和音を操作 者主導で行えるようにする携帯型和音出力装置およびその関連品に関する。 明
発明の背景
音処理その他の情報処理技術の発達により、 実楽器で奏でられる音を電子的手 書
段により出力する電子楽器装置が実現されている。 この種の電子楽器装置は、 例 えば、 実楽器を模した形状の筐体に、 複数のセンサ、 音出力ユニットおよび制御 ユニットを設けて構成される。 センサは、 操 が操作する部位に設けられ、 操 作者がある操作を行ったことを検知したときに所定のデータを出力する。 制御ュ ニットには、 楽音出力用のプログラムおよびデータが格納されており、 センサ出 力に応じた音源データを生成し、 これをスピーカを含む音出力ュニットカ ら出力 させる。
電子楽器装置の中には、 発光素子又はディスプレイ等の表示ュニットを備えた ものもある。 このような電子楽器装置では、 表示ユニットに操作の手順を逐次表 示し、 操作者がその手順に従う操作入力を行うことにより、 実楽器と同様の楽音 を出力させる。 電子楽器装置の中には、 さらに、 いわゆる 「カラオケ」 のように、 歌詞の表示を伴うものもある。 すなわち、 装置内のメモリに、 操作者が操作すベ き操作内容を表す操作指示データとリンクした歌詞データを保存しておき、 歌詞 データを表示ュニットに表示させる際に操作指示データを併せて表示することに より、 歌詞表示と操作指示内容とを連動させている。
上記例に示されるとおり、 従来の電子楽器装置は、 高価な実楽器ないし力ラオ ケに代わって、 楽音を低廉に出力できるという利点がある。 また、 これらの電子 楽器装置は、装置固有の操作手順さえ覚えてしまえば、実楽器を弾けない者でも、 簡単に演奏操作できるようになる。 音楽は、 楽器を巧みに演奏できなければ楽しめないというものではない。 音楽 は身近なものである。 例えばギターの場合、 旋律を弾けなくとも、 和音さえ弾け れば一人でも大勢でも気軽にどこでも音楽を楽しむことができる。しかしながら、 和音には膨大な種類があり、 それを覚えるのは大変である。 例えば三つの音から 成る和音だけでも C、 Dm、 E m、 F、 G、 Am、 B m等がある。 四つの音から 成る和音には Cm a j 7、 Dm 7、 E m 7、 F m a j 7、 G 7、 Am 7、 B m 7 b 5等がある。 これらの和音に、 基音から数えて 9度の音や 1 1度等と言ったテ ンシヨンノートを; ¾[]えた和音もある。 また、 ギターの場合、 指板上のどのポジシ ョンで押さえるかによつても和音のフォームが異なる。 すなわち Cコードといえ ども、 ローポジションでの指押さえ位置と、 ハイポジションでの指押さえ位置、 若しくは、 それらの間のミドルポジションでの指押さえ位置とそれぞれ異なる。 このような膨大な種類の和音について、 楽曲毎に、 適切な指押さえ位置を紙上に 示すことも行われているが、 印刷物そのものが嵩張り、 取扱性が悪い。 また、 調 ベたい特定の和音の指押さえ位置を知るのに、 複数頁を捲りながらその中から該 当するものを抽出しなければならず、 使い勝手も悪い。
上述した従来の電子楽器装置において、 和音データを予め用意しておき、 装置 側から操作者に対して和音の操作入力を指示する構成にすることが考えられる。 し力 し、 ディスプレイを備えない電子楽器装置でこれを実現しょうとすると、 操 作者の側で和音出力のための操作内容を覚えていなければならないという不便さ がある。 ディスプレイを備える電子楽器装置であっても、 装置主導で進行する表 示内容にあわせて和音の操作指示を入力しなければならないため、 操作に熟練を 要する。 カラオケのような電子楽器装置では、 歌を歌う者のペースで操作指示を 入力することができないため、 同じ楽曲をそのときの気分に合わせてゆつくり歌 つたり、 早いテンポで歌ったりするということができない。 また、 弾き語りのよ うなことを行うことができなレ、。
従来の電子楽器装置は、 また、 装置の操作を覚えてしまえば一定の楽音が出力 されるので、 熟練者になるほど魅力度が低くなって飽きてしまうという問題があ つた。
このような事情は、 ギターに限らず、 和音を出力できる他の実楽器、 例えばピ ァノ等の音を電子的に実現する小型の電子楽器装置に共通となっている。
本発明は、 熟練の程度にかかわらず、 操作者が、 任意の場所で、 自分のペース で自由力つ簡単な操作により出力して、 弾き語りを可能にしたり、 あるいは、 大 勢の仲間が集まって合唱するときの伴奏を、 操作者主導で行えるようにする携帯 型の和音出力装置を提供することを課題とする。 発明の開示
本発明の和音出力装置は、 携帯サイズの筐体に、 それぞれ操作者が一方の片手 指で選択可能な複数の操作子と、 操作者が他方の片手指で直接又は間接にタツチ 操作可能なタツチセンサとが形成されており、 前記筐体には、 相互に結合された データメモリ、 制御機構及び音出力機構が設けられており、 前記データメモリに は、 実楽器が奏でる音特性を有する和音を前記音出力機構から出力させるための 和音データファイルが、 当該和音を識別するための和音 I Dと共に複数記録され ており、 前記複数の操作子の各々には、 いずれかの前記和音 I Dが割り当てられ ている。
前記制御機構は、 操作者がどの操作子を選択し始めてその選択を何 除した かを検出する操作子選択状況検出手段と、 前記タツチセンサへのタツチ開始時期 を含む操作内容を検出する操作内容検出手段と、 前記操作子選択状況検出手段で 検出した操作子に割り当てられている前記和音 I Dをもとに特定した和音データ ファイルを、 前記データメモリより読み出して前記音出力機構に供給し、 これに より出力可能になる和音を、 前記操作検出手段が検出した操作内容と連動する態 様で前記音出力機構から出力させる和音出力制御手段とを備えるものである。 本発明の和音出力装置において、 前記操作内容検出手段は、 例えば、 前記タツ チ開始時期のほか、 前記タツチセンサへのタツチ操作方向、 タツチ操作速度、 お よびタツチ操作位置の少なくとも一つを検出するものである。この場合において、 前記和音出力制御手段は、 前記タツチ操作方向又はタツチ操作速度が検出された ときは検出方向又は検出速度に応じて定められた和音を前記音出力機構から出力 させ、 当該タツチ操作方向の変化が検出されたときはその出力周波数を変化方向 に応じて変化させ、 タツチ操作速度の変化が検出されたときはその出力強度を変 化速度に応じて変化させ、 前記タツチ操作位置が検出されたときは当該検出位置 に予め割り当てられた出力態様で出力させる。
前記和音データファイルは、 例えば、 実楽器で奏でられた和音を録音して成る データファイルであり、 実楽器は、 複数の弦がほぼ同じ時間に弾力れることによ り前記和音が奏でられる弦使用楽器である。 このようなデータファイルを用いる ことにより、あたかも実楽器で奏でたような特性の和音を出力することができる。 ある実施の態様では、 前記データメモリを前記制御機構及び音出力機構と離脱 自在に結合するためのメモリ収脱機構を備えて和音出力装置が構成される。 この データメモリには、 前記弦楽器使用楽器を含む実楽器毎の前記データフアイルが 記録されている。 データメモリには、 また、 連続する複数の小節から構成される 楽曲の表示用画像データが記録されており、 各小節には、 それぞれ、 当該実楽器 用に割り当てられた 1又は複数の前記和音 I Dが関連付けられている。 このよう なデータメモリへのアクセスを可能にする和音出力装置において、 前記制御機構 は、 前記楽曲の表示用画像データに基づいて所定の画像表示領域に、 1つ又は複 数の小節毎の楽曲画像を表示させるとともに、 表示中の楽曲画像の小節に関連付 けられている前記和音 I Dをもとに特定された和音データファイルが前記音出力 機構から出力されたときに、 当該表示中の楽曲画像に代えて次の 1つ又は複数の 小節を含む楽曲画像を前記画像表示領域に表示させる表示制御手段をさらに備え ており、 操作者の前記操作子の選択ならびに前記タツチセンサの操作に起因して 前記画像表示領域における楽曲画像の表示変更を進行させる。
これにより、装置主導ではなく、操^ 主導で楽曲画像を進めることができる。 前記画像表示領域に表示される楽曲画像は、 例えば、 当該 1つ又は複数の小節 に割り当てられた、 当該楽曲の歌詞と、 和音出力のための前記タツチセンサの操 作タイミングを案内する情報と、 前記楽器における和音の生成を案内する情報と の少なくともいずれかを伴うものとするものである。
前記制御機構は、 前記楽曲画像の表示変更の進行履歴、 該楽曲画像の表示に伴 う前記操作子の選択履歴および前記タツチセンサのタツチ操作履歴をそれぞれ相 互に関連付けて記録する履歴記録手段をさらに備えたものとすることができる。 このような制御機構を有する和音出力装置は、 操作者の指示の入力を契機に、 前 記履歴記録手段に記録されている情報のうち、 前記進行履歴を前記表示制御手段 に供給することにより、 該表示制御手段に前記画像表示領域への楽曲画像の表示 変更を再現させ、 前記選択履歴および前記タツチ操作履歴を前記和音出力制御手 段に供給することにより、 該和音出力制御手段に前記表示変更に連動する和音の 出力並びにその態様の変化を再現させる。
前記データメモリには、 音の振動画像を表現するための振動画像データが記録 されており、 前記制御機構は、 前記データメモリから読み出した振動画像フアイ ルを前記画像表示領域と異なる振動画像表示領域に表示させるとともに、 表示中 の振動画像を、 前記和音の出力に従って変化させ、 出力強度がゼロになった時点 で静止させる振動画像表示制御手段をさらに備えているものとすることができる c 本発明は、 携帯サイズの筐体に搭載されたコンピュータを携帯型和音出力装置 として動作させるためのコンピュータプログラムを提供する。 前記筐体には、 そ れぞれ操作者が一方の片手指で選択可能な複数の操作子と、 操作者が他方の片手 指で直接又は間接にタツチ操作可能なタツチセンサとが形成されており、さらに、 データメモリ及び音出力機構が前記コンピュータに設けられており、 前記データ メモリには、 実楽器が奏でる音特性を有する和音を前記音出力機構から出力させ るための和音データファイルが、 当該和音を識別するための和音 I Dと共に複数 記録されている。 このようなものにおいて、本発明のコンピュータプログラムは、 前記コンピュータを、 前記複数の操作子の各々に、 いずれかの前記和音 I Dを割 り当てる割当手段、 操作者がどの操作子を選択し始めてその選択を何時解除した カゝを検出する操作子選択状況検出手段、 萌記タツチセンサへのタツチ開始時期を 含む操作内容を検出する操作内容検出手段、 前記操作子選択状況検出手段で検出 した操作子に割り当てられている前記和音 I Dをもとに特定した和音データファ ィルを、 前記データメモリより読み出して前記音出力機構に供給し、 これにより 出力可能になる和音を、 前記タツチ操作検出手段が検出した操作内容と連動する 態様で前記音出力機構から出力させる和音出力制御手段、 として機能させるもの である。 このようなコンピュータプログラムは、 コンピュータ読み取り可能な記 録媒体に記録される。 図面の簡単な説明
図 1は、本発明の和音出力装置の実施形態例を示す構造説明図であり、 ( a )は 正面図、 (b ) は上底面図、 (c ) は下底面図である。
図 2は、 筐体の内部構成図と各種部品の接続状態図である。
図 3において、 (a ) は初期振動画像、 ( b ) は 「中」 レベルの振動画像、 (c ) は 「強」 レベルの振動画像、 (d ) は 「弱」 レベルの振動画像の例である。
図 4は、 楽曲画像の一例を示す表示画面である。
図 5は、 ガイダンス画像の一例を示す表示画面である。
図 6は、操作スィツチおよび拡張スィツチの 8つの操作子にどの和音を設定 (登 録済なら修正) するかを操作者に選ばせるための画面の例である。
図 7は、 現在の設定内容の確認用の画面の例である。
図 8において、 (a ) 〜 (c ) は、 設定 (修正) されたことにより、 操作スイツ チで実際に選択入力できる和音の種類を示した図である。
図 9は、和音 I Dおよびファイル I Dを管理するテーブルの内容説明図である。 図 1 0は、 振動波形モードでの手順説明図である。
図 1 1 Aは、 第 1の和音を出力した後に更に第 2の和音を出力する場合の第 1 の和音、 第 2の和音それぞれの処理の一例を示す手順説明図である。
図 1 1 Bは、 第 1の和音を出力した後に更に第 2の和音を出力する場合の第 1 の和音、 第 2の和音それぞれの処理の一例を示す手順説明図である。
図 1 2において、 (a ) 〜 (c ) はチャンネル A、 チャンネル Bのそれぞれから 出力される和音の説明図である。 ノ
図 1 3において、 (a )はチャンネル Aから出力される和音の出力状態の説明図、 ( b ) はチャンネル Bから出力される和音の出力状態の説明図である。
図 1 4において、 (a )〜(d ) はスタイラスペン等を上から下方向に操作した 後に左右方向に途中変化させた場合の例、 (e ) 〜 (h ) は、 下から上方向に操作 した後に左右方向に途中変化させた場合の例である。
図 1 5は、 余韻効果処理の手順説明図である。
図 1 6は、 ガイダンスモードでの手順説明図である。 ' 図 1 7は、 カラオケモードでの手 j噴説明図である。 図 1 8は、 カラオケモードにおける成功時と失敗時の画面遷移の違いを示した 図である。
図 1 9は、 複数のチャンネルを用いて操作子の操作方向によりミックス、 クロ スフェードを使い分ける場合のディスプレイ 1 1の表示画面例である。 発明を実施するための最良の形態
以下、 本発明を、 アコースティックギターの和音を出力する和音出力装置に適 用した場合の実施形態例を説明する。
ぐ全体構造 >
図 1は、この実施形態による和音出力装置の構造説明図である。 ( a )は正面図、 ( b ) は上底面図、 (c ) は下底面図である。 この和音出力装置は、片手で把持可 能なサイズの筐体 1 0を有し、 この筐体 1 0内にメモリカード 2 0を離脱自在に 収容できるように構成される。
筐体 1 0のほぼ中央部には、 タツチセンサパネルを兼ねるディスプレイ 1 1が 設けられている。 ディスプレイ 1 1 (タツチセンサパネル) は、 例えば L C D (Liquid Crysta丄 Display) あ レヽは E L (Electronic Luminescence) » ら成る 表示パネルの表面をタツチセンサで覆ったものである。 ディスプレイ 1 1の外縁 部は筐体 1 0の表面に対して多少窪んでおり、 後述するスティラスペンが、 その 外縁部に沿ってなぞれるようになっている。タツチセンサとしては、抵抗膜方式、 光学式 (赤外線方式)および静電容量結合式のいずれかの種類のものを用いること ができる。 ディスプレイ 1 1は、 タツチパネルの上面をスタイラスペンのペン先 あるいは指 (以下、 「スタイラスペン等」 という場合がある。) で、 押圧したり、 撫でたりしてタツチ操作することにより、 スタイラスペン等によるタツチ開始時 期、 タツチ座標位置おょぴその変化を含む操作内容を後述する制御ュニットへ伝 達する。
筐体 1 0の表面には、 また、 短辺方向の中心軸に対してほぼ左右対称となる部 位に、 操作スィッチ 1 2 1, 1 2 2が設けられ、 さらに、 音出力孔 1 4 1, 1 4 2が形成されている。 操作スィッチ 1 2 1は、 ディジタルジョイスティックとし て機能するもので、 8つの操作子を有しており、 操作者がこれらの操作子の 1つ を押圧操作することによって、 押圧操作している間だけ最大 8種類のデータを選 択的に入力できるようになつている。 すなわち、 操作者がどの操作子を選択し始 めてその選択を何 ?除したかを、 後述する制御ュニット 4 0において検出でき るようになっている。 操作スィッチ 1 2 2は、 ディジタルスィッチとして機能す るもので、 8つの操作接点を有しており、 これらの 8つの操 ¾点の 1つを押圧 操作することによって、 最大 8種類のデータの入力を許容する。
本実施形態では、 紙面に向かって左側の操作スィッチ 1 2 1は、 左手の親指で 傾き押圧操作、 すなわち中心部を起点として 0度、 4 5度、 9 0度、 1 3 5度、 1 8 0度、 2 2 5度、 2 7 0度、 3 1 5度の 8つの方向のいずれかに傾けた状態 で押圧操作する方向指示スィツチとして用レ、、 他方、 右側の操作スィツチ 1 2 2 は、 右手親指で操作する動作モード、 オプション機能その他の動作選択用スイツ チとして用いる。 右ききと左ききの操作者が存在することを考慮して、 両スイツ チ 1 2 1 , 1 2 2は、 それぞれ相互交換が可能になっている。
なお、 操作スィッチ 1 2 1, 1 2 2として、 共にデジタルジョイスティックと して機能するものを用い、 どちらの操作スィッチを方向指示スィッチにするか、 あるいは動作選択スィッチにするかを任意に設定できるようにしても良レ、。また、 操作スィッチ 1 2 2は、 必ずしも 8つの操作接点を持たなくとも良く、 2〜4個 の接点を共用しても良い。
音出力孔 1 4 1の上方には電源スィツチ 1 5が設けられており、音出力孔 1 4 2の上方にはスタートスィツチ 1 6 1 とファンクションスィツチ 1 6 2が設けら れている。 これらのスィッチ 1 5, 1 6 1, 1 6 2には、 例えばプッシュボタン を用いることができる。 スタートスィッチ 1 6 1は、 動作開始 (再開) したり、 一時停止 (Pause) したりするときに、 操作者が押圧操作するものである。 ファン クシヨンスィッチ 1 6 2は、 各種設定画面、 和音出力のための操作画面等の表示 内容選択等を行うときに押圧操作するものである。
筐体 1 0の上側面部には、 短辺方向の中心軸に対してほぼ左右対称の部位に一 対の拡張操作スィッチ 1 3 1、 1 3 2が設けられている。 さらに、 ほぼ中央部に、 スタイラスペン 3 0の収容空間とスタイラスペン 3 0の係止部 1 7が形成されて レヽる。 拡張操作スィツチ 1 3 1は、 操作スィツチ 1 2 1で指示可能な 8つの方向 のグループを、 予め設定された他のグループに切り替えるためのものであり、 操 作者が左手で筐体 10を把持したときに、 左手の人差指又は中指で操作できる部 位に配置されている。 操作者が拡張操作スィッチ 131を押したり、 押さなかつ たりすることにより、 左手だけの操作で最大で 16の方向を指示入力することが できる。 拡張操作スィッチ 132と操作スィッチ 122も、 上記と同じとなる。 すなわち、 拡張操作スィツチ 132は、 操作スィツチ 122で選択可能な最大で 8種類の選択内容のグループを別のグループに切り替えることができる。つまり、 この和音出力装置で出力可能な和音の種類は、 最大で (16X8) 種類となる。 筐体 10の下側面部には、 メモリカード 20の収容空間 18と、 和音出力装置 力 ら出力する和音データをスピーカが接続された外部増幅器に導くための外部出 力端子 19とが形成されている。
<制御ユニット等 >
本実施形態の和音出力装置は、 筐体 10の内部に、 コンピュータの一種である 制御ュニット及ぴその周辺電子部品を備えている。
図 2は、 筐体 10の内部構成図と各種部品の接続状態を示している。
図 2に示される制御ユニット 40は、 メモリカード 20を離脱自在に収容する ためのコネクタ 41、メインプロセッサを含んで成る CPU (Central Processing Unit)コア 42、キャッシュメモリとして機能する R AM (Random Access Memory) 43、 音処理を実行する S PU (Sound Processing Unit) 44、 画像処理を行う 2つの GPU (Graphic Processor Unit) 451, 452、 2つの画像領域 11 a, 1 1 bへの画像表示を可能にする表示コントローラ 47、及び、 I/O (Input /Output) インタフェース 48が、 内部バス B 1を介して接続されている。
S PU44および GPU451, 452は、 例えばシングルチップ AS I Cで 構成される。 SPU44は、 CPUコア 42からのサウンドコマンドを受け取り、 このサウンドコマンドに従って音処理を行う。 「音処理」 は、具体的には、二つの 音出力ュニット 241, 242の各々で再生可能なステレオ和音を出力するため の情報処理である。 GPU451, 452は、 C PUコア 42からの描画コマン ドを受け、その描画コマンドに従って画像データを生成する。 CPUコア 42は、 描画コマンドに加えて、画像データの生成に必要な画像生成指示を G PU 451, 452のそれぞれに与える。 CPUコア 42から各 GPU451, 452への描 画コマンドの内容は、 場面によって様々に変化するので、 これについては後述す る。
2つの GPU451, 452には、 それぞれ画像データを描画するための VR AM (Video Random Access Memory) 461, 462が接続されている。 VRA M461には、 GPU451により、 ディスプレイ 11の第 1表示領域 11 aに 表示させる画像データが描画される。 他方、 VRAM462には、 GPU452 により、 ディスプレイ 11の第 2表示領域 11 aに表示させる画像データが描画 される。 画像データの内容については、 後述する。
表示コントローラ 47は、 これらの VRAM461, 462に描画されている 画像データを読み出して所要の表示制御処理を行う。 表示コントローラ 47はレ ジスタを含む。 レジスタは、 CPUコア 42の指示によって「00」、 「01」、 「1 0」、 「11」 のデータ値を格納する。 データ値は、 例えば、 ファンクションスィ ツチ 162を通じて選択された操作者の指示内容に従って決定される。 表示コン トローラ 47は、 レジスタのデータ値に応じて、例えば以下のような制御を行う。 データ値「00」 · · · VRAM461, 462に描画された画像データの各表 示領域 11 a, 11 bへの出力を行わない。 例えば和音出力装置の操作に慣れて ディスプレイ 11への表示を必要としなくなつた場合等に、 ファンクションスィ ツチ 162でこのデータ値が表示コントローラ 47に出力されるようにすること ができる。
データ値「01」 · · · VRAM462に描画された画像データのみを第 2表示 領域 11 bに出力する。 第 2表示領域 11 bは、 ディスプレイ 11の全表示領域 とする。
データ値「10」 · · · VRAM461に描画された画像データのみを第 1表示 領域 11 aに出力する。 第 1表示領域 11 aは、 ディスプレイ 11の全表示領域 とする。
データ値「11」 · · 'ディスプレイ 11の表示領域を第 1表示領域 11 aと第 2表示領域 11 bに 2分割し、 VRAM461に描画された画像データを第 1表 示領域 11 aに出力し、 VRAM 462に描画された画像データを第 2表示領域 l i bに出力する。
メモリカード 20は、 ROM (Read Only Memory) 21および E E P R OM (Electronically Erasaole and Programmable Read Only Memory) 22を搭載し ている。 EE PROMに代えて、 フラッシュメモリその他の不揮発性メモリを用 いることもできる。 ROM2 lぉょびEEPROMRAM22は、互いにバス(図 示省略) で接続されており、 さらに、 このバスが、 制御ユニット 40の内部バス B 1とコネクタ 41を介して接合される。 これにより、 CPUコア 42、 S PU 44、 GPU451、 452は、 メモリカード 20の ROM 21および E E P R OM22に直接アクセスすることができる。
I/Oインタフェース 48には、 上述した各種スィッチ 121, 122, 13 1, 132, 15, 161, 162からの押圧操作データと、 ディスプレイ 1 1 力ゝらのタツチ操作データとが入力される。 押圧操作データは、 操作者がどのポタ ンを押したかを表すデータであり、 タツチ操作データは、 操作者によるタツチ操 作内容を表すデータである。 各スィッチ 121, 122, 131, 132, 15, 161, 162が操作されると、 对応するデータが IZOインタフェース 48を 介して CPUコア 42に入力される。 1 0インタフェース 48からは、 音出力 ユニット 241, 242へ和音データが出力される。 和音データは、 CPUコア 42と SPU44との協働により生成された音データである。 音出力ュニット 2 41, 242は、 この音データをアンプで増幅し、 スピーカで再生する。
メモリカード 20の ROM 21には、 各種画像データ、 和音データフアイルぉ ょぴ和音出力用のプログラムが記録されている。 和音出力用プログラムは、 制御 ユニット 40を、 和音出力装置として動作させるための各種機能、 例えば、 操作 者による操作子選択状況を検出する機能、 タツチセンサへのタツチ開始時期を含 む操作内容を検出する機能、 操作子に割り当てられている和音をタツチセンサの 操作内容と連動する態様で出力させる機能、 履歴管理機能等を構築するものであ り、 CPUコア 42により実行される。
画像データは、 大別して、 音の振動画像を表現するための振動画像データ、 歌 詞を含む楽曲画像を表現するための楽曲画像データ、 初期画像を表現するための 初期表示画像データ並びに各種設定用画像データである。 まず、 これらのデータ について説明する。
振動画像データは、 制御ュニット 4 0から音出力ュニット 2 4 1, 2 4 2に音 データが出力されるときの音強度に合わせた振動画像を表現するためのデータで ある。本例では、初期振動画像をもとに、 「弱」、 「中」、 「強」の 3種類の振幅値の 振動画像を表現できるようにする。 図 3は、 これらの振動画像の表示例を示して レヽる。 図 3 ( a ) は初期振動画像 5 0である。 図 3 ( b ) の振動画像 5 1は「中」、 図 3 ( c ) の振動画像 5 2は 「強」、 図 3 ( d ) の振動画像 5 3は 「弱」 のときの 振幅値であり、 これらの振幅値を最大絶対値として、 実際に音の出力タイミング に合った振動数で振幅の絶対値が変化するようにしている。
初期振動画像 5 0および振動画像 5 1, 5 2, 5 3は、 後述する振動波形モー ドが選択されたときに、 ディスプレイ 1 1に表示される。 図 3 ( b ) 〜 ( に おいて、 破線の方向は、 ディスプレイ 1 1をスタイラスペン等でタツチ操作した 方向を表し、 ■の太さは、 スタイラスペン等がタツチ操作したときの速度 (タ ツチ操作速度) を表している。実際には、破線は表示されない。 「中」、 「強」、 「弱」 のいずれに該当するかは、 例えば C P Uコア 4 2力 ディスプレイ 1 1のタツチ センサで検出されるタツチ開始時期、 タツチ座標位置およびその変化速度を含む 操作内容の検出データを、 I ZOインタフェース 4 8を通じて受け取り、 これら の検出データと図示しないテーブルに記録されている所定の基準データとを比較 することにより判別する。
なお、振動画像の表現形態は、 「中」、 「強」、 「弱」の 3種類でなければならない ものではなく、 4種類以上であっても良い。 また、 1つの振動画像データを画像 処理によつて複数の振幅値およぴ振動数を表現できるようにしても良レ、。
楽曲画像データは、 楽曲毎に用意される。 ディスプレイ 1 1の表示画面例を示 した図 4を参照すると、 楽曲画像は、 例えば、 それぞれ連続する複数の小節 6 1 と、 曲の進行グラフ 6 2と、 和音ガイダンス用の操作子画像 6 3と、 実楽器であ るギターにおける和音毎の指押さえ位置を示す案内画像 6 4と力 ら成る。 各小節 6 1の該当領域には、 それぞれ、 歌詞 6 1 1と和音表示 6 1 2とが記述される。 なお、 小節毎に、 操作子の操作タイミングを案内するタイミング情報を併せて記 述しても良いし、逆に、歌詞 6 1 1の記述を省略しても良レ、。最低限必要なのは、 和音表示 6 1 2である。 各小節は、 それぞれ小節 I Dにより識別されており、 小 節 I D毎に、 和音表示 6 1 2、 操作子画像 6 3、 案内画像 6 4に対応するデータ ならびに歌詞データが関連付けられている。 さらに、 各和音表示 6 1 2には、 そ れぞれ、 当該和音を識別するための和音 I Dが関連付けられている。
楽曲画像は、 例えば G P U 4 5 2により VRAM4 6 2に選択的に描画され、 表示コントローラ 4 7を通じて第 2表示領域 1 1 bに表示される。
楽曲画像データは、 一部のみを読み出して表示することができる。 例えば、 図 5は後述するガイダンスモード時の表示画面例であり、 操作子画像 6 3と案内画 像 6 4のみが読み出され、 図 3 ( b ) に示した振動画像 5 1と共に表示される例 が示されている。
初期表示画像データは、 電源オン時にディスプレイ 1 1上に表示される画像で ある。
設定用画像データは、 各種スィッチ 1 2 1, 1 2 2, 1 3 1, 1 3 2 , 1 5, 1 6 1, 1 6 2の画像およびこれらに割り当てる機能内容を表示するための画面 を表示するためのデータである。 これらの画像データは、 ファンクションスイツ チ 1 6 2により 「設定」 が選択されたときに、 例えば G P U 4 5 2により VRA M4 6 2に描画され、 表示コントローラ 4 7を通じて第 2表示領域 1 1 bに表示 される。 「設定」のときは、ディスプレイ 1 1には、第 2表示領域 1 1 bの表示内 容が表示される。
例えば、 図 6は拡張スィツチ 1 3 1の 8つの操作子にどの和音を設定 (登録済 なら修正) するかを操作者に選ばせるための画面の例、 図 7は、 現在の設定内容 の確認用の画面の例をそれぞれ示している。設定用画像データの表示は、例えば、 ファンクションスィッチ 1 6 2を所定回押すことにより可能になる。
図 6の上段左は、 拡張スィツチ 1 3 1を押さない状態で操作スィツチ 1 2 1で 選択入力できる最大 8種類の和音、 上段右は、 拡張スィツチ 1 3 1を押した状態 で操作スィツチ 1 2 1で選択入力できる最大 8種類の和音を設定する操作子の配 列画像である。 下段の図表部分は、 各操作子に設定する和音の紹介画像である。 操作者は、図 6上段左右のいずれかの操作子を選択スィッチ 1 2 2で選択し、「登 録」 ボタンを選択した後、 その操作子で選択入力する和音を選択スィッチ 1 2 2 で選択し、 再び図 6下段の 「登録」 を押す。 これを繰り返す。 これにより、 設定 された内容が、 メモリカード 2 0の E E P R OM 2 2に記録され、 装置起動時に 読み込まれて、 操作スィツチ 1 2 1の各操作子に和音 I Dが割り当てられる。 な お、 設定内容の登録手順は任意であって良く、 操作子の選択と和音の選択の順序 は、 上述した順序と逆であっても良い。
図 7を参照すると、 デフオルト状態では、 選択スィツチ 1 2 2の 8つの操作子 には、 それぞれ 「曲調 # 1」 〜 「曲調 # 4」、 「ユーザ設定 1」 〜 「ユーザ設定 4」 がそれぞれ割り当てられる。 「曲調 # 1」 〜 「曲調 # 4」 には、 それぞれ、 図 6に 示した 1 6種類の和音が設定されている。 操作者が微調整したい場合は、 図 6に 示した画面下段の 「修正」 を押し、上述した手順で修正登録を行えば良レ、。 「ユー ザ設定 1」 〜 「ユーザ設定 4」 は、 それぞれ、 図 6のような表示画面を通じて、 操作者が自分の好みに応じて設定するためのものである。
図 8 ( a ) 〜 (c ) は、 上記のように設定 (修正) されたことにより、 操作ス イッチ 1 2 1で実際に選択入力できる和音の種類を示している。
E E P R OM 2 2には、 上述した和音 I Dの操作子への設定内容、 初期画面表 示後の動作モードの設定内容、 及び各種履歴情報が記録される。 動作モードは、 本実施形態では、 振動波形モード、 ガイダンスモードおよびカラオケモードの 3 種類とする。 振動波形モードは、 ディスプレイ 1 1の全面に、 図 3 ( a ) 〜 (d ) の振動画像 5 0〜 5 3を表示させるモードである。 ガイダンスモードは、 ガイダ ンスモードは、 ディスプレイ 1 1の全面に、 図 5のような画像を表示させるモー ドである。 カラオケモードは、 ディスプレイ 1 1の全面に、 図 4のような画像を 表示させるモードである。 これらの動作モードの詳細については、 後述する。 履歴情報は、 楽曲画像の表示内容の進行履歴、 楽曲画像の表示に伴う操作子の 選択履歴およびタツチ操作履歴を表すデータと、各データが生じた時刻データと、 それが消去されるまで保持される通し番号データである。 時刻データは図示しな レ、タイマで計測される。 通し番号データは、 履歴を表すデータを記録する際に採 番される。
R OM 2 1に記録される和音データファイルは、 電子的に作成されたものでは なく、 いわゆる名手といわれる弾き手が実楽器であるギターで実際に奏でられた 和音を録音して成るデータファイルである。 和音の各々について、 それぞれギタ 一のサウンドホールの上から下方向(上述した第 1方向)、下から上方向(上述し た第 2方向)、 「弱」 (第 1レベル)、 「中」 (第 2レベル)、 「強」 (第 3レベル)で採 取し、 それぞれを上述した和音 I Dおよびその下位層のファイル I Dで識別され る 1つのデータファイルとしている。 つまり、 1和音 (例えば Am) で 6フアイ ル用意する。
このように 1つの和音毎に複数のデータファイルにするのは、 事後の波形加工 処理を少なくすることにより、 実際に奏でられた和音の響きをできるだけ損なわ ないようにすることが主たる理由である。 また、 波形加工処理を少なくすること により、 C P Uコア 4 2および S P U 4 4での情報処理を迅速にさせる、 あるい は、 処理能力をさほど要求しなくとも和音出力の機能を実現できる、 という副次 的効果も得られるようにするためである。
和音 I Dおよびファイル I Dは、 図示しないテーブルで階層的に管理する。 図 9は、 このテーブルの内容説明図である。 「c l0100j は 「Am」 を識別するため の和音 I Dであり、 その下位層にはファイル I D 「cl01001」 〜 「cl01006」 が続 く。 「cl01001」 は和音が Amで第 1方向 (上カゝら下方向) でレベル 1 (弱) の和 音データファイルを識別するためのファイル I Dである。 「cl01006」 は和音が A mで第 2方向 (下から上方向) でレベル 3 (強) の和音データファイルを識別す るためのファイル I Dである。 他の和音 I D並びにファイル I Dについても同様 のルールで I Dが割り当てられている。
ぐ和音出力装置の動作 >
次に、 上記のように構成される和音出力装置の動作を説明する。
和音出力装置は、 例えば、 操作者が、 左手で筐体 1 0を把持し、 左手指で操作 スィッチ 1 2 1等を操作 (押す Z離す) するとともに、 右手でスタイラスペン 3 0を持ち、 あるいは、 指を使って、 ペン先又は指先でディスプレイ 1 1へのタツ チ操作することにより動作可能になる。
メモリカード 2 0を筐体 1 0に装着した状態で、 操作者が電源スィツチ 1 5を オンにすると、 制御ユニット 4 0 (C P Uコア 4 2 ) は、 メモリカード 2 0の R OM 2 1にアクセスして和音出力用プログラムの実行を開始する。 制御ュニット 40は、 また、 メモリカード 20の ROM21および EEPROM22に記録さ れているデータ並びにテーブルの一部又は全部を RAM43にロードする。 これ により、 操作者が本装置を楽器として操作するための動作環境が構築される。 電源オン直後、 制御ュ-ット 40は、 ディスプレイ 11の全面に初期画面を表 示させる。 初期画面には、 操作者による動作モードの選択項目が含まれる。 上述 した振動波形モード、 ガイダンスモード、 カラオケモードのいずれかを操作者が ファンクションキー 162で選択し、 スタートボタン 161を押すと、 制御ュニ ット 40は、 初期画面を、 選択された動作モードの動作画面に切り替え、 各動作 モード下での処理を行う。 以下、 図 10〜図 15を参照して、 各動作モードにお ける動作手順を説明する。
図 10は、 振動波形モードでの手順説明図である。
振動波形モードカ S選択されると、 制御ュニット 40は、 初期振動波形画像をデ イスプレイ 1 1に全画面表示させる (S 101)。 この処理は、 CPUコア 42か ら GPU451に描画コマンドと画像データとを送出し、 且つ、 表示コントロー ラ 47に、 上述したデータ値 「10」 を送出することにより実現される。
操作者によって操作スィッチ 121 (あるいは、 拡張スィッチ 131と共に) のいずれかの操作子が押されたことを検知すると (S 102 : Yes), 制御ュニッ ト 40は、 当該操作子に割り当てられた和音 I Dにより特定される和音デ一タフ アイルを RAM 43又は ROM 21から読み出し、 S PU 44で音処理可能の状 態にする (S 103)。 この時点では、 和音はまだ出力されない。
なお、 この例では、 制御ユニット 40は、 その操作子が押されている間だけ、 当該操作子に割り当てられた和音 I Dにより特定される和音データファイルを R AM 43又は ROM21から読み出し、 S PU 44で音処理可能な状態にする(S 103)。 これにより、操作子が押されている間のみ和音が出力され、操作子が離 されると和音が出力されなくなるので、 ユーザは、 和音の出力時間を容易に制御 することができる。 他の形態、 例えば操作子が離されてから所定時間経過するま で SPU 44で音処理可能な状態にする (この場合、 操作子が離されてから音を だんだん小さくしてフェードアウトさせてもよい)等、種々の形態が可能である。 タツチセンサからの出力データに基づいてタツチ操作内容を検知すると (S 1 0 4 : Yes) , 制御ユニット 4 0は、 タツチ操作内容に連動した態様で、 和音デー タに対する音処理を行い、和音を出力させる (S 1 0 5 )。 タツチ操作内容が検知 されない場合は(S 1 0 4: No) ,タツチ操作内容が検出されるまで S 1 0 4を繰 り返す。
「タツチ操作内容に連動する態様」 の例として、 ここでは、 タツチ操作方向と タツチ操作速度、 並びにその変化に応じて和音の出力音の音色、 強度を異ならせ る例を挙げる。 すなわち、 同じ和音が指定された^^であっても、 上から下方向 (第 1方向) にタツチ操作されたときは多少周波数が高く、 下から上方向 (第 2 方向) にタツチ操作されたときは、 低くなる。 これは、 実楽器であるギターの弦 操作がそのようになっているためである。 また、 タツチ操作速度が速いときは、 遅いときよりも出力強度が高くなる(レベル 3 >レベル 1 )。そっと触る程度のタ ツチ操作速度では、 微弱な音 (レベル 1 ) が出力される。
タツチ操作がどの方向になされたかは、 タツチ操作開始位置の検出を契機に、 タツチ操作が連続して進行する方向を検出することにより判別する。 タツチ操作 速度は、 単位時間におけるタツチ連続操作量を検出することにより判別する。 操 作方向の変化は、 例えばタツチ操作位置の変ィヒのパターンマツチング等により判 別する。 これらの検出を容易にするため、 R AM 4 3に、 操作開始位置を一時的 に保存しておくことが好ましい。 また、 パターンマッチングの際の指標となる基 本パターンを用意しておく。
図 9に例示したいずれかの和音データファイルをファイル I Dをもとに選択し、 これを S P U 4 4に送出することによりステップ S 1 0 5が実現される。 このよ うにして S P U 4 4から和音が出力されるときは、 ディスプレイ 1 1に表示中の 振動波形画像の振幅値を和音の出力態様、 例えば音強度 (レベル 1〜レベル 3 ) に応じて変化 (振動) させる (S 1 0 6 )。
それまで押されていた操作子が離されたことを検知したとき、 つまり、 操作を 止める力、別の操作子を指定したときは、 ステップ S 1 0 2の処理に戻る (S 1 0 7: Yes)。 操作子が離されない場合 ( S 1 0 7: No) ,和音出力レベルがゼロにな るまでステップ S 1 0 6以降の処理を繰り返す ( S 1 0 8: No)。 これにより、所 定の時間にわたって余韻音が出力され続けることになる。 余韻音がなくなって和 音出力レベルがゼロになったときは、ステップ S 1 0 2に戻る (S 1 0 8 : Yes)。 このように、 振動波形モードでは、 操作者は、 振動波形をみて実楽器で奏でら れた和音の余韻を楽しみながら、 和音出力装置を操作することができる。 また、 操作者自身のペースで、 自由かつ簡単な操作だけで和音が出力されるので、 従来 の電子楽器装置と異なって弾き語りが容易になり、 大勢の仲間が集まって合唱す るときの伴奏も、 操作者主導で行えるようになる。
次に、 先にある和音 (第 1の和音) を出力し、 その後再度タツチ操作を行うこ とで次の和音 (第 2の和音) を出力する場合の処理を説明する。 第 1の和音の出 力及び第 2の和音の出力に関しては、種々の処理が可能である。例えば、 「第 1の 和音に関しては、第 1の和音をミュート (消音) させて第 2の和音出力のみ行う」、 「第 2の和音の出力がない場合と同様に第 1の和音出力をそのまま継続して第 2 の和音に重ねる」、 「第 1の和音をフエ一ドアウトさせて第 2の和音出力に重ね る j 等の処理が挙げられる。
また、第 2の和音に関しては、「先に第 1の和音が出力されていないときと同様 にして出力する」、 「出力当初の音量を小さくして徐々に大きくする (フ ードィ ン) ことで第 1の和音に重ねる」 等、 種々の処理が挙げられる。 これら第 1の和 音出力の処理と第 2の和音出力の処理を適: 且み合わせて実行することができる。 以下、 図 1 1 A、 Bを参照して、 第 1の和音を出力した後に更に第 2の和音を 出力する場合の第 1の和音、 第 2の和音それぞれの処理の一例を示す。
図 1 1 A、 Bにおいて、振動波形モードが選択されると、制御ュニット 4 0は、 初期振動波形画像をディスプレイ 1 1に全画面表示させる(T 1 0 1 )。 この処理 は、 C P Uコア 4 2力 ら G P U 4 5 1に描画コマンドと画像データとを送出し、 且つ、 表示コントローラ 4 7に、 上述したデータ値 「1 0」 を送出することによ り実現される。
操作者によって操作スィッチ 1 2 1 (あるいは、 拡張スィッチ 1 3 1と共に) のいずれかの操作子が押されたことを検知すると (T 1 0 2 ·· Yes) , 制御ュニッ ト 4 0は、 その操作子が押されている間、 及ぴ後述するように二つの和音を重ね る場合等のように操作子が離されても和音の出力が必要となる間は、 当該操作子 に割り当てられた和音 I Dにより特定される第 1の和音データファイルを R AM 43又は ROM 21から読み出し、 S PU 44で音処理可能の状態にする (T 1 03)。 この時点では、第 1の和音はまだ出力されない。 タツチセンサからの出力 データに基づいてタツチ操作内容を検知すると (T 104 : Yes), 制御ュニット 40は、 タツチ操作内容に連動した態様で、 第 1の和音データに対する音処理を 行い、 第 1の和音を出力させる (T105)。
この際、 図 11A、 Bの実施形態では、 和音を出力するチャンネルがチャンネ ル八、 Bの二種類あり、 これらのチャンネルからそれぞれ同時に同じ和音、 ある いは異なる和音を出力することができ、 T105では、 チャンネル Aから和音を 出力するものとした。 なお、 この例ではチャンネ は A、 Bの二つとしたが、 チ ヤンネル A、 B、 C…のように三つ以上のチャンネルからそれぞれ和音出力を行 うようにすることもできる。 また、 制御ユニット 40は、 各チャンネル毎に、 操 作子に割り当てられた和音 I Dにより特定される和音データファイルを R AM 4 3又は ROM21から読み出し、 S PU 44で音処理可能の状態にする。 タツチ 操作内容が検出されると、 制御ュニットは、 タツチ操作内容に連動した態様で、 和音データに対する音処理を行い、 和音を出力させる。
この例では、 第 1の和音が Cコードで、 力つ上から下方向 (第 1方向) にタツ チ操作されたものとして説明する。
タツチ操作内容が検知されない場合は(T104 :No)、タツチ操作内容が検出 されるまで T 104を繰り返す。
「タツチ操作内容に連動する態様」 に関しては、 図 10の例と同様に、 上から 下方向 (第 1方向)、 下から上方向 (第 2方向) にタツ 操作されたときで周波数 を変えることや、 音レベルを変えることなどが可能である。
図 9に例示したレ、ずれかの和音データファイルをファイル I Dをもとに選択し、 これを SPU 44に送出することによりステップ T105が実現される。 このよ うにして S PU44から和音が出力されるときは、 ディスプレイ 11に表示中の 振動波形画像の振幅値を和音の出力態様、 例えば音強度 (レベル 1〜レベル 3 ) に応じて変化 (振動) させる (T106)。
次に、 それまで押されていた操作子が離された力否かを判定し、 操作子が離さ れていないとき (T107 : No) は、 和音出力レベルがゼロ力否かを検出し、 ゼ 口であれば (T 1 0 8 : Yes) T 1 0 2に戻る。 ゼロでなければ (Τ 1 0 8 : No) , タツチ操作がなされたかを判定する。 タツチ操作されていないとき (T 1 0 9 : No) は、 T 1 0 7に戻る。
T 1 0 9でタツチ操作が検出された場合 (T 1 0 9 : Yes) , そのタツチ操作が T 1 0 4におけるタツチ操作と逆方向のタツチ操作である力否かを検出する。 逆 方向のタツチ操作である場合 (T 1 1 0 : Yes) Λ チャンネル Αからの第 1の和音 (この例では第 1方向でタツチ操作されたコード Cの和音) に加えて、 T 1 0 8 における逆方向のタツチ操作に対応した和音 (第 2の和音) をチャンネル Bから 出力させる。 この例では T 1 0 4で Cコードが第 1方向でタツチ操作されている ので、 同じ Cコードのままで第 2方向でのタツチ操作が検出され、 R OM 2 1に 記録された和音データファイルからこれに対応する和音データが第 2の和音とし て読み出される。 制御ユニット 4ひは、 この和音データに对する音処理を行い、 第 2の和音を出力させ (T l 1 1 )、 T 1 0 6へと戻る。
この場合のチャンネル A (図中では Ch. A)、 チャンネル B (図中では Ch. B) そ れぞれから出力される和音の説明図を図 1 2 ( a ) に示す。 この図に示されるよ うに、 チャンネル Aからの第 1の和音出力に加えて、 チャンネル Bからの第 2の 和音が出力される。 チヤンネル Bから第 2の和音を出力することによってチヤン ネル Aから出力される和音を特に変化させることはなく、 チャンネル Aからの和 音は、 チャンネル Bからの出力を行わないときと同様に、 上記の所定の時間にわ たって余韻音が出力される。 従って、 この場合、 スピーカーからは、 チャンネル Aからの第 1の和音とチヤンネル Bからの第 2の和音とがミックスされて出力さ れる。
ギター等の実際の楽器を演奏する場合、 あるコードで所定方向にストロークし て和音を弾いた後に同じコードで逆方向にストロークして和音を弾いた場合、 楽 器本体の共鳴や残響等の影響から、 逆方向にストロークして和音を弾いた後であ つても、 その前の所定方向のストロークで弾かれた和音が、 逆方向にストローク した和音と重なって聞こえる。
一方、 電子的な和音をスピーカから出力する場合、 上述のような楽器における 本体の共鳴の効果は得られないので、 単に第 1の和音を出力した後に第 2の和音 を出力しただけでは、 ユーザが 「実際の楽器とは聞こえ方が違う」 と認識し、 聴 覚的に不自然であると感じることになる。
この例では、 上述のように第 1の和音と第 2の和音とをミッタスして出力する こと力 ら、実際の楽器と同様に、第 1の和音と第 2の和音とが重なつて出力され、 聴覚的な違和感をユーザにあたえるおそれが少なくなつている。
次に、 T 1 0 9で検出されたタッチ操作が T 1 0 4におけるタツチ操作と逆方 向のタツチ操作ではない場合(T 1 1 0: No)、つまり、 T 1 0 4におけるタツチ 操作と同じコードで同方向のタツチ操作である場合には、 これに対応する和音、 この例では第 1方向でタツチ操作された Cコードが第 2の和音としてチャンネル Bから出力され(T 1 1 2 )、ステップ T 1 0 6へと戻る。従って、チャンネル A から出力されている第 1の和音とチャンネル Bから出力される第 2の和音とは同 じ和音となる。
この例では、図 1 3 ( a ) に示すように、 チャンネル Aから出力される和音は、 T 1 0 4でのタツチ操作と同方向のタツチ操作が検出された時点を t。として、 t。から音がだんだん小さくされて tュの時点で音量がゼロとなるようにする。一 方、 図 1 3 ( b ) に示すように、 チャンネル Bから出力される和音は、 t。で最 小音量で出力され、 だんだん大きくなって t iの時点で所定の音量に達するよう になっている。 t。から t iまでの期間は任意に決定でき、 この例では、 ユーザの 聴覚的に自然であると感じられるように、 千分の二秒 (0 . 0 0 2秒) とした。 しかし、 適宜この期間を 0 . 0 0 2秒より長く、 あるいは短く設定することがで きる。 また、 この期間を、 音の高さ、 タツチ操作の強さ、 タツチ操作と次のタツ チ操作との間隔の長さ等によりアクティブに変更させてもよい。 この制御は、 S P U 4 4で行うことができる。
このように、 短期間 (この例では 0 . 0 0 2秒程度) でチャンネル Aの音を小 さくしていき、 チャンネル Bを小さな音から大きくしていくことを 「クロスフエ ード」 と称する。 クロスフェードを行わない場合、 第 1の和音の出力を停止して 第 2の和音を出力するまでにタイムラグが生じて無音となる時間が発生してしま うおそれがあり、 また、 仮にタイムラグをなくすことができたとしても、 第 1の 和音と第 2の和音が同時にだされる期間がまったくない場合、 聴覚的に不自然に 感じられるが、 クロスフェードを行うことで、 聴覚的に自然に聞こえるようにで さる。
クロスフェードでは、 チャンネル Aとチャンネル Bとの音量の和が、 常に t。 におけるチヤンネル Aからの音量値と同じ値となるようにしてもよい。 この例で は、 T 1 0 9におけるタツチ操作がなされてそれに対応する和音が出力されたこ とをユーザに強調するために、 チャンネル Bからの音を大きめにして、 チャンネ ル Aとチャンネル Bとの音量の和が、 t。におけるチャンネル Aからの音量値よ りも大きくなるように設定した。 チャンネル Aとチャンネル Bとの音量の和に関 しては、 特に制限はなく、 種々の手法で設定することが可能である。
次に、 T 1 0 7において、 操作子が離されたことを検知したとき、 つまり、 操 作を止める力別の操作子を指定したときは、 その直後に別の操作子が押されてか っタツチ操作がなされたか否かを判定する。 なお、 ユーザが操作子を離して再度 押すためには、 ある程度の時間を要し、 この時間内で操作がなされた^ こ、 「直 後に操作子が押された」 として判定する。 直後に別の操作子がおされてかつタツ チ操作がなされた (T l 1 3 : Yes) , この操作子及びタツチ操作方向に対応 した和音 (第 2の和音) を、 R OM 2 1に記録された和音データファイルから読 み出し、第 1の和音と第 2の和音を上述のようにクロスフェードさせ(T l 1 4 )、 ステップ T 1 0 6へと戻る。 T 1 1 3において、 その直後に別の操作子がおされ てかつタツチ操作がなされたと判定されなかった場合 (T 1 1 3 : No) は、 T 1 0 2へと戻る。
このように、 第 2の和音が第 1の和音と同じ和音でタツチ操作方向 (実際のギ ター等の楽器でのストローク方向) が逆である場合と、 その他の場合と、 を区別 して、 和音の出力処理方法を変えることで、 一層実際の楽器に近い、 自然な和音 出力を行っている。
特に、 本実施形態では、 第 1の和音を出力してから同じ和音で同じ方向へのタ ツチ操作により音の強さ以外は互いに等しい第 2の和音を出力する場合、 これら 二つの和音をミックスし、 それ以外の^^は、 第 1の和音と第 2の和音をクロス フエードして出力することで、 一層自然な和音出力を行うことができる。
従来の和音出力装置では、 上記のような区別の必要性が認識されておらず、 第 1の和音とその後に出力される第 2の和音との種類に関わらず音の出力処理を行 つていたことから、 ユーザは聴覚上、 出力される和音が不自然であると感じるお それがあった。 しかし、本実施形態では、 このような不自然さが解消されている。 なお、 本実施形態では、 スタイラスペン等の操作方向を途中変化させることに より和音の余韻の音色を変化させる余韻効果処理を実行できるようにしてある。 例えば図 14 (a) 〜 (d) は、 スタイラスペン等を上から下方向に操作した 後に左右方向に途中変化させた場合の例、 (e) 〜 (! 1) は、下から上方向に操作 した後に左右方向に途中変化させた場合の例である。 このように操作されたとき の制御ユニット 40の処理手順は、 図 15のようになる。 すなわち、 スタイラス ペン等の操作方向転換を検出し (A101 : Yes), それが右方向であったときは (A102: Yes),余韻音のピッチを狭くして出力する (A103)。 これにより、 余韻音の周波数が若干高くなる。 他方、 方向転換が左方向であったときは (A1 02 : No), 余韻音のピッチを広くして出力する (A104)。 これにより、 余 韻音の周波数が若干低くなる。 以上の手順を余韻音が続く限り行う (A105 : Yes:)。 これにより、 アコースティックギターでありながら、 エレキギターのよう なビブラートを表現することができ、 操作に幅を持たせることができる。
次に、 図 16を参照して、 ガイダンスモードにおける動作手順を説明する。 ガイダンスモードが選択されたときは、 初期ガイダンス画像を表示する (B 1 01)。初期ガイダンス画像は、図 5のうち振動画像 51を図 3 (a) に示した初 期振動画像 50に置き換えた画像であり、 表示コントローラ 47に上記のデータ 値 「11」 を出力することにより実現される。
ある操作子が押されたことを検知す,ると (B 102 : Yes), 制御ュニット 40 は、 振動波形モード時と同様、 操作子に割り当てられた和音データファイルを読 み出して、音処理可能状態にする (B 103)。 また、押された操作子に割り当て られた和音に関する画像の表示状態を変化させる (B 104)。例えば、図 5のよ うに、 押された操作子がわかるように、 他の押されない操作子よりも目立つ表示 に変化させる。
以後の操作は、 振動波形モード時と同様である。 すなわち、 タツチ操作された ことを検知したときは (B 105 : Yes), タツチ操作内容に応じた態様で、 和音 データに対する音処理を行い、和音を出力させる (B 106)。 また、表示中の振 動波形画像の振幅値を和音の出力態様に応じて変化(振動) させる (B 107)。 操作子が離されたときは、 ステップ B 102の処理に戻る (B 108 : Yes)。 操 作子が離されない場合 (B 108: No),和音出力レベルがゼロになるまでステツ プ B 107以降の処理を繰り返す(B 109: No)。和音出力レベルがゼロになつ たときはステップ B 102に戻る (B 109 :Yes)。 このガイダンスモードによ り、 和音ガイダンス用の操作子画像 63と案内画像 64とを見ながら操作できる ので、 操作がより容易になる。
次に、 図 17および図 18を参照して、 カラオケモードにおける動作手順を説 明する。
カラオケモードが選択されたときは、楽曲画像を表示する (K101)。楽曲画 像は、 例えば図 4に示したものである。 ある操作子が押されたことを検知すると (K102 : Yes), 振動波形モード時と同様、 その操作子に割り当てられた和音 データファイルを読み出して、音処理可能状態にする (K103)。 また、 ガイダ ンスモード時と同様、 押された操作子に割り当てられた和音に関する画像の表示 状態を変化させる (K104)。
タツチ操作されたときは (K105 : Yes), タツチ操作内容に応じた態様で、 和音データに対する音処理を行レ、、和音を出力させる (K106)。 また、表示中 の振動波形画像の振幅値を和音の出力態様に応じて変化 (振動) させる (K10 7)。
操作者により操作子が正しく押されたかを判別する(K108)。 この判別は、 例えば指定すべき和音表示 (図 4の現在の和音表示 66 ) の出力と、 押された操 作子に割り当てられている和音 I Dとが適合するかどうかにより行う。 正しく押 されたときは、 表示中の楽曲画像の進行を進める (K108 : Yes, K109)。 他方、 正しく押されなかったときは K109の処理をバイパスする (K108 : Νο)。操作子が離されたときは、 ステップ K102の処理に戻る (Kl 10: Yes)c 操作子が離されない場合 (Kl 10: No),和音出力レベルがゼロになるまでステ ップ K107以降の処理を繰り返す (Ki l l : No)0和音出力レベルがゼロにな つたときほステップ K102に戻る (Ki l l : Yes)。 以上の処理により、 ディスプレイ 1 1に表示される画像は、 和音を正しく指定 できたときは、 楽曲画像が予め決められた方向に進行する。 そして、 進行状況に 応じて、 進行グラフ 6 2における現在の位置を変化させる。 ゆっくり歌いたい場 合は、 和音をゆっくり指定しながらタツチ操作すれば良い。 このようにすること で、 装置主導ではなく、 操作者の都合で曲を進行させることができる。 他方、 誤 操作したときは、 楽曲画像が進行しないので、 操作者は、 どの辺で誤操作したか のが容易にわかる。 例えば、 楽曲画像が図 1 8上段 (案内画像 6 4は省略してあ る) のように、操作すべき和音表示 6 6を、 操作者が正しく操作したとき (成功) は、 図 1 8中段のように小節が進行する。 他方、 和音表示 6 6通りの和音を指定 しなかったとき (失敗) は、 楽曲画像は進行しない。
図 1 9に、 上記例における複数のチャンネルを用いて操作子の操作方向により ミックス、 クロスフェードを使い分ける場合のディスプレイ 1 1の表示画面例を 示す。 楽曲画像は、 例えば、 その長さがタツチ操作を行ってから次のタツチ操作 を行うまでの時間を表すバー 7 1 (図中において個々のバー 7 1を b 1、 b 2、 b 1 2として表す) と、 和音ガイダンス用の操作子画像 7 3とカゝら成る。 各バ 一 7 1の該当領域には、それぞれ、歌詞 7 1 1と和音表示 7 1 2とが記述される。 また、 上から下方向へのタツチ操作を表すタイミング記号 (図中において Vで表 される) 7 1 4と、 下から上方向へのタツチ操作を表すタイミング記号 (図中に おいて逆向きの Vで表される) 7 1 5も表示される。
図 1 9における各バー 7 1は、 その長さがタツチ操作を行ってから次のタツチ 操作を行うまでの時間を表すので、 バー 7 1の長さとタイミング記号とにより、 ユーザは、 タツチ操作を行うタイミング及ぴタツチ操作の向き (実際のギターに おいてはストロークの向き) を容易に視認することができる。 図 1 7の例におい ては、 b l〜b 9までは同じ間隔で下向きにタツチ操作を行い、 バー b 4、 b 7 の先頭においては上向きに、 それ以外のバーの先頭において下向きにタツチ操作 を行う。 バー b 1 0の長さはバー b l〜b 9の長さの半分であり、 バー 1 1の先 頭においてはタイミング記号が逆 Vとなっているので、 バー b 1 0の先頭におい て上から下方向にタツチ操作を行った後、 それまでの半分の時間経過後に下から 上方向にタツチ操作を行う。 バー b 1 1は、 バー b 1〜13 9の1 . 5倍の長さで あり、 力つ、 バー b 1 2の先頭においてタイミング記号が Vとなっていることか ら、 バー b l〜b 9における時間の 1 . 5倍の時間経過後に上から下方向にタツ チ操作を行う。
また、図 4の例では、操作子として 8方向ボタンを用いた例が示されているが、 この例では、 和音出力装置の操作子として十字ボタンを使用して操作子画像 7 3 として示している。 バー b lにおいては、 操作子の左 (十字ボタンの左) を押す ことで和音 Cを選択することが示される。 同様に、 バー b 3では操作子の右を押 すことで和音 F、 バー b 6では操作子の上 (十字ボタンの上) を押すことで和音 Dm 7、 バー b 9では操作子の下 (十字ボタンの下) を押すことで和音 Gを選択 することが示される。 なお、 これ以外のバーでは、 操作子画像 7 3が示されてい ないが、 これらは、 その前に示されたボタンを押し続けることを示す。 例えば、 b 2においては、 b 1の操作子画像 7 3が操作子の左を押すことを示しているこ と力ら、 b 1で押さえた操作子の左を押し続けることになる。
このように画面表示を行うことで、 タツチ操作を行う (ギターでのストローク を行う) タイミングとストローク方向、 及び押さえるべき操作子をユーザにわか り易く伝えることができる。 また、 個々のバーには、 図 4の例における小節 I D と同様に、 和音表示 7 1 2、 操作子画像 7 3ならびに歌詞データが関連付けられ ている。 さらに、 各和音表示 7 1 2には、 それぞれ、 当該和音を識別するための 和音 I Dが関連付けられている。
楽曲画像は、 例えば G P U 4 5 2により VRAM4 6 2に選択的に描画され、 表示コントローラ 4 7を通じて第 2表示領域 1 1 bに表示される。
[履歴管理]
制御ュニット 4 0は、 操作者が操作したことの履歴を管理する機能を有する。 この機能は、 主として、 カラオケモードのときに有効となる。 すなわち、 楽曲画 像の表示変更の進行履歴、 楽曲画像の表示に伴う操作子の選択履歴およびディス プレイ 1 1への操作者のタツチ操作履歴をそれぞれ相互に関連付けて E E P RO M 2 2に記録する。 E E P P R OM 2 2に記録されている情報は、 例えば操作者 の指示に基づき、 いつでも再現させることができる。 例えば、 楽曲画像の進行履 歴は、 例えばそれを G P U 4 5 2に供給することにより再現することができ、 操 作子の選択履歴およびタッチ操作履歴は、 それを S P U 4 4に供給することによ り再現させることができる。 この機能は、 例えば操作者が、 本装置の現在の操作 能力をチヱックしたり、 「自動カラオケ」 として使用するとき等に利用される。 また、 操作履歴から演奏を再現しているときに、 演奏されているディスプレイ 1 1に、 図 4の和音表示 6 1 2や図 1 7の和音表示 7 1 2を表示するようにして もよレ、。 また、 図 4の操作子画像 6 3や図 1 7の操作子画像 7 3を表示するよう にしてもよい。
これにより、 再生時に、 演奏されている和音や、 録音時に操作子のどのボタン を押さえたかを確認することができる。
このように、 本実施形態の和音出力装置は、 片手で把持できるサイズなので、 何処にでも持参することができる。 使用に際しては、 操作者が、 例えば左手で筐 体 1 0を把持しつつ左手指で操作スィッチ 1 2 1を操作し、 右手又はスタイラス ペンでタツチ操作するだけで和音を出力するので、 非常に手軽であり、 必ずしも 熟練を要しない。 また、 装置主導でなく、 操作者が自分のペースで自由に操作で きるので、 自分のそのときの気分にま力せて、 あるときは、 ゆっくり歌ったり、 早いテンポで歌ったりするということができる。 弾き語りのようなことも気軽に 行えるようになる。
初心者は、 例えばガイダンスモード又はカラオケモードを選択して操作するこ とにより、 和音を覚えていなくとも操作することができるし、 和音は、 実楽器を 実際に奏でた音をベースに出力されるので、 初心者は初心者なりの、 また、 熟練 者は熟練者なりの楽しみ方ができる。
[変形例]
本発明は、 上記の実施の形態例に限定されるものではなく、 種々の構成変更が 可能である。 例えば、 制御ユニット 4 0は、 タツチ開始時期、 タツチ操作方向、 タツチ操作速度のみならず、 タツチ操作位置を操作内容として検出する構成にし ても良い。 すなわち、 所定のタツチ操作位置に予め和音表示と和音 I Dとを割り 当てておき、 操作者がディスプレイ 1 1上の和音表示の位置を選択することによ り、 操作スィッチ 1 2 1の押圧操作と同様に機能するようにしても良い。
本実施形態では、 カラオケモード時に誤操作しても和音は出力される力 誤操 作のときには、 該当和音を出力しないようにしても良い。 このようにすれば、 誤 操作したことをより迅速に判断することができる。
本実施形態では、 振動画像等は第 1表示領域 1 1 a、 楽曲画像等は第 2表示領 域 1 1 bに表示させるようにしたが、 これらの表示領域は適宜に変更され得る。 本実施形態では、 また、 第 1表示領域 1 1 a , 第 2表示 1 1 bを切り替えて 1つ のディスプレイ 1 1表示させるようにしたが、 ディスプレイを 2つ設け、 これら のディスプレイの一方に第 1表示領域 1 1 aと第 2表示 1 1 bの一方、 ディスプ レイの他方に第 1表示領域 1 1 aと第 2表示 1 1 bの他方を表示させるようにし ても良い。
本発明は、 ギターのみならず、 他の楽器、 例えばピアノで弾かれる音色の和音 を出力する場合にも適用が可能である。

Claims

請 求 の 範 囲
1 . 片手で把持可能な携帯サイズの筐体に、 それぞれ操作者が一方の片手指で 選択可能な複数の操作子と、 操作者が他方の片手指で直接又は間接にタッチ操作 可能なタツチセンサとが形成されており、
前記筐体には、 相互に結合されたデータメモリ、 制御機構及び音出力機構が設 けられており、
前記データメモリには、 実楽器が奏でる音特性を有する和音を前記音出力機構 力 ら出力させるための和音データファイルが、 当該和音を識別するための和音 I Dと共に複数記録されており、
前記複数の操作子の各々には、いずれかの前記和音 I Dが割り当てられており、 前記制御機構は、
操作者がどの操作子を選択し始めてその選択を何時解除したかを検出する操作 子選択状況検出手段と、
前記タツチセンサへのタツチ開始時期を含む操作内容を検出する操作内容検出 手段と、
前記操作子選択状況検出手段で検出した操作子に割り当てられている前記和音 I Dをもとに特定した和音データファイルを、 当該操作子が選択されている間だ け前記データメモリより読み出して前記音出力機構に供給し、 これにより出力可 能になる和音を、 前記操作検出手段が検出した操作内容と連動する態様で前記音 出力機構から出力させる和音出力制御手段とを備えるものである、
携帯型和音出力装置。
2 . 前記操作内容検出手段は、 前記タツチ開始時期のほか、 前記タツチセンサ へのタッチ操作方向、 タッチ操作速度、 およびタッチ操作位置の少なくとも一つ を検出するものであり、
前記和音出力制御手段は、 前記タツチ操作方向又はタツチ操作速度が検出され たときは検出方向又は検出速度に応じて定められた和音を前記音出力機構から出 力させ、 当該タッチ操作方向の変化が検出されたときはその出力周波数を変化方 向に応じて変化させ、 タツチ操作速度の変化が検出されたときはその出力強度を 変化速度に応じて変化させ、 前記タツチ操作位置が検出されたときは当該検出位 置に予め割り当てられた出力態様で出力させる、
請求の範囲第 1項記載の携帯型和音出力装置。
3 . 前記操作内容検出手段は、 前記タツチ開始時期のほか、 前記タツチセンサ へのタツチ操作方向を検出するものであり、
前記和音出力制御手段は、 前記音出力機構から第 1の和音が前記操作内容と連 動する態様で出力された後に、 前記操作内容検出手段が前記タツチセンサが再度 タツチされたことを検出すると、 再度タツチされたときの前記操作状況で検出し た操作子に割り当てられている前記和音 I Dにより出力可能になる和音を前記操 作内容と連動する態様で前記音出力機構から第 2の和音として出力するとともに、 前記第 1の和音と前記第 2の和音の比較と、 前記第 1の和音におけるタツチ操 作方向と前記第 2の和音におけるタツチ操作方向との比較と、 を行い、 これらの 比較結果に連動して、 前記操作内容と連動する態様で出力される第 1の和音の音 量及び音の出力時間と、 前記操作内容と連動する態様で出力される第 2の和音の 音量及び音の出力時間とをそれぞれ変化させる、
請求の範囲第 2項記載の携帯型和音出力装置。
4 . 前記操作内容検出手段は、 前記第 1の和音と前記第 2の和音とが等しく、 かつ、 前記第 1の和音におけるタツチ操作方向と前記第 2の和音におけるタツチ 操作方向とが互いに反対方向である場合に、 前記操作内容と連動する態様で出力 される第 1の和音に、 前記操作内容と連動する態様で出力される第 2の和音を合 成して出力させ、
その他の場合には、 前記操作内容と連動する態様で出力される第 1の和音を、 前記再度タツチされた時点から小さくしていき所定時間で消音させ、 前記操作内 容と連動する態様で出力される第 2の和音を、 前記再度タツチされた時点では最 小音量とし、 その後は前記所定時間に渡ってその音量を徐々に大きさせて出力す る、
請求の範囲第 3項記載の携帯型和音出力装置。
5 . 前記和音データファイルが、 実楽器で奏でられた和音を録音して成るデー タファイルである、 請求の範囲第 1項〜第 4項のレ、ずれかに記載の携帯型和音出 力装置。
6 . 前記実楽器が、 複数の弦がほぼ同じ時間に弾かれることにより前記和音が 奏でられる弦使用楽器である、
請求の範囲第 5項記載の携帯型和音出力装置。
7 . 前記データメモリを前記制御機構及び音出力機構と離脱自在に結合するた めのメモリ収脱機構を備えており、
前記データメモリには、 前記弦楽器使用楽器を含む実楽器毎の前記データファ ィルが記録されている、
請求の範囲第 6項記載の携帯型和音出力装置。
8 . 前記データメモリには、 連続する複数の小節から構成される楽曲の表示用 画像データが記録されており、 各小節には、 それぞれ、 当該実楽器用に割り当て られた 1又は複数の前記和音 I Dが関連付けられており、
前記制御機構は、 前記楽曲の表示用画像データに基づいて所定の画像表示領域 に、 1つ又は複数の小節毎の楽曲画像を表示させるとともに、 表示中の楽曲画像 の小節に関連付けられている前記和音 I Dをもとに特定された和音データフアイ ルが前記音出力機構から出力されたときに、 当該表示中の楽曲画像に代えて次の 1つ又は複数の小節を含む楽曲画像を前記画像表示領域に表示させる表示制御手 段をさらに備えており、 操作者の前記操作子の選択ならびに前記タツチセンサの 操作に起因して前記画像表示領域における楽曲画像の表示変更を進行させる、 請求の範囲第 Ί項記載の携帯型和音出力装置。
9 . 前記画像表示領域に表示される楽曲画像が、 当該 1つ又は複数の小節に割 り当てられた、 当該楽曲の歌詞と、 和音出力のための前記タツチセンサの操作タ ィミングを案内する情報と、 前記楽器における和音の生成を案内する情報との少 なくともいずれかを伴うものである、
請求の範囲第 8項記載の携帯型和音出力装置。
1 0 . 前記制御機構は、 前記楽曲画像の表示変更の進行履歴、 該楽曲画像の表 示に伴う前記操作子の選択履歴および前記タツチセンサのタツチ操作履歴をそれ ぞれ相互に関連付けて記録する履歴記録手段をさらに備えており、 操作者の指示 の入力を契機に、 前記履歴記録手段に記録されている情報のうち、 前記進行履歴 を前記表示制御手段に供給することにより、 該表示制御手段に前記画像表示領域 への楽曲画像の表示変更を再現させ、 前記選択履歴および前記タツチ操作履歴を 前記和音出力制御手段に供給することにより、 該和音出力制御手段に前記表示変 更に連動する和音の出力並びにその態様の変化を再現させる、
請求の範囲第 9項記載の携帯型和音出力装置。
1 1 . 前記データメモリには、 音の振動画像を表現するための振動画像データ が記録されており、
前記制御機構は、 前記データメモリから読み出した振動画像ファイルを前記画 像表示領域と異なる振動画像表示領域に表示させるとともに、 表示中の振動画像 を、 前記和音の出力に従って変化させ、 出力強度がゼロになった時点で静止させ る振動画像表示制御手段をさらに備えている、
請求の範囲第 8項記載の携帯型和音出力装置。
1 2. 片手で把持可能な携帯サイズの筐体に搭載されたコンピュータを携帯型 和音出力装置として動作させるためのコンピュータプログラムであって、 前記筐 体には、 それぞれ操作者が一方の片手指で選択可能な複数の操作子と、 操作者が 他方の片手指で直接又は間接にタッチ操作可能なタッチセンサとが形成されてお り、 さらに、データメモリ及び音出力機構が前記コンピュータに設けられており、 前記データメモリには、 実楽器が奏でる音特性を有する和音を前記音出力機構か ら出力させるための和音データファイルが、 当該和音を識別するための和音 I D と共に複数記録されているものにおいて、
前記コンピュータを、 .
前記複数の操作子の各々に、 いずれかの前記和音 I Dを割り当てる割当手段、 操作者がどの操作子を選択し始めてその選択を何時解除したかを検出する操作 子選択状況検出手段、
前記タツチセンサへのタツチ開始時期を含む操作内容を検出する操作内容検出 手段、
前記操作子選択状況検出手段で検出した操作子に割り当てられている前記和音 I Dをもとに特定した和音データファイルを、 当該操作子が選択されている間だ け前記データメモリより読み出して前記音出力機構に供給し、 これにより出力可 能になる和音を、 前記タツチ操作検出手段が検出した操作内容と連動する態様で 前記音出力機構から出力ざせる和音出力制御手段、 として機能させる、 コンビュ ータプログラム。
1 3 . 請求の範囲第 1 0項に記載のコンピュータプログラムを記録してなる、 コンピュータ読み取り可能な記録媒体。
PCT/JP2007/063630 2006-07-03 2007-07-03 Dispositif portatif de production d'accords, programme d'ordinateur et support d'enregistrement WO2008004690A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US12/307,309 US8003874B2 (en) 2006-07-03 2007-07-03 Portable chord output device, computer program and recording medium
JP2008523768A JP4328828B2 (ja) 2006-07-03 2007-07-03 携帯型和音出力装置、コンピュータプログラムおよび記録媒体
EP07768354A EP2045796A4 (en) 2006-07-03 2007-07-03 PORTABLE DEVICE FOR GENERATING AGREEMENTS, COMPUTER PROGRAM, AND RECORDING MEDIUM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-183775 2006-07-03
JP2006183775 2006-07-03

Publications (1)

Publication Number Publication Date
WO2008004690A1 true WO2008004690A1 (fr) 2008-01-10

Family

ID=38894651

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/063630 WO2008004690A1 (fr) 2006-07-03 2007-07-03 Dispositif portatif de production d'accords, programme d'ordinateur et support d'enregistrement

Country Status (5)

Country Link
US (1) US8003874B2 (ja)
EP (1) EP2045796A4 (ja)
JP (1) JP4328828B2 (ja)
CN (1) CN101506870A (ja)
WO (1) WO2008004690A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009150948A1 (ja) * 2008-06-10 2009-12-17 株式会社コナミデジタルエンタテインメント 音声処理装置、音声処理方法、情報記録媒体、ならびに、プログラム
JP2013156542A (ja) * 2012-01-31 2013-08-15 Brother Ind Ltd ギターコード表示装置及びプログラム
JP2014063107A (ja) * 2012-09-24 2014-04-10 Brother Ind Ltd 楽曲演奏装置及び楽曲演奏用プログラム
US10364578B2 (en) 2011-08-26 2019-07-30 Ceraloc Innovation Ab Panel coating
JP6736122B1 (ja) * 2019-06-12 2020-08-05 雄一 永田 和音演奏入力装置、電子楽器、及び、和音演奏入力プログラム
JP2020201489A (ja) * 2019-06-12 2020-12-17 雄一 永田 和音演奏入力装置、電子楽器、及び、和音演奏入力プログラム

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8269094B2 (en) * 2009-07-20 2012-09-18 Apple Inc. System and method to generate and manipulate string-instrument chord grids in a digital audio workstation
KR101657963B1 (ko) 2009-12-08 2016-10-04 삼성전자 주식회사 단말기의 터치 면적 변화율에 따른 운용 방법 및 장치
US8822801B2 (en) * 2010-08-20 2014-09-02 Gianni Alexander Spata Musical instructional player
CN101996624B (zh) * 2010-11-24 2012-06-13 曾科 电子吉它单弦演奏和弦节奏音型的方法
US8426716B2 (en) * 2011-01-07 2013-04-23 Apple Inc. Intelligent keyboard interface for virtual musical instrument
KR20120110928A (ko) * 2011-03-30 2012-10-10 삼성전자주식회사 음원처리 장치 및 방법
US20130104039A1 (en) * 2011-10-21 2013-04-25 Sony Ericsson Mobile Communications Ab System and Method for Operating a User Interface on an Electronic Device
US9082380B1 (en) * 2011-10-31 2015-07-14 Smule, Inc. Synthetic musical instrument with performance-and/or skill-adaptive score tempo
US8614388B2 (en) * 2011-10-31 2013-12-24 Apple Inc. System and method for generating customized chords
EP2786371A2 (en) * 2012-03-06 2014-10-08 Apple Inc. Determining the characteristic of a played chord on a virtual instrument
US8878043B2 (en) * 2012-09-10 2014-11-04 uSOUNDit Partners, LLC Systems, methods, and apparatus for music composition
US9430997B2 (en) * 2015-01-08 2016-08-30 Muzik LLC Interactive instruments and other striking objects
US9805702B1 (en) 2016-05-16 2017-10-31 Apple Inc. Separate isolated and resonance samples for a virtual instrument
US11107447B2 (en) * 2017-08-04 2021-08-31 Eventide Inc. Musical instrument tuner
US20210407473A1 (en) * 2017-08-04 2021-12-30 Eventide Inc. Musical Instrument Tuner
USD874558S1 (en) * 2018-06-05 2020-02-04 Evets Corporation Clip-on musical instrument tuner with removable pick holder
JP7354539B2 (ja) * 2019-01-10 2023-10-03 ヤマハ株式会社 音制御装置、音制御方法およびプログラム
JP6977741B2 (ja) * 2019-03-08 2021-12-08 カシオ計算機株式会社 情報処理装置、情報処理方法、演奏データ表示システム、およびプログラム
US12106739B2 (en) * 2020-05-21 2024-10-01 Parker J Wosner Manual music generator
US12067961B2 (en) * 2021-06-08 2024-08-20 Koto Co., Ltd. Musical instrument system
US11842709B1 (en) 2022-12-08 2023-12-12 Chord Board, Llc Chord board musical instrument
WO2024123342A1 (en) * 2022-12-08 2024-06-13 Chord Board, Llc Chord board musical instrument

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04260098A (ja) * 1991-02-14 1992-09-16 Casio Comput Co Ltd 電子楽器
JPH0744172A (ja) * 1993-07-30 1995-02-14 Roland Corp 自動演奏装置
JPH08190336A (ja) * 1995-01-10 1996-07-23 Yamaha Corp 演奏指示装置および電子楽器
JPH0934392A (ja) * 1995-07-13 1997-02-07 Shinsuke Nishida 音とともに画像を提示する装置
JP2000148168A (ja) * 1998-11-13 2000-05-26 Taito Corp 楽器演奏習得装置及びカラオケ装置
JP2003263159A (ja) * 2002-03-12 2003-09-19 Yamaha Corp 楽音生成装置および楽音生成用コンピュータプログラム
JP2004240077A (ja) * 2003-02-05 2004-08-26 Yamaha Corp 楽音制御装置、映像制御装置及びプログラム
JP2005078046A (ja) * 2003-09-04 2005-03-24 Takara Co Ltd ギター玩具

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4339979A (en) * 1978-12-21 1982-07-20 Travis Norman Electronic music instrument
US4480521A (en) * 1981-06-24 1984-11-06 Schmoyer Arthur R System and method for instruction in the operation of a keyboard musical instrument
JPS5871797U (ja) * 1981-11-10 1983-05-16 ヤマハ株式会社 電子楽器
US4794838A (en) * 1986-07-17 1989-01-03 Corrigau Iii James F Constantly changing polyphonic pitch controller
US5440071A (en) * 1993-02-18 1995-08-08 Johnson; Grant Dynamic chord interval and quality modification keyboard, chord board CX10
US6111179A (en) * 1998-05-27 2000-08-29 Miller; Terry Electronic musical instrument having guitar-like chord selection and keyboard note selection
JP3684892B2 (ja) * 1999-01-25 2005-08-17 ヤマハ株式会社 和音提示装置および記憶媒体
US6670535B2 (en) * 2002-05-09 2003-12-30 Clifton L. Anderson Musical-instrument controller with triad-forming note-trigger convergence points
US20040244566A1 (en) * 2003-04-30 2004-12-09 Steiger H. M. Method and apparatus for producing acoustical guitar sounds using an electric guitar
US7365263B2 (en) * 2003-05-19 2008-04-29 Schwartz Richard A Intonation training device
US7420114B1 (en) * 2004-06-14 2008-09-02 Vandervoort Paul B Method for producing real-time rhythm guitar performance with keyboard
US7161080B1 (en) * 2005-09-13 2007-01-09 Barnett William J Musical instrument for easy accompaniment
DE102006008260B3 (de) * 2006-02-22 2007-07-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Analyse eines Audiodatums
US20070240559A1 (en) * 2006-04-17 2007-10-18 Yamaha Corporation Musical tone signal generating apparatus

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04260098A (ja) * 1991-02-14 1992-09-16 Casio Comput Co Ltd 電子楽器
JPH0744172A (ja) * 1993-07-30 1995-02-14 Roland Corp 自動演奏装置
JPH08190336A (ja) * 1995-01-10 1996-07-23 Yamaha Corp 演奏指示装置および電子楽器
JPH0934392A (ja) * 1995-07-13 1997-02-07 Shinsuke Nishida 音とともに画像を提示する装置
JP2000148168A (ja) * 1998-11-13 2000-05-26 Taito Corp 楽器演奏習得装置及びカラオケ装置
JP2003263159A (ja) * 2002-03-12 2003-09-19 Yamaha Corp 楽音生成装置および楽音生成用コンピュータプログラム
JP2004240077A (ja) * 2003-02-05 2004-08-26 Yamaha Corp 楽音制御装置、映像制御装置及びプログラム
JP2005078046A (ja) * 2003-09-04 2005-03-24 Takara Co Ltd ギター玩具

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2045796A4 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009150948A1 (ja) * 2008-06-10 2009-12-17 株式会社コナミデジタルエンタテインメント 音声処理装置、音声処理方法、情報記録媒体、ならびに、プログラム
JP2009300496A (ja) * 2008-06-10 2009-12-24 Konami Digital Entertainment Co Ltd 音声処理装置、音声処理方法、ならびに、プログラム
KR101168322B1 (ko) * 2008-06-10 2012-07-24 가부시키가이샤 코나미 데지타루 엔타테인멘토 음성처리장치, 음성처리방법 및 정보기록매체
US10364578B2 (en) 2011-08-26 2019-07-30 Ceraloc Innovation Ab Panel coating
JP2013156542A (ja) * 2012-01-31 2013-08-15 Brother Ind Ltd ギターコード表示装置及びプログラム
JP2014063107A (ja) * 2012-09-24 2014-04-10 Brother Ind Ltd 楽曲演奏装置及び楽曲演奏用プログラム
JP6736122B1 (ja) * 2019-06-12 2020-08-05 雄一 永田 和音演奏入力装置、電子楽器、及び、和音演奏入力プログラム
WO2020250455A1 (ja) * 2019-06-12 2020-12-17 雄一 永田 和音演奏入力装置、電子楽器、及び、和音演奏入力プログラム
JPWO2020250455A1 (ja) * 2019-06-12 2020-12-17
WO2020250333A1 (ja) * 2019-06-12 2020-12-17 雄一 永田 和音演奏入力装置、電子楽器、及び、和音演奏入力プログラム
JP2020201489A (ja) * 2019-06-12 2020-12-17 雄一 永田 和音演奏入力装置、電子楽器、及び、和音演奏入力プログラム
JP7306711B2 (ja) 2019-06-12 2023-07-11 雄一 永田 和音演奏入力装置、電子楽器、及び、和音演奏入力プログラム
JP7426730B2 (ja) 2019-06-12 2024-02-02 雄一 永田 和音演奏入力装置、電子楽器、及び、和音演奏入力プログラム

Also Published As

Publication number Publication date
US8003874B2 (en) 2011-08-23
EP2045796A1 (en) 2009-04-08
JPWO2008004690A1 (ja) 2009-12-10
US20100294112A1 (en) 2010-11-25
EP2045796A4 (en) 2012-10-24
JP4328828B2 (ja) 2009-09-09
CN101506870A (zh) 2009-08-12

Similar Documents

Publication Publication Date Title
JP4328828B2 (ja) 携帯型和音出力装置、コンピュータプログラムおよび記録媒体
JP4752425B2 (ja) 合奏システム
JP3317686B2 (ja) 歌唱伴奏システム
JP4797523B2 (ja) 合奏システム
US20100184497A1 (en) Interactive musical instrument game
JP4692189B2 (ja) 合奏システム
US7405354B2 (en) Music ensemble system, controller used therefor, and program
JP4379291B2 (ja) 電子音楽装置及びプログラム
JP2004271783A (ja) 電子楽器および演奏操作装置
US7838754B2 (en) Performance system, controller used therefor, and program
JP2008076708A (ja) 音色指定方法、音色指定装置及び音色指定のためのコンピュータプログラム
JP2002006866A (ja) カラオケ装置
JP2006251376A (ja) 楽音制御装置
JP5842383B2 (ja) カラオケシステム及びカラオケ装置
JP7070538B2 (ja) プログラム、方法、電子機器、及び演奏データ表示システム
JP4211854B2 (ja) 合奏システム、コントローラ、およびプログラム
JP6803294B2 (ja) カラオケ装置
US20150075355A1 (en) Sound synthesizer
JP6991620B1 (ja) 電子楽器、電子楽器の制御方法、及びプログラム
JP2011039248A (ja) 携帯型音出力装置、コンピュータプログラムおよび記録媒体
JP2018146716A (ja) 教習装置、教習プログラムおよび教習方法
JP4218688B2 (ja) 合奏システム、このシステムに用いるコントローラ及びプログラム
JP4429244B2 (ja) カラオケ装置
JP2008233614A (ja) 小節番号表示装置、小節番号表示方法及び小節番号表示プログラム
JP2008089748A (ja) 合奏システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200780030711.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07768354

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2008523768

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2007768354

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: RU

WWE Wipo information: entry into national phase

Ref document number: 12307309

Country of ref document: US

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)