WO2010115519A1 - Musiksystem - Google Patents

Musiksystem Download PDF

Info

Publication number
WO2010115519A1
WO2010115519A1 PCT/EP2010/001835 EP2010001835W WO2010115519A1 WO 2010115519 A1 WO2010115519 A1 WO 2010115519A1 EP 2010001835 W EP2010001835 W EP 2010001835W WO 2010115519 A1 WO2010115519 A1 WO 2010115519A1
Authority
WO
WIPO (PCT)
Prior art keywords
instrument
sensor
action
preferences
voice
Prior art date
Application number
PCT/EP2010/001835
Other languages
English (en)
French (fr)
Inventor
Maximilian Meier
Original Assignee
Rechnet Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rechnet Gmbh filed Critical Rechnet Gmbh
Publication of WO2010115519A1 publication Critical patent/WO2010115519A1/de

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/38—Chord
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/105—Composing aid, e.g. for supporting creation, edition or modification of a piece of music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.

Definitions

  • the present invention relates generally to music systems, and more particularly to a music system, method and computer program for converting sensor signals into a sound sequence.
  • the human coordinating ability may be impaired, for example, due to disability, illness or the like.
  • US Pat. No. 7,297,852 B2 discloses a music therapy system in which a user can influence the pitch and the tempo of a given tone sequence by moving a control in the horizontal and vertical directions.
  • German Patent DE 195 22 958 C2 discloses a method for the auditing of endogenous values for training and / or therapeutic measures, the relevant physical measured values of the subject being recorded via sensors and converted into music signals. For the implementation of predetermined music data are used.
  • US Pat. No. 4,526,078 discloses a composition system in which a user's gestures are measured and converted into sounds.
  • U.S. Patent No. 5,541,358 discloses an electronic musical instrument in which three-dimensional movements are translated into tones.
  • the object of the present invention is to provide a music system, a method or a computer program which also enables untrained and / or motor impaired users to make music.
  • the present invention provides a music system for converting sensor signals into a sound sequence, comprising: at least one instrument having at least one first sensor outputting first sensor signals; and at least one controller that receives the first sensor signals from the instrument and is configured to assign first predetermined preferences to the first sensor signals and to combine the first preferences with at least second preferences, the controller being configured to derive from the combined preferences by means of soft- Constraints to calculate a tone sequence and output this.
  • the present invention provides a method for converting sensor signals into a sequence of tones, comprising the steps of: assigning first predetermined preferences to first sensor signals, which are selected from least one sensor originate from at least one instrument; Combining the first preferences with at least second preferences; Calculating a sequence of tones from the combined preferences using soft constraints; and outputting the calculated tone sequences.
  • the invention provides a computer program that causes a processor-based device to perform a method according to the second aspect.
  • Fig. 1 illustrates the structure of a music system according to an embodiment of the invention
  • Fig. 2 illustrates an instrument of the music system of Fig. 1;
  • Fig. 3 illustrates movements of the instrument of Fig. 2;
  • Fig. 4 illustrates the relationship of the movements of the instrument of Fig. 3 and assigned preferences
  • Fig. 5 illustrates the assignment of preferences
  • Fig. 6 shows a motion distribution and associated note values
  • Fig. 7 illustrates another movement of the instrument
  • Fig. 8 shows a motion distribution of the movement of the instrument of Fig. 7 and associated pitch preferences
  • Fig. 9 shows the music system of Fig. 1 with several music interfaces; and Fig. 10 shows a flowchart of an embodiment in accordance with the present invention.
  • Fig. 1 shows an embodiment of a music system 1 of the present invention.
  • the inventor has recognized that, in particular, for such inexperienced and / or motor restricted users, on the one hand, a simple input device is required, the use of which requires little or no exercise and thus does not impose any excessive demands on fine motor skills. On the other hand, he has realized that it is not enough to simply convert a signal that originates from the input device into a sound, because this implementation alone does not make music possible. To create melodious music, certain rules must be observed, such as the classical harmony. The observance of certain rules, such as rhythm or harmony, is particularly necessary if several users want to make music at the same time, such as in a therapy group with several Parkinson patients or a music group.
  • the embodiments provide a music system, a method or a computer program for converting sensor signals into a tone sequence.
  • an input device also referred to below as an instrument based on a musical instrument
  • This sensor is used to implement movements of the user of the instrument or on the instrument in corresponding sensor signals.
  • sensors come here, for example.
  • a touch sensor such as a multi-touch surface or other tangible interfaces.
  • the sensor signals originate from an image recognition device which, for example, monitors the arrangement of a plurality of bodies on a table surface, wherein the spatial arrangement of the bodies on the table surface and the different bodies relative to one another determines the sensor signals.
  • sensors which can measure the acceleration or movement of the instrument in one, two or three spatial directions, the absolute position in space or the orientation of the instrument in three-dimensional space and can output corresponding signals or signals derived therefrom.
  • the instruments themselves can also have rotary or toggle switches, for example, record the movements of a joystick in two dimensions or the like.
  • a control of the instrument or a central control of the music system evaluates the sensor signals in order to assign certain predetermined preferences to them. These preferences then sends, for example, the control of the instrument optionally together with the sensor signals to a central controller of the music system.
  • the preferences may be such that, if the user moves quickly while keeping it upright, the instrument prefers fast high pitch notes.
  • the preferences do not in every embodiment represent a fixedly given invariable mapping of the sensor signals, for example, to pitches and / or tone lengths or the like, but merely indicate a tendency or desire that the control of the music system then combines, for example, with second preferences ,
  • the controller receives, for example, the first preferences transmitted by the instrument or the preferences assigned to it, and combines these with second preferences.
  • the second preferences are used, for example, the coordination of several instruments and can be derived, for example, from sounds that come from another instrument or another predetermined tone sequence or the like, as will be explained in detail below.
  • the control of the music system is set up to compute and output a sound sequence from the combined preferences with the aid of soft constraints.
  • the controller has, for example, a microprocessor and a non-volatile memory, for example by storing a corresponding program which causes the microprocessor to execute corresponding calculations when the program expires.
  • a “soft constraint” is a “soft constraint” as opposed to the "normal constraint", which is a “fixed” constraint.
  • constraint programming generally, a desired result is specified by various conditions that limit the characteristics of the solutions to the problem. These conditions are often expressed in classical constraint programming as logical formulas that set a hard line between "right” and “wrong” solutions.
  • Soft constraints are an extension of classic constraints. They allow the modeling of various optimization problems in a natural way, without drawing a hard line between "good” and “bad”. Instead, soft constraints weight solutions, placing a priority on the solutions. This makes it possible to solve everyday problems with them.
  • grades are used to classify solutions to a problem that can be represented mathematically as so-called monoids, a term from group theory.
  • a monoid is, for example, the natural numbers together with the addition or multiplication.
  • a problem to be solved can be represented by a set of (problem variables and a set of (problem) values.) Individual values can be assigned to corresponding variables, which can be represented by values as functions of variables Notation [A -> B] is used to define the set of functions that map from A to B. An assignment is thus a function of variables on values:
  • a soft constraint now assigns a rank to an assignment.
  • the ranks are defined using monoids and are used to score assignments.
  • a soft constraint can then be defined as a function of rank rankings:
  • the music system consist of several instruments, each having a voice, for example, the first (top) or second (eg, a middle), etc., the corresponding variables of Constraint problems, or an instrument may itself have different voices:
  • Variable vote - ⁇ si, S 2 , S 3 , ... ⁇
  • the values of the variables are, for example, actions that an instrument can perform, such as playing certain pitches or notes: These actions then represent values of the constraint problem:
  • Occupancy [voice -> action].
  • the "sensor constraint” assigns actions of an instrument, for example, pitches or notes, ranks that express their agreement with the sensor signal.
  • the sensor constraint represents the preferences that the instrument associates with a particular sensor signal, as in the example above, in which the user moves the instrument quickly and upright, thus favoring high and fast notes.
  • actions can be different types, for example, a type is a "note action” that is always linked to a note pitch:
  • preferences over the actions are defined by soft constraints that classify the action assignments for the votes with a rank:
  • each instrument determines its own preferences, which determination may be based on the sensor signals and a global state of the system. However, this assignment can also be done in the central control of the music system, as described below.
  • These preferences for example, now combine control with other, second preferences.
  • These second preferences may, for example, come from another instrument or even specify that, for example, the tone sequence of the first instrument should meet certain harmonic rules, for example by certain pitch ratios (frequency ratios) between the different voices being preferred and others being less preferred ,
  • This coordination between the preferences of the first instrument and other preferences can also be formulated as a soft constraint problem. In this way, several individual instruments can be coordinated.
  • the harmonic relationship between two voices can be expressed by classifying the intervals between these two voices. For this purpose, one assigns particular ranks to individual intervals, for example. This gives you nice-sounding intervals, i. eg consonant intervals, such as fifths and fourths, a high rank 1 and, for example, the dissonant interval tritone the worst, lowest rank 6:
  • H ⁇ rmonieConstr ⁇ int (occupancy) Yl Yl H ⁇ rmonie (pitch (occupancy (s 0 )), pitch (occupancy (s b ))) lr ⁇ ob ⁇ en
  • s ⁇ & St ⁇ mme s t eSt ⁇ mme the harmony-constraint referred to the harmonic interplay of voices
  • constraints such as playing the same rhythm or taking into account harmonic sequences such as cadences, articulations of sounds (staccato, accents, etc.) or the like.
  • the control of the music system combines at certain time intervals the present preferences, ie the first, second, etc. Then it sets up the corresponding soft constraint problem, where, as stated above, the different ones Merge soft constraints into a single soft constraint problem. This determined single soft constraint problem is then solved, for example by a known branch-and-bound algorithm.
  • the solution of this soft-constraint problem defines tone sequences for the different voices, which satisfy the respective preferences as well as possible, which are as far as possible in accordance with the sensor signals respectively generated by the instruments, but also, for example, are harmonious.
  • the solution is not absolute, but it may come out, for example, several solutions to the problem with different ranks as a result.
  • the result i. the calculated tone sequence can be stored as a local optimal result or as a global optimal result.
  • the tone sequence may also include harmonies, that is to say several tones which sound at the same time, or even a single tone.
  • tone sequence should also be understood to mean a rhythm sequence that ultimately always has the same "tone”.
  • sound here is meant a frequency pattern, which may also be a noise.
  • the time interval that the control is based on the constraint problem ie the time interval over which the controller collects, for example, sensor signals in order to calculate the preferences for certain actions of the instrument and thus the resulting tone sequence, can be arbitrary, for example the duration of a metric impact, half impact, 1/16 beat or the like. However, the time interval is preferably short in order to enable a rapid response of the produced tone sequence to the sensor signal.
  • the bumblee tone sequence may, for example, include only a single tone. Alternatively, however, the time interval may be longer, for example comprising a complete clock.
  • successive time intervals may overlap, eg, by moving a time window of the length of one clock in 1/16 beat increments over the time axis.
  • an action of an instrument can thus relate to the playing of a note (if the time interval has the length of a 1/16 beat, for example), or to the playing of a note sequence (if the time interval is, for example) Length of a bar has).
  • the time intervals do not have to be dingt be chosen equidistantly.
  • Soft-constrained instruments can also be coordinated with other musical instruments.
  • preferences can be defined that coordinate an instrument with an electric piano, but which itself is not coordinated.
  • a recording can also be used, such as, for example, a MIDI file in which pitches, tone lengths and also voice allocations can be stored.
  • the instruments connected to the controller may also be considered as a music interface to ultimately provide the preferences or at least the sensor signals in any format processable by the controller.
  • Some embodiments also relate to a method or computer program that includes program code that causes a processor-based device (eg, a computer) to perform the corresponding method.
  • a processor-based device eg, a computer
  • the preferences may include any parameters such as pitch, tone duration, pitch range, tone duration range, tone interval, tone pause, volume, rhythm, timbre.
  • the pitch range is, for example, a preferred range of tones with a certain height, such as sounds lying between the C 2 and C 4 or the like.
  • the Tondauer Scheme can relate to an absolute time measurement, for example, a tenth of a second, or to a relative, such as a metric measure of time, such as. Quarter notes, eighth notes or the like.
  • the rhythm can be given on an absolute time scale, for example, every second a tone with tenth of a second duration, or in the metric sense, for example, on every first beat of a bar a sixteenth note, etc.
  • the preferences can be in digital or in analog form.
  • the controller can extract certain parameters from a normalized frequency pattern, for example by Fourier transformation or the like.
  • the amplitude represents a volume
  • the length of the frequency pattern represents the duration of the sound, the frequency itself the pitch, and so on.
  • preferences may also be in digital form, for example as preference data, in which the respective preferences are stored.
  • FIG. 1 illustrates an embodiment of a music system 1 in accordance with the present invention.
  • the music system 1 has one or more instruments 3, which have one or more sensors 2. In this case, different instruments 3 may also have different sensors 2.
  • a connection which is designed as a signal line 15 (FIG. 2).
  • the sensor 2 and the microprocessor 14 of the instrument 3 can exchange signals, i. the sensor 2 supplies sensor signals to the microprocessor 14 of the instrument 3.
  • the sensor 2 is in this embodiment as a motion sensor, i. Acceleration sensor configured, which detects movements or accelerations of the instrument 3 in all three spatial directions and outputs corresponding sensor signals to the microprocessor 14.
  • the instrument 3 has certain preferences for the sensor signals. For example, the instrument 3 has movements of the instrument 3 which are directed upwards and generate corresponding sensor signals, preferably higher tones, ie sounds with higher frequencies, than movements directed downward. Downward movements, the instrument 3, or the microprocessor 14, deeper sounds, that is, tones with smaller frequencies.
  • the movements of the instrument 3 are illustrated in FIG.
  • the upward arrow represents an upward movement of the instrument 3 and the sensor 2 detects the upward movement and outputs corresponding sensor signals representing the upward movement.
  • the downward arrow shows the downward movement of the instrument 3 and the sensor 2 again recognizes this movement. and also outputs corresponding sensor signals representing the downward movement.
  • the microprocessor 14 assigns these sensor signals respective preferences, wherein the sensor signals are recorded in a correspondingly clocked manner.
  • the recording of the sensor signals is different depending on the embodiment.
  • the time axis is divided into sixteenths of a second after the corresponding adjusted metric clock, and the microprocessor 14 averages the received sensor signals for the duration of a sixteenth note and then assigns this average a corresponding preference.
  • the timing is, for example, divided into quarter, eighth, or other metric steps for determining a pitch.
  • a metric time for example, on every metric beat of a clock, a short "snapshot" of a sensor signal can be recorded. How the sensor signals are recorded is at the discretion of the person skilled in the art. Any method that allows to assign preferences to the sensor signals of one at a particular time or over a particular time interval can be realized.
  • any other movement of the instrument, or portions thereof, that may be detected by sensors and represented in sensor signals may also be assigned corresponding preferences, as discussed above.
  • a movement to the left with high notes and a movement to the right of the instrument 3 can be associated with low notes.
  • any distinguishable motion or orientation of the instrument or parts thereof that results in distinguishable sensor signals may be used to assign different preferences. lead zen.
  • the corresponding preferences then sends the instrument 3 to a controller 4 of the music system 1.
  • the controller 4 is now, for example, set up so that it harmonizes the notes of a single instrument 3 with other notes. For this purpose, it generates, for example, corresponding soft constraints from a state memory 5, which can be used to harmonize the tone sequence transmitted by the instrument 3 or, for example, allow only tones of a specific tone scale.
  • the tone sequence transmitted by instrument 3 is not fixed but can be varied, as indicated by the "state cloud” in FIG. This state cloud symbolizes that each note has a certain pitch margin in which it can be changed.
  • the controller 4 thus sets up the soft constraint problem from the preferences received from the instrument 3 and solves it, for example with the branch-limiting algorithm.
  • the result of this solution is then a harmonized tone sequence or even several harmonized tone sequences, each having a different rank.
  • Which tone sequence is actually output can, for example, be preset. For example, the best may always be spent, or a user may also choose the various solutions, i. analyze the different harmonized tone sequences, and select one according to his personal preferences.
  • This tone sequence is then output by a music output 6, for example to a synthesizer, to a sound card of a PC, or to a digital-to-analog converter, via which the sound sequence directly as analog or digital Signals is output.
  • a music output 6 for example to a synthesizer, to a sound card of a PC, or to a digital-to-analog converter, via which the sound sequence directly as analog or digital Signals is output.
  • the output may also be in a file in which the tone sequence is stored (e.g., Midi, MP3, AAC (advanced audio coding), FLAC (free loser audio codec), or the like).
  • the microprocessor 14 does not assign pitch levels to the sensor signals as a function of the direction of acceleration as preferences, but, for example, tone lengths corresponding to the acceleration magnitude.
  • the direction of movement of the instrument 3 does not matter, but it depends only on the acceleration. The weaker the movement, the longer the tone and the fewer sounds played in a time interval. The faster the movements of the instrument 3 are, the shorter the tones and the more notes are played in an interval.
  • the acceleration intensities are normalized to an interval of 0 to 1 and the tone lengths are distributed over this interval.
  • the vertical line represents the current acceleration strength, the resulting evaluation of tone lengths is represented as a curve (here, for example, similar to a Gaussian distribution). In this case, the eighth note gets the best rating, followed by the quarter and 1/16 notes.
  • acceleration values can also be determined in other ways and mapped to corresponding metric values.
  • predetermined acceleration value ranges correspond to a note value, etc.
  • the two above embodiments can also be combined. It uses both the direction of motion and displacement to assign preferences, such as pitch, as well as the acceleration strength to assign preferences, such as sound durations.
  • the microprocessor 14 calculates, for example, from the acceleration signals of the sensor 2 an angle at which the instrument is held straight, as illustrated in FIG. 7 by the circular arrow.
  • the instrument has, for example, a sensor 2, which is designed as a gyroscope and can thus output the absolute orientation in three-dimensional space as a sensor signal.
  • the instrument 3 may be held obliquely upward at an angle, and the microprocessor 14 calculates associated preferences, such as preferred pitches, as shown in FIG. 8, based on the associated sensor data following movement to that position. The curve corresponds to the evaluation of pitches. In Fig. 8, the best-valued pitch of the distribution is just at the note ci.
  • the instrument to rate pitches differently depending on the angular position in which it is held. So that the instrument does not have to be constantly moved, the pitches in some embodiments do not depend directly on the angular position of the instrument 3, but a Gaussian distribution is calculated, for example, over the entire tonal range of the instrument. The peak of this calculated distribution is now associated with the angular position of the instrument 3. Consequently, the peak of the distribution moves as a function of the angular position of the instrument 3, as shown in FIG. 8 by the vertical line which extends from the peak of the distribution to the note Ci.
  • the notes are totally randomly associated with the movement of the instrument 3, and there are, for example, only the preferences that the notes within the range of one octave should be and that they are harmonic and rhythmic.
  • each type of sensor signal is converted into harmonic and rhythmic tones.
  • This embodiment is particularly suitable for users whose motor skills are severely impaired, since they can produce even with uncontrolled movements of the instrument 3 rhythmic and harmonic music.
  • it is difficult to generate certain predictable pitches by a targeted movement.
  • the instrument 3 is also equipped with sensors 2, which measure accelerations in all three spatial directions and can output corresponding signals.
  • the direction of movement and the amount of movement have no direct influence on the pitch, but they are (harmonic) randomly distributed as in the previously described embodiment.
  • the instrument 3 chooses rhythmic preferences according to the acceleration values, so that the user of the instrument 3 receives control over the rhythm, as described above in connection with FIG.
  • the music system 1 comprises, in addition to instruments 3, other music sources, for example an electric piano 3 'and a note source 3 "."
  • the electric piano 3' supplies, for example, tones in midi format and also the note source 3 " in midi format.
  • the music sources 3, 3 'and 3 " are respectively connected to the controller 4 so that they can coordinate the individual sources.
  • the controller 4 can control the respective ones of the instruments 3, the electric piano 3 1 and the central source 3 "delivered preferences among themselves eg. in terms of harmony and rhythm coordination. The control is essentially as before, as described above.
  • the sensor signals of the sensor 2 can also be present in analog or digital form.
  • the sensors 2 are configured to output digital sensor signals, that is, sensor data, which are then processed by the controller 4.
  • the preferences can be forwarded both analog and digital to the controller 4 of the instruments 3.
  • the instruments 3 are arranged to assign corresponding preferences to the sensor signals.
  • this function assumes a centralized control 4 of the music system 1.
  • the central controller of the music system 1 receives sensor signals from instruments 3, 3 'and / or preferences, such as tone sequences with pitches and tone durations Able to coordinate these accordingly.
  • the central controller 4 assigns respective preferences to corresponding sensor signals received from different instruments 3, 3 ', 3 "For this purpose, the central controller 4 is set up such that it can be set up by a user tell the controller 4 which of the music sources 3, 3 'or 3 ", also referred to below as music interfaces, which voice is assigned.
  • the user may tell the central controller 4 which music interface has which preferences. For example, it can set the central controller 4 so that it assigns the preference for high or low tones to the sensor signals of the instruments 3, which represent a movement upwards or downwards. In the signals it receives from the electric piano 3 ', For example, it can assign preference to harmony.
  • the control 4 In the case of the note source 3 ", the control 4, on the other hand, has the preference of rhythm, since, for example, the note source 3" is already harmonious and applies only as a rhythm template.
  • a method sequence that runs, for example, in the controller 4 as a computer program can be represented as follows.
  • This computer program can for example be stored on a data carrier, such as a CD-ROM or DVD, or downloaded as a program package from an Internet site.
  • the program code of the computer program causes the corresponding processor-based device, such as a computer or game console, to perform the corresponding procedure when executing the program code of the computer program.
  • the method begins, as shown in Fig. 10, after a start 7 so as to receive at 8 first sensor signals.
  • these sensor signals may originate from any sensor of an instrument and be in analog or digital form.
  • first predetermined preferences are then assigned to these first sensor signals.
  • these first preferences may be, for example, pitch, tone duration, rhythm, etc.
  • these first preferences are combined with second preferences.
  • the second preferences may, as mentioned, come from any music interface and be of various types, such as, for example, pitch, duration of sound, pitch range, Tondauer Schl, Tonintervall, Tonpause, volume, rhythm or the like.
  • a tone sequence is then calculated from the combined preferences using soft constraints as described above.
  • the tone sequence is output analog or digital. After the tone sequence has been output, the method jumps back and receives the following first sensor signals at 8.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

Die Erfindung betrifft ein Musiksystem zum Umwandeln von Sensorsignalen in eine Tonfolge, umfassend: wenigstens ein Instrument (3, 3'), das wenigstens einen ersten Sensor (2) aufweist, der erste Sensorsignale ausgibt; und wenigstens eine Steuerung (4), die von dem Instrument (3, 3') die ersten Sensorsignale empfängt und eingerichtet ist, den ersten Sensorsignalen erste vorgegebene Präferenzen zuzuweisen und die ersten Präferenzen wenigstens mit zweiten Präferenzen zu kombinieren, wobei die Steuerung (4) weiter eingerichtet ist, aus den kombinierten Präferenzen mit Hilfe von Soft-Constraints eine Tonfolge zu berechnen und diese auszugeben.

Description

MUSIKSYSTEM
GEBIET DER ERFINDUNG
Die vorliegende Erfindung bezieht sich allgemein auf Musiksysteme und insbesondere auf ein Musiksystem, Verfahren und Computerprogramm zum Umwandeln von Sensorsignalen in eine Tonfolge.
HINTERGRUND DER ERFINDUNG
Es sind allgemein Musikinstrumente bekannt, die auf analoge oder digitale Art und Weise Töne erzeugen können. Um herkömmliche Musikinstrumente spielen zu können bedarf es nicht nur einiger Übung, sondern insbesondere auch entsprechender körperlicher Voraussetzungen hinsichtlich der Koordinationsfähigkeit.
Die menschliche Koordinationsfähigkeit kann aber bspw. aufgrund einer Behinderung, Krankheit oder dergleichen beeinträchtigt sein.
Während der ungeübte Benutzer eines Musikinstrumentes noch die Möglichkeit hat, ein Instrument durch entsprechende Übung zu erlernen, kann dies für den körperlich beeinträchtigten Menschen nahezu unmöglich sein.
In der Musiktherapie hat sich allerdings gezeigt, dass behinderte Kinder, ältere Menschen und insbesondere Menschen, die an der Parkinsonschen Krankheit leiden, ihre motorischen Fähigkeiten und ihre psychische Gesamtsituation durch Musizieren erheblich verbessern können, wie bspw. eine klinische Studie festgestellt hat: Claudia Pacchetti et al., "Active Music Therapy in Parkinson's Disease: An Integrative Method for Motor and Emotional Rehabilitation", Psychosomatic Medicine, 2000, Band 62, Seiten 386 bis 393.
Für solche Therapien stehen letztlich nur Instrumente sinnvollerweise zur Verfügung, die auch ein ungeübter und/oder motorisch eingeschränkter Benutzer bedienen kann, wie bspw. einfache Schlag- und Rhythmusinstrumente oder einfach zu bedienende Tasteninstrumente.
Aus der US-Patentschrift US 7,297,852 B2 ist ein Musiktherapiesystem bekannt, bei dem ein Benutzer die Tonhöhe und das Tempo einer vorgegebenen Tonfolge durch Bewegung einer Steuerung in horizontaler und vertikaler Richtung beeinflussen kann. Die deutsche Patentschrift DE 195 22 958 C2 offenbart ein Verfahren zur Akustisie- rung körpereigener Werte für Trainings- und/oder Therapiemaßnahmen, wobei die relevanten physikalischen Messwerte des Probanden über Sensoren aufgenommen und in Musiksignale umgesetzt werden. Zur Umsetzung werden vorgegeben Musikdaten verwendet.
Aus der US 2007/0241918 A1 ist eine Vorrichtung bekannt, die Druckkräfte, die auf eine Steuerung ausgeübt werden, in Musiksignale umsetzen kann.
Aus der US-Patentschrift 4,526,078 ist ein Kompositionssystem bekannt, bei dem Gestiken eines Benutzers gemessen und in Töne umgesetzt werden.
Die US-Patentschrift 5,541 ,358 offenbart ein elektronisches Musikinstrument, bei dem dreidimensionale Bewegungen in Töne umgesetzt werden.
Außerdem ist es aus der europäischen Patentanmeldung EP 0 961 262 A1 generell bekannt, Constraints für das Lösen eines Harmonisierungsproblems zu verwenden.
Aufgabe der vorliegenden Erfindung ist es, ein Musiksystem, ein Verfahren bzw. ein Computerprogramm bereitzustellen, das auch ungeübten und/oder motorisch beeinträchtigten Benutzern ermöglicht, zu musizieren.
ZUSAMMENFASSUNG DER ERFINDUNG
Nach einem ersten Aspekt stellt die vorliegende Erfindung ein Musiksystem zum Umwandeln von Sensorsignalen in eine Tonfolge bereit, das umfasst: wenigstens ein Instrument, das wenigstens einen ersten Sensor aufweist, der erste Sensorsignale ausgibt; und wenigstens eine Steuerung, die von dem Instrument die ersten Sensorsignale empfängt und eingerichtet ist, den ersten Sensorsignalen erste vorgegebene Präferenzen zuzuweisen und die ersten Präferenzen wenigstens mit zweiten Präferenzen zu kombinieren, wobei die Steuerung eingerichtet ist, aus den kombinierten Präferenzen mit Hilfe von Soft-Constraints eine Tonfolge zu berechnen und diese auszugeben.
Nach einem zweiten Aspekt stellt die vorliegende Erfindung ein Verfahren zum Umwandeln von Sensorsignalen in eine Tonfolge bereit, das die Schritte umfasst: Zuweisen von ersten vorgegebenen Präferenzen zu ersten Sensorsignalen, die von wenigs- tens einem ersten Sensor von wenigstens einem Instrument stammen; Kombinieren der ersten Präferenzen mit wenigstens zweiten Präferenzen; Berechnen einer Tonfolge aus den kombinierten Präferenzen mit Hilfe von Soft-Constraints; und Ausgeben der berechneten Tonfolgen.
Nach einem dritten Aspekt stellt die Erfindung ein Computerprogramm bereit, das eine prozessorbasierte Vorrichtung veranlasst, ein Verfahren nach dem zweiten Aspekt auszuführen.
Weitere Aspekte und Merkmale der vorliegenden Erfindung ergeben sich aus den abhängigen Ansprüchen, der beigefügten Zeichnung und der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele.
KURZBESCHREIBUNG DER ZEICHNUNG
Ausführungsbeispiele der Erfindung werden nun beispielhaft und unter Bezugnahme auf die beigefügten Zeichnungen beschreiben, in welchen:
Fig. 1 den Aufbau eines Musiksystems nach einem Ausführungsbeispiel der Erfindung veranschaulicht;
Fig. 2 ein Instrument des Musiksystems nach Fig. 1 veranschaulicht;
Fig. 3 Bewegungen des Instruments von Fig. 2 veranschaulicht;
Fig. 4 den Zusammenhang der Bewegungen des Instruments von Fig. 3 und zugewiesenen Präferenzen darstellt;
Fig. 5 die Zuweisung von Präferenzen illustriert;
Fig. 6 eine Bewegungsverteilung und zugehörige Notenwerte zeigt;
Fig. 7 eine weitere Bewegung des Instruments veranschaulicht;
Fig. 8 eine Bewegungsverteilung der Bewegung des Instruments nach Fig. 7 und zugehörige Tonhöhenpräferenzen zeigt;
Fig. 9 das Musiksystem von Fig. 1 mit mehreren Musikschnittstellen zeigt; und Fig. 10 ein Ablaufdiagramm eines Ausführungsbeispiels in Übereinstimmung mit der vorliegenden Erfindung zeigt.
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE
Fig. 1 zeigt ein Ausführungsbeispiel eines Musiksystems 1 der vorliegenden Erfindung. Vor einer detaillierten Beschreibung folgen zunächst allgemeine Erläuterungen zu den Ausführungsbeispielen und deren Vorteile.
Wie eingangs erwähnt, besteht insbesondere in der Musiktherapie der Bedarf, dass auch ungeübte und motorische eingeschränkte Benutzer Musizieren können, um so ihre motorischen Fähigkeiten und ihr psychisches Wohlbefinden zu steigern. Aber auch ungeübte Benutzer haben großen Spaß am Musizieren, verfügen allerdings oftmals nicht über die Zeit und/oder Möglichkeit ein Musikinstrument entsprechend zu erlernen.
Der Erfinder hat erkannt, dass insbesondere für solche ungeübten und/oder motorisch eingeschränkten Benutzer einerseits ein einfaches Eingabegerät erforderlich ist, dessen Benutzung keine oder nur wenig Übung verlangt und damit keine allzu hohen Anforderungen an die Feinmotorik stellt. Andererseits hat er erkannt, dass es nicht ausreicht einfach nur ein Signal, das von dem Eingabegerät stammt, in einen Ton umzusetzen, da diese Umsetzung alleine noch kein Musizieren ermöglicht. Um wohlklingende Musik zu erzeugen, müssen gewisse Regeln beachtet werden, wie bspw. die klassische Harmonielehre. Die Beachtung von gewissen Regeln, wie bspw. Rhythmus oder Harmonie, ist insbesondere dann erforderlich, wenn mehrere Benutzer gleichzeitig musizieren wollen, wie bspw. in einer Therapiegruppe mit mehreren Parkinsonpatienten oder einer Musikgruppe.
Um diesen Anforderungen gerecht zu werden, stellen die Ausführungsbeispiele ein Musiksystem, ein Verfahren bzw. ein Computerprogramm zum Umwandeln von Sensorsignalen in eine Tonfolge bereit.
Dabei weist bspw. ein Eingabegerät, im Folgenden in Anlehnung an ein Musikinstrument auch Instrument genannt, wenigstens einen ersten Sensor auf. Dieser Sensor dient dazu Bewegungen des Benutzers des Instruments oder an dem Instrument in entsprechende Sensorsignale umzusetzen. Als Sensoren kommen dabei bspw. Drucksensoren, Bewegungssensoren, wie Beschleunigungssensoren, Gyroskope oder dergleichen zur Anwendung. Auch kann ein Berührungssensor, wie eine Multi- touch-Oberfläche oder andere Tangible-Interfaces Verwendung finden. Oder aber die Sensorsignale stammen von einer Bilderkennungseinrichtung, die beispielsweise die Anordnung mehrere Körper auf einer Tischoberfläche überwacht, wobei die räumliche Anordnung der Körper auf der Tischoberfläche und der verschiedenen Körper zueinander die Sensorsignale bestimmt. Letztlich kommen bspw. Sensoren zum Einsatz, die die Beschleunigung oder Bewegung des Instruments in eine, zwei oder drei Raumrichtungen, die absolute Position im Raum oder die Ausrichtung des Instruments im dreidimensionalen Raum messen können und entsprechende Signale oder davon abgeleitete Signale ausgeben können. Die Instrumente selbst können aber auch Dreh- oder Kippschalter aufweisen, die bspw. Bewegungen eines Joysticks in zwei Dimensionen aufnehmen oder dergleichen.
Eine Steuerung des Instruments oder eine zentrale Steuerung des Musiksystems wertet bspw. die Sensorsignale aus, um ihnen bestimmte, vorgegeben erste Präferenzen zuzuweisen. Diese Präferenzen sendet dann bspw. die Steuerung des Instruments wahlweise zusammen mit den Sensorsignalen an eine zentrale Steuerung des Musiksystems. Bei einem Ausführungsbeispiel bei dem das Instrument einen Beschleunigungssensor und ein Gyroskop aufweist, können die Präferenzen bspw. so sein, dass das Instrument, wenn es der Benutzer schnell bewegt und dabei aufrecht hält, schnelle Noten mit hoher Tonhöhe bevorzugt.
Die Präferenzen stellen demnach nicht in jedem Ausführungsbeispiel eine fest vorgegebene unveränderliche Abbildung der Sensorsignale bspw. auf Tonhöhen und/oder Tonlängen oder dergleichen dar, sondern sie geben nur eine Tendenz oder einen Wunsch an, den die Steuerung des Musiksystems dann bspw. mit zweiten Präferenzen kombiniert.
Dazu empfängt die Steuerung, bspw. die von dem Instrument an sie übertragenen ersten Präferenzen oder die von ihr zugewiesen Präferenzen und kombiniert diese mit zweiten Präferenzen. Die zweiten Präferenzen dienen bspw. der Koordination von mehreren Instrumenten und können sich bspw. aus Tönen ableiten, die von einem anderen Instrument stammen oder einer anderen vorgegeben Tonfolge oder dergleichen, wie weiter unten im Detail ausgeführt wird. Die Steuerung des Musiksystems ist eingerichtet, aus den kombinierten Präferenzen mit Hilfe von Soft-Constraints eine Tonfolge zu berechnen und diese auszugeben. Dazu weist die Steuerung bspw. einen Mikroprozessor und einen nichtflüchtigen Speicher auf, indem bspw. ein entsprechendes Programm abgespeichert ist, das den Mikroprozessor bei Ablauf des Programmes dazu veranlasst, entsprechende Berechnungen vorzunehmen.
Ein "Soft-Constraint" ist eine "weiche Randbedingung" im Gegensatz zum "normalen Constraint", der eine "feste" Randbedingung darstellt. In der Constraint- Programmierung wird allgemein ein erwünschtes Ergebnis durch verschiedene Bedingungen spezifiziert, welche die Eigenschaften der Lösungen des Problems beschränken. Diese Bedingungen werden in der klassischen Constraint- Programmierung oft als logische Formeln ausgedrückt, die eine harte Grenze zwischen „richtigen" und „falschen" Lösungen festlegen. Soft-Constraints sind eine Erweiterung klassischer Constraints. Sie ermöglichen die Modellierung verschiedenster Optimierungsprobleme auf natürliche Weise, ohne eine harte Grenze zwischen „gut" und „schlecht" zu ziehen. Stattdessen gewichten Soft-Constraints Lösungen, wodurch den Lösungen eine Rangfolge auferlegt wird. Dadurch ist es ermöglicht mit ihnen Alltagsprobleme zu lösen.
Von Bistarelli et al. wurde in „Semiring-based contraint satisfaction and optimization", J. ACM, 44(2):201-236, 1997 eine elegante und abstrakte Theorie von Soft- Constraints eingeführt. Auf Grundlage dieser Theorie implementierten Wirsing et al. in „A rewriting logic framework for Soft-Constraints.", WRLA 2006, 6th International Workshop on Rewriting Logic and its Applications, April 2006, ENTCS, 2006 einen Solver in einer Rewriting-Logik und modellierten das Problem optimaler Parameterzuordnungen für Software-Definined-Radio (SDR). Hölzl et al. erweiterten diese Theorie in "Which Soft-Constraints do you Prefer?", WRLA 2008, 7th International Workshop on Rewriting Logic and its Applications, March 2008, ENTCS, 2008 um einen allgemeinen Ansatz, Präferenzen auf Soft-Constraints zu deklarieren. Darin sind auch sogenannte Monoide Soft-Constraints behandelt, die eine Weiterentwicklung der Soft- Constraints basierend auf mathematischen Halbringen aus der genannten Veröffentlichung von Bistarelli et al darstellen.
Auch wenn im Folgenden Monoide Soft-Constraints behandelt werden, so können natürlich auch andere mathematische Darstellungen, wie bspw. Halbringe, als Grundlage für die Soft-Constraints der folgenden Ausführungsbeispiele verwendet werden.
Bei den Monoiden Soft-Constraints werden Rangstufen (engl, "grades") verwendet, um Lösungen eines Problems zu klassifizieren, welche sich mathematisch als sogenannte Monoide, ein Begriff aus der Gruppentheorie, darstellen lassen. Ein Monoid sind bspw. die natürlichen Zahlen zusammen mit der Addition oder Multiplikation.
Allgemein kann man ein zu lösendes Problem durch eine Menge von (Problem- variablen und eine Menge von (Problem-)Werten darstellen. Einzelne Werte können dabei entsprechenden Variablen zugeordnet werden, was durch Funktionen von Variablen auf Werte dargestellt werden kann. Im Folgenden wird die Notation [A -> B] verwendet, um die Menge aller Funktionen zu definieren, die von A nach B abbilden. Eine Belegung ist also eine Funktion von Variablen auf werte:
Belegung = [Variable -> Werf\.
Ein Soft-Constraint weist nun einer Belegung eine Rangstufe zu. Die Rangstufen werden mithilfe von Monoiden definiert und dienen der Bewertung von Belegungen. Ein Soft-Constraint kann dann als Funktion von Belegungen auf Rangstufen definiert werden:
SoftConstraint = [Belegung -> Rangstufe]
Mehrere Soft-Constraints lassen sich zu einem einzigen Soft-Constraint kombinieren, indem die verschiedenen Rangzahlen zu einer einzigen kombiniert werden. Ein sehr elegantes und allgemeines Verfahren zur Kombination mehrerer Constraints findet sich in dem o.g. Artikel Hölzl. et al (vgl. auch Abschnitt 2.2).
Die genannten Präferenzen stellen letztlich einzelne Soft-Constraints dar. So kann bspw. das Musiksystem aus mehreren Instrumenten bestehen, die jeweils eine Stimme aufweisen, zum Beispiel die erste (oberste) oder zweite (bspw. eine mittlere) usw, die dann entsprechende Variablen des Constraint Problems darstellen, oder aber ein Instrument kann selbst verschiedene Stimmen haben:
Variable = Stimme - {si, S2, S3, ...} Die Werte der Variablen sind bspw. Aktionen, die ein Instrument ausführen kann, wie das Spielen bestimmter Tonhöhen oder Noten: Diese Aktionen stellen dann Werte des Constraint Problems dar:
Belegung = [Stimme -> Aktion].
Aktion = {..., Spiele^), Spiele(c#z), .... Halte(U) Pausiere, ...}
Die Übereinstimmung einer Aktion eines Instruments mit dem Sensorsignal des Instruments stellt eine erste Randbedingung des Constraint-Problems dar:
SensorConstraint = [Belegung -> Rangstufe]
= [(Stimme -> Aktion) -> Rangstufe]
Durch den "Sensor-Constraint" werden Aktionen eines Instrumentes, bspw. Tonhöhen oder Noten, Rangstufen zugeordnet, die ihre Übereinstimmung mit dem Sensorsignal zum Ausdruck bringen. Der Sensor-Constraint stellt also die Präferenzen dar, die das Instrument einem bestimmten Sensorsignal zuordnet, wie in dem oben erwähnten Beispiel, bei dem der Benutzer das Instrument schnell und aufrecht bewegt und damit hohe und schnelle Töne/Noten bevorzugt hat.
Diese Aktionen können verschiedene Typen sein, so ist bspw. ein Typ eine "Notenaktion", die immer verknüpft ist mit einer Notentonhöhe:
NotenAktion c Aktion Tonhöhe: NotenAktion -> Tonhöhe
Tonhöhe- {..., C3, c#3l Q3, d#3, ...}
Natürlich lassen sich beliebige andere Präferenzen definieren. Allgemein sind die Präferenzen über die Aktionen durch Soft-Constraints definiert, welche die Aktionenzuweisungen für die Stimmen mit einer Rangstufe klassifizieren:
(Stimme -> Aktion) -> Rangstufe
Auf diese Weise lassen sich also Präferenzen über Stimmenzuweisungen mit Soft- Constraints ausdrücken.
Bei manchen Ausführungsbeispielen legt jedes Instrument seine eigenen Präferenzen fest, wobei diese Festlegung auf den Sensorsignalen und einem globalen Zustand des Systems basieren kann. Diese Zuweisung kann allerdings auch in der zentralen Steuerung des Musiksystems geschehen, wie weiter unten beschrieben wird.
Diese Präferenzen kombiniert nun bspw. die Steuerung mit anderen, zweiten Präferenzen. Diese zweiten Präferenzen können bspw. von einem weiteren Instrument stammen oder aber auch nur festlegen, dass bspw. die Tonfolge des ersten Instruments gewissen harmonischen Regeln genügen soll, indem bspw. bestimmte Tonhöhenverhältnisse (Frequenzverhältnisse) zwischen den verschiedenen Stimmen bevorzugt werden und andere weniger bevorzugt sind.
Diese Koordinierung zwischen den Präferenzen des ersten Instruments und anderen Präferenzen kann ebenfalls als Soft-Constraint-Problem formuliert werden. Auf diese Art und Weise können auch mehrere einzelne Instrumente koordiniert werden.
So kann bspw. die harmonische Beziehung zwischen zwei Stimmen durch eine Klassifizierung der Intervalle zwischen diesen beiden Stimmen ausgedrückt werden. Dazu weist man bspw. einzelnen Intervallen bestimmte Rangstufen zu. Dabei bekommen wohlklingende Intervalle, d.h. bspw. konsonante Intervalle, wie Quinten und Quarten, einen hohen Rang 1 und bspw. das dissonante Intervall Tritonus den schlechtesten, untersten Rang 6:
Rang 1 = Quinte, Quarte
Rang 2 = große Terz, kleine Sexte
Rang 3 = kleine Terz, große Sexte
Rang 4 = große Sekunde, kleine Septime
Rang 5 = kleine Sekunde, große Septime
Rang 6 = Tritonus
Damit lässt sich die Harmonie zwischen zwei Tonlagen bzw. Tonhöhen, wie folgt darstellen:
Harmonie: Tonhöhe x Tonhöhe -> Rangstufe Der "Harmonie-Constraint" ist dann analog zu den obigen Überlegungen für eine beliebige Anzahl an Stimmen:
HarmonieConstraint : Belegung -> Rangstufe,
dies entspricht: (Stimme -> Aktion) -> Rangstufe
Der Harmonie-Constraint kann dargestellt werden als das Produkt über alle möglichen Harmonien von Stimmpaarkombinationen (sa, S/,) aus der Menge aller Stimmen {si, S2, S3, ...}, wobei sa = Si, S2, S3 ... und sb = Si, S2, S3 ...:
HαrmonieConstrαint(Belegung) = Yl Yl Hαrmonie(Tonhöhe(Belegung(s0)),Tonhöhe(Belegung(sb))) lrΩ ob^en Beispiel sα&Stιmme steStιmme bezog sich der Harmonie-Constraint auf das harmonische Zusammenspiel von Stimmen. Bezüglich der Harmonie kann man natürlich auch andere Constraints verwenden, wie bspw., dass die von einem Instrument gespielten Töne zu einer tonalen Skala, z.B. Tonleiter C-Dur oder dorische Kirchenmusikskala, gehören sollen. So wäre bspw.
Tonale Skalac-Dυr ((si -> Spiele(f#A)), ...)
falsch, da der Ton "f#4" nicht zu C-Dur gehört. Allgemein lässt sich folglich dieser to- nale Harmonie Constraint wie folgt ausdrücken:
Tonale SkalaSkaia ■ ' (Stimme -> Aktion) -> {wahr, falsch}
Natürlich kann man noch andere Koordinationspräferenzen durch Constraints ausdrücken, wie bspw. gleichen Rhythmus zu spielen oder Harmonieabfolgen wie bspw. Kadenzen zu berücksichtigen, Artikulationen von Tönen (Staccato, Akzente, etc.) oder dergleichen.
Die Steuerung des Musiksystems kombiniert in bestimmten Zeitintervallen die vorliegenden Präferenzen, d.h. die ersten, zweiten usw. Dann stellt sie das entsprechende Soft-Constraint-Problem auf, wobei, wie oben ausgeführt, sich die verschiedenen Soft-Constraints zu einem einzigen Soft-Constraint-Problem zusammenführen lassen. Dieses ermittelte einzelne Soft-Constraint-Problem wird dann gelöst, bspw. durch einen bekannten Verzweigen-Begrenzen-Algorithmus (engl, "branch-and-bound algo- rithm"). Die Lösung dieses Soft-Constraint-Problems definiert Tonfolgen für die unterschiedlichen Stimmen, die möglichst gut den jeweiligen Präferenzen genügen, die also zum einen möglichst in Übereinstimmung mit den von den Instrumenten jeweils erzeugten Sensorsignalen sind, zum anderen aber auch bspw. harmonisch sind.
Die Lösung ist dabei nicht absolut, sondern es können bspw. mehrere Lösungen des Problems mit unterschiedlichen Rängen als Ergebnis herauskommen. Das Ergebnis, d.h. die berechnete Tonfolge, kann als lokales optimales Ergebnis oder aber auch als globales optimales Ergebnis abgespeichert werden. Dabei kann die Tonfolge auch Harmonien, also mehrere gleichzeitig erklingende Töne umfassen oder auch nur einen einzigen Ton.
Unter Tonfolge soll hier auch eine Rhythmusfolge verstanden werden, die letztlich immer den gleichen "Ton" aufweist. Mit "Ton" ist hier ein Frequenzmuster gemeint, das also auch ein Geräusch sein kann.
Das Zeitintervall, das die Steuerung dem Constraint-Problem zugrundelegt, d.h. das Zeitintervall, über das die Steuerung beispielsweise Sensorsignale sammelt, um daraus die Präferenzen für bestimmte Aktionen des Instruments und damit die resultierende Tonfolge zu berechnen, kann beliebig sein, bspw. die Dauer eines metrischen Schlages, Halbschlages, 1/16-Schlages oder dergleichen umfassen. Bevorzugt ist das Zeitintervall jedoch kurz, um eine schnelle Reaktion der produzierten Tonfolge auf das Sensorsignal zu ermöglichen. Dabei kann die brechnete Tonfolge bspw. auch nur einen einzigen Ton umfassen. Alternativ kann das Zeitintervall aber auch länger sein, z.B. einen kompletten Takt umfassen. In letzterem Fall können sich, wiederum um eine schnelle Reaktion zu bewirken, aufeinanderfolgende Zeitintervalle auch überlappen, z.B. indem ein Zeitfenster der Länge eines Taktes in Schritten von 1/16- Schlägen über die Zeitachse bewegt wird. Gemäß der oben genannten Beispiele für Zeitintervalle kann sich eine Aktion eines Instruments also auf das Spielen einer Note beziehen (wenn das Zeitintervall beispielsweise die Länge eines 1/16-Schlages hat), oder aber auch auf das Spielen einer Notensequenz (wenn das Zeitintervall beispielsweise die Länge eines Takte hat). Die Zeitintervalle müssen zudem nicht unbe- dingt äquidistant gewählt werden. Es wäre auch denkbar, die Zeitintervalle an den Zeitpunkt der Erzeugung der Sensorsignale anzupassen, so dass beispielsweise durch jeden Sensorimpuls ein Zeitintervall abgegrenzt wird, dessen Länge durch den zeitlichen Abstand des aktuellen Sensorimpulses vom vorhergehenden Sensorimpuls bestimmt ist. Nachdem die Steuerung für ein Zeitintervall die Tonfolge berechnet hat, berechnet sie die Tonfolge des nächsten Zeitintervalls.
Die mithilfe von Soft-Constraints spielenden Instrumente können auch mit anderen Musikinstrumenten koordiniert werden. So können bspw. Präferenzen definiert werden, die ein Instrument mit einem elektrischen Klavier koordinieren, welches aber selbst nicht koordiniert wird. Dafür kann auch eine Aufzeichnung verwendet werden, wie bspw. eine Midi-Datei, in der Tonhöhen, Tonlängen und auch Stimmenzuteilungen gespeichert sein können.
Die Instrumente, die mit der Steuerung verbunden sind, können auch als Musikschnittstelle betrachtet werden, an der letztlich die Präferenzen oder wenigstens die Sensorsignale im beliebigen von der Steuerung verarbeitbaren Format bereitgestellt werden.
Manche Ausführungsbeispiele betreffen auch ein Verfahren oder ein Computerprogramm, das einen Programmcode enthält, der eine prozessorbasierte Vorrichtung (bspw. einen Computer) veranlasst, das entsprechende Verfahren auszuführen.
Wie bereits ausgeführt können die Präferenzen beliebige Parameter umfassen, wie bspw. Tonhöhe, Tondauer, Tonhöhenbereich, Tondauerbereich, Tonintervall, Tonpause, Lautstärke, Rhythmus, Klangfarbe. Der Tonhöhenbereich stellt dabei bspw. einen bevorzugten Bereich an Tönen mit einer bestimmten Höhe dar, wie bspw. Töne, die zwischen dem C2 und C4 liegen oder dergleichen. Der Tondauerbereich kann sich dabei auf ein absolutes Zeitmaß, bspw. eine Zehntelsekunde, beziehen oder auf ein relatives, wie bspw. ein metrisches Zeitmaß, wie bspw. Viertelnoten, Achtelnoten oder dergleichen. Gleiches gilt für die Lautstärke, die relativ angegeben sein kann, wie bspw. durch "forte" oder aber auch in Dezibel oder dergleichen. Auch der Rhythmus kann auf einer absoluten Zeitskala vorgegeben sein, bspw. jede Sekunde einen Ton mit Zehntelsekunde Dauer, oder im metrischen Sinne, bspw. auf jeden ersten Schlag eines Taktes eine Sechzehntelnote usw. Die Präferenzen können dabei in digitaler oder auch in analoger Form vorliegen. So kann bspw. die Steuerung aus einem normierten Frequenzmuster bestimmte Parameter z.B. durch Fouriertransformation oder dergleichen extrahieren. Dabei stellt zum Beispiel die Amplitude eine Lautstärke dar, die Länge des Frequenzmusters stellt die Tondauer da, die Frequenz selbst die Tonhöhe usw.
Natürlich können die Präferenzen auch in digitaler Form, bspw. als Präferenzdaten vorliegen, in denen die jeweiligen Präferenzen gespeichert sind.
Zurückkommend zu Fig. 1 veranschaulicht diese ein Ausführungsbeispiel eines Musiksystems 1 in Übereinstimmung mit der vorliegenden Erfindung. Das Musiksystem 1 weist ein oder mehrere Instrumente 3 auf, die einen oder mehrere Sensoren 2 aufweisen. Dabei können verschiedene Instrumente 3 auch verschiedenen Sensoren 2 aufweisen. Zwischen dem Sensor 2 und bspw. einem Mikroprozessor 14 (Fig. 2) des Instruments 3 besteht eine Verbindung, die als Signalleitung 15 (Fig. 2) ausgestaltet ist. Über die Signalleitung15 können der Sensor 2 und der Mikroprozessor 14 des Instruments 3 Signale austauschen, d.h. der Sensor 2 liefert Sensorsignale an den Mikroprozessor 14 des Instruments 3.
Der Sensor 2 ist dabei in diesem Ausführungsbeispiel als Bewegungssensor, d.h. Beschleunigungssensor, ausgestaltet, der Bewegungen bzw. Beschleunigungen des Instruments 3 in alle drei Raumrichtungen erkennt und entsprechende Sensorsignale an den Mikroprozessor 14 ausgibt. Dabei weist das Instrument 3 den Sensorsignalen bestimmte Präferenzen zu. Zum Beispiel weist das Instrument 3 Bewegungen des Instruments 3, die nach oben gerichtet sind und entsprechende Sensorsignale erzeugt, vorzugsweise höhere Töne, das heißt Töne mit größeren Frequenzen zu, als Bewegungen, die nach unten gerichtet sind. Nach unten gerichteten Bewegungen weist das Instrument 3, bzw. der Mikroprozessor 14, tiefere Töne, das heißt Tönen mit kleineren Frequenzen zu.
Die Bewegungen des Instrumentes 3 sind in Fig. 3 veranschaulicht. Der Pfeil nach oben stellt eine Aufwärtsbewegung des Instruments 3 dar und der Sensor 2 detektiert die Aufwärtsbewegung und gibt entsprechende Sensorsignale aus, die die Aufwärtsbewegung repräsentieren. Der Pfeil nach unten hingegen veranschaulicht die Abwärtsbewegung des Instrumentes 3 und der Sensor 2 erkennt wiederum diese Bewe- gung und gibt ebenfalls entsprechende Sensorsignale aus, die die Abwärtsbewegung repräsentieren.
Der Mikroprozessor 14 weist diesen Sensorsignalen jeweilige Präferenzen zu, wobei die Sensorsignale entsprechend getaktet aufgenommen werden. Die Aufnahme der Sensorsignale ist je nach Ausführungsbeispiel unterschiedlich. Im vorliegenden Fall ist die zeitliche Achse nach dem entsprechenden eingestellten metrischen Takt in Sechzehntelwerte unterteilt und der Mikroprozessor 14 mittelt die empfangenen Sensorsignale für die Dauer einer Sechzehntelnote und weist dann diesem Mittelwert eine entsprechende Präferenz zu.
So führt beispielsweise eine kleine Abwärtsbewegung des Instrumentes 3 zu dem Ton "fr, wie in Fig. 3 als erste Note dargestellt ist. Eine darauffolgende, größere Aufwärtsbewegung des Instruments 3 führt hingegen zur Zuweisung der Note "hΛ Die zwei darauffolgenden gleichstarken Abwärtsbewegungen interpretiert der Mikroprozessor 14 als jeweilige große Sekunden und weist dementsprechend die Noten "ar bzw. "gi" zu. Die sehr große Aufwärtsbewegung führt schließlich zu einem Septsprung zur Note "f2".
Bei anderen Ausführungsbeispielen hingegen ist die Taktung bspw. in Viertel, Achtel, oder anderen metrischen Schritten zur Ermittlung einer Tonhöhe unterteilt. Natürlich kann auch lediglich zu einem metrischen Zeitpunkt, bspw. auf jeden metrischen Schlag eines Taktes, ein kurzer "Schnappschuss" eines Sensorsignales aufgenommen werden. Wie die Sensorsignale aufgenommen werden steht im Belieben des Fachmanns. Jedes Verfahren, das erlaubt, Präferenzen den Sensorsignale eines zu einem bestimmten Zeitpunkt oder über ein bestimmtes Zeitintervall zuzuweisen kann verwirklicht werden.
Es kann auch jede andere Bewegung des Instrumentes oder Teilen davon, die von Sensoren erkannt werden und in Sensorsignalen darstellt werden können, entsprechenden Präferenzen zugewiesen werden, wie weiter oben bereits ausgeführt wurde. So kann eine Bewegung nach Links mit hohen Noten und eine Bewegung nach rechts des Instruments 3 mit niedrigen Noten assoziiert werden. Folglich kann jede unterscheidbare Bewegung oder Ausrichtung des Instruments oder Teilen davon, die in unterscheidbaren Sensorsignalen mündet, zur Zuweisung unterschiedlicher Präferen- zen führen.
Die entsprechenden Präferenzen sendet dann das Instrument 3 an eine Steuerung 4 des Musiksystems 1. Die Steuerung 4 ist nun bspw. so eingerichtet, dass sie die Noten eines einzelnen Instrumentes 3 mit anderen Noten harmonisiert. Dazu generiert sie bspw. aus einem Zustandsspeicher 5 entsprechende Soft-Constraints, die zu einer Harmonisierung der von dem Instrument 3 übermittelten Tonfolge verwendet werden können oder bspw. nur Töne einer bestimmten Tonskala zulassen. Mit anderen Worten, die von Instrument 3 übermittelte Tonfolge ist nicht fest vorgeben, sondern sie kann variiert werden, wie in Fig. 4 durch die "Zustandswolke" angegeben. Diese Zustandswolke symbolisiert, dass jede Note einen gewissen Tonhöhen-Spielraum besitzt in dem sie geändert werden kann.
Die Steuerung 4 stellt folglich das Soft-Constraint-Problem aus den von dem Instrument 3 erhaltenen Präferenzen auf und löst dieses, bspw. mit dem Verzweigen- Begrenzen-Algorithmus. Das Ergebnis dieser Lösung ist dann eine harmonisierte Tonfolge oder auch mehrere harmonisierte Tonfolgen, die jeweils einen unterschiedlichen Rang aufweisen. Welche Tonfolge dann tatsächlich ausgegeben wird, kann bspw. voreingestellt sein. So kann zum Beispiel immer die Beste ausgegeben werden oder es kann auch ein Benutzer die verschiedenen Lösungen, d.h. die verschiedenen harmonisierten Tonfolgen, analysieren und eine nach seinen persönlichen Präferenzen auswählen.
Diese Tonfolge, die Beste oder die ausgewählte oder nach einem anderen Verfahren bestimmte, wird dann durch eine Musikausgabe 6 ausgegeben, beispielsweise an einen Synthesizer, an eine Soundkarte eines PCs, oder an einen Digital- Analogwandler, über die die Tonfolge direkt als analoge oder digitale Signale ausgegeben wird. Die Ausgabe kann aber auch in eine Datei erfolgen, in der die Tonfolge gespeichert wird (z.B. Midi, MP3, AAC (advanced audio coding), FLAC (free losless audio codec) oder dergleichen).
Bei manchen Ausführungsbeispielen weist der Mikroprozessor 14 den Sensorsignalen nicht Tonhöhen in Abhängigkeit der Beschleunigungsrichtung als Präferenzen zu, sondern bspw. in Abhängigkeit der Beschleunigungsstärke entsprechende Tonlängen. Dabei spielt dann bspw. die Bewegungsrichtung des Instruments 3 keine Rolle, son- dem es kommt nur auf die Beschleunigungsstärke an. Je schwächer die Bewegung ausfällt, desto länger ist der Ton und desto weniger Töne werden in einem Zeitintervall gespielt. Je schneller die Bewegungen des Instrumentes 3 sind, desto kürzer sind die Töne und desto mehr Töne werden in einem Intervall gespielt. Dies veranschaulicht Fig. 6 in der beispielhaft eine Bewertung verschiedener Tonlängen dargestellt wird. Die Beschleunigungsstärken werden auf ein Intervall von 0 bis 1 normalisiert und die Tonlängen auf dieses Intervall verteilt. Die vertikale Linie stellt die aktuelle Beschleunigungsstärke dar, die daraus abgeleitete Bewertung von Tonlängen wird als Kurve dargestellt (hier bspw. ähnlich einer Gaußverteilung). In diesem Fall bekommt die Achtelnote die beste Bewertung, gefolgt von der Viertel- und 1/16-Note.
Natürlich können die Beschleunigungswerte auch auf andere Art und Weise ermittelt und auf entsprechende metrische Werte abgebildet werden. So entsprechen bei manchen Ausführungsbeispiele festgelegte Beschleunigungswertbereiche jeweils einem Notenwert usw.
Die beiden obigen Ausführungsbeispiele können auch kombiniert werden. Dabei wird sowohl die Bewegungsrichtung und Auslenkung zur Zuweisung von Präferenzen, wie Tonhöhen, als auch die Beschleunigungsstärke zur Zuweisung von Präferenzen, wie Tondauern, genutzt.
Bei einem weiteren Ausführungsbeispiel berechnet der Mikroprozessor 14 bspw. aus den Beschleunigungssignalen des Sensors 2 einen Winkel, in dem das Instrument gerade gehalten wird, wie Fig. 7 durch den kreisförmigen Pfeil veranschaulicht. Bei anderen Ausführungsbeispielen weist das Instrument bspw. einen Sensor 2 auf, der als Gyroskop ausgestaltet ist und somit die absolute Ausrichtung im dreidimensionalen Raum als Sensorsignal ausgeben kann. Hier kann das Instrument 3 bspw. in einem Winkel schräg nach oben gehalten werden und der Mikroprozessor 14 berechnet aufgrund der zugehörigen Sensordaten, die aus einer Bewegung in diese Stellung folgen, zugehörige Präferenzen, wie bspw. bevorzugte Tonhöhen, wie in Fig. 8 dargestellt. Dabei entspricht die Kurve der Bewertung von Tonhöhen. In Fig. 8 liegt die am Besten bewertete Tonhöhe der Verteilung gerade bei der Note ci. Damit kann das Instrument je nach Winkelstellung in der es gerade gehalten wird, Tonhöhen unterschiedlich bewerten. Damit das Instrument nicht ständig bewegt werden muss, hängen die Tonhöhen bei manchen Ausführungsbeispielen nicht direkt von der Winkelstellung des Instruments 3 ab, sondern es wird eine Gaußverteilung bspw. über den gesamten Tonumfang des Instruments berechnet. Der Peak dieser berechneten Verteilung wird nun mit der Winkelstellung des Instruments 3 assoziiert. Es bewegt sich folglich der Peak der Verteilung in Abhängigkeit der Winkelstellung des Instruments 3, wie in Fig. 8 durch die vertikale Linie dargestellt ist, die von dem Peak der Verteilung zu der Note Ci reicht.
Bei einem anderen Ausführungsbeispiel sind die Noten völlig wahlfrei mit der Bewegung des Instruments 3 assoziiert und es gibt bspw. nur die Präferenzen, dass die Noten innerhalb des Tonumfanges von einer Oktave sein sollen und dass sie harmonisch und rhythmisch sind. Demzufolge wird bei diesem Ausführungsbeispiel jede Art von Sensorsignalen in harmonische und rhythmische Töne umgewandelt. Dieses Ausführungsbeispiel ist insbesondere für Benutzer geeignet, deren motorische Fähigkeiten stark beeinträchtigt sind, da sie auch mit unkontrollierten Bewegungen des Instruments 3 rhythmische und harmonische Musik erzeugen können. Allerdings ist es bei diesem Ausführungsbeispiel schwierig, bestimmte vorhersagbare Tonhöhen durch eine gezielte Bewegung zu erzeugen.
Bei einem weiteren Ausführungsbeispiel ist das Instrument 3 ebenfalls mit Sensoren 2 ausgestattet, die Beschleunigungen in alle drei Raumrichtungen messen und entsprechende Signale ausgegeben können. Bei diesem Ausführungsbeispiel haben die Bewegungsrichtung und die Bewegungsstärke keinen direkten Einfluss auf die Tonhöhe, sondern sie sind genauso wie bei dem vorher beschriebenen Ausführungsbeispiel (harmonisch) zufallsverteilt. Allerdings wählt das Instrument 3 entsprechend den Beschleunigungswerten rhythmische Präferenzen, sodass der Benutzer des Instruments 3 Kontrolle über den Rhythmus erhält, wie oben in Zusammenhang mit Fig. 6 beschrieben ist.
Bei einem weiteren Ausführungsbeispiel umfasst das Musiksystem 1 neben Instrumenten 3, noch weitere Musikquellen, bspw. noch ein elektrisches Klavier 3' und eine Notenquelle 3". Das elektrische Klavier 3' liefert bspw. Töne im Midi-Format und auch die Notenquelle 3" liegt im Midi-Format vor. Die Musikquellen 3, 3' und 3" sind jeweils mit der Steuerung 4 verbunden, sodass diese die einzelnen Quellen koordinieren kann. Zum Beispiel kann die Steuerung 4 die jeweils von den Instrumenten 3, dem elektrischen Klavier 31 und der Notenquelle 3" gelieferten Präferenzen untereinander bspw. hinsichtlich Harmonie und Rhythmus koordinieren. Dabei geht die Steuerung im Wesentlichen so vor, wie oben beschrieben wurde. Das heißt sie behandelt die jeweiligen Präferenzen der Instrumente 3, des elektrischen Klaviers 3' und der Notenquelle 3" als Soft-Constraints und stellt ein einzelnes Soft-Constraint-Problem auf, mit den oben beispielhaft eingeführten Randbedingungen "Harmonie" und "Rhythmus" und löst dieses. Das Ergebnis ist dann eine Tonfolge, die die einzelnen Stimmen, d.h. die Stimmen der Instrumente 3, 31 und 3" miteinander harmonisch und rhythmisch kombiniert. Wie weiter oben bereits beschrieben, kann die Ausgabe des Ergebnisses in digitaler oder analoger Form erfolgen.
Die Sensorsignale des Sensors 2 können ebenfalls in analoger oder digitaler Form vorliegen. So sind bei manchen Ausführungsbeispielen die Sensoren 2 eingerichtet, digitale Sensorsignalen, also Sensordaten auszugeben, die dann von der Steuerung 4 verarbeitet werden. Auch die Präferenzen können sowohl analog als auch digital an die Steuerung 4 von den Instrumenten 3 weitergeleitet werden.
Bei den obigen Ausführungsbeispielen sind die Instrumente 3 eingerichtet, den Sensorsignalen entsprechende Präferenzen zuzuweisen. Bei manchen Ausführungsbeispielen übernimmt diese Funktion eine zentrale Steuerung 4 des Musiksystems 1. Bei manchen Ausführungsbeispielen empfängt demnach die zentrale Steuerung des Musiksystems 1 Sensorsignale von Instrumenten 3, 3' und/oder Präferenzen, wie bspw. Tonfolgen mit Tonhöhen und Tondauern, und ist in der Lage diese entsprechend miteinander zu koordinieren. Dabei weist dann beispielsweise die zentrale Steuerung 4 entsprechend empfangenen Sensorsignalen von verschiedenen Instrumenten 3, 3', 3" jeweilige Präferenzen zu. Dazu ist die zentrale Steuerung 4 bspw. so eingerichtet, dass sie von einem Benutzer eingerichtet werden kann. Zum Beispiel kann der Benutzer der Steuerung 4 mitteilen welcher der Musikquellen 3, 3' oder 3", im Folgenden auch Musikschnittstellen genannt, welche Stimme zugewiesen wird. Ferner kann der Benutzer bei manchen Ausführungsbeispielen der zentralen Steuerung 4 mitteilen, welche Musikschnittstelle welche Präferenzen hat. So kann er bspw. die zentrale Steuerung 4 so einstellen, dass diese bei den Sensorsignalen der Instrumente 3, die eine Bewegung nach oben bzw. unten repräsentieren, die Präferenz hohe bzw. tiefe Töne zuweist. Bei den Signalen, die sie von dem elektrischen Klavier 3' empfängt, kann sie bspw. die Präferenz Harmonie zuweisen. Bei der Notenquelle 3" weist die Steuerung 4 hingegen die Präferenz Rhythmus zu, da bspw. die Notenquelle 3" bereits harmonisch ist und nur als Rhythmusvorlage gilt.
Allgemein lässt sich ein Verfahrensablauf, der bspw. in der Steuerung 4 als Computerprogramm abläuft, wie folgt darstellen. Dies Computerprogramm kann zum Beispiel auf einem Datenträger, wie eine CD-Rom oder DVD gespeichert sein oder als Programmpaket von einer Internet-Seite heruntergeladen werden. Der Programmcode des Computerprogramms veranlasst die entsprechende prozessorbasierte Vorrichtung, wie bspw. ein Computer oder eine Spielekonsole, das entsprechende Verfahren auszuführen, wenn es den Programmcode des Computerprogramms ausführt.
Das Verfahren beginnt, wie in Fig. 10 gezeigt, nach einem Start 7 damit, bei 8 erste Sensorsignale zu empfangen. Wie oben ausgeführt, können diese Sensorsignale von einem beliebigen Sensor eines Instruments stammen und in analoger oder digitaler Form vorliegen. Bei 9 werden dann diesen ersten Sensorsignalen erste vorgegebene Präferenzen zugewiesen. Wie oben ausgeführt, können diese ersten Präferenzen bspw. Tonlage, Tondauer, Rhythmus usw. sein. Bei 10 werden diese ersten Präferenzen mit zweiten Präferenzen kombiniert. Die zweiten Präferenzen können dabei, wie erwähnt, von einer beliebigen Musikschnittstelle stammen und verschiedener Art sein, wie bspw. Tonhöhe, Tondauer, Tonhöhenbereich, Tondauerbereich, Tonintervall, Tonpause, Lautstärke, Rhythmus oder dergleichen. Bei 11 wird dann eine Tonfolge aus den kombinierten Präferenzen mit Hilfe von Soft-Constraints, wie oben beschrieben, berechnet. Bei 12 wird schließlich die Tonfolge analog oder digital entsprechend ausgegeben. Nach Ausgabe der Tonfolge springt das Verfahren wieder zurück und empfängt bei 8 folgende erste Sensorsignale.

Claims

PATENTANSPRÜCHE
1. Musiksystem zum Umwandeln von Sensorsignalen in eine Tonfolge, umfassend:
wenigstens ein Instrument (3, 31), das wenigstens einen ersten Sensor (2) aufweist, der erste Sensorsignale ausgibt; und
wenigstens eine Steuerung (4), die von dem Instrument (3, 31) die Sensorsignale empfängt und eingerichtet ist, den ersten Sensorsignalen erste vorgegebene Präferenzen zuzuweisen und die ersten Präferenzen wenigstens mit zweiten Präferenzen zu kombinieren, wobei die Steuerung (4) weiter eingerichtet ist, aus den kombinierten Präferenzen mit Hilfe von Soft-Constraints eine Tonfolge zu berechnen und diese auszugeben.
2. Musiksystem nach Anspruch 1 , bei welchem dem Instrument wenigstens eine Stimme (si) zugeordnet ist und diese Stimme (si) verschiedene Aktionen ausführen kann, die jeweils eine auszugebende Tonfolge definieren.
3. Musiksystem nach Anspruch 2, wobei die erste Präferenz, insbesondere ein Sensor-Constraint, sich auf die Übereinstimmung der Aktionen des Instruments mit den Sensorsignalen dieses Instruments bezieht, wobei jeder Aktion des Instruments eine Rangstufe zugeordnet wird, welche die Übereinstimmung dieser Aktion mit dem Sensorsignal bestimmt.
4. Musiksystem nach Anspruch 3, wobei die zweite Präferenz, insbesondere ein Harmonie-Constraint, sich auf die Übereinstimmung der Aktionen der Stimme des Instruments (s-i) mit den Aktionen einer zweiten Stimme (s2) bezieht, wobei jeder Aktion des Instruments eine Rangstufe zugeordnet wird, welche die Übereinstimmung dieser Aktion mit der Aktion der zweiten Stimme bestimmt.
5. Musiksystem nach Anspruch 4, das mehrere Stimmen ({si, S2, S3, ...}) umfasst und die zweite Präferenz, insbesondere der Harmonie-Constraint, durch folgenden Ausdruck dargestellt wird:
HarmonieConstraint {Belegung) = FT PI Harmonie(Tonhöhe(Belegung(say),Tonhöhe(Belegung(sb))) s„eSlimme sbeSnmme wobei Belegung(Sg) eine Aktion einer ersten Stimme (sa) bezeichnet, BeIe- gung(Sb) eine Aktion einer zweiten Stimme (St>) bezeichnet, Tonhö- he(Belegung(sa)) die Reduktion der Aktion der ersten Stimme auf eine Tonhöhenfolge beschreibt und Tonhöhe(Belegung(sb)) die Reduktion der Aktion der zweiten Stimme auf eine zweite Tonhöhenfolge beschreibt.
6. Musiksystem nach Anspruch 3, wobei die zweite Präferenz, insbesondere ein tonaler Harmonie-Constraint, sich auf die Übereinstimmung der Aktionen der Stimme des Instruments (si) mit einer tonalen Skala bezieht, wobei jeder Aktion des Instruments eine Rangstufe ({wahr.falsch}) zugeordnet wird, welche die Übereinstimmung dieser Aktion mit der tonalen Skala misst.
7. Musiksystem nach einem der vorstehenden Ansprüche, wobei die ersten und/oder zweiten Präferenzen eines der Folgenden umfassen: Tonhöhe, Tondauer, Tonhöhenbereich, Tondauerbereich, Tonintervall, Tonpause, Lautstärke, Rhythmus, Klangfarbe.
8. Musiksystem nach einem der vorstehenden Ansprüche, wobei der Sensor des Instruments ein Drucksensor, ein Berührungssensor, ein Bewegungssensor, ein Beschleunigungssensor, ein Gyroskop oder eine Bilderkennungseinrichtung ist.
9. Musiksystem nach einem der vorstehenden Ansprüche, wobei der erste Sensor des Instruments eine Bilderkennungseinrichtung ist, die aus einer Oberfläche besteht, auf der verschiedene Körper beweglich angeordnet sind, und die Sensorausgabe durch die Position der Körper auf der Oberfläche und/oder durch die relative Position der Körper zueinander bestimmt wird.
10. Musiksystem nach einem der vorhergehenden Ansprüche, wobei die Steuerung die Tonfolge an eine Musikausgabe (6), insbesondere einen Synthesizer, an eine Soundkarte eines PCs, oder an einen Digital-Analogwandler übermittelt, welche die Tonfolge ausgeben.
11. Musiksystem nach einem der vorhergehenden Ansprüche, bei welchem die Soft- Constraints über mathematischen Halbringen oder Monoiden definiert werden.
12. Musiksystem nach einem der vorhergehenden Ansprüche, bei welchem die Steuerung (4) weiter eingerichtet ist, aus den kombinierten Präferenzen mit Hilfe von Soft-Constraints die Tonfolge unter Verwendung eines Verzweigen-und- Begrenzen-Algorithmus zu berechnen.
13. Verfahren zum Umwandeln von Sensorsignalen in eine Tonfolge, umfassend die Schritte:
Zuweisen von ersten vorgegebenen Präferenzen zu ersten Sensorsignalen, die von wenigstens einem ersten Sensor (2) von wenigstens einem Instrument (3, 3') stammen;
Kombinieren der ersten Präferenzen mit wenigstens zweiten Präferenzen;
Berechnen einer Tonfolge aus den kombinierten Präferenzen mit Hilfe von Soft- Constraints; und
Ausgeben der berechneten Tonfolgen.
14. Verfahren nach Anspruch 13, bei welchem dem Instrument wenigstens eine Stimme (S1) zugeordnet ist und diese Stimme (S1) verschiedene Aktionen ausführen kann, die jeweils eine auszugebende Tonfolge definieren.
15. Verfahren nach Anspruch 14, bei welchem die erste Präferenz, insbesondere ein Sensor-Constraint, sich auf die Übereinstimmung der Aktionen des Instruments mit den Sensorsignalen dieses Instruments bezieht, wobei jeder Aktion des Instruments eine Rangstufe zugeordnet wird, welche die Übereinstimmung dieser Aktion mit dem Sensorsignal bestimmt.
16. Verfahren nach Anspruch 15, bei welchem die zweite Präferenz, insbesondere ein Harmonie-Constraint, sich auf die Übereinstimmung der Aktionen der Stimme des Instruments (s-i) mit den Aktionen einer zweiten Stimme (s2) bezieht, wobei jeder Aktion des Instruments eine Rangstufe zugeordnet wird, welche die Übereinstimmung dieser Aktion mit der Aktion der zweiten Stimme bestimmt.
17. Verfahren nach Anspruch 16, das mehrere Stimmen ((S1, S2, S3, ...}) verwendet und bei welchem die zweite Präferenz, insbesondere der Harmonie-Constraint, durch folgenden Ausdruck dargestellt wird: HarmonieConstraint (Belegung) = J~J J~J Harmonie(Tonhöhe(Belegung(sa)),Tonhöhe(<Belegung(sb))) so^Stimme sbeStιmme
wobei Belegung(Sg) eine Aktion einer ersten Stimme (sa) bezeichnet, BeIe- gung(sb) eine Aktion einer zweiten Stimme (Sb) bezeichnet, Tonhö- he(Belegung(sa)) die Reduktion der Aktion der ersten Stimme auf eine Tonhöhenfolge beschreibt und Tonhöhe(Belegung(Sb)) die Reduktion der Aktion der zweiten Stimme auf eine zweite Tonhöhenfolge beschreibt.
18. Verfahren nach Anspruch 15, bei welchem die zweite Präferenz, insbesondere ein tonaler Harmonie-Constraint, sich auf die Übereinstimmung der Aktionen der Stimme des Instruments (si) mit einer tonalen Skala bezieht, wobei jeder Aktion des Instruments eine Rangstufe ({wahr.falsch}) zugeordnet wird, welche die Übereinstimmung dieser Aktion mit der tonalen Skala misst.
19. Verfahren nach einem der Ansprüche 13 bis 18, wobei die ersten und/oder zweiten Präferenzen eines der Folgenden umfassen: Tonhöhe, Tondauer, Tonhöhenbereich, Tondauerbereich, Tonintervall, Tonpause, Lautstärke, Rhythmus, Klangfarbe.
20. Verfahren nach einem der Ansprüche 13 bis 19, bei welchem die ersten Sensorsignale des Instruments von einem Drucksensor, einem Berührungssensor, einem Bewegungssensor, einem Beschleunigungssensor, einem Gyroskop oder einem Bilderkennungseinrichtung stammen.
21. Verfahren nach einem der Ansprüche 13 bis 20, bei welchem die ersten Sensorsignale des Instruments von einer Bilderkennungseinrichtung stammen, die aus einer Oberfläche besteht, auf der verschiedene Körper beweglich angeordnet sind, und die Sensorausgabe durch die Position der Körper auf der Oberfläche und/oder durch die relative Position der Körper zueinander bestimmt wird.
22. Verfahren nach einem der Ansprüche13 bis 21 , bei welchem die Tonfolge an eine Musikausgabe, insbesondere einen Synthesizer, an eine Soundkarte eines PCs, oder an einen Digital-Analogwandler übermittelt wird, welche die Tonfolge ausgeben.
23. Verfahren nach einem der Ansprüche 13 bis 22, bei welchem die Soft- Constraints über mathematischen Halbringen oder Monoiden definiert werden.
24. Verfahren nach einem der Ansprüche 13 bis 23, bei welchem aus den kombinierten Präferenzen mit Hilfe von Soft-Constraints die Tonfolge unter Verwendung eines Verzweigen-und-Begrenzen-Algorithmus berechnet wird.
25. Computerprogramm, das eine prozessorbasierte Vorrichtung veranlasst, ein Verfahren nach einem der Ansprüche 13 bis 24 auszuführen.
PCT/EP2010/001835 2009-04-09 2010-03-24 Musiksystem WO2010115519A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009017204.1 2009-04-09
DE200910017204 DE102009017204B4 (de) 2009-04-09 2009-04-09 Musiksystem

Publications (1)

Publication Number Publication Date
WO2010115519A1 true WO2010115519A1 (de) 2010-10-14

Family

ID=42269545

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2010/001835 WO2010115519A1 (de) 2009-04-09 2010-03-24 Musiksystem

Country Status (2)

Country Link
DE (1) DE102009017204B4 (de)
WO (1) WO2010115519A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11527223B2 (en) * 2018-04-12 2022-12-13 Sunland Information Technology Co., Ltd. System and method for generating musical score

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4526078A (en) 1982-09-23 1985-07-02 Joel Chadabe Interactive music composition and performance system
US5541358A (en) 1993-03-26 1996-07-30 Yamaha Corporation Position-based controller for electronic musical instrument
US5541356A (en) * 1993-04-09 1996-07-30 Yamaha Corporation Electronic musical tone controller with fuzzy processing
US5880392A (en) * 1995-10-23 1999-03-09 The Regents Of The University Of California Control structure for sound synthesis
DE19522958C2 (de) 1995-06-15 1999-05-20 Peter P Wiest Verfahren zur Akustisierung körpereigener physikalischer Werte und Vorrichtung zur Durchführung des Verfahrens
EP0961262A1 (de) 1998-05-27 1999-12-01 Sony France S.A. Problemlösung durch eine verbesserte Formulierung von Zwangsbedingungserfüllungsproblemen
WO2002041295A1 (en) * 2000-11-17 2002-05-23 Allan Mack An automated music arranger
US20070241918A1 (en) 2005-12-02 2007-10-18 Mr. Farah Jubran Sound Generating Device For Use by People with Disabilities
US7297852B1 (en) 2006-08-29 2007-11-20 Kuo-Chang Chen Pedal device for a drum
FR2903804A1 (fr) * 2006-07-13 2008-01-18 Mxp4 Procede et dispositif pour la composition automatique ou semi-automatique d'une sequence multimedia.

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4144296B2 (ja) * 2002-08-29 2008-09-03 ヤマハ株式会社 データ管理装置、プログラムおよびデータ管理システム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4526078A (en) 1982-09-23 1985-07-02 Joel Chadabe Interactive music composition and performance system
US5541358A (en) 1993-03-26 1996-07-30 Yamaha Corporation Position-based controller for electronic musical instrument
US5541356A (en) * 1993-04-09 1996-07-30 Yamaha Corporation Electronic musical tone controller with fuzzy processing
DE19522958C2 (de) 1995-06-15 1999-05-20 Peter P Wiest Verfahren zur Akustisierung körpereigener physikalischer Werte und Vorrichtung zur Durchführung des Verfahrens
US5880392A (en) * 1995-10-23 1999-03-09 The Regents Of The University Of California Control structure for sound synthesis
EP0961262A1 (de) 1998-05-27 1999-12-01 Sony France S.A. Problemlösung durch eine verbesserte Formulierung von Zwangsbedingungserfüllungsproblemen
WO2002041295A1 (en) * 2000-11-17 2002-05-23 Allan Mack An automated music arranger
US20070241918A1 (en) 2005-12-02 2007-10-18 Mr. Farah Jubran Sound Generating Device For Use by People with Disabilities
FR2903804A1 (fr) * 2006-07-13 2008-01-18 Mxp4 Procede et dispositif pour la composition automatique ou semi-automatique d'une sequence multimedia.
US7297852B1 (en) 2006-08-29 2007-11-20 Kuo-Chang Chen Pedal device for a drum

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"A rewriting logic framework for Soft-Constraints", WRLA 2006, 6TH INTERNATIONAL WORKSHOP ON REWRITING LOGIC AND ITS APPLICATIONS, 4000620
"Which Soft-Constraints do you Prefer?", WRLA 2008, 7TH INTERNATIONAL WORKSHOP ON REWRITING LOGIC AND ITS APPLICATIONS, 3000820
BISTARELLI ET AL.: "Semiring-based contraint satisfaction and optimization", J. ACM, vol. 44, no. 2, 80119, pages 201 - 236
CLAUDIA PACCHETTI ET AL.: "Active Music Therapy in Parkinson's Disease: An Integrative Method for Motor and Emotional Rehabilitation", PSYCHOSOMATIC MEDICINE, vol. 62, 21220, pages 386 - 393

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11527223B2 (en) * 2018-04-12 2022-12-13 Sunland Information Technology Co., Ltd. System and method for generating musical score

Also Published As

Publication number Publication date
DE102009017204B4 (de) 2011-04-07
DE102009017204A1 (de) 2010-10-14

Similar Documents

Publication Publication Date Title
Hurley et al. Spontaneous sensorimotor coupling with multipart music.
DE2056509A1 (de) Elektrisches Tastenmusikinstrument
DE69816225T2 (de) Vorrichtung und Verfahren zur Erzeugung von Arpeggiotönen
DE102009040540B4 (de) Elektronisches Musikinstrument mit Stegreifaufführungsfunktion und Programm für Stegreifaufführungsfunktion
DE102005049485B4 (de) Steuerung der Wiedergabe von Audioinformationen
DE112005003043T5 (de) Verfahren und Vorrichtung, zum Ermöglichen von Änderungen einer Audiodatei durch einen Benutzer
DE102007034356A1 (de) Vorrichtung zur Tempobestimmung und Computerprogramm zur Tempobestimmung
DE60132963T2 (de) Vorrichtung und Verfahren zur Tonerzeugung in Abhängigkeit der Bewegung eines tragbares Terminals
DE112006003024T5 (de) Verfahren eines und System für ein Zeiteinteilungs-Training
DE102014014856B4 (de) Musikinstrument, welches Akkordauslöser, die gleichzeitig auslösbar sind und denen jeweils ein konkreter Akkord, der aus mehreren Musiknoten verschiedener Tonhöhenklassen besteht, zugeordnet ist, beinhaltet
DE102009017204B4 (de) Musiksystem
EP2372696B1 (de) Steuergerät für eine Spielkonsole sowie Verfahren zur Steuerung einer Spielkonsole
Burunat et al. Musical training predicts cerebello-hippocampal coupling during music listening.
DE112017008110T5 (de) Elektronisches Musikinstrument
Madison et al. Metrically structured time and entrainment
DE102018005247A1 (de) Differenzierte Stimmungssteuerung für digitale Musikdateien
DE102012222577B4 (de) Verfahren, Computerprogrammprodukt und Vorrichtung zur Erzeugung einer Tonfolge
DE102010016941B4 (de) Intelligenzspielzeug für Tiere
DE102014007712B4 (de) Verfahren zur teilautomatischen Erzeugung eines rhythmischen Ausgangssignals aus einem Einzelpulse aufweisenden Eingangssignal, Vorrichtung zur Durchführung eines solchen Verfahrens und Programmprodukt
EP0500542A1 (de) Trainingsgerät für gymnastische und sportliche übungen
DE202007017664U1 (de) Musikinstrument reiner Stimmung
EP4088275B1 (de) 2d benutzerschnittstelle für ein musikinstrument zum spielen von kombinierten akkord- und melodiefolgen
WO2023079073A1 (de) Vorrichtung und verfahren zur ausgabe eines akustischen signals basierend auf physiologischen daten
DE102017003408A1 (de) Verfahren und Bedienhilfe zum Spielen eines Musikstücks
DE102005038876B4 (de) Benutzereingabevorrichtung mit Benutzereingabebewertung und Verfahren

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10711568

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 10711568

Country of ref document: EP

Kind code of ref document: A1