WO2005122133A1 - Vorrichtung und verfahren zum bestimmen einer tonart eines audiosignals mit musikinformationen - Google Patents

Vorrichtung und verfahren zum bestimmen einer tonart eines audiosignals mit musikinformationen Download PDF

Info

Publication number
WO2005122133A1
WO2005122133A1 PCT/EP2005/002304 EP2005002304W WO2005122133A1 WO 2005122133 A1 WO2005122133 A1 WO 2005122133A1 EP 2005002304 W EP2005002304 W EP 2005002304W WO 2005122133 A1 WO2005122133 A1 WO 2005122133A1
Authority
WO
WIPO (PCT)
Prior art keywords
key
audio signal
estimate
signal segment
time
Prior art date
Application number
PCT/EP2005/002304
Other languages
English (en)
French (fr)
Inventor
Claas Derboven
Sebastian Streich
Markus Cremer
Original Assignee
Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. filed Critical Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Publication of WO2005122133A1 publication Critical patent/WO2005122133A1/de

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/081—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for automatic key or tonality recognition, e.g. using musical rules or a knowledge base

Definitions

  • the present invention relates to the technical field of key recognition of a music signal and in particular the present invention relates to an apparatus and a method of key determination of a music signal which offers an improved temporal resolution of the music signal.
  • the key of the audio signal segment can be determined in this context, for example, by the method proposed by David Temperley in his book “The cognition of basical musical structures", The MIT Press, 2001, pages 173 to 187, in which a time duration of Tones in an octave are determined and correlated with different key reference vectors in order to determine the key corresponding to the key reference vector as the key of the audio signal segment on the basis of a maximum correlation coefficient.
  • the problem with determining a "sharp" frequency resolution as possible and at the same time avoiding key changes within the duration of the audio signal segment to be examined is therefore to find a period of time which provides good results for the key determination for all pieces of music to be examined. If, however, the time period of the signal segment to be examined is too short, the results, as shown above, are unreliable due to the unsharp frequency resolution and secondly, due to the short duration, no precise statistical evaluation of the duration of occurrence of individual tones of an octave within the one to be evaluated can be performed Audio signal segments occur, which in turn hinders the key determination based on a short duration of the audio signal segment. If, on the other hand, the duration of the audio signal segments is too long, a key change that occurs within the audio signal segment cannot be detected and thus cannot be taken into account for determining a key of the entire piece of music.
  • the present invention is therefore based on the object of providing an apparatus and a method for determining a key of an audio signal with music information, which in Has improved characteristics with respect to a temporal resolution behavior.
  • the present invention provides an apparatus for determining a key of an audio signal with music information, which has the following features:
  • the present invention provides a method for determining a key of an audio signal with music information, comprising the following steps:
  • Estimating a key for each audio signal segment to obtain a first key estimate for the first audio signal segment and a second key estimate for the second audio signal segment; and Evaluating the tonal estimate to determine the key of the audio signal based on the first tonal estimate and the second tonal estimate.
  • the present invention is based on the finding that by defining a plurality of audio signal segments that overlap and have different durations, an improved temporal resolution behavior and, as a result, an improved characteristic of determining a key of an audio signal is possible.
  • a signal component of the audio signal is thus contained in two different audio signal segments and is thus taken into account when determining the key type estimated value for both audio signal segments.
  • the different time periods of the individual audio signal segments make it possible to achieve a different resolution behavior and a different statistical evaluation, which leads to an improvement in the spectral "sharpness" and thus to an improvement in the key type recognition for longer-lasting audio signal segments with a constant key.
  • the present invention offers the advantage of enabling improved temporal resolution when determining the key of an audio signal and thereby creating an improved characteristic of a device for determining a key of an audio signal.
  • an improved evaluation of the key of a music signal can now be carried out such that key changes within the audio signal compared to the prior art the evaluation of the shorter audio signal segment compared to the longer audio signal segment can be seen.
  • an evaluation of the key type of the audio signal with the music information can also be drawn from the evaluation of the key type estimated values for each audio signal segment.
  • a frequency distribution or statistics of the occurrences of the key estimated values can be determined and the key that corresponds to the most frequently occurring characteristics of a key estimate can be determined as the key of the audio signal.
  • FIG. 1 shows a block diagram of an exemplary embodiment of a device according to the invention for determining a key of an audio signal
  • FIG. 2A shows a matrix representation as it is created by the device for estimating a key according to a further exemplary embodiment
  • FIG. 2B shows an enlarged representation of the beginning of the line of the first matrix line shown in FIG. 2A; and 3 is a pie chart representation of the results obtained using embodiments of the present invention.
  • the device 100 for determining a key of an audio signal has a device 102 for defining a first audio signal segment and a second audio signal segment, a device 104 for estimating a key in order to obtain key key estimates for each audio signal segment and a device 106 for evaluating the key key estimates to determine the key of the audio signal.
  • the device 102 for defining a first audio signal segment and a second audio signal segment comprises an input for receiving an audio signal 108 and an output for outputting the defined audio signal segments 110.
  • the device 104 for estimating comprises an input for receiving the audio signal segments output by the device 102 for defining 110 as well as an output for outputting the key estimate values 112 obtained.
  • the device 106 for evaluating comprises an input for receiving the key estimate values 112 output by the means 104 for estimating and an output for outputting the specific key 114 of the audio signal 108.
  • an audio signal 108 is supplied to the device 102 for defining a first audio signal segment and a second audio signal segment.
  • the furnishings device 102 for defining then forms a first audio signal segment and a second audio signal segment from the audio signal, the first audio signal segment and the second audio signal segment overlapping and having different time durations.
  • the device 102 for defining a variable time frame is selected and, for example, for defining the first audio signal segment using the time frame, the information in the audio signal is practically "punched out" which lies within the time frame.
  • the time frame is defined by a start time and an end time after the start time.
  • the device 102 then changes the time frame in such a way that the start time remains the same, but the end time is set to a second end time after the first end time, so that the newly created (second) time frame has a greater length of time than that for Creation of the time frame used for the first audio signal segment.
  • a segment is now practically “punched out” of the audio signal, the information contained in the first audio signal segment now also being contained in the second audio signal segment.
  • the second audio signal segment has information which is arranged in the audio signal in the period between the first end time and the second end time. In this way, two audio signal segments are created that overlap in time, but have different durations.
  • the device 102 can be designed to define further audio signal segments, for example in such a way that for a third audio signal segment the start time of the (third) time frame is identical to the first and second start time and the third end time is set to a time that is arranged in time after the second end time.
  • the time frame for the third audio signal segment would again be larger than the second time frame, the information in the second audio signal segment also being completely contained in the third audio signal segment due to the identical start times.
  • the third audio signal segment additionally includes the information of the audio signal that lies between the second end time and the third end time.
  • the device 102 for defining can also be designed to set the start time to a later (second) start time. In this case, it is practically possible to "push the time frame" further, for example, by extending or lengthening the time frame for the formation of audio signal segments accordingly using the method described above.
  • the audio signal segments 110 obtained in this way by the means 102 for defining are then fed to the means 104 for estimating a key, the means 104 for estimating determining a key type value for each audio signal segment.
  • This determination of the tonal estimate can be done, for example, in the manner described at the outset according to David Temperley.
  • These key key estimates can either be nominal values that already characterize a key (for example B major, D # minor, F # minor etc.).
  • a numerical value can also be assigned to each key, in which case the tonal estimate corresponds to this numerical value.
  • a matrix structure of the tonal estimated values can also take place taking into account the start and end times, as is described in more detail below with reference to FIGS. 2A and 2B.
  • the device 104 for estimating can then pass the tonal estimated values 112 either directly or alternatively in the form of the matrix to the device 106 for evaluating the tonal estimated values.
  • the device 106 for evaluating the key type estimated values can then be designed to determine the key 114 of the audio signal 108. This determination of the key 114 of the audio signal 108 can be carried out, for example, by evaluating the frequency of occurrences of characteristics of the key estimated values in the form of the numerical values mentioned above for each key, the key then being the key 114 of the audio signal 108, which occurs most frequently, or whose corresponding numerical value occurs most frequently in the audio signal segments. Alternatively, however, the individual tonal estimated values can be evaluated differently than the frequency distribution evaluation.
  • the device 106 for evaluating the key-type estimated values can also be designed to recognize key changes from the key-type estimated values for the individual audio signal segments. These key changes can be recognized particularly well if the key estimates are transferred to the device 106 for evaluation in the matrix form described above, since this makes it particularly easy to borrow (for key estimates in numbers) and is thus recognized in a simple manner where a change in tonal estimates occurs in the elements of the matrix. This change in the key estimate values can then be determined, for example, by a reference element of the matrix having a reference key estimate and a reference element arranged adjacent to the reference element in the matrix having a reference element key estimate that differs from the reference key estimate.
  • FIG. 2A shows a matrix with a diagonal structure, the upper diagonal matrix being filled with values.
  • the rows of the matrix correspond to audio signal segments with an identical start time t start (for example in seconds) and the columns of the matrix 200 correspond to audio signal segments with identical end times t en ⁇ j (for example also in seconds).
  • the diagonal structure of the matrix 200 then results from the fact that a sequence of audio signal segments is selected for a start point in time, the end point in time of the audio signal segments being shifted further and backward (in time) at the same start point in time. This provides a evaluation processing of the audio signal under consideration of the start and end times t sta r t and t end possible, as shown in Fig. 2B.
  • the signal content of the audio signal in the range from 0s to 2s is also in the second Audio signal segment ASS2 included. This is evident from the hatching from the bottom left to the top right of the first audio signal segment in comparison to the hatching from the top left to the bottom right of the second audio signal segment ASS2 in FIG. 2B.
  • the additional audio signal segment ASS2a comprises the information of the first and second audio signal segments ASSI and ASS2 between the times 0s and 4s.
  • the matrix shown in FIG. 2A in which the upper diagonal matrix is filled, can thus be created by such a structure and the time offset of the individual audio signal segments.
  • This filling can take place, for example, by determining a key type estimated value for each audio signal segment and entering this value in the element which corresponds to a time range which does not overlap previous audio signal segments.
  • the key estimate of the first audio signal segment can then be entered into the element of the matrix, which comprises the time period from 0 to 2 seconds.
  • the tonal value is entered in the matrix element (ie as a surface or hatching) or as a single numerical value; all that is relevant is the assignment of a tonal estimate to the interval between 0 seconds as the start time and 2 seconds as the end time of the first audio signal segment ASSI.
  • the audio signal estimate for the second audio signal segment ASS2 can be entered in that element of the matrix which lies in the first line between the times 2 seconds and 4 seconds, although the second audio signal segment ASS2 contains information which is in the range from 0 to 2 seconds lie.
  • an initial estimate for the key of the audio signal can be determined, for example, from the upper right element of the matrix 204 by taking into account the proportions of the complete audio signal.
  • the provision of such an initial estimate for the key of the audio signal offers the advantage of being able to provide a quick, rough classification of the key of the piece of music to be expected, without the rest of the matrix being numerically complex (that is, the lines below it under the top right) Element 204) to calculate or determine.
  • the first rough estimate for the key of the audio signal can also be determined from the longest audio signal segment, since this contains the highest amount of information for evaluating the key determination of the keys contained in the audio signal.
  • This longest audio signal segment can also be the simplest form of the second audio signal segment ASS2, since this is longer in time than the first audio signal segment.
  • the rest of the matrix can then be built up and, for example, the key of the audio signal can be determined more precisely using the method explained in more detail above, using frequency analysis, it then being possible to examine individual time segments in relation to a key change.
  • a parallel key to a key must be taken into account, the parallel key being characterized by the fact that it has the same tones in an octave (as the basic key).
  • the keys of C major and A minor should be mentioned as the basic key and parallel key, since the same keys in the octave are used in both keys occur, but with a different arrangement of the halftone distances.
  • a minimum time length of an audio signal segment of, for example, 2 seconds can also be specified. This ensures that, for example, if the audio signal is present in temporally successive signal values, a time-frequency domain transformation is possible which has a spectral "sharpness" sufficient for key recognition, and thus enables a clear and unambiguous separation of the individual tones in an octave.
  • a matrix is constructed which includes assumptions of the key over different time intervals. For this, a minimum time window length (or time frame length) of, for example, 2 seconds can be defined. Subsequently, all related sectors are examined, the t from a start value start to an end value t s range, wherein for different areas first, the end times t are end different and subsequently thereto, a new starting time t sta r t is chosen, and again the time window different end times t end can be selected with the new start time t s tar t .
  • adjacent time windows or time frames are generated which have a minimal length and where the time frames of the same start times overlap one another, but contain at least in a time interval of 2 seconds new information from the audio signal which is not yet contained in previous segments.
  • the first value is estimated for notes of the first 2 seconds, then for the first four seconds, etc.
  • this estimation can be carried out using key profiles and a correlation with these reference key profiles, the results from the correlation, in particular the key estimate, of the key estimated for the corresponding audio signal segment into the individual elements of the first line of the matrix to be discribed.
  • the start time is shifted an interval of 2 seconds (i.e. backwards).
  • the first calculation will then concern the time window between two seconds and four seconds, subsequently the time window between 2 and 6 seconds, etc.
  • the results for this estimate of the key estimates are then inserted into the second line of the resulting matrix.
  • the resultant upper diagonal matrix is then examined, for example, using an evaluation of the frequency distribution of the individual key estimate values and these key estimate values or the statistics or frequency distribution of the key estimate values for the piece of music identified by the audio signal with the music information are stored in a text file.
  • the method according to the invention of determining a key of an audio signal with music information can be implemented in hardware or in software.
  • the implementation can take place on a digital storage medium, in particular a floppy disk or CD with electronically readable control signals, which can interact with a programmable computer system in such a way that the corresponding method is carried out.
  • the invention thus also consists in a computer program product with a program code stored on a machine-readable carrier for carrying out the method according to the invention when the computer program product runs on a computer.
  • the invention can thus be implemented as a computer program with a program code for carrying out the method if the computer program runs on a computer.
  • a piece of music is examined for different time windows.
  • First a start point is set to 0 and an end point to 250 time frames.
  • For this time window it is counted which halftone is set in how many cells.
  • the results are written in a 12-line vector, for example. This is then correlated with the key profiles, for example, and the results are saved.
  • the (12-line) vector is then shifted as soon as the second element becomes the first, the first element the twelfth, etc. This vector and all other changes are also if correlated with the key profiles.
  • a statement about which key can be accepted for the time window under consideration results from the vector and key profile to which the highest correlation result was achieved. For example, if the highest result is found for the second profile and the third vector, it is D minor.
  • the end point is postponed for another 250 time frames (temporally) and another assumption is made for this time window. This is repeated until the end point has reached the end of the piece. Then the start point is set back by 250 time frames (temporally) and the end point is set to 250 time frames after the start point, etc., for example.
  • key assumptions are made for all time intervals that have a multiple length of 250 time frames. All of these assumptions are entered, for example, in a matrix as a numerical value (1 to 24), each numerical value corresponding to one of the major or minor keys of the 12 semitone steps of an octave. Then the assumptions for each key are counted and the results in percent are output in a text file.
  • a key of the entire piece of music can be determined directly or a change of a key within the piece of music can be determined.
  • the determination of the key of the piece of music and a point in time of key change or the keys between which it is switched can also be determined by evaluating the matrix.

Abstract

Eine Vorrichtung (100) zum Bestimmen einer Tonart (114) eines Audiosignals (108) mit Musikinformationen umfasst eine Einrich-tung (102) zum Definieren eines ersten Audiosignalsegments (ASS1) und eines zweiten Audiosignalsegments (ASS2), wobei sich das erste Audiosignalsegment (ASS1) und das zweite Audiosignal-segment (ASS2) überlappen und unterschiedliche Zeitdauern ha-ben. Ferner umfasst die Vorrichtung (100) zum Bestimmen eine Einrichtung (104) zum Abschätzen einer Tonart für jedes Audio-signalsegment (ASS1, ASS2), um einen ersten Tonartschätzwert für das erste Audiosignalsegment (ASS1) und einen zweiten Ton-artschätzwert für das zweite Audiosignalsegment (ASS2) zu er-halten. Außerdem hat die Vorrichtung (100) zum Bestimmen eine Einrichtung (106) zum Auswerten der Tonartschätzwerte (112), um auf der Basis des ersten Tonartschätzwertes und des zweiten Tonartschätzwertes die Tonart (114) des Audiosignals (108) zu bestimmen. Eine derartige Vorrichtung bietet den Vorteil eine verbesserte zeitliche Auflösung bei der Bestimmung der Tonart eines Audiosignals zu ermöglichen.

Description

Vorrichtung und Verfahren zum Bestimmen einer Tonart eines Audiosignals mit Musikinformationen
Beschreibung
Die vorliegende Erfindung bezieht sich auf das technische Gebiet der Tonarterkennung eines Musiksignals und insbesondere bezieht sich die vorliegende Erfindung auf eine Vorrichtung und ein Verfahren einer Tonartbestimmung eines Musiksignals, das eine verbesserte zeitliche Auflösung des Musiksignals bietet.
In den letzten Jahren hat sich, bedingt durch die starke Aufsplitterung des Musikgeschmacks, eine Vielzahl von unterschiedlichen Musikrichtungen und -Stilen ergeben. Zu diesen unter- schiedlichen Musikstilen und -richtungen wurde in der letzten Zeit eine sehr große und mittlerweile teils unüberschaubare Menge von neuen Musikstücken durch die verschiedensten Interpreten erstellt, so dass nunmehr eine Person, die nicht 100 prozentig auf den aktuellsten musikalisch Stand ist, teilweise erhebliche Schwierigkeiten hat, den Überblick über die verschiedensten Stücke bzw. die verschiedensten Musikrichtungen und -Stile zu behalten. Um dieses Problem etwas zu entschärfen, werden Systeme und Verfahren entwickelt, um eine gewisse Klassifizierung der Musikstücke anhand von vorgegebenen Kriterien durchführen zu können, um einer solchen nicht 100 prozentig aktuellsten Stand befindlichen Person, eine "vorgefilterte" Menge von Musikstücken zur Auswahl zu stellen, die beispielsweise einem bestimmten musikalischen Geschmack der Person nahe kommt. Für eine Klassifikation von derartigen Musikstücken, die dem musikalischen Geschmack der Person entsprechen, kann beispielsweise das Kriterium der Tonart eines Musikstücks verwendet werden, was insbesondere für die klassische Musik eine gute Hilfestellung für eine Auswahl der verschiedenen Musikrichtungen und -Stile ist.
Problematisch bei der Bestimmung der Tonart eines Musikstücks, das in der Form eines Audiosignals mit Musikinformationen vor- liegt, ist in diesem Zusammenhang allerdings zu nennen, dass die wenigsten Musikstücke durchgehend nur eine einzige Tonart aufweisen. Vielmehr treten in einzelnen Segmenten des Musikstücks verschiedene Tonarten auf, so dass innerhalb des Musik- Stücks, das heißt, innerhalb des Audiosignals mit den Musikinformationen, Abschnitte auftreten, denen eine unterschiedliche Tonart zugrunde liegt. Dies wiederum stellt bei der Ermittlung der Tonart des gesamten Musikstücks ein Problem dar. Dieses Problem besteht insbesondere darin, die Tonart eines Musik- Stücks meist durch eine Transformation des üblicherweise in Zeitbereichsdarstellung vorliegenden Audiosignals in den Frequenzbereich erfolgt, wobei eine sehr "scharfe" spektrale Auflösung nur dann erreicht wird, wenn ein möglichst langes zeitliches Audiosignal verwendet wird. Tritt innerhalb des trans- formierten Audiosignals lediglich eine Tonart auf, wäre eine Tonartbestimmung durch ein solches Verfahren nicht problematisch. Da, wie zuvor ausgeführt, in den meisten Musikstücken jedoch Tonartwechsel auftreten, kann bei einer Transformation eines Audiosignals oder eines Segments des Audiosignals, das einen Tonartwechsel umfasst, meist keine eindeutige Entscheidung getroffen werden, da durch mehrere, in dem Audiosignalsegment auftretende Tonarten, eine eindeutige Zuordnung des untersuchten Audiosignalsegments zu einer einzigen Tonart erschwert oder gar unmöglich wird. In diesem Fall treten dann meist Feh- 1er bei der Tonarterkennung auf, die dann meist zu einer deutlichen Behinderung der Einsetzbarkeit eines derartigen Ansatzes beiträgt.
Um diesem Problem Rechnung zu tragen, kann versucht werden, die vom Zeitbereich in den Frequenzbereich zu transformierenden Audiosignalsegmente aus dem Audiosignal sehr kurz zu gestalten, so dass möglichst ein Wechsel der Tonart innerhalb eines Audiosegments vermieden wird. Ein derartiger Ansatz weist allerdings den Nachteil auf, dass durch zeitlich sehr kurze Audiosignal- segmente nur eine "unscharfe" spektrale Auflösung der in dem Audiosignalsegment enthaltenden Frequenzanteile möglich ist, wodurch wiederum die Zuordnung einer Tonart zu dem Audiosignal erschwert wird.
Eine Ermittlung der Tonart des Audiosignalsegments kann in die- sem Zusammenhang beispielsweise durch das von David Temperley in dessen Buch „The cognition of basical musical structues", The MIT Press, 2001, Seiten 173 bis 187 vorgeschlagene Verfahren erfolgen, in welchem eine zeitliche Auftrittsdauer von Tönen in einer Oktave bestimmt und mit verschiedenen Tonart- Referenzvektoren korreliert werden, um aufgrund eines maximalen Korrelationskoeffizienten die dem Tonart-Referenzvektor entsprechende Tonart als Tonart des Audiosignalsegments zu bestimmen.
Die Problematik bei der Bestimmung einer möglichst "scharfen" Frequenzauflösung und zugleich einem Vermeiden von Tonartwechseln innerhalb der zeitlichen Dauer des zu untersuchenden Audiosignalsegments besteht somit darin, eine Zeitdauer zu finden, die für alle zu untersuchenden Musikstücken gute Ergebnis- se für die Tonartbestimmung liefert. Ist die Zeitdauer des zu untersuchenden Signalsegments allerdings zu kurz, sind die Resultate, wie oben dargestellt, erstens aufgrund der unscharfen Frequenzauflösung unzuverlässig und zweitens kann durch eine kurze zeitliche Dauer keine präzise statistische Auswertung ü- ber die Auftrittsdauer von einzelnen Tönen einer Oktave innerhalb des auszuwertenden Audiosignalsegments erfolgen, was wiederum die Tonartbestimmung auf der Basis einer kurzen zeitlichen Dauer des Audiosignalsegments behindert. Sind jedoch andererseits die zeitlichen Dauern der Audiosignalsegmente zu lan- ge, kann ein Tonartwechsel, der innerhalb des Audiosignalsegments erfolgt, nicht detektiert und damit für die Bestimmung einer Tonart des gesamten Musikstücks nicht berücksichtigt werden.
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, eine Vorrichtung und ein Verfahren zum Bestimmen einer Tonart eines Audiosignals mit Musikinformationen zu schaffen, das in Bezug auf ein zeitliches Auflösungsverhalten verbesserte Cha- rakteristika aufweist.
Diese Aufgabe wird durch eine Vorrichtung gemäß Anspruch 1 so- wie ein Verfahren gemäß Anspruch 13 gelöst.
Die vorliegende Erfindung schafft eine Vorrichtung zum Bestimmen einer Tonart eines Audiosignals mit Musikinformationen, die folgende Merkmale aufweist:
eine Einrichtung zum Definieren eines ersten Audiosignalsegments und eines zweiten Audiosignalsegments, wobei sich das erste Audiosignalsegment und das zweite Audiosignalsegment ü- berlappen und unterschiedliche Zeitdauern haben;
eine Einrichtung zum Abschätzen einer Tonart für jedes Audiosignalsegment, um einen ersten Tonartschätzwert für das erste Audiosignalsegment und einen zweiten Tonartschätzwert für das zweite Audiosignalsegment zu erhalten; und
eine Einrichtung zum Auswerten der Tonartschätzwerte, um auf der Basis des ersten Tonartschätzwerts und des zweiten Tonartschätzwerts die Tonart des Audiosignals zu bestimmen.
Ferner schafft die vorliegende Erfindung ein Verfahren zum Bestimmen einer Tonart eines Audiosignals mit Musikinformationen, das folgende Schritte aufweist:
Definieren eines ersten Audiosignalsegments und eines zweiten Audiosignalsegments, wobei sich das erste Audiosignalsegment und das zweite Audiosignalsegment überlappen und unterschiedliche Zeitdauern haben;
Abschätzen einer Tonart für jedes Audiosignalsegment, um einen ersten Tonartschätzwert für das erste Audiosignalsegment und einen zweiten Tonartschätzwert für das zweite Audiosignalsegment zu erhalten; und Auswerten der Tonartschätzwerte, um auf der Basis des ersten Tonartschätzwerts und des zweiten Tonartschätzwerts die Tonart des Audiosignals zu bestimmen.
Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass durch das Definieren von mehreren Audiosignalsegmenten, die sich überlappen und unterschiedliche Zeitdauern haben, ein verbessertes zeitliches Auflösungsverhalten und damit einhergehend eine verbesserte Charakteristik einer Bestimmung einer Tonart eines Audiosignals möglich ist. Insbesondere dadurch, dass sich die Audiosignalsegmente überlappen, ist ein Signalanteil des Audiosignals somit in zwei verschiedenen Audiosignalsegmenten enthalten und wird somit bei der Bestimmung des Tonartschätz- werts für beide Audiosignalsegmente berücksichtigt. Außerdem wird durch die unterschiedlichen Zeitdauern der einzelnen Audiosignalsegmente ein unterschiedliches Auflösungsverhalten sowie eine unterschiedliche statistische Auswertung möglich, was zu einer Verbesserung der spektralen "Schärfe" und somit zu ei- ner Verbesserung der Tonarterkennung für länger andauernde Audiosignalsegmente mit gleichbleibender Tonart führt. Dem gegenüber können durch das Abschätzen einer Tonart für das kürzere Audiosignalsegment gegenüber dem längeren Audiosignalsegment möglicherweise auftretende Tonartwechsel in dem längeren Audio- signalsegment erkannt werden. Werden nun für die einzelnen Audiosignalsegmente Tonartschätzwerte ermittelt, kann durch das Auswerten der einzelnen Tonartschätzwerte einerseits ein Rück- schluss auf die Tonart des gesamten Audiosignals mit den Musikinformationen gezogen werden und andererseits auch das zeitli- ehe Auftreten eines Tonartwechsels innerhalb des Audiosignals mit den Musikinformationen erkannt werden. Dieses Erkennen des Tonartwechsels kann insbesondere durch das Auswerten des Tonartschätzwerts für das kürzere Audiosignalsegment im Vergleich mit dem Tonartschätzwert für das längere Audiosignalsegment er- folgen. Die vorliegende Erfindung bietet den Vorteil, eine verbesserte zeitliche Auflösung bei der Bestimmung der Tonart eines Audiosignals zu ermöglichen und dadurch eine verbesserte Charakteristik einer Vorrichtung zum Bestimmen einer Tonart eines Au- diosignals zu schaffen. Insbesondere durch das Definieren des ersten Audiosignalsegments und des zweiten Audiosignalsegments, wobei sich das erste und zweite Audiosignalsegment überlappen und unterschiedliche Zeitdauern haben, lässt sich nun eine verbesserte Auswertung der Tonart eines Musiksignals durchführen, derart, dass gegenüber dem Stand der Technik Tonartwechsel innerhalb des Audiosignals durch die Auswertung des kürzeren Audiosignalsegments im Vergleich zum längeren Audiosignalsegment erkennbar werden. Ferner lässt sich auch durch die Auswertung der Tonartschätzwerte für jedes Audiosignalsegment ein Rück- schluss für die Tonart des Audiosignals mit den Musikinformationen ziehen. Hierzu kann beispielsweise eine Häufigkeitsverteilung oder Statistik der auftretenden Ausprägungen der Tonartschätzwerte (beispielsweise in Form von Zahlenwerten, die Tonarten repräsentieren) ermittelt werden und diejenige Tonart, die der am häufigsten auftretenden Ausprägungen eines Tonartschätzwertes entspricht, als Tonart des Audiosignals bestimmt werden.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung wer- den nachfolgend anhand der beiliegenden Zeichnungen näher erläutert. Es zeigen:
Fig. 1 ein Blockschaltbild eines Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung zum Bestimmen einer Tonart eines Audiosignals;
Fig. 2A eine Matrixdarstellung, wie sie durch die Einrichtung zum Abschätzen einer Tonart gemäß einem weiteren Ausführungsbeispiel erstellt wird;
Fig. 2B eine vergrößerte Darstellung des Zeilenanfang der in Fig. 2A dargestellten ersten Matrixzeile; und Fig. 3 eine Kreisdiagramm-Darstellung der unter Verwendung von Ausführungsbeispielen der vorliegenden Erfindung erhaltenen Ergebnisse.
In der nachfolgenden Beschreibung werden für gleiche oder gleich wirkende Elemente gleiche oder ähnlich Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
Fig. 1 zeigt ein Blockschaltbild eines Ausführungsbeispiels der erfindungsgemäßen Vorrichtung 100 zum Bestimmen einer Tonart eines Audiosignals. Die Vorrichtung 100 zum Bestimmen einer Tonart eines Audiosignals weist eine Einrichtung 102 zum Defi- nieren eines ersten Audiosignalssegments und eines zweiten Audiosignalsegments, eine Einrichtung 104 zum Abschätzen einer Tonart, um Tonartschätzwerte für jedes Audiosignalsegment zu erhalten und eine Einrichtung 106 zum Auswerten der Tonartschätzwerte, um die Tonart des Audiosignals zu bestimmen. Die Einrichtung 102 zum Definieren eines ersten Audiosignalsegments und eines zweiten Audiosignalsegments umfasst einen Eingang zum Empfangen eines Audiosignals 108 und einen Ausgang zum Ausgeben der definierten Audiosignalsegmente 110. Ferner umfasst die Einrichtung 104 zum Abschätzen einen Eingang zum Empfangen der von der Einrichtung 102 zum Definieren ausgegebenen Audiosignalsegmente 110 sowie einen Ausgang zum Ausgeben der erhaltenen Tonartschätzwerte 112. Die Einrichtung 106 zum Auswerten umfasst einen Eingang zum Empfangen der von der Einrichtung 104 zum Abschätzen ausgegebenen Tonartschätzwerte 112 und einen Ausgang zum Ausgeben der bestimmten Tonart 114 des Audiosignals 108.
Die Funktionsweise der in Fig. 1 als Blockschaltbild dargestellten Vorrichtung 100 zum Bestimmen einer Tonart lässt sich wie folgt beschreiben: Zuerst wird ein Audiosignal 108 der Einrichtung 102 zum Definieren eines ersten Audiosignalsegments und eines zweiten Audiosignalsegments zugeführt. Die Einrich- tung 102 zum Definieren bildet dann aus dem Audiosignal ein erstes Audiosignalsegment und ein zweites Audiosignalsegment, wobei sich das erste Audiosignalsegment und das zweite Audiosignalsegment überlappen und unterschiedliche Zeitdauern haben. Hierbei wird durch die Einrichtung 102 zum Definieren ein variabler Zeitrahmen gewählt und beispielsweise zum Definieren des ersten Audiosignalsegments unter Verwendung des Zeitrahmens die Informationen in dem Audiosignal praktisch "herausgestanzt", die innerhalb des Zeitrahmens liegen. Der Zeitrahmen ist dabei durch einen Startzeitpunkt und einen dem Startzeitpunkt zeitlich nachgelagerten Endzeitpunkt definiert. Anschließend wird durch die Einrichtung 102 der Zeitrahmen derart verändert, dass der Startzeitpunkt gleich bleibt, jedoch der Endzeitpunkt auf einen zeitlich dem ersten Endzeitpunkt nachgelagerten zweiten Endzeitpunkt gesetzt wird, so dass der neu erstellte (zweite) Zeitrahmen eine größere zeitliche Länge aufweist, als der zum Erstellen des ersten Audiosignalssegments verwendete Zeitrahmen. Unter Verwendung des neuen, zweiten Zeitrahmens wird nun aus dem Audiosignal wieder praktisch ein Segment "herausge- stanzt", wobei nun die Informationen, die im ersten Audiosignalsegment enthalten sind, auch im zweiten Audiosignalsegment enthalten sind. Zusätzlich weist jedoch das zweite Audiosignalsegment Informationen auf, die im Audiosignal in der Zeitdauer zwischen dem ersten Endzeitpunkt und dem zweiten Endzeitpunkt angeordnet sind. Auf diese Weise werden zwei Audiosignalsegmente erstellt, die sich zeitlich überlappen, jedoch unterschiedliche Zeitdauern haben. Weiterhin kann die Einrichtung 102 ausgebildet sein, um weitere Audiosignalsegmente zu definieren, beispielsweise derart, dass für ein drittes Audiosig- nalsegment der Startzeitpunkt des (dritten) Zeitrahmens mit dem ersten und zweiten Startzeitpunkt identisch ist und der dritte Endzeitpunkt auf einen Zeitpunkt gelegt wird, der zeitlich nach dem zweiten Endzeitpunkt angeordnet ist. Hierdurch würde dann der Zeitrahmen für das dritte Audiosignalsegment wieder größer als der zweite Zeitrahmen, wobei durch die identischen Startzeitpunkte wieder die Information in dem zweiten Audiosignalsegment auch vollständig in dem dritten Audiosignalsegment ent- halten ist, das dritte Audiosignalsegment jedoch zusätzlich die Informationen des Audiosignals umfasst, die zwischen dem zweiten Endzeitpunkt und dem dritten Endzeitpunkt liegt. Alternativ kann die Einrichtung 102 zum Definieren auch ausgebildet sein, um den Startzeitpunkt auf einen zeitlich nachgelagerten (zweiten) Startzeitpunkt zu legen. In diesem Fall lässt sich somit praktisch ein "Weiterschieben" des Zeitrahmens ausführen, indem dann beispielsweise wiederum nach der vorstehend beschriebenen Methode die Zeitrahmen für die Bildung von Audiosignalsegmenten entsprechend erweitert bzw. verlängert wird.
Die auf diese Weise durch die Einrichtung 102 zum Definieren erhaltenen Audiosignalsegmente 110 werden dann der Einrichtung 104 zum Abschätzen einer Tonart zugeführt, wobei die Einrich- tung 104 zum Abschätzen für jedes Audiosignalsegment je einen Tonartschätzwert bestimmt. Diese Bestimmung des Tonartschätzwertes kann beispielsweise auf die eingangs dargelegte Weise nach David Temperley erfolgen. Diese Tonartschätzwerte können entweder Nominalwerte sein, die bereits eine Tonart charakteri- sieren (beispielsweise B-Dur, D#-moll, F#-moll etc.) sein. Alternativ kann auch jeder Tonart ein Zahlenwert zugeordnet werden, wobei dann der Tonartschätzwert diesem Zahlenwert entspricht. In einer besonderen Ausführungsform kann auch eine Matrixstruktur der Tonartschätzwerte unter Berücksichtung der Start- und Endzeitpunkte erfolgen, wie er unter Bezugnahme auf die Fig. 2A und 2B nachfolgend näher beschrieben ist.
Die Einrichtung 104 zum Abschätzen kann dann die Tonartschätzwerte 112 entweder direkt oder alternativ in Form der Matrix an die Einrichtung 106 zum Auswerten der Tonartschätzwerte weitergegeben werden. Die Einrichtung 106 zum Auswerten der Tonartschätzwerte kann auf dann ausgebildet sein, um die Tonart 114 des Audiosignals 108 zu bestimmen. Dieses Bestimmen der Tonart 114 des Audiosignals 108 kann beispielsweise durch eine Auswer- tung der Häufigkeit des Auftretens von Ausprägungen der Tonartschätzwerte in Form der vorstehend genannten Zahlenwerte für jede Tonart erfolgen, wobei dann diejenige Tonart als Tonart 114 des Audiosignals 108 bestimmt wird, die am häufigsten auftritt, bzw. deren entsprechender Zahlenwert am häufigsten in den Audiosignalsegmenten auftritt. Alternativ kann aber auch eine andere Auswertung der einzelnen Tonartschätzwerte als die Häufigkeitsverteilungsauswertung erfolgen.
Weiterhin kann die Einrichtung 106 zum Auswerten der Tonartschätzwerte auch ausgebildet sein, um Tonartwechsel aus den Tonartschätzwerten für die einzelnen Audiosignalsegmente zu er- kennen. Diese Tonartwechsel können dann insbesondere gut erkannt werden, wenn die Tonartschätzwerte in der vorstehend bezeichneten Matrixform der Einrichtung 106 zum Auswerten übergeben werden, da hierdurch besonders einfach durch eine Differenzbildung (bei Tonartschätzwerten in Zahlendarstellung) mög- lieh ist und somit auf einfache Art und Weise erkannt werden kann, wo eine Änderung der Tonartschätzwerte in den Elementen der Matrix auftritt. Diese Änderung der Tonartschätzwerte kann dann beispielsweise dadurch bestimmt werden, dass ein Referenzelement der Matrix einen Referenztonartschätzwert hat und ein zum Referenzelement in der Matrix benachbart angeordnetes Bezugselement einen Bezugselementtonartschätzwert hat, der sich vom Referenztonartschätzwert unterscheidet. Bei der Ausbildung der Tonartschätzwerte in Zahlenform lässt sich dann weiterhin eine Optimierung ermitteln, derart, dass ein Tonartwechsel nur dann erkannt wird, wenn eine Differenz zwischen dem Referenztonartschätzwert und dem Bezugstonartschätzwert größer als ein vordefinierter Schwellwert ist. Dies ermöglicht eine präzisere Aussage über das tatsächliche Vorliegen eines Tonartwechsels, wobei dann möglicherweise Fehlklassifizierungen vermieden wer- den können, bei denen in einzelnen Elementen der Matrix (beispielsweise Zeilen oder Spalten der Matrix) kurzzeitig unterschiedlich Tonartschätzwerte auftreten. In diesem Zusammenhang kann alternativ auch als Kriterium verwendet werden, dass in einer Zeile mehrere gleiche Tonartschätzwerte in aufeinander- folgenden Matrix-Elementen der Zeile auftreten sollten, um eindeutig einen Tonartwechsel in dem Audiosignal zu ermitteln. Ein solches Kriterium entspricht dabei praktisch einer erfordern- - li ¬
ehen zeitlichen Mindestlänge, über die eine Tonart in dem Audiosignal auftreten sollte, um erkannt zu werden.
Fig. 2A zeigt eine Matrix mit einer Diagonalstruktur, wobei die obere Diagonalmatrix mit Werten gefüllt ist. Die Zeilen der Matrix entsprechen hierbei Audiosignalsegmenten mit einem identischen Startzeitpunkt tstart (beispielsweise in Sekunden) und die Spalten der Matrix 200 entsprechen Audiosignalsegmenten mit identischen Endzeitpunkten ten<j (beispielsweise ebenfalls in Se- künden) . Die Diagonalstruktur der Matrix 200 ergibt sich dann daraus, dass für einen Startzeitpunkt eine Folge von Audiosignalsegmenten ausgewählt wird, wobei der Endzeitpunkt der Audiosignalsegmente bei gleichem Startzeitpunkt immer weiter (zeitlich) nach hinten verschoben wird. Hierdurch wird eine Auswer- tung des Audiosignals unter Berücksichtigung der Start- und Endzeitpunkte tstart und tend möglich, wie sie in Fig. 2B dargestellt ist. Bei einer Länge des ersten Audiosignalsegments ASSI von 2s (d.h. zwischen den Zeitpunkten 0s und 2s) und einer Länge des zweiten Audiosignals ASS2 von 4 Sekunden (d.h. von 0s bis 4s) ist somit der Signalgehalt des Audiosignals im Bereich von 0s bis 2s auch im zweiten Audiosignalsegment ASS2 enthalten. Dies wird durch die Schraffur von links unten nach rechts oben des ersten Audiosignalsegments im Vergleich zur Schraffur von links oben nach rechts unten des zweiten Audiosignalseg- ments ASS2 in Fig. 2B deutlich. Weiterhin könnte beispielsweise durch die Einrichtung zum Definieren ein zusätzliches Signalsegment ASS2a definiert werden, das Signalanteile des Audiosignals vom Startzeitpunkt tstart =0s bis zum Endzeitpunkt tend=6s umfasst, so wie es in Fig. 2B durch die gepunktete Schraffur dargestellt ist. Hierbei umfasst wiederum das zusätzliche Audiosignalsegment ASS2a die Information der ersten und zweiten Audiosignalsegmente ASSI und ASS2 zwischen den Zeitpunkten 0s und 4s.
In einer weiteren Ausführungsform kann die Einrichtung zum Definieren ein drittes Audiosignalsegment ASS3 definieren, das Informationen des Audiosignals von Startzeitpunkt tstart =2s bis zum Endzeitpunkt tend =4s umfasst. Hieran anschließend kann durch die Einrichtung zum Definieren ein viertes Audiosignalsegment ASS4 definiert werden, das Informationen des Audiosignals im Zeitbereich zwischen dem Startzeitpunkt ts art =2s und dem End- Zeitpunkt tend =6s umfasst und somit die Information des Audiosignals aus dem dritten Audiosignalsegment ASS3 beinhaltet.
Durch einen derartigen Aufbau und den zeitlichen Versatz der einzelnen Audiosignalsegmente kann somit die in Fig. 2A darge- stellte Matrix erstellt werden, bei der die obere Diagonalmatrix gefüllt wird. Dieses Füllen kann beispielsweise dadurch erfolgen, dass für jedes Audiosignalsegment ein Tonartschätzwert ermittelt und dieser Wert in das Element eingetragen wird, der einen nicht von vorausgehenden Audiosignalsegmenten überlappen- den Zeitbereich entspricht. Unter Bezugnahme auf die Fig. 2B kann dann beispielsweise der Tonartschätzwert des ersten Audiosignalsegments in das Element der Matrix eingetragen werden, das die Zeitspanne von 0 bis 2 Sekunden umfasst. Hierbei ist es unerheblich, ob der Tonartschätzwert flächig (d.h. als Fläche bzw. Flächenschraffür) oder als einzelner Zahlenwert in das Matrix-Element eingetragen wird; es ist lediglich die Zuordnung eines Tonartschätzwerts zu dem Intervall zwischen 0 Sekunden als Startzeitpunkt und 2 Sekunden als Endzeitpunkt des ersten Audiosignalsegments ASSI relevant. Ferner kann der Audio- Signalschätzwert für das zweite Audiosignalsegment ASS2 in dasjenige Element der Matrix eingetragen werden, das in der ersten Zeile zwischen den Zeitpunkten 2 Sekunden und 4 Sekunden liegt, obwohl das zweite Audiosignalsegment ASS2 Informationen umfasst, die im Bereich von 0 bis 2 Sekunden liegen. Hierdurch kann sichergestellt werden, dass die Information von vorhergehenden Audiosignalsegmenten (in diesem Fall dem ersten Audiosignalsegment ASSI) nicht verloren geht und zugleich die Information des zweiten Audiosignalsegments ASS2 angemessen in der Matrixdarstellung aufgenommen werden kann. Analoges gilt auch für das zusätzliche Audiosignalsegment ASS2a, das dritte Audiosignalsegment ASS3 und des vierte Audiosignalsegment ASS4 und so weiter. Eine solche Eintragung der unterschiedlichen Tonartschätzwerte für die einzelnen Audiosignalsegmente kann dann in einer vollständigen Darstellung der in Fig. 2A dargestellten oberen Drei- ecksmatrix entnommen werden. Hierbei ist ersichtlich, dass im Bereich von etwa 20 bis 40 Sekunden ein Tonartwechsel stattfindet, was durch den im Vergleich zu den umliegenden Tonartschätzwerten helleren Farbwert gekennzeichnet ist. Hierbei wird auch ersichtlich, dass aufgrund des durchgehenden hellen Be- reichs von der Diagonale der Matrix bis zum oberen Rand ein Tonartwechsel erkennbar ist, und insbesondere dieser Tonartwechsel durch scharfe Kanten in der Matrix, wie beispielsweise der Kante 202, eindeutig ist. Diese scharfen Kanten zeichnen sich dann insbesondere dadurch aus, dass in übereinanderliegen- den Zeilen zu gleichen Endzeitpunkten tend ein Wechsel des Tonartschätzwertes zu den nachfolgenden Tonartschätzwerten in jeder Zeile auftritt.
Weiterhin lässt sich beispielsweise aus dem rechten oberen Ele- ment der Matrix 204 ein Erstschätzwert für die Tonart des Audiosignals bestimmen, indem die Anteile des kompletten Audiosignals berücksichtigt sind. Das Bereitstellen eines solchen Erstschätzwerts für die Tonart des Audiosignals bietet den Vorteil, bereits eine schnelle Grobklassifikation über die zu er- wartende Tonart des Musikstücks bereitstellen zu können, ohne numerische aufwändig den Rest der Matrix (das heißt, die darunter liegenden Zeilen unter dem rechten oberen Element 204) berechnen oder bestimmen zu müssen. Alternativ kann auch der erste Grobschätzwert für die Tonart des Audiosignals auch aus dem zeitlich längsten Audiosignalsegment ermittelt werden, da dieses die für eine Auswertung der Tonartbestimmung höchste Informationsmenge der in dem Audiosignal enthaltenen Tonarten enthält. Diese längste Audiosignalsegment kann ein einer einfachsten Form auch das zweite Audiosignalsegment ASS2 sein, da die- ses zeitlich länger als das erste Audiosignalsegment ist. In nachfolgenden Schritten kann dann jedoch die restliche Matrix aufgebaut werden und beispielsweise durch das vorstehend näher erläuterte Verfahren unter Verwendung einer Häufigkeitsauswertung die Tonart des Audiosignals präziser bestimmt wer- den, wobei dann zugleich einzelne Zeitsegmente in Bezug auf einen Tonartwechsel untersucht werden können.
Weiterhin zeigt sich im Bereich von 50 bis 90 Sekunden ein weiterer Tonartwechsel in der in Fig. 2A dargestellten Matrix 200. Dieser weitere Tonartwechsel zeigt jedoch keine derart "scharfen" Kanten wie die Kante 200, was mehrere Ursachen haben kann. Einerseits könnte beispielsweise ein Übergang zwischen den Tonarten gleitend sein (beispielsweise in der Form eines glissan- dos) und somit eine eindeutige oder abrupte Bestimmung eines Tonartwechsels unmöglich sein. Weiterhin könnte auch die Berücksichtigung der Zeitsegmente für die ersten 50 Sekunden des Audiosignals eine Rolle bei der Ermittlung des Tonartschätzwertes für die Audiosignalsegmente im Bereich um 70 Sekunden spielen, derart, dass eine scharfe Kante nicht mehr präzise ausge- bildet werden kann, sondern vielmehr die den Tonartwechsel kennzeichnende Kante "Ausfransungen" aufweist. Weiterhin können auch Fehlklassifikationen auftreten, die beispielsweise durch lokale Disharmonien oder zeitlich zu kurze Zeitfenster bei glissandos ausgelöst werden können und somit eine eindeutige Tonarterkennung bzw. die Berechnung eines eindeutigen Tonartschätzwerts erschweren bzw. verhindern.
Weiterhin kann eine Information über die zweithäufigst auftretende Ausprägung eines Tonartschätzwerts zur Bestimmung der Tonart des Audiosignals verwendet werden. Hierbei ist insbesondere eine Paralleltonart zu einer Tonart zu berücksichtigen, wobei die Paralleltonart dadurch charakterisiert ist, dass diese die gleichen Töne in einer Oktave (wie die Grund-) Tonart aufweist. Beispielsweise wären in diesem Zusammenhang die Ton- arten C-Dur und A-moll als Grund-Tonart und Paralleltonart zu nennen, da in beiden Tonarten die gleichen Töne in der Oktave vorkommen, jedoch mit einer anderen Anordnung der Halbtonab- stände.
Durch die Verwendung des zweithäufigsten Auftretens eines Ton- artschätzwerts in Verbindung mit der Berücksichtigung mit der Paralleltonart für die Bestimmung der Tonart des Audiosignals ist es somit möglich, eine Verbesserung bzw. statistisch größere Absicherung des erfindungsgemäßen Ansatzes zur Bestimmung einer Tonart eines Audiosignals zu ermöglichen. Insbesondere dann, wenn eine Grundtonart und eine Paralleltonart denjenigen Tonartschätzwerten entsprechen, die am häufigsten und am zweithäufigsten in der Matrix vorkommen, lässt sich mit einer deutlich höheren Sicherheit das Vorliegen entweder der (Grund) - Tonart oder der Paralleltonart im Audiosignal feststellen, als dies lediglich durch die Berücksichtigung des am häufigsten vorkommenden Tonartschätzwerts in der Matrix möglich wäre.
Um eine weitere Verbesserung der Auswertung zu erreichen, kann ferner eine zeitliche Minimallänge eines Audiosignalsegments von beispielsweise 2 Sekunden festgelegt werden. Hierdurch ist sichergestellt, dass beispielsweise bei dem Vorliegen des Audiosignals in zeitlich aufeinanderfolgenden Signalwerten eine Zeit-Frequenzbereichstransformation möglich ist, die eine zur Tonarterkennung ausreichende spektrale "Schärfe" aufweist, und somit eine klare und eindeutige Trennung der einzelnen Töne in einer Oktave ermöglicht.
Zusammenfassend zu den Figuren 2A und 2B ist zu sagen, dass in diesem Ausführungsbeispiel eine Matrix aufgebaut wird, die An- nahmen der Tonart über verschieden lange Zeitintervalle umfasst. Hierzu kann eine minimale Zeitfensterlänge (bzw. Zeitrahmenlänge) von beispielsweise 2 Sekunden definiert werden. Nachfolgend werden alle zusammenhängenden Bereiche untersucht, die von einem Startwert tstart bis zu einem Endwert ten reichen, wobei für die verschiedenen Bereiche zunächst die Endzeitpunkte tend unterschiedlich sind und hieran anschließend ein neuer Startzeitpunkt tstart gewählt wird und wiederum Zeitfenster mit unterschiedlichen Endzeitpunkten tend mit dem neuen Startzeitpunkt tstart gewählt werden. Hierdurch werden benachbarte Zeitfenster oder Zeitrahmen generiert, die eine minimale Länge aufweisen und wobei sich die Zeitrahmen der gleichen Startzeit- punkte einander überlappen, jedoch mindestens in einem Zeitintervall von 2 Sekunden neue Informationen aus dem Audiosignal enthalten, die in vorhergehenden Segmenten noch nicht enthalten sind. Dies bedeutet somit, dass der erste Wert (Tonartschätzwert) für Noten der ersten 2 Sekunden, dann für die ersten vier Sekunden usw. geschätzt wird. Dieses Schätzen kann, wie vorstehend erläutert wurde, unter Verwendung von Tonartprofilen und einer Korrelation mit diesen Referenz-Tonartprofilen erfolgen, wobei dann die Ergebnisse aus der Korrelation, insbesondere der Tonartschätzwert der für das entsprechende Audiosignalsegment geschätzten Tonart in die einzelnen Elemente der ersten Zeile der Matrix beschrieben werden. Im nächsten Schritt wird der Startzeitpunkt ein Intervall von 2 Sekunden weiter (das heißt nach hinten) verschoben. In anderen Worten ausgedrückt wird die erste Berechnung dann das Zeitfenster zwischen zwei Sekunden und vier Sekunden, nachfolgend das Zeitfenster zwischen 2 und 6 Sekunden usw. betreffen. Die Ergebnisse für diese Abschätzung der Tonartschätzwerte wird dann in die zweite Zeile der sich ergebenden Matrix eingefügt. Die sich hierdurch ergebene obere Diagonalmatrix wird dann beispielsweise unter Verwendung einer Auswertung der Häufigkeitsverteilung der einzelnen Tonartschätzwerte untersucht und diese Tonartschätzwerte bzw. die Statistik oder Häufigkeitsverteilung der Tonartschätzwerte für das durch das Audiosignal mit den Musikinformationen gekennzeichnete Musikstück in einer Textdatei gespeichert.
Die mit dem vorliegenden Ansatz ermittelten Ergebnisse für die Bestimmung einer Tonart eines Audiosignals mit Musikinformationen ist in Fig. 3 dargestellt. Zur Ermittlung der in Fig.3 dargestellten Ergebnisse wurden 12 Präludien und 12 Fugen von Jo- hann Sebastian Bach's „the well-tempered clavier II" untersucht, wobei gezeigt werden konnte, dass in 52,8% der Untersuchungen die richtige Tonart mit dem erfindungsgemäßen Ansatz erkannt werden konnte. In 29,17% der Fälle wurde die Paralleltonart erkannt, wogegen in 10, 42% die korrekte Tonart an zweiter Stelle in der Häufigkeitsverteilung aufgetreten ist. Lediglich in 8,33% wurde die falsche Tonart erkannt. Dies zeigt die hohe Leistungsfähigkeit des erfindungsgemäßen Ansatzes bei der Bestimmung einer Tonart eines Audiosignals mit Musikinformationen.
Abhängig von den Gegebenheiten kann das erfindungsgemäße Ver- fahren Bestimmen einer Tonart eines Audiosignals mit Musikinformationen in Hardware oder in Software implementiert werden. Die Implementierung kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder CD mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das entsprechende Verfahren ausgeführt wird. Allgemein besteht die Erfindung somit auch in einem Computerprogrammprodukt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Computerpro- grammprodukt auf einem Rechner abläuft. Mit anderen Worten ausgedrückt, kann die Erfindung somit als ein Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens realisiert werden, wenn das Computerprogramm auf einem Computer abläuft.
Zusammenfassend kann gesagt werden, dass im erfindungsgemäßen Ansatz ein Musikstück für verschiedene Zeitfenster untersucht wird. Die Länge der Fenster ergeben sich beispielsweise aus einem Vielfachen einer Mindestlänge von beispielsweise 250 Frames (= 250 Zeitrahmen) . Zunächst wird ein Startpunkt auf 0 und ein Endpunkt auf 250 Zeitrahmen gesetzt. Für dieses Zeitfenster wird gezählt, welcher Halbton in wie vielen Zellen gesetzt ist. Die Ergebnisse werden beispielsweise in einem 12-zeiligen Vektor geschrieben. Dieser wird dann beispielsweise mit den Tonartprofilen korreliert und die Ergebnissegespeichert. Der (12- zeilige) Vektor wird dann verschoben, sowie das aus dem zweiten Element das erste wird, aus dem ersten Element das zwölfte, usw.. Dieser Vektor und alle weiteren Umstellungen werden eben- falls mit den Tonartprofilen korreliert. Eine Aussage darüber, welche Tonart für das betrachtete Zeitfenster angenommen werden kann, ergibt sich daraus, auf welchen Vektor und welches Tonartprofil das höchste Korrelationsergebnis erzielt wurde. Wird beispielsweise für das zweite Profil und den dritten Vektor das höchste Ergebnis gefunden, handelt es sich um D-moll.
Anschließend wird der Endpunkt beispielsweise um weitere 250 Zeitrahmen (zeitlich) nach hinten verschoben und für dieses Zeitfenster eine weitere Annahme gemacht. Dies wird wiederholt, bis der Endpunkt am Ende des Stücks angelangt ist. Dann wird der Startpunkt um 250 Zeitrahmen (zeitlich) nach hinten weitergesetzt und der Endpunkt beispielsweise auf 250 Zeitrahmen nach dem Startpunkt gesetzt, usw. . So werden für alle Zeitintervalle, die eine vielfache Länge von 250 Zeitrahmen besitzen, Annahmen für die Tonart gemacht. Alle diese Annahmen werden beispielsweise in eine Matrix als Zahlenwert (1 bis 24) eingetragen, wobei jeder Zahlenwert eine der Dur- oder moll-Tonarten der 12 Halbtonschritte einer Oktave entspricht. Anschließend werden die Annahmen für jede Tonart gezählt und die Ergebnisse in Prozent in eine Textdatei ausgegeben. Unter Berücksichtung dieser Textdatei kann nun entweder direkt eine Tonart des gesamten Musikstücks ermittelt werden oder aber ein Wechsel einer Tonart innerhalb des Musikstücks bestimmt werden. Alternativ kann auch die Bestimmung der Tonart des Musikstücks und ein Zeitpunkt von Tonartwechsel bzw. die Tonarten zwischen denen gewechselt wird, durch die Auswertung der Matrix bestimmt werden.

Claims

Patentansprüche
1. Vorrichtung (100) zum Bestimmen einer Tonart eines Audiosignals (108) mit Musikinformationen, die folgende Merkma- le aufweist: eine Einrichtung (102) zum Definieren eines ersten Audiosignalsegments (ASSI) und eines zweiten Audiosignalsegments (ASS2), wobei sich das erste Audiosignalsegment (ASSI) und das zweite Audiosignalsegment (ASS2) überlappen und unterschiedliche Zeitdauern haben; eine Einrichtung (104) zum Abschätzen einer Tonart für jedes Audiosignalsegment (ASSI, ASS2), um einen ersten Ton- artschätzwert für das erste Audiosignalsegment (ASSI) und einen zweiten Tonartschätzwert für das zweite Audiosignalsegment (ASS2) zu erhalten; und eine Einrichtung (106) zum Auswerten der Tonartschätzwerte (112), um auf der Basis des ersten Tonartschätzwerts und des zweiten Tonartschätzwerts die Tonart (114) des Audiosignals (108) zu bestimmen.
2. Vorrichtung (100) zum Bestimmen gemäß Anspruch 1, bei der die Einrichtung (102) zum Definieren ausgebildet ist, um das erste Audiosignalsegment (ASSI) in einer ersten Zeitspanne zwischen einem Startzeitpunkt und einem ersten Endzeitpunkt zu definieren und das zweite Audiosignalsegment (ASS2) in einer zweiten Zeitspanne zwischen dem Startzeit- punkt und einem zweiten Endzeitpunkt zu definieren, wobei der zweite Endzeitpunkt zeitlich dem ersten Endzeitpunkt nachgelagert ist.
3. Vorrichtung (100) zum Bestimmen gemäß Anspruch 1 oder 2, bei der die Einrichtung (102) zum Definieren ferner ausgebildet ist, um ein drittes Audiosignalsegment (ASS3) in einer dritten Zeitspanne zwischen einem zweiten Startzeitpunkt und einem dritten Endzeitpunkt zu definieren, wobei der zweite Startzeitpunkt dem Startzeitpunkt zeitlich nachgelagert ist, wobei die Einrichtung (104) zum Abschätzen ausgebildet ist, um einen dritten Tonartschätzwert für das dritte Audiosignalsegment (ASS3) zu erhalten und wobei die Einrichtung (106) zum Auswerten ausgebildet ist, um den dritten Tonartschätzwert für das Bestimmen der Tonart (114) des Audiosignals (108) zu verwenden.
4. Vorrichtung (100) zum Bestimmen gemäß Anspruch 3, bei der die Einrichtung (102) zum Definieren ausgebildet ist, um ein viertes Audiosignalsegment (ASS4) in einer vierten Zeitspanne zwischen dem zweiten Startzeitpunkt und einem vierten Endzeitpunkt zu definieren, wobei der vierte Endzeitpunkt zeitlich dem dritten Endzeitpunkt nachgelagert ist, wobei die Einrichtung (104) zum Abschätzen ausgebildet ist, um einen vierten Tonartschätzwert für das vierte Audiosignalsegment (ASS4) zu erhalten und wobei die Ein- richtung (106) zum Auswerten ausgebildet ist, um den vierten Tonartschätzwert für das Bestimmen der Tonart (114) des Audiosignals (108) zu verwenden.
5. Vorrichtung (100) zum Bestimmen gemäß einem der Ansprüche 3 oder 4, bei der die Einrichtung (106) zum Auswerten ausgebildet ist, um eine Erstschätzung der Tonart (114) des Audiosignals (108) auf der Grundlage des zweiten Tonartschätzwertes zu bestimmen und dann die Tonart (114) des Audiosignals (108) auf der Basis des ersten Tonartschätz- wertes und des zweiten Tonartschätzwerts zu bestimmen.
6. Vorrichtung (100) zum Bestimmen gemäß Anspruch 5, bei der die Einrichtung (106) ausgebildet ist, um eine Häufigkeit eines Auftretens einer Ausprägung für die erhaltenen Ton- artschätzwerte (112) zu ermitteln und die Tonart (114) des Audiosignals (108) auf der Basis einer häufigsten aufgetretenen Ausprägung eines Tonartschätzwertes zu bestimmen.
7. Vorrichtung (100) zum Bestimmen gemäß Anspruch 6, bei der die Einrichtung (106) zum Auswerten ausgebildet ist, um eine zweit-häufigste aufgetretene Ausprägung eines Tonartschätzwertes oder einen Tonartschätzwert für eine Paralleltonart zu der den häufigsten aufgetretenen Tonartschätzwert entsprechenden Tonart für das Bestimmen der Tonart (114) des Audiosignals (108) zu bestimmen.
8. Vorrichtung (100) zum Bestimmen gemäß einem der Ansprüche 1 bis 7, bei der die Einrichtung (102) zum Definieren ausgebildet ist, um die Audiosignalsegmente (ASSI, ASS2) der- art zu definieren, dass sie mindestens eine vorbestimmte zeitliche Länge aufweisen.
9. Vorrichtung (100) zum Bestimmen gemäß einem der Ansprüche 3 bis 8, bei der die Einrichtung (104) zum Abschätzen aus- gebildet ist, um die für die Audiosignalsegmente (ASSI bis ASS3) erhaltenen Tonartschätzwerte in Elemente einer Matrix einzutragen, wobei diejenigen Elemente einer Zeile der Matrix Audiosignalsegmenten (ASSI, ASS2) entsprechen, die einen gemeinsamen Startzeitpunkt (tstart) aufweisen und diejenigen Elemente einer Spalte der Matrix Audiosignalsegmenten (ASS2, ASS3) entsprechen, die einen gemeinsamen Endzeitpunkt (tend) aufweisen, wobei die Einrichtung (106) zum Auswerten ferner eine Einrichtung zum Ermitteln eines Tonartwechsels aufweist, die ausgebildet ist, um als Zeit- punkt eines Tonartwechsels denjenigen Start- (tstart) oder Endzeitpunkt (tend) zu ermitteln, bei dem ein in ein Referenzelement der Matrix eingetragener Referenz- Tonartschätzwert von einem Test-Tonartschätzwert verschieden ist, der in einem zu dem Referenzelement in der Matrix benachbart angeordneten Testelement der Matrix eingetragen ist .
10. Vorrichtung (100) zum Bestimmen gemäß Anspruch 9, bei der die Tonartschätzwerte voneinander unterscheidbare Zahlen sind und bei der die Einrichtung zum Ermitteln ausgebildet ist, um einen Tonartwechsel dann zu ermitteln, wenn eine Differenz zwischen dem Referenztonartschätzwert und dem Test-Tonartschätzwert größer als ein vordefinierter Schwellwert ist.
11. Vorrichtung (100) zum Bestimmen gemäß Anspruch 10, bei der die Einrichtung zum Ermitteln ausgebildet ist, um einen Tonartwechsel dann festzustellen, wenn das Referenzelement und das Testelement in einer Zeile der Matrix angeordnet sind und keinen Tonartwechsel festzustellen, wenn das Re- ferenzelement und das Testelement in einer Spalte der Matrix angeordnet sind.
12. Verfahren zum Bestimmen einer Tonart eines Audiosignals (108) mit Musikinformationen, das folgende Schritte auf- weist:
Definieren eines ersten Audiosignalsegments (ASSI) und eines zweiten Audiosignalsegments (ASS2) , wobei sich das erste Audiosignalsegment (ASSI) und das zweite Audiosignal- segment (ASS2) überlappen und unterschiedliche Zeitdauern haben;
Abschätzen einer Tonart für jedes Audiosignalsegment (ASSI, ASS2), um einen ersten Tonartschätzwert für das erste Audiosignalsegment (ASSI) und einen zweiten Tonartschätzwert für das zweite Audiosignalsegment (ASS2) zu erhalten; und
Auswerten der Tonartschätzwerte (112), um auf der Basis des ersten Tonartschätzwerts und des zweiten Tonartschätz- werts die Tonart (114) des Audiosignals (108) zu bestimmen.
13. Computerprogramm zur Durchführung des Verfahrens gemäß An- spruch 12, wenn das Programm auf einem Computer abläuft.
PCT/EP2005/002304 2004-06-14 2005-03-04 Vorrichtung und verfahren zum bestimmen einer tonart eines audiosignals mit musikinformationen WO2005122133A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102004028720.1 2004-06-14
DE200410028720 DE102004028720B3 (de) 2004-06-14 2004-06-14 Vorrichtung und Verfahren zum Bestimmen einer Tonart eines Audiosignals mit Musikinformationen

Publications (1)

Publication Number Publication Date
WO2005122133A1 true WO2005122133A1 (de) 2005-12-22

Family

ID=34961481

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2005/002304 WO2005122133A1 (de) 2004-06-14 2005-03-04 Vorrichtung und verfahren zum bestimmen einer tonart eines audiosignals mit musikinformationen

Country Status (2)

Country Link
DE (1) DE102004028720B3 (de)
WO (1) WO2005122133A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7829778B2 (en) 2006-02-22 2010-11-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device and method for generating a note signal and device and method for outputting an output signal indicating a pitch class
US7982122B2 (en) 2006-02-22 2011-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device and method for analyzing an audio datum

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5756918A (en) * 1995-04-24 1998-05-26 Yamaha Corporation Musical information analyzing apparatus

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4354418A (en) * 1980-08-25 1982-10-19 Nuvatec, Inc. Automatic note analyzer
US5760325A (en) * 1995-06-15 1998-06-02 Yamaha Corporation Chord detection method and apparatus for detecting a chord progression of an input melody
JP2003263115A (ja) * 2002-12-16 2003-09-19 Kureha Elastomer Co Ltd 表示画面の保護方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5756918A (en) * 1995-04-24 1998-05-26 Yamaha Corporation Musical information analyzing apparatus

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BARTSCH M A ET AL: "To catch a chorus: using chroma-based representations for audio thumbnailing", APPLICATIONS OF SIGNAL PROCESSING TO AUDIO AND ACOUSTICS, 2001 IEEE WORKSHOP ON THE OCT. 21-24, 2001, PISCATAWAY, NJ, USA,IEEE, 21 October 2001 (2001-10-21), pages 15 - 18, XP010566863, ISBN: 0-7803-7126-7 *
IZMIRLI O ET AL: "Recognition of musical tonality from sound input", ELECTROTECHNICAL CONFERENCE, 1994. PROCEEDINGS., 7TH MEDITERRANEAN ANTALYA, TURKEY 12-14 APRIL 1994, NEW YORK, NY, USA,IEEE, 12 April 1994 (1994-04-12), pages 269 - 271, XP010130828, ISBN: 0-7803-1772-6 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7829778B2 (en) 2006-02-22 2010-11-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device and method for generating a note signal and device and method for outputting an output signal indicating a pitch class
US7982122B2 (en) 2006-02-22 2011-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device and method for analyzing an audio datum

Also Published As

Publication number Publication date
DE102004028720B3 (de) 2005-10-20

Similar Documents

Publication Publication Date Title
DE3101851C2 (de) Vorrichtung zum Erkennen von Sprache
EP0862161B1 (de) Verfahren zur Spracherkennung mit Sprachmodellanpassung
DE3306730C2 (de)
EP1407446B1 (de) Verfahren und vorrichtung zum charakterisieren eines signals und zum erzeugen eines indexierten signals
EP1523719A2 (de) Vorrichtung und verfahren zum charakterisieren eines informationssignals
DE4241688C2 (de) Verfahren zum Erzeugen eines Wortteilmodelles für Spracherkennung
EP1794745A1 (de) Vorrichtung und verfahren zum ändern einer segmentierung eines audiostücks
WO2003007185A1 (de) Verfahren und vorrichtung zum erzeugen eines fingerabdrucks und verfahren und vorrichtung zum identifizieren eines audiosignals
DE112004001811T5 (de) Verfahren zum Bearbeiten und Speichern von Massenspektrometriedaten
DE2825110A1 (de) Verfahren zur erkennung kontinuierlicher sprachsignale
WO2005122135A1 (de) Vorrichtung und verfahren zum umsetzen eines informationssignals in eine spektraldarstellung mit variabler auflösung
EP1214703B1 (de) Verfahren zum trainieren der grapheme nach phonemen regeln für die sprachsynthese
EP1280138A1 (de) Verfahren zur Analyse von Audiosignalen
DE60225190T2 (de) Merkmal-basierte audio-inhaltsidentifikation
DE102004028693B4 (de) Vorrichtung und Verfahren zum Bestimmen eines Akkordtyps, der einem Testsignal zugrunde liegt
DE2920041C2 (de) Verfahren zum Verifizieren von Signalen, und Anordnung zum Durchführen des Verfahrens
WO2005122133A1 (de) Vorrichtung und verfahren zum bestimmen einer tonart eines audiosignals mit musikinformationen
DE102012025016B3 (de) Verfahren zur Ermittlung wenigstens zweier Einzelsignale aus wenigstens zwei Ausgangssignalen
AT522281B1 (de) Verfahren zur Charakterisierung des Betriebszustands eines Computersystems
DE69908518T2 (de) Verfahren und Vorrichtung zur Sprachsynthese
EP0677835B1 (de) Verfahren zum Ermitteln einer Folge von Wörtern
DE2854601C2 (de) Verfahren zur Tonaufbereitung und Ton-Synthesator zu seiner Durchführung
EP1377924B1 (de) VERFAHREN UND VORRICHTUNG ZUM EXTRAHIEREN EINER SIGNALKENNUNG, VERFAHREN UND VORRICHTUNG ZUM ERZEUGEN EINER DAZUGEHÖRIGEN DATABANK und Verfahren und Vorrichtung zum Referenzieren eines Such-Zeitsignals
DE4009730A1 (de) Schaltungsanordnung zur versteilerung von signalflanken
EP0834859A2 (de) Verfahren zum Bestimmen eines akustischen Modells für ein Wort

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DPEN Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

122 Ep: pct application non-entry in european phase