WO2006034742A1 - Vorrichtung und verfahren zum ändern einer segmentierung eines audiostücks - Google Patents

Abstract

Zum Ändern einer Segmentierung eines Audiostücks nach einer Segmentklassenzuweisung wird zunächst ein Kurz-Segment ausgewählt (31), das eine Länge hat, die kürzer als eine vorbestimmte Minimallänge ist. Dieses Kurz-Segment wird vorzugsweise unter Verwendung von Informationen über eine Segmentklassenzugehörigkeit des Kurz-Segments selbst, aber auch des Nachfolger-Segments oder des Vorläufer-Segments mit dem entsprechenden Nachfolger-Segment oder Vorläufer-Segment verschmolzen (33a, 33b, 33c, 33d), um eine geänderte Segmentierung des Audiosignals zu erhalten. Damit wird eine nicht übersegmentierte Segmentdarstellung des Audiosignals erhalten, die ferner sämtliche Audioinformationen umfasst, also keine Darstellung des Audiostücks mit Löchern ist.

Description

Vorrichtung und Verfahren zum Ändern einer Segmentierung eines Audiostücks

Beschreibung

Die vorliegende Erfindung bezieht sich auf die Audiosegmen- tierung und insbesondere auf die Analyse von Musikstücken auf die in den Musikstücken enthaltenen einzelnen Haupttei¬ le, die in dem Musikstück wiederholt auftreten können.

Musik aus dem Rock- und Popbereich besteht meistens aus mehr oder weniger eindeutigen Segmenten, wie beispielsweise Intro, Strophe, Refrain, Bridge, Outro, etc. Die Anfangs¬ und Endzeitpunkte solcher Segmente zu detektieren und die Segmente nach ihrer Zugehörigkeit zu den wichtigsten Klas¬ sen (Strophe und Refrain) zu gruppieren, ist Ziel der Au- diosegmentierung. Eine korrekte Segmentierung und auch Kennzeichnung der berechneten Segmente kann in verschiede¬ nen Bereichen sinnvoll eingesetzt werden. Beispielsweise können so Musikstücke von Online-Anbietern, wie Amazon, Mu- sicline, etc. intelligent „angespielt" werden.

Die meisten Anbieter im Internet beschränken sich bei ihren Hörbeispielen auf einen kurzen Ausschnitt aus den angebote¬ nen Musikstücken. In diesem Fall wäre es natürlich auch sinnvoll, dem Interessenten nicht nur die ersten 30 Sekun- den oder beliebige 30 Sekunden, sondern einen möglichst re¬ präsentativen Ausschnitt aus dem Lied anzubieten. Dies könnte z. B. der Refrain sein, oder aber auch eine Zusam¬ menfassung des Liedes, bestehend aus Segmenten, die den verschiedenen Hauptklassen (Strophe, Refrain, ... ) angehö- ren.

Ein weiteres Anwendungsbeispiel für die Technik der Audio¬ segmentierung ist das Integrieren des Segmentierungs- /Gruppierungs-/Markierungsalgorithmus in einen Musicplayer. Die Informationen über Segmentanfänge und Segmentenden er¬ möglichen das gezielte Navigieren durch ein Musikstück. Durch die Klassenzugehörigkeit der Segmente, also ob ein Segment eine Strophe, ein Refrain, etc. ist, kann z. B. auch direkt zum nächsten Refrain oder zur nächsten Strophe gesprungen werden. Eine derartige Anwendung ist für große Musikmärkte von Interesse, die ihren Kunden die Möglichkeit bieten, in komplette Alben hinein zu hören. Dadurch erspart sich der Kunde das lästige, suchende VorspuILen zu charakte¬ ristischen Stellen im Lied, die ihn vielleicht dazu bewegen könnten, ein Musikstück am Ende tatsächlich zu kaufen.

Auf dem Gebiet der Audiosegmentierung existieren verschie- dene Ansätze. Nachfolgend wird der Ansatz von Jonathan Foo- te und Matthew Cooper beispielhaft dargestellt. Dieses Ver¬ fahren ist in FOOTE, J.T. / Cooper, M.L.: Summarizing Popu¬ lär Music via Structural Similarity Analysis. Proceedings of the IEEE Workshop of Signal Processing to Audio and Acoustics 2003. FOOTE, J.T. / COOPER, M.L. : Media Segmenta- tion using Self-Similar Decomposition. Proceedings of SPIE Storage and Retrieval for Multimedia Databases, Bd. 5021, S. 167-75, Januar 2003, dargestellt.

Das bekannte Verfahren von Foote wird antiand des Block¬ schaltbilds von Fig. 5 beispielhaft erläutert. Zunächst wird eine WAV-Datei 500 bereitgestellt. In einem nachge¬ schalteten Extraktionsblock 502 findet dann eine Merk¬ malsextraktion statt, wobei als Merkmal die Spektralkoeffi- zienten an sich oder alternativ die Mel-Frequenz-Cepstral- Koeffizienten (MFCCs) extrahiert werden. Vor dieser Extrak¬ tion wird eine Kurzzeit-Fourier-Transformation (STFT) mit 0,05 Sekunden breiten nicht-überlappenden Fenstern mit der WAV-Datei durchgeführt. Die MFCC-Merkmale werden dann im Spektralbereich extrahiert. Hierbei sei darauf hingewiesen, dass die Parametrisierung nicht für eine Kompression, Über¬ tragung oder Rekonstruktion optimiert ist, sondern für eine o

Audioanalyse. Die Anforderung besteht dahingehend, dass ähnliche Audiostücke ähnliche Merkmale erzeugen.

Die extrahierten Merkmale werden dann in einem Speicher 504 abgelegt.

Auf den Merkmalsextraktionsalgorithmus findet nunmehr ein Segmentierungsalgorithmus statt, der in einer Ähnlichkeits¬ matrix endet, wie es in einem Block 506 dargestellt ist. Zunächst wird jedoch die Merkmalsmatrix eingelesen (508), um dann Merkmalsvektoren zu gruppieren (510) , um dann auf Grund der gruppierten Merkmalsvektoren eine Ähnlichkeits¬ matrix aufzubauen, die aus einer Distanzmessung zwischen jeweils allen Merkmalen besteht. Im Einzelnen werden alle paarweisen Kombinationen von Audiofenstern unter Verwendung eines quantitativen Ähnlichkeitsmaßes, also der Distanz, verglichen.

Der Aufbau der Ähnlichkeitsmatrix ist in Fig. 8 darge- stellt. So ist in Fig. 8 das Musikstück als Strom oder Stream 800 von Audioabtastwerten dargestellt. Das Audio¬ stück wird, wie es ausgeführt worden ist, gefenstert, wobei ein erstes Fenster mit i und ein zweites Fenster mit j be¬ zeichnet sind. Insgesamt hat das Audiostück z. B. K Fens- ter. Dies bedeutet, dass die Ähnlichkeitsmatrix K Zeilen und K Spalten hat. Dann wird für jedes Fenster i und für jedes Fenster j ein Ähnlichkeitsmaß zueinander berechnet, wobei das berechnete Ähnlichkeitsmaß oder Distanzmaß D(i,j) an der durch i und j bezeichneten Zeile bzw. Spalte in der Ähnlichkeitsmatrix eingegeben wird. Eine Spalte zeigt daher die Ähnlichkeit des durch j bezeichneten Fensters zu allen anderen Audiofenstern in dem Musikstück. Die Ähnlichkeit des Fensters j zum allerersten Fenster des Musikstücks wür¬ de dann in der Spalte j und in der Zeile 1 stehen. Die Ähn- lichkeit des Fensters j zum zweiten Fenster des Musikstücks würde dann in der Spalte j, aber nunmehr in der Zeile 2 stehen. Dagegen würde die Ähnlichkeit des zweiten Fensters - A -

zum ersten Fenster in der zweiten Spalte der Matrix und in der ersten Zeile der Matrix stehen.

Es ist zu sehen, dass die Matrix dahingehend redundant ist, dass sie zur Diagonalen symmetrisch ist, und dass auf der Diagonalen die Ähnlichkeit eines Fensters zu sich selbst steht, was den trivialen Fall einer 100%-igen Ähnlichkeit darstellt.

Ein Beispiel für eine Ähnlichkeitsmatrix eines Stücks ist in Fig. 6 zu sehen. Hier ist wieder die komplett symmetri¬ sche Struktur der Matrix bezüglich der Hauptdiagonalen er¬ kennbar, wobei die Hauptdiagonale als heller Streifen er¬ sichtlich ist. Ferner wird darauf hingewiesen, dass auf Grund der kleinen Fensterlänge im Vergleich zu der relativ groben Zeitauflösung in Fig. 6 die Hauptdiagonale nicht als heller durchgehender Strich zu sehen ist, sondern aus Fig. 6 nur in etwa erkennbar ist.

Hierauf wird unter Verwendung der Ähnlichkeitsmatrix, wie sie z. B. in Fig. 6 dargestellt ist, eine Kernel- Korrelation 512 mit einer Kernel-Matrix 514 durchgeführt, um ein Neuheitsmaß, das auch als „Novelty Score" bekannt ist, zu erhalten, das gemittelt werden könnte und in ge- glätteter Form in Fig. 9 dargestellt ist. Die Glättung die¬ ses Novelty Scores ist in Fig. 5 schematisch durch einen Block 516 dargestellt.

Hierauf werden in einem Block 518 die Segmentgrenzen unter Verwendung des geglätteten Neuheitswertverlaufs ausgelesen, wobei hierzu die lokalen Maxima im geglätteten Neuheitsver¬ lauf ermittelt und gegebenenfalls noch um eine durch die Glättung verursachte konstante Anzahl von Samples verscho¬ ben werden müssen, um tatsächlich die richtigen Segment- grenzen des Audiostücks als absolute oder relative Zeitan¬ gabe zu erhalten. Hierauf wird, wie es bereits in einem mit Clustering be¬ zeichneten Block aus Fig. 5 ersichtlich ist, eine so ge¬ nannte Segmentähnlichkeitsdarstellung oder Segmentähnlich¬ keitsmatrix erstellt. Ein Beispiel für eine Segmentähnlich- keitsmatrix ist in Fig. 7 dargestellt. Die Ähnlichkeitsmat¬ rix in Fig. 7 ist prinzipiell ähnlich zu der Merkmals- Ähnlichkeitsmatrix von Fig. 6, wobei nun jedoch nicht mehr, wie in Fig. 6, Merkmale aus Fenstern verwendet werden, son¬ dern Merkmale aus einem ganzen Segment. Die Segmentähnlich- keitsmatrix hat eine ähnliche Aussage wie die Merkmalsähn¬ lichkeitsmatrix, jedoch mit einer wesentlich gröberen Auf¬ lösung, was natürlich gewünscht ist, wenn betrachtet wird, dass Fensterlängen im Bereich von 0,05 Sekunden liegen, während vernünftig lange Segmente im Bereich von vielleicht 10 Sekunden eines Stückes liegen.

Hierauf wird dann in einem Block 522 ein Clustering durch¬ geführt, also eine Einordnung der Segmente in Segmentklas¬ sen (eine Einordnung von ähnlichen Segmenten in dieselbe Segmentklasse) , um dann in einem Block 524 die gefundenen Segmentklassen zu markieren, was auch als „Labeling" be¬ zeichnet wird. So wird im Labeling ermittelt, welche Seg¬ mentklasse Segmente enthält, die Strophen sind, die Re¬ frains sind, die Intros, Outros, Bridges, etc. sind.

Schließlich wird in einem mit 526 in Fig. 5 bezeichneten Block eine Musicsummary erstellt, die z. B. einem Benutzer bereitgestellt werden kann, um ohne Redundanz von einem Stück nur z. B. eine Strophe, einen Refrain und das Intro zu hören.

Nachfolgend wird auf die einzelnen Blöcke noch detaillier¬ ter eingegangen.

Wie es bereits ausgeführt worden ist, findet die eigentli¬ che Segmentierung des Musikstücks erst dann statt, wenn die Merkmalsmatrizen generiert und gespeichert sind (Block 504) . - fi -

Je nach dem, anhand welchen Merkmals das Musikstück auf seine Struktur hin untersucht werden soll, wird die ent¬ sprechende Merkmalsmatrix ausgelesen und zur Weiterverar- beitung in einen Arbeitsspeicher geladen. Die Merkmalsmat¬ rix hat die Dimension Anzahl der Analysefenster mal Anzahl der Merkmalskoeffizienten.

Durch die Ähnlichkeitsmatrix wird der Merkmalsverlauf eines Stücks in eine zweidimensionale Darstellung gebracht. Für jede paarweise Kombination von Merkmalsvektoren wird das Distanzmaß berechnet, das in der Ähnlichkeitsmatrix fest¬ gehalten wird. Zur Berechnung des Distanzmaßes zwischen zwei Vektoren gibt es verschiedene Möglichkeiten, nämlich beispielsweise die Euklidsche Distanzmessung und die Cosi¬ nus-Distanzmessung. Ein Ergebnis D(i,j) zwischen den zwei Merkmalsvektoren wird im i,j-ten Element der Fenster- Ähnlichkeitsmatrix (Block 506) gespeichert. Die Hauptdiago¬ nale der Ähnlichkeitsmatrix repräsentiert den Verlauf über das gesamte Stück. Dementsprechend resultieren die Elemente der Hauptdiagonalen aus dem jeweiligen Vergleich eines Fensters mit sich selbst und weisen immer den Wert der größten Ähnlichkeit auf. Bei der Cosinus-Distanzmessung ist dies der Wert 1, bei der einfachen skalaren Differenz und der Euklidschen Distanz ist dieser Wert gleich 0.

Zur Visualisierung einer Ähnlichkeitsmatrix, wie sie in Fig. 6 dargestellt ist, bekommt jedes Element i, j einen Grauwert zugewiesen. Die Grauwerte sind proportional zu den Ähnlichkeitswerten abgestuft, so dass die maximale Ähnlich¬ keit (die Hauptdiagonale) der maximalen Ähnlichkeit ent¬ spricht. Durch diese Darstellung kann man die Struktur ei¬ nes Liedes bereits optisch auf Grund der Matrix erkennen. Bereiche ähnlicher Merkmalsausprägung entsprechen Quadran- ten ähnlicher Helligkeit entlang der Hauptdiagonalen. Die Grenzen zwischen den Bereichen zu finden, ist die Aufgabe der eigentlichen Segmentierung. Die Struktur der Ähnlichkeitsmatrix ist wichtig für das in der Kernel-Korrelation 512 berechnete Neuheitsmaß. Das Neu¬ heitsmaß entsteht durch die Korrelation eines speziellen Kernels entlang der Hauptdiagonalen der Ähnlichkeitsmatrix. Ein beispielhafter Kernel K ist in Fig. 5 dargestellt. Kor¬ reliert man diese Kernel-Matrix entlang der Hauptdiagonalen der Ähnlichkeitsmatrix S, und summiert dabei alle Produkte der übereinander liegenden Matrixelemente für jeden Zeit¬ punkt i des Stücks, so erhält man das Neuheitsmaß, das in geglätteter Form beispielhaft in Fig. 9 dargestellt ist. Vorzugsweise wird nicht der Kernel K in Fig. 5 verwendet, sondern ein vergrößerter Kernel, der zudem mit einer Gauss¬ verteilung überlagert ist, so dass die Kanten der Matrix gegen 0 streben.

Die Selektion der markanten Maxima im Neuheitsverlauf ist wichtig für die Segmentierung. Die Auswahl aller Maxima des ungeglätteten Neuheitsverlaufs würde zu einer starken Über¬ segmentierung des Audiosignals führen.

Daher sollte das Neuheitsmaß geglättet werden, und zwar mit verschiedenen Filtern, wie beispielsweise IIR-Filter oder FIR-Filter.

Sind die Segmentgrenzen eines Musikstücks extrahiert, so müssen nun ähnliche Segmente als solche gekennzeichnet und in Klassen gruppiert werden.

Foote und Cooper beschreiben die Berechnung einer segment- basierten Ähnlichkeitsmatrix mittels einer Cullback- Leibler-Distanz. Hierfür werden anhand der aus dem Neu¬ heitsverlauf gewonnenen Segmentgrenzen einzelne Segment¬ merkmalsmatrizen aus der gesamten Merkmalsmatrix extra¬ hiert, d. h. jede dieser Matrizen ist eine Submatrix der gesamten Merkmalsmatrix. Die damit entstandene Segmentähn¬ lichkeitsmatrix 520 wird nunmehr einer Singularwertzerle¬ gung (SVD; SVD = Singular Value Decomposition) unterzogen. Hierauf erhält man Singulärwerte in absteigender Reihenfol¬ ge.

Im Block 526 wird dann eine automatische Zusammenfassung eines Stücks anhand der Segmente und Cluster eines Musik¬ stücks durchgeführt. Hierzu werden zunächst die zwei Cluster mit den größten Singulärwerten ausgewählt. Dann wird das Segment mit dem Maximalwert des entsprechenden Cluster-Indikators zu dieser Summary hinzugefügt. Dies be— deutet, dass die Summary eine Strophe und einen Refrain umfasst. Alternativ können auch alle wiederholten Segmente entfernt werden,, um sicherzustellen, dass alle Informatio¬ nen des Stücks bereitgestellt werden, jedoch immer genau einmal.

Bezüglich weiterer Techniken zur Segmentierung/Musikanalyse wird auf CHU, s. / LOGAN B.: Music Summary using Key Phra — ses. Technical Report, Cambridge Research Laboratory 2000 , BARTSCH, M.A. / WAKEFIELD, g. H. : To Catch a Chorus: Usin<g Chroma-Based Representation for Audio Thumbnailing. Pro— ceedings of the IEEE Workshop of Signal Processing to Audio and Acoustics 2001. http: //musen.engin.umich.edu/papers / bartsch wakefield waspaaOl final.pdf, verwiesen

Nachteilig an dem bekannten Verfahren ist die Tatsache , dass die Singularwertzerlegung (SVD) zur Segmentklassenbil¬ dung, also zum Zuordnen von Segmenten zu Clustern zum einen sehr rechenaufwendig ist und zum anderen problematisch in der Beurteilung der Ergebnisse ist. So wird dann, wenn die Singularwerte nahezu gleich groß sind, eine möglicherweise falsche Entscheidung dahingehend getroffen, dass die beiden ähnlichen Singularwerte eigentlich die gleiche Segmentklas - se und nicht zwei unterschiedliche Segmentklassen darstel¬ len.

Ferner wurde herausgefunden, dass die Ergebnisse, die durch die Singularwer^~tzerlegung erhalten werden, dann immer prob¬ lematischer werden, wenn es starke Ähnlichkeitswertunterr- schiede gibt, wenn also ein Stück sehr ähnliche Anteil_e enthält, wie Strophe und Refrain, aber auch relativ unähn¬ liche Anteile, wie Intro, Outro oder Bridge.

Ferner problematisch an «dem bekannten Verfahren ist, dass immer davon ausgegangen wird, dass der Cluster unter den beiden Clustern mit den höchsten Singularwerten, der das erste Segment im Lied hat, der Cluster „Strophe" ist, und dass der andere Cluster der Cluster „Refrain" ist. Dieses Prozedere basiert darauf, dass man im bekannten Verfahren davon ausgeht, dass ein Lied immer mit einer Strophe be¬ ginnt. Erfahrungen haben gezeigt, dass damit erhebliche La¬ belingfehler erhalten wexden. Dies ist insofern problema¬ tisch, da das Labeling gewissermaßen die „Ernte" des gesam- ten Verfahrens ist, also das, was der Benutzer unmittelbar erfährt. Waren die vorhergehenden Schritte noch so präzise und aufwändig, so relativiert sich alles, wenn am Ende falsch gelabelt wird, da dann beim Benutzer das Vertrauen in das gesamte Konzept insgesamt Schaden nehmen könnte.

An dieser Stelle sei ferner darauf hingewiesen, dass insbe¬ sondere Bedarf nach automatischen Musikanalyseverfahren be¬ steht, ohne dass das Ergebnis immer überprüft und gegebe¬ nenfalls korrigiert werden kann. Statt dessen ist ein VeH-"- fahren nur dann am Markt einsetzbar, wenn es automatisch ohne menschliche Nachkorirektur ablaufen kann.

Ferner nachteilig an dem bekannten Konzept ist die Tatsa¬ che, dass bei der Segmentierung auf der durch die Singulair- wertzerlegung berechneten Segmentierung aufgebaut wird. ICn anderen Worten ausgedrückt bedeutet dies, dass sowohl das Clustering als auch das abschließende Labeling auf der durch Singularwertzerlegiαng ermittelten Segmentierung auf¬ baut. So kann jedoch das Clustering und das Labeling und damit auch die Music-Summary, die das für den Hörer eigent¬ liche Produkt des gesamten Verfahrens ist, niemals besser werden als die zugrunde liegende Segmentierung. Findet eine Übersegmentierung statt;,, wie sie insbesondere für Kernel-Korrelations-basierte Konzepte häufig vorkommt, erhält man am Ende voraussichtlich viel zu viele Segment¬ klassen, die dann nachzuarbeiten sind, um störende Segment- klassen, die eigentlich keinem Hauptteil entsprechend, ge¬ gebenenfalls ganz zu entfernen. Dd_ese „Nachreparatur" ist dahingehend ungünstig, dass damit Aiadioinformationen elimi¬ niert werden. Ein Zuhörer wird dann, wenn er auf Grund der bereits bezeichneten Segmentklassen durch das Audiostück navigiert, nicht die gesamten AudioInformationen hören kön¬ nen, da unbedeutende Segmente, die eigentlich keinem Haupt¬ teil entsprechen, bei diesem Verfallren komplett eliminiert worden sind.

Noch gewichtiger ist jedoch die Ta-tsache, dass einer Über¬ segmentierung, die auch durch andere Segmentierungsverfah¬ ren auftreten kann, auf die Tatsachee hinweist, dass die ur¬ sprüngliche primäre Segmentierung nicht korrekt war. Die Segmente beispielsweise der Segmentklasse, die mit „Re- frain" bezeichnet ist, sind dann von unterschiedlicher Qua¬ lität. So hat ein Segment, bei dem die Segmentierung kor¬ rekt war, einen längeren Refrain, -während ein anderes Seg¬ ment, bei dem die Segmentierung nicht korrekt war, einen kürzeren Refrain hat. Wird anschließend mit der segmentier- ten Darstellung des Audiostücks gearbeitet, so führt dies zu Synchronisationsproblemen und ferner zu Irritationen beim Benutzer, die sogar so weit g-ehen können, dass er das gesamte Vertrauen in das Segmentieirungskonzept verliert.

Die Aufgabe der vorliegenden Erfindung besteht darin, ein genaueres Segmentierungskonzept zu erreichen, das zudem mit einer bereits existierenden ersten Segmentierung des Audio¬ stücks kompatibel sein soll.

Diese Aufgabe wird durch eine Vorrichtung zum Ändern einer Segmentierung eines Audiostücks gernäß Patentanspruch 1, ein Verfahren zum Ändern einer Segmentierung eines Audiostücks - I T -

gemäß Patentanspruch 19 oder ein Computer-Programm gemäß Patentanspruch 20 gelöst.

Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass der Übersegmentierung dadurch wirkungsvoll begegnet wird, wenn nach einer ursprünglichen Segmentiexung und an¬ schließenden Segmentierungsklassenzuweisung die eigentlich bereits abgeschlossene ursprüngliche Segmentierung nachkor¬ rigiert wird. Zu diesem Zweck umfasst die erfi_ndungsgemäße Vorrichtung eine Segmentierungskorrektureinrichtung zum Korrigieren der Segmentierung, die ausgebildet ist, um ein Segment mit einer Länge, die kürzer als eine vorbestimmte Minimallänge ist, mit einem zeitlichen Vorgangersegment o- der einem zeitlichen Nachfolgersegment zu verschmelzen, um eine geänderte Segmentierung des Audiostücks zu erhalten. Diese Nachkorrektur findet erfindungsgemäß nach der ersten Segmentierung und der sich an die erste Segmentierung an¬ schließenden Zuweisung in die Segmentklassen , also auch nach dem Clustering statt. Dies ermöglicht die Option, für die Korrektur der Segmentierung nicht nur Kurz-Segmente nach bestimmten Kriterien mit einem vorhergehenden Segment und einem nachfolgenden Segment zu verschmel zen, sondern für diese Verschmelzung auch Informationen über die Seg¬ mentklassenzugehörigkeit des Vorgängersegments, über die Segmentklassenzugehörigkeit des Nachfolgersegiaents oder ü- ber die Segmentklassenzugehörigkeit des Kurz-Segments selbst zu verwenden.

Einfache Algorithmen können jedoch bereits ohine Rücksicht auf die Segmentklassenzugehörigkeiten des Kurz-Segments, das Vorgänger-Segments oder das Nachfolger-Seςjments allein auf Grund einer Überprüfung der Neuheitswerte an den Seg¬ mentgrenzen eine Segmentverschmelzung erreichen, die be¬ reits eine akzeptable Trefferwahrscheinlichkeit hat.

Vorzugsweise wird jedoch die Segmentverschmelzung auf Grund der Neuheitswerte an den Segmentgrenzen erst ciann - gewis¬ sermaßen als letztes Mittel - durchgeführt, iΛ/enn ein ent- sprechendes kurzes Segment durch vorausgehende Überprüfun¬ gen, in denen die Segmentklassenzugehörigkeit der betroffe¬ nen Vorlaufer-/Nachfolger-Segmente berücksichtig worden sind, nicht verschmolzen werden konnte.

Bei einem bevorzugten Ausführungsbeispiel der vorLiegenden Erfindung wird eine adaptive Segmentzuweisung auf der Basis der primären Segmentierung durchgeführt, wobei jedoch beim Auftreten von Segmentierungszuweisungskonflikten Segmente, die eigentlich einer ersten Segmentklasse zugeordnet sind, mit einer Tendenz auf eine andere Segmentklasse, die den Konflikt verursacht hatte, versehen werden. Stellt sich dann heraus, dass ein Segment mit einer solchen Tendenz gleichzeitig ein Kurz-Segment ist, und stellt sicϊi ferner heraus, dass die Tendenz auf eine Segmentklasse h_inweist, zu der zugleich das zeitlich vorhergehende oder das zeit¬ lich nachfolgende Segment gehört, so wird eine der ur¬ sprünglichen Ähnlichkeitsdarstellung gerecht werdende Seg¬ mentverschmelzung auf der Basis dieser Tendenz bzw. Trend erhalten.

Das erfindungsgemäße Konzept ist insbesondere dahingehend vorteilhaft, dass kein Abschnitt des Audiostücks komplett eliminiert wird. Der Benutzer, der dann, wenn die gesamte Verarbeitung beendet ist, durch das Audiostück navigiert, wird Segmente, die die geänderte Segmentierung bilden, vor¬ finden, deren Gesamtlänge nach wie vor gleich der ursprüng¬ lichen Länge des Audiostücks ist.

Darüber hinaus wird eine Anzahl von Segmentklassen erhal¬ ten, die gleich der Anzahl der in einem Audiostück vorkom¬ menden Hauptteile ist.

Ferner kann variabel, allein auf Grund einer zeitlichen Schwellwertvorgabe die Minimallänge eines Segments einge¬ stellt werden, was insbesondere in Verbindung mit e iner Mu¬ sikgenreidentifikation dahingehend Möglichkeiten exöffnet, überhaupt zulässige minimale Segmentlängen an das t>etrach- tete Musikgenre anzupassen, zumal unterschiedliche Musik¬ genre unterschiedlich lange Segmente mit sich bringen Rön¬ nen.

Des weiteren ermöglicht es das erfindungsgemäße Konzept auch, allein auf Grund einer Minimallängen- Schwellwertvorgabe die Anzahl der Segmentklassen durch Zu¬ ordnung von Kurz-Segmenten so weit zu reduzieren, bis eine überhaupt erwartete Anzahl erfüllt wird, ohne dass die Seg- πientdarstellung des Audiostücks Löcher umfasst.

Bei einem bevorzugten Ausführungsbeispiel erfolgt die Zu¬ weisung eines Segments zu einer Segmentklasse auf der Basis eines adaptiven Ähnlichkeits-Mittelwerts für ein Segment, derart, dass durch den Ähnlichkeits-Mittelwert berücksich¬ tigt wird, welchen insgesamten Ähnlichkeits-Score ein Seg¬ ment im gesamten Stück hat. Nachdem für ein Segment ein solcher Ähnlichkeits-Mittelwert berechnet worden ist, zu dessen Berechnung die Anzahl der Segmente und die Ähnlich- keitswerte der dem Segment zugeordneten Mehrzahl von Ähn¬ lichkeitswerten benötigt werden, wird dann die tatsächliche Zuweisung eines Segments zu einer Segmentklasse, also zu einem Cluster, auf der Basis dieses Ähnlichiceits- Mittelwerts durchgeführt. Liegt ein Ähnlichkeitswert eines Segments zu dem gerade betrachteten Segment beispielsweise oberhalb des Ähnlichkeits-Mittelwerts, so wird das Segment als zu der gerade betrachteten Segmentklasse zugehörig zu¬ gewiesen. Liegt der Ähnlichkeitswert eines Segments zu dem gerade betrachteten Segment dagegen unterhalb dieses Ahn- lichkeits-Mittelwerts, so wird es nicht der Segmentki asse zugewiesen.

In anderen Worten ausgedrückt bedeutet dies, dass die Zu¬ weisung nicht mehr abhängig von der absoluten Größe der Ähnlichkeitswerte durchgeführt wird, sondern relativ zu. dem Ähnlichkeits-Mittelwert. Dies bedeutet, dass für ein Seg¬ ment, das einen relativ geringen Ähnlichkeits-Score hat, also z. B. für ein Segment, das ein Intro oder Outro hat, der Ähnlichkeits-Mittelwert niedriger sein wird als für ein Segment, das eine Strophe oder ein Refrain ist. Damit wer¬ den die starken Abweichungen der Ähnlichkeiten von Segmen¬ ten in Stücken bzw. der Häufigkeit des Auftretens von be- stimmten Segmenten in Stücken berücksichtigt, wobei z. B. numerische Probleme und damit auch Mehrdeutigkeiten und da¬ mit verbundene Falsch-Zuweisungen vermieden werden können.

Das erfindungsgemäße Konzept eignet sich besonders für Mu- sikstücke, die nicht nur aus Strophen und Refrains beste¬ hen, also die Segmente haben, die zu Segmentklasse gehören, die gleich große Ähnlichkeitswerte haben, sondern auch für Stücke, die neben Strophe und Refrain auch andere Teile ha¬ ben, nämlich eine Einführung (Intro) , ein Zwischenspiel (Bridge) oder einen Ausklang (Outro) .

Bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung werden die Berechnung des adaptiven Ähnlichkeits- Mittelwertes und das Zuweisen eines Segments iterativ durchgeführt, wobei Ähnlichkeitswerte von zugewiesenen Seg¬ menten beim nächsten Iterationsdurchgang ignoriert werden. Damit ergibt sich für den nächsten Iterationsdurchgang ein neuer maximaler Ähnlichkeits-Absolutwert, also die Summe der Ähnlichkeitswerte in einer Spalte der Ähnlichkeitsmat- rix, da die den früher zugewiesenen Segmenten entsprechen¬ den Ähnlichkeits-Absolutwerte zu Null gesetzt worden sind.

Erfindungsgemäß wird eine Segmentierungs-Nachkorrektur durchgeführt, und zwar dahingehend, dass nach der Segmen- tierung z. B. auf Grund des Neuheitswertes (der lokalen Ma- xima des Neuheitswertes) und nach einer anschließenden Zu¬ ordnung zu Segmentklassen relativ kurze Segmente untersucht werden, um zu sehen, ob sie dem Vorgänger-Segment oder dem Nachfolger-Segment zugeordnet werden können, da Segmente unterhalb einer minimalen Segmentlänge mit hoher Wahr¬ scheinlichkeit auf eine Übersegmentierung hindeuten. Bei einem alternativen bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird nach der abschließenden Segmen¬ tierung und Zuordnung in die Segmentklassen ein Labeling durchgeführt, und zwar unter Verwendung eines speziellen Auswahlalgorithmus, um eine möglichst korrekte Kennzeich¬ nung der Segmentklassen als Strophe oder Refrain zu erhal¬ ten.

Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegende Zeich¬ nung detailliert erläutert. Es zeigen:

Fig. 1 ein Blockschaltbild der erfindungsgemäßen Vor¬ richtung zum Gruppieren gemäß einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung;

Fig. 2 ein Flussdiagramm zur Darstellung einer bevorzug¬ ten Ausführungsform der Erfindung zum iterativen Zuweisen;

Fig. 3 ein Blockdiagramm der Funktionsweise der Segmen¬ tierungskorrektureinrichtung;

Fig. 4a und Fig. 4b eine bevorzugte Ausführungsform der Segmentklassenbezeichnungseinrichtung;

Fig. 5 ein Gesamtblockschaltbild eines Audioanalysewerk¬ zeugs;

Fig. 6 eine Darstellung einer beispielhaften Merkmals- ähnlichkeitsmatrix;

Fig. 7 eine beispielhafte Darstellung einer Segmentähn¬ lichkeitsmatrix;

Fig. 8 eine schematische Darstellung zur Veranschauli¬ chung der Elemente in einer Ähnlichkeitsmatrix S; und Fig. 9 eine schematische Darstellung eines geglätteten Neuheitswerts.

Fig. 1 zeigt eine Vorrichtung zum Gruppieren von zeitlichen Segmenten eines Musikstücks, das in in dem Musikstück wie¬ derholt auftretende Hauptteile gegliedert ist, in verschie¬ dene Segmentklassen, wobei eine Segmentklasse einem Haupt¬ teil zugeordnet ist. Die vorliegende Erfindung bezieht sich somit besonders auf Musikstücke, die einer gewissen Struk¬ tur unterliegen, in der ähnliche Abschnitte mehrmals er¬ scheinen und sich mit anderen Abschnitten abwechseln. Die meisten Rock- und Popsongs besitzen eine klare Struktur in Bezug auf ihre Hauptteile.

Die Literatur behandelt das Thema der Musikanalyse haupt¬ sächlich anhand klassischer Musik, davon gilt jedoch auch vieles für Rock- und Popmusik. Die Hauptteile eines Musik¬ stücks werden auch „Großformteile" genannt. Unter einem Großformteil eines Stücks versteht man einen Abschnitt, der hinsichtlich verschiedener Merkmale, z. B. Melodik, Rhyth¬ mik, Textur, usw., eine relativ einheitliche Beschaffenheit hat. Diese Definition gilt allgemein in der Musiktheorie.

Großformteile in der Rock- und Popmusik sind z. B. Strophe, Refrain, Bridge und Solo. In der klassischen Musik wird ein Wechselspiel von Refrain und anderen Teilen (Couplets) ei¬ ner Komposition auch Rondo genannt. Im Allgemeinen kontras¬ tieren die Couplets zum Refrain, beispielsweise hinsieht- lieh Melodik, Rhythmik, Harmonik, Tonart oder Instrumenta¬ tion. Dies lässt sich auch auf moderne Unterhaltungsmusik übertragen. So wie es bei dem Rondo verschiedene Formen gibt (Kettenrondo, Bogenrondo, Sonatenrondo) , bestehen auch in Rock- und Popmusik bewährte Muster zum Aufbau eines Lie- des. Diese sind natürlich nur einige Möglichkeiten aus vie¬ len. Letztendlich entscheidet natürlich der Komponist, wie sein Stück aufgebaut ist. Ein Beispiel für einen typischen Aufbau eines Rockliedes ist das Muster. A-B-A-B-C- D-A- B ,

wobei A gleich Strophe, B gleich Refrain, C gleich Bridge und D gleich Solo gilt. Oftmals wird ein Musikstück mit ei¬ nem Vorspiel (Intro) eingeleitet, ∑ntros bestehen häufig aus der gleichen Akkordfolge wie dd_e Strophe, allerdings mit anderer Instrumentation, z. B. ohne Schlagzeug, ohne Bass oder ohne Verzerrung der Gitarre bei Rockliedern etc.

Die erfindungsgemäße Vorrichtung umfasst zunächst eine Ein¬ richtung 10 zum Bereitstellen einer Ähnlichkeitsdarstellung für die Segmente, wobei die Ähnlichkeitsdarstellung für je¬ des Segment eine zugeordnete Mehrzahl von Ähnlichkeitswer- ten aufweist, wobei die Ähnlichkeitswerte angeben, wie ähn¬ lich das Segment zu jedem anderen Segment ist. Die Ähnlich¬ keitsdarstellung ist vorzugsweise die in Fig. 7 gezeigte Segment-Ähnlichkeitsmatrix. Sie hat für jedes Segment (in Fig. 7 Segmente 1-10) eine eigene Spalte, die den Index „j" hat. Ferner hat die Ähnlichkeitsdarstellung für jedes Seg¬ ment eine eigene Zeile, wobei eine Zeile mit einem Zeilen¬ index i bezeichnet ist. Dies wird nachfolgend anhand des beispielhaften Segments 5 bezeichnet . Das Element (5,5) in der Hauptdiagonale der Matrix von Fig. 7 ist der Ähnlich- keitswert des Segments 5 mit sich selbst, also der maximale Ähnlichkeitswert. Ferner ist das Segment 5 noch mittelähn¬ lich zum Segment Nr. 6, wie es durch das Element (6,5) oder durch das Element (5,6) der Matrix in Fig. 7 bezeichnet ist. Darüber hinaus hat das Segment 5 noch Ähnlichkeiten zu den Segmenten 2 und 3, wie es durch die Elemente (2,5) oder (3,5) oder (5,2) oder (5,3) in Fig. 7 gezeigt ist. Zu den anderen Segmenten 1, 4, 7, 8, 9, 10 hat das Segment Nr. 5 eine Ähnlichkeit, die in Fig. 7 nicht; mehr sichtbar ist.

Eine dem Segment zugeordnete Mehrzatil von Ähnlichkeitswer- ten ist beispielsweise eine Spalte oder eine Zeile der Seg¬ ment-Ähnlichkeitsmatrix in Fig. 7, wobei diese Spalte oder Zeile auf Grund ihres Spalten-/ZeiLen-Indexes angibt, auf welches Segment sie sich bezieht, nämlich beispielsweise auf das fünfte Segment, und wobei diese Zeile/Spalte die Ähnlichkeiten des fünften Segments zu jedem anderen Segment in dem Stück umfasst. Die Mehrzahl von Ähnlichkeits-werten ist also beispielsweise eine Zeile der Ähnlichkeitsinatrix oder, alternativ, eine Spalte der Ähnlichkeitsmatrix von Fig. 7.

Die Vorrichtung zum Gruppieren von zeitlichen Segmenten des Musikstücks umfasst ferner eine Einrichtung 12 zum Berech¬ nen eines Ähnlichkeits-Mittelwertes für ein Segment, unter Verwendung der Segmente und der Ähnlichkeitswerte der dem Segment zugeordneten Mehrzahl von Ähnlichkeitswerten. Die Einrichtung 12 ist ausgebildet, um z. B. für die Spalte 5 in Fig. 7 einen Ähnlichkeits-Mittelwert zu berechnen. Wird bei einem bevorzugten Ausführungsbeispiel der arithmetische Mittelwert verwendet, so wird die Einrichtung 12 die Ähn¬ lichkeitswerte in der Spalte addieren und durch die Anzahl der Segmente insgesamt teilen. Um die Selbstähnlichk:eit zu eliminieren, könnte von dem Additionsergebnis auch die Ähn¬ lichkeit des Segments mit sich selbst abgezogen werden, wo¬ bei natürlich dann auch eine Teilung nicht mehr durch sämt¬ liche Elemente, sondern durch sämtliche Elemente weniger 1 durchzuführen ist.

Die Einrichtung 12 zum Berechnen könnte alternativ aiαch den geometrischen Mittelwert berechnen, also jeden Ätmlich- keitswert einer Spalte für sich quadrieren, um die quad¬ rierten Ergebnisse zu summieren, um dann eine Wurzel aus dem Summationsergebnis zu berechnen, welche durch die An¬ zahl der Elemente in der Spalte^' (bzw. die Anzahl der Ele¬ mente in der Spalte weniger 1) zu teilen ist. Beliebige an¬ dere Mittelwerte, wie beispielsweise der Median-Wert etc. sind verwendbar, so lange der Mittelwert für jede Spalte der Ähnlichkeitsmatrix adaptiv berechnet wird, also ein Wert ist, der unter Verwendung der Ähnlichkeitswerte der dem Segment zugeordneten Mehrzahl von Ähnlichkeitswerten berechnet wird. Der adaptiv berechnete Ähnlichkeits-Schwellenwert wird dann einer Einrichtung 14 zum Zuweisen eines Segments zu einer Segmentklasse geliefert. Die Einrichtung 14 zum Zuweisen ist ausgebildet, um ein Segment einer Segmentklasse zuzu¬ ordnen, wenn der Ähnlichkeitswert des Segments eine vorbe¬ stimmte Bedingung bezüglich des Ähnlichkeits-Mittelwerts erfüllt. Ist beispielsweise der Ähnlichkeits-Mittelwert so, dass ein größerer Wert auf eine größere Ähnlichkeit und ein kleinerer Wert auf eine geringere Ähnlichkeit hinweist, so wird die vorbestimmte Beziehung darin bestehen, dass der Ähnlichkeitswert eines Segments gleich oder oberhalb des Ähnlichkeits-Mittelwerts sein muss, damit das Segment einer Segmentklasse zugewiesen wird.

Bei einem bevorzugten Aus führungsbeispiel der vorliegenden Erfindung existieren noch weitere Einrichtungen, um spe¬ zielle Ausführungsformen zu verwirklichen, auf die später eingegangen wird. Diese Einrichtungen sind eine Segmentaus- wahleinrichtung 16, eine Segmentzuweisungskonflikteinrich- tung 18, eine Segmentieriαngskorrektureinrichtung 20 sowie eine Segmentklassen-Bezeichnungseinrichtung 22.

Die Segmentauswahleinrichtung 16 in Fig. 1 ist ausgebildet, um zunächst für jede Spalte in der Matrix von Fig. 7 einen Gesamt-Ähnlichkeitswert V (j) zu berechnen, der folgenderma¬ ßen ermittelt wird:

P ist die Anzahl der Segmente. SÄ ist der Wert der Selbst¬ ähnlichkeit eines Segments mit sich selbst. Je nach verwen¬ deter Technik kann der Wert z. B. Null oder Eins sein. Die Segmentauswahleinrichtung 16 wird zunächst den Wert V(j) für jedes Segment berechnen, um dann das Vektorelement i des Vektors V mit maximalem Wert herauszufinden. Anders ausgedrückt bedeutet dies, dass die Spalte in Fig. 7 ge- wählt wird, die bei der Aufaddition der einzelnen Ähnlich¬ keitswerte in der Spalte den größten Wert oder Score er¬ reicht. Dieses Segment könnte beispielsweise das Segment Nr. 5 bzw. die Spalte 5 der Matrix in Fig. 7 sein, da die- ses Segment mit drei anderen Segmenten zumindest eine ge¬ wisse Ähnlichkeit hat. Ein anderer Kandidat bei dem Bei¬ spiel von Fig. 7 könnte auch das Segment mit der Nr. 7 sein, da dieses Segment ebenfalls zu drei anderen Segmenten eine gewisse Ähnlichkeit hat, die zudem noch größer ist als die Ähnlichkeit des Segments 5 zu den Segmenten 2 und 3 (höhere Grauschattierung in Fig. 7) .

Für das nachfolgende Beispiel wird nunmehr angenommen, dass die Segmentauswahleinrichtung 16 das Segment Nr. 7 aus- wählt, da es den höchsten Ähnlichkeits-Score auf Grund der Matrixelemente (1,7), (4,7) und (10,7) hat. Dies bedeutet in anderen Worten, dass V (7) die Komponente des Vektors V ist, die den maximalen Wert un^~ter allen Komponenten von V hat.

Nunmehr wird der Ähnlichkeits-Score der Spalte I₁ also für das Segment Nr. 7 noch durch die Zahl „9" geteilt, um aus der Einrichtung 12 den Ähnlichkeits-Schwellwert für das Segment zu erhalten.

Hierauf wird in der Segment-Ähnlichkeitsmatrix für die siebte Zeile bzw. Spalte überprüft, welche Segmentähnlich¬ keiten über dem berechneten Schwellwert liegen, d. h. mit welchen Segmenten das i-te Segment eine überdurchschnittli- che Ähnlichkeit aufweist. All diese Segmente werden nunmehr ebenfalls wie das siebte Segment einer ersten Segmentklasse zugewiesen.

Für das vorliegende Beispiel wird angenommen, dass die Ähn- lichkeit des Segments 10 zum Segment 7 unterdurchschnitt¬ lich ist, dass jedoch die Ähnlichkeiten des Segments 4 und des Segments 1 zum Segment 7 überdurchschnittlich sind. Da¬ her werden in die erste Segment klasse neben dem Segment Nr. 7 auch das Segment Nr. 4 und das Segment Nr. 1 eingeordnet. Dagegen wird das Segment Nr. 10 auf Grund der unterdurch¬ schnittlichen Ähnlichkeit zum Segment ISIr. 7 nicht in die erste Segmentklasse eingeordnet.

Nach der Zuweisung werden die korrespondierenden Vektorele¬ mente V(j) aller Segmente, die in dieser Schwellwertunter¬ suchung einem Cluster zugeordnet wurden, zu 0 gesetzt. Im Beispiel sind dies neben V(7) auch die Komponenten V(4) und V(I) . Dies bedeutet unmittelbar, dass die 7., 4. und 1. Spalte der Matrix nicht mehr für eine spätere Maximalsuche zur Verfügung stehen werden, das sie Null sind, also kei¬ nesfalls ein Maximum sein können.

Dies ist in etwa gleichbedeutend damit, dass die Einträge (1,7), (4,7), (7,7) und (10,7) der Segrnentähnlichkeitsmat- rix zu 0 gesetzt werden. Dasselbe Prozedere wird für die Spalte 1 (Elemente (1,1), (4,1) und (7,IL)) und die Spalte 4 (Elemente (1,4), (4,4), (7,4) und (10, 4)) durchgeführt. Aufgrund der einfacheren Handhabbarkeil:, wird jedoch die Matrix nicht verändert, sondern werden die Komponenten von V, die zu einem zugewiesenen Segment gehören, bei der nächsten Maximumsuche in einem späteren Iterationsschritt ignoriert.

In einem nächsten Iterationsschritt wird nunmehr ein neues Maximum unter den noch verbleibenden Elementen von V, also unter V(2), V(3), V(5), V(6,), V(8), V(9) und V(IO) ge¬ sucht. Voraussichtlich wird dann das Segment Nr. 5, also V(5), den größten Ähnlichkeits-Score ergeben. Die zweite Segmentklasse erhält dann die Segmente 5 und 6. Auf Grund der Tatsache, dass die Ähnlichkeiten zu den Segmenten 2 und 3 unterdurchschnittlich sind, werden d±e Segmente 2 und 3 nicht in den Cluster zweiter Ordnung gebracht. Damit werden die Elemente V(6) und V(5) vom Vektor ^"V auf Grund der er¬ folgten Zuweisung zu 0 gesetzt, während noch die Komponen¬ ten V(2), V(3), V(8), V(9) und V(IO) des Vektors für die Auswahl des Clusters dritter Ordnung verbleiben. Hierauf wird wieder ein neues Maximum unter den genannten verbleibenden Elementen von V gesucht. Das neue Maximum könnte V(IO) sein, also die Komponente von V für das Seg- ment 10. Segment 10 kommt also in die Segmentklasse dritter Ordnung. So könnte sich ferner herausstellen, dass das Seg¬ ment 7 auch zum Segment 10 eine überdurchschnittliche Ähn¬ lichkeit hat, obgleich das Segment 7 bereits dex ersten Segmentklasse zugehörig gekennzeichnet ist. Es entsteht so- mit ein Zuweisungskonflikt, der durch die Segmentzuwei- sungskonflikteinrichtung 18 von Fig. 1 aufgelöst wi_rd.

Eine einfache Art der Auflösung könnte sein, einfach in die dritte Segmentklasse das Segment 7 nicht zuzuweisen und z. B. statt dessen das Segment 4 zuzuweisen, falls für das Segment 4 nicht ebenfalls ein Konflikt existieren würde.

Vorzugsweise wird jedoch, um die Ähnlichkeit zwischen dem Segment 7 und dem Segment 10 nicht unberücksichtigt zu las- sen, die Ähnlichkeit zwischen 7 und 10 in nachfolgendem Al¬ gorithmus berücksichtigt.

Allgemein ist die Erfindung ausgelegt, um die Ähnlichkeit zwischen i und k nicht unberücksichtigt zu lassen. Daher werden die Ähnlichkeitswerte S_s(i,k) von Segment i und k mit dem Ähnlichkeitswert S_s(i^*,k) verglichen, wobei i^* das erste Segment ist, das dem Cluster C^* zugeordnet wurde. Der Cluster bzw. die Segmentklasse C^* ist der Cluster, dem das Segment k bereits auf Grund einer vorherigen Untersuchung zugeordnet ist. Der Ähnlichkeitswert S_s(i^*,k) ist aus¬ schlaggebend dafür, dass das Segment k dem Cluster C^* zuge¬ hörig ist. Ist S_s(i^*,k) größer als S_s(i,k), so bl_eibt das Segment k im Cluster C^*. Ist S_s(i^*,k) kleiner als S_s(i,k), so wird das Segment k aus dem Cluster C^* herausgenommen und dem Cluster C zugewiesen. Für den ersten Fall, also wenn das Segment k nicht die Clusterzugehörigkeit wechselt, wird für das Segment i eine Tendenz zum Cluster C^* vermerkt. Vorzugsweise wird diese Tendenz jedoch auch dann "vermerkt, wenn das Segment k die Clusterzugehörigkeit wechselt. In diesem Fall wird eine Tendenz dieses Segments zum Cluster , in den es ursprünglich aufgenommen wurde, vermerkt. Dies e Tendenzen können vorteilhafterweise bei einer Segmentie - rungskorrektur, die durch die Segmentierungskorrekturein - richtung 20 ausgeführt wird, verwendet werden.

Die Ähnlichkeitswertüberprüfung wird, auf Grund der Tatsa - che, dass das Segment 7 das „Ursprungssegment" in der ers - ten Segmentklasse ist, zugunsten der ersten Segmentklass e ausgehen. Das Segment 7 wird also seine Clusterzugehörig-- keit (Segmentzugehörigkeit) nicht ändern, sondern es wird in der ersten Segmentklasse verbleiben. Diese Tatsache wird jedoch dadurch berücksichtigt, dass dem Segment Nr. 10 Ln der dritten Segmentklasse ein Trend zur ersten Segmentklas- - se attestiert wird.

Erfindungsgemäß wird damit berücksichtigt, dass insbesonde¬ re für die Segmente, deren Segment-Ähnlichkeiten zu zweti unterschiedlichen Segmentklassen existieren, diese Ähnlicht- keiten dennoch nicht ignoriert werden, sondern gegebenen¬ falls später durch den Trend bzw. die Tendenz doch noch be¬ rücksichtigt werden.

Das Prozedere wird so lange fortgeführt, bis alle Segmente in der Segment-Ähnlichkeitsmatrix zugeordnet sind, was der Fall ist, wenn alle Elemente vom Vektor V zu Null gesetzt sind.

Dies würde für das in Fig. 7 gezeigte Beispiel bedeuten, dass als nächstes, in die vierte Segmentklasse, das Maxiimam von V(2), V(3), V(8), V(9), also das Segment 2 und 3 einge¬ ordnet werden, um dann, in einer fünften Segmentklasse, di_e Segmente 8 bzw. 9 einzuordnen, bis alle Segmente zugeordnet worden sind. Damit ist der in Fig. 2 gezeigte iterative A-L- gorithmus beendet. Nachfolgend wird detailliert auf die bevorzugte Implemen¬ tierung der Segmentierungskorrektureinrichtung 20 anhand von Fig. 3 eingegangen.

So ergibt sich, dass bei der Berechnung der Segmentgrenzen mittels der Kernel-Korrelation, jedoch auch bei der Berech¬ nung von Segmentgrenzen mittels anderer Maßnahmen häufig eine Übersegmentierung eines Stücks entsteht, d. h. es wer¬ den zu viele Segmentgrenzen bzw. allgemein zu kurze Segmen— te berechnet. Eine Übersegmentierung, z. B. hervorgerufen durch eine falsche Unterteilung der Strophe, wird erfin— dungsgemäß dadurch korrigiert, dass auf Grund der Segment— länge und der Information, in welche Segmentklasse ein Vor¬ gänger- oder Nachfolger-Segment einsortiert worden ist^, korrigiert wird. In anderen Worten ausgedrückt dient die Korrektur dazu, zu kurze Segmente vollständig zu eliminie¬ ren, also mit benachbarten Segmenten zu verschmelzen, und um Segmente, die kurz sind, jedoch nicht zu kurz sind, also die eine kurze Länge haben, jedoch länger als die Minimal— länge sind, noch einer besonderen Untersuchung zu unterzie¬ hen, ob sie vielleicht nicht doch noch mit einem Vorgänger— segment oder einem Nachfolgersegment verschmolzen werden können. Grundsätzlich werden erfindungsgemäß aufeinander folgende Segmente, die der gleichen Segmentklasse angehö— ren, immer verschmolzen. Ergibt das in Fig. 7 gezeigte Sze¬ nario z. B., dass die Segmente 2 und 3 in dieselbe Segment— klasse kommen, so werden diese automatisch miteinander ver¬ schmolzen, während die Segmente in der ersten Segmentklas— se, also die Segmente 7, 4, 1 voneinander beabstandet sind und daher (wenigstens zunächst) nicht verschmelzbar sind . Dies wird in Fig. 3 durch einen Block 30 angedeutet. Nun¬ mehr wird in einem Block 31 untersucht, ob Segmente eine Segmentlänge haben, die kleiner als eine Mindestlänge ist . So existieren vorzugsweise verschiedene Mindestlängen.

Es werden relativ kurze Segmente, die kürzer als 11 Sekun¬ den (eine erste Schwelle) sind, überhaupt nur untersucht , während später noch kürzere Segmente (eine zweite Schwelle: , die kleiner als die erste ist), die kürzer als 9 Sekunden sind, untersucht werden, und später noch verbleibende Seg¬ mente, die kürzer als 6 Sekunden (eine dritte Schwelle, die kürzer als die zweite Schwelle ist) sind, wieder alternativ behandelt werden.

Bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung, bei dem diese gestaffelte Längenüberprüfung stattfindet, ist die Segmentlängenüberprüfung im Block 31 zunächst darauf gerichtet, dass die Segmente kürzer als 11 Sekunden gefunden werden. Für die Segmente, die länger als 11 Sekunden sind, wird keine Nachbearbeitung vorgenommen, wie es durch ein „Nein" am Block 31 erkennbar ist. Für Seg¬ mente, die kürzer als 11 Sekunden sind, wird zunächst eine Tendenzenüberprüfung (Block 32) durchgeführt. So wird zu¬ nächst untersucht, ob ein Segment auf Grund der Funktiona¬ lität der SegmentZuweisungskonflikteinrichtung 18 von Fig. 1 einen zugeordneten Trend bzw. eine zugeordnete Tendenz hat. Bei dem Beispiel von Fig. 7 wäre dies das Segment 10, das einen Trend zu dem Segment 7 bzw. einen Trend zur ers¬ ten Segmentklasse hat. Ist das zehnte Segment kürzer als 11 Sekunden, so würde bei dem in Fig. 7 gezeigten Beispiel dennoch auch auf Grund der Tendenzüberprüfung nichts ge¬ schehen, da eine Verschmelzung des betrachteten Segments nur dann stattfindet, wenn es eine Tendenz nicht zu irgend¬ einem Cluster, also zu irgendeiner Segmentklasse hat, son¬ dern eine Tendenz zu einem Cluster eines angrenzenden (vor¬ her oder nachher) Segments. Dies ist jedoch für das Segment 10 bei dem in Fig. 7 gezeigten Beispiel nicht der Fall.

Um auch die zu kurzen Segmente zu vermeiden, die keine Ten¬ denz zu dem Cluster eines benachbarten Segments aufweisen, wird vorgegangen, wie es in den Blöcken 33a, 33b, 33c und 33d in Fig. 3 dargestellt ist. So wird an Segmenten, die länger als 9 Sekunden, jedoch kürzer als 11 Sekunden sind, nichts mehr gemacht. Sie werden belassen. In einem Block 33a wird nun jedoch für Segmente aus dem Cluster X, die kürzer als 9 Sekunden sind, und bei denen sowohl das Vor- gänger-Segment als auch das Nachfolge-Segment zum Cluster Y gehören, eine Zuweisung zum Cluster Y vorgenommen, was au¬ tomatisch bedeutet, dass ein solches Segment mit sowohl dem Vorgänger- als auch dem Nachfolger-Segment verschmolzen wird, so dass ein insgesamt längeres Segment entsteht, das sich aus dem betrachteten Segment sowie dem Vorgänger- als auch dem Nachfolger-Segment zusammensetzt. Somit kann durch eine nachfolgende Verschmelzung eine Zusammenfassung von zunächst getrennten Segmenten über ein zu verschmelzendes dazwischenliegendes Segment gelingen.

In einem Block 33b ist ferner ausgeführt, was mit einem Segment geschieht, das kürzer als 9 Sekunden ist, und das das einzige Segment in einer Segmentgruppe ist. So ist in der dritten Segmentklasse das Segment Nr. 10 das einzige Segment. Wäre es nun kürzer als 9 Sekunden, so wird es au¬ tomatisch der Segmentklasse zugeordnet, zu der das Segment Nr. 9 gehört. Dies führt automatisch zu einer Verschmelzung des Segments 10 mit dem Segment 9. Ist das Segment 10 län- ger als 9 Sekunden, so wird diese Verschmelzung nicht vor¬ genommen.

In einem Block 33c wird dann eine Untersuchung vorgenommen für Segmente, die kürzer als 9 Sekunden sind, und die nicht das einzige Segment in einem entsprechenden Cluster X, als in einer entsprechenden Segmentgruppe sind. Sie werden ei¬ ner genaueren Überprüfung unterzogen, in der eine Regelmä¬ ßigkeit in der Clusterabfolge festgestellt werden soll. Zu¬ nächst werden alle Segmente aus der Segmentgruppe X ge- sucht, die kürzer als die Mindestlänge sind. Im Anschluss wird für jedes dieser Segmente geprüft, ob die Vorgänger¬ und Nachfolge-Segmente jeweils zu einem einheitlichen Cluster gehören. Sind alle Vorgänger-Segmente aus einem einheitlichen Cluster, so werden alle zu kurzen Segmente aus dem Cluster X dem Vorgänger-Cluster zugeordnet. Sind dagegen alle Nachfolger-Segmente aus einem einheitlichen Cluster, werden die zu kurzen Segmente aus dem Cluster X jeweils dem Nachfolger-Cluster zugeordnet. In einem Block 33d ist ausgeführt, was passiert, wenn auch diese Bedingung für Segmente nicht erfüllt ist, die kürzer als 9 Sekunden sind. In diesem Fall wird eine Neuheitswert- Überprüfung durchgeführt, indem auf die Neuheitswertkurve zurückgegriffen wird, die in Fig. 9 dargestellt ist. Insbe¬ sondere wird die Neuheitskurve, die aus der Kernel- Korrelation entstanden ist, an den Stellen der betroffenen Segmentgrenzen ausgelesen, und das Maximum dieser Werte wird ermittelt. Tritt das Maximum an einem Segmentanfang auf, werden die zu kurzen Segmente dem Cluster des Nachfol¬ ge-Segments zugeordnet. Tritt das Maximum an einem Segmen¬ tende auf, werden die zu kurzen Segmente dem Cluster des Vorgänger-Segments zugeordnet. Wäre das in Fig. 9 mit 90 bezeichnete Segment ein Segment, das kürzer als 9 Sekunden ist, so würde die Neuheitsüberprüfung am Anfang des Seg¬ ments 90 einen höheren Neuheitswert 91 ergeben als am Ende des Segments, wobei der Neuheitswert am Ende des Segments mit 92 bezeichnet ist. Dies würde bedeiαten, dass das Seg- ment 90 dem Nachfolger-Segment zugeordnet werden würde, da der Neuheitswert zum Nachfolger-Segment geringer ist als der Neuheitswert zum Vorgänger-Segment.

Verbleiben nunmehr noch Segmente, die kürzer als 9 Sekunden sind und noch nicht verschmolzen werden durften, so wird unter diesen noch einmal eine gestaffelte Auswahl durchge¬ führt. Insbesondere werden nunmehr alle Segmente unter den verbleibenden Segmenten, die kürzer als 6 Sekunden sind, ausgewählt. Die Segmente, deren Länge zwischen 6 und 9 Se- künden aus dieser Gruppe sind, werden „unangetastet" zuge¬ lassen.

Die Segmente, die kürzer als 6 Sekunden sind, werden nun¬ mehr jedoch alle der anhand der Elemente 90, 91, 92 erklär- ten Neuheitsprüfung unterzogen und entweder dem Vorgänger¬ oder dem Nachfolger-Segment zugeordnet, so dass am Ende des in Fig. 3 gezeigten Nachkorrekturalgorithmus alle zu kurzen Segmente, nämlich alle Segmente unterhalb einer Länge von 6 Sekunden, mit Vorgänger- und Nachfolger-Segmenten intelli¬ gent verschmolzen worden sind.

Dieses erfindungsgemäße Prozedere hat den Vorteil , dass keine Elimination von Teilen des Stücks durchgeführt worden ist, dass also keine einfache Eliminierung der zu kurzen Segmente durch Zu-Null-Setzen durchgeführt worden ist, son¬ dern dass nach wie vor das gesamte komplette Musikstück durch die Gesamtheit der Segmente repräsentiert ist- Durch die Segmentierung ist daher kein Informationsverlust aufge¬ treten, der jedoch sein würde, wenn man z. B. als Reaktion auf die Übersegmentierung einfach alle zu kurzen Segmente „ohne Rücksicht auf Verluste" einfach eliminieren wüαrde.

Nachfolgend wird Bezug nehmend auf Fig. 4a und Fig. Ab eine bevorzugte Implementierung der Segmentklassen- Bezeichnungseinrichtung 22 von Fig. 1 dargestellt. Erfin¬ dungsgemäß werden beim Labeling zwei Clustern die Label „Strophe" und „Refrain" zugewiesen.

Erfindungsgemäß wird nun nicht etwa ein größter Singular- wert einer SingularwertZerlegung und der dazugehörige Cluster als Refrain und der Cluster für den zweitgrößten Singularwert als Strophe verwendet. Ferner wird nicht grundsätzlich davon ausgegangen, dass jedes Lied mit einer Strophe anfängt, dass also der Cluster mit dem ersten Seg¬ ment der Strophencluster ist und der andere Cluster der Refraincluster ist. Statt dessen wird erfindungsgernäß der Cluster: in der Kandidatenauswahl, der das letzte Segment hat, als Refrain bezeichnet, und der andere Cluster wird als Str-ophe bezeichnet.

So wird also für die beiden letztendlich zur S ^"trophe- /Refrain-Auswahl bereitstehenden Cluster überprüft (40), welcher- Cluster das Segment hat, das als letztes Segment der Segmente der beiden Segmentgruppen im Liedverlaiαf vor¬ kommt, um denselben als Refrain zu bezeichnen. Das letzte Segment kann das tatsächlich im Lied letzte Seg¬ ment sein oder aber ein Segment, das im Lied später auf¬ tritt als alle Segmente der anderen Segmentklasse. Ist die¬ ses Segment nicht das tatsächlich letzte Segment im Lied, so bedeutet dies, dass noch ein Outro vorliegt.

Diese Entscheidung basiert auf der Erkenntnis, dass der Re¬ frain in den allermeisten Fällen in einem Lied hinter der letzten Strophe komjmt, also direkt als letztes Segment des Liedes, wenn ein Stück z. B. mit dem Refrain ausgeblerxdet wird, oder als Segment vor einem Outro, das auf einen Re¬ frain folgt und mit dem das Stück beendet wird.

Ist das letzte Segment aus der ersten Segmentgruppe, dann werden alle Segmente dieser ersten (höchstwertigen) Seg¬ mentklasse als Refrain bezeichnet, wie es durch einen Block 41 in Fig. 4b dargestellt ist. Zusätzlich werden in diesem Fall alle Segmente der anderen Segmentklasse, die zur Aus¬ wahl steht, als „Stxophe" gekennzeichnet, da typischerweise von den beiden Kandidaten-Segmentklassen eine Klasse der Refrain und damit unmittelbar die andere Klasse die Stro¬ phen haben wird.

Ergibt dagegen die Untersuchung im Block 40, nämlich welche Segmentklasse in der Auswahl das letzte Segment im Musik¬ stückverlauf hat, dass dies die zweite, also eher niecler- wertige Segmentklasse ist, so wird in einem Block 42 unter¬ sucht, ob die zweite Segmentklasse das erste Segment im Mu¬ sikstück hat. Diese Untersuchung basiert auf der Erkerxnt- nis, dass die Wahrscheinlichkeit sehr hoch ist, dass ein Lied mit einer Strrophe, und nicht mit einem Refrain an¬ fängt.

Wird die Frage im Block 42 mit „Nein" beantwortet, hat also die zweite Segmentlclasse nicht das erste Segment im Musik¬ stück, so wird die zweite Segmentklasse als Refrain be¬ zeichnet, und wird die erste Segmentklasse als Strophe be¬ zeichnet, wie es in einem Block 43 angedeutet ist. Wird da- gegen die Abfrage im Block 42 mit „Ja" beantwortet, so wird entgegen der Regel die zweite Segmentgruppe als Strophe und die erste Segmentgruppe als Refrain bezeichnet, wie es in einem Block 44 angedeutet ist. Die Bezeichnung im Block 44 geschieht deswegen, da die Wahrscheinlichkeit, dass die zweite Segmentklasse dem Refrain entspxicht, schon recht gering ist. Kommt nun noch die Unwahrsclneinlichkeit hinzu, dass ein Musikstück mit einem Refrain eingeleitet wird, so deutet einiges auf einen Fehler im Clustering hin, z. B. dass das zuletzt betrachtete Segment fälschlicher Weise der zweiten. Segmentklasse zugeordnet wurde.

In Fig. 4b wurde dargestellt, wie anhand von zwei zur Ver¬ fügung stehenden Segmentklassen die Strophe-/Refrain- Bestimrαung durchgeführt worden ist. Nach dieser Strophe- /Refrain-Bestimmung können dann die restlichen Segmentklas- sen in einem Block 45 bezeichnet werden, wobei ein Outro gegebenenfalls die Segmentklasse sein wird, die das letzte Segment des Stücks an sich hat, während ein Intro die Seg- mentklasse sein wird, die das erste Segment eines Stücks an sich hat.

Nachfolgend wird anhand von Fig. 4a dargestellt, wie die beiden Segmentklassen ermittelt werden, die die Kandidaten für den. in Fig. 4b gezeigten Algorithmus abgeben.

Allgemein wird im Labeling eine Zuweisung der Label „Stro¬ phe" und „Refrain" durchgeführt, wobei eine Segmentgruppe als Strophen-Segmentgruppe markiert wird, während die ande- re Segmentgruppe als Refrain-Segmentgruppe markiert wird. Grundsätzlich basiert dieses Konzept auf der Annahme (Al) , dass die beiden Cluster (Segmentgrupperα) mit den höchsten Ähnlicnkeitswerten, also Cluster 1 und Cluster 2, den Re¬ frain- und Strophenclustern entsprechen. Das von diesen beiden Clustern als letztes auftretende ist das Refrain- Cluster, wobei davon ausgegangen wird, dass eine Strophe auf einen Refrain folgt. Die Erfahrung aus zahlreichien Tests hat gezeigt, dass Cluster 1 in den meisten Fällen dem Refrain entspricht. Für Cluster 2 wird die Annahme (Al) jedoch oftmals nicht er¬ füllt. Diese Situation tritt meistens dann auf, wenn es entweder noch einen dritten, sich häufig wiederholenden Teil im Stück gibt, z. B. eine Bridge, bei einer hohen Ähn¬ lichkeit von Intro und Outro_Λ oder aber für den nicht sel¬ ten auftretenden Fall, dass ein Segment im Stück eine hohe Ähnlichkeit zum Refrain aufweist, somit auch eine hohe Ge- samtähnlichkeit hat, die Ähnlichkeit zum Refrain aber gera¬ de nicht groß genug ist, um noch zum Cluster 1 zu gehören.

Untersuchungen haben gezeigt, dass diese Situation häufig für Abwandlungen des Refrains am Ende des Stücks auftritt. Um mit möglichst hoher Sicherheit Refrain und Strophe rich¬ tig zu markieren (labein), wird die in Fig. 4b beschriebene Segmentauswahl dahingehend verbessert, dass, wie es in Fig. 4a dargestellt wird, die beiden Kandidaten für die Strophe- Refrain-Auswahl abhängig von den in denselben vorhandenen Segmenten bestimmt wird.

Zunächst wird in einem Schritt 46 der Cluster bzw. die Seg¬ mentgruppe mit höchstem ÄhnLichkeitswert (Wert der Kompo¬ nente von V, die einmal ein Maximum für die zuerst bestimm- te Segmentklasse, also Segment 7 bei dem Beispiel von Fig. 7, war), also die Segmentgruppe, die beim ersten Durcrilauf von Fig. 1 ermittelt worden ist, in die Strophe-Refrrain- Auswahl als erster Kandidat einbezogen.

Fraglich ist nunmehr, welche weitere Segmentgruppe der zweite Teilnehmer an der Strophe-Refrain-Auswahl sein wird. Der wahrscheinlichste Kandidat ist die zweithöchste Seg¬ mentklasse, also die Segmentk:lasse, die beim zweiten Durch¬ lauf durch das in Fig. 1 beschriebene Konzept gefunden wird. Dies muss jedoch nicht immer so sein. Daher wirci zu¬ nächst für die zweithöchste Segmentklasse (Segment 5 in Fig. I)₁ also Cluster 2 überprüft, ob diese Klasse nur: ein einziges Segment oder genau zwei Segment hat, wobei eines der beiden Segmente das erste Segment ist und das andere Segment der beiden das letzte Segment im Lied ist (Block 47) .

Wird die Frage dagegen mit „Nein" beantwortet, hat die zweithöchste Segmentklasse also z. B. wenigstens drei Seg¬ mente, oder zwei Segmente, von denen eines innerhalb des Stücks und nicht am „Rand" des Stücks ist, so bleibt die zweite Segmentklasse vorerst in der Auswahl und wird fortan als „Second Cluster" bezeichnet.

Wird die Frage im Block 47 dagegen mit „Ja" beantwortet, scheidet die zweithöchste Klasse also aus (Block 48a) , so wird sie durch die Segmentklasse ersetzt, die am häufigsten im gesamten Lied vorkommt (anders ausgedrückt: die am meis¬ ten Segmente beinhaltet) und nicht der höchsten Segment¬ klasse (Cluster 1) entspricht. Diese Segmentklasse wird fortan als „Second Cluster" bezeichnet.

„Second Cluster" muss sich, wie es nachfolgend dargelegt wird, noch mit einer dritten Segmentklasse messen (48b), welche als „Third Cluster" bezeichnet wird, um am Ende als Kandidat den Auswahlprozess zu überstehen.

Die Segmentklasse „Third Cluster" entspricht dem Cluster, welcher am häufigsten im gesamten Lied vorkommt, jedoch we¬ der der höchsten Segmentklasse (Cluster 1) noch der Seg¬ mentklasse „Second Cluster" entspricht, sozusagen das am nächsthäufigsten (oftmals auch gleich häufig) vorkommende Cluster nach Cluster 1 und „Second Cluster".

Hinsichtlich der so genannten Bridge-Problematik wird nun für „Third Cluster" überprüft, ob es eher in die Strophe- Refrain-Auswahl gehört als „Second Cluster" oder nicht. Dies geschieht deshalb, da „Second Cluster" und „Third Cluster" oftmals gleich oft vorkommen, eins von beiden also evtl. eine Bridge oder ein anderes wiederkehrendes Zwi¬ schenteil darstellt. Um zu gewährleisten, dass die Segment- klasse von den beiden ausgewählt wird, die am ehesten der Strophe oder dem Refrain entspricht, also nicht einer Bridge oder einem anderen Zwischenstück, werden die in den Blöcken 49a, 49b, 49c dargestellten Untersuchungen durchge- führt.

Die erste Untersuchung in Block 49a lautet dahingehend, dass untersucht wird, ob jedes Segment aus ThirdCluster ei¬ ne gewisse Mindestlänge hat, wobei als Schwellwert z. B. 4% der 'gesamten Liedlänge bevorzugt wird. Andere Werte zwi¬ schen 2% und 10% können ebenfalls zu sinnvollen Ergebnissen führen.

In einem Block 49b wird dann untersucht, ob ThirdCluster einen größeren Gesamtanteil am Lied hat als SecondCluster. Hierzu wird die Gesamtzeit aller Segmente in ThirdCluster aufaddiert und mit der entsprechend aufaddierten Gesamtzahl aller Segmente in SecondCluster verglichen, wobei dann ThirdCluster einen größeren Gesamtanteil am Lied als Se- condCluster hat, wenn die aufaddierten Segmente in ThirdC¬ luster einen größeren Wert ergeben als die aufaddierten Segmente in SecondCluster.

In dem Block 49c wird schließlich überprüft, ob der Abstand der Segmente aus ThirdCluster zu den Segmenten aus Cluster 1, also dem häufigsten Cluster konstant sind, d. h. ob eine Regelmäßigkeit in der Abfolge ersichtlich ist.

Sind alle diese drei Bedingungen mit „Ja" beantwortet, so kommt ThirdCluster in die Strophe-Refrain-Auswahl. Ist da¬ gegen wenigstens eine dieser Bedingungen nicht erfüllt, so kommt ThirdCluster nicht in die Strophe-Refrain-Auswahl. Statt dessen kommt SecondCluster in die Strophe-Refrain- Auswahl, wie es durch einen Block 50 in Fig. 4a dargestellt ist. Damit ist die „Kandidatensuche" für die Strophe- Refrain-Auswahl beendet, und es wird der in Fig. 4b gezeig¬ te Algorithmus gestartet, bei dem am Ende feststeht, welche Segmentklasse die Strophen umfasst, und welche Segmentklas¬ se den Refrain umfasst.

An dieser Stelle sei darauf hingewiesen, dass die drei Be- dingungen in den Blöcken 49a, 49b, 49c alternativ auch ge- wichtet werden könnten, so dass z. B. eine Nein-Antwort im Block 49a dann „überstimmt" wird, wenn sowohl die Abfrage im Block 49b als auch die Abfrage im Block 49c mit „Ja" be¬ antwortet werden. Alternativ könnte auch eine Bedingung der drei Bedingungen hervorgehoben werden, so dass z. B. nur untersucht wird, ob es die Regelmäßigkeit der Abfolge zwischen der dritten Segmentklasse und der ersten Segment¬ klasse gibt, während die Abfragen in den Blöcken 49a und 49b nicht durchgeführt werden oder nur dann durchgeführt werden, wenn die Abfrage im Block 49c mit „Nein" beantwor¬ tet wird, jedoch z. B. ein relativ großer Gesamtanteil im Block 49b und relativ große Mindestmengen im Block 49a er¬ mittelt werden.

Alternative Kombinationen sind ebenfalls möglich, wobei für eine Low-Level-Untersuchung auch nur die Abfrage eines der Blöcke 49a, 49b, 49c für bestimmte Implementierungen aus¬ reichend sein wird.

Nachfolgend werden beispielhafte Implementierungen des Blocks 526 zum Durchführen einer Music-Summary dargelegt. So existieren verschiedene Möglichkeiten, was als Music Summary abgespeichert werden kann. Zwei davon werden nach¬ folgend beschrieben, nämlich die Möglichkeit mit dem Titel „Refrain" und die Möglichkeit mit dem Titel „Medley".

Die Refrain-Möglichkeit besteht darin, eine Version des Re¬ frains als Summary zu wählen. Hierbei wird versucht, eine Ausführung des Refrains zu wählen, die möglichst zwischen 20 und 30 Sekunden lang ist. Ist ein Segment mit einer sol¬ chen Länge im Refrain-Cluster nicht enthalten, so wird eine Version gewählt, die eine möglichst geringe Abweichung zu einer Länge von 25 Sekunden hat. Ist der gewählte Refrain länger als 30 Sekunden, wird er bei diesem Ausführungsbei- spiel über 30 Sekunden ausgeblendet und ist er kürrzer als 20 Sekunden, so wird er mit dem darauf folgenden Segment auf 30 Sekunden verlängert.

Das Abspeichern eines Medleys für die zweite MögZLichkeit entspricht noch eher einer tatsächlichen Zusammenfassung eines Musikstücks. Hierbei werden ein Ausschnitt der Stro¬ phe, ein Ausschnitt des Refrains und ein Ausschnitt eines dritten Segments in ihrer tatsächlichen chronologischen Reihenfolge als Medley konstruiert. Das dritte Segment wird aus einem Cluster ausgewählt, das den größten Gesamtanteil am Lied hat und nicht Strophe oder Refrain ist.

Mit folgender Priorität wird nach der geeignetsten Abfolge der Segmente gesucht:

- „drittes Segment^λλ-Strophe-Refrain;

- Strophe-Refrain-„drittes Segment"; oder

- Strophe-„drittes Segment"-Refrain.

Die gewählten Segmente werden nicht in ihrer vollen Länge in des Medley eingebaut. Die Länge ist vorzugsweise auf feste 10 Sekunden pro Segment festgelegt, damit insgesamt wieder eine Summary von 30 Sekunden entsteht. Alternative Werte sind jedoch ebenfalls ohne weiteres realisierbar,

Vorzugsweise wird zur Rechenzeiteinsparung nach der Merk¬ malsextraktion im Block 502 bzw. nach dem Block 508 eine Gruppierung mehrerer Merkmalsvektoren im Block 510 durchge¬ führt, indem ein Mittelwert über die gruppierten Mlerkmals- vektoren gebildet wird. Die Gruppierung kann im nächsten Verarbeitungsschritt, der Berechnung der Ahnlichkzeitsmat- rix, Rechenzeit einsparen. Zur Berechnung der Ähnl__chkeits- matrix wird zwischen allen möglichen Kombinationen von je zwei Merkmalsvektoren eine Distanz ermittelt. Dara.us erge- ben sich bei n Vektoren über das gesamte Stück n x n Be¬ rechnungen. Ein Gruppierungsfaktor g gibt an, wie viele aufeinander folgende Merkmalsvektoren über die Mittelwert¬ bildung zu einem Vektor gruppiert werden. Dadurch kann, die Anzahl der Berechnungen reduziert werden.

Die Gruppierung ist auch eine Art von Rauschunterdrückzung, bei der kleine Änderungen in der Merkmalsausprägung von aufeinander folgenden Vektoren im Mittel kompensiert wer- den. Diese Eigenschaft hat eine positive Auswirkung auf das Auffinden von großen Liedstrukturen.

Das erfindungsgemäße Konzept ermöglicht es, mittels eines speziellen Music-Players durch die berechneten Segmente zu navigieren und gezielt einzelne Segmente anzuwählen,- so dass ein Konsument in einem Musikladen durch beispielsweise Drücken einer bestimmten Taste oder durch Aktivieren eines bestimmten Software-Befehls ohne weiteres sofort zum Re¬ frain eines Stücks springen kann, um festzustellen, ob der Refrain ihm gefällt, um dann, vielleicht noch eine Strrophe anzuhören, damit der Konsument schließlich eine Kaufent- scheidung treffen kann. Damit ist es einem Kaufinteressen- ten komfortabel möglich, von einem Stück genau das zu hö¬ ren, was ihn besonders interessiert, während er sich z; . B. das Solo oder die Bridge dann tatsächlich für den Hörgenuss zu Hause aufsparen kann.

Alternativ ist das erfindungsgemäße Konzept auch für einen Musikladen von großem Vorteil, da der Kunde gezielt und da- mit auch schnell reinhören und letztendlich kaufen kann, so dass die Kunden nicht lange auf ein Reinhören warten müs¬ sen, sondern ebenfalls schnell an die Reihe kommen. Dies liegt daran, dass ein Benutzer nicht ständig hin- und her¬ spulen muss, sondern gezielt und schnell sämtliche Informa- tionen des Stücks erhält, die er auch haben möchte.

Ferner sei auf einen wesentlichen Vorteil des erfinduncjsge- mäßen Konzepts hingewiesen, nämlich dass insbesondere auf Grund der Nachkorrektur der Segmentierung keine Informatio- nen des Stücks verloren gehen. So werden zwar alle Segmen¬ te, die vorzugsweise kürzer als 6 Sekunden sind, mi^~t dem Vorgänger- oder Nachfolger-Segment verschmolzen. Allerdings werden keine Segmente, so kurz sie auch sind, eliminiert. Dies hat den Vorteil, dass der Benutzer prinzipiell alles im Stück anhören kann, so dass ein zwar kurzes aber einem Benutzer doch sehr gut gefallendes markantes Stück, das bei einer Segmentierungs-Nachkorrektur weggefallen wäre_r die tatsächlich einen Abschnitt des Stücks komplett eliminiert hätte, dennoch dem Benutzer zur Verfügung steht, damit er vielleicht gerade aufgrund des kurzen markanten Stücks eine wohl überlegte Kaufentscheidung treffen kann.

Die vorliegende Erfindung ist jedoch auch in anderen A.nwen- dungsszenarien anwendbar, beispielsweise beim fferbe- Monitoring, also dort, wo ein Werbekunde überprüfen möchte, ob das Aud-Lostück, für das er Werbezeit gekauft hat, auch tatsächlich über die gesamte Länge abgespielt worden ist. Ein Audiostück kann beispielsweise Musiksegmente, Sprecher¬ segmente, und Geräuschsegmente umfassen. Der Segmevntie- rungsalgori"thmus, also die Segmentierung und nachfoLgende Einordnung in Segmentgruppen ermöglicht dann eine scb-nelle und wesentlich weniger aufwendige Überprüfung als ein kom- pletter Sample-weiser Vergleich. Die effiziente Überprüfung würde einfach in einer Segmentklassen-Statistik bestehen, also einem Vergleich, wie viel Segmentklassen gefunden, wor¬ den sind, und wie viel Segmente in den einzelnen Seg-ment- klassen sind, mit einer Vorgabe aufgrund des idealen Werbe- Stücks. Damit ist es einem Werbekunden ohne weiteres mög¬ lich, zu erkennen, ob ein Rundfunksender oder Fernsehsender tatsächlich alle Hauptteile (Abschnitte) des Werbesi_gnals ausgestrahlt hat oder nicht.

Die vorliegende Erfindung ist ferner dahingehend von Vor¬ teil, dass sie zur Recherche in großen Musikdatenb>anken eingesetzt werden kann, um beispielsweise nur die RefTrains von vielen Musikstücken durchzuhören, um danach eine Musik- - ? R -

prograinmauswahl durchzuführen. In diesem Fall würden nur einzelne Segmente aus der mit „Refrain" markierten Segment¬ klasse von vielen verschiedenen Stücken ausgewählt werden und von einem Prrogrammanbieter bereitgestellt werden. Al- ternativ könnte auch ein Interesse dahingehend bestehen, von einem Interpreten alle z. B. Gitarrensolos miteinander zu vergleichen. Erfindungsgemäß können diese ebenfalls ohne weiteres bereitgestellt werden, indem immer eines oder meh¬ rere Segmente (falls vorhanden) in der mit „Solo" bezeich- neten Segmentklasse aus einer großen Anzahl von Musikstü¬ cken z. B. zusammengefügt und als ein FiILe bereitgestellt werden.

Wieder andere Anwendungsmöglichkeiten bestehen darin, aus verschiedenen Amdiostücken Strophen und Refrains zu mi¬ schen, was insbesondere für DJs von Interesse sein wird und völlig neue MögLichkeiten der kreativen IMusiksynthese er¬ öffnet, welche einfach und vor allem automatisch zielgenau durchgeführt werrden können. So ist das erfindungsgemäße Konzept ohne weiteres automatisierbar, da es an keiner Stelle eine Benutizerintervention erfordert. Dies bedeutet, dass Nutzer des erfindungsgemäßen Konzepts keineswegs eine besondere Ausbildung benötigen, außer z. B. eine übliche Geschicktheit im Umgang mit normalen Software- Benutzeroberflachen.

Je nach den praktischen Gegebenheiten kann das erfindungs¬ gemäße Konzept d_n Hardware oder in Software implementiert werden. Die Implementierung kann auf einem digitalen Spei- chermedium, insbesondere einer Diskette oder CD mit elekt¬ ronisch auslesbaxen Steuersignalen erfolgen, die so mit ei¬ nem programmierbaren Computersystem zusammenwirken können, dass das entsprechende Verfahren ausgeführt wird. Allgemein besteht die Erfindung somit auch in einem Computerprogramm- produkt mit einem auf einem maschinenlesbaren Träger ge¬ speicherten Programmcode zur Durchführung des erfindungsge¬ mäßen Verfahrens , wenn das Computerprogrammprodukt auf ei¬ nem Rechner abläuft. In anderen Worten ausgedrückt stellt die Erfindung somit ein Computerprogramm mit einem Pro¬ grammcode zur Durchführen des Verfahrens dar , wenn das Com¬ puterprogramm auf einem C omputer abläuft .

Claims

Patentansprüche

1 . Vorrichtung zum Änderrn einer Segmentierung eines Au¬ diostücks in zeitlich e Segmente , wobei das Au diostück in in dem Audiostück wiederholt auftretende Ha uptteile gegliedert ist , mit f olgenden Merkmalen :

einer Einrichtung ( 10 , 12 , 14 ) zum Bereitstell en einer

Darstellung des Audio Stücks , bei der die Segmente des Audiostücks in verschiedene Segmentklassen zu gewiesen sind, wobei j eweils e ine Segmentklas se einem ft auptteil zugeordnet ist ; und

einer Segmentkorrektuireinrichtung (20) zum Korrigieren der Segmentierung, wobei die Segmentkorrekturreinrich- tung (20) ausgebildet ist, um ein Kurz-Segment mit ei¬ ner Länge, die kürzen als eine vorbestimmte Minimal- länge ist, mit einem zeitlichen Vorlaufersegiαent oder einem zeitlichen Nachfolgersegment zu verschmelzen, um eine geänderte Segmentierung des Audiosignals zu er¬ halten.

2. Vorrichtung nach Anspruch 1, bei der die Segmentkor- rektureinrichtung (20 ) ausgebildet ist, um ferrner eine Segmentklassenzugehörigkeit des Kurz-Segments für eine Verschmelzung des Kurz-Segments zu verwenden.

3. Vorrichtung nach Anspruch 1 oder 2, bei der die Seg- mentkorrektureinricht"ung (20) ausgebildet ist_r um sol¬ che Segmente als Kixrz-Segmente zu bestimmen, deren zeitliche Länger kleiner als 18 Sekunden und insbeson¬ dere kleiner als 12 Sekunden ist.

4 . Vorrichtung nach ein em der vorhergehenden Ansprüche , bei der die Segmentkorrektureinrichtung ( 20 ) ausgebil¬ det ist , um das Kurz — Segment unter Verwendung von In- formationen über eine Segmentklassenzugehörrigkeit ei¬ nes zeitlichen Vorläufer-Segments oder eines zeitli¬ chen Nachfolger-Segments oder des Kurz-Segments selbst mit dem zeitlichen Vorläufer-Segment oder dem zeitli- chen Nachfolger-Segment zu verschmelzen.

5. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Einrichtung (10, 12, 14) zum Bereitstellen ausgebildet ist, um einen Neuheitswert für Segment- grenzen des Kurz-Segments bereitzustellen, wobei der Neuheitswert darauf hinweist, wie viel Neutieitsgehalt das Kurz-Segment bezüglich eines an die Secgmentgrenze angrenzenden Segments hat, und wobei die Segmentkor- rektureinrichtung (20) ausgebildet ist, um. das Kurz- Segment mit dem Segment zu verschmelzen, das an die Segmentgrenze des Kurz-Segments angrenzt, die einen Neuheitswert hat, der auf einen geringeren ISIeuheitsge- halt im Vergleich zu einem Neuheitswert an einer ande¬ ren Segmentgrenze des Kurz-Segments hinweis^~t.

6. Vorrichtung nach Anspruch 5, bei der die Segmentkor- rektureinrichtung (20) ausgebildet ist, uxn die Ver¬ schmelzung auf Grund des Neuheitswerts nurr für Kurz- Segmente durchzuführen, die eine vorbestimmt:e Mindest- länge kleiner als 8 Sekunden und insbesondere kleiner als 6 Sekunden haben.

7. Vorrichtung nach Anspruch 5 oder 6, bei der die Seg¬ mentkorrektureinrichtung (20) ausgebildet ist, um nur solche Kurzsegmente auf Grund einer Untersuchung eines Neuheitswerts zu verschmelzen, die bei einer vorherge¬ henden Prüfung unter Verwendung von Informationen über eine Segmentklassenzugehörigkeit des Kurrz-Segments, des zeitlichen Vorläufer-Segments oder des zeitlichen Nachfolger-Segments nicht verschmolzen werden konnten.

8. Vorrichtung nach einem der vorhergehenden Ansprüche, die ferner folgendes Merkmal aufweist: eine Segmentzuweisungskonflikteinrichtung (18),. die ausgebildet ist, um in dem Fall, in dem durch die Ein¬ richtung (14) zum Zuweisen ein Konfliktsegment zuα zwei verschiedenen Segmentklassen zugeordnet werden sollte, einen ersten Ähnlichkeitswert des Konfliktsegments mit einem Segment einer ersten Segmentklasse zu berechnen, und um einen zweiten Ähnlichkeitswert des Konfliktseg- ments mit einem Segment einer zweiten Segmentklasse zu berechnen, und

wobei die Einrichtung (14) zum Zuweisen ausgebildet ist, um in dem Fall, in dem der zweite Ähnlichkeits¬ wert auf eine stärkere Ähnlichkeit des Konfliktseg- ments mit dem Segment der zweiten Segmentklasse hin¬ weist, das Konfliktsegment aus der ersten Segmentklas- se zu entfernen und der zweiten Segmentklasse zuzuwei¬ sen.

9. Vorrichtung nach Anspruch 8, bei der die Segmentzuwei- sungskonflikteinrichtung (18) ausgebildet ist, um im Falle einer Entfernung des Segments aus der ersten Segmentklasse dem Segment eine Tendenz auf die erste Segmentklasse zuzuweisen, oder um im Falle einer nicht erfolgten Entfernung des Segments dem Segment eine Tendenz auf die zweite Segmentklasse zuzuweisen.

10. Vorrichtung nach einem der vorhergehenden Anspxüche, bei der die Segmentierungskorrektureinrichtung^" (20) ausgebildet ist, um für ein Segment, das kürzer als eine vorbestimmte Minimallänge ist, festzustellen, ob eine Tendenz des Segments mit einer Segmentklasse ü- bereinstimmt, der ein zeitlich vorausgehendes Segment angehört, und um in diesem Fall das Segment iti-it dem zeitlich vorausgehenden Segment zu verschmelzen , oder die ausgebildet ist, um für ein Segment, das kürzer als eine vorbestimmte Minimallänge ist, festzustellen, ob eine Tendenz des Segments auf eine Segment klasse hinweist, der ein zeitlich nachfolgendes Segment an.ge- hört, und um in diesem Fall das Segment mit dem zeit¬ lich nachfolgenden Segment zu verschmelzen.

11. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Segmentierungskorrektureinrichtung ( 20) ausgebildet ist, um zeitlich aufeinander folgende Seg¬ mente, die der gleichen Segmentklasse angehören, zu verschmelzen.

12. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Segmentierungskorrektureinrichtung ( 20) ausgebildet ist, um zum Korrigieren der Segmente le¬ diglich Segmente auszuwählen, die eine zeitliche Seg- mentlänge haben, die kürzer als eine vorbestimmte Mi¬ nimallänge ist.

13. Vorrichtung nach Anspruch 12, bei der die Segmentie- rungskorrektureinrichtung (20) ausgebildet ist, um ein ausgewähltes Segment aus einer zweiten Segmentklasse, dessen zeitliches Vorläufersegment, und dessen zeitli¬ ches Nachfolgersegment einer ersten Segmentklasse an¬ gehören, mit dem Vorgänger-Segment und dem Nachfolcjer- Segment zu verschmelzen.

14. Vorrichtung nach Anspruch 12 oder 13, bei der die Seg¬ mentierungskorrektureinrichtung (20) ausgebildet i_st, um ein Segment, das in einer Segmentklasse ist, die nur ein einziges Segment umfasst, mit dem vorausgehien- den Segment oder dem nachfolgenden Segment zu ver¬ schmelzen.

15. Vorrichtung nach Anspruch 12, 13 oder 14, bei der die Segmentierungskorrektureinrichtung (20) ausgebildet ist, um mehrere ausgewählte Segmente, die in derselben Segmentklasse sind, mit jeweils einem zeitlich voraus¬ gehenden Segment oder jeweils einem zeitlich nachfol¬ genden Segment zu verschmelzen, wenn sämtliche ausge- wählten Segmente der Segmentklasse Vorläufer-Segmente aus ein und derselben Segmentklasse oder Nachfolger- Segmente aus ein und derselben Segmentklasse umfassen.

16. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Segmentierungskorrektureinrichtung (20) ausgebildet ist, um für ein Segment, das eine kleinere zeitliche Länge als eine vorbestimmte Minimallänge aufweist, einen ersten Neuheitswert an einem Anfang des Segments zu ermitteln, und einen zweiten Neuheits¬ wert an einem Ende des Segments zu ermitteln, und um das Segment mit einem zeitlich folgenden Segment zu verschmelzen, wenn der erste Neuheitswert größer als der zweite Neuheitswert ist, oder um das Segment mit einem zeitlich vorhergehenden Segment zu verschmelzen, wenn der erste Neuheitswert kleiner als der zwei_te Neuheitswert ist.

17. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Segmentierungskorrektureinrichtung (2.0) ausgebildet ist, um abhängig von verschiedenen vorb>e- stimmten Segmentlängen verschiedene Korrekturmaßnahmen durchzuführen.

18. Vorrichtung nach einem der vorhergehenden Ansprücbre, bei der die Einrichtung (10, 12, 14) zum Bereitstellen der Darstellung des Audiostücks folgende Merkmale auf¬ weist:

eine Einrichtung (10) zum Bereitstellen einer Ähnliczh- keitsdarstellung für die Segmente, wobei die Ähnliczh- keitsdarstellung für jedes Segment eine zugeordnete Mehrzahl von Ähnlichkeitswerten aufweist, wobei die Ähnlichkeitswerte angeben, wie ähnlich das Segment zu jedem anderen Segment des Audiostücks ist;

eine Einrichtung (12) zum Berechnen eines Ähnlicrh- keits-Schwellwerts für ein Segment unter Verwendung der Mehrzahl der Ähnlichkeitswerte, die dem Segment zugeordnet sind; und

eine Einrichtung (14) zum Zuweisen eines Segrαents zu einer Segmentklasse, wenn der Ähnlichkeitswert des Segments eine vorbestimmte Bedingung bezüglich des Ähnlichkeits-Schwellwerts erfüllt.

19. Verfahren zum Ändern einer Segmentierung eines Audio- Stücks in zeitliche Segmente, wobei das Audiostück in in dem Audiostück wiederholt auftretende Hatαptteile gegliedert ist, mit folgenden Schritten:

Bereitstellen (10, 12, 14) einer Darstellung des Au- diostücks, bei der die Segmente des Audiostiicks in verschiedene Segmentklassen zugewiesen sind, wobei je¬ weils eine Segmentklasse einem Hauptteil zugeordnet ist; und

Korrigieren (20) der Segmentierung, indem ein Kurz- Segrαent mit einer Länge, die kürzer als eine vorbe¬ stimmte Minimallänge ist, mit einem zeitlichen Vorläu¬ fersegment oder einem zeitlichen Nachfolgejcsegment verschmolzen wird, um eine geänderte Segmentienrung des Audiosignals zu erhalten.

20. Computer-Programm mit einem Programmcode zum Durchfüh¬ ren des Verfahrens zum Ändern einer Segmentierung ge¬ mäß Patentanspruch 22, wenn das Computer-Programm auf einem Rechner ausgeführt wird.