NL1014584C2 - Werkwijze en inrichting voor het terugvinden van video-informatie. - Google Patents

Description

‘ J

WERKWIJZE EN INRICHTING VOOR HET TERUGVINDEN VAN VIDEO-INFORMATIE

Het terugvinden van video-informatie vindt veelal plaats met behulp van attributen, zoals titel, genre, acteurs e.d. Voor het verkrijgen van goede semantische karakteristieken wordt in de praktijk veelal nog 5 op menselijke interpretatie gesteund. Behalve dat dit arbeidsintensief is, is een dergelijke interpretatie veelal ook subjectief.

Uit het Europese octrooischrift EP 0 938 054 A2 is een werkwijze bekend voor het segmenteren en organise-10 ren van video-informatie in groepen van visueel soortgelijke videosegmenten waarbij de video-informatie in segmenten wordt gedeeld, gebaseerd op de beeldkleuren van de individuele segmenten alsmede op basis van beeldherhalingen. Verder wordt voorzien in een module voor het 15 afspelen van een videofragment. Een beperking van deze werkwijze is dat verschillende videofragmenten afzonderlijk in de weergavemodule worden bekeken.

De onderhavige uitvinding heeft tot doel de bovengenoemde werkwijze te verbeteren en verschaft hier-20 toe een werkwijze voor verwerken en/of terugzoeken van video-informatie, waarbij volgens een vooraf bepaald criterium, dat wil zeggen een of meer algoritmen, een videosignaal tot in een aantal hiërarchische niveaus wordt onderverdeeld en opgeslagen, en waarbij de video-25 informatie aan de gebruiker presenteerbaar is op de verschillende niveaus met de mogelijkheid van overschake-len tussen de niveaus en het laten voortschrijden/terugspelen daarvan, met het kenmerk dat criterium spatiële beeldentropie is.

30 Een voordeel van spatiële beeldentropie, het geen in de praktijk gebleken is, is dat het een goed 1 01 45 8 4*· 2 criterium is voor zowel kleuren beelden, als zwart-wit beelden.

Het entropiesignaal kan worden gebruikt voor detectie van scènes, waardoor het videosignaal wordt 5 onderverdeeld in scènes met een sleutelbeeld voor elke scene. Op soortgelijke wijze kunnen de scènes worden onderverdeeld in shotsegmenten, die elk kunnen zijn voorzien van een sleutelbeeld.

Tenslotte kan het entropiesignaal gebruikt 10 worden voor clipdetectie, waarbij het videosignaal in clipsegmenten met een sleutelbeeld wordt onderverdeeld.

Een verdere uitvoering verschaft een werkwijze voor verwerken en/of terugzoeken van video-informatie, waarbij volgens een vooraf bepaald criterium, dat wil 15 zeggen een of meer algoritmen, een videosignaal tot in een aantal hiërarchische niveaus wordt onderverdeeld en opgeslagen, en waarbij de video-informatie aan de gebruiker presenteerbaar is op de verschillende niveaus met de mogelijkheid van overschakelen tussen de niveaus en het 20 laten voortschrijden/terugspelen daarvan, met het kenmerk dat op een beeldscherm een aantal vensters zichtbaar worden gemaakt, voor het daarop tonen van sleutelbeelden van video-segmenten, zoals clips, scènes, shot en/of afzonderlijke beelden waarbij de beelden op de vensters 25 van de afspeelsnelheid, starten/stoppen, of terugspoelen door de gebruiker kan worden geactiveerd, bijv. door middel van een muisklik waardoor de video-segmenten worden afgespeeld.

Voorts verschaft de onderhavige uitvinding een 30 inrichting voor het uitvoeren van de werkwijze, waarmee de gebruiker op intuïtieve wijze het videosignaal kan analyseren.

Uit de internationale octrooiaanvrage WO 98/34181 is verder een werkwijze bekend voor het weerge-35 ven van een aantal sleutelbeelden van videosegmenten waarbij indien met een cursor of muisaanwijzer op een sleutelbeeld wordt "geklikt" het videosegment behorende bij het sleutelbeeld zal worden weergegeven.

1014584· 3

Verdere voordelen, kenmerken en details van de onderhavige uitvinding zullen worden verduidelijkt aan de hand van de navolgende beschrijving met verwijzing naar de bijgevoegde figuren, waarin tonen: 5 fig. 1 een grafiek waarin de entropie uitstaat tegenover een voortschrijdend aantal beelden; fig. 2 een ander voorbeeld van een grafiek, waarbij de genormaliseerde entropie uitstaat ten opzichte van een aantal beelden; 10 fig. 3 een schema ter verduidelijking van de verschillende niveaus in een video; en fig. 4 een voorbeeld van een beeldscherm waarop de resultaten van de werkwijze presenteerbaar zijn.

Bij de voorkeursuitvoeringsvorm van de werkwij-15 ze volgens de onderhavige uitvinding wordt het entropie-criterium geëxtraheerd uit elk van de beelden in de videosequentie, hetgeen resulteert in het entropiesig-naal. Vervolgens wordt het entropiesignaal geanalyseerd. Voor analyse van het entropiesignaal voor scènedetectie 20 resulteert deze analyse in een opdeling van de video in scènesegmenten, die elk een begin en een einde hebben en die worden gerepresenteerd door een enkel sleutelbeeld.

In geval van shotdetectie wordt de video verdeeld op basis van een hierarchische clustering, die elk 25 een begin en einde hebben en een enkel sleutelbeeld.

In geval van clipdetectie wordt de video verdeeld in clipsegmenten met begin en einde en een sleutelbeeld.

Het entropiecriterium H wordt berekend aan een 30 genormaliseerd grijsniveau-beeld en kan worden geïnterpreteerd als een regelmatige informatiemaat van de spa-tiële intensiteitsdistributie. Indien Ik (x,y) een intensiteit van een pixel (x,y) (in een beeld K4 van NxM pixels) representeert, dan geldt voor de entropie: 35 μ*.»-Σς/(*.>) x y =XXp(jc,y)i°g2p(^y) 101458 4· 4

De beeldentropie kan worden genormaliseerd tussen 0 en 1, door deling door log2 (NM) . Dit criterium is weinig complex en werkt zowel voor kleurenbeelden als voor grijsbeelden.

5 Fig. 1 toont het entropiecriterium voor een sequentie van beelden, het zogenoemde entropiesignaal. Abrupte shot- en scèneveranderingen zijn duidelijk herkenbaar als discontinuïteit in het entropiesignaal.

Voorts kunnen verscheidene gedeeltelijk lineaire signalen 10 worden onderkend. De horizontale segmenten representeren vrijwel statische beelden, terwijl hellingen langzaam veranderende shot representeren, bijv. vanwege object-en/of camerabeweging. Een combinatie van hellingen vormt een patroon dat bijv. een geleidelijke scèneverandering 15 aangeeft, zoals dit bijv. in figuur 2 naar voren komt.

In fig. 1 zijn eveneens spikes herkenbaar, die te wijten zijn aan veranderingen van de ondertiteling, bijv. rondom beeld 2600. Duidelijk is ook het verschil te zien tussen videosegmenten waarin veel veranderingen 20 plaatsvinden, alsmede veel minder dynamische segmenten.

Al deze informatie uit het entropiesignaal kunnen worden geëxtraheerd en gebruikt voor segmentatie.

Voor het analyseren van het entropiesignaal wordt het signaal als een verzameling van gedeeltelijk 25 lineaire segmenten beschouwd. Elke van deze lineaire stukken vormen een shot en worden gerepresenteerd door een enkel beeld. Een verzameling shots, die worden begrensd door discontinuïteiten ter linker en rechter zijde in het entropiesignaal, vormen een scene. Tenslotte 30 worden clips gevormd uit groepen van scènes met gelijkaardige dynamische eigenschappen. Voor het representeren van een segment, zoals clips, scènes en shots worden zogeheten sleutelbeelden gebruikt. Een sleutelbeeld geeft een enkel segment weer en wordt gekozen op basis van de 35 entropie. Een sleutelbeeld is het beeld met een entropie-waarde die zich dicht bevindt bij de gemiddelde entropie van het segment.

101 4584· 5

Scènes worden gevonden door gebruik te maken van een lokaal aanpasbare drempel, bij het verschil in entropie van beeld tot beeld. De drempel wordt gebaseerd op de lokale variantie van de entropie. De variantie v en 5 het beeld-tot-beeld-verschil d voor beeld nummer I worden berekend als volgt, met het entropiesignaal H als gegeven: ·-·H-i) + v“r(U/j+, 10 λ/2 </(,·) 15

De standaarddeviatie wordt berekend als gemiddelde voor de linker en de rechterzijde. Bij de scènever-andering zal de variantie ter linker en rechter zijde uiterst klein zijn. De scèneveranderingen zijn de beelden 20 die de verzameling S vormen, waarvoor geldt: S = [i\d(i)>Th*s{i)) 25

Er is gevonden dat een waarde voor n gelijk aan de framesnelheid en voor Th=5 een goede combinatie zijn 30 voor een groot bereik van sequenties. Een scene bestaat dan uit de beeldsequentie die ligt tussen twee opvolgende scèneveranderingsbeelden.

Shots worden gevonden door gebruik te maken van een specificatie soort van gedeeltelijk lineaire benade-35 ring (PLA) op het lopend gemiddelde van het entropiesignaal van een scene. Elk lineair deel representeert een shot en wordt gerepresenteerd door een enkel sleutel-beeld. Voor het lopend gemiddelde is een middelingsven- 1014584« 6 ster dat gelijk is aan de helft van de beeldsnelheid voldoende om de ruisachtige informatie, zoals quantisa-tieruis en ondertitels uit te vlakken. Elk lineair gedeelte is een sequentie van beelden die een shot vormen.

5 Er is gebleken dat de benadering van 5% van de RMS (Route Mean Square) fout resulteert in voldoende, maar niet te gedetailleerde shotrepresentaties van een scene.

Clips worden gevonden door het clusteren van de representatieve scènebeelden op basis van de scèneveran-10 deringssequentie. Er zijn twee criteria die worden gebruikt voor elk representatief beeld: het absolute framenummer en het verschil met het meest nabije representatieve framenummer. De automatische schatting bestaat uit twee stappen: allereerst wordt de PLA van een paar minu-15 ten van een gehele sequentie benaderd, gebruikmakend van een 5% RMS fout. De PLA resulteert in een vector van beeldnummers en een corresponderende vector van entropie-waarden. De vector van beeldnummers is direct evenredig aan de scèneveranderingsfrequentie, waardoor de tweede 20 stap een andere PLA met zich brengt, die wordt toegepast op de vector van beeldnummers die uit de eerste PLA worden verkregen. Er is gevonden dat de resulterende verzameling van lineaire stukken een goede schatting is voor het werkelijke aantal clusters. Na de clustering 25 wordt een naverwerkingsoperatie uitgevoerd, teneinde te verzekeren dat de clusters een lengte hebben van ten minste 1 seconde. Op deze wijze worden verscheidene dynamische clips gevormd.

In fig. 3 zijn vijf mogelijke hiërarchische 30 niveaus aangeduid, die kunnen worden verkregen op basis van het beschreven segmentatie-algoritme.

Het topniveau is de video in een enkel segment, die evenals andere segmenten wordt gerepresenteerd door een enkel sleutelbeeld. Het tweede niveau is het clipni-35 veau, het derde niveau wordt gevormd door de scènesegmen-ten en het vierde niveau wordt gevormd door alle shotseg-menten, terwijl het laagste en vijfde niveau wordt gevormd door alle beelden in de video. Deze boomstructuur 1014584· 7 is tegelijk een inzoemmechanisme, waardoor op elk dieper niveau een gedetailleerder zicht wordt gekregen op een segment in de video. De tijdvolgorde in de video wordt behouden op elk niveau.

5 De beschreven datastructuur kan worden gebruikt voor het bladeren door een video-opslag. Voor statisch bladeren wordt een verzameling video's aan de gebruiker getoond op het videoniveau. Hierbij wordt één sleutel-beeld voor elke video in een vierkant getoond, waarvan de 10 afmeting afhangt van het aantal sleutelbeelden dat daarin bevat dient te zijn. Bijv. met behulp van een muisklik kiest een gebruiker het meest geschikte sleutelbeeld, waarna het volgende detailniveau wordt getoond, te weten de sleutelbeelden van de clips in de video. Vervolgens 15 kan de gebruiker de keuze maken naar scèneniveau en zo verder tot beeldniveau via shotniveau.

Bij dynamisch bladeren worden de segmenten gerepresenteerd, niet door een enkel sleutelbeeld, maar door een kleine videofilm die speelt op het sleutelbeeld-20 venster..De gebruiker kan elk van de gesegmenteerde films afspelen, herhalen of stoppen. Het is voor de gebruiker mogelijk een snelle afspeling te verkrijgen door op een bepaald niveau in de hiërarchie de sleutelbeelden van de segmenten op het volgende niveau als een sequentie af te 25 spelen bij op een door de gebruiker gewenste snelheid. Om het beeld rustig te krijgen, is het mogelijk een verzameling beelden rond het sleutelbeeld in de sequentie af te beelden. Het is tevens mogelijk audio toe te voegen aan de beelden, terwijl het tenslotte mogelijk is het gehele 30 segment voor de gebruiker af te spelen.

Fig. 4 toont een voorbeeld van de zogeheten 'smooth play option' op shotniveau op een beeldscherm.

Aan de linkerzijde van figuur 4 zijn 9 weerga-vevensters voor het weergeven van videofragmenten of -35 beelden daarvan. Aan de rechterzijde van de figuur 4 is 1 venster weergegeven voor het op een groter formaat weergeven van een beeld of een videosegment, zoals een frame, een shot, een scène, een clip of een video. Een aspect 1014584· 8 van deze uitvoeringsvorm is dat het mogelijk is de beeldjes van de individuele vensters te groeperen onder of van het selecteren hiervan. Op een groep van geselecteerde vensters kunnen bewerkingen worden uitgevoerd. Het is 5 bijvoorbeeld mogelijk shot 1, 2 en 8 te selecteren en deze door middel van één klik alledrie tegelijk te laten afspelen. Verder is het bijvoorbeeld mogelijk deze drie beelden met behulp van één handeling simultaan te kopiëren naar een nieuwe locatie. Op soortgelijke wijze kan 10 op een dergelijke groep een veelheid van bewerkingen worden uitgevoerd.

Bij de werkwijze en inrichting volgens de onderhavige uitvinding kunnen de ruwe videodata lokaal op een server of een aantal servers in een database in een 15 aantal gedistribueerde databases e.d. zijn opgeslagen. De resultaten van de videosegmentatie wordt beschreven onder gebruikmaking van XML (extended Markup Language) en is gebaseerd op de voorstellen voor videostructuurbeschrij-vingen volgens MPEG7. In het XML bestand wordt de gehele 20 structuur van een video beschreven, van videoniveau tot beeldniveau. Voor verschillende abstractieniveaus (sleu-telbeelden, smooth video, smooth audio en full video) kunnen verschillende XML bestanden worden gebruikt. Verschillende soorten story boards en visualisatiesoorten 25 worden ontworpen en beschreven in XSL (extended Stylesheet Language).

Bovengenoemde principes kunnen worden samengebracht in webpagina's onder gebruikmaking van HTML en JavaScript.

30 Het is mogelijk de werkwijzen en de algoritmen uit te voeren op een personal computer, bijv. voorzien van een Pentium III 500 MHz met 256 MB intern RAM. Voor opslag van een video dient 5 GB beschikbaar te zijn. Teneinde de videosegmenten naar de cliënt te laten toeko-35 men, is een netwerk met een bandbreedte van 50 MB per seconde noodzakelijk.

Volgens de onderhavige uitvinding zijn slechts kleine beschrijvingen (XML bestanden) voor verschillende 1014584· 9 niveaus noodzakelijk, onafhankelijk van de video en layout. Het is tevens mogelijk nieuwe lay-outs door middel van XSL bestanden te ontwerpen zonder de video of struc-tuurbeschrijvingen te veranderen, en zelfs lay-outs te 5 hergebruiken voor andere video- en structuurbeschrijvin-gen.

De onderhavige uitvinding is tevens toepasbaar in een open gedistribueerde architectuur die op het web is gebaseerd. Deze architectuur maakt gebruik van compo-10 nenten die de plaats innemen van een gedeelte van het algoritme. De video-analyse is dan een van de componenten van de architectuur. Verschillende segmenten kunnen van verschillende analysediensten op andere plaatsen op het web verkregen worden.

15 De onderhavige uitvinding is niet beperkt tot de boven beschreven voorkeursuitvoeringsvorm daarvan; de gevraagde rechten worden bepaald door de navolgende conclusies, binnen de strekking waarvan velerlei modificaties denkbaar zijn.

% 1014584É

Claims (11)

1. Werkwijze voor verwerken en/of terugzoeken van video-informatie, waarbij volgens een vooraf bepaald criterium, dat wil zeggen een of meer algoritmen, een videosignaal tot in een aantal hiërarchische niveaus 5 wordt onderverdeeld en opgeslagen, en waarbij de video-informatie aan de gebruiker presenteerbaar is op de verschillende niveaus met de mogelijkheid van overschakelen tussen de niveaus en het laten voortschrijden/terug-spelen daarvan, met het kenmerk dat criterium spatiële 10 beeldentropie is.

1 o * «

2. Werkwijze volgens conclusie 1 waarbij het criterium spatiële beeldentropie is volgens de formule: Γ(τ,λ- /for) ρΛ y) ΣΣ'<*» * y Ht = Σ Σ ρ(χ· y) los 2 p(*. y) * y waarin Ik (x,y) de intensiteit van een pixel op (x,y) in 20 beeld k van NxM pixels representeert.

3. Werkwijze volgens conclusie 2, waarbij de beeldentropie wordt genormaliseerd tussen 0 en 1 gedeeld door log2 (NM) .

4. Werkwijze volgens conclusie 1, 2 of 3, 25 waarbij een scene wordt gevormd door een verzameling shots, die worden begrensd door discontinuïteiten in het entropiesignaal.

5. Werkwijze volgens conclusie 2, 3 of 4, waarbij scènes worden gevonden met behulp van een lokaal 30 aanpasbare drempel op het entropieverschil tussen beelden.

6. Werkwijze voor verwerken en/of terugzoeken van video-informatie, waarbij volgens een vooraf bepaald 10Y45844 1 1 criterium, dat wil zeggen een of meer algoritmen, een videosignaal tot in een aantal hiërarchische niveaus wordt onderverdeeld en opgeslagen, en waarbij de video-informatie aan de gebruiker presenteerbaar is op de 5 verschillende niveaus met de mogelijkheid van overschakelen tussen de niveaus en het laten voortschrijden/terug-spelen daarvan, met het kenmerk dat op een beeldscherm een aantal vensters zichtbaar worden gemaakt, voor het daarop tonen van sleutelbeelden van video-segmenten, 10 zoals clips, scènes, shot en/of afzonderlijke beelden waarbij de beelden op de vensters van de afspeelsnelheid, starten/stoppen, of terugspoelen door de gebruiker kan worden geactiveerd, bijv. door middel van een muisklik waardoor de video-segmenten worden afgespeeld.

7. Inrichting voor het verwerken en/of terug zoeken van video-informatie, voorzien van een processor, intern geheugen en een beeldscherm, waarbij op een beeldscherm een aantal vensters zichtbaar worden gemaakt, voor het daarop tonen van sleutelbeelden van video-segmenten, 20 zoals clips, scènes, shot en of afzonderlijke beelden.

8. Inrichting volgens conclusie 7, waarbij de beelden op de vensters van de afspeelsnelheid, starten/ stoppen, of terugspoelen door de gebruiker kan worden geactiveerd, bijv. door middel van een muisklik.

9. Inrichting volgens conclusie 7 of 8 waarbij meerdere beelden worden geselecteerd in een meervoudige selectie voor het daarop uitvoeren van bewerkingen waaronder weergeven en/of kopiëren.

10. Inrichting volgens conclusie 9 waarbij 30 audio en video apart kan worden aangestuurd.

11. Werkwijze voor het verwerken of terugzoeken van informatie waarbij allereerst twee of meer beelden worden geselecteerd en vervolgens de bewerkingen worden uitgevoerd. 1014584«