NL2002783C2 - SYSTEM AND METHOD FOR REMOVING ILLEGAL CONTENT OFFERED THROUGH THE INTERNET. - Google Patents
SYSTEM AND METHOD FOR REMOVING ILLEGAL CONTENT OFFERED THROUGH THE INTERNET. Download PDFInfo
- Publication number
- NL2002783C2 NL2002783C2 NL2002783A NL2002783A NL2002783C2 NL 2002783 C2 NL2002783 C2 NL 2002783C2 NL 2002783 A NL2002783 A NL 2002783A NL 2002783 A NL2002783 A NL 2002783A NL 2002783 C2 NL2002783 C2 NL 2002783C2
- Authority
- NL
- Netherlands
- Prior art keywords
- content
- search
- provider
- search term
- data processing
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 16
- 238000001914 filtration Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000002360 preparation method Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 description 3
- 241000239290 Araneae Species 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/18—Legal services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/12—Payment architectures specially adapted for electronic shopping systems
- G06Q20/123—Shopping for digital content
- G06Q20/1235—Shopping for digital content with control of digital rights management [DRM]
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- Accounting & Taxation (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Data Mining & Analysis (AREA)
- Technology Law (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Quality & Reliability (AREA)
- Finance (AREA)
- Storage Device Security (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Description
Systeem en werkwijze voor het doen verwijderen van illegale via het internet aangeboden contentSystem and method for removing illegal content offered via the internet
De onderhavige uitvinding heeft betrekking op een systeem en werkwijze voor het doen 5 verwijderen van illegale via het internet aangeboden content, zoals muziekbestanden, filmbestanden en game-bestanden, waarvan de rechthebbende geen toestemming heeft gegeven voor het aanbieden daarvan, danwel er geen auteursrechten worden afgedragen aan de rechthebbende.The present invention relates to a system and method for removing illegal content offered via the internet, such as music files, film files and game files, the rightholder of which has not given permission for offering them, or no copyrights are transferred. to the beneficiary.
10 Het aanbieden van content zoals muziekbestanden, filmbestanden en game-bestanden via het internet is thans wijdverbreid in zwang. Naast legale aanbieders, zoals i-tuncs, wordt er op grote schaal illegale content aangeboden, al dan niet tegen betaling. Dergelijke content kan worden gedownload vanaf websites, of via torrents, of peer-to-peer bestandsuitwisselprogramma’s zoals limewire.10 The provision of content such as music files, film files and game files via the internet is now widely used. In addition to legal providers, such as i-tuncs, illegal content is offered on a large scale, with or without payment. Such content can be downloaded from websites, or via torrents, or peer-to-peer file exchange programs such as limewire.
1515
Voor een rechthebbende is het zeer omslachtig om illegaal aangeboden content van het internet te verwijderen. Weliswaar bieden websites van waaraf de content te downloaden is in bepaalde gevallen de mogelijkheid een verwijderverzoek in te dienen voor bepaalde content, maar door de grote hoeveelheid aangeboden content en de 20 snelheid waarmee gebruikers van deze sites nieuwe content kunnen uploadcn wordt hiermee niet het beoogde effect bereikt. Het is daarom een doel van de onderhavige uitvinding om een bruikbaar alternatief te bieden voor het bestrijden van illegale content.For a rightholder it is very cumbersome to remove illegally offered content from the internet. It is true that in certain cases websites from which the content can be downloaded offer the possibility to submit a removal request for certain content, but the large amount of content offered and the speed with which users of these sites can upload new content does not have the intended effect. achieved. It is therefore an object of the present invention to provide a useful alternative to combating illegal content.
25 De uitvinding verschaft daartoe een systeem voor het doen verwijderen van illegale via het internet aangeboden content, omvattende invoermiddelen voor ten minste één aan de te verwijderen content gerelateerde zoekterm, ten minste één zoekmachine voor het doorzoeken van het internet naar de zoekterm, en het in een databank opslaan van links naar op basis van de zoekterm gevonden content, dataverwerkingsmiddelen, ingericht 30 voor het vaststellen van een provider die de betreffende content host en het voor een gevonden link opstellen van een verwijderverzoek aan de provider, voor het verwijderen van de illegale content, en verzendmiddelen, ingericht voor het voor elke link verzenden van de verwijderverzoeken naar de provider.To this end, the invention provides a system for removing illegal content offered via the internet, comprising input means for at least one search term related to the content to be deleted, at least one search engine for searching the internet for the search term, and storing a database of links to content found on the basis of the search term, data processing means, arranged for determining a provider hosting the relevant content and preparing a delete request for a found link for the provider, for removing the illegal content and sending means adapted to send the delete requests to the provider for each link.
22
Dankzij het systeem volgens de onderhavige uitvinding kunnen grote hoeveelheden aangeboden content tegelijk worden bestreden, doordat de zoekmachine een overzicht van links verschaft via welke de gezochte content te downloaden is, en op basis van de zoekresultaten meerdere verwijderverzoeken automatisch kunnen worden verzonden.Thanks to the system according to the present invention, large amounts of content offered can be combated at the same time, because the search engine provides an overview of links through which the searched content can be downloaded, and on the basis of the search results multiple delete requests can be sent automatically.
5 Aldus maakt het systeem het voor de rechthebbende mogelijk om doeltreffend op te treden tegen grote hoeveelheden aangeboden illegale content.5 The system thus makes it possible for the rightholder to take effective action against large quantities of illegal content offered.
Om het systeem aan te geven naar welke content er gezocht dient te worden, omvatten de invoermiddelen bij voorkeur een invoerscherm voor handmatige invoer van ten 10 minste één zoekterm en/of middelen voor het inlezen van een gegevensbestand met zoektermen. Deze laatste middelen kunnen ingcricht zijn om aangclcvcrdc tekstbestanden uit te lezen, of bijvoorbeeld koppelingen met databases omvatten, van waaruit op te sporen content wordt uitgelezen. Deze bestanden kunnen na verloop van tijd hergebruikt worden, om vast te stellen of dezelfde content weer is aangeboden, en 15 deze wederom te bestrijden. Wanneer er handmatig gezocht wordt, dienen deze acties telkens opnieuw uitgevoerd te worden. Bij handmatig invoeren wordt er een identificatienummer aangemaakt worden dat in de databank opgeslagen wordt, en dat gedurende het zoeken naar en verwijderen van content als referentie gebruikt wordt.In order to indicate to the system which content is to be searched for, the input means preferably comprise an input screen for manual input of at least one search term and / or means for reading in a data file with search terms. The latter means can be arranged to read text files, or for example include links to databases, from which content to be traced is read. These files can be reused over time, to determine whether the same content has been offered again, and to combat it again. When searching manually, these actions must be performed again and again. When entering manually, an identification number is created that is stored in the database and that is used as a reference during the search for and removal of content.
20 Dc zoekmachine kan worden ingcricht voor het doorzoeken van websites, torrents en peer-to-peer data-uitwisselingstoepassingen. Dit zijn de meest toegepaste verschijningsvormen van illegale content, en zij worden er veelal door gekenmerkt dat de content via een (hyper)-link te benaderen is.The search engine can be arranged for searching websites, torrents and peer-to-peer data exchange applications. These are the most common manifestations of illegal content, and they are often characterized by the fact that the content can be accessed via a (hyper) link.
25 Bij voorkeur is de zoekmachine ingericht voor het zoeken op synoniemen en/of cryptische omschrijvingen van een zoekterm. Daarbij kan bijvoorbeeld gedacht worden als woorden waarin de “a” is vervangen door een of de “o” door een “0”, of waarin opzettelijk typ- of spelfouten zijn gemaakt. Op deze manier wordt misleidend naamgegeven content, zoals bijvoorbeeld “The Baetles - Peny L@ne.mp3” gevonden 30 wanneer er gezocht wordt naar “Beatles Penny Lane”, of “MaddOna.jpg” wanneer er naar “Madonna” gezocht wordt.The search engine is preferably adapted to search for synonyms and / or cryptic descriptions of a search term. For example, words in which the "a" is replaced by one or the "o" by a "0", or in which typing or spelling errors were made intentionally. In this way misleadingly named content such as "The Baetles - Peny L@ne.mp3" is found when searching for "Beatles Penny Lane", or "MaddOna.jpg" when searching for "Madonna".
In een voordelige uitvoeringsvorm zijn de dataverwerkings-middelen ingericht voor het toetsen van de in de database opgeslagen links in de database op de daadwerkelijke 3 beschikbaarheid van de via de link aangeboden content. Vaak leiden hyperlinks namelijk niet of niet direct naar de content waarnaar gezicht wordt, maar wordt een internetgebruiker langs diverse sites met reclame, pop-ups of banners geleid, alvorens de daadwerkelijke content kan worden gcdownload. Het systeem volgens de 5 onderhavige uitvinding stelt daartoe vast waar de daadwerkelijk aangebonden content gehost wordt.In an advantageous embodiment, the data processing means are adapted to test the links in the database stored in the database for the actual availability of the content offered via the link. Hyperlinks often do not or not directly lead to the content that is being targeted, but an internet user is guided to various sites with advertisements, pop-ups or banners, before the actual content can be downloaded. To that end, the system according to the present invention determines where the content actually hosted is hosted.
De gehoste content kan naast dat het mogelijk is direct content te downloaden doormiddel van een URL ook afgeschermd worden doormiddel van een "completely 10 automated public Turingtest to teil computers and humans apart" (captcha). Een captcha (een afkorting van) is een rcactictcst die in dc gegevensverwerking wordt gebruikt om te bepalen of er al dan niet sprake is van een menselijke gebruiker .Deze techniek is ontwikkeld om mensen te onderscheiden van computer gestuurde programma’s, zoals in een uitvoeringsvorm van de onderhavige uitvinding toegepast. Het downloaden van 15 content is alleen mogelijk met doormiddel van een handmatige handeling als het invoeren van een willigkeurige code die op de pagina getoond is. Het systeem volgens de onderhavige uitvinding is in een uitvoeringsvorm ingericht voor het vaststelen dat er een captcha gebruikt wordt, en plaatst, wanneer de captcha niet automatisch omzeild kan worden, de gevonden url in een speciale lijst plaatsen voor manuele verwerking.In addition to being able to directly download content by means of a URL, the hosted content can also be protected by means of a "completely 10 automated public Turing test for computers and humans separately" (captcha). A captcha (an abbreviation of) is a rcactictcst that is used in data processing to determine whether or not there is a human user. This technique has been developed to distinguish people from computer-controlled programs, as in an embodiment of the the present invention. Downloading content is only possible with a manual operation such as entering an arbitrary code shown on the page. The system according to the present invention is in an embodiment adapted to determine that a captcha is being used, and, if the captcha cannot be bypassed automatically, places the found url in a special list for manual processing.
20 Daarnaast komt het voor dat dc werkelijke hyperlinks niet in HTML code aangeboden worden maar als een grafische voorstelling worden getoond. Hierdoor wordt het systeem volgens de onderhavige uitvinding belemmerd om direct door te klikken naar de content. Het systeem stelt in een dergelijk geval vast dat er gebruik wordt gemaakt van een afbeelding voor het verschaffen van informatie en herleidt de informatie op de 25 afbeelding door middel van automatische tekstherkenning (OCR).It also happens that the actual hyperlinks are not offered in HTML code but are shown as a graphical representation. As a result, the system according to the present invention is prevented from immediately clicking through to the content. In such a case, the system determines that an image is used to provide information and traces the information on the image by means of automatic text recognition (OCR).
In een verdere uitvoeringsvorm, zijn de dataverwerkings-middelen ingericht voor het uitfilteren van links naar websites, torrents en peer-to peer datauitwisselings-toepassingen waarop legale content wordt aangeboden. Om deze links uit te filteren 30 kunnen deze correcte aanbieders in de database worden opgenomen, waarna de dataverwerkingsmiddelen de door de zoekmachine gevonden links vergelijken met de in de database opgenomen aanbieders. Naar deze correcte aanbieders worden logischerwijs geen verwijderverzoeken verzonden.In a further embodiment, the data processing means are adapted to filter out links to websites, torrents and peer-to-peer data exchange applications on which legal content is offered. To filter out these links, these correct providers can be included in the database, after which the data processing means compare the links found by the search engine with the providers included in the database. Logically, no removal requests are sent to these correct providers.
44
Voorts kan de databank zijn ingericht voor het registreren van door providers geaccepteerde verwijderverzoeken. Deze vcrwijdcrverzoeken kunnen handmatig in de database worden ingevoerd, of door middel van een algoritme dat de site van de provider afzoekt naar de mogelijkheid tot het indienen van een verwijderverzoek.Furthermore, the database can be arranged for registering removal requests accepted by providers. These requests can be entered manually in the database, or by means of an algorithm that searches the provider's site for the possibility of submitting a request for removal.
5 Gebleken is dat een grote diversiteit aan illegale content via een relatief kleine groep providers, zoals de website Rapidshare, wordt aangeboden. Door de verwijderverzoeken van deze providers in de databank op te nemen, kan voor een behoorlijk groot aantal links een geautomatiseerd verwijderverzoek worden gegenereerd en verstuurd.5 It has been found that a large diversity of illegal content is offered through a relatively small group of providers, such as the Rapidshare website. By including the removal requests of these providers in the database, an automated removal request can be generated and sent for a fairly large number of links.
10 De dataverwerkingsmiddelen kunnen daarbij in het bijzonder zijn ingericht voor het geautomatiseerd invullen van een zogenaamde afmcld- of abusc-pagina van een provider. In het bijzonder kunnen zij zijn ingericht voor het versturen van een daartoe ter download door de provider beschikbaar gestelde mail op basis van een voor de specifieke content ingevuld sjabloon. Veelal worden door de contentprovider slechts 15 verwijderverzoeken in beraad genomen die zijn opgesteld op basis van een dergelijk sjabloon.The data processing means can in this case in particular be adapted for the automated completion of a so-called log-off or abusc page of a provider. In particular, they may be adapted to send an email made available for download by the provider for this purpose on the basis of a template filled in for the specific content. Often only 15 removal requests are considered by the content provider that have been prepared on the basis of such a template.
Voorts kunnen de dataverwerkingsmiddelen zijn ingericht voor het na een voorafbepaalde periode vanaf het verzenden van een verwijderverzoek controleren of de 20 content verwijderd is. Indien dc content niet verwijderd is kan er een nieuw verwijderverzoek worden ingediend, een aanmaning worden gestuurd, of kan er een melding worden gegenereerd, op basis waarvan een gebruiker van het systeem bijvoorbeeld juridische stappen kan ondernemen.Furthermore, the data processing means may be adapted to check whether the content has been deleted after a predetermined period from the sending of a delete request. If the content is not deleted, a new removal request can be submitted, a reminder can be sent, or a notification can be generated, on the basis of which a user of the system can, for example, take legal action.
25 Ook kan het systeem een overzicht van gevonden illegale content en/of verzonden verwijderverzoeken verschaffen. Hierdoor kan een gebruiker snel een overzicht verkrijgen van de hoeveelheid aangeboden illegale content die overeenkomt met zijn zoekterm of zoektermen, en het effect van het versturen van de verwijderverzoeken.The system can also provide an overview of found illegal content and / or sent removal requests. This allows a user to quickly obtain an overview of the amount of illegal content offered that matches his search term or search terms, and the effect of sending the removal requests.
30 Teneinde de verwijderverzoeken uit naam van de daadwerkelijke rechthebbende te kunnen versturen, kan de databank een overzicht omvat van rechthebbenden van content gerelateerd aan een bepaald trefwoord, waarbij de dataverwerkingsmiddelen kunnen worden ingericht voor het uit naam van de rechthebbende verzenden van een verwijderverzoek. In een uitvoeringsvorm versturen de dataverwerkingsmiddelen een 5 dergelijk verzoek vanaf een e-mail server van de rechthebbende, om te voorkomen dat het verzoek niet wordt verwerkt omdat bijvoorbeeld het IP adres van waaraf het verwijderverzoek verzonden wordt geblokkeerd wordt door de aanbieder van de illegale content. Ook kan er gebruik gemaakt worden van een al dan niet externe service die de 5 verzoeken anonimiseert, en er op die manier toe bijdraagt dat het voor de content provider niet duidelijk is dat er vele verzoeken automatisch door hetzelfde systeem worden verzonden.In order to be able to send the removal requests in the name of the actual beneficiary, the database may comprise an overview of rightholders of content related to a specific keyword, the data processing means being arranged to send a delete request in the name of the beneficiary. In one embodiment, the data processing means sends such a request from an e-mail server of the beneficiary, in order to prevent the request from not being processed because, for example, the IP address from which the delete request is sent is blocked by the provider of the illegal content. Use can also be made of an external or external service that anonymises the 5 requests, and in this way contributes to the fact that it is not clear to the content provider that many requests are automatically sent by the same system.
Voor het beheersen van de hoeveelheid tegelijk verzonden verwijderverzoeken, en aldus 10 het beperken van de hoeveelheid uitgaand dataverkeer, zoals e-mail, kunnen de data-vcrwcrkingsmiddclcn zijn ingcricht voor het groeperen van verwijderverzoeken, voor het aldus gezamenlijk verzenden daarvan. Bijvoorbeeld kunnen e-mails batchgewijs per 200 worden verstuurd.For controlling the amount of delete requests sent at the same time, and thus limiting the amount of outgoing data traffic, such as e-mail, the data processing means can be arranged for grouping delete requests, for thus jointly sending them. For example, emails can be sent batchwise per 200.
15 De uitvinding zal nu worden toegelicht aan de hand van een niet-limitatief voorbeeld weergegeven in figuur 1, waarin een schematische weergave van een systeem 100 volgens de onderhavige uitvinding is weergegeven. Het systeem 100 omvat invoermiddelen 1 voor ten minste één aan de te verwijderen content gerelateerde zoekterm 2, en een zoekmachine la voor het doorzoeken van het internet 3 naar de 20 zoekterm 2. Op het internet bevinden zich dc websites 6 cn 7, die elk aan de zoekterm 2 gerelateerde content 2’ en 2” omvatten. De zoekmachine slaat de zoekresultaten op in de vorm van links naar de websites 6 en 7 in de databank 4. Op basis van de gegevens in de databank 4 stellen de dataverwerkingsmiddelen 5 vast welke provider die de betreffende content host, en zij stellen een verwijderverzoek 8, 9 op aan de provider, 25 voor het verwijderen van de illegale content. Voorts zijn er verzendmiddelen 5a, welke zijn ingericht voor het voor elke link naar een website 6,7 verzenden van de verwijderverzoeken 8, 9 naar de provider 6, 7. Deze verwijderverzoeken worden verzonden vanaf de emailserver van de rechthebbende.The invention will now be elucidated on the basis of a non-limitative example shown in figure 1, in which a schematic representation of a system 100 according to the present invention is shown. The system 100 comprises input means 1 for at least one search term 2 related to the content to be deleted, and a search engine 1a for searching the internet 3 for the search term 2. On the internet there are websites 6 and 7, each of which the search term 2 includes related content 2 'and 2 ”. The search engine stores the search results in the form of links to the websites 6 and 7 in the database 4. On the basis of the data in the database 4, the data processing means 5 determines which provider is hosting the content in question, and they request a delete request 8 , 9 to the provider, 25 to remove the illegal content. Furthermore, there are sending means 5a, which are arranged for sending the delete requests 8, 9 to the provider 6, 7 for each link to a website 6,7. These delete requests are sent from the recipient's e-mail server.
30 Wanneer een website van waaraf de content wordt aangeboden voorzien is van een captcha, wordt de betreffende pagina met verwijzing naar de content in een lijst 10 opgenomen die manueel afgehandeld wordt 11. In het geval dat er geen gehoor aan de verwijderverzoeken 8 en 9 wordt gegeven zal er manueel juridische vervolgstappen genomen worden 12 aan het adres 13 van de eigenaar van de websites 6 en 7.30 If a website from which the content is offered is provided with a captcha, the relevant page with reference to the content is included in a list 10 that is handled manually 11. In the event that the removal requests 8 and 9 are not complied with given legal follow-up steps will be taken manually 12 at the address 13 of the owner of the websites 6 and 7.
66
De werking van het systeem 100 is gebaseerd op basis van zoekacties, die bestaan uit batches, elk omvattende meerdere stappen. Een zoekactie omvat een omschrijving , een start- en einddatum. Aan een zoekactie is ten minste een zoekterm gekoppeld waarop 5 gezocht wordt door middel van in bestaande zoekmachines, zoals google.The operation of the system 100 is based on searches, which consist of batches, each comprising multiple steps. A search includes a description, a start and end date. At least one search term is linked to a search on which 5 is searched by means of existing search engines, such as google.
Als er een zoekactie wordt uitgevoerd wordt het aantal zoekmachines dat is gekoppeld zijn aan de zoekactie gecontroleerd. Deze zoekmachines worden allemaal afzonderlijk behandeld tijdens het process om illegale links uit de resultaten te halen. Afzonderlijk 10 maar wel allemaal tegelijkertijd in hun eigen thread (spider effect).If a search is performed, the number of search engines that are linked to the search is checked. These search engines are all treated separately during the process to extract illegal links from the results. Separately 10 but all at the same time in their own thread (spider effect).
Het systeem is daartoe ingericht voor het uitvoeren van de volgende stappen: - het vragen van het aantal woorden (keywords) op waarop gezocht moet worden tijdens deze zoekaktie 15 - het als volgt definieeren van de zoekactie: http://www.google.nl/search?hl=nl&as qdr=all&num=lQ0&q=%2Binurl:#searchkevwo rd#+site:Rapidshare.com&start=#pageid#&sa:=N&filter=0 <ZOEKMACHINE><Zoelanachinespecifieke parameters> 20 - het aan de hand van de attributen van een zoekmachine bepalen of deze zoekmachines meerder pagina's als resultaten oplevert of niet; - het herhalen van de voorgaande stappen, waarbij de waarde van “pageid” steeds opgehoogd wordt; 25 - het beëindigen van de zoekopdracht wanneer er geen zoekresultaten meer verkregen worden.To this end, the system is designed to perform the following steps: - requesting the number of words (keywords) to be searched for during this search action 15 - defining the search action as follows: http://www.google.nl / search? hl = en & as qdr = all & num = lQ0 & q =% 2Binurl: #searchkevwo rd # + site: Rapidshare.com & start = # pageid # & sa: = N & filter = 0 <SEARCH ENGINE SPECIFIC> 20 - it based on the attributes of a search engine determine whether these search engines return multiple pages as results or not; - repeating the previous steps, whereby the value of "pageid" is always increased; 25 - ending the search when no more search results are obtained.
De zoekresultaten worden daarna als volgt verwerkt. Elke zoekmachine bestaat uit 1 of meerder "acties". Dit zijn binnen het systeem gedefinieerde stappen die worden 30 doorlopen, in een voorafbepaalde volgorde om de zoekresultaten te filteren.The search results are then processed as follows. Each search engine consists of 1 or more "promotions". These are steps defined within the system that are followed in a predetermined order to filter the search results.
Het filteren geschiedt aan de hand van reguliere expressies die er voor zorgen dat specifieke woorden (links) gefilterd worden uit de opgehaalde resultaten (HTML), bijvoorbeeld: 7 A*http://*\S+Rapidshare\.com/filesAw*AS*\"Filtering is done on the basis of regular expressions that ensure that specific words (links) are filtered from the retrieved results (HTML), for example: 7 A * http: // * \ S + Rapidshare \ .com / filesAw * AS * \ "
Deze expressie geeft alle Rapidshare links terug uit een HTML pagina.This expression returns all Rapidshare links from an HTML page.
55
Als deze stap dus resultaten oplevert, kijkt het systeem of de gezochte zoekterm wel degelijk voorkomt in het zoekresultaat. Indien dit het geval is wordt het zoekresultaat opgeslagen in de databank, gekoppeld aan de zoekopdracht en zoekmachine waarop deze link gevonden is. Tevens koppelt het systeem het zoekresultaat aan een bron-url.If this step yields results, the system checks whether the search term actually appears in the search result. If this is the case, the search result is stored in the database, linked to the search query and search engine where this link was found. The system also links the search result to a source URL.
1010
Zoekresultaten kunnen op meerdere zockrcsultaat-pagina’s voorkomen. Daarom worden de zoekresultaten gegroepeerd, en wordt een gevonden link bijvoorbeeld gekoppeld aan meerdere urls waar deze link te vinden was, hetgeen tevens de mogelijkheid verschaft te achterhalen op hoeveel websites een specifiek zoekresultaat gevonden is.Search results can appear on multiple zock result pages. Therefore, the search results are grouped, and a link found, for example, is linked to multiple URLs where this link could be found, which also provides the possibility to find out on how many websites a specific search result was found.
1515
De zoekresultaten kunnen in bepaalde gevallen ongewenste gegevens (ruisdata) omvatten. De content filters kunnen zijn ingericht om deze ruisdata weg te filteren.The search results may in certain cases include unwanted data (noise data). The content filters can be arranged to filter out these noise data.
Het filteren omvat het vervangen bepaalde woorden in een zoekresultaten, waardoor er een opgeschoonde zoekresultaten ontstaat. Deze opgeschoonde zoekresultaten worden 20 opgcslagcn in de databank.Filtering involves replacing certain words in a search results, creating a cleaned-up search result. These cleaned-up search results are stored in the database.
Vervolgens wordt van alle opgeslagen zoekresultaten gecontroleerd of deze downloadbaar zijn. Indien een zoekresultaat niet downloadbaar is, wordt dit verwijderd uit de zoekresultatentabel tabel en geplaatst in een ongeldige zoekresultatentabel, en 25 bewaard voor statische doeleinden.All saved search results are then checked to see if they are downloadable. If a search result is not downloadable, it is removed from the search result table table and placed in an invalid search result table, and stored for static purposes.
Per batch van 25 zoekresultaten wordt er een nieuw (thread/spider) proces opgestart waarin deze links gecontroleerd worden op downloadbaarheid. De reden hiervoor is dat er dus volledig gebruik gemaakt kan worden van de internet verbinding (bandbreedte). 30For each batch of 25 search results, a new (thread / spider) process is started in which these links are checked for downloadability. The reason for this is that full use can be made of the internet connection (bandwidth). 30
Bij het controleren van de downloadbaarheid zijn er twee opties: - de eerste optie 1 is een foutmelding dat het zoekresultaat niet (meer) bestaat; - de tweede optie is dat het zoekresultaat gedownload kan worden.When checking the downloadability, there are two options: - the first option 1 is an error message that the search result no longer exists; - the second option is that the search result can be downloaded.
88
Wanneer een zoekresultaat daadwerkelijk downloadbaar is wordt er een e-mail (verwijderverzoek) verstuurd naar de bijhorende provider, waarin vermeld wordt dat het zoekresultaat illegale content bevat en verwijderd dient te worden. Dergelijke mails worden batchgewijs verzonden, in groepen van zoekresultaten die gehost worden door 5 dezelfde provider.When a search result is actually downloadable, an e-mail (removal request) is sent to the corresponding provider, stating that the search result contains illegal content and needs to be removed. Such mails are sent in batches, in groups of search results that are hosted by the same provider.
Nadat deze mails verzonden zijn worden de zoekresultaten gemarkeerd als verzonden. Bij de volgende “batch run" worden opnieuw gecontroleerd of de zoekresultaten downloadbaar zijn. Indien dit niet meer het geval is worden ze gemarkeerd als "niet 10 downloadbaar". Tevens worden alle eerder verzonden e-mails gecontroleerd op vcrzcnddatum. Is deze datum 2 dagen oud, wordt er opnieuw een e-mail verstuurd met alle zoekresultaten die nog niet verwijderd zijn (niet gemarkeerd als downloadbaar).After these emails are sent, the search results are marked as sent. At the next "batch run", the search results will be checked again if the search results are downloadable. If this is no longer the case, they will be marked as "not downloadable". Also, all previously sent emails will be checked on the previous date. old, an email will be sent again with all search results that have not yet been deleted (not marked as downloadable).
Naast de getoonde en beschreven uitvoeringsvorm zijn er vele varianten denkbaar, die 15 alle geacht worden te vallen onder de beschermingsomvang van de navolgende conclusies.In addition to the shown and described embodiment, many variants are conceivable, all of which are understood to fall within the scope of protection of the following claims.
Claims (22)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| NL2002783A NL2002783C2 (en) | 2009-04-23 | 2009-04-23 | SYSTEM AND METHOD FOR REMOVING ILLEGAL CONTENT OFFERED THROUGH THE INTERNET. |
| PCT/NL2010/050218 WO2010123359A1 (en) | 2009-04-23 | 2010-04-22 | System and method for removing illegal content offered via the internet |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| NL2002783 | 2009-04-23 | ||
| NL2002783A NL2002783C2 (en) | 2009-04-23 | 2009-04-23 | SYSTEM AND METHOD FOR REMOVING ILLEGAL CONTENT OFFERED THROUGH THE INTERNET. |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| NL2002783C2 true NL2002783C2 (en) | 2010-10-26 |
Family
ID=41314671
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| NL2002783A NL2002783C2 (en) | 2009-04-23 | 2009-04-23 | SYSTEM AND METHOD FOR REMOVING ILLEGAL CONTENT OFFERED THROUGH THE INTERNET. |
Country Status (2)
| Country | Link |
|---|---|
| NL (1) | NL2002783C2 (en) |
| WO (1) | WO2010123359A1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9633220B2 (en) | 2012-06-11 | 2017-04-25 | Hewlett-Packard Development Company, L.P. | Preventing an unauthorized publication of a media object |
| US20140250196A1 (en) * | 2013-03-01 | 2014-09-04 | Raymond Anthony Joao | Apparatus and method for providing and/or for processing information regarding, relating to, or involving, defamatory, derogatory, harrassing, bullying, or other negative or offensive, comments, statements, or postings |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6401118B1 (en) * | 1998-06-30 | 2002-06-04 | Online Monitoring Services | Method and computer program product for an online monitoring search engine |
| GB2376326A (en) * | 2001-06-04 | 2002-12-11 | Hewlett Packard Co | Peer-to-peer network search popularity statistical information collection |
| US20050050446A1 (en) * | 2003-02-10 | 2005-03-03 | Akira Miura | Content processing terminal, copyright management system, and methods thereof |
| WO2008076294A2 (en) * | 2006-12-13 | 2008-06-26 | Ricall, Inc. | Online music and other copyrighted work search and licensing system |
-
2009
- 2009-04-23 NL NL2002783A patent/NL2002783C2/en active
-
2010
- 2010-04-22 WO PCT/NL2010/050218 patent/WO2010123359A1/en active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6401118B1 (en) * | 1998-06-30 | 2002-06-04 | Online Monitoring Services | Method and computer program product for an online monitoring search engine |
| GB2376326A (en) * | 2001-06-04 | 2002-12-11 | Hewlett Packard Co | Peer-to-peer network search popularity statistical information collection |
| US20050050446A1 (en) * | 2003-02-10 | 2005-03-03 | Akira Miura | Content processing terminal, copyright management system, and methods thereof |
| WO2008076294A2 (en) * | 2006-12-13 | 2008-06-26 | Ricall, Inc. | Online music and other copyrighted work search and licensing system |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2010123359A1 (en) | 2010-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9734331B2 (en) | Render engine, and method of using the same, to verify data for access and/or publication via a computer system | |
| US8015174B2 (en) | System and method of controlling access to the internet | |
| US8015182B2 (en) | System and method for appending security information to search engine results | |
| US7971245B2 (en) | Method and system to detect externally-referenced malicious data for access and/or publication via a computer system | |
| US7689647B2 (en) | Systems and methods for removing duplicate search engine results | |
| US8032938B2 (en) | Method and system to verify data received, at a server system, for access and/or publication via the server system | |
| US8713010B1 (en) | Processor engine, integrated circuit and method therefor | |
| US20180131708A1 (en) | Identifying Fraudulent and Malicious Websites, Domain and Sub-domain Names | |
| US9154522B2 (en) | Network security identification method, security detection server, and client and system therefor | |
| EP2940622B1 (en) | A categorisation system | |
| WO2008118778A1 (en) | System and method for confirming digital content | |
| Avarikioti et al. | Structure and content of the visible Darknet | |
| NL2002783C2 (en) | SYSTEM AND METHOD FOR REMOVING ILLEGAL CONTENT OFFERED THROUGH THE INTERNET. | |
| CN104951566B (en) | A kind of keyword search ranking determines method and device | |
| EP1769359B1 (en) | Publication data verification system | |
| Yang et al. | Mingling of clear and muddy water: Understanding and detecting semantic confusion in blackhat seo | |
| Duan et al. | Cloaker catcher: a client-based cloaking detection system | |
| CN108804444B (en) | Information capturing method and device | |
| CA2864769A1 (en) | Processor engine, integrated circuit and method for promoting websites in search result lists | |
| WO2021060973A1 (en) | A system and method to prevent bot detection | |
| US20240211525A1 (en) | Techniques for Presenting Graphical Content in a Search Result | |
| Hoofnagle et al. | Online pharmacies and technology crime | |
| Rauti et al. | Analyzing third-party data leaks on online pharmacy websites |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PD | Change of ownership |
Owner name: LINK-BUSTERS IP B.V.; NL Free format text: DETAILS ASSIGNMENT: VERANDERING VAN EIGENAAR(S), OVERDRACHT; FORMER OWNER NAME: DENNIS CHRISTOPHER DE LAAT Effective date: 20160204 |