WO2019187920A1 - 違法コンテンツ探索装置、違法コンテンツ探索方法およびプログラム - Google Patents

違法コンテンツ探索装置、違法コンテンツ探索方法およびプログラム Download PDF

Info

Publication number
WO2019187920A1
WO2019187920A1 PCT/JP2019/007497 JP2019007497W WO2019187920A1 WO 2019187920 A1 WO2019187920 A1 WO 2019187920A1 JP 2019007497 W JP2019007497 W JP 2019007497W WO 2019187920 A1 WO2019187920 A1 WO 2019187920A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
illegal
candidate
title
unit
Prior art date
Application number
PCT/JP2019/007497
Other languages
English (en)
French (fr)
Inventor
博子 武藤
川西　隆仁
吉岡　理
亮 北原
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/041,060 priority Critical patent/US20210026930A1/en
Publication of WO2019187920A1 publication Critical patent/WO2019187920A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/313—Selection or weighting of terms for indexing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3334—Selection or weighting of terms from queries, including natural language queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/101—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM] by binding digital rights to specific entities
    • G06F21/1015—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM] by binding digital rights to specific entities to users

Definitions

  • the present invention relates to an illegal content search apparatus, an illegal content search method, and a program for searching for illegal content posted by a non-right holder who does not have the right of regular content.
  • Non-Patent Document 1 describes a technique for detecting illegal / harmful documents by extracting words and phrases characteristically appearing in illegal / harmful documents and learning segment sets that have dependency relationships in the documents. ing.
  • Non-Patent Document 2 describes a technique for detecting harmful sites from a large number of sites that can be accessed via a communication network.
  • a character string included in HTML (Hyper Text Markup Language) of a harmful site is statistically learned by SVM (Support Vector Vector Machine), and a site including a character string extracted based on learning in HTML is harmful. Detect as a site.
  • a search query is generated based on the title of the regular content, and candidate content that is a candidate for illegal content is acquired from a content acquisition source such as a content distribution site based on the generated search query. Is done. Then, by comparing the acquired candidate content with the regular content, it is determined whether or not the candidate content is illegal content.
  • a search query that includes words that appear characteristically in illegal / hazardous documents, there is a high possibility that content related to the content desired by the user is extracted.
  • An object of the present invention made in view of the above problems is to provide an illegal content search apparatus, an illegal content search method, and a program capable of optimizing the search for illegal content.
  • an illegal content search device is used for searching for illegal content in an illegal content search device for searching illegal content posted by a non-right holder who does not have the right of regular content.
  • a query generation dictionary storage unit for storing a query generation dictionary for generating a search query and a related phrase related to a phrase included in the title of the regular content are extracted from the title of the illegal content, and the extracted
  • a query generation dictionary creating unit for registering a related phrase in a query generation dictionary for generating a search query used for searching the illegal content, and a search query using the related phrase registered in the query generation dictionary
  • a search query generation unit for generating.
  • the illegal content search method is an illegal content search method for searching illegal content posted by a non-right holder who does not have the right of regular content.
  • Storing a query generation dictionary for generating a search query to be used for, extracting from the title of the illegal content a related phrase related to the phrase included in the title of the regular content, and extracting the extracted related phrase Registering in a query generation dictionary for generating a search query used for searching for illegal content, and generating a search query using the related terms registered in the query generation dictionary .
  • the program according to the present invention causes a computer to function as the illegal content search device.
  • illegal content search apparatus illegal content search method and program according to the present invention, it is possible to optimize the search for illegal content.
  • FIG. 1 It is a functional block diagram which shows the structural example of the illegal content search apparatus which concerns on one Embodiment of this invention. It is a figure which shows the structural example of the dictionary for query generation which the dictionary generation part for query generation shown in FIG. 1 produces. It is a flowchart which shows an example of the illegal content search method which the illegal content search apparatus shown in FIG. 1 performs.
  • FIG. 1 is a functional block diagram showing a configuration example of an illegal content search apparatus 1 according to an embodiment of the present invention.
  • the illegal content search apparatus 1 shown in FIG. 1 includes a query generation dictionary creation unit 11, a query generation dictionary storage unit 12, a search query generation rule storage unit 13, a search query generation unit 14, and a matching candidate acquisition unit 15.
  • a content profile acquisition unit 16 an exception content removal unit 17, a phishing content detection unit 18, a detected illegal content removal unit 19, an illegal accuracy estimation model generation unit 20, an illegal accuracy estimation model storage unit 21, Collation priority calculation unit 22, collation parameter setting unit 23, content DL (Download) / collation unit 24, query generation dictionary update unit 25, phishing content update unit 26, and illegal content profile update unit 27 and an illegal accuracy estimation model update unit 28.
  • the illegal content search apparatus 1 searches for illegal content stored in a content acquisition source on the Internet using a search query based on the title (regular title) of regular content and meta information.
  • the illegal content is content related to the regular content posted by a non-right holder who does not have the right of the regular content.
  • the meta information is attribute information accompanying the regular content.
  • the meta information includes, for example, a subtitle, a performer appearing in the content, a character name, a broadcast number, a broadcast date and time, a performer, an abbreviation, and a content genre.
  • the content acquisition source is a site on the Internet where content can be posted, viewed and downloaded.
  • the content acquisition source accepts posting of content from the communication terminal based on the request of the posting user, and stores the posted content. Further, the content acquisition source causes the communication terminal to download the stored content based on a user request.
  • the content acquisition source is, for example, a server device that manages a content posting site, a distributed system including a plurality of server devices, a cloud service, or the like.
  • posting means uploading and storing content.
  • the “posting user” is a user who posts content among users who use the content acquisition source.
  • Examples of content acquisition sources include user-submitted content posting sites, web search sites, illegal content URL (Uniform Resource Locator) summary sites, and parasitic content sharing sites.
  • illegal content URL Uniform Resource Locator
  • User-submitted content posting sites are sites that can acquire (view, download, etc.) content posted on the site by searching using a search query.
  • search results are ranked on a site-specific basis.
  • a web search site is a site where content existing on the Internet can be acquired across the Internet by searching using a search query.
  • search results are ranked according to the site's own standards.
  • the URL summary site for illegal content is a site where the site administrator has compiled links to illegal content. Since it is operated through human intervention, it is highly possible that content originating from the URL summary site of illegal content is illegal content.
  • Parasitic content sharing sites are sites that can display and play content posted on other sites, such as user-submitted content posting sites.
  • the above-described user-submitted content posting sites there are sites that have a function that can acquire a certain number of contents (related contents) that are highly related to the contents for each content.
  • a site-specific standard is provided for specifying related content, for example, another content used by many users of the content is used as related content.
  • the original content associated with the related content is illegal content
  • the related content is also likely to be illegal content.
  • the illegal content search device 1 also acquires such related content from the content acquisition source.
  • By acquiring related content there are cases where illegal content that cannot be found by a search using a search query based on the title of the content can be found. However, since content that is not related to the content to be found is often included, it is necessary to appropriately determine whether or not to use related content.
  • the query generation dictionary creation unit 11 extracts a related phrase related to a phrase included in the title (regular title) of the regular content from the title of illegal content, and registers it in the query generation dictionary.
  • the query generation dictionary is a dictionary in which words for generating a search query used for searching illegal contents are registered.
  • the query generation dictionary creation unit 11 extracts notation fluctuation words, foreign language expressions, etc. with respect to the regular title as related words and registers the extracted words in the query generation dictionary.
  • the query generation dictionary creation unit 11 may search the content acquisition source using the extracted related terms. From the search result, the query generation dictionary creating unit 11 calculates the number of contents (contents included) including related words / phrases in the title, the number of illegal contents in the contents included, and the ratio of illegal contents to the contents included (illegal content rate) It may be acquired and registered in a query generation dictionary in association with related terms. That is, the query generation dictionary creation unit 11 calculates the illegal content rate, which is the number of illegal contents including the related word / phrase in the title, with respect to the number of content contents including the related word / phrase in the title, and generates a query in association with the related word / phrase. It may be registered in a dictionary.
  • Illegal posting users who post illegal content may intentionally transform the title of illegal content to be posted from a legal title in order to avoid the illegal content being posted being discovered or deleted by the rights holder, etc.
  • the title of illegal content may be converted to a similar phrase (notation swing phrase) such as a kana conversion, a kanji conversion, a romaji or an abbreviation, in whole or in part of a regular title.
  • the whole or part of the regular title may be converted into a foreign language notation.
  • illegal content that has undergone such title conversion cannot be found by searching using a search query generated based on a regular title. Therefore, a wider range of illegal contents can be collected by acquiring words actually used in illegal contents and registering them in a query generation dictionary for generating a search query.
  • FIG. 2 is a diagram illustrating a configuration example of a query generation dictionary generated by the query generation dictionary creation unit 11.
  • the query generation dictionary creation unit 11 registers the title of the regular content in the query generation dictionary.
  • the query generation dictionary creation unit 11 uses illegal content such as a written phrase or a foreign language notation for a word (notation) used for generating a search query such as “regular title”, “subtitle”, “broadcast date”, etc.
  • the notation actually used in is registered in the query generation dictionary as related terms.
  • the query generation dictionary creation unit 11 determines the type of the phrase such as whether the registered phrase is a regular expression obtained from a regular title, a swaying phrase, or a foreign language notation. Register in the generation dictionary.
  • the query generation dictionary creation unit 11 searches the content acquisition source, the number of contained contents including the extracted related words / phrases in the title, the number of illegal contents including the related words / phrases in the title, and the content
  • An illegal content rate which is a ratio of illegal content to content, may be obtained and registered in a query generation dictionary in association with related terms. Create more useful dictionaries for search query generation by obtaining and registering indicators that are useful for finding illegal content, such as the number of contained content, the number of illegal content with respect to contained content and the illegal content rate be able to.
  • the query generation dictionary creation unit 11 uses a title to which an illegal / illegal label has been assigned by hand, a title of content determined to be illegal content by the content DL / collation unit 24 described later, and the like. To collect related words and register a dictionary.
  • the query generation dictionary creation unit 11 extracts a title group that does not include the word / phrase already registered in the query generation dictionary from the illegal content title list as a processing target. In other words, the query generation dictionary creation unit 11 excludes, from the processing target, titles that contain words that have already been registered in the query generation dictionary.
  • the query generation dictionary creation unit 11 performs language analysis (for example, morphological analysis) on the extracted title group, and divides the text of the title of the content into phrases.
  • language analysis for example, morphological analysis
  • the query generation dictionary creation unit 11 extracts words / phrases whose appearance frequency is higher than a predetermined value from words / phrases obtained by language analysis (words obtained by dividing the title of the content).
  • the phrase extraction criterion may be a phrase classified into a specific part of speech by language analysis, a phrase determined as a title part by syntax analysis, or the like.
  • the query generation dictionary creation unit 11 calculates an edit distance between the extracted word / phrase and the word / phrase registered in the query generation dictionary. That is, the query generation dictionary creation unit 11 calculates the edit distance between the words included in the illegal content title and the words registered in the query generation dictionary. Specifically, the query generation dictionary creation unit 11 sets an edit distance between a word / phrase registered in the query generation dictionary and a word / phrase whose appearance frequency is higher than a predetermined value among words / phrases included in the title of illegal content. calculate.
  • the edit distance is a kind of distance indicating how much the two character strings are different.
  • the edit distance is defined as the minimum number of steps required to transform one character string into the other by inserting, deleting, or replacing one character. It shows that the smaller the edit distance, the smaller the difference between the two character strings.
  • the query generation dictionary creation unit 11 extracts a phrase whose edit distance is equal to or less than a predetermined value as a notation fluctuation phrase.
  • the query generation dictionary creating unit 11 searches the content acquisition source for the content by using a phrase whose edit distance from the word registered in the query generation dictionary is a predetermined value or less as a search query. Then, the query generation dictionary creation unit 11 obtains the number of illegal contents and the illegal content rate in the contained contents with respect to a predetermined number of words having the highest number of contained contents obtained by the search, and these values are constant. Words that are greater than or equal to the value are registered in the query generation dictionary as related words (notation fluctuation words). The query generation dictionary creation unit 11 may register a phrase whose edit distance from the phrase registered in the query generation dictionary is a predetermined value or less as a related phrase (notation fluctuation phrase) in the query generation dictionary. Good.
  • a higher quality query can be obtained by using the number of illegal contents and the illegal content rate in the contained contents obtained by the search using the extracted words as an index for registration in the query generation dictionary.
  • a generation dictionary can be created.
  • the query generation dictionary creation unit 11 determines whether or not the searched content is illegal by moving image / voice collation.
  • the first procedure is a procedure for acquiring a foreign language expression from a foreign language title written together with a Japanese title.
  • the query generation dictionary creation unit 11 performs language analysis on the title of the illegal content, and divides the text of the content title into words.
  • the query generation dictionary creation unit 11 performs co-occurrence on the Japanese titles (regular titles and related phrases (notation fluctuation phrases) registered in the query generation dictionary) among the phrases obtained by language analysis. Co-occurrence words whose appearance frequency is equal to or higher than a predetermined value are extracted.
  • the co-occurrence words can be extracted using a statistical model such as Word2Vec.
  • the query generation dictionary creation unit 11 performs language determination on the extracted co-occurrence words and extracts words determined as foreign languages as foreign language notations.
  • the query generation dictionary creating unit 11 searches the content acquisition source for the content using the phrase extracted as the foreign language notation as a search query. Then, the query generation dictionary creation unit 11 obtains the number of illegal contents and the illegal content rate in the contained contents with respect to a predetermined number of words having the highest number of contained contents obtained by the search, and these values are constant. Words that are greater than or equal to the value are registered in the query generation dictionary as related words (foreign language notation). The query generation dictionary creation unit 11 determines whether or not the searched content is illegal by moving image / voice collation.
  • the query generation dictionary creation unit 11 is configured to share the frequency of co-occurrence with a related content phrase (notation fluctuation phrase) registered in the query generation dictionary from the title of the illegal content or the title of the regular content.
  • a related content phrase notation fluctuation phrase
  • the co-occurrence phrase may be registered in the query generation dictionary as a related phrase (foreign language notation).
  • a higher quality query can be obtained by using the number of illegal contents and the illegal content rate in the contained contents obtained by the search using the extracted words as an index for registration in the query generation dictionary.
  • a generation dictionary can be created.
  • the second procedure is a procedure for translating a Japanese title into a foreign language and acquiring a foreign language notation.
  • the query creation dictionary creation unit 11 translates Japanese regular titles into foreign languages.
  • the query generation dictionary creation unit 11 may extract and use words having similar meanings from a thesaurus (thesaurus) as well as a simple direct translation of a Japanese regular title. By doing so, various variations of foreign language notation can be generated.
  • the query generation dictionary creation unit 11 searches the content acquisition source for the content using the translated word as a search query. Then, the query generation dictionary creation unit 11 obtains the number of illegal contents and the illegal content rate in the contained contents with respect to a certain number of words with the highest number of contained contents obtained by the search, and these values are constant. Words that are greater than or equal to the value are registered in the query generation dictionary as related words (foreign language notation). The query generation dictionary creation unit 11 determines whether or not the searched content is illegal by moving image / voice collation.
  • the query generation dictionary creation unit 11 may register a phrase obtained by converting the title of the regular content into a language different from the language indicating the title as a related phrase (foreign language notation) in the query generation dictionary.
  • a higher quality query can be obtained by using the number of illegal contents and the illegal content rate in the contained contents obtained by the search using the extracted words as an index for registration in the query generation dictionary.
  • a generation dictionary can be created.
  • the purpose of language analysis is to divide the content title text into words / phrases.
  • the division accuracy depends on the scale of the morphological analysis dictionary.
  • the method using the delimiter described above does not depend on the scale of the dictionary, it can perform more accurate word division depending on the situation than the method using morphological analysis.
  • the query generation dictionary is used to generate a search query for searching for illegal content.
  • the quality of the search results will be degraded, for example, the illegal results will not be included in the search results. there's a possibility that.
  • the illegal content is determined by using the number of illegal content and the illegal content rate in the contained content obtained by the search using the extracted words and phrases as an index for registration in the query generation dictionary. It is possible to create a high-quality query generation dictionary that can be detected with higher accuracy.
  • the query generation dictionary storage unit 12 stores a query generation dictionary.
  • the search query generation rule storage unit 13 stores a search query generation rule that is a rule for generating a search query.
  • the effective search query varies depending on the genre of illegal content to be searched.
  • the search query generation rule storage unit 13 stores, as search query generation rules, for example, rules on how to combine words for each genre of illegal content to be searched.
  • a search query generation rule there is a rule of generating a search query (for example, “title subtitle”) that combines a title of a content and a subtitle.
  • a rule of generating a search query for example, “title 20110101”, “title January 1, 2017” in which the title and date of the content are combined.
  • a rule of generating a search query for example, “title first episode”, “title ep.1” that combines a content title and a broadcast number.
  • a rule of generating a search query that combines a title of a content and a performer.
  • search query generation rule there is a rule of generating a search query that combines an abbreviation of a content title and a date.
  • search query generation rule there is a rule that a search query including a wobbling phrase of a content title is generated.
  • search query generation rule there is a rule of generating a search query that combines a foreign title notation of a content title and a date.
  • the above-described example is an example, and a search query can be generated by combining arbitrary meta information.
  • the search query generation unit 14 generates a search query using related terms registered in the query generation dictionary based on the title (regular title) and meta information of the regular content.
  • the search query generation unit 14 generates a search query according to the search query generation rules stored in the search query generation rule storage unit 13.
  • the effective search query differs depending on the genre of illegal content to be searched. Therefore, it is effective to generate a query using appropriate meta information depending on the genre of illegal content to be searched.
  • As a search query generation rule according to the genre of illegal content to be searched there is a rule of how to combine words for each genre of illegal content to be searched.
  • the search query generation unit 14 when generating a search query for searching for illegal content related to television broadcast content, if the content genre is variety, the search query generation unit 14 generates a search query including the broadcast date. If the genre of the content is drama / animation, a search query including a broadcast number is generated.
  • the query generation dictionary stores the related words and the illegal content rate for the contained content obtained by the search using the related words in association with each other.
  • the search query generation unit 14 may select a related phrase to be used for generating a search query based on the illegal content rate registered in the query generation dictionary. For example, the search query generation unit 14 may generate a search query by preferentially using related terms having a high illegal content rate among related terms registered in the query generation dictionary. By doing so, it can be expected to obtain a search result including many illegal contents.
  • the search query generation unit 14 outputs the generated search queries (search query 1 to search query N) to the collation candidate acquisition unit 15.
  • the collation candidate acquisition unit 15 searches the content acquisition source on the communication network using the search query output from the search query generation unit 14. Then, the collation candidate acquisition unit 15 determines the content searched as the content whose title matches the search query as the candidate content that is a candidate for illegal content, and acquires the identification information of the candidate content from the content acquisition source.
  • the identification information is information for uniquely identifying candidate content, and is, for example, an address of content on the Internet, that is, a URL.
  • the collation candidate acquisition unit 15 causes the content acquisition source to extract one or more contents having a title including the search query from the content group, based on the search query output from the search query generation unit 14. And the collation candidate acquisition part 15 determines a fixed number of content as candidate content among the content extracted by the content acquisition source, and acquires the identification information of candidate content. For example, the collation candidate acquisition unit 15 determines a predetermined number of contents having higher matching degrees as candidate contents among the contents extracted as having a high matching degree with the search query, and acquires identification information.
  • the number of candidate contents from which the collation candidate acquisition unit 15 acquires identification information is appropriate according to the posting tendency when the posting tendency of the content at the content acquisition source and the posting tendency of the content by the posting user are clear.
  • the content rate of illegal content can be increased.
  • a content acquisition source that tends to post a lot of illegal content for a specific genre (drama, animation, etc.) or a posting user with a high contribution rate of illegal content may set a large number of acquisitions. Good.
  • the number of acquisitions according to the content acquisition source / posting user's posting tendency may be held in advance by the collation candidate acquisition unit 15 as a setting parameter, for example, in a list format.
  • the collation candidate acquisition unit 15 outputs the identification information of the acquired candidate content (candidate content 1 to candidate content M) to the content profile acquisition unit 16.
  • the content profile acquisition unit 16 acquires a profile of candidate content identified by the identification information output from the verification candidate acquisition unit 15.
  • the candidate content profile is information related to the candidate content. For example, the title of the candidate content, the content length (such as the length of time), and the posting time (the elapsed time from the publication date of the regular content until the candidate content is posted)
  • the number of times of viewing, thumbnail images, content acquisition source, the number of subscriptions (the number of favorite registrations by site users), the number of comments attached to the content and the comment text, the number associated with illegal content, and the like are included.
  • a thumbnail image is a still image representing content that can be acquired from video content.
  • the acquisition standard of thumbnail images, the number of acquisitions, and the like vary depending on the content acquisition source.
  • the number associated with illegal content is the number of illegal content associated with candidate content.
  • the content profile acquisition unit 16 can acquire the number of illegal contents associated with the candidate content based on such association.
  • the number associated with illegal content is an important profile that contributes to the degree of illegality.
  • the profile of the candidate content includes the profile of the user who posted the candidate content, for example, the user account name, the date of creation of the user account, the summary of the user account, the number of subscribed user accounts, the posted content and related content. Title, deletion history of posted content, posting frequency of posted content, number of views and transition of posted content, presence / absence of illegal content posting history, content of illegal content, editing tendency type, etc. may be included .
  • the content profile acquisition unit 16 performs a video / audio collation with the regular content or a thumbnail image with the illegal content with respect to the content posted by the posting user in the past, whether there is an illegal content posting history, and illegal content in the posted content.
  • the content of is calculated. Note that these verifications are time-consuming. Therefore, the content profile acquisition unit 16 may make it possible to refer to the posting user who has acquired such information once by holding the acquired information in a list and periodically updating the list.
  • the content profile acquisition unit 16 determines the presence / absence of special editing processing such as editing by cutting, time expansion / contraction, and PinP (Picture in Picture) processing, and acquires the determination tendency type at the time of the above collation.
  • special editing processing such as editing by cutting, time expansion / contraction, and PinP (Picture in Picture) processing
  • the profile of candidate content may include a profile related to the topic level in the world.
  • the profile related to the topic level in the world includes, for example, scores or rankings of rapidly increasing phrases that can be acquired from a search service such as SNS (Social Networking Service) or news.
  • SNS Social Networking Service
  • a profile regarding the topic level in the world for example, when the candidate content is related to a television program, there is an audience rating of the television program.
  • the content profile acquisition unit 16 outputs the identification information of the candidate content (candidate content 1 to candidate content M) and the acquired profile to the exception content removal unit 17.
  • Exception content removal unit 17 determines the exception content that is the content to be removed from the illegal content candidates with a low probability of being an illegal content based on the candidate content profile output from content profile acquisition unit 16. Specifically, when the candidate content profile satisfies a predetermined condition, the exceptional content removing unit 17 determines the candidate content as the exceptional content and excludes the candidate content from the candidate content.
  • the predetermined condition is, for example, a condition that the user account of the posting user who posted the candidate content included in the profile is a regular user. Further, the predetermined condition is, for example, a condition that the posting time included in the profile is before the regular content is released. Further, the predetermined condition is, for example, a condition that the content length included in the profile is extremely short (for example, about several seconds). The predetermined condition is not limited to these, and may be an arbitrary condition indicating that there is a high possibility that the candidate content is not illegal content.
  • the exception content removal unit 17 outputs the identification information and profile of the candidate content that has not been removed as the exception content to the phishing content detection unit 18.
  • the phishing content detection unit 18 uses the candidate content profile output from the exception content removal unit 17 to detect phishing content that is illegal content that guides the user's browsing from the candidate content.
  • Candidate content includes content that looks like illegal content as if it were illegal content and tricks users who want to use illegal content to increase the number of views and playback, so-called phishing content May be.
  • Phishing content has the same characteristics as illegal content in profiles, such as titles, content lengths, and thumbnail images, which are guidelines for humans to determine the use of content. At first glance, it looks like illegal content Looks like.
  • the phishing content is content that is actually illegal content and is not subject to deletion by the right holder or the like. Such phishing content tends to be included in higher ranks in search results because many users use it by mistake, and may be included in candidate content in large numbers. Therefore, it is possible to improve the efficiency of searching illegal content by detecting phishing content and removing it from candidate content, or by lowering the priority of performing collation processing described later.
  • the phishing content detection unit 18 detects the candidate content as a phishing content candidate when the title included in the candidate content profile includes a regular title.
  • Phishing content tends to be posted by titles that include regular titles, unlike illegal content, in order to make it easier for users to find them. For this reason, the content of the title that includes the regular title as it is is likely to be phishing content. Therefore, when the regular title is included in the title of the candidate content, the phishing content detection unit 18 detects the candidate content as a phishing content candidate. The phishing content detection unit 18 narrows down phishing content (detection of phishing content) from candidate content detected as a phishing content candidate.
  • the first method uses a title of candidate content.
  • the phishing content detection unit 18 selects the candidate content. Is detected as phishing content.
  • the titles of phishing content tend to include words that are attractive to users of illegal content, such as “free” and “back tricks”. Therefore, content that includes such a predetermined character string in the title is highly likely to be phishing content. Therefore, the phishing content detection unit 18 detects the candidate content as the phishing content when the title of the candidate content detected as the phishing content candidate includes the above-described predetermined character string.
  • the predetermined character string used for detecting the phishing content can be extracted by a method similar to the above-described method of extracting the co-occurrence words / phrases using the title of the phishing content as learning data.
  • the phishing content detection unit 18 uses the candidate content as the phishing content. Detect as.
  • the phishing content detection unit 18 selects the candidate content. Is detected as phishing content.
  • the phishing content detection unit 18 determines that candidate content detected as phishing content is phishing content by any of the methods described above, for example.
  • the phishing content detection unit 18 has been described using an example in which, when a regular title is included in a title included in a candidate content profile, the candidate content is detected as a phishing content candidate. It is not limited to.
  • the phishing content detection unit 18 may detect candidate content whose regular title is included in the title of the profile as phishing content.
  • the phishing content DB 18a As described above, in the phishing content DB 18a, a predetermined character string that is highly likely to be included in the title of the phishing content and identification information of a user who has posted the phishing content are registered.
  • the phishing content detection accuracy can be improved by updating the phishing content DB 18 a based on the phishing content newly detected by the illegal content search apparatus 1.
  • the phishing content detection unit 18 outputs identification information and profiles of candidate content other than the candidate content determined to be phishing content to the detected illegal content removal unit 19. That is, the phishing content detection unit 18 removes the content determined to be phishing content from the candidate content. Alternatively, the phishing content detection unit 18 may add a flag indicating that the content is phishing content to the profile of the content determined to be phishing content, and output the flag to the detected illegal content removal unit 19. .
  • the detected illegal content removal unit 19 Based on the candidate content profile output from the phishing content detection unit 18, the detected illegal content removal unit 19 obtains the content of the profile that has the same identity as the detected illegal content profile (similarity is equal to or greater than a predetermined value). Detect.
  • the detected illegal content removing unit 19 determines that the candidate content of the profile having the same identity as the profile of the detected illegal content is illegal content without performing the verification process described later. As a result, it is possible to reduce the number of candidate contents to be verified with the regular contents and increase the efficiency of searching illegal contents.
  • the content detected by the detected illegal content removing unit 19 that has a profile that is identical to the profile of the detected illegal content and is estimated to be illegal content may be referred to as estimated illegal content. .
  • the detected illegal content removing unit 19 uses at least one of a thumbnail image, a content length, a content title, and a user account name as a profile serving as a determination criterion for identity.
  • the detected illegal content removing unit 19 determines that the candidate content whose profile described above matches or whose difference is equal to or less than a predetermined threshold is estimated illegal content. Then, the detected illegal content removing unit 19 adds a flag indicating that the content is illegal content to the content determined to be estimated illegal content, and adds the flag to a list of verified content described later. Further, the detected illegal content removing unit 19 removes candidate content determined to be estimated illegal content from the candidate content.
  • the detected illegal content profile needs to be registered in the illegal content profile DB 19a for processing by the detected illegal content removing unit 19. Therefore, in the initial state where the illegal content profile is not registered in the illegal content profile DB 19a, the processing by the detected illegal content removing unit 19 is not performed.
  • the detected illegal content removal unit 19 compares the thumbnail images included in the candidate content profile with the thumbnail images included in the detected illegal content profile registered in the illegal content profile DB 19a, and calculates the similarity. To do.
  • the comparison of thumbnail images is performed for all combinations of all thumbnail images included in the candidate content profile and all thumbnail images included in the detected illegal content profile. For example, when the number of thumbnail images included in the candidate content profile is four and the number of thumbnail images included in the detected illegal content profile is 100, the detected illegal content removal unit 19 performs 400 times per candidate content. Will be verified.
  • the detected illegal content removing unit 19 uses, for example, an algorithm such as dHash (difference ⁇ ⁇ ⁇ hash), which is not easily affected by the image editing process, for matching the thumbnail images.
  • thumbnail images are registered in association with the content obtained from the video posting site in advance and determined as illegal content by performing the video collation.
  • the detected illegal content removing unit 19 when one or more thumbnail images (similar thumbnail images) similar to one thumbnail image exist as thumbnail images included in the profile of the detected illegal content, You may exclude a thumbnail image from the object of collation with the thumbnail image of candidate content. By doing so, it is possible to reduce the load of collation processing.
  • the detected illegal content removing unit 19 outputs identification information and profiles of candidate content (candidate content 1 to candidate content P) other than the candidate content determined to be estimated illegal content to the collation priority calculating unit 22.
  • the illegal accuracy estimation model generation unit 20 generates an illegal accuracy estimation model that statistically learns the relationship between the content profile and the probability that the content is illegal content (illegal accuracy).
  • learning data for generating an illegal accuracy estimation model content profile data to which illegal / illegal labels are assigned is used. It is desirable that the illegal / non-illegal label is given by the operator visually checking the content and making an illegal / non-illegal determination.
  • An illegal / non-illegal judgment criterion may be, for example, whether or not the same location as the regular content includes a certain amount or more.
  • Statistic model can be any model that is suitable for language learning. However, since prioritization needs to be performed, it is desirable to use a model that can calculate the estimated illegal accuracy as a numerical value, such as SVM.
  • the specific method for generating the illegal accuracy estimation model can be any known method. For example, an example of the technique is described in “Introduction to Machine Learning for Language Processing (Supervised by Gaku Okumura, written by Daiya Takamura, Corona, p. 101-117)”.
  • the illegal accuracy estimation model generation unit 20 needs to convert the profile value to a value that is easy to handle when performing statistical learning.
  • a profile conversion example will be described.
  • the illegal accuracy estimation model generation unit 20 performs conversion based on, for example, the Bag-of-Words format in the case of texts such as content titles and user account names.
  • the illegal accuracy estimation model generation unit 20 assigns a label according to the number of appearances of a specific phrase in the text. For example, when the text includes “high quality” that is a word that appears characteristically in illegal content, the illegal accuracy estimation model generation unit 20 labels the text with “1”. Otherwise, a label of “0” is assigned to the text.
  • the illegal accuracy estimation model generation unit 20 assigns a label “1” to the text “Video title first episode high image quality HD”, and the text “Video title first episode” “ Label “0”.
  • the illegal accuracy estimation model generation unit 20 classifies the content length, posting time, number of views, content acquisition source, user posting history, etc. according to the values. For example, the illegal accuracy estimation model generation unit 20 classifies the content length into three classes: “10 minutes or less”, “10 minutes to 60 minutes”, and “60 minutes or more”. The illegal accuracy estimation model generation unit 20 classifies the posting time into three classes: “within one day”, “one day to one week”, and “one week or more”. Further, the illegal accuracy estimation model generation unit 20 classifies the number of viewing times into three classes: “1000 times or less”, “1000 to 10,000 times”, and “10000 times or more”.
  • the illegal accuracy estimation model generation unit 20 sets the content acquisition source as “A for video site 1”, “B for video site 2”, “C for summary site 1”, and so on. Classify into the same number of classes as the number of acquisition sources. Further, the illegal accuracy estimation model generation unit 20 indicates that the user's posting history is “1 if illegal content has been posted even once” and “0 if illegal content has never been posted”. Classify into two classes.
  • classifications and the classification threshold described above are merely examples, and appropriate values may be designed according to the distribution of learning data values, the design policy of an illegal accuracy estimation model, and the like. In the case of numerical values, classification may not be performed, and the values may be normalized and treated as continuous values.
  • the illegal accuracy estimation model storage unit 21 stores the illegal accuracy estimation model generated by the illegal accuracy estimation model generation unit 20.
  • the collation priority calculating section 22 determines whether or not the plurality of candidate contents are illegal contents. Priorities of a plurality of candidate contents for determination are calculated. That is, the collation priority calculation unit 22 determines the priority that is the order in which each of the plurality of candidate contents is subjected to collation processing with regular content described later. More specifically, the collation priority calculation unit 22 calculates the illegal accuracy of each candidate content based on the plurality of candidate content profiles output from the detected illegal content removal unit 19, and the higher the illegal accuracy content, Increase priority.
  • the matching process between candidate content and regular content takes time, and it is often difficult to collate all candidate content. Therefore, priority is determined in order to collate in descending order of illegal accuracy and to search for illegal content efficiently.
  • Priority can be determined by statistical learning or rule design. It is effective to design rules individually for profiles that significantly affect illegal accuracy independently, and to increase the priority of candidate content that conforms to the rules.
  • a plurality of profiles function in a complex manner to determine illegal accuracy, it is effective to use a method based on statistical learning that learns the relationship between the plurality of profiles and illegal accuracy.
  • statistical learning a large amount of learning data is required, so depending on the amount of learning data that can be prepared and the type of profile that can be acquired, select or combine effective methods to set the priority. Just decide.
  • the content title is a profile that functions more effectively by designing the rules.
  • content that includes a word or phrase close to a regular title is illegal content that the user wants to search. Therefore, it is effective to set a rule using the content title.
  • a method of designing a rule for determining the priority of candidate content in ascending order of edit distance between the title of the candidate content and the regular title, that is, in ascending order of the difference in character string from the regular title can be considered.
  • Another possible method is to design a rule that calculates not only the regular title but also the edit distance with related words (notation fluctuation words, foreign language notation) registered in the query generation dictionary.
  • the number of illegal contents and the illegal content rate registered in association with the related terms may be used for determining the priority.
  • the edit distance is calculated for a plurality of related terms having a high illegal content rate, and the priority is set based on a score obtained by adding these with weights. You may decide.
  • the content acquisition source is a profile that functions effectively by rule design. For example, it is considered that there is a high possibility that candidate content originating from an illegal content summary site that collects URLs of illegal content through human hands is illegal content. Therefore, a method of designing a rule for increasing the priority of candidate content whose illegal content summary site is a content acquisition source is also conceivable.
  • the collation priority calculation unit 22 sets the priority of candidate content derived from a predetermined content acquisition source (for example, an illegal content summary site) to candidate content derived from another content acquisition source. Higher than the priority of.
  • the collation priority calculation unit 22 may calculate the priority using the content length included in the candidate content profile.
  • the collation priority calculation unit 22 sets the priority of the candidate content as the content length of the candidate content is shorter than a predetermined value (for example, about several percent of the content length of the regular content) according to the content length of the regular content. It may be lowered.
  • the collation priority calculation unit 22 may calculate the priority using the posting time included in the candidate content profile. Generally, immediately after the regular content is released, the demand for illegal content related to the regular content increases, and the demand tends to decrease as time passes. Therefore, the number of posts of illegal content is large within a predetermined period after the regular content is released, and the number of posts of illegal content decreases after that period. Therefore, the collation priority calculation unit 22 may increase the priority of the candidate content as the posting time of the candidate content (the period from when the regular content is published until the candidate content is posted) is shorter.
  • the collation priority calculation unit 22 may use the number of candidate contents associated with illegal contents included in the candidate contents profile. In general, when the related content of the candidate content is illegal content, there is a high possibility that the candidate content is also illegal content. Therefore, the collation priority calculation unit 22 may increase the priority of the candidate content as the number of candidate contents associated with illegal content increases.
  • the collation priority calculation unit 22 may calculate the priority using the posting history of illegal content included in the candidate content profile. In general, there is a high possibility that candidate content posted by a user who has posted illegal content in the past is illegal content. Therefore, the collation priority calculation unit 22 may increase the priority of illegal content when the history of posting illegal content is included in the posting history, compared to the case where the history of posting illegal content is not included. .
  • the profile used by the collation priority calculation unit 22 for calculating the priority is merely an example, and the priority can be calculated using various items included in the profile of the candidate content.
  • the matching priority calculation unit 22 calculates the illegal accuracy using the illegal accuracy estimation model based on the profile of the candidate content output from the detected illegal content removal unit 19. The content is calculated, and the higher the priority is, the higher the calculated illegal accuracy is. Specifically, the collation priority calculation unit 22 inputs the candidate content profile into the illegal accuracy estimation model, and calculates illegal / illegal classification of the candidate content and illegal accuracy. And the collation priority calculation part 22 makes a priority high, so that the calculated illegal accuracy is high.
  • the collation priority calculation unit 22 may determine the priority by using not only the profile regarding the illegal accuracy of the content but also the profile regarding the topic level in the world.
  • the profile related to the topic level in the world corresponds to a rapidly increasing number of searches that can be acquired from a search service such as SNS and news, a program audience rating, and the like.
  • a search service such as SNS and news, a program audience rating, and the like.
  • the collation priority calculation unit 22 increases the priority of the candidate content as the public topic level is higher. By using a profile relating to the topic level in the world, an appropriate priority can be determined even in such a case.
  • the collation priority calculation part 22 determines a priority, for example using the score which weighted and added the score calculated from each statistical model.
  • the collation priority calculation unit 22 identifies identification information, profiles, and determined priorities of candidate content (candidate content 1 to candidate content P) excluding exceptional content, phishing content, and estimated illegal content detected by the detected illegal content removal unit 19
  • the degree is output to the collation parameter setting unit 23 and the content DL / collation unit 24.
  • the collation parameter setting unit 23 sets collation parameters used in the collation process based on the characteristics of the candidate content using a preset parameter list stored in advance.
  • the collation process is a process for determining whether the candidate content matches the regular content.
  • the setting parameter is, for example, a frame length and a matching method.
  • the frame length is the length of a frame that is a basic unit of verification in the verification process.
  • the collation method includes a method of performing collation using voice, a method of performing collation using images, and the like.
  • any known method can be used.
  • Media fingerprint technology for identifying music and video and its application (Takahito Kawanishi, et al., The Japan Society for Industrial, and Applied Mathematics, Applied Mathematics 21 (4), P.289-292, December 22, 2011” Describes an example of the technique.
  • the setting parameter list is a list in which appropriate settings are described corresponding to the candidate content profile or profile combination.
  • the profile of the candidate content used in the setting parameter list is for estimating the frame length necessary to ensure the accuracy of matching, and is, for example, a genre.
  • the genre of the candidate content is a sports mashup content
  • the candidate content is configured by editing a short video of about several seconds. Therefore, in the setting parameter list, for example, a setting of a short frame length (for example, about 2 to 3 seconds) corresponding to a genre called sports mashup content is described.
  • the content DL / collation unit 24 can perform collation processing with the set short frame length and accurately detect candidate content that matches the regular content.
  • the candidate content is a drama or a movie
  • the content length is several tens of minutes to several hours. Therefore, in the setting parameter list, for example, a setting of a long frame length (for example, about 5 minutes) is described corresponding to the genre of drama or movie. Accordingly, the content DL / collation unit 24 can perform collation processing with the set long frame length and accurately detect candidate content that matches the regular content.
  • the profile of the candidate content used in the setting parameter list may be an editing method, for example.
  • the editing technique is an editing technique performed on the content, and includes, for example, PinP for embedding another image (child frame) in the image (parent frame), time expansion and contraction, and the like.
  • the matching parameter setting unit 23 may determine the editing method of the candidate content based on the editing tendency type of the user acquired by the content profile acquisition unit 16.
  • the editing method of the candidate content is PinP and an image similar to the image of the regular content is embedded in another image
  • the candidate content is recognized as being different from the regular content as a whole image. For this reason, it is difficult to determine that the degree of coincidence between the candidate content and the regular content is high in the matching process using images. Therefore, in the setting parameter list, for example, a setting for performing voice collation for an editing method called PinP is described. Thereby, the content DL / collation unit 24 can collate by voice and accurately detect candidate content that matches the regular content.
  • the editing method of the candidate content is time expansion / contraction
  • the sound of the candidate content is greatly different from the sound of the regular content. Therefore, when the candidate content is obtained by expanding / contracting the regular content with time, it is difficult to determine that the matching degree between the candidate content and the regular content is high in the voice collation process. Therefore, in the setting parameter list, for example, a setting for performing collation with an image is described for an editing method called time expansion / contraction.
  • the content DL / collation unit 24 can collate with images and accurately detect candidate content that matches the regular content.
  • the content DL / collation unit 24 downloads (acquires) candidate content from the content acquisition source in descending order of priority calculated by the collation priority calculation unit 22. Then, the content DL / collation unit 24 collates the downloaded candidate content with the regular content according to the setting by the collation parameter setting unit 23 to determine whether the candidate content matches the regular content. The content DL / collation unit 24 determines that the candidate content that matches the regular content is illegal content.
  • the content DL / collation unit 24 may download candidate content having a long content length (for example, moving image content of several tens of minutes to several hours), and may start collation from the portion downloaded in parallel.
  • the content DL / collation unit 24 determines that the candidate content matches the regular content, the content DL / collation unit 24 stops the subsequent downloading of the candidate content.
  • the content DL / collation unit 24 then downloads and collates candidate content with the next highest priority. Thereby, the time required for collation of one candidate content can be shortened by the content DL / collation unit 24, that is, the number of candidate contents collated per unit time can be increased.
  • the content DL / collation unit 24 outputs the collated content list to the query generation dictionary update unit 25, the phishing content update unit 26, the illegal content profile update unit 27, and the illegal accuracy estimation model update unit 28 as a search result. Specifically, the content DL / collation unit 24 outputs the collated content identification information and profile as a search result.
  • the content DL / collation unit 24 outputs the identification information and profile of the candidate content together with a label indicating that the candidate content is illegal content.
  • the content DL / collation unit 24 outputs identification information and a profile of the candidate content determined to be phishing content together with a label indicating that the candidate content is phishing content.
  • the content DL / collation unit 24 determines, for example, candidate content that includes a regular title as a complete match in the title and whose collation degree with the regular content is a predetermined value or less as phishing content.
  • the query generation dictionary update unit 25 updates the illegal content title list to be input to the query generation dictionary creation unit 11 based on the search result of the content DL / collation unit 24. Specifically, the query generation dictionary update unit 25 determines that the content DL / collation unit 24 has a high degree of match with the regular content, that is, content labeled as illegal content. Profile (title and acquisition source) is extracted, the title list of illegal content is updated, and is output to the query generation dictionary creation unit 11.
  • the phishing content update unit 26 updates the phishing content DB 18a based on the search result of the content DL / collation unit 24. Specifically, the phishing content update unit 26 extracts a new phishing content profile (title, user account name of the posting user) from the search result of the content DL / collation unit 24, and registers it in the phishing content DB 18a. By doing so, it becomes possible to cope with the emergence of new characteristics of phishing content, and the detection accuracy of phishing content can be improved.
  • a new phishing content profile title, user account name of the posting user
  • the illegal content profile update unit 27 updates the illegal content profile DB 19a based on the search result of the content DL / collation unit 24. Specifically, the illegal content profile update unit 27 extracts the profile of the content labeled as illegal content from the search result of the content DL / collation unit 24, and registers it in the illegal content profile DB 19a. . By doing so, the amount of data used for removal of illegal content by the detected illegal content removal unit 19 can be increased, and the search for illegal content can be made more efficient.
  • the illegal accuracy estimation model update unit 28 updates the learning data used to generate the illegal accuracy estimation model based on the search result of the content DL / collation unit 24. Specifically, the illegal accuracy estimation model update unit 28 uses the search result of the content DL / collation unit 24 to determine the illegal / invalid determination result of each content and the profile of each content as an illegal accuracy estimation model generation unit. 20 is extracted as learning data for generating an illegal accuracy estimation model, and is output to the illegal accuracy estimation model generation unit 20. By doing so, the accuracy of the illegal accuracy estimation model generated by the illegal accuracy estimation model generation unit 20 can be increased, and the efficiency of searching illegal content can be improved.
  • FIG. 3 is a flowchart illustrating an example of an illegal content search method.
  • the query generation dictionary creation unit 11 extracts a related phrase related to a phrase included in the regular title from the list of illegal content titles, and creates a query generation dictionary in which the extracted related phrase is registered (step S11). ).
  • the search query generation unit 14 generates a search query based on the regular title using the related terms registered in the query generation dictionary (step S12).
  • the collation candidate acquisition unit 15 searches the content acquisition source based on the generated search query, and the candidate content is a candidate for illegal content obtained by the search. Identification information for identifying is acquired (step S13).
  • the content profile acquisition unit 16 acquires the profile of the candidate content (step S14).
  • the exception content removal unit 17 removes the exception content whose profile satisfies a predetermined condition from the candidate content based on the acquired profile (step S15).
  • the phishing content detection unit 18 detects, from the candidate content, phishing content that is illegal content that guides the user's browsing based on the candidate content profile. (Step S16).
  • the detected illegal content removing unit 19 is based on the candidate content profile, and the content (estimated) has the same profile as the detected illegal content profile. (Illegal content) is detected (step S17). Note that the processing by the exception content removal unit 17, the phishing content detection unit 18, and the detected illegal content removal unit 19 is to improve the efficiency of searching illegal content, and is necessarily essential for searching illegal content. It is not processing. Therefore, at least one of the processes performed by the exception content removal unit 17, the phishing content detection unit 18, and the detected illegal content removal unit 19 may be omitted.
  • the collation priority calculation unit 22 sets each candidate content profile with respect to each candidate content excluding exceptional content, phishing content, and estimated illegal content among the candidate content whose identification information has been acquired by the verification candidate acquisition unit 15. Based on this, the priority for determining whether each candidate content is illegal content is calculated (step S18).
  • the content DL / collation unit 24 downloads the candidate content from the content acquisition source in descending order of priority, and the downloaded candidate content is the regular content. To determine whether the candidate content is illegal content (step S19).
  • the illegal content search device 1 extracts a related word / phrase related to a word / phrase included in the title of the legal content from the title of the illegal content, and the extracted related word / phrase is It registers in a query generation dictionary for generating a search query used for searching for illegal content, and generates a search query using related terms registered in the query generation dictionary. For this reason, even if a non-right holder gives a title that appears to be directly unrelated to the title of the legitimate content to the illegal content, the search query used to extract the illegal content is generated appropriately. can do. Therefore, it is possible to appropriately search for illegal content.
  • the profile acquired by the content profile acquisition unit 16 can be applied to a harmful content search method. For example, when downloading candidate content of harmful content and determining whether the candidate content is harmful content, the probability of harmful content is calculated based on the profile of the candidate content, and based on the calculated accuracy Prioritization of determination may be performed. In this way, it is possible to make a determination in order from candidate contents that are likely to be harmful contents, and it is possible to improve the efficiency of searching for harmful contents. Also, if the profile that appears characteristically in harmful content is known, whether the candidate content is harmful content by comparing the profile of the candidate content with the profile that appears characteristically in harmful content Can be determined.
  • a program for executing each process performed by the computer functioning as the illegal content search apparatus 1 may be provided.
  • the program may be recorded on a computer readable medium. If a computer-readable medium is used, it can be installed on a computer.
  • the computer-readable medium on which the program is recorded may be a non-transitory recording medium.
  • the non-transitory recording medium is not particularly limited, but may be a recording medium such as a CD-ROM or a DVD-ROM.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Technology Law (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)

Abstract

違法コンテンツの探索の適切化を図る。　本発明に係る違法コンテンツ探索装置１は、違法コンテンツの検索に用いる検索クエリを生成するためのクエリ生成用辞書を記憶するクエリ生成用辞書記憶部１２と、違法コンテンツのタイトルから、正規コンテンツのタイトルに含まれる語句に関連する関連語句を抽出し、該抽出した関連語句を、違法コンテンツの検索に用いる検索クエリを生成するためのクエリ生成用辞書に登録するクエリ生成用辞書作成部１１と、クエリ生成用辞書に登録された関連語句を用いた検索クエリを生成する検索クエリ生成部１４と、を備える。

Description

違法コンテンツ探索装置、違法コンテンツ探索方法およびプログラム
　本発明は、正規コンテンツの権利を有さない非権利者により投稿された違法コンテンツを探索する違法コンテンツ探索装置、違法コンテンツ探索方法およびプログラムに関する。
　近年、通信ネットワーク技術の発展、および、スマートフォン、ＰＣ（Personal Computer）などの通信端末の進歩に伴い、動画などのコンテンツをアップロードおよびダウンロード可能なコンテンツ配信サイトが多数、開設されている。この種のコンテンツ配信サイトにおいては、ユーザはコンテンツを手軽にアップロードできるため、コンテンツ配信サイトにアップロードされるコンテンツ数が年々増加している。このようなコンテンツ配信サイトでは、正規コンテンツの権利を有さない非権利者により、正規コンテンツに関連する違法コンテンツが違法にアップロードされることが問題となっている。そのため、違法コンテンツを検知する技術が求められている。
　例えば、非特許文献１には、違法・有害文書に特徴的に出現する語句の抽出、および、文書内の係り受け関係にある分節組の学習により、違法・有害文書を検出する手法が記載されている。
　また、非特許文献２には、通信ネットワークを介してアクセスされ得る多数のサイトから有害サイトを検出する手法が記載されている。この手法では、有害サイトのＨＴＭＬ（Hyper Text Markup Language）に含まれる文字列をＳＶＭ（Support Vector Machine）により統計的に学習し、学習に基づいて抽出された文字列をＨＴＭＬに含むサイトを、有害サイトとして検出する。
池田　和史、他３名、「係り受け関係に基づく違法・有害情報の高精度検出方式の提案」、ＤＥＩＭ　Ｆｏｒｕｍ　２０１０　Ｃ９－５ 池田　和史、他５名、「ＨＴＭＬ要素に基づく有害サイト検出方法」、情報処理学会論文誌、Ｖｏｌ．５２、Ｎｏ．８、Ｐ．２４７４－２４８３
　上述したような違法コンテンツの探索においては、正規コンテンツのタイトルなどに基づき検索クエリを生成し、生成した検索クエリに基づき、コンテンツ配信サイトなどのコンテンツ取得元から違法コンテンツの候補である候補コンテンツが取得される。そして、取得された候補コンテンツと正規コンテンツとの照合により、候補コンテンツが違法コンテンツであるか否かが判定される。ここで、違法・有害文書に特徴的に出現する語句を検索クエリとして生成することで、ユーザが所望するコンテンツと関連のあるコンテンツが抽出される可能性が高くなった。
　しかしながら、違法コンテンツを投稿する非権利者は、該違法コンテンツが探索されるのを回避しつつも、正規のコンテンツとの関連性を閲覧者に認識させるようなタイトルを違法コンテンツに付与することがある。この場合、違法コンテンツを適切に抽出することができないことがある。
　上記のような問題点に鑑みてなされた本発明の目的は、違法コンテンツの探索の適切化を図ることができる違法コンテンツ探索装置、違法コンテンツ探索方法およびプログラムを提供することにある。
　上記課題を解決するため、本発明に係る違法コンテンツ探索装置は、正規コンテンツの権利を有さない非権利者により投稿された違法コンテンツを探索する違法コンテンツ探索装置において、前記違法コンテンツの検索に用いる検索クエリを生成するためのクエリ生成用辞書を記憶するクエリ生成用辞書記憶部と、前記違法コンテンツのタイトルから、前記正規コンテンツのタイトルに含まれる語句に関連する関連語句を抽出し、該抽出した関連語句を、前記違法コンテンツの検索に用いる検索クエリを生成するためのクエリ生成用辞書に登録するクエリ生成用辞書作成部と、前記クエリ生成用辞書に登録された前記関連語句を用いた検索クエリを生成する検索クエリ生成部と、を備える。
　また、上記課題を解決するため、本発明に係る違法コンテンツ探索方法は、正規コンテンツの権利を有さない非権利者により投稿された違法コンテンツを探索する違法コンテンツ探索方法において、前記違法コンテンツの検索に用いる検索クエリを生成するためのクエリ生成用辞書を記憶するステップと、前記違法コンテンツのタイトルから、前記正規コンテンツのタイトルに含まれる語句に関連する関連語句を抽出し、該抽出した関連語句を、前記違法コンテンツの検索に用いる検索クエリを生成するためのクエリ生成用辞書に登録するステップと、前記クエリ生成用辞書に登録された前記関連語句を用いた検索クエリを生成するステップと、を含む。
　また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記の違法コンテンツ探索装置として機能させる。
　本発明に係る違法コンテンツ探索装置、違法コンテンツ探索方法およびプログラムによれば、違法コンテンツの探索の適切化を図ることができる。
本発明の一実施形態に係る違法コンテンツ探索装置の構成例を示す機能ブロック図である。 図１に示すクエリ生成用辞書作成部が作成するクエリ生成用辞書の構成例を示す図である。 図１に示す違法コンテンツ探索装置が実行する違法コンテンツ探索方法の一例を示すフローチャートである。
　以下、本発明を実施するための形態について、図面を参照しながら説明する。
　図１は、本発明の一実施形態に係る違法コンテンツ探索装置１の構成例を示す機能ブロック図である。
　図１に示す違法コンテンツ探索装置１は、クエリ生成用辞書作成部１１と、クエリ生成用辞書記憶部１２と、検索クエリ生成規則記憶部１３と、検索クエリ生成部１４と、照合候補取得部１５と、コンテンツプロフィール取得部１６と、例外コンテンツ除去部１７と、フィッシングコンテンツ検知部１８と、検知済み違法コンテンツ除去部１９と、違法確度推定モデル生成部２０と、違法確度推定モデル記憶部２１と、照合優先度計算部２２と、照合用パラメータ設定部２３と、コンテンツＤＬ（Download：ダウンロード）・照合部２４と、クエリ生成用辞書更新部２５と、フィッシングコンテンツ更新部２６と、違法コンテンツプロフィール更新部２７と、違法確度推定モデル更新部２８とを備える。
　違法コンテンツ探索装置１は、正規コンテンツのタイトル（正規タイトル）およびメタ情報などに基づく検索クエリを用いて、インターネット上のコンテンツ取得元に記憶されている違法コンテンツを検索する。違法コンテンツは、正規コンテンツの権利を有さない非権利者により投稿された、正規コンテンツに関連するコンテンツである。メタ情報は、正規コンテンツに付随する属性情報である。メタ情報は、例えば、サブタイトル、コンテンツに登場する出演者、キャラクターの名称、放送回番号、放送日時、出演者、略称、コンテンツのジャンルなどを含む。
　コンテンツ取得元は、インターネット上に存在する、コンテンツの投稿、閲覧、ダウンロードなどが可能なサイトである。コンテンツ取得元は、投稿ユーザの要求に基づき、通信端末からのコンテンツの投稿を受け付け、投稿されたコンテンツを記憶する。また、コンテンツ取得元は、ユーザの要求に基づいて、記憶されているコンテンツを通信端末にダウンロードさせる。なお、コンテンツ取得元は、例えば、コンテンツ投稿サイトなどを管理するサーバ装置、複数台のサーバ装置により構成される分散システム、クラウドサービスなどである。また、「投稿する」とは、コンテンツをアップロードし、記憶させることである。また、「投稿ユーザ」とは、コンテンツ取得元を利用するユーザのうち、コンテンツを投稿するユーザである。
　コンテンツ取得元の例としては、ユーザ投稿型コンテンツ投稿サイト、ウェブ検索サイト、違法コンテンツのＵＲＬ（Uniform Resource Locator）まとめサイト、寄生型コンテンツ共有サイトなどがある。
　ユーザ投稿型コンテンツ投稿サイトは、検索クエリを用いて検索することで、そのサイトに投稿されているコンテンツを取得（閲覧、ダウンロードなど）することができるサイトである。ユーザ投稿型コンテンツ投稿サイトにおいては、検索結果は、サイト独自の基準でランク付けされている。
　ウェブ検索サイトは、検索クエリを用いて検索することで、インターネット上に存在するコンテンツを横断的に取得することができるサイトである。ウェブ検索サイトにおいては、検索結果は、サイト独自の基準でランク付けされている。
　違法コンテンツのＵＲＬまとめサイトは、サイト管理者が違法コンテンツへのリンクをまとめたサイトである。人手を介して運用されているため、違法コンテンツのＵＲＬまとめサイトを由来とするコンテンツは、違法コンテンツである可能性が高い。
　寄生型コンテンツ共有サイトは、ユーザ投稿型コンテンツ投稿サイトなど、他のサイトに投稿されているコンテンツを表示・再生することができるサイトである。
　上述したユーザ投稿型コンテンツ投稿サイトなどの中には、コンテンツごとに、そのコンテンツと関連度の高いコンテンツ（関連コンテンツ）を一定数、取得することができる機能が実装されたサイトがある。例えば、コンテンツを利用したユーザの多くが利用している別のコンテンツを関連コンテンツとするなど、関連コンテンツの特定には、サイト独自の基準が設けられている。関連コンテンツが関連付けられた元のコンテンツが違法コンテンツであれば、関連コンテンツも同じく違法コンテンツである可能性が高い。違法コンテンツ探索装置１は、このような関連コンテンツもコンテンツ取得元から取得する。関連コンテンツを取得することで、コンテンツのタイトルなどに基づく検索クエリを用いた検索では発見することができない違法コンテンツを発見することができる場合がある。ただし、発見したいコンテンツとは関係のないコンテンツが含まれることも多いため、関連コンテンツを用いるか否かは適宜、決定する必要がある。
　クエリ生成用辞書作成部１１は、違法コンテンツのタイトルから、正規コンテンツのタイトル（正規タイトル）に含まれる語句に関連する関連語句を抽出し、クエリ生成用辞書に登録する。クエリ生成用辞書は、違法コンテンツの検索に用いる検索クエリを生成するための語句が登録された辞書である。クエリ生成用辞書作成部１１は、関連語句として、正規タイトルに対する表記揺れ語句、外国語表記などを抽出し、抽出した語句をクエリ生成用辞書に登録する。
　また、クエリ生成用辞書作成部１１は、抽出した関連語句を用いてコンテンツ取得元を検索してもよい。クエリ生成用辞書作成部１１は、検索結果から、関連語句をタイトルに含むコンテンツ（含有コンテンツ）の数、含有コンテンツにおける違法コンテンツの数、および、含有コンテンツに対する違法コンテンツの比率（違法コンテンツ率）を取得し、関連語句に対応付けてクエリ生成用辞書に登録してもよい。すなわち、クエリ生成用辞書作成部１１は、関連語句をタイトルに含む含有コンテンツの数に対する、関連語句をタイトルに含む違法コンテンツの数である違法コンテンツ率を計算し、関連語句に対応付けてクエリ生成用辞書に登録してもよい。
　違法コンテンツを投稿する違法投稿ユーザは、投稿する違法コンテンツが権利者などから発見・削除されるのを避けるために、投稿する違法コンテンツのタイトルを、正規タイトルから故意に変形して投稿することが多い。例えば、違法コンテンツのタイトルは、正規タイトルの全部あるいは一部が、仮名変換、漢字変換、ローマ字または略称などの類似の語句（表記揺れ語句）に変換されることがある。また、違法コンテンツのタイトルは、正規タイトルの全部あるいは一部が、外国語表記に変換されることがある。このようなタイトルの変換が行われた違法コンテンツは、正規タイトルに基づいて生成した検索クエリを用いて検索しても、発見できないことがある。そのため、違法コンテンツで実際に使われた語句を取得し、検索クエリを生成するためのクエリ生成用辞書に登録することで、より広範囲の違法コンテンツを収集することができる。
　図２は、クエリ生成用辞書作成部１１が生成するクエリ生成用辞書の構成例を示す図である。
　図２に示すように、クエリ生成用辞書作成部１１は、正規コンテンツのタイトルをクエリ生成用辞書に登録する。また、クエリ生成用辞書作成部１１は、「正規タイトル」、「サブタイトル」、「放送日」などの、検索クエリの生成に用いる語句（表記）に対する表記揺れ語句、外国語表記などの、違法コンテンツで実際に利用された表記を関連語句としてクエリ生成用辞書に登録する。また、クエリ生成用辞書作成部１１は、登録した語句が、正規タイトルから得られた正規表現であるのか、表記揺れ語句であるのか、外国語表記であるのかといった、その語句の種別を、クエリ生成用辞書に登録する。
　また、クエリ生成用辞書作成部１１は、コンテンツ取得元を検索して、抽出した関連語句をタイトルに含む含有コンテンツの数、含有コンテンツに対する、関連語句をタイトルに含む違法コンテンツの数、および、含有コンテンツに対する違法コンテンツの比率である違法コンテンツ率を求め、関連語句に対応付けてクエリ生成用辞書に登録してもよい。含有コンテンツの数、含有コンテンツに対する違法コンテンツの数および違法コンテンツ率のような、違法コンテンツの発見に有用な指標を取得・登録することで、検索クエリ生成のために、より有用な辞書を作成することができる。
　本実施形態に係る違法コンテンツ探索装置１においては、違法であることが既知のコンテンツのタイトルから関連語句を抽出し、クエリ生成用辞書の登録語句数を増やすことを前提としている。そのため、クエリ生成用辞書作成部１１は、人手を介して違法・非違法のラベルが付与されたタイトル、後述するコンテンツＤＬ・照合部２４により違法コンテンツであると判定されたコンテンツのタイトルなどを用いて、関連語句の収集および辞書登録を行う。コンテンツＤＬ・照合部２４により違法コンテンツであると判定されたコンテンツのタイトルを用いる場合、違法コンテンツのタイトルが十分な量だけ収集されるまでは、使用頻度が高い表記揺れ語句などを外部リソースから取得する、あるいは、予め定められたルールに従い生成するなどして、初期状態の語句として、クエリ生成用辞書に登録してもよい。具体的には、正規タイトルを平仮名表記に変換した語句、正規タイトルをローマ字表記に変換した語句、インターネット上の辞書サイトなどから取得した外国語表記などを、初期状態の語句として、クエリ生成用辞書に登録してもよい。
　以下では、違法コンテンツのタイトルから表記揺れ語句および外国語表記を取得し、クエリ生成用辞書に登録する手順について説明する。まず、違法コンテンツのタイトルから表記揺れ語句を取得し、クエリ生成用辞書に登録する手順について説明する。
　クエリ生成用辞書作成部１１は、違法コンテンツのタイトル一覧から、クエリ生成用辞書に登録済みの語句が完全一致で含まれないタイトル群を抽出し、処理対象とする。すなわち、クエリ生成用辞書作成部１１は、クエリ生成用辞書に登録済みの語句が完全一致で含まれるタイトルを処理対象から除外する。
　次に、クエリ生成用辞書作成部１１は、抽出したタイトル群に対して言語解析（例えば、形態素解析）を行い、コンテンツのタイトルのテキストを語句分割する。
　次に、クエリ生成用辞書作成部１１は、言語解析により得られた語句（コンテンツのタイトルを分割した語句）のうち、出現頻度が所定値より高い語句を抽出する。なお、語句の抽出の基準は、言語解析により特定の品詞に分類された語句、構文解析でタイトル部位として判定された語句などでもよい。
　次に、クエリ生成用辞書作成部１１は、抽出した語句について、クエリ生成用辞書に登録されている語句との編集距離を計算する。すなわち、クエリ生成用辞書作成部１１は、違法コンテンツのタイトルに含まれる語句の、クエリ生成用辞書に登録されている語句との編集距離を計算する。具体的には、クエリ生成用辞書作成部１１は、違法コンテンツのタイトルに含まれる語句のうち、出現頻度が所定値より高い語句について、クエリ生成用辞書に登録されている語句との編集距離を計算する。なお、編集距離とは、２つの文字列がどの程度異なっているかを示す距離の一種である。編集距離は、１文字の挿入・削除・置換によって、一方の文字列を他方の文字列に変形するのに必要な手順の最小回数として定義される。編集距離が小さいほど、２つの文字列間の差分が少ないことを示している。クエリ生成用辞書作成部１１は、編集距離が所定値以下である語句を表記揺れ語句として抽出する。
　次に、クエリ生成用辞書作成部１１は、クエリ生成用辞書に登録されている語句との編集距離が所定値以下である語句を検索クエリとして、コンテンツ取得元に対するコンテンツの検索を行う。そして、クエリ生成用辞書作成部１１は、検索により得られた含有コンテンツの数が上位の所定数の語句に対して、含有コンテンツにおける違法コンテンツの数および違法コンテンツ率を求め、これらの値が一定値以上の語句を、関連語句（表記揺れ語句）として、クエリ生成用辞書に登録する。クエリ生成用辞書作成部１１は、クエリ生成用辞書に登録されている語句との編集距離が所定値以下である語句を、関連語句（表記揺れ語句）として、クエリ生成用辞書に登録してもよい。ただし、後述するように、抽出した語句を用いた検索により得られた含有コンテンツにおける違法コンテンツの数および違法コンテンツ率を、クエリ生成用辞書への登録の指標とすることで、より質の高いクエリ生成用辞書を作成することができる。なお、クエリ生成用辞書作成部１１は、検索したコンテンツが違法であるか否かは、動画・音声照合により判断する。
　表記揺れ語句を抽出する対象の違法コンテンツとしては、通常の検索により得られるコンテンツ以外のコンテンツ、例えば、関連コンテンツあるいは違法コンテンツのＵＲＬまとめサイトを由来とするコンテンツを用いることが望ましい。これらのコンテンツには、通常の検索では発見できないコンテンツが含まれることが多く、新たな表記揺れ語句を取得することができる可能性が高い。ただし、関連コンテンツには、違法でないコンテンツも多く含まれることがあるため、語句の抽出前に、動画・音声照合を行い、違法であると判定したコンテンツのみを用いることが望ましい。
　次に、違法コンテンツのタイトルから外国語表記を取得し、クエリ生成用辞書に登録する２つの手順について説明する。まず、違法コンテンツのタイトルから外国語表記を取得し、クエリ生成用辞書に登録するための、１つ目の手順について説明する。１つ目の手順は、日本語タイトルと併記されている外国語タイトルから外国語表記を取得する手順である。
　クエリ生成用辞書作成部１１は、違法コンテンツのタイトルに対して言語解析を行い、コンテンツのタイトルのテキストを語句分割する。
　次に、クエリ生成用辞書作成部１１は、言語解析により得られた語句のうち、日本語タイトル（正規タイトルおよびクエリ生成用辞書に登録されている関連語句（表記揺れ語句））に対する共起の出現頻度が所定値以上である共起語句を抽出する。共起語句は、例えは、Ｗｏｒｄ２Ｖｅｃなどの統計モデルを用いて抽出することができる。
　次に、クエリ生成用辞書作成部１１は、抽出した共起語句に対して言語判定を行い、外国語と判定された語句を外国語表記として抽出する。
　次に、クエリ生成用辞書作成部１１は、外国語表記として抽出した語句を検索クエリとして、コンテンツ取得元に対するコンテンツの検索を行う。そして、クエリ生成用辞書作成部１１は、検索により得られた含有コンテンツの数が上位の所定数の語句に対して、含有コンテンツにおける違法コンテンツの数および違法コンテンツ率を求め、これらの値が一定値以上の語句を、関連語句（外国語表記）として、クエリ生成用辞書に登録する。なお、クエリ生成用辞書作成部１１は、検索したコンテンツが違法であるか否かは、動画・音声照合により判断する。
　クエリ生成用辞書作成部１１は、違法コンテンツのタイトルから、正規コンテンツのタイトル、または、クエリ生成用辞書に登録されている関連語句（表記揺れ語句）と共起する頻度が所定値以上である共起語句を抽出し、抽出した共起語句が、正規コンテンツのタイトルとは異なる言語である場合、その共起語句を関連語句（外国語表記）として、クエリ生成用辞書に登録してもよい。ただし、後述するように、抽出した語句を用いた検索により得られた含有コンテンツにおける違法コンテンツの数および違法コンテンツ率を、クエリ生成用辞書への登録の指標とすることで、より質の高いクエリ生成用辞書を作成することができる。
　次に、違法コンテンツのタイトルから外国語表記を取得し、クエリ生成用辞書に登録するための、２つ目の手順について説明する。２つ目の手順は、日本語タイトルを外国語に翻訳して外国語表記を取得する手順である。
　クエリ生成用辞書作成部１１は、日本語の正規タイトルを外国語に翻訳する。ここで、クエリ生成用辞書作成部１１は、日本語の正規タイトルの単純な直訳だけでなく、シソーラス（類語辞典）から類似の意味を有する単語を抽出して用いてもよい。こうすることで、様々なバリエーションの外国語表記を生成することができる。
　次に、クエリ生成用辞書作成部１１は、翻訳した語句を検索クエリとして、コンテンツ取得元に対するコンテンツの検索を行う。そして、クエリ生成用辞書作成部１１は、検索により得られた含有コンテンツの数が上位の一定数の語句に対して、含有コンテンツにおける違法コンテンツの数および違法コンテンツ率を求め、これらの値が一定値以上の語句を、関連語句（外国語表記）として、クエリ生成用辞書に登録する。なお、クエリ生成用辞書作成部１１は、検索したコンテンツが違法であるか否かは、動画・音声照合により判断する。
　クエリ生成用辞書作成部１１は、正規コンテンツのタイトルを、そのタイトルを示す言語とは異なる言語に変換した語句を、関連語句（外国語表記）として、クエリ生成用辞書に登録してもよい。ただし、後述するように、抽出した語句を用いた検索により得られた含有コンテンツにおける違法コンテンツの数および違法コンテンツ率を、クエリ生成用辞書への登録の指標とすることで、より質の高いクエリ生成用辞書を作成することができる。
　上述した、違法コンテンツのタイトルから関連語句を取得し、クエリ生成用辞書に登録する手順において、言語解析の目的は、コンテンツのタイトルのテキストを語句分割することである。言語解析には種々の手法が存在するが、形態素解析、構文解析による単語分割、あるいは、ＣＲＦ（Conditional random field）などの統計モデルを用いてタスクに対して適切な分割を学習・利用するのが一般的な手法である。
　日本語を対象とする場合は、形態素解析で十分な場合が多い。一方、外国語を対象とする場合は、一般的な形態素解析器では、分割精度が低下することがある。そのため、ＣＲＦなどの統計学習方式を用いて外国語の語句分割を学習したモデルを用いることが望ましい。また、十分な学習データを用意することができる場合には、日本語を対象とする場合にも、語句分割のための専用の統計モデルを構築・利用した方が、高精度な語句分割を行うことができることがある。そのため、言語解析の手法は適宜、選択することができる。十分な学習データを用意することができない場合には、区切り文字（スペース、コロン、カギカッコなど）の辞書を用意し、ルールを設計することで、自動的に語句分割を行うことも可能である。形態素解析を用いる方法では、分割精度が、形態素解析の辞書の規模に依存する。一方、上述した区切り文字を用いた方法では、辞書の規模に依存しないため、形態素解析を用いる方法と比べて、状況によっては、より高精度な語句分割を行うことができる。
　また、上述した、違法コンテンツのタイトルから関連語句を取得し、クエリ生成用辞書に登録する手順においては、抽出した語句を用いた検索により得られた含有コンテンツにおける違法コンテンツの数および違法コンテンツ率を、クエリ生成用辞書への登録の指標としている。上述したように、クエリ生成用辞書は、違法コンテンツを検索するための検索クエリの生成に用いられる。ここで、違法コンテンツのタイトルにおける語句の出現頻度のみを基準として、クエリ生成用辞書への語句の登録数を増加させても、検索結果に違法コンテンツが含まれないなど、検索結果の質が低下する可能性がある。そこで、本実施形態のように、抽出した語句を用いた検索により得られた含有コンテンツにおける違法コンテンツの数および違法コンテンツ率を、クエリ生成用辞書への登録の指標とすることで、違法コンテンツをより高精度に検出可能な、質の高いクエリ生成用辞書を作成することができる。
　図１を再び参照すると、クエリ生成用辞書記憶部１２は、クエリ生成用辞書を記憶する。
　検索クエリ生成規則記憶部１３は、検索クエリを生成するための規則である検索クエリ生成規則を記憶する。一般に、検索したい違法コンテンツのジャンルによって、有効な検索クエリは異なる。検索クエリ生成規則記憶部１３は、検索クエリ生成規則として、例えば、検索したい違法コンテンツのジャンルごとの語句の組み合わせ方の規則などを記憶する。
　検索クエリ生成規則の一例としては、コンテンツのタイトルとサブタイトルとを組み合わせた検索クエリ（例えば、「タイトルサブタイトル」）を生成するという規則がある。また、別の検索クエリ生成規則として、コンテンツのタイトルと日付とを組み合わせた検索クエリ（例えば、「タイトル２０１７０１０１」、「タイトル２０１７年１月１日」）を生成するという規則がある。また、さらに別の検索クエリ生成規則として、コンテンツのタイトルと放送回番号とを組み合わせた検索クエリ（例えば、「タイトル第１話」、「タイトルｅｐ．１」）を生成するという規則がある。さらに別の検索クエリ生成規則として、コンテンツのタイトルと出演者とを組み合わせた検索クエリを生成するという規則がある。さらに別の検索クエリ生成規則として、コンテンツのタイトルの略称と日付とを組み合わせた検索クエリを生成するという規則がある。さらに別の検索クエリ生成規則として、コンテンツのタイトルの表記揺れ語句を含む検索クエリを生成するという規則がある。さらに別の検索クエリ生成規則として、コンテンツのタイトルの外国語表記と日付とを組み合わせた検索クエリを生成するという規則がある。なお、上述した例は一例であり、任意のメタ情報を組み合わせて、検索クエリを生成することができる。
　検索クエリ生成部１４は、正規コンテンツのタイトル（正規タイトル）およびメタ情報に基づき、クエリ生成用辞書に登録されている関連語句を用いて検索クエリを生成する。ここで、検索クエリ生成部１４は、検索クエリ生成規則記憶部１３に記憶されている検索クエリ生成規則に従い、検索クエリを生成する。上述したように、検索したい違法コンテンツのジャンルによって、有効な検索クエリは異なる。したがって、検索したい違法コンテンツのジャンルによって、適切なメタ情報を用いてクエリを生成することが効果的である。検索したい違法コンテンツのジャンルに応じた検索クエリ生成規則としては、検索したい違法コンテンツのジャンルごとの語句の組み合わせ方の規則などがある。この規則に従い、テレビ放送されたコンテンツに関連する違法コンテンツを検索するための検索クエリを生成する場合、検索クエリ生成部１４は、コンテンツのジャンルがバラエティであれば、放送日付を含む検索クエリを生成し、コンテンツのジャンルがドラマ・アニメであれば、放送回番号を含む検索クエリを生成する。
　上述したように、クエリ生成用辞書には、関連語句と、その関連語句を用いた検索により得られた含有コンテンツに対する違法コンテンツ率とが対応付けて記憶されている。検索クエリ生成部１４は、クエリ生成用辞書に登録されている違法コンテンツ率に基づいて、検索クエリの生成に用いる関連語句を選択してもよい。例えば、検索クエリ生成部１４は、クエリ生成用辞書に登録されている関連語句のうち、違法コンテンツ率が高い関連語句を優先的に用いて検索クエリを生成してもよい。こうすることで、違法コンテンツを多く含む検索結果を得ることが期待できる。
　検索クエリ生成部１４は、生成した検索クエリ（検索クエリ１～検索クエリＮ）を照合候補取得部１５に出力する。
　照合候補取得部１５は、検索クエリ生成部１４から出力された検索クエリを用いて、通信ネットワーク上のコンテンツ取得元を検索する。そして、照合候補取得部１５は、検索クエリにタイトルが合致するコンテンツとして検索されたコンテンツを、違法コンテンツの候補である候補コンテンツとして決定し、候補コンテンツの識別情報をコンテンツ取得元から取得する。識別情報は、候補コンテンツを一意に識別するための情報であり、例えば、インターネット上のコンテンツのアドレス、すなわち、ＵＲＬなどである。
　具体的には、照合候補取得部１５は、検索クエリ生成部１４から出力された検索クエリにより、コンテンツ取得元にコンテンツ群の中から検索クエリを含むタイトルを有する１以上のコンテンツを抽出させる。そして、照合候補取得部１５は、コンテンツ取得元により抽出されたコンテンツのうち、一定数のコンテンツを候補コンテンツとして決定し、候補コンテンツの識別情報を取得する。例えば、照合候補取得部１５は、検索クエリとの合致度が高いとして抽出されたコンテンツのうち、合致度が上位の所定数のコンテンツを候補コンテンツとして決定し、識別情報を取得する。
　照合候補取得部１５が識別情報を取得する候補コンテンツの件数は、コンテンツ取得元におけるコンテンツの投稿傾向、および、投稿ユーザによるコンテンツの投稿傾向が明らかである場合には、その投稿傾向に応じた適切な値を設定することで、違法コンテンツの含有率を高めることができる。例えば、特定のジャンル（ドラマ、アニメなど）について違法コンテンツが多く投稿される傾向があるコンテンツ取得元、あるいは、違法コンテンツの投稿率が高い投稿ユーザについては、取得件数を多く設定するなどしてもよい。コンテンツ取得元／投稿ユーザの投稿傾向に応じた取得件数は予め、設定パラメータとして、例えば、リスト形式で照合候補取得部１５が保持していてもよい。
　照合候補取得部１５は、取得した候補コンテンツ（候補コンテンツ１～候補コンテンツＭ）の識別情報をコンテンツプロフィール取得部１６に出力する。
　コンテンツプロフィール取得部１６は、照合候補取得部１５から出力された識別情報で識別される候補コンテンツのプロフィールを取得する。候補コンテンツのプロフィールは、候補コンテンツに関連する情報であり、例えば、候補コンテンツのタイトル、コンテンツ長（時間長など）、投稿時間（正規コンテンツの公開日から候補コンテンツが投稿されるまでの経過時間）、視聴回数、サムネイル画像、コンテンツ取得元、サブスクライブ数（サイトユーザによるお気に入り登録数）、コンテンツに付けられたコメント数およびコメント本文、違法コンテンツに関連付けられた数などが含まれる。
　サムネイル画像とは、動画コンテンツから取得できる、コンテンツを代表する静止画像である。サムネイル画像の取得基準、取得枚数などは、コンテンツ取得元によって異なる。また、違法コンテンツに関連付けられた数とは、候補コンテンツに関連付けられた違法コンテンツの数である。違法コンテンツ探索装置１においては、探索した違法コンテンツごとに、その違法コンテンツの関連コンテンツとの関連付けを記憶しておくことができる。コンテンツプロフィール取得部１６は、このような関連付けに基づき、候補コンテンツに関連付けられた違法コンテンツの数を取得することができる。違法コンテンツに関連付けられた数は、違法度合いに寄与する重要なプロフィールである。
　また、候補コンテンツのプロフィールには、候補コンテンツを投稿したユーザのプロフィール、例えば、ユーザアカウント名、ユーザアカウントの作成日、ユーザアカウントの概要文、ユーザアカウントのサブスクライブ数、投稿したコンテンツおよび関連コンテンツのタイトル、投稿したコンテンツの削除履歴、投稿したコンテンツの投稿頻度、投稿したコンテンツの視聴回数およびその推移、違法コンテンツの投稿履歴の有無、違法コンテンツの含有率、編集傾向種別などが含まれてもよい。
　コンテンツプロフィール取得部１６は、投稿ユーザが過去に投稿したコンテンツについて、正規コンテンツとの動画・音声照合あるいは違法コンテンツとのサムネイル画像の照合を行い、違法コンテンツの投稿履歴の有無および投稿コンテンツにおける違法コンテンツの含有率を計算する。なお、これらの照合は手間がかかる。そのため、コンテンツプロフィール取得部１６は、これらの情報を一度取得した投稿ユーザについては、取得した情報をリストに保持して参照可能とし、定期的にリストを更新するようにしてもよい。また、コンテンツプロフィール取得部１６は、上記の照合時に、例えば、カットによる編集、時間伸縮、ＰｉｎＰ（Picture in Picture）処理などの、特殊編集処理の有無を判定し、判定傾向種別を取得する。一般に、上述したような特殊編集処理が施されたコンテンツは、違法コンテンツである可能性が高い。
　また、候補コンテンツのプロフィールには、世間での話題度に関するプロフィールが含まれてもよい。世間での話題度に関するプロフィールとしては、例えば、ＳＮＳ（Social Networking Service）、ニュースなどの検索サービスから取得できる、検索数の急上昇語句のスコアあるいはランキングがある。また、世間での話題度に関するプロフィールとしては、例えば、候補コンテンツがテレビ番組に関連するものである場合、そのテレビ番組の視聴率などがある。
　世間での話題度が高いコンテンツは、違法コンテンツの需要も高く、違法コンテンツが多く投稿される可能性が高い。上述したような、世間での話題度を示すプロフィールの取得は、違法コンテンツの効率的な探索に有用である。
　コンテンツプロフィール取得部１６は、候補コンテンツ（候補コンテンツ１～候補コンテンツＭ）の識別情報および取得したプロフィールを例外コンテンツ除去部１７に出力する。
　例外コンテンツ除去部１７は、コンテンツプロフィール取得部１６から出力された候補コンテンツのプロフィールに基づいて、違法コンテンツである確率が低く、違法コンテンツの候補から除去するコンテンツである例外コンテンツを決定する。具体的には、例外コンテンツ除去部１７は、候補コンテンツのプロフィールが所定の条件を満たす場合、その候補コンテンツを例外コンテンツとして決定し、候補コンテンツから除外する。所定の条件は、例えば、プロフィールに含まれる候補コンテンツを投稿した投稿ユーザのユーザアカウントが正規ユーザであるという条件である。また、所定の条件は、例えば、プロフィールに含まれる投稿時間が、正規コンテンツの公開より前であるという条件である。また、所定の条件は、例えば、プロフィールに含まれるコンテンツ長が、極端に短い（例えば、数秒程度）という条件である。所定の条件はこれらに限られず、候補コンテンツが違法コンテンツでない可能性が高いことを示す任意の条件とすることができる。
　例外コンテンツ除去部１７は、例外コンテンツとして除去されなかった候補コンテンツの識別情報およびプロフィールをフィッシングコンテンツ検知部１８に出力する。
　フィッシングコンテンツ検知部１８は、例外コンテンツ除去部１７から出力された候補コンテンツのプロフィールを用いて、候補コンテンツの中から、ユーザの閲覧を誘導する非違法なコンテンツであるフィッシングコンテンツを検知する。
　候補コンテンツの中には、非違法なコンテンツをあたかも違法コンテンツのように見せかけて、違法コンテンツを利用しようとするユーザを騙して視聴数・再生数を増加させようとするコンテンツ、いわゆるフィッシングコンテンツが含まれることがある。フィッシングコンテンツは、タイトル、コンテンツ長、サムネイル画像などの、人間がコンテンツの利用を判断する際の指針となるプロフィールにおいて、違法コンテンツと同じような特徴を有しており、一見すると、違法コンテンツのように見える。フィッシングコンテンツは、実際のコンテンツの内容自体は非違法な内容で構成されており、権利者などによる削除の対象とならないコンテンツである。このようなフィッシングコンテンツは、誤って利用するユーザが多いことから、検索結果の上位に多く含まれる傾向にあり、候補コンテンツの中にも多く含まれることがある。そこで、フィッシングコンテンツを検知し、候補コンテンツから除去する、もしくは、後述する照合処理を行う優先度を下げることで、違法コンテンツの探索の効率化を図ることができる。
　以下では、フィッシングコンテンツの検知方法の例について説明する。
　まず、候補コンテンツのタイトルを用いた検知方法について説明する。
　フィッシングコンテンツ検知部１８は、候補コンテンツのプロフィールに含まれるタイトルに正規タイトルが含まれる場合、その候補コンテンツをフィッシングコンテンツの候補として検知する。
　フィッシングコンテンツは、ユーザから発見されやすくするため、違法コンテンツとは異なり、正規タイトルをそのまま含むタイトルで投稿される傾向がある。そのため、正規タイトルをそのまま含むタイトルのコンテンツは、フィッシングコンテンツである可能性が高い。したがって、フィッシングコンテンツ検知部１８は、候補コンテンツのタイトルに正規タイトルが含まれる場合、その候補コンテンツをフィッシングコンテンツの候補として検知する。そして、フィッシングコンテンツ検知部１８は、フィッシングコンテンツの候補として検知した候補コンテンツから、フィッシングコンテンツの絞り込み（フィッシングコンテンツの検知）を行う。
　次に、フィッシングコンテンツの絞り込みを行う方法について説明する。１つめの方法は、候補コンテンツのタイトルを用いた方法である。
　フィッシングコンテンツ検知部１８は、フィッシングコンテンツの候補として検知した候補コンテンツのプロフィールに含まれるタイトルに、予めフィッシングコンテンツデータベース（ＤＢ：Database）１８ａに登録された所定の文字列が含まれる場合、その候補コンテンツをフィッシングコンテンツとして検知する。
　フィッシングコンテンツのタイトルには、例えば、「無料」、「裏技」などの、違法コンテンツの利用者が魅力的に感じる語句が含まれる傾向がある。そのため、このような所定の文字列をタイトルに含むコンテンツは、フィッシングコンテンツである可能性が高い。したがって、フィッシングコンテンツ検知部１８は、フィッシングコンテンツの候補として検知した候補コンテンツのタイトルに、上述したような所定の文字列が含まれる場合、その候補コンテンツをフィッシングコンテンツとして検知する。なお、フィッシングコンテンツの検知に用いる所定の文字列は、フィッシングコンテンツのタイトルを学習データとし、上述した共起語句を抽出した方法と同様の方法により抽出することができる。
　次に、フィッシングコンテンツの絞り込みを行う２つめの方法について説明する。この検知方法では、フィッシングコンテンツＤＢ１８ａに、フィッシングコンテンツを投稿したことがある投稿ユーザの識別情報（ユーザアカウント名）のリストが登録されているものとする。
　フィッシングコンテンツ検知部１８は、フィッシングコンテンツの候補として検知した候補コンテンツのプロフィールに含まれる、その候補コンテンツの投稿ユーザの識別情報が、予めフィッシングコンテンツＤＢ１８ａに登録されている場合、その候補コンテンツをフィッシングコンテンツとして検知する。
　フィッシングコンテンツを投稿するユーザは、違法コンテンツを投稿するユーザと比べて、アカウントが削除されにくいという傾向がある。また、フィッシングコンテンツを投稿するユーザは、フィッシングコンテンツのみを投稿する傾向がある。そのため、フィッシングコンテンツ検知部１８は、フィッシングコンテンツを投稿したことがあるユーザの識別情報をリスト化して管理するフィッシングコンテンツＤＢ１８ａに、候補コンテンツの投稿ユーザの識別情報が登録されている場合、その候補コンテンツをフィッシングコンテンツとして検知する。
　フィッシングコンテンツ検知部１８は、例えば、上述した方法のいずれかにより、フィッシングコンテンツであると検知された候補コンテンツを、フィッシングコンテンツであると判定する。なお、上述した例では、フィッシングコンテンツ検知部１８は、候補コンテンツのプロフィールに含まれるタイトルに正規タイトルが含まれる場合、その候補コンテンツをフィッシングコンテンツの候補として検知する例を用いて説明したが、これに限られるものではない。フィッシングコンテンツ検知部１８は、正規タイトルがプロフィールのタイトルに含まれる候補コンテンツを、フィッシングコンテンツとして検知してもよい。
　上述したように、フィッシングコンテンツＤＢ１８ａには、フィッシングコンテンツのタイトルに含まれる可能性が高い所定の文字列、および、フィッシングコンテンツを投稿したことがあるユーザの識別情報が登録される。違法コンテンツ探索装置１において新たに検知されたフィッシングコンテンツに基づき、フィッシングコンテンツＤＢ１８ａを更新することで、フィッシングコンテンツの検知精度の向上を図ることができる。
　フィッシングコンテンツ検知部１８は、フィッシングコンテンツであると判定した候補コンテンツ以外の候補コンテンツの識別情報およびプロフィールを検知済み違法コンテンツ除去部１９に出力する。すなわち、フィッシングコンテンツ検知部１８は、フィッシングコンテンツであると判定したコンテンツを、候補コンテンツから除去する。あるいは、フィッシングコンテンツ検知部１８は、フィッシングコンテンツであると判定したコンテンツのプロフィールに、そのコンテンツがフィッシングコンテンツであることを示すフラグを付与して、検知済み違法コンテンツ除去部１９に出力してもよい。
　検知済み違法コンテンツ除去部１９は、フィッシングコンテンツ検知部１８から出力された候補コンテンツのプロフィールに基づき、検知済みの違法コンテンツのプロフィールと同一性を有する（類似度が所定値以上の）プロフィールのコンテンツを検知する。
　違法コンテンツの投稿ユーザの中には、投稿した違法コンテンツが権利者などにより削除されても、繰り返し同一の違法コンテンツを投稿するユーザが存在する。また、他者が投稿した違法コンテンツをそのまま、再投稿するユーザが存在する。同一コンテンツの場合、複数のプロフィールが完全に一致する。そのため、収集した候補コンテンツのプロフィールと、既に検知済みの違法コンテンツのプロフィールとの類似度が高い場合、その候補コンテンツは、違法コンテンツであると推定することができる。したがって、検知済み違法コンテンツ除去部１９は、検知済みの違法コンテンツのプロフィールと同一性を有するプロフィールの候補コンテンツについては、後述する照合処理を行うことなく、違法コンテンツであると判定する。その結果、正規コンテンツとの照合処理を行う候補コンテンツの数を減らし、違法コンテンツの探索の効率化を図ることができる。以下では、検知済み違法コンテンツのプロフィールと同一性を有するプロフィールを有し、違法コンテンツであると推定されるとして検知済み違法コンテンツ除去部１９により検知されたコンテンツを、推定違法コンテンツと称することがある。
　検知済み違法コンテンツ除去部１９は、同一性の判定基準となるプロフィールとして、サムネイル画像、コンテンツ長、コンテンツのタイトルおよびユーザアカウント名の少なくとも１つを用いる。
　検知済み違法コンテンツ除去部１９は、上述したプロフィールが一致する、もしくは、差分が所定の閾値以下の候補コンテンツを推定違法コンテンツであると判定する。そして、検知済み違法コンテンツ除去部１９は、推定違法コンテンツであると判定したコンテンツに、そのコンテンツが違法コンテンツであることを示すフラグを付与して、後述する照合済みコンテンツのリストに加える。また、検知済み違法コンテンツ除去部１９は、推定違法コンテンツであると判定した候補コンテンツを候補コンテンツから除去する。
　なお、検知済み違法コンテンツ除去部１９による処理には、検知済みの違法コンテンツのプロフィールが違法コンテンツプロフィールＤＢ１９ａに登録されている必要がある。そのため、違法コンテンツプロフィールＤＢ１９ａに違法コンテンツのプロフィールが登録されていない初期状態では、検知済み違法コンテンツ除去部１９による処理は行われない。
　以下では、サムネイル画像を用いた同一性の判定方法（サムネイル画像の照合方法）について説明する。
　検知済み違法コンテンツ除去部１９は、候補コンテンツのプロフィールに含まれるサムネイル画像と、違法コンテンツプロフィールＤＢ１９ａに登録されている検知済みの違法コンテンツのプロフィールに含まれるサムネイル画像とを照合し、類似度を計算する。サムネイル画像の照合は、候補コンテンツのプロフィールに含まれる全てのサムネイル画像と、検知済みの違法コンテンツのプロフィールに含まれる全てのサムネイル画像との全ての組み合わせについて行われる。例えば、候補コンテンツのプロフィールに含まれるサムネイル画像を４枚とし、検知済みの違法コンテンツのプロフィールに含まれるサムネイル画像を１００枚とすると、検知済み違法コンテンツ除去部１９は、１候補コンテンツあたり、４００回の照合を行うことになる。検知済み違法コンテンツ除去部１９は、サムネイル画像の照合には、例えば、画像の編集処理の影響を受けにくい、ｄＨａｓｈ（difference hash）などのアルゴリズムを用いる。
　なお、違法コンテンツプロフィールＤＢ１９ａには、例えば、予め動画投稿サイトなどから取得され、動画照合を行うことで違法コンテンツであると判定されたコンテンツからサムネイル画像が、そのコンテンツと対応付けて登録される。
　候補コンテンツのプロフィールに含まれる全てのサムネイル画像と、検知済みの違法コンテンツのプロフィールに含まれる全てのサムネイル画像との全ての組み合わせについて照合を行うと、照合処理の負荷が大きくなる。そこで、検知済み違法コンテンツ除去部１９は、検知済みの違法コンテンツのプロフィールに含まれるサムネイル画像として、１のサムネイル画像と類似する１または複数のサムネイル画像（類似サムネイル画像）が存在する場合、その類似サムネイル画像を、候補コンテンツのサムネイル画像との照合の対象から除外してもよい。こうすることで、照合処理の負荷を軽減することができる。
　検知済み違法コンテンツ除去部１９は、推定違法コンテンツであると判定した候補コンテンツ以外の候補コンテンツ（候補コンテンツ１～候補コンテンツＰ）の識別情報およびプロフィールを照合優先度計算部２２に出力する。
　違法確度推定モデル生成部２０は、コンテンツのプロフィールと、そのコンテンツが違法コンテンツである確度（違法確度）との関係を統計的に学習した違法確度推定モデルを生成する。違法確度推定モデルを生成するための学習データとしては、違法・非違法のラベルが付与されたコンテンツのプロフィールのデータを用いる。違法・非違法のラベルは、作業者がコンテンツを目視し、違法・非違法の判定を行って付与されることが望ましい。違法・非違法の判断基準は、例えば、正規コンテンツとの同一箇所を一定以上含むか否かとすることができる。
　統計モデルとしては、言語学習に適したモデルであれば任意のモデルを用いることができる。ただし、優先度付けを行う必要があるため、ＳＶＭなどの、推定した違法確度を数値として算出することができるモデルを用いることが望ましい。違法確度推定モデルを生成するための具体的な手法は、既知の任意の手法とすることができる。例えば、「言語処理のための機械学習入門（奥村学監修、高村大也著、コロナ社、ｐ１０１－１１７）」にその手法の一例が記載されている。
　違法確度推定モデル生成部２０は、統計学習を行う際に、プロフィールの値を学習で扱いやすい値に変換する必要がある。以下では、プロフィールの変換例について説明する。
　違法確度推定モデル生成部２０は、コンテンツのタイトル、ユーザアカウント名などのテキストの場合、例えば、Ｂａｇ－ｏｆ－Ｗｏｒｄｓ形式に基づき変換する。Ｂａｇ－ｏｆ－Ｗｏｒｄｓ形式の場合、違法確度推定モデル生成部２０は、テキストでの特定の語句の出現回数に応じたラベルを付与する。例えば、違法確度推定モデル生成部２０は、テキストに、違法コンテンツに特徴的に出現する語句である「高画質」が１回以上含まれる場合には、そのテキストに対して「１」のラベルを付与し、それ以外の場合には、そのテキストに対して「０」のラベルを付与する。例えば、違法確度推定モデル生成部２０は、「動画タイトル第１話高画質ＨＤ」というテキストに対して、「１」のラベルを付与し、「動画タイトル第１話」というテキストに対して、「０」のラベルを付与する。
　また、違法確度推定モデル生成部２０は、コンテンツ長、投稿時間、視聴回数、コンテンツ取得元、ユーザの投稿履歴などについては、値に応じてクラス分類する。例えば、違法確度推定モデル生成部２０は、コンテンツ長を、「１０分以下」、「１０分～６０分」、「６０分以上」の３つのクラスに分類する。また、違法確度推定モデル生成部２０は、投稿時間を、「１日以内」、「１日～１週間」、「１週間以上」の３つのクラスに分類する。また、違法確度推定モデル生成部２０は、視聴回数を、「１０００回以下」、「１０００～１００００回」、「１００００回以上」の３つのクラスに分類する。また、違法確度推定モデル生成部２０は、コンテンツ取得元を、「動画サイト１の場合はＡ」、「動画サイト２の場合はＢ」、「まとめサイト１の場合はＣ」というように、コンテンツ取得元の数と同数のクラスに分類する。また、違法確度推定モデル生成部２０は、ユーザの投稿履歴を、「違法コンテンツを１度でも投稿したことがあれば１」、「違法コンテンツを１度も投稿したことがなければ０」という２つのクラスに分類する。
　なお、上述したクラスの分類数および分類の閾値はあくまでも一例であり、学習データの値の分散、および、違法確度推定モデルの設計方針などに応じて、適切な値を設計すればよい。また、数値の場合は、クラス分類を行わず、正規化して連続値として扱ってもよい。
　違法確度推定モデル記憶部２１は、違法確度推定モデル生成部２０が生成した違法確度推定モデルを記憶する。
　照合優先度計算部２２は、検知済み違法コンテンツ除去部１９から出力された複数の候補コンテンツ（候補コンテンツ１～候補コンテンツＰ）のプロフィールに基づき、複数の候補コンテンツが違法コンテンツであるか否かを判定するにあたっての、複数の候補コンテンツの優先度を計算する。すなわち、照合優先度計算部２２は、複数の候補コンテンツそれぞれについて、後述する正規コンテンツとの照合処理を行う順番となる優先度を決定する。より具体的には、照合優先度計算部２２は、検知済み違法コンテンツ除去部１９から出力された複数の候補コンテンツのプロフィールに基づき、各候補コンテンツの違法確度を計算し、違法確度が高いコンテンツほど優先度を高くする。候補コンテンツと正規コンテンツとの照合処理には時間がかかり、全ての候補コンテンツに対して照合を行うのは困難なことが多い。そこで、違法確度が高い順に照合を行い、効率的な違法コンテンツの探索を行うために、優先度が決定される。
　優先度は、統計学習もしくはルールの設計により決定することができる。単独で違法確度に大きく影響するプロフィールについては、個別にルールを設計し、そのルールに適合した候補コンテンツの優先度を高くすることが有効である。一方、複数のプロフィールが複合的に機能して違法確度を判定することができる場合は、複数のプロフィールと違法確度との関係を学習する統計学習による手法を用いることが有効である。統計学習を用いる場合は、多くの学習データが必要となるため、用意することができる学習データの量および取得することができるプロフィールの種類に応じて、有効な手法を選択または組み合わせて優先度を決定すればよい。
　以下では、ルールの設計により有効に機能するプロフィールおよびルールの設計例について説明する。
　ルールの設計により有効に機能するプロフィールとしては、コンテンツのタイトルがある。正規タイトルに近い語句をタイトルに含むコンテンツが、探索したい違法コンテンツである可能性が高い。そのため、コンテンツのタイトルを用いたルールを設定することが有効である。例えば、候補コンテンツのタイトルと、正規タイトルとの編集距離が小さい順に、すなわち、正規タイトルとの文字列の差分が少ない順に、候補コンテンツの優先度を決定するというルールを設計する方法が考えられる。また、正規タイトルだけでなく、クエリ生成用辞書に登録されている関連語句（表記揺れ語句、外国語表記）との編集距離を計算するというルールを設計する方法も考えられる。この場合、関連語句と対応付けて登録されている違法コンテンツ数および違法コンテンツ率を、優先度の決定に利用してもよい。例えば、クエリ生成用辞書に登録されている関連語句のうち、違法コンテンツ率が高い複数の関連語句に対して編集距離を計算し、これらを重み付きで足し合わせたスコアを基準として、優先度を決定してもよい。
　また、ルールの設計により有効に機能するプロフィールとしては、コンテンツ取得元がある。例えば、人手を介して違法コンテンツのＵＲＬを纏めている違法コンテンツのまとめサイトを由来とする候補コンテンツは、違法コンテンツである可能性が高いと考えられる。そこで、違法コンテンツのまとめサイトをコンテンツ取得元とする候補コンテンツの優先度を高くするというルールを設計する方法も考えられる。このルールによれば、照合優先度計算部２２は、所定のコンテンツ取得元（例えば、違法コンテンツのまとめサイト）を由来とする候補コンテンツの優先度を、他のコンテンツ取得元を由来とする候補コンテンツの優先度よりも高くする。
　また、照合優先度計算部２２は、候補コンテンツのプロフィールに含まれるコンテンツ長を用いて優先度を計算してもよい。一般に、正規コンテンツのコンテンツ長に対して、候補コンテンツのコンテンツ長が極端に短い場合、その候補コンテンツは、違法コンテンツではない可能性が高い。そこで、照合優先度計算部２２は、候補コンテンツのコンテンツ長が、正規コンテンツのコンテンツ長に応じた所定値（例えば、正規コンテンツのコンテンツ長の数％程度）より短いほど、候補コンテンツの優先度を低くしてもよい。
　また、照合優先度計算部２２は、候補コンテンツのプロフィールに含まれる投稿時間を用いて優先度を計算してもよい。一般に、正規コンテンツが公開された直後に、その正規コンテンツに関連する違法コンテンツの需要が増大し、時間が経過するにつれて、需要が減少するという傾向がある。そのため、正規コンテンツが公開されてから、所定期間内は違法コンテンツの投稿数が多く、その期間を過ぎると、違法コンテンツの投稿数は減少する。そこで、照合優先度計算部２２は、候補コンテンツの投稿時間（正規コンテンツが公開されてから、候補コンテンツが投稿されるまでの期間）が短いほど、候補コンテンツの優先度を高くしてもよい。
　また、照合優先度計算部２２は、候補コンテンツのプロフィールに含まれる、候補コンテンツが違法コンテンツに関連付けられた数を用いてもよい。一般に、候補コンテンツの関連コンテンツが違法コンテンツである場合、その候補コンテンツも違法コンテンツである可能性が高い。そこで、照合優先度計算部２２は、候補コンテンツが違法コンテンツに関連付けられた数が多いほど、候補コンテンツの優先度を高くしてもよい。
　また、照合優先度計算部２２は、候補コンテンツのプロフィールに含まれる違法コンテンツの投稿履歴を用いて優先度を計算してもよい。一般に、過去に違法コンテンツを投稿したことがあるユーザによって投稿された候補コンテンツは違法コンテンツである可能性が高い。そこで、照合優先度計算部２２は、投稿履歴に違法コンテンツを投稿した履歴が含まれる場合、違法コンテンツを投稿した履歴が含まれない場合に比べて、違法コンテンツの優先度を高くしてもよい。
　なお、上述した照合優先度計算部２２が優先度の計算に用いるプロフィールはあくまでも一例であり、候補コンテンツのプロフィールに含まれる種々の項目を用いて、優先度を計算することができる。
　照合優先度計算部２２は、違法確度推定モデルを用いて優先度を決定する場合、検知済み違法コンテンツ除去部１９から出力された候補コンテンツのプロフィールに基づき、違法確度推定モデルを用いて違法確度を算出し、算出した違法確度が高いコンテンツほど優先度を高くする。具体的には、照合優先度計算部２２は、候補コンテンツのプロフィールを違法確度推定モデルに入力し、候補コンテンツの違法・非違法の分類および違法確度の算出を行う。そして、照合優先度計算部２２は、算出した違法確度が高いコンテンツほど優先度を高くする。
　照合優先度計算部２２は、コンテンツの違法確度に関するプロフィールだけでなく、世間での話題度に関するプロフィールを併用して、優先度を決定してもよい。上述したように、世間での話題度に関するプロフィールは、ＳＮＳ、ニュースなどの検索サービスから取得することができる検索数の急上昇語句、および、番組視聴率などが該当する。一般に、世間での話題度が高いコンテンツは違法コンテンツの需要が高いと考えられる。そのため、世間での話題度が高い候補コンテンツについては、世間での話題度が低いコンテンツと比べて違法確度が低くても、優先的に処理する方がよい場合がある。具体的には、照合優先度計算部２２は、世間での話題度が高いほど、候補コンテンツの優先度を高くする。世間での話題度に関するプロフィールを用いることで、このような場合にも、適切な優先度を決定することができる。
　統計学習により世間での話題度に関するプロフィールを用いる場合、コンテンツおよび投稿ユーザの特徴に関するプロフィールと違法確度との関係を学習した統計モデルと、世間での話題度に関するプロフィールと違法確度との関係を学習した統計モデルとが用意される。そして、照合優先度計算部２２は、例えば、それぞれの統計モデルから算出されるスコアを重み付けして足し合わせたスコアを用いて、優先度を決定する。
　照合優先度計算部２２は、例外コンテンツ、フィッシングコンテンツおよび検知済み違法コンテンツ除去部１９により検知された推定違法コンテンツを除く候補コンテンツ（候補コンテンツ１～候補コンテンツＰ）の識別情報、プロフィールおよび決定した優先度を、照合用パラメータ設定部２３およびコンテンツＤＬ・照合部２４に出力する。
　照合用パラメータ設定部２３は、予め記憶された設定パラメータリストを用いて、候補コンテンツの特徴に基づいて、照合処理で用いられる照合用パラメータを設定する。照合処理とは、候補コンテンツと正規コンテンツとが合致するか否かを判定する処理である。設定パラメータは、例えば、フレーム長、照合手法である。フレーム長は、照合処理における照合の基本単位となるフレームの長さである。照合手法には、音声によって照合を行う方法、画像によって照合を行う方法などが含まれる。
　照合手法としては、既知の任意の手法を用いることができる。例えば、「音楽や映像を特定するメディア指紋技術とその応用（川西　隆仁、他、The Japan Society for Industrial and Applied Mathematics、応用数理　２１（４）、Ｐ．２８９－２９２、２０１１年１２月２２日」にその手法の一例が記載されている。
　設定パラメータリストは、候補コンテンツのプロフィールまたはプロフィールの組み合わせに対応して、適切な設定が記載されているリストである。設定パラメータリストで用いられる候補コンテンツのプロフィールは、照合の精度が確保される程度に必要とされるフレーム長を推定するためのものであって、例えば、ジャンルである。候補コンテンツのジャンルがスポーツのマッシュアップコンテンツである場合、その候補コンテンツは、数秒程度の短い動画を編集して構成される。そのため、設定パラメータリストにおいて、例えば、スポーツのマッシュアップコンテンツというジャンルに対応して、短いフレーム長（例えば、２秒から３秒程度）という設定が記載される。これにより、コンテンツＤＬ・照合部２４は、設定された短いフレーム長で照合処理を行い、正規コンテンツに合致する候補コンテンツを正確に検出することができる。
　一方、候補コンテンツがドラマまたは映画である場合、コンテンツ長は数十分から数時間程度の長さである。そのため、設定パラメータリストにおいて、例えば、ドラマまたは映画というジャンルに対応して、長いフレーム長（例えば、５分程度）という設定が記載される。これにより、コンテンツＤＬ・照合部２４は、設定された長いフレーム長で照合処理を行い、正規コンテンツに合致する候補コンテンツを正確に検出することができる。
　また、設定パラメータリストで用いられる候補コンテンツのプロフィールは、例えば、編集手法であってもよい。編集手法は、コンテンツに対して行われた編集の手法であり、例えば、画像（親フレーム）に別の画像（子フレーム）を埋め込むＰｉｎＰ、時間伸縮などが含まれる。照合用パラメータ設定部２３は、候補コンテンツの編集手法を、コンテンツプロフィール取得部１６が取得したユーザの編集傾向種別により決定してもよい。
　例えば、候補コンテンツの編集手法がＰｉｎＰであり、正規コンテンツの画像と同様の画像が別の画像に埋め込まれている場合、候補コンテンツは画像全体として正規コンテンツとは異なると認識される。そのため、画像による照合処理では、候補コンテンツと正規コンテンツとの一致度が高いとは判定されにくい。そこで、設定パラメータリストにおいて、例えば、ＰｉｎＰという編集手法に対して、音声による照合を行うという設定が記載される。これにより、コンテンツＤＬ・照合部２４は、音声による照合を行い、正規コンテンツに合致する候補コンテンツを正確に検出することができる。
　また、例えば、候補コンテンツの編集手法が時間伸縮である場合、候補コンテンツの音声は、正規コンテンツの音声とは特徴量が大きく異なる。そのため、候補コンテンツが正規コンテンツを時間伸縮したものである場合、音声による照合処理では、候補コンテンツと正規コンテンツとの一致度が高いとは判定されにくい。そこで、設定パラメータリストにおいて、例えば、時間伸縮という編集手法に対して、画像による照合を行うという設定が記載される。これにより、コンテンツＤＬ・照合部２４は、画像による照合を行い、正規コンテンツに合致する候補コンテンツを正確に検出することができる。
　コンテンツＤＬ・照合部２４は、照合優先度計算部２２により計算された優先度が高い順に、候補コンテンツをコンテンツ取得元からダウンロード（取得）する。そして、コンテンツＤＬ・照合部２４は、ダウンロードした候補コンテンツを、照合用パラメータ設定部２３による設定に従い、正規コンテンツと照合することにより、候補コンテンツが正規コンテンツに合致するか否かを判定する。コンテンツＤＬ・照合部２４は、正規コンテンツに合致した候補コンテンツを違法コンテンツであると判定する。
　また、コンテンツＤＬ・照合部２４は、コンテンツ長が長い候補コンテンツ（例えば、数十分～数時間の動画コンテンツなど）をダウンロードするとともに、並行してダウンロードした部分から照合を開始してもよい。この場合、コンテンツＤＬ・照合部２４は、候補コンテンツと正規コンテンツとが合致すると判定すると、以降の候補コンテンツのダウンロードを中止する。そして、コンテンツＤＬ・照合部２４は、次に優先度の高い候補コンテンツのダウンロードおよび照合を行う。これにより、コンテンツＤＬ・照合部２４によって、１つの候補コンテンツの照合に要する時間を短縮させる、すなわち、単位時間あたりに照合される候補コンテンツの数を増加させることができる。
　コンテンツＤＬ・照合部２４は、探索結果として、照合済みコンテンツのリストをクエリ生成用辞書更新部２５、フィッシングコンテンツ更新部２６、違法コンテンツプロフィール更新部２７および違法確度推定モデル更新部２８に出力する。具体的には、コンテンツＤＬ・照合部２４は、照合済みコンテンツの識別情報およびプロフィールを探索結果として出力する。ここで、コンテンツＤＬ・照合部２４は、違法コンテンツであると判定した候補コンテンツについては、その候補コンテンツの識別情報およびプロフィールを、その候補コンテンツが違法コンテンツであることを示すラベルとともに出力する。また、コンテンツＤＬ・照合部２４は、フィッシングコンテンツであると判定した候補コンテンツについては、その候補コンテンツの識別情報およびプロフィールを、その候補コンテンツがフィッシングコンテンツであることを示すラベルとともに出力する。なお、コンテンツＤＬ・照合部２４は、例えば、タイトルに正規タイトルを完全一致で含んでおり、正規コンテンツとの照合度合いが所定値以下の候補コンテンツを、フィッシングコンテンツであると判定する。
　クエリ生成用辞書更新部２５は、コンテンツＤＬ・照合部２４の探索結果に基づき、クエリ生成用辞書作成部１１に入力するための違法コンテンツタイトル一覧を更新する。具体的には、クエリ生成用辞書更新部２５は、コンテンツＤＬ・照合部２４の探索結果から、正規コンテンツとの合致度が高いコンテンツ、すなわち、違法コンテンツであることを示すラベルを付されたコンテンツのプロフィール（タイトルおよび取得元）を抽出し、違法コンテンツのタイトル一覧を更新して、クエリ生成用辞書作成部１１に出力する。
　フィッシングコンテンツ更新部２６は、コンテンツＤＬ・照合部２４の探索結果に基づき、フィッシングコンテンツＤＢ１８ａを更新する。具体的には、フィッシングコンテンツ更新部２６は、コンテンツＤＬ・照合部２４の探索結果から、新たなフィッシングコンテンツのプロフィール（タイトル、投稿ユーザのユーザアカウント名）を抽出し、フィッシングコンテンツＤＢ１８ａに登録する。こうすることで、フィッシングコンテンツの新たな特徴が表れても対応が可能となり、フィッシングコンテンツの検知精度を高めることができる。
　違法コンテンツプロフィール更新部２７は、コンテンツＤＬ・照合部２４の探索結果に基づき、違法コンテンツプロフィールＤＢ１９ａを更新する。具体的には、違法コンテンツプロフィール更新部２７は、コンテンツＤＬ・照合部２４の探索結果から、違法コンテンツであることを示すラベルを付されたコンテンツのプロフィールを抽出し、違法コンテンツプロフィールＤＢ１９ａに登録する。こうすることで、検知済み違法コンテンツ除去部１９による違法コンテンツの除去に用いるデータ量を増やすことができ、違法コンテンツの探索の効率化を図ることができる。
　違法確度推定モデル更新部２８は、コンテンツＤＬ・照合部２４の探索結果に基づき、違法確度推定モデルの生成に用いる学習データを更新する。具体的には、違法確度推定モデル更新部２８は、コンテンツＤＬ・照合部２４の探索結果から、各コンテンツの違法・非違法の判定結果と、各コンテンツのプロフィールとを、違法確度推定モデル生成部２０が違法確度推定モデルを生成するための学習データとして抽出し、違法確度推定モデル生成部２０に出力する。こうすることで、違法確度推定モデル生成部２０により生成される違法確度推定モデルの精度を高め、違法コンテンツの探索の効率化を図ることができる。
　次に、本実施形態に係る違法コンテンツ探索装置１が実行する違法コンテンツ探索方法について、図３に示すフローチャートを参照して説明する。図３は、違法コンテンツ探索方法の一例を示すフローチャートである。
　まず、クエリ生成用辞書作成部１１は、違法コンテンツのタイトル一覧から、正規タイトルに含まれる語句に関連する関連語句を抽出し、抽出した関連語句を登録したクエリ生成用辞書を作成する（ステップＳ１１）。
　検索クエリ生成部１４は、正規タイトルに基づき、クエリ生成用辞書に登録されている関連語句を用いて、検索クエリを生成する（ステップＳ１２）。
　検索クエリ生成部１４により検索クエリが生成されると、照合候補取得部１５は、生成された検索クエリに基づき、コンテンツ取得元を検索し、検索により得られた、違法コンテンツの候補である候補コンテンツを識別する識別情報を取得する（ステップＳ１３）。
　照合候補取得部１５により候補コンテンツの識別情報が取得されると、コンテンツプロフィール取得部１６は、候補コンテンツのプロフィールを取得する（ステップＳ１４）。
　コンテンツプロフィール取得部１６により候補コンテンツのプロフィールが取得されると、例外コンテンツ除去部１７は、取得されたプロフィールに基づき、プロフィールが所定の条件を満たす例外コンテンツを候補コンテンツから除去する（ステップＳ１５）。
　例外コンテンツ除去部１７により例外コンテンツが除去されると、フィッシングコンテンツ検知部１８は、候補コンテンツのプロフィールに基づき、候補コンテンツの中から、ユーザの閲覧を誘導する非違法なコンテンツであるフィッシングコンテンツを検知する（ステップＳ１６）。
　また、例外コンテンツ除去部１７により例外コンテンツが除去されると、検知済み違法コンテンツ除去部１９は、候補コンテンツのプロフィールに基づき、プロフィールが、検知済みの違法コンテンツのプロフィールと同一性を有するコンテンツ（推定違法コンテンツ）を検知する（ステップＳ１７）。なお、例外コンテンツ除去部１７、フィッシングコンテンツ検知部１８および検知済み違法コンテンツ除去部１９による処理は、違法コンテンツの探索の効率化を図るためのものであり、違法コンテンツの探索のために、必ずしも必須の処理ではない。したがって、例外コンテンツ除去部１７、フィッシングコンテンツ検知部１８および検知済み違法コンテンツ除去部１９による処理のうち、少なくとも１つの処理が省略されてもよい。
　次に、照合優先度計算部２２は、照合候補取得部１５により識別情報が取得された候補コンテンツのうち、例外コンテンツ、フィッシングコンテンツおよび推定違法コンテンツを除く各候補コンテンツについて、各候補コンテンツのプロフィールに基づいて、各候補コンテンツが違法コンテンツであるか否かを判定するにあたっての優先度を計算する（ステップＳ１８）。
　照合優先度計算部２２により各候補コンテンツの優先度が計算されると、コンテンツＤＬ・照合部２４は、優先度が高い順に候補コンテンツをコンテンツ取得元からダウンロードし、ダウンロードされた候補コンテンツを正規コンテンツと照合して、候補コンテンツが違法コンテンツであるか否かを判定する（ステップＳ１９）。
　以上説明したように、本実施形態によれば、違法コンテンツ探索装置１は、違法コンテンツのタイトルから、正規コンテンツのタイトルに含まれる語句に関連する関連語句を抽出し、該抽出した関連語句を、違法コンテンツの検索に用いる検索クエリを生成するためのクエリ生成用辞書に登録し、クエリ生成用辞書に登録された関連語句を用いた検索クエリを生成する。このため、非権利者が、正規のコンテンツのタイトルと直接的には関連性の低いようにみえるタイトルを違法コンテンツに付与しても、違法コンテンツを抽出するために用いられる検索クエリを適切に生成することができる。したがって、違法コンテンツの探索の適切化を図ることができる。
　なお、本実施形態においては、コンテンツプロフィール取得部１６が取得した候補コンテンツのプロフィールを用いて、違法コンテンツを探索する例を用いて説明したが、これに限られるものではない。例えば、コンテンツプロフィール取得部１６が取得するプロフィールを、有害コンテンツの探索方法に適用することも可能である。例えば、有害コンテンツの候補コンテンツをダウンロードして、その候補コンテンツが有害コンテンツであるか否かを判定する際に、候補コンテンツのプロフィールに基づき、有害コンテンツである確度を計算し、計算した確度に基づき、判定の優先度付けを行ってもよい。こうすることで、有害コンテンツである可能性が高い候補コンテンツから順に、判定を行うことができ、有害コンテンツの探索の効率化を図ることができる。また、有害コンテンツに特徴的に出現するプロフィールなどが既知である場合には、候補コンテンツのプロフィールと、有害コンテンツに特徴的に出現するプロフィールとの比較により、候補コンテンツが有害コンテンツであるか否かを判定することができる。
　実施形態では特に触れていないが、違法コンテンツ探索装置１として機能するコンピュータが行う各処理を実行するためのプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭあるいはＤＶＤ－ＲＯＭなどの記録媒体であってもよい。
　上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換が可能であることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形および変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
　１　　違法コンテンツ探索装置
　１１　　クエリ生成用辞書作成部
　１２　　クエリ生成用辞書記憶部
　１３　　検索クエリ生成規則記憶部
　１４　　検索クエリ生成部
　１５　　照合候補取得部
　１６　　コンテンツプロフィール取得部
　１７　　例外コンテンツ除去部
　１８　　フィッシングコンテンツ検知部
　１９　　検知済み違法コンテンツ除去部
　２０　　違法確度推定モデル生成部
　２１　　違法確度推定モデル記憶部
　２２　　照合優先度計算部
　２３　　照合用パラメータ設定部
　２４　　コンテンツＤＬ・照合部
　２５　　クエリ生成用辞書更新部
　２６　　フィッシングコンテンツ更新部
　２７　　違法コンテンツプロフィール更新部
　２８　　違法確度推定モデル更新部
 

Claims (8)

  1. 　正規コンテンツの権利を有さない非権利者により投稿された違法コンテンツを探索する違法コンテンツ探索装置であって、
    　前記違法コンテンツのタイトルから、前記正規コンテンツのタイトルに含まれる語句に関連する関連語句を抽出し、該抽出した関連語句を、前記違法コンテンツの検索に用いる検索クエリを生成するためのクエリ生成用辞書に登録するクエリ生成用辞書作成部と、
    　前記クエリ生成用辞書に登録された前記関連語句を用いた検索クエリを生成する検索クエリ生成部と、
    を備えることを特徴とする違法コンテンツ探索装置。
  2. 　請求項１に記載の違法コンテンツ探索装置において、
    　前記クエリ生成用辞書作成部は、前記関連語句をタイトルに含むコンテンツの数に対する、前記関連語句をタイトルに含む前記違法コンテンツの数の比率である違法コンテンツ率を計算し、前記関連語句に対応付けて前記違法コンテンツ率を前記クエリ生成用辞書に登録し、
    　前記検索クエリ生成部は、前記違法コンテンツ率に基づいて、前記検索クエリの生成に用いる関連語句を選択することを特徴とする請求項１に記載の違法コンテンツ探索装置。
  3. 　請求項１又は２に記載の違法コンテンツ探索装置において、
    　前記クエリ生成用辞書作成部は、前記違法コンテンツのタイトルに含まれる語句の、前記クエリ生成用辞書に登録されている前記関連語句との編集距離を計算し、前記編集距離が所定値以下である語句を前記関連語句として前記クエリ生成用辞書に登録することを特徴とする違法コンテンツ探索装置。
  4. 　請求項３に記載の違法コンテンツ探索装置において、
    　前記クエリ生成用辞書作成部は、前記違法コンテンツのタイトルに含まれる語句のうち出現頻度が所定値より高い語句について、前記編集距離を計算することを特徴とする違法コンテンツ探索装置。
  5. 　請求項１から４に記載の違法コンテンツ探索装置において、
    　前記クエリ生成用辞書作成部は、前記正規コンテンツのタイトルを、該タイトルを示す言語とは異なる言語に変換した語句を前記関連語句として前記クエリ生成用辞書に登録するか、
    　又は、前記違法コンテンツのタイトルから、前記正規コンテンツのタイトル、又は前記クエリ生成用辞書に登録されている関連語句と共起する頻度が所定値以上である共起語句を抽出し、前記共起語句が前記正規コンテンツのタイトルとは異なる言語である場合に、前記共起語句を前記関連語句として前記クエリ生成用辞書に登録することを特徴とする違法コンテンツ探索装置。
  6. 　請求項１から５のいずれか一項に記載の違法コンテンツ探索装置において、
    　前記検索クエリ生成部により生成された検索クエリに基づき、コンテンツ取得元を検索し、前記検索により得られた、前記違法コンテンツの候補である候補コンテンツを識別する識別情報を取得する照合候補取得部と、
    　前記照合候補取得部により識別情報が取得された候補コンテンツのプロフィールを取得するコンテンツプロフィール取得部と、
    　前記コンテンツプロフィール取得部により取得されたプロフィールに基づき、前記候補コンテンツの中から、ユーザの閲覧を誘導する非違法なコンテンツであるフィッシングコンテンツを検知するフィッシングコンテンツ検知部と、
    　前記コンテンツプロフィール取得部により取得されたプロフィールに基づき、検知済みの違法コンテンツのプロフィールと同一性を有するプロフィールの候補コンテンツである推定違法コンテンツを検知する検知済み違法コンテンツ除去部と、
    　前記照合候補取得部により識別情報が取得された候補コンテンツのうち、前記フィッシングコンテンツおよび前記推定違法コンテンツを除く各候補コンテンツについて、前記各候補コンテンツのプロフィールに基づいて、前記各候補コンテンツが前記違法コンテンツであるか否かを判定するにあたっての優先度を計算する照合優先度計算部と、
    　前記照合優先度計算部により計算された優先度順に、コンテンツ取得元から候補コンテンツを取得し、該取得した候補コンテンツと前記正規コンテンツとを照合して、前記取得した候補コンテンツが前記違法コンテンツであるか否かを判定するコンテンツＤＬ・照合部と、を備えることを特徴とする違法コンテンツ探索装置。
  7. 　正規コンテンツの権利を有さない非権利者により投稿された違法コンテンツを探索する違法コンテンツ探索方法において、
    　前記違法コンテンツのタイトルから、前記正規コンテンツのタイトルに含まれる語句に関連する関連語句を抽出し、該抽出した関連語句を、前記違法コンテンツの検索に用いる検索クエリを生成するためのクエリ生成用辞書に登録するステップと、
    　前記クエリ生成用辞書に登録された前記関連語句を用いた検索クエリを生成するステップと、
    を含むことを特徴とする違法コンテンツ探索方法。
  8. 　請求項１から６のいずれか一項に記載の違法コンテンツ探索装置としてコンピュータを機能させるためのプログラム。
     
PCT/JP2019/007497 2018-03-27 2019-02-27 違法コンテンツ探索装置、違法コンテンツ探索方法およびプログラム WO2019187920A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/041,060 US20210026930A1 (en) 2018-03-27 2019-02-27 Illegal content search device, illegal content search method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-059681 2018-03-27
JP2018059681A JP6762678B2 (ja) 2018-03-27 2018-03-27 違法コンテンツ探索装置、違法コンテンツ探索方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2019187920A1 true WO2019187920A1 (ja) 2019-10-03

Family

ID=68061373

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/007497 WO2019187920A1 (ja) 2018-03-27 2019-02-27 違法コンテンツ探索装置、違法コンテンツ探索方法およびプログラム

Country Status (3)

Country Link
US (1) US20210026930A1 (ja)
JP (1) JP6762678B2 (ja)
WO (1) WO2019187920A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10740381B2 (en) * 2018-07-18 2020-08-11 International Business Machines Corporation Dictionary editing system integrated with text mining

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080177834A1 (en) * 2007-01-11 2008-07-24 International Business Machines Corporation Content monitoring in a high volume on-line community application
WO2008146813A1 (ja) * 2007-05-29 2008-12-04 Yomiuri Telecasting Corporation 画像情報取得装置、その方法及びプログラム
US20090324006A1 (en) * 2008-06-30 2009-12-31 Jian Lu Methods and systems for monitoring and tracking videos on the internet
JP2013008372A (ja) * 2010-11-10 2013-01-10 Rakuten Inc 関連語登録装置、情報処理装置、関連語登録方法、関連語登録装置用プログラム、および、記録媒体
US20170286544A1 (en) * 2015-09-16 2017-10-05 RiskIQ, Inc. Using hash signatures of dom objects to identify website similarity
KR101800373B1 (ko) * 2016-12-30 2017-11-22 (주)엠더블유스토리 불법 콘텐츠 검색 시스템 및 그 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677505B2 (en) * 2000-11-13 2014-03-18 Digital Doors, Inc. Security system with extraction, reconstruction and secure recovery and storage of data
US8806615B2 (en) * 2010-11-04 2014-08-12 Mcafee, Inc. System and method for protecting specified data combinations
JP6140735B2 (ja) * 2013-01-09 2017-05-31 株式会社野村総合研究所 アクセス制御装置、アクセス制御方法、およびプログラム
US10404723B1 (en) * 2016-06-08 2019-09-03 SlashNext, Inc. Method and system for detecting credential stealing attacks
US10764313B1 (en) * 2017-01-24 2020-09-01 SlashNext, Inc. Method and system for protection against network-based cyber threats
US10536482B2 (en) * 2017-03-26 2020-01-14 Microsoft Technology Licensing, Llc Computer security attack detection using distribution departure
US11212089B2 (en) * 2017-10-04 2021-12-28 Amir Keyvan Khandani Methods for secure data storage
US11429712B2 (en) * 2018-07-24 2022-08-30 Royal Bank Of Canada Systems and methods for dynamic passphrases
US11494380B2 (en) * 2019-10-18 2022-11-08 Splunk Inc. Management of distributed computing framework components in a data fabric service system
EP4139801A1 (en) * 2020-04-23 2023-03-01 Abnormal Security Corporation Detection and prevention of external fraud

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080177834A1 (en) * 2007-01-11 2008-07-24 International Business Machines Corporation Content monitoring in a high volume on-line community application
WO2008146813A1 (ja) * 2007-05-29 2008-12-04 Yomiuri Telecasting Corporation 画像情報取得装置、その方法及びプログラム
US20090324006A1 (en) * 2008-06-30 2009-12-31 Jian Lu Methods and systems for monitoring and tracking videos on the internet
JP2013008372A (ja) * 2010-11-10 2013-01-10 Rakuten Inc 関連語登録装置、情報処理装置、関連語登録方法、関連語登録装置用プログラム、および、記録媒体
US20170286544A1 (en) * 2015-09-16 2017-10-05 RiskIQ, Inc. Using hash signatures of dom objects to identify website similarity
KR101800373B1 (ko) * 2016-12-30 2017-11-22 (주)엠더블유스토리 불법 콘텐츠 검색 시스템 및 그 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SASHO, AKIHARU: "Improving extraction accuracy of privacy related words by stemming and N-gram co-occurrence", IPSJ SIG TECHNICAL REPORT (ICS), vol. 2014 -ICS-177, no. 12, 8 December 2014 (2014-12-08), pages 1 - 6, XP055638404, Retrieved from the Internet <URL:https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_uri&item_id=107423&file_id=1&file_no=1> [retrieved on 20141216] *

Also Published As

Publication number Publication date
JP6762678B2 (ja) 2020-09-30
US20210026930A1 (en) 2021-01-28
JP2019174926A (ja) 2019-10-10

Similar Documents

Publication Publication Date Title
CN108009228B (zh) 一种内容标签的设置方法、装置及存储介质
US20090083260A1 (en) System and Method for Providing Community Network Based Video Searching and Correlation
US20100274667A1 (en) Multimedia access
WO2018197639A1 (en) Multimedia stream analysis and retrieval
JP6429382B2 (ja) コンテンツ推薦装置、及びプログラム
WO2019187842A1 (ja) 違法コンテンツ探索装置、違法コンテンツ探索方法およびプログラム
CN108305180B (zh) 一种好友推荐方法及装置
US20160360266A1 (en) Video channel categorization schema
CN111314732A (zh) 确定视频标签的方法、服务器及存储介质
JP5952711B2 (ja) 予測対象コンテンツにおける将来的なコメント数を予測する予測サーバ、プログラム及び方法
Xu et al. Different data, different modalities! reinforced data splitting for effective multimodal information extraction from social media posts
WO2019187919A1 (ja) 違法コンテンツ探索装置、違法コンテンツ探索方法およびプログラム
KR20200098381A (ko) 콘텐츠를 검색하는 방법, 장치, 기기 및 저장 매체
WO2019187920A1 (ja) 違法コンテンツ探索装置、違法コンテンツ探索方法およびプログラム
WO2019187843A1 (ja) 違法コンテンツ探索装置、違法コンテンツ探索方法およびプログラム
KR20120071194A (ko) 사용자 리뷰를 이용한 컨텐츠 추천 장치 및 그 방법
JP6632564B2 (ja) 違法コンテンツ探索装置、違法コンテンツ探索方法、及びプログラム
JP6530002B2 (ja) コンテンツ探索装置、コンテンツ探索方法、プログラム
Lin et al. Chinese tag analysis for foreign movie contents
JP2015215681A (ja) キーワード抽出装置およびプログラム
Do et al. Movie indexing and summarization using social network techniques
JP6625087B2 (ja) 違法コンテンツ探索装置及び違法コンテンツ探索方法
JP6621437B2 (ja) 違法コンテンツ探索装置、違法コンテンツ探索方法、及びプログラム
CN117221669B (zh) 一种弹幕生成方法及装置
Hanjalic et al. Indexing and retrieval of TV broadcast news using DANCERS

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19776324

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19776324

Country of ref document: EP

Kind code of ref document: A1