WO2017080320A1 - 书籍库中相似书的挖掘、净化方法和装置 - Google Patents

书籍库中相似书的挖掘、净化方法和装置 Download PDF

Info

Publication number
WO2017080320A1
WO2017080320A1 PCT/CN2016/099894 CN2016099894W WO2017080320A1 WO 2017080320 A1 WO2017080320 A1 WO 2017080320A1 CN 2016099894 W CN2016099894 W CN 2016099894W WO 2017080320 A1 WO2017080320 A1 WO 2017080320A1
Authority
WO
WIPO (PCT)
Prior art keywords
book
books
library
group
similar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2016/099894
Other languages
English (en)
French (fr)
Inventor
张超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd, Qizhi Software Beijing Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Publication of WO2017080320A1 publication Critical patent/WO2017080320A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation

Definitions

  • the present invention relates to the field of information processing technology, and in particular, to a method and apparatus for excavating and purifying similar books in a book library.
  • smart devices can support a variety of reading platforms and reading tools to meet the user's e-book reading needs, such as the starting point Chinese network, romance novels, 360 novels, book flag novels, ireader readers and so on.
  • These reading platforms and reading tools are usually equipped with an e-book database (which may also be referred to as a book library) for storing a large number of e-books.
  • the present invention has been made in order to provide a method and apparatus for excavating and purifying similar books in a book library that overcomes the above problems or at least partially solves the above problems.
  • the solution of the present invention provides a method for purifying similar books in a book library, including:
  • the similarity between the e-books in the group is calculated, and if the similarity between the two e-books in the group exceeds a set threshold, The two e-books are determined as a pair of similar books in the library;
  • an e-book reservation is selected from the connected components, and other e-books are deleted.
  • a purification apparatus for a similar book in a book library comprising:
  • a book grouping unit configured to determine, according to a book title of all the e-books in the book library, a group to which each e-book belongs;
  • a similar book mining unit configured, for each group, according to a chapter list of each e-book in the group, calculating a similarity between the e-books in the group; if the similarity between the two e-books in the group If the set threshold is exceeded, the two e-books are determined as a pair of similar books in the library;
  • a similar book purifying unit configured to construct a graph model of the book library by using similar books in all the groups in the book library, wherein each pair of similar books is a two end point connected in the graph model;
  • Each connected component in the graph model of the book library selects an e-book reservation from the connected components and deletes other e-books.
  • the invention also provides a method for mining similar books in a book library, comprising:
  • the similarity between the e-books in the group is calculated according to the chapter list of each e-book in the group;
  • the two e-books are determined as a pair of similar books in the library.
  • the invention also provides a mining device for similar books in a book library, comprising:
  • a book grouping unit configured to determine, according to a book title of all the e-books in the book library, a group to which each e-book belongs;
  • a similarity calculation unit configured to calculate, for each group, a similarity between the e-books in the group according to the chapter list of each e-book in the group;
  • the similar book mining unit is configured to, for each group, determine the two electronic books as a pair of similar books in the book library if the similarity between the two electronic books in the group exceeds a set threshold.
  • the invention also provides an e-book pushing method based on a cleaned book library, comprising:
  • the summary information page of the queried e-book is pushed in response to the user search request.
  • the invention also provides an e-book pushing device based on a cleaned book library, comprising:
  • a request receiving unit configured to receive a user search request including a title of the e-book
  • An e-book query unit configured to acquire a book name of the e-book in the user search request, and query an e-book corresponding to the book name from a book library purified according to a purifying method of a similar book in the book library;
  • a pushing unit configured to push the summary information page of the queried e-book in response to the user search request.
  • the present invention also provides a computer program comprising computer readable code, when said computer readable code is run on a computing device, causing said computing device to perform a method of purifying a similar book in a book library as described above, or The method of causing the computing device to perform a similar book in a book library as described above, or to cause the computing device to perform an e-book push method based on a cleaned book library as described above.
  • the invention also provides a computer readable medium storing the computer program of claim 33.
  • the e-books in the book library may be grouped according to the title of the e-book, that is, the e-books with similar book names are classified into one group; and then, for each group, according to each group in the group
  • the chapter list of the e-book calculates the similarity between the e-books in the group, and determines two e-books whose similarity exceeds the set threshold as a pair of similar books in the book library.
  • FIG. 1 is a schematic flow chart of a method for mining similar books in a book library according to an embodiment of the present invention
  • FIGS. 2a, 2b, and 2c are schematic diagrams showing internal structures of a similar book mining device in a book library according to an embodiment of the present invention
  • FIG. 3 is a schematic flow chart of a method for purifying similar books in a book library according to an embodiment of the present invention
  • FIG. 4 is a schematic diagram showing the internal structure of a similar book purifying apparatus in a book library according to an embodiment of the present invention
  • FIG. 5 is a schematic flowchart diagram of an e-book pushing method based on a cleaned book library according to an embodiment of the present invention
  • FIG. 6 is a schematic diagram showing the internal structure of an e-book pushing device based on a cleaned book library according to an embodiment of the present invention
  • Figure 7 shows schematically a block diagram of a computing device for performing the method according to the invention
  • Fig. 8 schematically shows a storage unit for holding or carrying program code implementing the method according to the invention.
  • terminal and terminal device used herein include both a wireless signal receiver device, a device having only a wireless signal receiver without a transmitting capability, and a receiving and transmitting hardware.
  • Such devices may include cellular or other communication devices having a single line display or a multi-line display or a cellular or other communication device without a multi-line display; PCS (Personal Communications Service), which may combine voice, data Processing, fax, and/or data communication capabilities; PDA (Personal Digital Assistant), which can include radio frequency receivers, pagers, Internet/Intranet access, web browsers, notepads, calendars, and/or GPS (Global Positioning System (Global Positioning System) receiver; conventional laptop and/or palmtop computer or other device having a conventional laptop and/or palmtop computer or other device that includes and/or includes a radio frequency receiver.
  • PCS Personal Communications Service
  • PDA Personal Digital Assistant
  • terminal may be portable, transportable, installed in a vehicle (aviation, sea and/or land), or adapted and/or configured to operate locally, and/or Run in any other location on the Earth and/or space in a distributed form.
  • the "terminal” and “terminal device” used herein may also be a communication terminal, an internet terminal, a music/video playing terminal, and may be, for example, a PDA, a MID (Mobile Internet Device), and/or have a music/video playback.
  • Functional mobile phones can also be smart TVs, set-top boxes and other devices.
  • the inventor of the present invention finds that, in practical applications, when the similarity between the author, the title, and the chapter list of the two e-books is relatively high, it can be determined that the two e-books are for the same book, that is, the same The two e-books are a pair of similar books.
  • a similar book in the book library can be determined based on the book name of the electronic book in the book library and the chapter list of the electronic book.
  • the e-books in the book library may be grouped according to the book name of the e-book, that is, the e-books with similar book names are grouped into one group; and then, for each group, according to the chapters of the e-books in the group The list calculates the similarity between the e-books in the group, and determines two e-books whose similarity exceeds the set threshold as a pair of similar books in the book library. In this way, mining similar books through the two comparisons of book titles and chapter lists can avoid the comparison of a large number of chapter contents, and can reduce the mining workload and improve the mining speed while ensuring the accuracy of similar book mining. .
  • the electronic book referred to in the present invention refers to a digital publication suitable for people to read, which is different from a traditional publication that uses paper as a carrier.
  • E-books are digitally recorded in devices that use optical, electrical, and magnetic media, and must be read, copied, and transmitted by means of specific electronic reading devices. In short, e-books usually exist in the form of computer files.
  • the main formats are PDF, EXE, CHM, UMD, PDG, JAR, PDB, TXT, BRM, EPUB, MOBI, etc.
  • the e-book in the book library can be pre-processed before the mining of similar books in the book library is performed.
  • the title of the e-book can be pre-processed by using a preset title filtering rule to filter the title of all the e-books in the book library to obtain a title string of the e-book.
  • the title of an e-book in a book library is usually composed of Chinese characters, Arabic numerals, English letters, and some null characters, spaces, tabs, and the like. Therefore, in order to facilitate the comparison of subsequent book titles, in the solution of the present invention, some non-essential null characters in the book name of the e-book can be filtered out by the preset book name filtering rule, and the English alphabet and Arabic are retained. Data and Chinese characters, and the reserved characters make up the title string of the e-book.
  • the chapter list for the e-book can be pre-processed by using a preset chapter filtering rule to filter the chapter list of all the e-books in the book library to obtain the chapter titles in the chapter list of the e-book.
  • the chapter list of e-books in the book library usually includes some common prefix contents, such as "Chapter X”, “Section X”, etc., and also includes some commonly used suffix contents, such as page number, end/upper/ Medium/lower level logo.
  • the chapter filtering rule may include at least one of the following: a prefix filtering rule and a suffix filtering rule.
  • the first chapter of "Chapter 1 XXXX” in the chapter list of the e-book the "first section” in the “first section XXXX”, the “first” in the “first XXXX”, The “one” and so on in “one XXXX” can be filtered by the prefix filtering rule.
  • “one” is just an instance, which can be replaced with the corresponding Arabic numeral, or it can be replaced with other numbers or Chinese corresponding to the number.
  • the corresponding prefix filtering rule and its corresponding regular expression may be set in advance for the data format of the pre-filtered prefix content. In this way, during the filtering process of the chapter list of all the e-books in the book library, the prefix content in the chapter list of the e-book can be extracted by the regular expression of the prefix filtering rule.
  • the null characters of the chapter headings in the chapter list can also be deleted.
  • the null characters can include: spaces, tabs, and so on.
  • the punctuation marks in the chapter list can also be removed during the pre-processing of the chapter list of the e-book.
  • the present invention provides a method for mining similar books in a book library, as shown in FIG. 1 , the flow specifically includes the following steps:
  • S101 Determine, according to the title of all the e-books in the book library, the group to which each e-book belongs.
  • the book name string of the e-book may be split by using a preset vectorization rule, and each sub-string obtained by the split forms a book name vector corresponding to the e-book. . All substrings obtained by splitting are combined and de-duplicated to obtain keywords of each group. For each e-book in the book library, for each group, if the book name vector of the e-book contains the keyword of the group, the e-book is divided into the group.
  • the title string of the e-book can be obtained by filtering the title of the e-book by a preset title filtering rule.
  • the N-character string in the book name string can be formed into a sub-string by the vectorization rule, and then the sub-strings obtained by the split form the book name vector corresponding to the e-book, wherein N is a preset splitting base, and may be a positive integer such as 1, 2, 3, or the like.
  • the title of the e-book title string "I am a legend of the world” is “I am a legend of the world.”
  • the vector elements in the title vector "exclusive”, “the world of me”, “I am”, “I am a biography”, “is a legend” are the children of the e-book title string split String.
  • the title string may be directly formed into the title vector of the e-book without splitting.
  • the book name vectors corresponding to all the electronic books may be combined into one vector. Thereafter, grouping is performed based on the vector elements in the merged vector, and the keywords of each group are determined.
  • each vector element in the merged vector may correspond to one group, and the keyword of the group is the vector element.
  • the vector elements in the merged vector may have only one million, that is, the combined vector has a length of one million.
  • the number of the packets may be equal to the length of the merged vector, or may be smaller than the length of the merged vector.
  • all the e-books in the book library can be divided into groups. Specifically, for each e-book, the title vector of the e-book may be compared with the keywords of each group, and if the title vector includes a group of keywords, the e-book may be divided. Go to the group. In practical applications, if the book name vector of the e-book contains a plurality of grouped keywords, the e-book will be divided into a plurality of groups.
  • the similarity between the two electronic books is represented by the similarity between the chapter lists of the two books. Therefore, for each packet, the similarity between the e-books in the packet can be calculated based on the chapter list of each e-book within the packet.
  • the similarity between the two chapter lists can be calculated by the optimization problem of the quadratic programming.
  • a matrix needs to be generated in the calculation process, and in a large-scale book library.
  • the number of e-books is huge. Therefore, the matrix generation process consumes a lot of time, which is not conducive to the improvement of mining speed.
  • an approximate optimal method can be adopted, and the electronic books in the group are compared two by two, and the similarity between the two electronic books is obtained, and the calculation speed of the similarity is improved, thereby improving The speed of mining similar books.
  • the chapter titles in the chapter lists of the two e-books can be compared for any two e-books in the group, and the jaccard between the two e-books is calculated. Card's coefficient, and as the similarity between the two e-books.
  • the chapter title of the chapter list can be obtained by filtering the chapter list of the e-book through a preset chapter filtering rule.
  • the calculation method of the jaccard coefficient can adopt the technical means commonly used by those skilled in the art, and no longer Narration.
  • step S102 For each packet, after the similarity between the e-books in the packet is calculated in step S102, if the similarity between the two e-books in the packet exceeds a set threshold, the two e-books are compared. Determined as a pair of similar books in the library.
  • the setting threshold is preset by a person skilled in the art, for example, the setting threshold may be set to 0.8. In this way, after the pair of chapters of the e-books in the group are compared in pairs, if the similarity between the two e-books exceeds 0.8, the chapter lists of the two e-books are similar, and can be determined as A pair of similar books within the group.
  • the scheme of the present invention mines similar books by comparing titles and chapter lists, while ensuring the accuracy of similar book mining, It can reduce the amount of excavation work and increase the speed of excavation.
  • the book library can be purified according to the similar books excavated. Therefore, in the method for mining similar books in the book library provided by the present invention, after completing step S103, a similar model in all the groups in the book library can be used to construct a graph model of the book library.
  • Each pair of similar books is the two endpoints connected in the graph model.
  • a pair of similar books in the book library may be referred to as a similar pair in the book library.
  • each similar pair will be the two endpoints of an edge. In this way, the similar pairs of all similar pairs in the book library can be connected by the constructed graph model.
  • an e-book reservation can be selected from the connected components, and other e-books can be deleted.
  • the two endpoints are said to be connected. If any two endpoints in the figure are connected, the graph can be called a connected graph. Otherwise, the graph is a non-connected graph, and the maximal connected subgraph is called a connected component. It means that the number of endpoints included in the subgraph is extremely large.
  • the connected components existing in the graph model can be determined.
  • all the e-books that each connected component contains are often the same book. Therefore, in order to reduce the size of the book library, for each connected component determined in the graph model, the best and most complete e-book can be searched from the inside of the connected component for deletion and other e-books are deleted.
  • the number of e-books connected to the e-book in the connected component may be used as the relevance of the e-book for each e-book in the connected component; The e-book with the highest degree is retained, and the other e-books in the connected component are deleted.
  • the similarity between the e-books connected to the e-book and the e-book in the connected component may be accumulated to obtain the e-book. Relevance; select the e-book retention with the highest relevance.
  • each e-book in the connected component after determining the e-book connected to the e-book in the connected component, the similarity between each e-book and the e-book is accumulated, and The accumulated similarity is divided by the number of e-books connected to the e-book, and the average similarity of the e-book is obtained as the relevance of the e-book; and the e-book with the highest relevance is selected.
  • the drawing model may be constructed based on mining similar books in all the groups; and then selecting one of the connected components for each connected component in the graph model.
  • the e-book is retained, and some similar books are deleted, so that the similar processing of the book library can be purified, thereby reducing the size of the library.
  • the present invention also provides a similar book mining device in the book library, as shown in FIG. 2a, the mining device includes: a book grouping unit 201, a similarity calculating unit 202, and Similar book mining unit 203.
  • the book grouping unit 201 is configured to determine, according to the book titles of all the e-books in the book library, the group to which each e-book belongs.
  • the similarity calculation unit 202 is configured to calculate the similarity between the e-books in the packet according to the chapter list of each e-book in the packet for each packet.
  • the similar book mining unit 203 is configured to, for each packet, determine the two electronic books as a pair of similar books in the book library if the similarity between the two electronic books in the group exceeds a set threshold.
  • the mining apparatus for similar books in the book library includes: a book grouping unit 201, a similarity calculating unit 202, and a similar book mining unit 203, and may further include: a preprocessing unit 204.
  • the pre-processing unit 204 is configured to filter the book names of all the e-books in the book library by using a preset book name filtering rule to obtain a book name string of the e-book; and use the preset chapter filtering rules to be in the book library.
  • the chapter list of all e-books is filtered to obtain the chapter titles in the chapter list of the e-book.
  • the chapter filtering rule includes at least one of the following: a prefix filtering rule and a suffix filtering rule.
  • the book grouping unit 201 can split the title string of the e-book by using a preset vectorization rule for each e-book in the book library, and each sub-string obtained by the split constitutes the corresponding e-book.
  • Book name vector combine all the sub-strings obtained by splitting to obtain the keywords of each group; for each e-book in the book library, for each group, if the book name vector of the e-book is The keyword containing the group is divided into the group.
  • the similarity calculation unit 202 may compare the chapter titles in the chapter lists of the two e-books for each of the two e-books in the group, and calculate the jaccard between the two e-books. Coefficient, and as the similarity between the two e-books.
  • the mining apparatus for similar books in the book library includes: a book grouping unit 201, a similarity calculating unit 202, a similar book mining unit 203, and a preprocessing unit 204, Further included: a book cleaning unit 205.
  • the book purifying unit 205 is configured to construct a graph model of the book library by using similar books in all the groups in the book library determined by the similar book mining unit 203; and select an electron from the connected components for each connected component in the graph model The book is retained and other e-books are deleted. Each pair of similar books is the two endpoints connected in the graph model.
  • the book purifying unit 205 may construct a graph model of the book library by using similar books in all the groups in the book library; for each connected component in the graph model, for each e-book in the connected component, the connected component will be The number of e-books connected to the e-book is used as the relevance of the e-book; the e-book with the highest relevance is selected to be retained, and other e-books are deleted.
  • the book purifying unit 205 may construct a graph model of the book library by using similar books in all the groups in the book library; for each connected component in the graph model, for each e-book in the connected component, the connected component will be The similarity between each e-book connected to the e-book and the e-book is accumulated to obtain the relevance of the e-book; the e-book with the highest relevance is selected to be retained, and other e-books are deleted.
  • the book purifying unit 205 may, for each e-book in the connected component, determine the similarity between each e-book and the e-book after determining the e-book connected to the e-book in the connected component The accumulation is performed, and the accumulated similarity is divided by the number of e-books connected to the e-book, and the average similarity of the e-book is obtained as the relevance of the e-book; and the e-book with the highest relevance is selected.
  • each unit in the mining device of the similar book in the book library can refer to the steps in the mining method of the similar book in the above book library, and details are not described herein again.
  • the present invention also provides a method for purifying similar books in the book library, as shown in FIG. 3, the flow specifically includes the following steps:
  • S301 Determine, according to the title of all the e-books in the book library, the group to which each e-book belongs.
  • the book name string of the e-book is split by using a preset vectorization rule, and each sub-string obtained by the split constitutes a book name vector corresponding to the e-book. After that, all the substrings obtained by the split are combined and de-duplicated to obtain keywords of each group. For each e-book in the book library, for each group, if the book name vector of the e-book contains the keyword of the group, the e-book is divided into the group.
  • the title string of the e-book can be obtained by filtering the title of the e-book by a preset title filtering rule.
  • the title of an e-book in a book library is usually composed of Chinese characters, Arabic numerals, English letters, and some null characters, spaces, tabs, and the like. Therefore, in order to facilitate the title comparison of the e-book, in the solution of the present invention, before the purification of the similar book in the book library, the book name of all the e-books in the book library can be performed by using the preset book name filtering rule. Filter processing to obtain the title string of the e-book. For example, some non-essential null characters in the title of the e-book are filtered out, English letters, Arabic data, and Chinese characters are reserved, and the reserved characters are composed of the title string of the e-book.
  • the adjacent N characters in the title string can be grouped into a substring by a vectorization rule, and then each substring obtained by the split constitutes a book name vector corresponding to the ebook.
  • N is a preset splitting base, and may be a positive integer such as 1, 2, 3, etc.
  • the title string may be directly formed into the title vector of the e-book without splitting.
  • the book name vectors corresponding to all the e-books may be combined into one vector; and the vector elements in the merged vector are grouped to determine the groupings. Key words.
  • each vector element in the merged vector may correspond to one group, and the keyword of the group is the vector element.
  • the vector elements in the merged vector may have only one million, that is, the combined vector has a length of one million.
  • the number of the packets may be equal to the length of the merged vector, or may be smaller than the length of the merged vector.
  • all the e-books in the book library can be divided into groups. Specifically, for each e-book, the title vector of the e-book may be compared with the keywords of each group, and if the title vector includes a group of keywords, the e-book may be divided. Go to the group. In practical applications, if the book name vector of the e-book contains a plurality of grouped keywords, the e-book will be divided into a plurality of groups.
  • the similarity between the two electronic books is represented by the similarity between the chapter lists of the two books. Therefore, for each packet, the similarity between the e-books in the packet can be calculated based on the chapter list of each e-book within the packet.
  • the similarity between the two chapter lists can be calculated by the optimization problem of the quadratic programming.
  • a matrix needs to be generated in the calculation process, and in a large-scale book library.
  • the number of e-books is huge. Therefore, the matrix generation process consumes a lot of time, which is not conducive to the improvement of mining speed.
  • an approximate optimal method can be adopted, and the electronic books in the group are compared two by two, and the similarity between the two electronic books is obtained, and the calculation speed of the similarity is improved, thereby improving The speed of mining similar books.
  • the chapter titles in the chapter lists of the two e-books may be compared for any two e-books in the group, and the jaccard coefficient between the two e-books is calculated. And as the similarity between the two e-books.
  • the calculation method of the jaccard coefficient may be a technical means commonly used by those skilled in the art, and details are not described herein again.
  • the chapter title of the chapter list can be obtained by filtering the chapter list of the e-book through a preset chapter filtering rule. Specifically, before the purification of similar books in the book library, the preset chapter filtering rules can be utilized.
  • the chapter list of all the e-books in the book library is filtered to obtain the chapter titles in the chapter list of the e-book.
  • the chapter filtering rule includes at least one of the following: a prefix filtering rule and a suffix filtering rule.
  • the null characters of the chapter headings in the chapter list can also be deleted.
  • the null characters can include: spaces, tabs, and so on.
  • the punctuation marks in the chapter list can also be removed during the pre-processing of the chapter list of the e-book.
  • the chapter list of the e-book in the book library is filtered by the above-mentioned null character, punctuation mark, prefix filter rule, and suffix filter rule, and each chapter title in the chapter list of the e-book can be obtained.
  • step 302 After calculating the similarity between the e-books in the packet by step 302, if the similarity between the two e-books in the packet exceeds a set threshold, the two e-books are Determined as a pair of similar books in the library.
  • the setting threshold is preset by a person skilled in the art, for example, the setting threshold may be set to 0.8. In this way, after the pair of chapters of the e-books in the group are compared in pairs, if the similarity between the two e-books exceeds 0.8, the chapter lists of the two e-books are similar, and can be determined as A pair of similar books within the group.
  • S304 Construct a graph model of the book library by using similar books in all the groups in the book library; wherein each pair of similar books is the two end points connected in the graph model.
  • a pair of similar books in the book library may be referred to as a similar pair in the book library.
  • each similar pair will be the two endpoints of an edge. In this way, the similar pairs of all similar pairs in the book library can be connected by the constructed graph model.
  • the two endpoints are said to be connected. If any two endpoints in the figure are connected, the graph can be called a connected graph. Otherwise, the graph is a non-connected graph, and the maximal connected subgraph is called a connected component. It means that the number of endpoints included in the subgraph is extremely large.
  • the connected components existing in the graph model can be determined.
  • all the e-books that each connected component contains are often the same book. Therefore, in order to reduce the size of the book library, for each connected component determined in the graph model, the best and most complete e-book can be searched from the inside of the connected component for deletion and other e-books are deleted.
  • the number of e-books connected to the e-book in the connected component may be used as the relevance of the e-book for each e-book in the connected component; The e-book with the highest degree is retained, and the other e-books in the connected component are deleted.
  • the similarity between the e-books connected to the e-book and the e-book in the connected component may be accumulated to obtain the e-book. Relevance; select the e-book retention with the highest relevance.
  • each e-book in the connected component after determining the e-book connected to the e-book in the connected component, the similarity between each e-book and the e-book is accumulated, and Cumulative similarity divided by The number of e-books connected to the e-book obtains the average similarity of the e-book and serves as the relevance of the e-book; the e-book with the highest relevance is selected.
  • a map model is constructed based on excavating similar books in all the groups; and then an e-book is selected from the connected components for each connected component in the graph model. Retain, and delete some similar books, so as to achieve a purification of similar books in the library, thereby reducing the size of the library.
  • the present invention also provides a purification device for a similar book in a book library, as shown in FIG. 4, the purification device may include: a book grouping unit 401, a similar book mining unit 402, And a similar book purification unit 403.
  • the book grouping unit 401 is configured to determine, according to the book titles of all the e-books in the book library, the group to which each e-book belongs.
  • the similar book mining unit 402 is configured to calculate, for each group, the similarity between the e-books in the group according to the chapter list of each e-book in the group; if the similarity between the two e-books in the group When the set threshold is exceeded, the two e-books are determined as a pair of similar books in the book library.
  • the similar book purifying unit 403 is configured to construct a graph model of the book library by using similar books in all the groups in the book library, wherein each pair of similar books is the two end points connected in the graph model; for each of the graph models of the book library Connected components, select an e-book reservation from the connected components, and delete other e-books in the connected component.
  • the similar book purifying unit 403 can construct a graph model of the book library by using similar books in all the groups in the book library; for each connected component in the graph model, the connected component is used for each e-book in the connected component The number of e-books connected to the e-book is used as the degree of relevance of the e-book; the e-book with the highest degree of relevance is selected to be deleted, and other e-books in the connected component are deleted.
  • the similar book purifying unit 403 may construct a graph model of the book library by using similar books in all the groups in the book library; for each connected component in the graph model, for each e-book in the connected component, the connected component will be The similarity between each e-book connected to the e-book and the e-book is accumulated to obtain the relevance of the e-book; the e-book with the highest relevance is selected to be deleted, and other e-books are deleted.
  • the similar book purifying unit 403 may, for each e-book in the connected component, determine the similarity between each e-book and the e-book after determining the e-book connected to the e-book in the connected component Accumulating the degree, and dividing the accumulated similarity by the number of e-books connected to the e-book, obtaining the average similarity of the e-book, and as the relevance degree of the e-book; selecting the e-book retention with the highest relevance, Delete other eBooks.
  • the purification device of the similar book in the book library further includes: a pre-processing unit 404.
  • the pre-processing unit 404 is configured to filter the book names of all the e-books in the book library by using a preset book name filtering rule to obtain a book name string of the e-book; and use the preset chapter filtering rules to be in the book library.
  • the chapter list of all e-books is filtered to obtain the chapter titles in the chapter list of the e-book.
  • the chapter filtering rule includes at least one of the following: a prefix filtering rule and a suffix filtering rule.
  • the book grouping unit 401 can split the title string of the e-book by using a preset vectorization rule for each e-book in the book library, and each sub-string obtained by the split constitutes the corresponding e-book.
  • Book name vector combine all the sub-strings obtained by splitting to obtain the keywords of each group; for each e-book in the book library, for each group, if the book name vector of the e-book is The keyword containing the group is divided into the group.
  • the similar book mining unit 402 can compare the chapter titles in the chapter lists of the two e-books for each of the two e-books in the group, and calculate the jaccard between the two e-books.
  • the coefficient is used as the similarity between the two electronic books; if the similarity between the two electronic books in the group exceeds the set threshold, the two electronic books are determined as a pair of similar books in the book library.
  • each unit in the purification device of the similar book in the book library can refer to the steps in the purification method of the similar book in the above book library, and details are not described herein again.
  • the corresponding book library can be correspondingly E-book push To the user.
  • the present invention also provides an e-book push method based on a cleaned book library. As shown in FIG. 5, the method includes the following steps:
  • S501 Receive a user search request including a title of the e-book.
  • S502 Query an e-book corresponding to the title from the purified book library.
  • the purified book library specifically refers to a library of books purified according to the purification method of similar books in the above book library.
  • the book name of the e-book included in the received user search request is acquired, and the e-book corresponding to the book title is inquired from the purified book library according to the obtained book name.
  • S503 Push the summary information page of the queried e-book in response to the user search request.
  • the summary information page of the e-book may be pushed to the user in response to the user search request.
  • the e-book pushing device based on the above-mentioned purifying-based book library, the present invention further provides an e-book pushing device based on a cleaned book library.
  • the pushing device may include: a request receiving unit 601, an e-book The query unit 602 and the push unit 603.
  • the request receiving unit 601 is configured to receive a user search request including a book name of the electronic book.
  • the e-book query unit 602 is configured to obtain a book name of the e-book in the user search request, and query the e-book corresponding to the book title from the purified book library.
  • the purified book library specifically refers to a library of books purified according to the purification method of similar books in the above book library.
  • the pushing unit 603 is configured to push the summary information page of the queried e-book in response to the user search request.
  • each unit in the e-book pushing device based on the cleaned book library can refer to the steps in the e-book pushing method based on the above-mentioned purifying book library, and details are not described herein again.
  • the e-books in the book library may be grouped according to the title of the e-book, that is, the e-books with similar book names are classified into one group; and then, for each group, according to each group in the group
  • the chapter list of the e-book calculates the similarity between the e-books in the group, and determines two e-books whose similarity exceeds the set threshold as a pair of similar books in the book library.
  • the present invention includes apparatus related to performing one or more of the operations described herein. These devices may be specially designed and manufactured for the required purposes, or may also include known devices in a general purpose computer. These devices have computer programs stored therein that are selectively activated or reconfigured.
  • Such computer programs may be stored in a device (eg, computer) readable medium or in any type of medium suitable for storing electronic instructions and coupled to a bus, respectively, including but not limited to any Types of disks (including floppy disks, hard disks, optical disks, CD-ROMs, and magneto-optical disks), ROM (Read-Only Memory), RAM (Random Access Memory), EPROM (Erasable Programmable Read-Only Memory) , EEPROM (Electrically Erasable Programmable Read-Only Memory), flash memory, magnetic card or light card.
  • a readable medium includes any medium that is stored or transmitted by a device (eg, a computer) in a readable form.
  • each block of the block diagrams and/or block diagrams and/or flow diagrams and combinations of blocks in the block diagrams and/or block diagrams and/or flow diagrams can be implemented by computer program instructions. .
  • these computer program instructions can be implemented by a general purpose computer, a professional computer, or a processor of other programmable data processing methods, such that the processor is executed by a computer or other programmable data processing method.
  • Measures, programs can be alternated, changed, combined, or deleted.
  • other steps, measures, and schemes of the various operations, methods, and processes that have been discussed in the present invention may be alternated, modified, rearranged, decomposed, combined, or deleted.
  • the steps, measures, and solutions in the prior art having various operations, methods, and processes disclosed in the present invention may also be alternated, changed, rearranged, decomposed, combined, or deleted.
  • the various component embodiments of the present invention may be implemented in hardware, or in a software module running on one or more processors, or in a combination thereof.
  • a microprocessor or digital signal processor may be used in practice to implement some or some of the components of a similar book in a book library in accordance with an embodiment of the present invention. Or all features.
  • the invention can also be implemented as a device or device program (e.g., a computer program and a computer program product) for performing some or all of the methods described herein.
  • Such a program implementing the invention may be stored on a computer readable medium or may be in the form of one or more signals. Such signals may be downloaded from an Internet website, provided on a carrier signal, or provided in any other form.
  • Figure 7 shows a computing device for performing the method in accordance with the present invention.
  • the computing device conventionally includes a processor 710 and a computer program product or computer readable medium in the form of a memory 720.
  • Memory 720 can be an electronic memory such as a flash memory, EEPROM (Electrically Erasable Programmable Read Only Memory), EPROM, hard disk, or ROM.
  • Memory 720 has a memory space 730 for program code 731 for performing any of the method steps described above.
  • storage space 730 for program code may include various program code 731 for implementing various steps in the above methods, respectively.
  • the program code can be read from or written to one or more computer program products.
  • Such computer program products include program code carriers such as hard disks, compact disks (CDs), memory cards or floppy disks.
  • Such a computer program product is typically a portable or fixed storage unit as described with reference to FIG.
  • the storage unit may have storage segments, storage spaces, and the like that are similarly arranged to memory 720 in the computing device of FIG.
  • the program code can be compressed, for example, in an appropriate form.
  • the storage unit includes computer readable code 731', ie, code readable by a processor, such as 710, that when executed by a computing device causes the computing device to perform each of the methods described above step.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种书籍库中相似书的挖掘、净化方法和装置，该净化方法包括：根据书籍库中所有电子书的书名，确定出各电子书所属的分组；对于每个分组，根据该分组内各电子书的章节列表，计算出该分组内各电子书之间的相似度，若该分组内两本电子书之间的相似度超过设定阈值，则将该两本电子书确定为书籍库中的一对相似书；利用书籍库中所有分组内的相似书，构建书籍库的图模型，其中，每对相似书为图模型中相连的两个端点；对于图模型中的每个连通分量，从该连通分量中选择一本电子书保留，删除其他电子书。应用本发明，可以提高书籍库中相似书的挖掘速度，降低书籍库的规模。

Description

书籍库中相似书的挖掘、净化方法和装置 技术领域
本发明涉信息处理技术领域，具体而言，本发明涉及一种书籍库中相似书的挖掘、净化方法和装置。
背景技术
随着移动互联网的快速发展，传统的书籍逐渐被电子书所代替。通过PC(Personal Computer，个人计算机)、手机、阅读器等智能设备，用户可以上网搜索自己感兴趣的电子书，或者将自己喜欢的电子书存储到智能设备中。
目前，智能设备上可以支持各种阅读平台和阅读工具来满足用户的电子书阅读需求，比如，起点中文网、言情小说吧、360小说、书旗小说、ireader阅读器等等。而这些阅读平台和阅读工具通常会配有用于存储有大量的电子书的电子书数据库(本文中也可以称为书籍库)。
实际应用中，在大规模的书籍库(比如，百万级别)中，存在大量的书名、作者、章节列表及章节内容大致相同的相似书，这些相似书将占用大量的存储空间。而且，书籍库中电子书的信息不一定完整，例如，有的电子书的书名因为网页解析问题出现乱码或额外后缀，有的电子书缺少作者信息，有的电子书相对于完整的电子书来讲缺少一些章节列表，有的电子书的章节列表由于某些原因是错误的。
因此，有必要从书籍库中挖掘出这些相似书，并从中删除一些错误的或缺章少节的电子书，进行书籍库净化处理。现有可以针对相同书名的电子书，使用章节内容信息来进行匹配确定出相似书。虽然，通过章节内容信息进行匹配的方法来挖掘相似书的准确率高，但是，由于书籍库中电子书的章节内容存储量太大，会存在挖掘速度慢的问题。
因此，有必要提供一种快速挖掘出书籍库中相似书的方法，并对书籍库中的相似书进行净化处理，以此净化书籍库，降低书籍库的规模。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种书籍库中相似书的挖掘、净化方法和装置。
本发明方案提供了一种书籍库中相似书的净化方法，包括：
根据所述书籍库中所有电子书的书名，确定出各电子书所属的分组；
对于每个分组，根据该分组内各电子书的章节列表，计算出该分组内各电子书之间的相似度，若该分组内两本电子书之间的相似度超过设定阈值，则将该两本电子书确定为所述书籍库中的一对相似书；
利用所述书籍库中所有分组内的相似书，构建所述书籍库的图模型，其中，每对相似书为所述图模型中相连的两个端点；
对于所述图模型中的每个连通分量，从该连通分量中选择一本电子书保留，删除其他电子书。
根据本发明的另一方面，还提供了一种书籍库中相似书的净化装置，包括：
书籍分组单元，用于根据所述书籍库中所有电子书的书名，确定出各电子书所属的分组；
相似书挖掘单元，用于对于每个分组，根据该分组内各电子书的章节列表，计算出该分组内各电子书之间的相似度；若该分组内两本电子书之间的相似度超过设定阈值，则将该两本电子书确定为所述书籍库中的一对相似书；
相似书净化单元，用于利用所述书籍库中所有分组内的相似书，构建所述书籍库的图模型，其中，每对相似书为所述图模型中相连的两个端点；对于所述书籍库的图模型中的每个连通分量，从连通分量中选择一本电子书保留，删除其他电子书。
本发明还提供了一种书籍库中相似书的挖掘方法，包括：
根据书籍库中所有电子书的书名，确定出各电子书所属的分组；
对于每个分组，根据该分组内各电子书的章节列表，计算出该分组内各电子书之间的相似度；
对于每个分组，若分组内两本电子书之间的相似度超过设定阈值，则将该两本电子书确定为所述书籍库中的一对相似书。
本发明还提供了一种书籍库中相似书的挖掘装置，包括：
书籍分组单元，用于根据所述书籍库中所有电子书的书名，确定出各电子书所属的分组；
相似度计算单元，用于对于每个分组，根据该分组内各电子书的章节列表，计算出该分组内各电子书之间的相似度；
相似书挖掘单元，用于对于每个分组，若该分组内两本电子书之间的相似度超过设定阈值，则将该两本电子书确定为所述书籍库中的一对相似书。
本发明还提供了一种基于净化的书籍库的电子书推送方法，包括：
接收包含电子书的书名的用户搜索请求；
从根据上述书籍库中相似书的净化方法所净化的书籍库中查询与所述书名相对应的电子书；
响应于所述用户搜索请求推送查询到的电子书的摘要信息页面。
本发明还提供了一种基于净化的书籍库的电子书推送装置，包括：
请求接收单元，用于接收包含电子书的书名的用户搜索请求；
电子书查询单元，用于获取所述用户搜索请求中的电子书的书名，从根据上述书籍库中相似书的净化方法所净化的书籍库中查询与所述书名相对应的电子书；
推送单元，用于响应于所述用户搜索请求推送查询到的电子书的摘要信息页面。
本发明还提供了一种计算机程序，包括计算机可读代码，当所述计算机可读代码在计算设备上运行时，导致所述计算设备执行如上所述的书籍库中相似书的净化方法，或者导致所述计算设备执行如上所述的书籍库中相似书的挖掘方法，或者导致所述计算设备执行如上所述的基于净化的书籍库的电子书推送方法。
本发明还提供了一种计算机可读介质，其中存储了如权利要求33所述的计算机程序。
本发明的技术方案中，可以根据电子书的书名，将书籍库中的电子书进行分组，即将书名相似的电子书归为一个分组；继而，对于每个分组，可以根据该分组内各电子书的章节列表，计算出该分组内各电子书之间的相似度，将相似度超过设定阈值的两本电子书确定为书籍库的一对相似书。这样，通过书名和章节列表的两次比对来挖掘相似书，可以避免大量的章节内容的比对，在保障了相似书挖掘的准确率的同时，可以减少挖掘工作量，提高了书籍库中相似书的挖掘速度。
进一步地，在挖掘出书籍库中的相似书之后，还可以基于挖掘出所有分组内的相似书，对书籍库进行相似书的净化处理，删除一些重复的内容，以此降低书籍库的规模。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例的书籍库中相似书的挖掘方法的流程示意图；
图2a、2b、2c均为本发明实施例的书籍库中相似书的挖掘装置的内部结构示意图；
图3为本发明实施例的书籍库中相似书的净化方法的流程示意图；
图4为本发明实施例的书籍库中相似书的净化装置的内部结构示意图；
图5为本发明实施例的基于净化的书籍库的电子书推送方法的流程示意图；
图6为本发明实施例的基于净化的书籍库的电子书推送装置的内部结构示意图；
图7示意性地示出了用于执行根据本发明的方法的计算设备的框图；以及
图8示意性地示出了用于保持或者携带实现根据本发明的方法的程序代码的存储单元。
具体实施例
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(Personal Communications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
本发明的发明人发现，实际应用中，在两本电子书的作者、书名和章节列表的相似度比较高的情况下，就可以判定该两本电子书针对的是同一本书，即该两本电子书为一对相似书。
因此，本发明的发明人考虑，可以基于书籍库中的电子书的书名、以及电子书的章节列表，确定出书籍库中的相似书。具体地，可以根据电子书的书名，将书籍库中的电子书进行分组，即将书名相似的电子书归为一个分组；继而，对于每个分组，可以根据该分组内各电子书的章节列表，计算出该分组内各电子书之间的相似度，将相似度超过设定阈值的两本电子书确定为书籍库的一对相似书。这样，通过书名和章节列表的两次比对来挖掘相似书，可以避免大量的章节内容的比对，在保障了相似书挖掘的准确率的同时，可以减少挖掘工作量，提高了挖掘速度。
进一步地，在挖掘出书籍库中的相似书之后，还可以基于挖掘出所有分组内的相似书，对书籍库进行相似书的净化处理，删除一些重复的内容，以此降低书籍库的规模。
本发明所称的电子书，是指适于人们阅读的数字化出版物，区别于以纸张为载体的传统出版物。电子书通过数码方式记录在以光、电、磁为介质的设备中，必须借助于特定的电子阅读设备来读取、复制和传输。简言之，电子书通常以计算机文件的形式存在，其主要格式有PDF、EXE、CHM、UMD、PDG、JAR、PDB、TXT、BRM、EPUB、MOBI等等，进一步的，还可以扩展到泛指一切利用电子阅读设备上的电子阅读软件提供给人们进行阅读的形式，例如，在APP中提供一个网页浏览插件，通过预设的链接访问指向某个书城网站的一本电子书的网页，也同样能提供给用户相同或相近的阅读体验。因而，本领域技术人员不应对本发明的电子书做局限性理解，应以本发明的各个步骤所实现的功能的视角来确定。
下面结合附图详细说明本发明的技术方案。
本发明的方案中，在进行书籍库中的相似书的挖掘之前，可以对书籍库中的电子书进行预处理。
具体地，针对电子书的书名可以通过如下方式进行预处理：利用预设的书名过滤规则，对书籍库中所有电子书的书名进行过滤处理，得到电子书的书名字符串。
实际应用中，书籍库中电子书的书名通常由中文字符、阿拉伯数字、英文字母以及一些空字符组成，空格、制表符等。因此，为了方便后续的书名的比对，本发明的方案中，可以通过预先设置的书名过滤规则，将电子书的书名中的一些非必要的空字符过滤掉，保留英文字母、阿拉伯数据和中文字符，并将保留的字符组成该电子书的书名字符串。
针对电子书的章节列表可以通过如下方式进行预处理：利用预设的章节过滤规则，对书籍库中所有电子书的章节列表进行过滤处理，得到电子书的章节列表中的各章节标题。
实际应用中，书籍库中电子书的章节列表中通常包括一些常用前缀内容，比如“第X章”、“第X节”等，还包括一些常用的后缀内容，比如，页码、完/上/中/下等标识。
因此，本发明的方案中，章节过滤规则可以包括如下至少之一：前缀过滤规则、后缀过滤规则。
实际应用中，电子书的章节列表中“第一章XXXX”中的“第一章”，“第一节XXXX”中的“第一节”、“第一XXXX”中的“第一”、“一XXXX”中的“一”等等，均可以通过前缀过滤规则进行过滤。其中，“一”只是一个实例，可以替换为对应的阿拉伯数字，也可以替换为其他的数字或数字对应的中文。具体地，可以预先针对上述预过滤的前缀内容的数据格式，设置相应的前缀过滤规则及其对应的正则表达式。这样，在对书籍库中所有电子书的章节列表进行过滤处理过程中，可以通过前缀过滤规则的正则表达式，将电子书的章节列表中的前缀内容提取出。
而电子书的章节列表中“XXXX(1)”中的“(1)”、“XXXX(一)”中的“(一)”、“XXXX1”中的“1”、“XXXX(完)”中的“(完)”、“XXXX(上)”中的“(上)”、“XXXX(下)”中的“(下)”等等，均可以通过后缀过滤规则进行过滤。其中，“一”只是一个实例，可以替换为对应的阿拉伯数字，也可以替换为其他的数字或数字对应的中文。具体地，可以预先针对上述预过滤的后缀内容的数据格式，设置相应的后缀过滤规则及其对应的正则表达式。这样，在对书籍库中所有电子书的章节列表进行后缀过滤处理过程中，可以通过后缀过滤规则的正则表达式，将电子书的章节列表中的后缀内容提取出。
更优地，考虑到章节列表中通常还包含了一些空字符，因此，在对电子书的章节列表进行预处理的过程中，还可以将章节列表中各章节标题的空字符删掉。其中，空字符可以包括：空格、制表符等。
进一步地，考虑到章节列表中通常还包含了标点符号，因此，在对电子书的章节列表进行预处理的过程中，还可以将章节列表中的标点符号去掉。
这样，通过上述空字符、标点符号、前缀过滤规则、后缀过滤规则对书籍库中电子书的 章节列表进行过滤处理，将可以得到电子书的章节列表中的各章节标题。
基于上述预处理之后的电子书，本发明提供了一种书籍库中相似书的挖掘方法，如图1所示，其流程具体包括如下步骤：
S101：根据书籍库中所有电子书的书名，确定出各电子书所属的分组。
具体地，针对书籍库中的每本电子书，可以利用预设的向量化规则拆分该电子书的书名字符串，由拆分得到的各子字符串构成该电子书对应的书名向量。将拆分得到的所有子字符串进行合并去重，得到各分组的关键词。针对书籍库中的每本电子书，对于每个分组，若该电子书的书名向量中包含该分组的关键词，则将该电子书划分到该分组中。
其中，电子书的书名字符串可以通过预设的书名过滤规则对电子书的书名进行过滤处理得到。
实际应用中，通过向量化规则，可以将书名字符串中相邻的N个字符组成一个子字符串，之后将拆分得到的各子字符串构成该电子书对应的书名向量，其中，N为预设的拆分基数，可以具体为1、2、3……等正整数。
例如，以3作为拆分基数，电子书的书名字符串“异世之我是传奇”的书名向量为“异世之世之我之我是我是传是传奇”。其中，书名向量中的向量元素“异世之”、“世之我”、“之我是”、“我是传”、“是传奇”均是电子书的书名字符串拆分得到的子字符串。实际应用中，若电子书的书名字符串的书名长度小于拆分基数(比如3)，则可以不进行拆分，而是将该书名字符串直接构成该电子书的书名向量。
本发明的方案中，在得到书籍库中所有电子书各自对应的书名向量之后，可以将所有电子书所对应的书名向量合并成一个向量。之后，根据合并成的向量中的向量元素进行分组，并确定各分组的关键词。
具体地，合并成的向量中的每个向量元素，可以对应一个分组，该分组的关键词即为该向量元素。例如，将三百万本书的所有书名向量合并成一个向量，合并成的向量中向量元素可能只有一百万，即合并成的向量的长度为一百万。
实际应用中，在对合并成的向量进行分组的过程中，分组的个数可以等于该合并成的向量的长度，也可以小于该合并成的向量的长度。
在完成合并成的向量的分组之后，可以将书籍库中所有的电子书进行分组划分。具体地，可以针对每本电子书，将该电子书的书名向量与各个分组的关键词进行比对，若该书名向量中包含了某个分组的关键词，则可以将该电子书划分到该分组中。实际应用中，若电子书的书名向量中包含了多个分组的关键词，因此，该电子书将被划分到多个分组中。
S102：对于每个分组，根据该分组内各电子书的章节列表，计算出该分组内各电子书之间的相似度。
本发明的方案中，两本电子书之间的相似度是通过两本书的章节列表之间的相似度来体现的。因此，对于每个分组，可以根据该分组内各电子书的章节列表，计算出该分组内各电子书之间的相似度。
实际应用中，可以以二次规划的最优化问题来计算两个章节列表之间的相似度，但是，由于二次规划的最优化问题计算过程中需要生成一个矩阵，而在大规模的书籍库中电子书的数量庞大，因此，矩阵的生成过程就会消耗很多时间，不利于挖掘速度的提高。
因此，本发明的方案中可以采用近似最优的方法，将分组内的电子书两两进行比对，得到比对的两本电子书之间的相似度，提高相似度的计算速度，从而提高相似书的挖掘速度。具体地，对于每个分组，可以针对该分组内的任意两本电子书，将该两本电子书各自的章节列表中章节标题进行比对，计算出该两本电子书之间的jaccard(杰卡德)系数，并作为两本电子书之间的相似度。
其中，章节列表的章节标题可以通过预设的章节过滤规则对电子书的章节列表进行过滤处理得到。关于jaccard系数的计算方法可以采用本领域技术人员常用的技术手段，在此不再 赘述。
S103：若分组内两本电子书之间的相似度超过设定阈值，则将该两本电子书确定为书籍库中的一对相似书。
具体地，对于每个分组，通过步骤S102计算出该分组内各电子书之间的相似度之后，若分组内两本电子书之间的相似度超过设定阈值，则将该两本电子书确定为书籍库中的一对相似书。
其中，设定阈值是由本领域技术人员预先设置的，比如，该设定阈值可以设置为0.8。这样，在将分组内的电子书的章节列表进行两两比对之后，若比对的两本电子书之间的相似度超过0.8，则说明该两本电子书的章节列表相似，可以确定为该分组内的一对相似书。
本发明的方案中，在通过步骤103确定出各分组内相似度超过设定阈值的各对相似书之后，即可挖掘出了书籍库中所有的相似书。相比现有基于电子书的章节内容进行比对来挖掘相似书，本发明的方案中通过书名和章节列表的比对来挖掘相似书，在保障了相似书挖掘的准确率的同时，还可以减少挖掘工作量，提高了挖掘速度。
进一步地，本发明的方案中，在挖掘出书籍库中的相似书之后，可以基于挖掘出的相似书对书籍库进行净化处理。因此，本发明提供的书籍库中相似书的挖掘方法中，在完成步骤S103之后，还可以利用书籍库中所有分组内的相似书，构建书籍库的图模型。
其中，每对相似书为图模型中相连的两个端点。
为了便于描述，本发明的方案中，可以将书籍库中的一对相似书称为书籍库中的一个相似对。
实际应用中，在挖掘出书籍库中所有分组内的相似书之后，可以利用所有的相似对，构建图模型。在该图模型中，每个相似对将作为一条边的两个端点。这样，通过构建的图模型可以将书籍库中所有的相似对中相关联的相似对连接起来。
进而，对于构建的图模型中的每个连通分量，可以从该连通分量中选择一本电子书保留，删除其他电子书。
实际应用中，如果从一个端点到另一个端点有路径，则称这两个端点连通。而如果图中任意两个端点之间都连通，则可以称该图为连通图，否则，称该图为非连通图，则其中的极大连通子图称为连通分量，这里所谓的极大是指子图中包含的端点个数极大。
因此，本发明的方案中，在构建了图模型之后，可以确定出该图模型中存在的连通分量。实际应用中，每个连通分量其所包含的所有电子书，其针对的往往是同一本书。因此，为了降低书籍库的规模，对于图模型中确定出的每个连通分量，可以从该连通分量的内部寻找最好最完整的电子书进行保留而删除其他电子书。
例如，书籍库中挖掘出了1万个相似对，利用这1万个相似对构建出图模型之后，若从该图模型中寻找出了1000个连通分量，而每个连通分量中平均有10本可以互相成为一对相似书的电子书。为了降低书籍库的规模，可以从该10本电子书中寻找出最好的一本进行保留，而删除其他9本电子书。
具体地，对于每个连通分量，可以针对该连通分量中的每本电子书，将该连通分量中与该电子书相连的电子书的个数，作为该电子书的关联度；之后，选取关联度最高的电子书保留，而删除该连通分量中其他的电子书。
或者，对于每个连通分量，可以针对该连通分量中的每本电子书，将该连通分量中该电子书相连的各本电子书与该电子书之间的相似度进行累加，得到该电子书的关联度；选取关联度最高的电子书保留。
进一步地，针对该连通分量中的每本电子书，在确定出该连通分量中与该电子书相连的电子书之后，将各本电子书与该电子书之间的相似度进行累加，并将累加的相似度除以与该电子书相连的电子书的数量，得到该电子书的平均相似度，并作为该电子书的关联度；选取关联度最高的电子书保留。
本发明的方案中，在挖掘出书籍库中的相似书之后，还可以基于挖掘出所有分组内的相似书，构建图模型；进而针对图模型中每个连通分量，从该连通分量中选择一个电子书保留，而删除一些相似书，从而实现对书籍库进行相似书的净化处理，以此降低书籍库的规模。
基于上述书籍库中相似书的挖掘方法，本发明还提供了一种书籍库中相似书的挖掘装置，如图2a所示，该挖掘装置包括：书籍分组单元201、相似度计算单元202、以及相似书挖掘单元203。
其中，书籍分组单元201用于根据书籍库中所有电子书的书名，确定出各电子书所属的分组。
相似度计算单元202用于对于每个分组，根据该分组内各电子书的章节列表，计算出该分组内各电子书之间的相似度。
相似书挖掘单元203用于对于每个分组，若该分组内两本电子书之间的相似度超过设定阈值，则将该两本电子书确定为书籍库中的一对相似书。
进一步地，如图2b所示，本发明提供的书籍库中相似书的挖掘装置中除了包括：书籍分组单元201、相似度计算单元202、以及相似书挖掘单元203，还可以包括：预处理单元204。
预处理单元204用于利用预设的书名过滤规则，对书籍库中所有电子书的书名进行过滤处理，得到电子书的书名字符串；利用预设的章节过滤规则，对书籍库中所有电子书的章节列表进行过滤处理，得到电子书的章节列表中的各章节标题。
其中，章节过滤规则包括如下至少之一：前缀过滤规则、后缀过滤规则。
相应地，书籍分组单元201针对书籍库中的每本电子书，可以利用预设的向量化规则拆分该电子书的书名字符串，由拆分得到的各子字符串构成该电子书对应的书名向量；将拆分得到的所有子字符串进行合并去重，得到各分组的关键词；针对书籍库中的每本电子书，对于每个分组，若该电子书的书名向量中包含该分组的关键词，则将该电子书划分到该分组中。
相似度计算单元202对于每个分组，可以针对该分组内的任意两本电子书，将该两本电子书各自的章节列表中章节标题进行比对，计算出该两本电子书之间的jaccard系数，并作为两本电子书之间的相似度。
更优地，如图2c所示，本发明提供的书籍库中相似书的挖掘装置中除了包括：书籍分组单元201、相似度计算单元202、相似书挖掘单元203、以及预处理单元204，还可以进一步包括：书籍净化单元205。
书籍净化单元205用于利用相似书挖掘单元203确定出的书籍库中所有分组内的相似书，构建书籍库的图模型；对于图模型中的每个连通分量，从连通分量中选择一本电子书保留，删除其他电子书。其中，每对相似书为图模型中相连的两个端点。
具体地，书籍净化单元205可以利用书籍库中所有分组内的相似书，构建书籍库的图模型；对于图模型中的每个连通分量，针对连通分量中的每本电子书，将连通分量中与该电子书相连的电子书的个数，作为该电子书的关联度；选取关联度最高的电子书保留，删除其他电子书。
或者，书籍净化单元205可以利用书籍库中所有分组内的相似书，构建书籍库的图模型；对于图模型中的每个连通分量，针对连通分量中的每本电子书，将连通分量中该电子书相连的各本电子书与该电子书之间的相似度进行累加，得到该电子书的关联度；选取关联度最高的电子书保留，删除其他电子书。
进一步地，书籍净化单元205可以针对该连通分量中的每本电子书，在确定出该连通分量中与该电子书相连的电子书之后，将各本电子书与该电子书之间的相似度进行累加，并将累加的相似度除以与该电子书相连的电子书的数量，得到该电子书的平均相似度，并作为该电子书的关联度；选取关联度最高的电子书保留。
本发明的方案中，书籍库中相似书的挖掘装置中的各单元的具体实现可参照上述书籍库中相似书的挖掘方法中的各步骤，在此不再赘述。
基于上述书籍库中相似书的挖掘方法和挖掘装置，本发明还提供了一种书籍库中相似书的净化方法，如图3所示，其流程具体包括如下步骤：
S301：根据书籍库中所有电子书的书名，确定出各电子书所属的分组。
具体地，针对书籍库中的每本电子书，利用预设的向量化规则拆分该电子书的书名字符串，由拆分得到的各子字符串构成该电子书对应的书名向量。之后，将拆分得到的所有子字符串进行合并去重，得到各分组的关键词。针对书籍库中的每本电子书，对于每个分组，若该电子书的书名向量中包含该分组的关键词，则将该电子书划分到该分组中。
其中，电子书的书名字符串可以通过预设的书名过滤规则对电子书的书名进行过滤处理得到。实际应用中，书籍库中电子书的书名通常由中文字符、阿拉伯数字、英文字母以及一些空字符组成，空格、制表符等。因此，为了方便电子书的书名比对，本发明的方案中，在进行书籍库中相似书的净化之前，可以利用预设的书名过滤规则，对书籍库中所有电子书的书名进行过滤处理，得到电子书的书名字符串。例如，将电子书的书名中的一些非必要的空字符过滤掉，保留英文字母、阿拉伯数据和中文字符，并将保留的字符组成该电子书的书名字符串。
本发明的方案中，可以通过向量化规则，将书名字符串中相邻的N个字符组成一个子字符串，之后将拆分得到的各子字符串构成该电子书对应的书名向量，其中，N为预设的拆分基数，可以具体为1、2、3……等正整数。实际应用中，若电子书的书名字符串的书名长度小于拆分基数(比如3)，则可以不进行拆分，而是将该书名字符串直接构成该电子书的书名向量。
在得到书籍库中所有电子书各自对应的书名向量之后，可以将所有电子书所对应的书名向量合并成一个向量；并根据合并成的向量中的向量元素进行分组，确定出各分组的关键词。
具体地，合并成的向量中的每个向量元素，可以对应一个分组，该分组的关键词即为该向量元素。例如，将三百万本书的所有书名向量合并成一个向量，合并成的向量中向量元素可能只有一百万，即合并成的向量的长度为一百万。
实际应用中，在对合并成的向量进行分组的过程中，分组的个数可以等于该合并成的向量的长度，也可以小于该合并成的向量的长度。
在完成合并成的向量的分组之后，可以将书籍库中所有的电子书进行分组划分。具体地，可以针对每本电子书，将该电子书的书名向量与各个分组的关键词进行比对，若该书名向量中包含了某个分组的关键词，则可以将该电子书划分到该分组中。实际应用中，若电子书的书名向量中包含了多个分组的关键词，因此，该电子书将被划分到多个分组中。
S302：对于每个分组，根据该分组内各电子书的章节列表，计算出该分组内各电子书之间的相似度。
本发明的方案中，两本电子书之间的相似度是通过两本书的章节列表之间的相似度来体现的。因此，对于每个分组，可以根据该分组内各电子书的章节列表，计算出该分组内各电子书之间的相似度。
实际应用中，可以以二次规划的最优化问题来计算两个章节列表之间的相似度，但是，由于二次规划的最优化问题计算过程中需要生成一个矩阵，而在大规模的书籍库中电子书的数量庞大，因此，矩阵的生成过程就会消耗很多时间，不利于挖掘速度的提高。
因此，本发明的方案中可以采用近似最优的方法，将分组内的电子书两两进行比对，得到比对的两本电子书之间的相似度，提高相似度的计算速度，从而提高相似书的挖掘速度。具体地，对于每个分组，可以针对该分组内的任意两本电子书，将该两本电子书各自的章节列表中章节标题进行比对，计算出该两本电子书之间的jaccard系数，并作为两本电子书之间的相似度。关于jaccard系数的计算方法可以采用本领域技术人员常用的技术手段，在此不再赘述。
其中，章节列表的章节标题可以通过预设的章节过滤规则对电子书的章节列表进行过滤处理得到。具体地，在进行书籍库中相似书的净化之前，可以利用预设的章节过滤规则，
对书籍库中所有电子书的章节列表进行过滤处理，得到电子书的章节列表中的各章节标题。其中，章节过滤规则包括如下至少之一：前缀过滤规则、后缀过滤规则。
更优地，考虑到章节列表中通常还包含了一些空字符，因此，在对电子书的章节列表进行预处理的过程中，还可以将章节列表中各章节标题的空字符删掉。其中，空字符可以包括：空格、制表符等。
进一步地，考虑到章节列表中通常还包含了标点符号，因此，在对电子书的章节列表进行预处理的过程中，还可以将章节列表中的标点符号去掉。
这样，通过上述空字符、标点符号、前缀过滤规则、后缀过滤规则对书籍库中电子书的章节列表进行过滤处理，将可以得到电子书的章节列表中的各章节标题。
S303：对于每个分组，若该分组内两本电子书之间的相似度超过设定阈值，则将该两本电子书确定为书籍库中的一对相似书。
具体地，对于每个分组，通过步骤302计算出该分组内各电子书之间的相似度之后，若分组内两本电子书之间的相似度超过设定阈值，则将该两本电子书确定为书籍库中的一对相似书。
其中，设定阈值是由本领域技术人员预先设置的，比如，该设定阈值可以设置为0.8。这样，在将分组内的电子书的章节列表进行两两比对之后，若比对的两本电子书之间的相似度超过0.8，则说明该两本电子书的章节列表相似，可以确定为该分组内的一对相似书。
S304：利用书籍库中所有分组内的相似书，构建书籍库的图模型；其中，每对相似书为图模型中相连的两个端点。
为了便于描述，本发明的方案中，可以将书籍库中的一对相似书称为书籍库中的一个相似对。
实际应用中，在挖掘出书籍库中所有分组内的相似书之后，可以利用所有的相似对，构建图模型。在该图模型中，每个相似对将作为一条边的两个端点。这样，通过构建的图模型可以将书籍库中所有的相似对中相关联的相似对连接起来。
S305：对于图模型中的每个连通分量，从该连通分量中选择一本电子书保留，删除其他电子书。
实际应用中，如果从一个端点到另一个端点有路径，则称这两个端点连通。而如果图中任意两个端点之间都连通，则可以称该图为连通图，否则，称该图为非连通图，则其中的极大连通子图称为连通分量，这里所谓的极大是指子图中包含的端点个数极大。
因此，本发明的方案中，在构建了图模型之后，可以确定出该图模型中存在的连通分量。实际应用中，每个连通分量其所包含的所有电子书，其针对的往往是同一本书。因此，为了降低书籍库的规模，对于图模型中确定出的每个连通分量，可以从该连通分量的内部寻找最好最完整的电子书进行保留而删除其他电子书。
例如，书籍库中挖掘出了1万个相似对，利用这1万个相似对构建出图模型之后，若从该图模型中寻找出了1000个连通分量，而每个连通分量中平均有10本可以互相成为一对相似书的电子书。为了降低书籍库的规模，可以从该10本电子书中寻找出最好的一本进行保留，而删除其他9本电子书。
具体地，对于每个连通分量，可以针对该连通分量中的每本电子书，将该连通分量中与该电子书相连的电子书的个数，作为该电子书的关联度；之后，选取关联度最高的电子书保留，而删除该连通分量中其他的电子书。
或者，对于每个连通分量，可以针对该连通分量中的每本电子书，将该连通分量中该电子书相连的各本电子书与该电子书之间的相似度进行累加，得到该电子书的关联度；选取关联度最高的电子书保留。
进一步地，针对该连通分量中的每本电子书，在确定出该连通分量中与该电子书相连的电子书之后，将各本电子书与该电子书之间的相似度进行累加，并将累加的相似度除以与该 电子书相连的电子书的数量，得到该电子书的平均相似度，并作为该电子书的关联度；选取关联度最高的电子书保留。
本发明的方案中，在挖掘出书籍库中的相似书之后，基于挖掘出所有分组内的相似书，构建图模型；进而针对图模型中每个连通分量，从该连通分量中选择一个电子书保留，而删除一些相似书，从而实现对书籍库进行相似书的净化处理，以此降低书籍库的规模。
基于上述书籍库中相似书的净化方法，本发明还提供了一种书籍库中相似书的净化装置，如图4所示，该净化装置可以包括：书籍分组单元401、相似书挖掘单元402、以及相似书净化单元403。
其中，书籍分组单元401用于根据书籍库中所有电子书的书名，确定出各电子书所属的分组。
相似书挖掘单元402用于对于每个分组，根据该分组内各电子书的章节列表，计算出该分组内各电子书之间的相似度；若该分组内两本电子书之间的相似度超过设定阈值，则将该两本电子书确定为书籍库中的一对相似书。
相似书净化单元403用于利用书籍库中所有分组内的相似书，构建书籍库的图模型，其中，每对相似书为图模型中相连的两个端点；对于书籍库的图模型中的每个连通分量，从连通分量中选择一本电子书保留，删除该连通分量中的其他电子书。
具体地，相似书净化单元403可以利用书籍库中所有分组内的相似书，构建书籍库的图模型；对于图模型中的每个连通分量，针对连通分量中的每本电子书，将连通分量中与该电子书相连的电子书的个数，作为该电子书的关联度；选取关联度最高的电子书保留，删除该连通分量中的其他电子书。
或者，相似书净化单元403可以利用书籍库中所有分组内的相似书，构建书籍库的图模型；对于图模型中的每个连通分量，针对连通分量中的每本电子书，将连通分量中该电子书相连的各本电子书与该电子书之间的相似度进行累加，得到该电子书的关联度；选取关联度最高的电子书保留，删除其他电子书。
进一步地，相似书净化单元403可以针对该连通分量中的每本电子书，在确定出该连通分量中与该电子书相连的电子书之后，将各本电子书与该电子书之间的相似度进行累加，并将累加的相似度除以与该电子书相连的电子书的数量，得到该电子书的平均相似度，并作为该电子书的关联度；选取关联度最高的电子书保留，删除其他电子书。
更优地，如图4所示，书籍库中相似书的净化装置还包括：预处理单元404。
预处理单元404用于利用预设的书名过滤规则，对书籍库中所有电子书的书名进行过滤处理，得到电子书的书名字符串；利用预设的章节过滤规则，对书籍库中所有电子书的章节列表进行过滤处理，得到电子书的章节列表中的各章节标题。
其中，章节过滤规则包括如下至少之一：前缀过滤规则、后缀过滤规则。
相应地，书籍分组单元401可以针对书籍库中的每本电子书，利用预设的向量化规则拆分该电子书的书名字符串，由拆分得到的各子字符串构成该电子书对应的书名向量；将拆分得到的所有子字符串进行合并去重，得到各分组的关键词；针对书籍库中的每本电子书，对于每个分组，若该电子书的书名向量中包含该分组的关键词，则将该电子书划分到该分组中。
相似书挖掘单元402可以对于每个分组，针对该分组内的任意两本电子书，将该两本电子书各自的章节列表中章节标题进行比对，计算出该两本电子书之间的jaccard系数，并作为两本电子书之间的相似度；若该分组内两本电子书之间的相似度超过设定阈值，则将该两本电子书确定为书籍库中的一对相似书。
本发明的方案中，书籍库中相似书的净化装置中的各单元的具体实现可参照上述书籍库中相似书的净化方法中的各步骤，在此不再赘述。
实际应用中，在通过上述书籍库中相似书的净化方法对书籍库中的相似书进行进化之后，若接收到用户针对某一电子书的搜索请求之后，可以将净化后的书籍库中对应的电子书推送 给用户。
因此，本发明还提供了一种基于净化的书籍库的电子书推送方法，如图5所示，该方法包括如下步骤：
S501：接收包含电子书的书名的用户搜索请求。
S502：从净化后的书籍库中查询与书名相对应的电子书。
其中，净化后的书籍库具体是指根据上述书籍库中相似书的净化方法所净化的书籍库。
本发明的方案中，获取接收的用户搜索请求中包含的电子书的书名，根据获取的书名从净化后的书籍库中查询与该书名相对应的电子书。
S503：响应于该用户搜索请求推送查询到的电子书的摘要信息页面。
具体地，通过步骤S502查询到与用户搜索请求中包含的书名相对应的电子书之后，可以响应于该用户搜索请求，向用户推送该电子书的摘要信息页面。
基于上述基于净化的书籍库的电子书推送方法，本发明还提供了一种基于净化的书籍库的电子书推送装置，如图6所示，该推送装置可以包括：请求接收单元601、电子书查询单元602、以及推送单元603。
其中，请求接收单元601用于接收包含电子书的书名的用户搜索请求。
电子书查询单元602用于获取用户搜索请求中的电子书的书名，从净化后的书籍库中查询与该书名相对应的电子书。
其中，净化后的书籍库具体是指根据上述书籍库中相似书的净化方法所净化的书籍库。
推送单元603用于响应于用户搜索请求推送查询到的电子书的摘要信息页面。
本发明的方案中，基于净化的书籍库的电子书推送装置中的各单元的具体实现可参照上述基于净化的书籍库的电子书推送方法中的各步骤，在此不再赘述。
本发明的技术方案中，可以根据电子书的书名，将书籍库中的电子书进行分组，即将书名相似的电子书归为一个分组；继而，对于每个分组，可以根据该分组内各电子书的章节列表，计算出该分组内各电子书之间的相似度，将相似度超过设定阈值的两本电子书确定为书籍库的一对相似书。这样，通过书名和章节列表的两次比对来挖掘相似书，可以避免大量的章节内容的比对，在保障了相似书挖掘的准确率的同时，可以减少挖掘工作量，提高了书籍库中相似书的挖掘速度。
进一步地，在挖掘出书籍库中的相似书之后，还可以基于挖掘出所有分组内的相似书，对书籍库进行相似书的净化处理，删除一些重复的内容，以此降低书籍库的规模。
本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、 措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的书籍库中相似书的挖掘、净化装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
例如，图7示出了用于执行根据本发明的方法的计算设备。该计算设备传统上包括处理器710和以存储器720形式的计算机程序产品或者计算机可读介质。存储器720可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器720具有用于执行上述方法中的任何方法步骤的程序代码731的存储空间730。例如，用于程序代码的存储空间730可以包括分别用于实现上面的方法中的各种步骤的各个程序代码731。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为如参考图8所述的便携式或者固定存储单元。该存储单元可以具有与图7的计算设备中的存储器720类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元包括计算机可读代码731’，即可以由例如诸如710之类的处理器读取的代码，这些代码当由计算设备运行时，导致该计算设备执行上面所描述的方法中的各个步骤。
本文中所称的“一个实施例”、“实施例”或者“一个或者多个实施例”意味着，结合实施例描述的特定特征、结构或者特性包括在本发明的至少一个实施例中。此外，请注意，这里“在一个实施例中”的词语例子不一定全指同一个实施例。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
此外，还应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定

Claims (34)

  1. 一种书籍库中相似书的净化方法，其中，包括：
    根据所述书籍库中所有电子书的书名，确定出各电子书所属的分组；
    对于每个分组，根据该分组内各电子书的章节列表，计算出该分组内各电子书之间的相似度，若该分组内两本电子书之间的相似度超过设定阈值，则将该两本电子书确定为所述书籍库中的一对相似书；
    利用所述书籍库中所有分组内的相似书，构建所述书籍库的图模型，其中，每对相似书为所述图模型中相连的两个端点；
    对于所述图模型中的每个连通分量，从该连通分量中选择一本电子书保留，删除其他电子书。
  2. 根据权利要求1所述的方法，其中，所述根据所述书籍库中所有电子书的书名，确定出各书所属的分组之前，还包括：
    利用预设的书名过滤规则，对所述书籍库中所有电子书的书名进行过滤处理，得到电子书的书名字符串；
    利用预设的章节过滤规则，对所述书籍库中所有电子书的章节列表进行过滤处理，得到电子书的章节列表中的各章节标题。
  3. 根据权利要求2所述的方法，其中，所述章节过滤规则包括如下至少之一：前缀过滤规则、后缀过滤规则。
  4. 根据权利要求1所述的方法，其中，所述根据所述书籍库中所有电子书的书名，确定出各电子书所属的分组，具体包括：
    针对书籍库中的每本电子书，利用预设的向量化规则拆分该电子书的书名字符串，由拆分得到的各子字符串构成该电子书对应的书名向量；
    将拆分得到的所有子字符串进行合并去重，得到各分组的关键词；
    针对书籍库中的每本电子书，对于每个分组，若该电子书的书名向量中包含该分组的关键词，则将该电子书划分到该分组中。
  5. 根据权利要求1所述的方法，其中，所述根据该分组内各电子书的章节列表，计算出该分组内各电子书之间的相似度，具体包括：
    针对该分组内的任意两本电子书，将该两本电子书各自的章节列表中章节标题进行比对，计算出该两本电子书之间的杰卡德jaccard系数，并作为两本电子书之间的相似度。
  6. 根据权利要求1所述的方法，其中，所述从该连通分量中选择一本电子书保留，具体包括：
    针对该连通分量中的每本电子书，将该连通分量中与该电子书相连的电子书的个数，作为该电子书的关联度；
    选取关联度最高的电子书保留。
  7. 根据权利要求1所述的方法，其中，所述从该连通分量中选择一本电子书保留，具体包括：
    针对该连通分量中的每本电子书，将该连通分量中该电子书相连的各本电子书与该电子书之间的相似度进行累加，得到该电子书的关联度；
    选取关联度最高的电子书保留。
  8. 一种书籍库中相似书的净化装置，其中，包括：
    书籍分组单元，用于根据所述书籍库中所有电子书的书名，确定出各电子书所属的分 组；
    相似书挖掘单元，用于对于每个分组，根据该分组内各电子书的章节列表，计算出该分组内各电子书之间的相似度；若该分组内两本电子书之间的相似度超过设定阈值，则将该两本电子书确定为所述书籍库中的一对相似书；
    相似书净化单元，用于利用所述书籍库中所有分组内的相似书，构建所述书籍库的图模型，其中，每对相似书为所述图模型中相连的两个端点；对于所述书籍库的图模型中的每个连通分量，从连通分量中选择一本电子书保留，删除其他电子书。
  9. 根据权利要求8所述的装置，其中，该装置还包括：
    预处理单元，用于利用预设的书名过滤规则，对所述书籍库中所有电子书的书名进行过滤处理，得到电子书的书名字符串；利用预设的章节过滤规则，对所述书籍库中所有电子书的章节列表进行过滤处理，得到电子书的章节列表中的各章节标题。
  10. 根据权利要求9所述的装置，其中，所述章节过滤规则包括如下至少之一：前缀过滤规则、后缀过滤规则。
  11. 根据权利要求8所述的装置，其中，所述书籍分组单元具体用于针对书籍库中的每本电子书，利用预设的向量化规则拆分该电子书的书名字符串，由拆分得到的各子字符串构成该电子书对应的书名向量；将拆分得到的所有子字符串进行合并去重，得到各分组的关键词；针对书籍库中的每本电子书，对于每个分组，若该电子书的书名向量中包含该分组的关键词，则将该电子书划分到该分组中。
  12. 根据权利要求8所述的装置，其中，所述相似书挖掘单元具体用于对于每个分组，针对该分组内的任意两本电子书，将该两本电子书各自的章节列表中章节标题进行比对，计算出该两本电子书之间的杰卡德jaccard系数，并作为两本电子书之间的相似度；若该分组内两本电子书之间的相似度超过设定阈值，则将该两本电子书确定为所述书籍库中的一对相似书。
  13. 根据权利要求8所述的装置，其中，所述相似书净化单元具体用于利用所述书籍库中所有分组内的相似书，构建所述书籍库的图模型；对于所述图模型中的每个连通分量，针对连通分量中的每本电子书，将连通分量中与该电子书相连的电子书的个数，作为该电子书的关联度；选取关联度最高的电子书保留，删除其他电子书。
  14. 根据权利要求8所述的装置，其中，所述相似书净化单元具体用于利用所述书籍库中所有分组内的相似书，构建所述书籍库的图模型；对于所述图模型中的每个连通分量，针对连通分量中的每本电子书，将连通分量中该电子书相连的各本电子书与该电子书之间的相似度进行累加，得到该电子书的关联度；选取关联度最高的电子书保留，删除其他电子书。
  15. 一种书籍库中相似书的挖掘方法，其特征在于，包括：
    根据书籍库中所有电子书的书名，确定出各电子书所属的分组；
    对于每个分组，根据该分组内各电子书的章节列表，计算出该分组内各电子书之间的相似度；
    对于每个分组，若分组内两本电子书之间的相似度超过设定阈值，则将该两本电子书确定为所述书籍库中的一对相似书。
  16. 根据权利要求15所述的方法，其中，所述若分组内两本电子书之间的相似度超过设定阈值，则将该两本电子书确定为所述书籍库中的一对相似书之后，还包括：
    利用所述书籍库中所有分组内的相似书，构建所述书籍库的图模型，其中，每对相似书为所述图模型中相连的两个端点；
    对于所述图模型中的每个连通分量，从该连通分量中选择一本电子书保留，删除其他 电子书。
  17. 根据权利要求16所述的方法，其中，所述从该连通分量中选择一本电子书保留，具体包括：
    针对该连通分量中的每本电子书，将该连通分量中与该电子书相连的电子书的个数，作为该电子书的关联度；
    选取关联度最高的电子书保留。
  18. 根据权利要求16所述的方法，其中，所述从该连通分量中选择一本电子书保留，具体包括：
    针对该连通分量中的每本电子书，将该连通分量中该电子书相连的各本电子书与该电子书之间的相似度进行累加，得到该电子书的关联度；
    选取关联度最高的电子书保留。
  19. 根据权利要求15所述的方法，其中，所述根据书籍库中所有电子书的书名，确定出各书所属的分组之前，还包括：
    利用预设的书名过滤规则，对所述书籍库中所有电子书的书名进行过滤处理，得到电子书的书名字符串；
    利用预设的章节过滤规则，对所述书籍库中所有电子书的章节列表进行过滤处理，得到电子书的章节列表中的各章节标题。
  20. 根据权利要求19所述的方法，其中，所述章节过滤规则包括如下至少之一：前缀过滤规则、后缀过滤规则。
  21. 根据权利要求15所述的方法，其中，所述根据书籍库中所有电子书的书名，确定出各电子书所属的分组，具体包括：
    针对书籍库中的每本电子书，利用预设的向量化规则拆分该电子书的书名字符串，由拆分得到的各子字符串构成该电子书对应的书名向量；
    将拆分得到的所有子字符串进行合并去重，得到各分组的关键词；
    针对书籍库中的每本电子书，对于每个分组，若该电子书的书名向量中包含该分组的关键词，则将该电子书划分到该分组中。
  22. 根据权利要求15所述的方法，其中，所述根据该分组内各电子书的章节列表，计算出该分组内各电子书之间的相似度，具体包括：
    针对该分组内的任意两本电子书，将该两本电子书各自的章节列表中章节标题进行比对，计算出该两本电子书之间的杰卡德jaccard系数，并作为两本电子书之间的相似度。
  23. 一种书籍库中相似书的挖掘装置，其中，包括：
    书籍分组单元，用于根据所述书籍库中所有电子书的书名，确定出各电子书所属的分组；
    相似度计算单元，用于对于每个分组，根据该分组内各电子书的章节列表，计算出该分组内各电子书之间的相似度；
    相似书挖掘单元，用于对于每个分组，若该分组内两本电子书之间的相似度超过设定阈值，则将该两本电子书确定为所述书籍库中的一对相似书。
  24. 根据权利要求23所述的装置，其中，该装置还包括：
    书籍净化单元，用于利用所述相似书挖掘单元确定出的书籍库中所有分组内的相似书，构建所述书籍库的图模型；对于所述图模型中的每个连通分量，从连通分量中选择一本电子书保留，删除其他电子书；
    其中，每对相似书为所述图模型中相连的两个端点。
  25. 根据权利要求24所述的装置，其中，所述书籍净化单元具体用于利用所述书籍 库中所有分组内的相似书，构建所述书籍库的图模型；对于所述图模型中的每个连通分量，针对连通分量中的每本电子书，将连通分量中与该电子书相连的电子书的个数，作为该电子书的关联度；选取关联度最高的电子书保留，删除其他电子书。
  26. 根据权利要求24所述的装置，其中，所述书籍净化单元具体用于利用所述书籍库中所有分组内的相似书，构建所述书籍库的图模型；对于所述图模型中的每个连通分量，针对连通分量中的每本电子书，将连通分量中该电子书相连的各本电子书与该电子书之间的相似度进行累加，得到该电子书的关联度；选取关联度最高的电子书保留，删除其他电子书。
  27. 根据权利要求23所述的装置，其中，该装置还包括：
    预处理单元，用于利用预设的书名过滤规则，对所述书籍库中所有电子书的书名进行过滤处理，得到电子书的书名字符串；利用预设的章节过滤规则，对所述书籍库中所有电子书的章节列表进行过滤处理，得到电子书的章节列表中的各章节标题。
  28. 根据权利要求27所述的装置，其中，所述章节过滤规则包括如下至少之一：前缀过滤规则、后缀过滤规则。
  29. 根据权利要求23所述的装置，其中，所述书籍分组单元具体用于针对书籍库中的每本电子书，利用预设的向量化规则拆分该电子书的书名字符串，由拆分得到的各子字符串构成该电子书对应的书名向量；将拆分得到的所有子字符串进行合并去重，得到各分组的关键词；针对书籍库中的每本电子书，对于每个分组，若该电子书的书名向量中包含该分组的关键词，则将该电子书划分到该分组中。
  30. 根据权利要求23所述的装置，其中，所述相似度计算单元具体用于对于每个分组，针对该分组内的任意两本电子书，将该两本电子书各自的章节列表中章节标题进行比对，计算出该两本电子书之间的杰卡德jaccard系数，并作为两本电子书之间的相似度。
  31. 一种基于净化的书籍库的电子书推送方法，其特征在于，包括：
    接收包含电子书的书名的用户搜索请求；
    从根据如权利要求1至7任一所述的方法所净化的书籍库中查询与所述书名相对应的电子书；
    响应于所述用户搜索请求推送查询到的电子书的摘要信息页面。
  32. 一种基于净化的书籍库的电子书推送装置，其特征在于，包括：
    请求接收单元，用于接收包含电子书的书名的用户搜索请求；
    电子书查询单元，用于获取所述用户搜索请求中的电子书的书名，从根据如权利要求1至7任一所述的方法所净化的书籍库中查询与所述书名相对应的电子书；
    推送单元，用于响应于所述用户搜索请求推送查询到的电子书的摘要信息页面。
  33. 一种计算机程序，包括计算机可读代码，当所述计算机可读代码在计算设备上运行时，导致所述计算设备执行根据权利要求1-7中的任一个所述的书籍库中相似书的净化方法，或者导致所述计算设备执行根据权利要求15-22中任一个所述的书籍库中相似书的挖掘方法，或者导致所述计算设备执行根据权利要求31所述的基于净化的书籍库的电子书推送方法。
  34. 一种计算机可读介质，其中存储了如权利要求33所述的计算机程序。
PCT/CN2016/099894 2015-11-09 2016-09-23 书籍库中相似书的挖掘、净化方法和装置 Ceased WO2017080320A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510760110.2 2015-11-09
CN201510760110.2A CN105373604A (zh) 2015-11-09 2015-11-09 书籍库中相似书的挖掘、净化方法和装置

Publications (1)

Publication Number Publication Date
WO2017080320A1 true WO2017080320A1 (zh) 2017-05-18

Family

ID=55375803

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/099894 Ceased WO2017080320A1 (zh) 2015-11-09 2016-09-23 书籍库中相似书的挖掘、净化方法和装置

Country Status (2)

Country Link
CN (1) CN105373604A (zh)
WO (1) WO2017080320A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368022A (zh) * 2020-02-28 2020-07-03 山东汇贸电子口岸有限公司 一种使用反向索引实现书籍筛选的方法及工具
CN113269244A (zh) * 2021-05-18 2021-08-17 上海睿翎法律咨询服务有限公司 针对工商登记信息中跨企业人员重名实现消歧处理方法、系统、装置、处理器及其存储介质
CN113836863A (zh) * 2021-09-30 2021-12-24 安徽大学 一种Logisim电路图的查重方法及系统
CN116523546A (zh) * 2023-06-29 2023-08-01 深圳市华图测控系统有限公司 智能读者行为分析预测系统数据采集分析的方法和装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105373604A (zh) * 2015-11-09 2016-03-02 北京奇虎科技有限公司 书籍库中相似书的挖掘、净化方法和装置
CN106611050B (zh) * 2016-12-22 2018-08-03 掌阅科技股份有限公司 电子书推荐方法、装置和服务器
CN113032695B (zh) * 2019-12-25 2023-10-17 腾讯科技（深圳）有限公司 更换数据来源的方法、装置、设备和存储介质
CN111832304B (zh) * 2020-06-29 2024-02-27 上海巧房信息科技有限公司 楼盘名称的查重方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024065A (zh) * 2011-01-18 2011-04-20 中南大学 基于simd优化的网页去重并行方法
US20130332466A1 (en) * 2012-06-08 2013-12-12 International Business Machines Corporation Linking Data Elements Based on Similarity Data Values and Semantic Annotations
CN105373604A (zh) * 2015-11-09 2016-03-02 北京奇虎科技有限公司 书籍库中相似书的挖掘、净化方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101350032A (zh) * 2008-09-23 2009-01-21 胡辉 判断网页内容是否相同的方法
CN101976259A (zh) * 2010-11-03 2011-02-16 百度在线网络技术（北京）有限公司 一种推荐系列文档的方法和装置
US9244919B2 (en) * 2013-02-19 2016-01-26 Google Inc. Organizing books by series
CN104699666B (zh) * 2015-01-30 2017-09-01 浙江大学 基于近邻传播模型从图书目录中学习层次结构的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024065A (zh) * 2011-01-18 2011-04-20 中南大学 基于simd优化的网页去重并行方法
US20130332466A1 (en) * 2012-06-08 2013-12-12 International Business Machines Corporation Linking Data Elements Based on Similarity Data Values and Semantic Annotations
CN105373604A (zh) * 2015-11-09 2016-03-02 北京奇虎科技有限公司 书籍库中相似书的挖掘、净化方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368022A (zh) * 2020-02-28 2020-07-03 山东汇贸电子口岸有限公司 一种使用反向索引实现书籍筛选的方法及工具
CN113269244A (zh) * 2021-05-18 2021-08-17 上海睿翎法律咨询服务有限公司 针对工商登记信息中跨企业人员重名实现消歧处理方法、系统、装置、处理器及其存储介质
CN113836863A (zh) * 2021-09-30 2021-12-24 安徽大学 一种Logisim电路图的查重方法及系统
CN113836863B (zh) * 2021-09-30 2024-05-28 安徽大学 一种Logisim电路图的查重方法及系统
CN116523546A (zh) * 2023-06-29 2023-08-01 深圳市华图测控系统有限公司 智能读者行为分析预测系统数据采集分析的方法和装置
CN116523546B (zh) * 2023-06-29 2023-12-19 深圳市华图测控系统有限公司 智能读者行为分析预测系统数据采集分析的方法和装置

Also Published As

Publication number Publication date
CN105373604A (zh) 2016-03-02

Similar Documents

Publication Publication Date Title
CN105373604A (zh) 书籍库中相似书的挖掘、净化方法和装置
US10331694B2 (en) Data sanitization and normalization and geocoding methods
US8099401B1 (en) Efficiently indexing and searching similar data
US9195738B2 (en) Tokenization platform
WO2014081727A1 (en) Search and navigation to specific document content
EP3926484B1 (en) Improved fuzzy search using field-level deletion neighborhoods
CN103853769B (zh) 一种地图查询请求处理方法及装置
WO2008154823A1 (fr) Procédé, système et dispositif de recherche
CN102831224B (zh) 一种数据索引库的建立方法、搜索建议生成方法和装置
JP2008102765A (ja) 検索処理方法及び検索システム
US10885085B2 (en) System to organize search and display unstructured data
CN105302778A (zh) 文章章节生成方法、系统和电子书阅读器
CN106407485B (zh) 一种基于相似度比较的url去重方法和系统
JP2005302038A (ja) Ｂツリー中の連続キーの名前を変更する方法およびシステム
US10810181B2 (en) Refining structured data indexes
CN105989013A (zh) 去除文字水印的方法及装置
EP2788897A1 (en) Optimally ranked nearest neighbor fuzzy full text search
CN101158955A (zh) 一种中文词库的构造方法
US9110973B2 (en) Method and apparatus for processing a query
JP4108337B2 (ja) 電子ファイリングシステム及びその検索インデックス作成方法
CN106055677A (zh) 信息流中内容聚合页面展示方法及装置
CN101452459B (zh) 利用索引查找相似翻译结果的系统及其方法
CN114117188A (zh) 一种基于二叉树的搜索语句解析方法、装置及电子设备
Berman et al. Historical gazetteer system integration: Chgis, regnum francorum, and geonames
JP2009048351A (ja) 情報検索装置、情報検索方法および情報検索プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16863497

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16863497

Country of ref document: EP

Kind code of ref document: A1