WO2012155714A1 - 跨语言获取搜索资源的方法和装置及对应搜索方法和装置 - Google Patents

跨语言获取搜索资源的方法和装置及对应搜索方法和装置 Download PDF

Info

Publication number
WO2012155714A1
WO2012155714A1 PCT/CN2012/073656 CN2012073656W WO2012155714A1 WO 2012155714 A1 WO2012155714 A1 WO 2012155714A1 CN 2012073656 W CN2012073656 W CN 2012073656W WO 2012155714 A1 WO2012155714 A1 WO 2012155714A1
Authority
WO
WIPO (PCT)
Prior art keywords
resource
language
translation
feature
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2012/073656
Other languages
English (en)
French (fr)
Inventor
赵世奇
柴春光
吴华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of WO2012155714A1 publication Critical patent/WO2012155714A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3337—Translation of the query language, e.g. Chinese to English

Definitions

  • the present invention relates to the field of computer technologies, and in particular, to a method and apparatus for acquiring search resources across languages and a corresponding search method and apparatus.
  • the box calculation is a new technology proposed at the Baidu Technology Innovation Conference in 2009, providing users with one-stop Internet-based services. As long as the user enters a request in the system, the system can clearly identify the user's needs, and assign the user's request to the optimal application or resource provider for processing according to the requirements, and return the processed result to the user.
  • the search system can identify the search request (query) input by the user, for example, identify the specific field corresponding to the query, and then use the query to search in the corresponding resource library of the field.
  • the search results are returned to the user, providing users with more professional information in the field.
  • the resource library used for the search is usually a monolingual resource library.
  • the resource library used for the search is a resource for the tourism field provided by the Chinese website, but
  • monolingual repositories provide resources that are not of high quality or resources. For example, if the user enters the query "Paris Tour" and the search system identifies the query for the travel area, it is clear that the French website may provide more and better resources, while the existing search uses only the Chinese website. Field Resources, so the search results are poor.
  • the invention provides a method and device for acquiring search resources across languages and a corresponding search method and device, so as to provide more and better search resources for users and improve search results.
  • a method for obtaining search resources across languages comprising:
  • the step B specifically includes:
  • step B specifically includes:
  • B21 performing feature extraction on the existing first language resource Set(C) of the target domain D, to obtain a first language feature vector FeaVec_C of the target domain D; B22. Translating the FeaVec_C into a second language feature vector FeaVec_F of the target domain D by using a machine translation technology from a first language to a second language.
  • the above feature extraction specifically includes:
  • W( e ) ( ( e , Set) x log - ⁇ , calculating the weight value of each feature word;
  • the extracted resource is the Set (F)
  • the language corresponding to the extracted resource is the second language
  • the feature vector obtained in the step S3 is the FeaVec_F
  • the step E specifically includes:
  • the resource mining template includes an instance set composed of one or more instances
  • the instance includes one or a combination of an information type and an information expression.
  • the step E specifically includes:
  • the translation model used by the translation is composed of a translation phrase table, the translation phrase table includes: a phrase pair composed of a first language phrase and a corresponding second language phrase, and a translation score of the phrase pair; A translation dictionary of the target domain is integrated in the phrase table.
  • ⁇ is the word pair % that appears in both the translation dictionary and the translated phrase table at the same time
  • the translation score of the translation dictionary, b is the word pair ce; the translation score in the translation phrase table, "the number of word pairs that appear in both the translation dictionary and the translation phrase table.
  • Or integrating the translation dictionary of the target domain into the translation phrase table includes: adding a word pair in a translation dictionary of the target domain to a bilingual parallel corpus; and comparing the sentences in the bilingual parallel corpus Words are aligned in units;
  • the extracted phrase pairs and the translation scores of the phrase pairs constitute the translated phrase table.
  • the translation is performed based on the preset translation expression template of the target domain D; wherein the translation expression template of the target domain D includes: an instance set composed of one or more instances;
  • the example is: an expression pair consisting of a first language expression and a corresponding second language expression.
  • a search method for search resources based on cross-language acquisition comprising:
  • A receiving a search request from a user
  • the search resource library is obtained by using the foregoing cross-language acquisition search resource.
  • the resource with the highest confidence is selected from the resources in which the content conflicts, or is included in the search result, or Confidence from high to low in the search results Sort resources that conflict with each other.
  • the confidence of the resource is determined by one or any combination of the following confidence types:
  • the source of the resource's website confidence, the source language confidence of the resource, and the translational confidence of the resource are the source of the resource's website confidence, the source language confidence of the resource, and the translational confidence of the resource.
  • the source language confidence of the resource is determined according to the relationship between the language of the resource source and the language mapped by the query, and specifically: the source language of the resource originating from the query is set to have higher confidence than other languages.
  • the source language confidence of the resource is determined according to the relationship between the language of the resource source and the language mapped by the query, and specifically: the source language of the resource originating from the query is set to have higher confidence than other languages.
  • the method for determining the language mapped by the query is:
  • the feature of the query is extracted, and the feature of the query is compared with the feature vector of each language that is pre-trained, and the language whose similarity exceeds the preset similarity threshold is determined to be the language mapped by the query.
  • the translation confidence of the resource is determined by the translation score corresponding to the resource in the translation model used when acquiring the resource and the corresponding score of the resource in the language model.
  • An apparatus for acquiring search resources across languages comprising: a domain determining unit, a target feature determining unit, a feature extracting unit, a resource screening unit, and a resource adding unit;
  • the domain determining unit is configured to determine a target domain D
  • the target feature determining unit is configured to determine the second language feature of the target domain D by using the existing language resource Set(C) of the target domain D, combining the feature extraction technology and the machine translation technology from the first language to the second language.
  • Vector FeaVec_F Vector FeaVec_F
  • the feature extraction unit is configured to perform feature extraction on each resource in the common language resource library Cor(F) of the second language as the extracted resource to obtain a feature vector FeaVec_d t of each resource; Screening the feature vector FeaVec from the Cor(F) a resource SetD(F) having a similarity to the FeaVec_F exceeding a preset threshold T;
  • the resource adding unit is configured to add the SetD(F) to the search resource library RDB(C) of the target domain D.
  • the target feature determining unit specifically includes: a first translation subunit and a first feature acquisition subunit;
  • the first translation subunit is configured to translate the existing first language resource Set(C) of the target domain D into a second language resource Set (F) by using a machine translation technology from a first language to a second language. Sending the Set (F) to the feature extraction unit;
  • the feature extraction unit is configured to perform feature extraction on the Set (F) as the extracted resource to obtain a second language feature vector FeaVec_F of the target domain D;
  • the first feature acquisition subunit is configured to acquire a second language feature vector FeaVec_F of the target domain D from the feature extraction unit.
  • the target feature determining unit specifically includes: a second feature acquiring subunit and a second translation subunit;
  • the second feature acquisition subunit is configured to send the Set (C) to the feature extraction unit, and acquire a first language feature vector FeaVec_C of the target domain D from the feature extraction unit, and provide the same Said second translation subunit;
  • the feature extraction unit is configured to perform feature extraction on the Set (C) as the extracted resource to obtain a first language feature vector FeaVec_C of the target domain D;
  • the second translation subunit configured to translate the FeaVec_C into a second language feature vector of the target domain D by a machine translation technique from a first language to a second language FeaVec_F
  • the feature extraction unit specifically includes: a word segmentation processing sub-unit, configured to perform text-based word segmentation processing on the extracted resource; and a filtering processing sub-unit, configured to filter the word obtained after the word segmentation processing by using a preset stop word table to obtain the extracted resource Characteristic word
  • Weight calculation subunit for Calculating a weight value of each feature word freq ⁇ e), where is the weight value of the feature word e, /(e,Set) is the frequency at which the feature word e appears in the extracted resource; /r ⁇ ( e )
  • the absolute word frequency of the feature word e is statistically obtained from the general corpus resource library of the language corresponding to the extracted resource; Freq is the maximum value of the absolute word frequency of all feature words;
  • a vector forming subunit configured to sort according to the weight values of the feature words, and select the top N1 feature words to form the feature vector of the target domain D, where N1 is a preset positive integer;
  • the language corresponding to the extracted resource is the second language, and the feature vector formed by the vector forming subunit is the FeaVec_F; when the extracted resource is the Set (C)
  • the language corresponding to the extracted resource is the first language, and the feature vector formed by the vector forming subunit is the FeaVec_C.
  • the resource adding unit includes: a resource mining subunit, a third translation subunit, and a resource adding subunit;
  • the resource mining sub-unit is configured to mine a resource RscD(F) from the SetD(F) based on a resource mining template of a preset target domain D;
  • the third translation subunit is configured to convert the RscD(F) into a resource Rsc(C) of a first language in combination with a machine translation technology from a second language to a first language, and the Rsc (C) ) Sending a subunit to the resource;
  • the resource adding subunit configured to add the received Rsc(C) to the search resource library RDB(C) of the target domain D;
  • the resource mining template includes an instance set formed by one or more instances, and the instance includes one or a combination of an information type and an information expression.
  • the resource adding unit includes: a fourth translation subunit and a resource addition subunit; the fourth translation subunit, configured to combine the machine translation technology from the second language to the first language, and the SetD (F) Translating to the resource SetD(C) in the first language, and sending the SetD(C) to the resource adding subunit;
  • the resource adding subunit is configured to add the received resource to the search resource library RDB(C) of the target domain D.
  • the translation model used by the translation is composed of a translation phrase table
  • the translation phrase table includes: a phrase pair composed of a first language phrase and a corresponding second language phrase, and a translation score of the short phrase pair;
  • a translation dictionary of the target domain is integrated in the translated phrase table.
  • the S dict (ce) is a translation score of the added word pair ce in the translation dictionary
  • Rate is the translation score ratio from the translation dictionary to the translated phrase table
  • mte j ⁇
  • the apparatus further includes: a second translation model integration unit, configured to add the word pairs in the translation dictionary of the target domain to the bilingual parallel corpus, and use the words in the bilingual parallel corpus as words Unit alignment; extracting the phrase pairs of the sentence pairs in the bilingual parallel corpus, calculating the translation scores of the phrase pairs based on the statistical results of the extracted phrase pairs; forming the extracted phrase pairs and the translation scores of the phrase pairs The translated phrase table.
  • a second translation model integration unit configured to add the word pairs in the translation dictionary of the target domain to the bilingual parallel corpus, and use the words in the bilingual parallel corpus as words Unit alignment
  • extracting the phrase pairs of the sentence pairs in the bilingual parallel corpus calculating the translation scores of the phrase pairs based on the statistical results of the extracted phrase pairs
  • forming the extracted phrase pairs and the translation scores of the phrase pairs The translated phrase table.
  • the translation is performed based on the preset translation expression template of the target domain D; wherein the translation expression template of the target domain D includes: an instance set composed of one or more instances;
  • the example is: an expression pair consisting of a first language expression and a corresponding second language expression.
  • a search device for searching resources based on cross-language acquisition comprising: a user-side interaction unit, a domain identification unit, and a search processing unit;
  • the user side interaction unit is configured to receive a search request query from the user, and return the search result of the search processing unit to the user;
  • the domain identification unit is configured to identify a requirement of the query, and identify an area to which the query belongs;
  • the search processing unit is configured to perform a search in a search resource library corresponding to the domain identified by the domain identification unit;
  • the search resource library is obtained by a device for acquiring search resources across languages.
  • the search device further includes: a conflict processing unit, configured to select, in the search result, that content of the same type of information provided by resources of different sources conflicts, and select the highest confidence from the resources in which the content conflicts.
  • the resource is included in the search result, or the resources whose content conflicts in the search result are sorted according to the confidence level from high to low.
  • the searching apparatus further includes: a resource confidence determining unit, configured to determine a confidence level of the resource according to one or any combination of the types of confidence listed below: source source confidence of the resource, source language confidence of the resource, and The translation confidence of the resource.
  • a resource confidence determining unit configured to determine a confidence level of the resource according to one or any combination of the types of confidence listed below: source source confidence of the resource, source language confidence of the resource, and The translation confidence of the resource.
  • the resource confidence determining unit determines the source language confidence of the resource according to the relationship between the language of the resource source and the language mapped by the query, specifically: setting a source language confidence of the resource originating from the language mapped by the query Degree of confidence in the source language of resources derived from other languages;
  • the search device further includes: a mapping language determining unit, configured to extract a feature of the query, perform a similarity calculation between the feature of the query and a feature vector of each language that is pre-trained, and determine that the similarity exceeds a preset similarity
  • the language of the degree threshold is the language to which the query is mapped.
  • the resource confidence determination unit determines the translation confidence of the resource by using the translation score corresponding to the resource in the translation model used when acquiring the resource and the corresponding score of the resource in the language model.
  • the present invention can also add other language resources belonging to the target domain to the search resource library by acquiring the search resources in a cross-language manner, so that there are multiple languages belonging to the same domain in the search resource library. Resources to provide users with more and better search resources and improve search results when performing searches in the field. DRAWINGS
  • FIG. 1 is a flowchart of a method for acquiring search resources in a cross-language according to Embodiment 1 of the present invention
  • FIG. 2 is a flowchart of a search method according to Embodiment 2 of the present invention
  • FIG. 3 is a structural diagram of a device for acquiring search resources in a cross-language manner according to the third embodiment of the present invention
  • (a) and (b) of FIG. 4 are two structural diagrams of a target feature determining unit, respectively
  • FIG. 5 is a fourth embodiment of the present invention
  • FIG. 1 is a flowchart of a method for acquiring search resources in a cross-language manner according to Embodiment 1 of the present invention. As shown in FIG. 1 , the method may include the following steps:
  • Step 101 Determine the target area D.
  • One of the characteristics of the box calculation is to provide services in a targeted manner in various fields. Therefore, in the resource mining stage, it is necessary to first select a target area, for example, tourism, purchase, recruitment, construction, finance, etc. can be selected as target areas.
  • the target area determined in the present invention is identified by D.
  • Step 102 Determine the second language feature vector FeaVec_F of the target domain D by using the existing first language resource Set(C) of the target domain D, combined with the feature extraction technique and the machine translation technology from the first language to the second language.
  • Set(C) refers to the resource for the target domain D that has been obtained from the general corpus resource library of the first language.
  • the general corpus resource library involved in the embodiment of the present invention refers to a large-scale resource library composed of all corpus resources without distinguishing specific fields, and Set(C) can be regarded as A web page set consisting of web pages corresponding to the target area D that has been filtered out in all the web pages of a language.
  • the first way first, the existing first language resource Set(C) of the target domain D is translated into the second language resource Set(F), and the webpage set of the existing first language is translated into the webpage set of the second language; Then, feature extraction is performed on the second language resource Set(F) to obtain a second language feature vector FeaVec_F of the target domain D.
  • the second way First, the feature extraction of the existing first language resource Set(C) of the target domain D is performed to obtain the first language feature vector FeaVec_C of the target domain; then, the first language feature vector FeaVec_C is translated into the second language. Feature vector FeaVec_F.
  • Both of the above methods can determine the second language feature vector of the target domain D.
  • FeaVec_F but the first way is more able to fully consider the context information of feature words in web resources, with higher translation quality.
  • the text-based word segmentation processing is first performed on the resources in Set(F), and the words obtained after the word segmentation processing are performed by using the preset stop word table.
  • the feature words of Set(F) are obtained, wherein the stop word list contains words with low ideographic ability based on word frequency statistics in advance, such as some auxiliary words, interjections, interrogative words, virtual words, pronouns, etc.; 1) Calculating the weight value of each feature word, sorting each feature word according to the weight value, and selecting the first N1 feature words to form the second language feature vector FeaVec_F of the target domain D.
  • N1 is a preset positive integer.
  • W( g ) ? (g,Set(F))x log Freq
  • W (e) is the weight value of the feature word e
  • tf (e, Set(F)) is the frequency at which the feature word e appears in Set(F).
  • the absolute word frequency of the feature word e is obtained from the general corpus resource library of the second language.
  • the second language general corpus resource library is a large-scale general corpus resource library that does not distinguish between fields. ⁇ 3 ⁇ 4 is the maximum value of the absolute word frequency for all feature words. Since words with high absolute frequency are too common and poorly distinguishable, formula (1) shows words with high frequency in Set(F) and weak words with high frequency.
  • whether the translation of the resource involved in the first mode or the translation of the feature vector involved in the second mode generally involves knowledge or services in a professional field, and translation in a professional field is also involved. dictionary. For example, when the above target area D is built When building a field, a translation dictionary for the construction field is required; when the above-mentioned target field D is a financial field, a translation dictionary for the financial field is required.
  • the translation dictionary of the professional domain can extract the related terms from the existing resources of the translation target language (the translation target language in this step is the second language) to form a term dictionary, and then based on the data mining method or the manual method. Translate each term in the terminology dictionary to obtain a translation dictionary for the professional domain.
  • the existing translation model is actually composed of a translation phrase list.
  • the translated phrase list includes: a phrase pair composed of a first language phrase and a corresponding second language phrase, and a translation score of the short word pair.
  • the first integration strategy directly add the translation dictionary of the professional domain to the translation phrase list.
  • a word pair in a translation dictionary of a professional domain is added as a phrase pair to a translation phrase table, if the translation phrase table does not contain the added force.
  • the words When the words are right, they will be added.
  • the word pair is added to the translated phrase list, and the added word pair translation score in the translated phrase table ⁇ ce) can be calculated according to formula (3); if the translated phrase table already contains the added word pair When you do not need to perform the addition process.
  • S PT (ce) S dict (ce) x rate ( 3 )
  • S dict (ce) the translation score of the added word pair in the translation dictionary
  • rate is Translation dictionary to translation phrase table translation score ratio, rate , where, for simultaneous occurrence
  • the translation score of the word pair % in the translation dictionary in the translation dictionary and the translation phrase table the translation score of the word pair in the translation phrase table, "for the simultaneous occurrence of the word pair in the translation dictionary and the translation phrase table Number.
  • the second integration strategy the translation dictionary of the professional domain is added to the bilingual parallel corpus, and then the word alignment and phrase extraction are unified to obtain the translated phrase table.
  • the bilingual parallel corpus contains sentence pairs.
  • the translation dictionary contains the word pairs.
  • the word pairs in the translation dictionary are added as sentence pairs to the bilingual parallel corpus.
  • the sentence pairs in the bilingual parallel corpus are used as the word unit. Align, align the words that express the same meaning in the two sentences in the sentence pair; extract the phrase pairs from the sentence pairs in the bilingual parallel corpus, and calculate the translation scores of each phrase pair based on the statistical results of the extracted phrase pairs,
  • the extracted phrase pairs and the translation scores of the phrase pairs constitute a translation phrase list.
  • Translation scores can be added to the bilingual parallel corpus when the word pairs in the translation dictionary are added to the bilingual parallel corpus, and then added to the bilingual parallel corpus, where N is the default positive integer. .
  • Step 103 Perform feature extraction on each resource in the common corpus resource Cor(F) of the second language, and obtain a feature vector FeaVec_d of each resource.
  • the feature vector of the Cor(F) resource is extracted in the same manner as the feature extraction method described in step 102, that is, for each resource 4, the feature word is extracted, and the weight value of the feature value is calculated according to formula (4).
  • the weight value sorts each feature word, and the selection is in the top N3.
  • the levy words constitute the feature vector FeaVec_ of the resource, and N3 is a preset positive integer.
  • W ⁇ e) tf ⁇ e, d l )x log ⁇ f- freq d , e) , ( 4 )
  • W ⁇ ;) is the weight value of the feature word e
  • t f (e, d, ) is characteristic
  • the frequency at which the word e appears, / ⁇ W is the absolute word frequency of the feature e, which is obtained from the general corpus resource library of the second language.
  • Freq d is the maximum value of the absolute word frequency of all feature words.
  • Step 104 Select a resource SetD(F) whose feature vector FeaVec_. and the second language feature vector FeaVec_F exceed the set threshold T from the common language resource library Cor(F) of the second language.
  • This step actually selects the resource SetD(F) belonging to the target domain D from the general corpus resource Cor(F) of the second language as a candidate resource added to the search resource library RDB(C).
  • a general cosine similarity calculation method can be used when calculating the similarity.
  • Step 105 Based on the resource mining template of the target domain D, the resource RscD(F) is mined from SetD(F).
  • each page may contain some advertising information, copyright information, navigation information, etc., which are useless for search, and may be filtered; the weather related information in each page may include: Information, temperature information, humidity information, wind information, rain and snow information, time information, etc., can be filtered and sorted based on preset resource mining templates in the webpage, and finally the resource RscD(F) is formed.
  • the resource mining template can be configured in a manual manner or in a data mining manner.
  • the resource mining template based on the target domain D includes an instance set ⁇ kl , k2 , ... , kn ⁇ , and each instance may include: one or combination of information types and information expressions.
  • the weather area can be
  • the resource mining templates used include: "Location Information + Time Information + Temperature Information”, “Location Information + Time Information + Wind Information”, “Location Information + Time Information + Rain and Snow Information”, “Location Information + Time Information + Humidity Information” Examples of " , " location information + time information + temperature information + wind information + humidity information + rain and snow information”.
  • This step actually extracts resources from SetD(F) according to an instance in the resource mining template to form RscD(F).
  • the instance included in the resource mining template of the weather domain is "place information + time information + temperature information” and "Location information + time information + wind information”
  • the information of the format of the instance is extracted from the webpage of SetD(F) to form RscD(F).
  • This step is mainly used when the search resource library RDB (C) is a structured database. If the search resource library RDB (C) is an unstructured database, the step may also be performed.
  • the search resource library RDB(C) corresponding to the target domain D is directly added, or the resource SetD(F) filtered out in step 104 is translated into the resource of the first language through step 106, and added to the search resource corresponding to the target domain D.
  • Library RDB (C) Library RDB (C).
  • Step 106 Translate the mined resource RscD(F) into the resource Rsc(C) of the first language in combination with the machine translation technology from the second language to the first language.
  • the translation involved in this step is basically the same as the translation principle involved in step 102.
  • the knowledge or service in the professional field is also involved. It will cover translation dictionaries in the professional field.
  • the translation dictionary of the professional domain can extract the related terms from the existing resources of the translation target language of the professional domain (the translation target language in this step is the first language), and then form a term dictionary according to the data mining method or the manual method. Each term in the term dictionary is translated to obtain a translation dictionary in the professional field.
  • the existing translation model is actually composed of a translation phrase table.
  • the translated phrase list includes: a phrase pair composed of a first language phrase and a corresponding second language phrase, and a translation score of the phrase pair.
  • the first integration strategy directly add the translation dictionary of the professional domain to the translation phrase list.
  • a word pair in a translation dictionary of a professional domain is added as a phrase pair to a translation phrase table, if the translation phrase table does not contain the added force.
  • the word pair added to the translated phrase table and the added word pair translation score S PT (ce) in the translated phrase table can be calculated according to formula (3); if the translated phrase table already contains the added word pair When you do not need to add processing.
  • S PT (ce) S dict (ce) x rate ( 3 )
  • S dict (ce) the translation score of the added word pair in the translation dictionary
  • ate the translation score from the translation dictionary to the translation phrase table.
  • Value ratio, rate , where, is the translation score of the word pair % in the translation dictionary that appears in both the translation dictionary and the translation phrase table, and the translation score of the word pair ce t in the translation phrase table, "for simultaneous The number of words that appear in the translation dictionary and the translated phrase list.
  • the second integration strategy the translation dictionary of the professional domain is added to the bilingual parallel corpus, and then the word alignment and phrase extraction are unified to obtain the translated phrase table.
  • the bilingual parallel corpus contains sentence pairs.
  • the translation dictionary contains word pairs.
  • the word pairs in the translation dictionary are added as sentence pairs to the bilingual parallel corpus.
  • the bilingual parallel language is used.
  • the sentence pairs in the library are aligned in terms of words, that is, the words that express the same meaning in the two sentences in the sentence pair are aligned; the phrase pairs are extracted from the sentence pairs in the bilingual parallel corpus, based on the statistics of the extracted phrase pairs.
  • the translation scores of each phrase pair are calculated, and the extracted phrase pairs and the translation scores of the phrase pairs constitute a translation phrase table.
  • Translation scores can be added to the bilingual parallel corpus when the word pairs in the translation dictionary are added to the bilingual parallel corpus, and then added to the bilingual parallel corpus, where N is the default positive integer. .
  • a translation expression template can contain a collection of instances consisting of more than one instance
  • an instance of the weather field can be an expression pair containing the following two expressions: Location information + rain and snow information + "temperature is” + lowest temperature + “to” + maximum temperature, location information + “is” + Rain and snow information + "with the temperature from” + lowest temperature + “to” + maximum temperature.
  • RscD(F) is translated into the resource Rsc(C) of the first language.
  • RscD(C) For example, suppose the resource of the second language "Shanghai is rainy with temperature from -1. C to 10. C", according to the example in the translation expression template of the weather domain, you can translate it into "Shanghai rainy temperature is -rc To 10 ° C”.
  • the translation expression template of the target domain D can be configured manually or by data mining.
  • the data mining method may include: pre-characterizing the existing resources of the target language in the target domain (the first language in this step), extracting the high frequency expression therein, and then translating the high frequency expression As an expression of the corresponding translation source language (second language in this step), an expression pair composed of the first language expression and the second language expression is taken as an example of the translation expression template.
  • Step 107 Add Rsc(C) to the search resource library RDB(C) corresponding to the target domain D, where the RDB (C) contains the existing resources of the first language of the target domain D.
  • the resources of the second language in the target domain D can be added to the search database RDB (C) in the form of the first language, and other languages, such as the third language, the fourth language, etc., can be used in the same manner. It is added to RDB(C) in the form of a first language. For example, related resources in English and in the construction field, related resources in Japanese, and related resources in French can be added to the Chinese search database RDB (C) in the above manner.
  • step 106 is an optional step, and the purpose is to make it easier to use the user in the first language, that is, the search result returned by using the search resource library RDB (C) is used in the first language.
  • step 107 may be directly executed, that is, step 107 is directly added, that is, the resource RscD(F) of the second language is directly added to the search resource library RDB(C) corresponding to the target domain D, so that the search result is returned to the user.
  • the process described in the first embodiment is actually an operation performed in the background in the search system.
  • the flow of the first embodiment is illustrated by an example. Assume that the target area D is the weather area.
  • the original search database RDB(C) is a resource derived from the Chinese website. It is hoped that the website resources from English, French and Japanese will also be added to the RDB (C).
  • the English webpage set Set(F) is formed; then the feature set of the English webpage Set(F) is extracted, and the English feature vector FeaVec_F corresponding to the weather domain is obtained.
  • the feature vector FeaVec_F may contain a series of feature words:
  • Feature extraction is performed on each resource in Cor(F) of the English general corpus resource library, and the feature vector FeaVec_d of each resource is obtained, and the feature vector FeaVec_d of each resource is calculated, and
  • the correlation between FeaVec_F, from Cor(F), selects the resource SetD(F) whose correlation exceeds the set threshold. That is, the weather domain resource SetD(F) is selected from all English corpus repositories Cor(F) by similarity calculation.
  • the resource mining template of the weather domain may be used to further filter and sort out different types of information from the filtered English resource SetD(F), such as specific geographic information, temperature information, humidity information, and wind power. Information, etc., eventually formed the English resource RscD(F) in the weather field.
  • the resource mining template may be used to further filter and sort out different types of information from the filtered English resource SetD(F), such as specific geographic information, temperature information, humidity information, and wind power. Information, etc., eventually formed the English resource RscD(F) in the weather field.
  • RscD(F) can be translated into Chinese
  • Chinese resource Rsc(C) can be formed
  • Rsc(C) can be added to the Chinese search resource library RDB(C) in the weather field.
  • RDB (C) contains resources from the English language website in the weather field.
  • RDB (C) contains resources from the English language website in the weather field.
  • the search results returned by the search contain resources from the English website. The resources of the website, etc., to return more and better search results for users.
  • FIG. 2 is a flowchart of a search method according to Embodiment 2 of the present invention, where the search method is based on a search resource obtained by the method described in Embodiment 1. As shown in Figure 2, the method can include the following steps:
  • Step 201 Receive a query from the user.
  • Step 202 Perform a requirement identification on the query to identify the domain to which the query belongs.
  • Step 203 Perform a search in a search resource library corresponding to the identified domain.
  • the search is performed in the search resource library RDB(C) corresponding to the target domain D. Because the RDB(C) contains multi-language search resources for cross-language acquisition, it can provide users with more and more abundant resources.
  • cross-language access to resources from the French website in the tourism field is obtained, that is, the search resource library RDB (C) contains resources from the French website in the tourism field, when the user inputs "query of Paris H"
  • the search results returned to the user include resources from the French website, which may be better than the resources of the Chinese website.
  • Step 204 Return the search result to the user.
  • Source website confidence such as the Central Weather Station's weather forecast results are higher than the unknown website.
  • Source language confidence can be determined based on the relationship between the language of the resource source and the language mapped by the user query. For example, for the "Japanese weather" query, the language mapped by the query is Japanese. In order to reflect the more accurate resources provided by the Japanese website, the source language of the Japanese-derived source can be set to a higher confidence level. The source language confidence setting for other resources is lower.
  • the existing resources of each language may be mined in advance, and the feature vectors of each language are trained. After the user inputs the query, the feature of the query is extracted, and the extracted features are similar to the feature vectors of the respective languages. The calculation determines that the language whose similarity exceeds the preset similarity threshold is the language to which the query is mapped.
  • mining existing resources corresponding to Japanese and training feature vectors include: Beijing, Japan, Xiangpu, Kimono, Koizumi, Sakura.
  • the source language query input by the user is "Japanese weather”
  • the feature of the query is extracted and the similarity calculation is performed with the feature vector of each language, and the similarity between the feature vector and the Japanese is determined to exceed the preset similarity threshold. Then it is determined that the language mapped by the query is Japanese. If the query is searched based on the weather domain, in the search result of the query, the source language of a resource is Japanese, and the resource is set to have a higher source language confidence.
  • Translation confidence which is considered from the perspective of readability.
  • Low translation confidence means that the resources are not readable and of low quality.
  • the translation confidence can be determined by the corresponding scores of the resources in the translation model and the corresponding scores in the language model.
  • the corresponding translation score of the resource in the translation model may be jointly determined by the translation scores of the phrases used by the resource in the translation model, for example, if a resource uses multiple phrase pairs in the translation model, The corresponding translation score of the resource in the translation model may be the average of the translation scores in the translation model for each phrase used by the resource.
  • the scores in the language model are obtained from the statistics of the collocations between the words.
  • the corresponding scores of the resources in the language model can also be determined by the scores of the words used in the resources in the language model.
  • resources that provide the same type of information can be scored according to the following formula. Only the resources with the highest scores are included in the search results according to the status of the score, or they can be provided. Resources that unify type information are included in the search results but are sorted by score.
  • ⁇ ori ⁇ is the score of the resource ⁇ , that is, the confidence level
  • ⁇ is the number of confidence types considered
  • ⁇ is a preset weight parameter for various confidence types.
  • the above is a description of the method provided by the present invention.
  • the apparatus and search apparatus for acquiring search resources by using the cross-language provided by the present invention are respectively described in detail by the third embodiment and the fourth embodiment.
  • FIG. 3 is a structural diagram of a device for acquiring search resources in a cross-language according to Embodiment 3 of the present invention.
  • the apparatus may include: a domain determining unit 300, a target feature determining unit 310, a feature extracting unit 320, and a resource selecting unit. 330 and resource adding unit 340.
  • the domain determining unit 300 is configured to determine the target domain D.
  • the target feature determining unit 310 is configured to determine the second language feature vector of the target domain D by using the existing language resource Set(C) of the target domain D, combining the feature extraction technology and the machine translation technology from the first language to the second language. FeaVec_F.
  • Feature extraction unit 320 for the general corpus repository Cor (F) in the second language of each resource as the resource extraction feature extraction to obtain a feature vector for each resource FeaVec_ d '.
  • a resource screening unit 330 configured to filter out a feature vector FeaVec_ from Cor(F)
  • the target feature determining unit 310 can have two structures:
  • the first structure is as shown in (a) of FIG. 4, and may specifically include: a first translation subunit 401 and a first feature acquisition subunit 402.
  • a first translation sub-unit 401 configured to translate the existing first language resource Set(C) of the target domain D into a second language resource Set(F) by using a machine translation technology from the first language to the second language, Set (F) is sent to the feature extraction unit 320.
  • the feature extraction unit 320 is configured to perform feature extraction on the Set (F) as the extracted resource, and obtain a second language feature vector FeaVec_F of the target domain D.
  • the first feature acquisition sub-unit 402 is configured to acquire the second language feature vector FeaVec_F of the target domain D from the feature extraction unit 320. That is to say, the first structure first translates the existing first language resource Set(C) of the target domain D into the second language resource Set(F), and then performs feature extraction on the Set(F) to obtain the target domain.
  • the second language feature vector FeaVec_F of D is as shown in (b) of FIG. 4, and the target feature determining unit 310 may specifically include: a second feature acquiring subunit 411 and a second translation subunit 412.
  • the second feature acquisition sub-unit 411 is configured to send the Set (C) to the feature extraction unit 320, obtain the first language feature vector FeaVec_C of the target domain D from the feature extraction unit 320, and provide the second language sub-feature 412.
  • the feature extraction unit 320 is configured to perform feature extraction on the set (C) as the extracted resource to obtain a first language feature vector FeaVec_C of the target domain D.
  • the second translation sub-unit 412 is configured to translate the FeaVec_C into the second language feature vector FeaVec_F of the target domain D by using a machine translation technique from the first language to the second language. That is to say, the second structure first performs feature extraction on Set(C) to obtain the first language feature vector FeaVec_C of the target domain D, and then translates FeaVec_C into the second language feature vector FeaVec_F.
  • the feature extraction unit 320 may specifically include: a word segmentation processing sub-unit 321, a filtering processing sub-unit 322, a weight calculation sub-unit 323, and a vector forming sub-unit 324.
  • the word segmentation processing sub-unit 321 is configured to perform text-based word segmentation processing on the extracted resources.
  • the filtering processing sub-unit 322 is configured to filter the words obtained by the word segmentation process by using a preset stop word table to obtain the feature words of the extracted resources.
  • Weight calculation subunit 323 for following wW , calculating the weight value of each special freq (e) singer, where is the weight value of the feature word e , / (e, Set) is the feature word e is being The frequency of occurrence in the extracted resource; freq ( e ) is the absolute word frequency of the feature word e, which is obtained from the general corpus resource library of the language corresponding to the extracted resource; Freq is the maximum value of the absolute word frequency of all feature words.
  • the vector forming subunit 324 is configured to sort according to the weight values of the feature words, and select the feature numbers of the top N1 feature words to form the target domain D, and the default is a positive integer.
  • the language corresponding to the extracted resource is the second language
  • the feature vector formed by the vector forming sub-unit 324 is FeaVec_F.
  • the language corresponding to the extracted resource is the first language, and the feature vector formed by the vector forming subunit 324 is FeaVec_C.
  • the language corresponding to the extracted resource is the second language
  • the feature vector formed by the vector forming sub-unit 324 is the feature vector FeaVec-d i of each resource in Cor(F) .
  • the resource adding unit 340 may include: a resource mining sub-unit 341 and a resource adding sub-unit 342.
  • the resource mining sub-unit 341 is configured to mine the resource RscD(F) from the SetD(F) based on the resource mining template of the preset target domain D, and send the RscD(F) to the resource adding sub-unit 342.
  • the resource adding sub-unit 342 is used to add the received resource to the search resource library RDB(C) of the target domain D.
  • the resource mining template may include a set of instances consisting of one or more instances, and the instance includes one or a combination of information types and information expressions.
  • the resource adding unit 340 may further include: a third translation sub-unit 343, configured to acquire the RscD(F) sent by the resource mining sub-unit 341 to the resource adding sub-unit 342, In conjunction with the machine translation technique from the second language to the first language, RscD(F) is translated into the resource Rsc(C) of the first language, and Rsc(C) is sent to the resource addition sub-unit 342.
  • a third translation sub-unit 343 configured to acquire the RscD(F) sent by the resource mining sub-unit 341 to the resource adding sub-unit 342, In conjunction with the machine translation technique from the second language to the first language, RscD(F) is translated into the resource Rsc(C) of the first language, and Rsc(C) is sent to the resource addition sub-unit 342.
  • the resource adding unit may adopt another structure (the structure is not shown in Fig. 3), and includes: a fourth translation subunit and a resource addition subunit.
  • a fourth translation subunit for combining machine translation techniques from a second language to a first language, translating SetD(F) into a resource SetD(C) of the first language, and transmitting SetD(C) to the resource Mouth unit
  • the translation model used by the first translation subunit 401, the second translation subunit 412, the third translation subunit 343, and the fourth translation subunit to perform translation is composed of a translation phrase table, and the translation phrase table includes: A phrase pair formed by a language phrase and a corresponding second language phrase, and a translation score of the phrase pair.
  • the translation dictionary has a translation dictionary integrated with the target domain.
  • the device can adopt the following two integration units, namely:
  • the apparatus may further include: a first translation model integration unit 350, configured to add the word pairs in the translation dictionary of the target domain as a phrase pair one by one to the translation phrase table.
  • a first translation model integration unit 350 configured to add the word pairs in the translation dictionary of the target domain as a phrase pair one by one to the translation phrase table.
  • the added word pair is added to the translated phrase table, and the translated word value of the added word pair in the translated phrase table is added. Calculate according to ⁇ (ce Uci x rafe; if the translated word list already contains the added word pair, no addition processing is required.
  • S dict (ce) is the translation score of the added word pair in the translation dictionary
  • rate is the translation score ratio from the translation dictionary to the translated phrase table
  • ra t e , where is the simultaneous translation dictionary and translation
  • ⁇ is the translation score of the word pair in the translated phrase table, "the number of words that appear in both the translation dictionary and the translation phrase table.
  • the second translation model integration unit (not shown in FIG. 3) is used to add the word pairs in the translation dictionary of the target domain to the bilingual parallel corpus, and the sentence pairs in the bilingual parallel corpus are aligned in words.
  • the phrase pair is extracted from the sentence pairs in the bilingual parallel corpus, and the translation scores of each phrase pair are calculated based on the statistical result of the extracted phrase pairs; the extracted phrase pairs and the translation scores of the phrase pairs constitute a translation phrase table.
  • the second translation model integration unit may copy the word pairs in the translation dictionary and then add them to the bilingual parallel corpus, where N is a preset positive integer.
  • the translation with the fourth translation sub-unit is performed based on the translation expression template of the preset target domain D.
  • the translation expression template of the target domain D includes: an instance set composed of one or more instances; each instance may be: A pair of expressions of the first language expression and the corresponding second language expression.
  • FIG. 5 is a structural diagram of a search apparatus according to Embodiment 4 of the present invention.
  • the apparatus belongs to a foreground device of a search system, and the corresponding background is used by the apparatus in the third embodiment to obtain search resources used for searching.
  • the search device may include: a user side interaction unit 500, a domain identification unit 510, and a search processing unit 520.
  • the user side interaction unit 500 is configured to receive a query from the user, and return the search result of the search processing unit 520 to the user.
  • the domain identification unit 510 is configured to identify the query and identify the domain to which the query belongs.
  • the search processing unit 520 is configured to perform a search in the search resource library corresponding to the domain identified by the domain identification unit 510.
  • the search resource library is obtained by the device shown in the third embodiment.
  • the search apparatus may further include: a conflict processing unit 530, configured to use different sources in the search result. If the content of the same type of information provided by the resource conflicts, the resource with the highest confidence is selected from the resources in which the content conflicts is included in the search result, or the content conflicts in the search result according to the confidence level from high to low. Sort the resources.
  • the search device further includes: a resource confidence determination unit 540, configured to determine a confidence level of the resource according to one or any combination of the following confidence types: source source confidence of the resource, source language confidence of the resource, and resource Translation confidence.
  • a resource confidence determination unit 540 configured to determine a confidence level of the resource according to one or any combination of the following confidence types: source source confidence of the resource, source language confidence of the resource, and resource Translation confidence.
  • the resource confidence determination unit 540 can determine the confidence of the resource according to the following formula. Degree:
  • Scored ) ⁇ i h j r t )
  • ⁇ ori ⁇ is the confidence level of the resource
  • ⁇ is the number of confidence types
  • ⁇ is the confidence of the resource in the first type of confidence, which is the default confidence level.
  • the weight parameter of the type is the weight parameter of the type.
  • the resource confidence determining unit 540 may determine the source language confidence of the resource according to the relationship between the language of the resource source and the language mapped by the query, specifically: setting the language from the query.
  • the source language confidence of the resources is higher than the source language confidence of resources derived from other languages.
  • the search apparatus may further include: a mapping language determining unit 550, configured to extract a feature of the query, perform a similarity calculation between the feature of the query and the feature vector of each language that is pre-trained, and determine that the similarity exceeds a preset similarity.
  • the language of the degree threshold is the language mapped by the query.
  • the resource confidence determination unit 540 can determine the translation confidence of the resource by using the translation score corresponding to the resource in the translation model used when acquiring the resource and the corresponding score of the resource in the language model.
  • the corresponding translation score of the resource in the translation model can be jointly determined by the translation scores of the phrases used in the translation model in the translation model.
  • the corresponding score of the resource in the language model can be determined by the scores of the words used by the resource in the language model.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)

Description

跨语言获取搜索资源的方法和装置及对应搜索方法和装置 本申请要求了申请日为 2011年 05月 13日，申请号为 201110124378.9 发明名称为"跨语言获取搜索资源的方法和装置及对应搜索方法和装置" 的中国专利申请的优先权。
技术领域
本发明涉及计算机技术领域， 特别涉及一种跨语言获取搜索资源的 方法和装置及对应搜索方法和装置。
背景技术
框计算是 2009百度技术创新大会上提出的全新技术， 为用户提供基 于互联网的一站式服务。 用户只要在系统中输入请求， 系统就能够明确 识别出用户需求， 并按照需求将用户的请求分配给最优的应用或资源提 供商进行处理， 并将处理后得到的结果返回给用户。
当框计算应用于搜索领域时， 搜索系统能够识别出用户输入的搜索 请求 （query ) 的需求， 例如识别出 query所对应的具体领域， 然后利用 该 query在该领域对应的资源库中进行搜索， 并将搜索结果返回给用户， 从而为用户提供该领域中更加专业的信息。
然而， 在现有基于框计算的搜索技术中， 搜索所使用的资源库通常 是单语的资源库， 例如， 针对旅游领域， 搜索所使用的资源库为中文网 站提供的旅游领域的资源， 但在很多情况下， 单语的资源库提供的资源 并不优质或者资源 4艮少。 例如， 如果用户输入 query "巴黎 旅游" ， 搜 索系统识别出该 query对应旅游领域，显然法文网站提供的资源可能更多 且更优质， 而现有搜索所使用的资源库仅为中文网站提供的旅游领域的 资源， 因此搜索效果较差。
发明内容
本发明提供了一种跨语言获取搜索资源的方法和装置及对应搜索方 法和装置，以便于为用户提供更多、更优质的搜索资源，提高搜索效果。
具体技术方案如下：
一种跨语言获取搜索资源的方法， 该方法包括：
A、 确定目标领域 D;
B、 利用目标领域 D的已有第一语言资源 Set(C)， 结合特征抽取技 术以及从第一语言到第二语言的机器翻译技术， 确定目标领域 D的第二 语言特征向量 FeaVec_F;
C、对第二语言的通用语料资源库 Cor(F)中的各资源进行特征抽取， 得到各资源的特征向量 FeaVec— ；
D、 从所述 Cor(F)中筛选出特征向量 FeaVec_ d,与所述 FeaVec_F之 间相似度超过预设阈值 T的资源 SetD(F);
E、 将所述 SetD(F)添加入所述目标领域 D的搜索资源库 RDB(C)。 所述步骤 B具体包括：
Bl l、 利用从第一语言到第二语言的机器翻译技术， 将所述目标领 域 D的已有第一语言资源 Set(C)翻译成第二语言资源 Set(F);
B12、 对所述 Set(F)进行特征抽取， 得到所述目标领域 D的第二语 言特征向量 FeaVec— F。
或者， 所述步骤 B具体包括：
B21、对所述目标领域 D的已有第一语言资源 Set(C)进行特征抽取， 得到所述目标领域 D的第一语言特征向量 FeaVec_C; B22、利用从第一语言到第二语言的机器翻译技术，将所述 FeaVec_C 翻译成所述目标领域 D的第二语言特征向量 FeaVec_F。 上述特征抽取具体包括：
51、 对被抽取资源进行基于文本的分词处理， 利用预设的停用词表 对分词处理后得到的词语进行过滤后得到所述被抽取资源的特征词；
52、 W(e) = ( (e,Set)x log -^ , 计算各特征词的权重值；
freq[e)
53、 按照各特征词的权重值进行排序， 选择排在前 N1个的特征词 组成目标领域 D的特征向量， N1为预设的正整数；
其中， 为特征词 e的权重值， /(e,Set)为特征词 6在所述被抽取资 源中出现的频次； /r^(e)为特征词 e的绝对词频， 从所述被抽取资源所对 应语种的通用语料资源库中统计得到； Freq为所有特征词的绝对词频的 最大值；
当所述被抽取资源为所述 Set(F)时， 所述被抽取资源所对应语种为 所述第二语言， 所述步骤 S3得到的特征向量为所述 FeaVec_F;
当所述被抽取资源为所述 Set(C)时， 所述被抽取资源所对应语种为 所述第一语言， 所述步骤 S3得到的特征向量为所述 FeaVec_C。 当所述被抽取资源为所述 Cor(F)中的各资源时， 所述被抽取资源所 对应语种为所述第二语言， 所述步骤 S3得到的特征向量为所述 Cor(F) 中各资源的特征向量 FeaVec_ d{。 另外， 所述步骤 E具体包括：
El l、 基于预设的目标领域 D的资源挖掘模板， 从所述 SetD(F)中挖 掘出资源 RscD(F);
E12、 结合从第二语言到第一语言的机器翻译技术， 将所述 RscD(F) 翻译为第一语言的资源 Rsc(C), 将所述 Rsc(C) 添加入所述目标领域 D 的搜索资源库 RDB(C); 其中， 所述资源挖掘模板包括一个以上实例构成的实例集合， 所述 实例包含信息类型和信息表达式中的一种或组合。 或者， 所述步骤 E具体包括：
E21、 结合从第二语言到第一语言的机器翻译技术， 将所述 SetD(F) 翻译为第一语言的资源 SetD(C);
E22、将所述 SetD(C) 添加入所述目标领域 D的搜索资源库 RDB(C)。 具体地， 所述翻译所使用的翻译模型由翻译短语表构成， 该翻译短 语表包括： 第一语言短语和对应第二语言短语构成的短语对， 以及， 短 语对的翻译分值； 所述翻译短语表中整合有所述目标领域的翻译词典。 其中， 将所述目标领域的翻译词典整合到所述翻译短语表中包括： 将所述目标领域的翻译词典中的词对作为短语对逐一添加到所述翻 译短语表中； 其中， 如果所述翻译短语表中尚未包含被添加的词对， 则将所述被添加的 词对添加到所述翻译短语表中， 且所述被添加的词对在所述翻译短语表 中的翻译分值 ^ ce)为： SPT (ce) = Sdict (ce) x rate ; 如果所述翻译短语表中已 经包含所述被添加的词对， 则不做添加处理； 所述 Sdict (ce)为所述被添加的词对 ce在所述翻译词典中的翻译分值，
rate为从所述翻译词典到所述翻译短语表的翻译分值比， mte = j^， 其
∑",·
!=1 中， α;为同时出现在所述翻译词典和所述翻译短语表中的词对％在所述 翻译词典申的翻译分值， b;为所述词对 ce;在所述翻译短语表 的翻译分 值， "为同时出现在所述翻译词典和所述翻译短语表中的词对个数。
或者， 将所述目标领域的翻译词典整合到所述翻译短语表中包括： 将所述目标领域的翻译词典中的词对添加到双语平行语料库中； 将所述双语平行语料库中的句对以词语为单位对齐；
对所述双语平行语料库中的句对进行短语对的抽取， 基于对抽取的 短语对的统计结果计算各短语对的翻译分值；
将抽取的短语对以及短语对的翻译分值构成所述翻译短语表。
较优地，所述翻译基于预设的所述目标领域 D的翻译表达模板执行； 其中所述目标领域 D的翻译表达式模板中包括： 一个以上实例构成 的实例集合；
所述实例为： 由第一语言表达式和对应第二语言表达式构成的表达 式对。
一种基于跨语言获取的搜索资源的搜索方法， 该方法包括：
A、 接收来自用户的搜索请求 query;
B、 对所述 query进行需求识别， 识别出所述 query所属的领域；
C、 在所识别出领域对应的搜索资源库中进行搜索；
D、 将搜索结果返回给所述用户；
其中， 所述搜索资源库是采用上述跨语言获取搜索资源的方法获取 的。
较优地， 在所述搜索结果中如果不同来源的资源所提供同一类型信 息的内容发生沖突， 则从内容发生沖突的资源中选择置信度最高的资源 包含在所述搜索结果中， 或者， 按照置信度从高到低在搜索结果中对内 容发生沖突的资源进行排序。
其中， 资源的置信度由以下所列置信度类型中的一种或任意组合确 定：
资源的来源网站置信度、 资源的来源语种置信度以及资源的翻译置 信度。
资源的来源语种置信度依据资源来源的语种与所述 query所映射的 语种之间的关系确定， 具体为： 设置来源于所述 query所映射语种的资 源的来源语种置信度高于来源于其他语种的资源的来源语种置信度；
其中， 所述 query所映射语种的确定方法为：
提取所述 query的特征， 将所述 query的特征与预先训练出的各语 种的特征向量进行相似度计算， 确定相似度超过预设的相似度阈值的语 种为所述 query所映射的语种。
所述资源的翻译置信度由在获取所述资源时使用的翻译模型中所述 资源对应的翻译分值以及所述资源在语言模型中对应的分值确定。
一种跨语言获取搜索资源的装置， 该装置包括： 领域确定单元、 目 标特征确定单元、 特征抽取单元、 资源筛选单元和资源添加单元；
所述领域确定单元， 用于确定目标领域 D;
所述目标特征确定单元， 用于利用目标领域 D的已有语言资源 Set(C) , 结合特征抽取技术以及从第一语言到第二语言的机器翻译技术， 确定目标领域 D的第二语言特征向量 FeaVec_F;
所述特征抽取单元， 用于将第二语言的通用语料资源库 Cor(F)中的 各资源作为被抽取资源进行特征抽取，得到各资源的特征向量 FeaVec_ dt； 所述资源筛选单元，用于从所述 Cor(F)中筛选出特征向量 FeaVec_ 与所述 FeaVec_F之间相似度超过预设阈值 T的资源 SetD(F);
所述资源添加单元， 用于将所述 SetD(F)添加入所述目标领域 D的 搜索资源库 RDB(C)。
其中， 所述目标特征确定单元具体包括： 第一翻译子单元和第一特 征获取子单元；
所述第一翻译子单元， 用于利用从第一语言到第二语言的机器翻译 技术， 将所述目标领域 D的已有第一语言资源 Set(C)翻译成第二语言资 源 Set(F), 将所述 Set(F)发送给所述特征抽取单元；
所述特征抽取单元， 用于将所述 Set(F)作为被抽取资源进行特征抽 取， 得到所述目标领域 D的第二语言特征向量 FeaVec_F;
所述第一特征获取子单元， 用于从所述特征抽取单元获取所述目标 领域 D的第二语言特征向量 FeaVec_F。
或者， 所述目标特征确定单元具体包括： 第二特征获取子单元和第 二翻译子单元；
所述第二特征获取子单元， 用于将所述 Set(C)发送给所述特征抽取 单元， 从所述特征抽取单元获取所述目标领域 D的第一语言特征向量 FeaVec_C, 并提供给所述第二翻译子单元；
所述特征抽取单元， 用于将所述 Set(C)作为被抽取资源进行特征抽 取， 得到所述目标领域 D的第一语言特征向量 FeaVec_C;
所述第二翻译子单元， 用于利用从第一语言到第二语言的机器翻译 技术， 将所述 FeaVec_C翻译成所述目标领域 D的第二语言特征向量 FeaVec_F„
上述特征抽取单元具体包括： 分词处理子单元， 用于对被抽取资源进行基于文本的分词处理； 过滤处理子单元， 用于利用预设的停用词表对分词处理后得到的词 语进行过滤后得到所述被抽取资源的特征词；
权重计算子单元， 用于按照
Figure imgf000010_0001
， 计算各特征词 freq{e) 的权重值， 其中， 为特征词 e的权重值， /(e,Set)为特征词 e在所述被 抽取资源中出现的频次； /r^(e)为特征词 e的绝对词频， 从所述被抽取资 源所对应语种的通用语料资源库中统计得到； Freq为所有特征词的绝对 词频的最大值；
向量形成子单元， 用于按照各特征词的权重值进行排序， 选择排在 前 N1个的特征词组成目标领域 D的特征向量， N1为预设的正整数； 当所述被抽取资源为所述 Set(F)时， 所述被抽取资源所对应语种为 所述第二语言， 所述向量形成子单元形成的特征向量为所述 FeaVec_F; 当所述被抽取资源为所述 Set(C)时， 所述被抽取资源所对应语种为 所述第一语言， 所述向量形成子单元形成的特征向量为所述 FeaVec_C。 当所述被抽取资源为所述 Cor(F)中的各资源时， 所述被抽取资源所 对应语种为所述第二语言， 所述向量形成子单元形成的特征向量为所述 Cor(F)中各资源的特征向量 FeaVec_ d{。 具体地， 所述资源添加单元包括： 资源挖掘子单元、 第三翻译子单 元和资源添加子单元；
所述资源挖掘子单元，用于基于预设的目标领域 D的资源挖掘模板, 从所述 SetD(F)中挖掘出资源 RscD(F);
所述第三翻译子单元， 用于结合从第二语言到第一语言的机器翻译 技术， 将所述 RscD(F)翻译为第一语言的资源 Rsc(C), 并将所述 Rsc(C) 发送给所述资源添加子单元；
所述资源添加子单元， 用于将接收到的所述 Rsc(C)添加入所述目标 领域 D的搜索资源库 RDB(C);
其中， 所述资源挖掘模板包括一个以上实例构成的实例集合， 所述 实例包含信息类型和信息表达式中的一种或组合。
或者，所述资源添加单元包括：第四翻译子单元和资源添加子单元； 所述第四翻译子单元， 用于结合从第二语言到第一语言的机器翻译 技术，将所述 SetD(F)翻译为第一语言的资源 SetD(C),并将所述 SetD(C) 发送给所述资源添加子单元；
所述资源添加子单元， 用于将接收到的资源添加入所述目标领域 D 的搜索资源库 RDB(C)。
具体地， 所述翻译所使用的翻译模型由翻译短语表构成， 该翻译短 语表包括： 第一语言短语和对应第二语言短语构成的短语对， 以及， 短 语对的翻译分值；
所述翻译短语表中整合有所述目标领域的翻译词典。
此时， 该装置还包括： 第一翻译模型整合单元， 用于将所述目标领 域的翻译词典中的词对作为短语对逐一添加到所述翻译短语表中；其中， 如果所述翻译短语表中尚未包含被添加的词对， 则将所述被添加的 词对添加到所述翻译短语表中， 且所述被添加的词对在所述翻译短语表 中的翻译分值 ^ ce)为： SPT (ce) = Sdict (ce) x rate ; 如果所述翻译短语表中已 经包含所述被添加的词对， 则不做添加处理；
所述 Sdict (ce)为所述被添加的词对 ce在所述翻译词典中的翻译分值， rate为从所述翻译词典到所述翻译短语表的翻译分值比， mte = j^， 其
!=1 中， α;为同时出现在所述翻译词典和所述翻译短语表中的词对％在所述 翻译词典中的翻译分值， b;为所述词对 在所述翻译短语表中的翻译分 值， "为同时出现在所述翻译词典和所述翻译短语表中的词对个数。
更进一步地， 该装置还包括： 第二翻译模型整合单元， 用于将所述 目标领域的翻译词典中的词对添加到双语平行语料库中， 将所述双语平 行语料库中的句对以词语为单位对齐； 对所述双语平行语料库中的句对 进行短语对的抽取， 基于对抽取的短语对的统计结果计算各短语对的翻 译分值； 将抽取的短语对以及短语对的翻译分值构成所述翻译短语表。
更优地，所述翻译基于预设的所述目标领域 D的翻译表达模板执行； 其中所述目标领域 D的翻译表达式模板中包括： 一个以上实例构成 的实例集合；
所述实例为： 由第一语言表达式和对应第二语言表达式构成的表达 式对。
一种基于跨语言获取的搜索资源的搜索装置， 该搜索装置包括： 用 户侧交互单元、 领域识别单元和搜索处理单元；
所述用户侧交互单元，用于接收来自用户的搜索请求 query ,将所述 搜索处理单元的搜索结果返回给所述用户；
所述领域识别单元， 用于对所述 query进行需求识别， 识别出所述 query所属的领域；
所述搜索处理单元， 用于在所述领域识别单元所识别出领域对应的 搜索资源库中进行搜索； 其中， 所述搜索资源库是一种跨语言获取搜索资源的装置获取的。 较优地， 该搜索装置还包括： 沖突处理单元， 用于在所述搜索结果 中如果不同来源的资源所提供同一类型信息的内容发生沖突， 则从内容 发生沖突的资源中选择置信度最高的资源包含在所述搜索结果中，或者， 按照置信度从高到低在搜索结果中对内容发生沖突的资源进行排序。
另外， 该搜索装置还包括： 资源置信度确定单元， 用于根据以下所 列置信度类型中的一种或任意组合确定资源的置信度： 资源的来源网站 置信度、 资源的来源语种置信度以及资源的翻译置信度。
所述资源置信度确定单元依据资源来源的语种与所述 query所映射 的语种之间的关系确定资源的来源语种置信度， 具体为： 设置来源于所 述 query所映射语种的资源的来源语种置信度高于来源于其他语种的资 源的来源语种置信度；
所述搜索装置还包括： 映射语种确定单元， 用于提取所述 query的 特征， 将所述 query的特征与预先训练出的各语种的特征向量进行相似 度计算， 确定相似度超过预设的相似度阈值的语种为所述 query所映射 的语种。
另外， 资源置信度确定单元利用在获取所述资源时使用的翻译模型 中所述资源对应的翻译分值以及所述资源在语言模型中对应的分值， 确 定所述资源的翻译置信度。
由以上技术方案可以看出，本发明通过跨语言获取搜索资源的方式， 能够将属于目标领域的其他语言资源也添加到搜索资源库中， 使得搜索 资源库中存在属于同一领域的来自多种语种的资源， 从而在执行该领域 的搜索时， 为用户提供更多、 更优质的搜索资源， 提高搜索效果。 附图说明
图 1为本发明实施例一提供的跨语言获取搜索资源的方法流程图； 图 2为本发明实施例二提供的搜索方法流程图；
图 3为本发明是实例三提供的跨语言获取搜索资源的装置结构图； 图 4中 （a ) 和 （b ) 分别为目标特征确定单元的两种结构图； 图 5为本发明实施例四提供的搜索装置结构图。
具体实施方式
为了使本发明的目的、 技术方案和优点更加清楚， 下面结合附图和 具体实施例对本发明进行详细描述。
实施例一、
图 1为本发明实施例一提供的跨语言获取搜索资源的方法流程图， 如图 1所示， 该方法可以包括以下步骤：
步骤 101： 确定目标领域 D。
框计算的特色之一就是面向各个领域针对性地提供服务， 因此， 在 资源挖掘阶段， 需要首先选定一个目标领域， 例如， 可以选择旅游、 购 物、 招聘、 建筑、 金融等作为目标领域。 在本发明中确定的该目标领域 采用 D进行标识。
步骤 102: 利用目标领域 D的已有第一语言资源 Set(C), 结合特征 抽取技术以及从第一语言到第二语言的机器翻译技术， 确定目标领域 D 的第二语言特征向量 FeaVec_F。
Set(C)指的是从第一语言的通用语料资源库中已经获取的针对目标 领域 D的资源。 本发明实施例中涉及的通用语料资源库指的是没有区分 具体领域的所有语料资源构成的大规模资源库， Set(C)可以看作是从第 一语言的所有网页集中已经筛选出的目标领域 D对应的网页构成的网页 集。
本步骤的实现可以具体采用以下两种方式：
第一种方式： 首先将目标领域 D的已有第一语言资源 Set(C)翻译成 第二语言资源 Set(F), 即将已有第一语言的网页集合翻译成第二语言的 网页集合； 然后， 对第二语言资源 Set(F)进行特征抽取， 得到目标领域 D的第二语言特征向量 FeaVec_F。
第二种方式： 首先对目标领域 D的已有第一语言资源 Set(C)进行特 征抽取， 得到目标领域的第一语言特征向量 FeaVec_C; 然后， 将第一语 言特征向量 FeaVec_C翻译成第二语言特征向量 FeaVec_F。
以上两种方式均能够确定出目标领域 D的第二语言特征向量
FeaVec_F , 但第一种方式更能够充分考虑网页资源中特征词的上下文信 息， 具有更高的翻译质量。
具体地， 在针对 Set(F)或者 Set(C)进行特征抽取时， 可以采用基于 词频统计的方式。
以上述第一种方式中针对 Set(F)进行特征抽取为例， 首先对 Set(F) 中的资源进行基于文本的分词处理， 利用预设的停用词表对分词处理后 得到的词语进行过滤后得到 Set(F)的特征词， 其中停用词表中包含预先 基于词频统计得到的表意能力很低的词语， 例如一些助词、 叹词、 疑问 词、 虚词、 代词等； 然后按照公式（ 1 )计算各特征词的权重值， 按照权 重值对各特征词进行排序， 选择排在前 N1个的特征词组成目标领域 D 的第二语言特征向量 FeaVec_F。 其中， N1为预设的正整数。 W(g) = ? (g,Set(F))x log Freq
freqF {e) , ( 1 )
W (e)为特征词 e的权重值， tf (e，Set(F))为特征词 e在 Set(F)中出现的频 次。 为特征词 e的绝对词频， 从第二语言的通用语料资源库中统 计得到， 该第二语言的通用语料资源库是一个大规模的不区分领域的通 用语料资源库。 ^¾为所有特征词的绝对词频的最大值。 由于绝对词频 高的词太普遍， 区分性差， 公式（1 ) 中体现出在 Set(F)中出现频率高的 词， 而弱化绝对词频高的词。
第二种方式中， 针对 Set(C)进行特征抽取时， 首先对 Set(C)中的资 源进行基于文本的分词处理， 利用预设的停用词表对分词处理后得到的 词语进行过滤后得到 Set(C)的特征词； 然后按照公式（2 )计算各特征词 的权重值， 按照权重值对各特征词进行排序， 选择排在前 N2个的特征 词组成目标领域 D的第一语言特征向量 FeaVec_C。 其中， N2为预设的 正整数。
W(g) = (g, Set(C))x log F eq ( c .
freqc、e) , ( 2 ) 其中， W ^为特征词 e的权重值， tf (e,Set(C))为特征词 e在 Set(C)中出 现的频次。
Figure imgf000016_0001
^)为特征词 e的绝对词频， 从第一语言的通用语料资源 库中统计得到， 该第一语言的通用语料资源库是一个大规模的不区分领 域的通用语料资源库。 ^¾为所有特征词的绝对词频的最大值。 同样， 公式（ 2 )中体现出在 Set(C)中出现频率高的词，而弱化绝对词频高的词。
在本发明中无论是上述第一种方式中涉及的资源的翻译， 还是上述 第二种方式中涉及的特征向量的翻译， 通常都会涉及专业领域的知识或 服务， 也就会涉及专业领域的翻译词典。 例如， 当上述目标领域 D为建 筑领域时，需要建筑领域的翻译词典；当上述目标领域 D为金融领域时， 需要金融领域的翻译词典。
首先专业领域的翻译词典可以从该专业领域的翻译目标语言 （本步 骤中的翻译目标语言为第二语言） 的已有资源中抽取相关术语构成术语 词典， 然后基于数据挖掘的方法或者人工的方法对术语词典中的每个术 语进行翻译， 从而得到专业领域的翻译词典。
在获取到专业领域的翻译词典后， 需要将专业领域的翻译词典与已 有的翻译模型进行整合， 采用整合后得到的翻译模型对上述第一种方式 中涉及的资源进行翻译， 或者对上述第二种方式中涉及的特征向量进行 翻译。 其中， 已有的翻译模型实际上是由翻译短语表构成的。 其中翻译 短语表包括： 第一语言短语和对应第二语言短语构成的短语对， 以及短 语对的翻译分值。
具体将专业领域的翻译词典与已有的翻译模型进行整合时， 可以采 用以下整合策略：
第一种整合策略：直接将专业领域的翻译词典添加到翻译短语表中。 在将专业领域的翻译词典中的词对作为短语对添加到翻译短语表中时， 如果翻译短语表中尚未包含被添力。的词对时， 则将被添力。的词对添加到 翻译短语表中， 且被添加的词对在翻译短语表中的翻译分值 ^^ce)可以 按照公式 （3 ) 进行计算； 如果翻译短语表中已经包含被添加的词对时， 则无需执行添加处理。
SPT (ce) = Sdict (ce) x rate ( 3 ) 其中， Sdict (ce)为被添加的词对 在翻译词典中的翻译分值， rate为从 翻译词典到翻译短语表的翻译分值比， rate , 其中， 为同时出现
Figure imgf000018_0001
在翻译词典和翻译短语表中的词对％在翻译词典中的翻译分值， 为词 对 在翻译短语表中的翻译分值， "为同时出现在翻译词典和翻译短语 表中的词对个数。
第二种整合策略：将专业领域的翻译词典添加到双语平行语料库中， 然后统一进行词对齐和短语抽取得到翻译短语表。
双语平行语料库中包含的是句对， 翻译词典中包含的是词对， 将翻 译词典中的词对作为句对添加到双语平行语料库中； 然后将双语平行语 料库中的句对以词为单位进行对齐， 即将句对中两个句子中表达同一含 义的词语对齐； 对双语平行语料库中的句对进行短语对的抽取， 基于对 抽取的短语对的统计结果计算各短语对的翻译分值， 将抽取的短语对以 及短语对的翻译分值构成翻译短语表。
由于翻译分值是基于短语对的统计结果的， 专业领域的翻译词典中 词对出现的概率较低， 可能会造成计算的翻译分值较低， 为了加大专业 领域的翻译词典中词对的翻译分值， 可以在将翻译词典中的词对添加到 双语平行语料库中时， 可以将翻译词典中的词对复制 N份后， 再添加到 双语平行语料库中， 其中 N为预设的正整数。
步骤 103: 对第二语言的通用语料资源库 Cor(F)中的各资源进行特 征抽取， 获取各资源的特征向量 FeaVec_ d,。
同样， 对 Cor(F)各资源的特征向量的抽取方式与步骤 102中描述的 特征抽取方式相同， 即针对每一个资源 4 , 抽取特征词， 按照公式 （4 ) 计算特征值的权重值，按照权重值对各特征词进行排序， 选择排在前 N3 个的 征词构成该资源 的特征向量 FeaVec_ ， N3为预设的正整数。
W{e) = tf{e, dl )x log ^f- freqd、e) , ( 4 ) 其中， W ^；)为特征词 e的权重值， tf (e, d, )为特征词 e在 中出现的频 次， / ^ W为特征词 e的绝对词频， 从第二语言的通用语料资源库中统 计得到。 Freqd为所有特征词的绝对词频的最大值。
步骤 104: 从第二语言的通用语料资源库 Cor(F)中筛选出特征向量 FeaVec_ .与第二语言特征向量 FeaVec_F之间相似度超过设定阈值 T的 资源 SetD(F)。
本步骤实际是从第二语言的通用语料资源库 Cor(F)中筛选出属于目 标领域 D的资源 SetD(F)作为添加入搜索资源库 RDB(C)的候选资源。在 计算相似度时可以采用通用的余弦相似度的计算方式。
步骤 105: 基于目标领域 D的资源挖掘模板， 从 SetD(F)中挖掘出资 源 RscD(F)。
由于在筛选出的资源 SetD(F)中， 可能会包含多种类型的信息， 较优 地， 可以对其中不同类型的信息进行 选和整理， 从而形成更有序更易 查询的资源。 例如， 在天气领域的资源中， 各页面中可能会包含一些对 搜索无用的广告信息、 版权信息、 导航信息等， 可以对这些信息进行过 滤； 各页面中天气领域相关的信息可能会包含： 地理信息、 温度信息、 湿度信息、 风力信息、 雨雪信息、 时间信息等， 可以对网页中的这些信 息基于预设的资源挖掘模板进行筛选和整理， 最终形成资源 RscD(F)。
该资源挖掘模板可以采用人工的方式或者数据挖掘的方式配置。 基 于目标领域 D的资源挖掘模板包含实例集合 { kl ,k2, ... ,kn } , 各实例可以 包含： 信息类型、 信息表达式中的一种或组合。 例如， 天气领域可以采 用的资源挖掘模板包括： "地点信息 +时间信息 +温度信息" 、 "地点信 息 +时间信息 +风力信息" 、 "地点信息 +时间信息 +雨雪信息" 、 "地点 信息 +时间信息 +湿度信息" 、 "地点信息 +时间信息 +温度信息 +风力信 息 +湿度信息 +雨雪信息" 等实例。
本步骤实际就是按照资源挖掘模板中的实例从 SetD(F)中抽取资源 形成 RscD(F), 例如，假设天气领域的资源挖掘模板中包含的实例为 "地 点信息 +时间信息 +温度信息" 以及 "地点信息 +时间信息 +风力信息" ， 则 SetD(F)的网页中抽取符合该实例格式的信息形成 RscD(F)。
本步骤主要用于搜索资源库 RDB(C)是结构化数据库时使用，如果搜 索资源库 RDB(C)是非结构化数据库， 则也可以不执行本步骤， 将步骤 104筛选出的资源 SetD(F)直接添加入目标领域 D对应的搜索资源库 RDB(C), 或者， 将步骤 104筛选出的资源 SetD(F)经过步骤 106翻译为 第一语言的资源后添加入目标领域 D对应的搜索资源库 RDB(C)。
步骤 106: 结合从第二语言到第一语言的机器翻译技术， 将挖掘出 的资源 RscD(F)翻译为第一语言的资源 Rsc(C)。
本步骤中涉及的翻译与步骤 102涉及的翻译原理基本相同， 将第二 语言的资源 RscD(F)翻译为第一语言的资源 Rsc(C)时， 同样会涉及专业 领域的知识或服务， 也会涉及专业领域的翻译词典。
专业领域的翻译词典可以从该专业领域的翻译目标语言 （本步骤中 的翻译目标语言为第一语言）的已有资源中抽取相关术语构成术语词典， 然后基于数据挖掘的方法或者人工的方法对术语词典中的每个术语进行 翻译， 从而得到专业领域的翻译词典。
在获取到专业领域的翻译词典后， 需要将专业领域的翻译词典与已 有的翻译模型进行整合， 采用整合后得到的翻译模型将第二语言的资源
RscD(F)翻译为第一语言的资源 Rsc(C)。其中， 已有的翻译模型实际上是 由翻译短语表构成的。 其中翻译短语表包括： 第一语言短语和对应第二 语言短语构成的短语对， 以及短语对的翻译分值。
具体将专业领域的翻译词典与已有的翻译模型进行整合时， 可以采 用以下整合策略：
第一种整合策略：直接将专业领域的翻译词典添加到翻译短语表中。 在将专业领域的翻译词典中的词对作为短语对添加到翻译短语表中时， 如果翻译短语表中尚未包含被添力。的词对时， 则将被添力。的词对添加到 翻译短语表中且被添加的词对在翻译短语表中的翻译分值 SPT (ce)可以按 照公式（3 )进行计算； 如果翻译短语表中已经包含被添加的词对时， 则 无需进行添加处理。
SPT (ce) = Sdict (ce) x rate ( 3 ) 其中， Sdict (ce)为被添加的词对 在翻译词典中的翻译分值， ate为从 翻译词典到翻译短语表的翻译分值比， rate = , 其中， 为同时出现 在翻译词典和翻译短语表中的词对％在翻译词典中的翻译分值， 为词 对 cet在翻译短语表中的翻译分值， "为同时出现在翻译词典和翻译短语 表中的词对个数。
第二种整合策略：将专业领域的翻译词典添加到双语平行语料库中， 然后统一进行词对齐和短语抽取得到翻译短语表。
双语平行语料库中包含的是句对， 翻译词典中包含的是词对， 将翻 译词典中的词对作为句对添加到双语平行语料库中； 然后将双语平行语 料库中的句对以词为单位进行对齐， 即将句对中两个句子中表达同一含 义的词语对齐； 对双语平行语料库中的句对进行短语对的抽取， 基于对 抽取的短语对的统计结果计算各短语对的翻译分值， 将抽取的短语对以 及短语对的翻译分值构成翻译短语表。
由于翻译分值是基于短语对的统计结果的， 专业领域的翻译词典中 词对出现的概率较低， 可能会造成计算的翻译分值较低， 为了加大专业 领域的翻译词典中词对的翻译分值， 可以在将翻译词典中的词对添加到 双语平行语料库中时， 可以将翻译词典中的词对复制 N份后， 再添加到 双语平行语料库中， 其中 N为预设的正整数。
另外， 除了专业领域的词汇之外， 专业领域的知识和服务往往在表 达形式上也有特定模式。 例如， 天气领域的表达形式通常是固定的， 各 种语言的资源所提供的天气信息在表达形式上是大同小异的。 因此， 可 以预先挖掘出各领域的翻译表达模板， 按照该翻译表达模板进行翻译。 另外， 需要说明的是， 在步骤 102中第一种方式所述的将 Set(C)翻译成 第二语言资源 Set(F)时， 也可以基于预设的目标领域 D的翻译表达模板 执行。
翻译表达模板中可以包含一个以上实例构成的实例集合
{hl,h2, ... ,hm} , 其中每个实例都包含第一语言和第二语言的表达式对。 例如，对于天气领域的一个实例可以为包含如下两个表达式的表达式对： 地点信息 +雨雪信息 + "温度是" +最低温度 + "至" +最高温度， 地点信 息 + "is" +雨雪信息 + "with the temperature from" +最低温度 + "to" + 最高温度。
本步骤中可以利用目标领域 D的翻译表达模板将挖掘出的资源 RscD(F)翻译为第一语言的资源 Rsc(C)。举个例子，假设第二语言的资源 "Shanghai is rainy with temperature from -1。C to 10。C " , 按照天气领域 的翻译表达模板中的实例， 可以将其翻译为 "上海阴雨温度是 -rc至 10°C " 。
其中， 目标领域 D的翻译表达模板可以采用人工的方式或者数据挖 掘的方式配置。 其中数据挖掘方式可以包括： 预先对目标领域中翻译目 标语言 （本步骤中为第一语言） 的已有资源进行文本分析后， 抽取出其 中的高频表达式， 然后将该高频表达式翻译为对应的翻译源语言 （本步 骤中为第二语言）表达式， 将第一语言表达式和第二语言表达式构成的 表达式对作为翻译表达模板的一个实例。
步骤 107:将 Rsc(C)添加入目标领域 D对应的搜索资源库 RDB(C), 其中， RDB(C)中包含目标领域 D的第一语言的已有资源。
通过上述流程可以将目标领域 D中第二语言的资源以第一语言的形 式添加入搜索资料库 RDB(C)中， 按照同样的方式可以将其他语言， 诸 如第三语言、 第四语言等资源以第一语言的形式添加入 RDB(C)中。 例 如，可以采用上述方式将建筑领域中英文的相关资源、日文的相关资源、 法文的相关资源等都添加到中文的搜索资料库 RDB (C)中。
需要说明的是， 上述步骤 106是可选步骤， 目的是为了更加方便使 用第一语言的用户， 即使用搜索资源库 RDB(C)进行搜索后返回的搜索 结果均使用第一语言。 也可以不执行本步骤 106, 直接执行步骤 107, 即 直接将第二语言的资源 RscD(F)直接添加入目标领域 D对应的搜索资源 库 RDB(C) , 这样在返回给用户的搜索结果中就可能包含第二语言的资 源。 实施例一中所述的流程实际上是搜索系统中后台执行的操作， 在此 对实施例一的流程举一个实例筒单说明。 假设目标领域 D为天气领域， 原来搜索资料库 RDB(C)中都是来源于中文网站的资源， 希望将来源于 英文的、 法文的以及日文的网站资源也添加到 RDB(C)中。
在此， 仅以英文为例， 其他语言的执行过程类似：
将天气领域已有的中文网页集 Set(C)翻译成英文后， 形成英文网页 集 Set(F); 然后对英文网页集 Set(F)进行特征抽取后，得到天气领域对应 的英文特征向量 FeaVec_F。 例如该特征向量 FeaVec_F中可能包含有一 系列特征词：
{ weather,temperature,rainy,cloudy,misty,drought,storm,snowy,storm, ... }。
对英文的通用语料资源库 Cor(F)中的各资源进行特征抽取， 获取各 资源的特征向量 FeaVec_ d, , 计算各资源的特征向量 FeaVec_ d,与
FeaVec_F之间的相关度，从 Cor(F)中筛选出相关度超过设定阈值的资源 SetD(F)。 即通过相似度计算的方式从所有英文的语料资源库 Cor(F)中筛 选出天气领域的资源 SetD(F)。
如果预先定义有天气领域的资源挖掘模板， 可以利用资源挖掘模板 从筛选出的英文资源 SetD(F)中进一步筛选和整理出不同类型的信息，例 如具体的地理信息、 温度信息、 湿度信息、 风力信息等， 最终形成天气 领域的英文资源 RscD(F)。
为了方便中文用户的浏览需要， 可以将 RscD(F)翻译为中文， 形成 中文资源 Rsc(C) , 将 Rsc(C)添加入天气领域的中文搜索资源库 RDB(C) 中。 这样， 就实现了跨语言的资源获取， 使 RDB(C)中包含了天气领域 的来源于英文网站的资源。 针对天气领域的 query, 采用 RDB(C)进行的 搜索返回的搜索结果就包含有来源于英文网站的资源。 曰文网站的资源等， 从而为用户返回更多更优质的搜索结果。
至此实施例一所示流程结束。
实施例二、
图 2为本发明实施例二提供的搜索方法流程图， 该搜索方法基于通 过实施例一所述方法获取的搜索资源。 如图 2所示， 该方法可以包括以 下步骤：
步骤 201 : 接收来自用户的 query。
步骤 202: 对 query进行需求识别， 识别出 query所属的领域。
步骤 203: 在所识别出领域对应的搜索资源库中进行搜索。
殳设识别出 query所属的领域为实施例一中所述的目标领域 D, 则 在该目标领域 D对应的搜索资源库 RDB(C)中进行搜索。由于该 RDB(C) 中包含了跨语言获取的多种语言的搜索资源， 因此， 能够为用户提供更 多且更丰富的资源。
例如， 通过实施例一方式跨语言获取到了旅游领域的来自法文网站 的资源， 也就是说搜索资源库 RDB(C)中包含了旅游领域的来自法文网 站的资源， 当用户输入 "巴黎 H 的 query时， 识别出该 query所属 领域为旅游领域， 因此， 在返回给用户的搜索结果中就包含有来自法文 网站的资源， 该资源相对于中文网站的资源来说， 可能更加优质。
步骤 204: 将搜索结果返回给用户。
在向用户返回搜索结果时， 可能会存在这样的问题： 不同来源的资 源在提供同一类型信息时， 同一类型信息的内容发生沖突， 例如， 对于 "纽约 天气" 这一 query, 在获取的搜索结果中， 可能包含来自中国、 美国和英国的天气预报网站上的资源， 但三个网站的资源中提供的温度 信息可能并不相同。 这就需要从中甄选出置信度最高的资源， 仅将内容 发生沖突的资源中置信度最高的资源包含在搜索结果中， 或者按照置信 度从高到低在搜索结果中对内容发生沖突的资源进行排序。
在确定各资源的置信度时， 可以参考以下所列置信度类型中的一种 或任意组合：
1 )来源网站置信度， 例如中央气象台的天气预报结果置信度高于某 不知名网站。
2 )来源语种置信度， 来源语种置信度可以依据资源来源的语种与用 户 query所映射的语种之间的关系来确定。例如对于 "日本 天气"的 query 而言， 该 query所映射的语种为日文， 为了反映日文网站提供的资源更 准确， 可以将来源于日文的资源的来源语种置信度设置的较高， 将来源 于其他资源的来源语种置信度设置的较低。
本发明实施例中， 可以预先对各语种的已有资源进行挖掘， 训练出 各语种的特征向量； 用户输入 query后， 提取该 query的特征， 将提取 的特征与各语种的特征向量进行相似度计算， 确定相似度超过预设的相 似度阈值的语种为该 query所映射的语种。
例如， 对日文对应的已有资源进行挖掘， 训练出特征向量包括： 东 京、 日本、 相朴、 和服、 小泉、 樱花……。
当用户输入的源语言 query为 "日本 天气" ， 则提取该 query的特 征并与各语言的特征向量进行相似度计算， 确定与日文的特征向量之间 的相似度超过预设的相似度阈值，则确定该 query所映射的语种为日文。 如果基于天气领域对该 query进行搜索后， 在该 query的搜^结果中， 某个资源的来源语种为日文，则设置该资源具有较高的来源语种置信度。
3 )翻译置信度， 这是从可读性来考虑的， 翻译置信度低意味着资源 的可读性不好， 质量较低。 其中， 翻译置信度可以由资源在翻译模型中 对应的翻译分值和语言模型中对应的分值确定。 其中， 资源在翻译模型 中对应的翻译分值可以由该资源所使用的各短语对在翻译模型中的翻译 分值共同确定， 例如， 某个资源使用了翻译模型中的多个短语对， 则该 资源在翻译模型中对应的翻译分值可以该资源所使用的各短语对在翻译 模型中的翻译分值的平均值。 语言模型中的分值是由各词语之间的搭配 状况统计得到的， 资源在语言模型中对应的分值也可以由该资源所使用 的各词语搭配在语言模型中的分值共同确定。
综合考虑多种置信度类型时， 可以将提供同一类型信息的资源按照 如下公式的方式进行打分， 按照打分的状况从中仅选择打分分值最高的 资源包含在搜索结果中， 或者， 也可以将提供统一类型信息的资源都包 含在搜索结果中但按照打分分值对各资源进行排序。
M
score(r ) = A.h . (r. )
( 6 ) 其中， ^ori^)为资源 ^的打分分值， 即置信度， Μ为考虑的置信度 类型数目， 为资源 在第 ·种置信度类型的置信度。 ^为预设的各种 置信度类型的权重参数。
以上是对本发明所提供的方法进行的描述， 下面通过实施例三和实 施例四分别对本发明所提供的跨语言获取搜索资源的装置和搜索装置进 行详细描述。
实施例三、 图 3为本发明实施例三提供的跨语言获取搜索资源的装置结构图， 如图 3所示， 该装置可以包括： 领域确定单元 300、 目标特征确定单元 310、 特征抽取单元 320、 资源 选单元 330和资源添加单元 340。
领域确定单元 300 , 用于确定目标领域 D。
目标特征确定单元 310 ,用于利用目标领域 D的已有语言资源 Set(C) , 结合特征抽取技术以及从第一语言到第二语言的机器翻译技术， 确定目 标领域 D的第二语言特征向量 FeaVec_F。
特征抽取单元 320 , 用于将第二语言的通用语料资源库 Cor(F)中的 各资源作为被抽取资源进行特征抽取，得到各资源的特征向量 FeaVec_ d'。
资源筛选单元 330 , 用于从 Cor(F)中筛选出特征向量 FeaVec_ 与
FeaVec_F之间相似度超过预设阈值 T的资源 SetD(F)。
资源添加单元 340,用于将 SetD(F)添加入目标领域 D的搜索资源库
RDB(C)。
其中， 目标特征确定单元 310可以存在两种结构：
第一种结构如图 4中的 （a )所示， 可以具体包括： 第一翻译子单元 401和第一特征获取子单元 402。
第一翻译子单元 401 , 用于利用从第一语言到第二语言的机器翻译 技术， 将目标领域 D的已有第一语言资源 Set(C)翻译成第二语言资源 Set(F) , 将 Set(F)发送给特征抽取单元 320。
特征抽取单元 320 , 用于将 Set(F)作为被抽取资源进行特征抽取， 得 到目标领域 D的第二语言特征向量 FeaVec_F。
第一特征获取子单元 402,用于从特征抽取单元 320获取目标领域 D 的第二语言特征向量 FeaVec_F。 也就是说，第一种结构先将将目标领域 D的已有第一语言资源 Set(C) 翻译成第二语言资源 Set(F), 然后再对 Set(F) 进行特征抽取， 得到目标 领域 D的第二语言特征向量 FeaVec_F。 第二种结构如图 4中的（b )所示， 目标特征确定单元 310可以具体 包括： 第二特征获取子单元 411和第二翻译子单元 412。 第二特征获取子单元 411 , 用于将 Set(C)发送给特征抽取单元 320 , 从特征抽取单元 320获取目标领域 D的第一语言特征向量 FeaVec_C, 并提供给第二翻译子单元 412。 特征抽取单元 320 ,用于将 Set(C)作为被抽取资源进行特征抽取，得 到目标领域 D的第一语言特征向量 FeaVec_C。 第二翻译子单元 412 , 用于利用从第一语言到第二语言的机器翻译 技术， 将 FeaVec_C翻译成目标领域 D的第二语言特征向量 FeaVec_F。 也就是说， 第二种结构先对 Set(C)进行特征抽取， 得到目标领域 D 的第一语言特征向量 FeaVec_C, 再将 FeaVec_C翻译为第二语言特征向 量 FeaVec_F„
上述的特征抽取单元 320可以具体包括： 分词处理子单元 321、 过 滤处理子单元 322、 权重计算子单元 323以及向量形成子单元 324。 分词处理子单元 321 ,用于对被抽取资源进行基于文本的分词处理。 过滤处理子单元 322 , 用于利用预设的停用词表对分词处理后得到 的词语进行过滤后得到被抽取资源的特征词。
权重计算子单元 323 , 用于按照 wW
Figure imgf000029_0001
, 计算各特 freq (e) 征词的权重值， 其中， 为特征词 e的权重值， / (e，Set)为特征词 e在被 抽取资源中出现的频次； freq (e)为特征词 e的绝对词频，从被抽取资源所 对应语种的通用语料资源库中统计得到； Freq为所有特征词的绝对词频 的最大值。
向量形成子单元 324, 用于按照各特征词的权重值进行排序， 选择 排在前 N1个的特征词组成目标领域 D的特征向量，ΝΙ为预设的正整数。
其中， 当被抽取资源为 Set(F)时， 被抽取资源所对应语种为第二语 言， 向量形成子单元 324形成的特征向量为 FeaVec_F。
当被抽取资源为 Set(C)时， 被抽取资源所对应语种为第一语言， 向 量形成子单元 324形成的特征向量为 FeaVec_C。
当被抽取资源为 Cor(F)中的各资源时， 被抽取资源所对应语种为第 二语言， 向量形成子单元 324形成的特征向量为 Cor(F)中各资源的特征 向量 FeaVec— di。
另外， 上述资源添加单元 340可以包括： 资源挖掘子单元 341和资 源添加子单元 342。
资源挖掘子单元 341 ,用于基于预设的目标领域 D的资源挖掘模板， 从 SetD(F)中挖掘出资源 RscD(F), 并将 RscD(F)发送给资源添加子单元 342。
资源添加子单元 342, 用于将接收到的资源添加入目标领域 D的搜 索资源库 RDB(C)。
其中， 资源挖掘模板可以包括一个以上实例构成的实例集合， 实例 包含信息类型和信息表达式中的一种或组合。
基于上述结构，资源添加单元 340还可以包括：第三翻译子单元 343 , 用于获取资源挖掘子单元 341发送给资源添加子单元 342的 RscD(F), 结合从第二语言到第一语言的机器翻译技术， 将 RscD(F)翻译为第一语 言的资源 Rsc(C), 并将 Rsc(C)发送给资源添加子单元 342。
或者， 资源添加单元还可以采用另一种结构 （该结构在图 3中未示 出） ， 包括： 第四翻译子单元和资源添加子单元。
第四翻译子单元，用于结合从第二语言到第一语言的机器翻译技术， 将 SetD(F)翻译为第一语言的资源 SetD(C), 并将 SetD(C)发送给资源添 力口子单元；
资源添加子单元， 用于将接收到的资源添加入目标领域 D的搜索资 源库 RDB(C)。
其中， 上述第一翻译子单元 401、 第二翻译子单元 412、 第三翻译子 单元 343和第四翻译子单元在进行翻译所使用的翻译模型由翻译短语表 构成， 该翻译短语表包括： 第一语言短语和对应第二语言短语构成的短 语对， 以及， 短语对的翻译分值。 其中， 翻译短语表中整合有目标领域 的翻译词典。
由于在专业领域中， 往往会涉及专业领域的知识和服务， 因此在进 行翻译时， 也会涉及专业领域的词汇翻译， 为了达到更好的翻译效果， 如上所述会将目标领域的翻译词典整合到翻译短语表中。 在进行整合时 可以采用实施例一中所述的两种整合方式， 相应地， 装置可以采用以下 两种整合单元， 即：
该装置还可以包括： 第一翻译模型整合单元 350, 用于将目标领域 的翻译词典中的词对作为短语对逐一添加到翻译短语表中。
其中， 如果翻译短语表中尚未包含被添加的词对， 则将被添加的词 对添加到翻译短语表中， 且被添加词对在翻译短语表中的翻译分值 按照 ^^(ce Uci x rafe进行计算； 如果翻译短语表中已经包含被 添加的词对， 则无需进行添加处理。
Sdict (ce)为被添加的词对 在翻译词典中的翻译分值， rate为从翻译词 典到翻译短语表的翻译分值比， rate = , 其中， 为同时出现在翻译 词典和翻译短语表中的词对 在翻译词典中的翻译分值， ^为词对 在 翻译短语表中的翻译分值， "为同时出现在翻译词典和翻译短语表中的 词对个数。
或者， 采用第二翻译模型整合单元 （图 3中未示出） ， 用于将目标 领域的翻译词典中的词对添加到双语平行语料库中， 将双语平行语料库 中的句对以词语为单位对齐； 对双语平行语料库中的句对进行短语对的 抽取， 基于对抽取的短语对的统计结果计算各短语对的翻译分值； 将抽 取的短语对以及短语对的翻译分值构成翻译短语表。
由于翻译分值是基于短语对的统计结果的， 专业领域的翻译词典中 词对出现的概率较低， 可能会造成计算的翻译分值较低， 为了加大专业 领域的翻译词典中词对的翻译分值， 第二翻译模型整合单元可以将翻译 词典中的词对复制 N份后， 再添加到双语平行语料库中， 其中 N为预设 的正整数。
另外， 除了专业领域的词汇之外， 专业领域的知识和服务往往在表 达形式上也有特定模式， 为了使翻译结果能符合特定模式的习惯， 上述 第一翻译子单元 401、 第三翻译子单元 343和第四翻译子单元进行的翻 译基于预设的目标领域 D的翻译表达模板执行。其中目标领域 D的翻译 表达式模板中包括： 一个以上实例构成的实例集合； 各实例可以为： 由 第一语言表达式和对应第二语言表达式构成的表达式对。
实施例四、
图 5为本发明实施例四提供的搜索装置结构图， 该装置属于搜索系 统前台的装置， 其对应的后台使用实施例三中所述的装置来获取搜索所 使用的搜索资源。 如图 5所示， 该搜索装置可以包括： 用户侧交互单元 500、 领域识别单元 510和搜索处理单元 520。
用户侧交互单元 500 , 用于接收来自用户的 query, 将搜索处理单元 520的搜索结果返回给用户。
领域识别单元 510 , 用于对 query进行需求识别， 识别出 query所属 的领域。
搜索处理单元 520 , 用于在领域识别单元 510所识别出领域对应的 搜索资源库中进行搜索。
其中， 搜索资源库是实施例三所示的装置获取的。
为了解决在搜索结果中， 不同来源的资源在提供同一类型信息时， 同一类型信息的内容可能发生沖突的问题， 该搜索装置还可以包括： 沖 突处理单元 530, 用于在搜索结果中如果不同来源的资源所提供同一类 型信息的内容发生沖突， 则从内容发生沖突的资源中选择置信度最高的 资源包含在搜索结果中， 或者， 按照置信度从高到低在搜索结果中对内 容发生沖突的资源进行排序。
该搜索装置还包括： 资源置信度确定单元 540, 用于根据以下所列 置信度类型中的一种或任意组合确定资源的置信度： 资源的来源网站置 信度、 资源的来源语种置信度以及资源的翻译置信度。
其中， 资源置信度确定单元 540可以按照如下公式确定资源的置信 度：
M
scored ) = ^ ihj rt ) 其中， ^ori^)为资源 的置信度， Μ为置信度类型数目， ）为资 源 在第 种置信度类型的置信度， 为预设的各种置信度类型的权重参 数。
在确定资源的来源语种置信度时， 资源置信度确定单元 540可以依 据资源来源的语种与 query所映射的语种之间的关系确定资源的来源语 种置信度， 具体为： 设置来源于 query所映射语种的资源的来源语种置 信度高于来源于其他语种的资源的来源语种置信度。
此时， 该搜索装置还可以包括： 映射语种确定单元 550 , 用于提取 query的特征，将 query的特征与预先训练出的各语种的特征向量进行相 似度计算， 确定相似度超过预设的相似度阈值的语种为 query所映射的 语种。
在确定资源的翻译置信度时， 资源置信度确定单元 540可以利用在 获取资源时使用的翻译模型中资源对应的翻译分值以及资源在语言模型 中对应的分值， 确定资源的翻译置信度。
其中， 资源在翻译模型中对应的翻译分值可以由该资源所使用的各 短语对在翻译模型中的翻译分值共同确定。 资源在语言模型中对应的分 值可以由该资源所使用的各词语搭配在语言模型中的分值共同确定。
以上所述仅为本发明的较佳实施例而已， 并不用以限制本发明， 凡 在本发明的精神和原则之内， 所做的任何修改、 等同替换、 改进等， 均 应包含在本发明保护的范围之内。

Claims

权 利 要 求 书
1、 一种跨语言获取搜索资源的方法， 其特征在于， 该方法包括：
A、 确定目标领域 D;
B、 利用目标领域 D的已有第一语言资源 Set(C), 结合特征抽取技 术以及从第一语言到第二语言的机器翻译技术， 确定目标领域 D的第二 语言特征向量 FeaVec_F;
C、对第二语言的通用语料资源库 Cor(F)中的各资源进行特征抽取， 得到各资源的特征向量 FeaVec_ ；
D、 从所述 Cor(F)中筛选出特征向量 FeaVec_ 与所述 FeaVec_F之 间相似度超过预设阈值 T的资源 SetD(F);
E、 将所述 SetD(F)添加入所述目标领域 D的搜索资源库 RDB(C)。
2、 根据权利要求 1所述的方法， 其特征在于， 所述步骤 B具体包 括： 利用从第一语言到第二语言的机器翻译技术， 将所述目标领域 D的 已有第一语言资源 Set(C)翻译成第二语言资源 Set(F),对所述 Set(F)进行 特征抽取，得到所述目标领域 D的第二语言特征向量 FeaVec_F; 或者， 对所述目标领域 D的已有第一语言资源 Set(C)进行特征抽取， 得到 所述目标领域 D的第一语言特征向量 FeaVec_C, 利用从第一语言到第 二语言的机器翻译技术， 将所述 FeaVec_C翻译成所述目标领域 D的第 二语言特征向量 FeaVec_F。
3、 根据权利要求 1或 2所述的方法， 其特征在于， 所述特征抽取具 体包括：
Sl、 对被抽取资源进行基于文本的分词处理， 利用预设的停用词表 对分词处理后得到的词语进行过滤后得到所述被抽取资源的特征词； 52、 W(e) = ( (e,Set)x log -^ , 计算各特征词的权重值；
freq[e)
53、 按照各特征词的权重值进行排序， 选择排在前 N1个的特征词 组成目标领域 D的特征向量， N1为预设的正整数；
其中， 为特征词 e的权重值， /(e,Set)为特征词 6在所述被抽取资 源中出现的频次； /r^(e)为特征词 e的绝对词频， 从所述被抽取资源所对 应语种的通用语料资源库中统计得到； Freq为所有特征词的绝对词频的 最大值；
当所述被抽取资源为所述 Set(F)时， 所述被抽取资源所对应语种为 所述第二语言， 所述步骤 S3得到的特征向量为所述 FeaVec_F;
当所述被抽取资源为所述 Set(C)时， 所述被抽取资源所对应语种为 所述第一语言， 所述步骤 S3得到的特征向量为所述 FeaVec_C;
当所述被抽取资源为所述 Cor(F)中的各资源时， 所述被抽取资源所 对应语种为所述第二语言， 所述步骤 S3得到的特征向量为所述 Cor(F) 中各资源的特征向量 FeaVec_ d{。
4、 根据权利要求 1所述的方法， 其特征在于， 所述步骤 E具体包 括：
El l、 基于预设的目标领域 D的资源挖掘模板， 从所述 SetD(F)中挖 掘出资源 RscD(F);
E12、 结合从第二语言到第一语言的机器翻译技术， 将所述 RscD(F) 翻译为第一语言的资源 Rsc(C), 将所述 Rsc(C) 添加入所述目标领域 D 的搜索资源库 RDB(C);
其中， 所述资源挖掘模板包括一个以上实例构成的实例集合， 所述 实例包含信息类型和信息表达式中的一种或组合； 或者， 所述步骤 E具体包括：
E21、 结合从第二语言到第一语言的机器翻译技术， 将所述 SetD(F) 翻译为第一语言的资源 SetD(C);
E22、将所述 SetD(C) 添加入所述目标领域 D的搜索资源库 RDB(C)。
5、 根据权利要求 2或 4所述的方法， 其特征在于， 所述翻译所使用 的翻译模型由翻译短语表构成， 该翻译短语表包括： 第一语言短语和对 应第二语言短语构成的短语对， 以及， 短语对的翻译分值；
所述翻译短语表中整合有所述目标领域的翻译词典。
6、 根据权利要求 5所述的方法， 其特征在于， 将所述目标领域的翻 译词典整合到所述翻译短语表中包括：
将所述目标领域的翻译词典中的词对作为短语对逐一添加到所述翻 译短语表中； 其中，
如果所述翻译短语表中尚未包含被添加的词对， 则将所述被添加的 词对添加到所述翻译短语表中， 且所述被添加的词对在所述翻译短语表 中的翻译分值 SPT (ce)为： SPT (ce) = Sdict (ce) x rate； 如果所述翻译短语表中已 经包含所述被添加的词对， 则不做添加处理；
所述 Sdict (ce)为所述被添加的词对 ce在所述翻译词典中的翻译分值， rate为从所述翻译词典到所述翻译短语表的翻译分值比， mte = j^， 其
∑",·
!=1 中， α;为同时出现在所述翻译词典和所述翻译短语表中的词对％在所述 翻译词典中的翻译分值， b;为所述词对 在所述翻译短语表中的翻译分 值， "为同时出现在所述翻译词典和所述翻译短语表中的词对个数。
7、 根据权利要求 5所述的方法， 其特征在于， 将所述目标领域的翻 译词典整合到所述翻译短语表中包括：
将所述目标领域的翻译词典中的词对添加到双语平行语料库中； 将所述双语平行语料库中的句对以词语为单位对齐；
对所述双语平行语料库中的句对进行短语对的抽取， 基于对抽取的 短语对的统计结果计算各短语对的翻译分值；
将抽取的短语对以及短语对的翻译分值构成所述翻译短语表。
8、 根据权利要求 2或 4所述的方法， 其特征在于， 所述翻译基于预 设的所述目标领域 D的翻译表达模板执行；
其中所述目标领域 D的翻译表达式模板中包括： 一个以上实例构成 的实例集合；
所述实例为： 由第一语言表达式和对应第二语言表达式构成的表达 式对。
9、 一种基于跨语言获取的搜索资源的搜索方法， 其特征在于， 该方 法包括：
A、 接收来自用户的搜索请求 query;
B、 对所述 query进行需求识别， 识别出所述 query所属的领域；
C、 在所识别出领域对应的搜索资源库中进行搜索；
D、 将搜索结果返回给所述用户；
其中， 所述搜索资源库是采用权利要求 1所述方法获取的。
10、 根据权利要求 9所述的方法， 其特征在于， 在所述搜索结果中 如果不同来源的资源所提供同一类型信息的内容发生沖突， 则从内容发 生沖突的资源中选择置信度最高的资源包含在所述搜索结果中， 或者， 按照置信度从高到低在搜索结果中对内容发生沖突的资源进行排序； 其中， 资源的置信度由以下所列置信度类型中的一种或任意组合确 定： 资源的来源网站置信度、 资源的来源语种置信度以及资源的翻译置 信度。
11、 根据权利要求 10所述的方法， 其特征在于， 资源的来源语种置 信度依据资源来源的语种与所述 query所映射的语种之间的关系确定， 具体为： 设置来源于所述 query所映射语种的资源的来源语种置信度高 于来源于其他语种的资源的来源语种置信度；
其中， 所述 query所映射语种的确定方法为：
提取所述 query的特征， 将所述 query的特征与预先训练出的各语 种的特征向量进行相似度计算， 确定相似度超过预设的相似度阈值的语 种为所述 query所映射的语种。
12、 根据权利要求 10所述的方法， 其特征在于， 所述资源的翻译置 信度由在获取所述资源时使用的翻译模型中所述资源对应的翻译分值以 及所述资源在语言模型中对应的分值确定。
13、 一种跨语言获取搜索资源的装置， 其特征在于， 该装置包括： 领域确定单元、 目标特征确定单元、 特征抽取单元、 资源 选单元和资 源添力口单元；
所述领域确定单元， 用于确定目标领域 D;
所述目标特征确定单元， 用于利用目标领域 D的已有第一语言资源 Set(C) , 结合特征抽取技术以及从第一语言到第二语言的机器翻译技术， 确定目标领域 D的第二语言特征向量 FeaVec_F;
所述特征抽取单元， 用于将第二语言的通用语料资源库 Cor(F)中的 各资源作为被抽取资源进行特征抽取，得到各资源的特征向量 FeaVec_ dt； 所述资源筛选单元，用于从所述 Cor(F)中筛选出特征向量 FeaVec_ 与所述 FeaVec_F之间相似度超过预设阈值 T的资源 SetD(F);
所述资源添加单元， 用于将所述 SetD(F)添加入所述目标领域 D的 搜索资源库 RDB(C)。
14、 根据权利要求 13所述的装置， 其特征在于， 所述目标特征确定 单元具体包括： 第一翻译子单元和第一特征获取子单元；
所述第一翻译子单元， 用于利用从第一语言到第二语言的机器翻译 技术， 将所述目标领域 D的已有第一语言资源 Set(C)翻译成第二语言资 源 Set(F), 将所述 Set(F)发送给所述特征抽取单元；
所述特征抽取单元， 用于将所述 Set(F)作为被抽取资源进行特征抽 取， 得到所述目标领域 D的第二语言特征向量 FeaVec_F;
所述第一特征获取子单元， 用于从所述特征抽取单元获取所述目标 领域 D的第二语言特征向量 FeaVec_F; 或者，
所述目标特征确定单元具体包括： 第二特征获取子单元和第二翻译 子单元；
所述第二特征获取子单元， 用于将所述 Set(C)发送给所述特征抽取 单元， 从所述特征抽取单元获取所述目标领域 D的第一语言特征向量 FeaVec_C, 并提供给所述第二翻译子单元；
所述特征抽取单元， 用于将所述 Set(C)作为被抽取资源进行特征抽 取， 得到所述目标领域 D的第一语言特征向量 FeaVec_C;
所述第二翻译子单元， 用于利用从第一语言到第二语言的机器翻译 技术， 将所述 FeaVec_C翻译成所述目标领域 D的第二语言特征向量 FeaVec_F„
15、 根据权利要求 13或 14所述的装置， 其特征在于， 所述特征抽 取单元具体包括：
分词处理子单元， 用于对被抽取资源进行基于文本的分词处理； 过滤处理子单元， 用于利用预设的停用词表对分词处理后得到的词 语进行过滤后得到所述被抽取资源的特征词；
权重计算子单元， 用于按照 w(e) = /(e，Set)x l。g
Figure imgf000041_0001
， 计算各特征词 freq{e) 的权重值， 其中， 为特征词 e的权重值， /(e,Set)为特征词 e在所述被 抽取资源中出现的频次； /r^(e)为特征词 e的绝对词频， 从所述被抽取资 源所对应语种的通用语料资源库中统计得到； Freq为所有特征词的绝对 词频的最大值；
向量形成子单元， 用于按照各特征词的权重值进行排序， 选择排在 前 N1个的特征词组成目标领域 D的特征向量， N1为预设的正整数； 当所述被抽取资源为所述 Set(F)时， 所述被抽取资源所对应语种为 所述第二语言， 所述向量形成子单元形成的特征向量为所述 FeaVec_F; 当所述被抽取资源为所述 Set(C)时， 所述被抽取资源所对应语种为 所述第一语言， 所述向量形成子单元形成的特征向量为所述 FeaVec_C; 当所述被抽取资源为所述 Cor(F)中的各资源时， 所述被抽取资源所 对应语种为所述第二语言， 所述向量形成子单元形成的特征向量为所述 Cor(F)中各资源的特征向量 FeaVec_ d{。
16、 根据权利要求 13所述的装置， 其特征在于， 所述资源添加单元 包括： 资源挖掘子单元、 第三翻译子单元和资源添加子单元；
所述资源挖掘子单元，用于基于预设的目标领域 D的资源挖掘模板， 从所述 SetD(F)中挖掘出资源 RscD(F); 所述第三翻译子单元， 用于结合从第二语言到第一语言的机器翻译 技术， 将所述 RscD(F)翻译为第一语言的资源 Rsc(C), 并将所述 Rsc(C) 发送给所述资源添加子单元；
所述资源添加子单元， 用于将接收到的所述 Rsc(C)添加入所述目标 领域 D的搜索资源库 RDB(C);
其中， 所述资源挖掘模板包括一个以上实例构成的实例集合， 所述 实例包含信息类型和信息表达式中的一种或组合；
或者，所述资源添加单元包括：第四翻译子单元和资源添加子单元； 所述第四翻译子单元， 用于结合从第二语言到第一语言的机器翻译 技术，将所述 SetD(F)翻译为第一语言的资源 SetD(C),并将所述 SetD(C) 发送给资源添加子单元；
资源添加子单元， 用于将接收到的资源添加入所述目标领域 D的搜 索资源库 RDB(C)。
17、 根据权利要求 14或 16所述的装置， 其特征在于， 所述翻译所 使用的翻译模型由翻译短语表构成， 该翻译短语表包括： 第一语言短语 和对应第二语言短语构成的短语对， 以及， 短语对的翻译分值；
所述翻译短语表中整合有所述目标领域的翻译词典。
18、 根据权利要求 17所述的装置， 其特征在于， 该装置还包括： 第 一翻译模型整合单元， 用于将所述目标领域的翻译词典中的词对作为短 语对逐一添加到所述翻译短语表中； 其中，
如果所述翻译短语表中尚未包含被添加的词对， 则将所述被添加的 词对添加到所述翻译短语表中， 且所述被添加的词对在所述翻译短语表 中的翻译分值 ^ ce)为： SPT (ce) = Sdict (ce) x rate ; 如果所述翻译短语表中已 经包含所述被添加的词对， 则不做添加处理；
所述 Sdict (ce)为所述被添加的词对 ce在所述翻译词典中的翻译分值， rate为从所述翻译词典到所述翻译短语表的翻译分值比， mte = j Ϊ^Α ， 其
∑",·
!=1 中， α;为同时出现在所述翻译词典和所述翻译短语表中的词对％在所述 翻译词典中的翻译分值， b;为所述词对 在所述翻译短语表中的翻译分 值， "为同时出现在所述翻译词典和所述翻译短语表中的词对个数。
19、 根据权利要求 17所述的装置， 其特征在于， 该装置还包括： 第 二翻译模型整合单元， 用于将所述目标领域的翻译词典中的词对添加到 双语平行语料库中，将所述双语平行语料库中的句对以词语为单位对齐； 对所述双语平行语料库中的句对进行短语对的抽取， 基于对抽取的短语 对的统计结果计算各短语对的翻译分值； 将抽取的短语对以及短语对的 翻译分值构成所述翻译短语表。
20、 根据权利要求 14或 16所述的装置， 其特征在于， 所述翻译基 于预设的所述目标领域 D的翻译表达模板执行；
其中所述目标领域 D的翻译表达式模板中包括： 一个以上实例构成 的实例集合；
所述实例为： 由第一语言表达式和对应第二语言表达式构成的表达 式对。
21、 一种基于跨语言获取的搜索资源的搜索装置， 其特征在于， 该 搜索装置包括： 用户侧交互单元、 领域识别单元和搜索处理单元；
所述用户侧交互单元，用于接收来自用户的搜索请求 query,将所述 搜索处理单元的搜索结果返回给所述用户； 所述领域识别单元， 用于对所述 query进行需求识别， 识别出所述 query所属的领域；
所述搜索处理单元， 用于在所述领域识别单元所识别出领域对应的 搜索资源库中进行搜索；
其中， 所述搜索资源库是权利要求 13所述装置获取的。
22、 根据权利要求 21所述的搜索装置， 其特征在于， 该搜索装置还 包括： 沖突处理单元， 用于在所述搜索结果中如果不同来源的资源所提 供同一类型信息的内容发生沖突， 则从内容发生沖突的资源中选择置信 度最高的资源包含在所述搜索结果中， 或者， 按照置信度从高到低在搜 索结果中对内容发生沖突的资源进行排序；
资源置信度确定单元， 用于根据以下所列置信度类型中的一种或任 意组合确定资源的置信度： 资源的来源网站置信度、 资源的来源语种置 信度以及资源的翻译置信度。
23、 根据权利要求 22所述的搜索装置， 其特征在于， 所述资源置信 度确定单元依据资源来源的语种与所述 query所映射的语种之间的关系 确定资源的来源语种置信度， 具体为： 设置来源于所述 query所映射语 种的资源的来源语种置信度高于来源于其他语种的资源的来源语种置信 度；
所述搜索装置还包括： 映射语种确定单元， 用于提取所述 query的 特征， 将所述 query的特征与预先训练出的各语种的特征向量进行相似 度计算， 确定相似度超过预设的相似度阈值的语种为所述 query所映射 的语种。
24、 根据权利要求 22所述的搜索装置， 其特征在于， 资源置信度确 定单元利用在获取所述资源时使用的翻译模型中所述资源对应的翻译分 值以及所述资源在语言模型中对应的分值，确定所述资源的翻译置信度。
PCT/CN2012/073656 2011-05-13 2012-04-09 跨语言获取搜索资源的方法和装置及对应搜索方法和装置 Ceased WO2012155714A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201110124378.9 2011-05-13
CN201110124378.9A CN102779135B (zh) 2011-05-13 2011-05-13 跨语言获取搜索资源的方法和装置及对应搜索方法和装置

Publications (1)

Publication Number Publication Date
WO2012155714A1 true WO2012155714A1 (zh) 2012-11-22

Family

ID=47124052

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2012/073656 Ceased WO2012155714A1 (zh) 2011-05-13 2012-04-09 跨语言获取搜索资源的方法和装置及对应搜索方法和装置

Country Status (2)

Country Link
CN (1) CN102779135B (zh)
WO (1) WO2012155714A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902619B (zh) * 2012-12-28 2018-10-23 中国移动通信集团公司 一种网络舆情监控方法及系统
JP2014235599A (ja) * 2013-06-03 2014-12-15 独立行政法人情報通信研究機構 翻訳装置、学習装置、翻訳方法、およびプログラム
CN103336852B (zh) * 2013-07-24 2017-04-05 清华大学 跨语言本体构建方法及装置
CN104462074B (zh) * 2014-12-26 2018-04-10 北京奇虎科技有限公司 一种进行网页数据翻译的方法、装置和浏览器客户端
CN106598937B (zh) * 2015-10-16 2019-10-18 阿里巴巴集团控股有限公司 用于文本的语种识别方法、装置和电子设备
CN106649883B (zh) * 2017-01-11 2019-12-17 中译语通科技股份有限公司 一种跨语言的主题网站自动发现方法
CN108304412B (zh) * 2017-01-13 2022-09-30 北京搜狗科技发展有限公司 一种跨语言搜索方法和装置、一种用于跨语言搜索的装置
CN107704506B (zh) * 2017-08-30 2021-03-30 华为技术有限公司 智能应答的方法和装置
CN110442727A (zh) * 2019-06-24 2019-11-12 厦门美域中央信息科技有限公司 一种基于跨语言知识链接的领域本体质量控制方法
CN111797607B (zh) * 2020-06-04 2024-03-29 语联网（武汉）信息技术有限公司 一种稀疏名词对齐方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271461A (zh) * 2007-03-19 2008-09-24 株式会社东芝 跨语言检索请求的转换及跨语言信息检索方法和系统
CN101868797A (zh) * 2007-09-21 2010-10-20 谷歌公司 跨语言搜索

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101443759B (zh) * 2006-05-12 2010-08-11 北京乐图在线科技有限公司 多语言信息检索的方法和系统
CN101571852B (zh) * 2008-04-28 2011-04-20 富士通株式会社 词典生成装置以及信息检索装置
CN101504667A (zh) * 2009-03-20 2009-08-12 北京学之途网络科技有限公司 关键词的确定方法及系统、权值向量的学习方法及系统
CN101763403A (zh) * 2009-12-31 2010-06-30 哈尔滨工业大学 面向多语言信息检索系统的查询翻译方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271461A (zh) * 2007-03-19 2008-09-24 株式会社东芝 跨语言检索请求的转换及跨语言信息检索方法和系统
CN101868797A (zh) * 2007-09-21 2010-10-20 谷歌公司 跨语言搜索

Also Published As

Publication number Publication date
CN102779135B (zh) 2015-07-01
CN102779135A (zh) 2012-11-14

Similar Documents

Publication Publication Date Title
CN102779135B (zh) 跨语言获取搜索资源的方法和装置及对应搜索方法和装置
CN101510221B (zh) 一种用于信息检索的查询语句分析方法与系统
CN107957991B (zh) 一种基于句法依赖的实体属性信息抽取方法及装置
CN109918640B (zh) 一种基于知识图谱的中文文本校对方法
CN104391942B (zh) 基于语义图谱的短文本特征扩展方法
CN103034693B (zh) 开放式实体及其类型识别方法
CN104391885B (zh) 一种基于平行语料训练的篇章级可比语料平行短语对的抽取方法
CN101093478B (zh) 一种根据实体的汉语简称识别汉语全称的方法及系统
CN103902619B (zh) 一种网络舆情监控方法及系统
CN107690634B (zh) 自动查询模式生成方法及系统
CN103678684A (zh) 一种基于导航信息检索的中文分词方法
CN108681537A (zh) 一种基于神经网络及词向量的中文实体链接方法
CN103324626B (zh) 一种建立多粒度词典的方法、分词的方法及其装置
CN102662936B (zh) 融合Web挖掘、多特征与有监督学习的汉英未登录词翻译方法
WO2008014702A1 (en) Method and system of extracting new words
WO2012116562A1 (zh) 一种跨语言搜索的方法和装置
CN106257455B (zh) 一种基于依存关系模板抽取观点评价对象的Bootstrapping方法
CN102279843A (zh) 处理短语数据的方法以及装置
CN100524293C (zh) 一种从双语句对获取词对译文的方法及系统
CN110457715B (zh) 融入分类词典的汉越神经机器翻译集外词处理方法
CN114997288B (zh) 一种设计资源关联方法
CN102929902A (zh) 一种基于中文检索的分词方法及装置
JP2004280574A (ja) 翻訳システム、辞書更新サーバ、翻訳方法、及び、これらのプログラムと記録媒体
CN103440343B (zh) 一种面向领域服务目标的知识库构建方法
CN108038099A (zh) 基于词聚类的低频关键词识别方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12785615

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12785615

Country of ref document: EP

Kind code of ref document: A1