WO2020079751A1 - 文献検索方法および文献検索システム - Google Patents

文献検索方法および文献検索システム Download PDF

Info

Publication number
WO2020079751A1
WO2020079751A1 PCT/JP2018/038476 JP2018038476W WO2020079751A1 WO 2020079751 A1 WO2020079751 A1 WO 2020079751A1 JP 2018038476 W JP2018038476 W JP 2018038476W WO 2020079751 A1 WO2020079751 A1 WO 2020079751A1
Authority
WO
WIPO (PCT)
Prior art keywords
search
similar
search target
document
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/038476
Other languages
English (en)
French (fr)
Inventor
勇樹 石川
健太郎 森本
昭成 大谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to PCT/JP2018/038476 priority Critical patent/WO2020079751A1/ja
Priority to JP2020551631A priority patent/JPWO2020079751A1/ja
Publication of WO2020079751A1 publication Critical patent/WO2020079751A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/93—Document management systems

Definitions

  • the present invention relates to a document search method and a document search system for searching a search target from a large amount of document data based on an input search query.
  • a searcher inputs a search word (keyword) that most expresses the content to be searched, and then a search process (matching process with an index word) for a database is executed and a specific condition is satisfied. Document data and the like that match with are output as search results.
  • Documents contain terms that are not synonymous with each other (for example, differences in translation of interfaces, interfaces, etc., differences in sending kana, etc.) and similar terms (for example, computers, personal computers, computers, etc.). Then, it was necessary to devise to process these (hereinafter referred to as similar words) as the same. For example, similar words to be searched are replaced with all combinations, or a plurality of index words are linked to documents to reduce search omissions. However, since the number of combinations increases, the search time becomes long, and the optimum index word cannot be set, so that the necessary search cannot always be performed. Similarly, it also needed to resolve similar terms in search queries.
  • Patent Document 1 when registering document data, a fixed keyword is added to the document data to be registered and registered in the information search system, and at the time of search, the fixed keyword is designated to search the document database in a short time.
  • the technology is disclosed.
  • machine learning is applied to convert not a word itself but a vector expressing the meaning of the word.
  • a large amount of sentence information is learned by a neural network, a vector space representing the meaning of a word is generated from the distribution of words that appear before and after a certain word, and each word is converted into a vector.
  • the vector expressions of all the words included in the document data to be searched can be obtained, but since the words included in the search query are diverse, the vector space generated by the words included in the search query in advance. If it is not included in. This is an unavoidable problem when there are insufficient words in the learning data or when the words are new words.
  • a word that cannot be converted into a vector is called an unknown word.
  • Patent Document 1 has a configuration in which similar words including various search terms and expression variations are used as common registration keywords, and a literature database in which the common registration keywords are embedded in the literature is searched. At this time, since the similar word is converted into the common registration keyword, the information of the difference between the similar words is lost, and the reranking accuracy of the search result is lowered. Further, there is a problem that the calculation cost is high because all documents in the document database need to be updated when updating the common registration keyword.
  • the present invention has been made in view of the above-mentioned problem, that is, the problem of similar words in a search target or a search query, and a document search method and a document search method that can reduce the search time of documents including similar words and improve the search accuracy.
  • the purpose is to provide a search system.
  • Another object of the present invention is to provide a document search method and a document search system that can provide useful document information as a search result even when a word included in a search query is an unknown word.
  • the present invention is a document search method for searching a document to be searched stored in a document database based on an input search query, wherein the document database is automatically learned by machine learning. Converting the acquired meaning into a vector expressing the meaning, determining whether the search keyword included in the search query can be converted into a vector, and determining that the search keyword (word) included in the search query cannot be converted into a vector In that case, a step of converting the word included in the vector space into a word closest to the conversion table using a conversion table, a step of vectorizing the converted search query, and a step of searching the document database by the search query. And displaying the search result obtained by the search.
  • the document database stores the result of vectorization by learning in advance, and the conversion table stores similar search keywords similar to the search keyword. Further, preferably, when there are a plurality of similar search keywords, the replacement is performed with the most similar similarity search keyword.
  • the method further comprises the step of adding a new similar search keyword similar to the search keyword to the conversion table and updating the conversion table. Further, preferably, even when a search keyword included in the search query exists in the document database, a step of referring to the conversion table to obtain a similar search keyword similar to the search keyword, and including the search keyword in the search query And a step of displaying the search result by the acquired similar search keyword together with the search result by the search keyword.
  • the method further comprises a step of displaying the conversion table on a display device so that a search keyword to be designated can be selected.
  • the search keyword includes at least one of a compound name, a chemical formula, a chemical reaction formula, a chemical equation, an analyzer name, and an analysis method
  • the literature database includes an analysis report and an analysis of the search keyword. At least one of related papers and analysis related patent documents is included.
  • a similar word can be interpreted as a vector having a close distance, and a combination, a replacement, or an index word can be interpreted.
  • the search time can be shortened and the search accuracy can be improved.
  • a word included in a search query is an unknown word
  • a conversion table that converts the word into the closest word included in the vector space it is possible to handle a wide variety of search queries. As a result, useful literature information can be provided.
  • FIG. 1 is a block diagram showing an example of the configuration of a document search system according to an embodiment of the present invention.
  • the document search system 10 of FIG. 1 includes a search processing unit 40 that searches a search target (cases, documents, etc.) based on a search query input by a user who is a searcher, and outputs the search result.
  • the search processing unit 40 includes an input unit 1, an analysis unit 11, a feature extraction unit 13, a search unit 15, a display control unit 17, and an output unit 5.
  • the document search system 10 further includes a document database (hereinafter, also simply referred to as a database) 20, a conversion table 30, and a data update unit 19 that updates data accumulated in the conversion table 30.
  • the search targets in the document search system include, for example, analysis reports, analysis-related papers, analysis-related patent documents, and the like.
  • the analysis report is, for example, a report of analysis cases such as “a residual pesticide of sample ⁇ was analyzed by using the apparatus XX” and analysis results, and application news and application notes are also included in the analysis report.
  • a user or the like inputs a search query (also referred to as a search keyword or a search character string) in which the search target is expressed as a character string, a sentence, or the like, to the input unit 1 of the document search system 10.
  • the search query is composed of a search sentence, a search keyword, and a character string indicating a search condition. If the search target is an analysis report, the analysis-related search keyword, the analysis-related compound name, the analysis-related analysis target object name, etc. are included. .
  • the input unit 1 includes, for example, an input device such as a keyboard and a mouse, a display, etc., and a search query is input using the input screen on the display.
  • the display is also the output unit 5 on which the search results and the like are displayed.
  • the analysis unit 11 performs a morphological analysis on the search query input from the input unit 1 based on a predefined search dictionary, and divides it into minimum unit words. Then, the feature extraction unit 13 calculates a vector (also referred to as a word vector or a feature vector) expressing the search query. For example, the word vector is learned and acquired based on general data collected from the document data, the web (Web), etc. accumulated in the database 20.
  • a vector also referred to as a word vector or a feature vector
  • the feature extraction unit 13 refers to the conversion table 30 to extract the similar search target, converts the search query, and then converts the word vector.
  • the conversion table 30 is a list of words that are included in the word vector and words that are not included in the word vector calculated by different distance measures. For example, when a compound name is input as a search query, the distance measure of the conversion table includes physical quantities such as compound similarity, application, and toxicity.
  • the search unit 15 searches the document data accumulated in the database 20 based on the word vector of the search keyword acquired from the feature extraction unit 13, and outputs it to the display control unit 17.
  • the output unit 5 displays information according to the control result such as display contents and display format in the display control unit 17.
  • the user or the like can acquire a desired search target or a search target similar thereto.
  • the data updating unit 19 performs continuous maintenance by newly registering new words, synonyms, synonyms, and the like that are not in the conversion table 30 in the conversion table 30 to keep the latest search target accumulated. maintain.
  • the conversion table 30 is provided separately from the database 20.
  • the database 20 requires re-learning for word vector acquisition by machine learning, whereas the conversion table 30 updates accumulated data. Is easy, and the data storage structure is simple.
  • FIG. 2 is a flowchart showing a search processing procedure for a search target in the document search system of this embodiment.
  • a user or the like inputs a search query (search keyword).
  • search query is divided into minimum unit morphemes by morpheme analysis, and word vectors are calculated.
  • step S15 a search process is performed by referring to a database 20 in which data obtained by vectorizing document data (for example, analysis report, analysis-related paper, analysis-related patent document, etc.) is stored.
  • data obtained by vectorizing document data for example, analysis report, analysis-related paper, analysis-related patent document, etc.
  • search keyword search target that is related to the search query
  • step S17 it is determined from the search result in step S15 whether or not a search target exists in the database 20, that is, whether or not the search target is a search target including an "unknown word".
  • the search query includes the names of compounds and the like as search targets, but if the compound name does not exist in the database 20, the compound name is recognized as an “unknown word”.
  • step S27 If a search target exists in the database 20, the search result is displayed in step S27.
  • the search query that is not included in the database 20 is input and the search target is an unknown word and the search target does not exist in the database 20, the conversion table 30 is referenced in step S19.
  • the relations with similar search targets are calculated for each search target, and these are listed.
  • the conversion table 30 is a compound conversion table
  • the result of calculating the relation between the compound and a similar compound is accumulated for each known compound.
  • step S21 a search target similar to the search query is acquired. More specifically, when the search query is a compound and a phthalate ester is input as the compound, diprobyl phthalate, dinebutyl phthalate, and phthalate listed in the conversion table 30 are linked to the phthalate ester.
  • the search query is similar compounds such as dinonyl, benzil isobentil phthalate, and dimethyl phthalate.
  • the input search query is replaced with a similar search query to search the conversion table 30.
  • the search query is replaced by, for example, the most similar compound among them.
  • step S23 for example, an optimal similar compound considering the characteristics of the search query is selected from the plurality of similar compounds acquired in step S21.
  • the search target in the conversion table 30 may include not only compounds but also chemical formulas, analyzer names, chemical equations, analysis methods, and the like. Further, in order to improve the accuracy of the determination as to whether or not the search target that is similar to the search target is acquired, for example, a structural formula, polarity, or the like may be additionally input.
  • step S25 a search process such as extracting the similar compound selected in step S23 from the conversion table 30 is performed, and in the subsequent step S27, the search result is displayed.
  • FIG. 3 is an example of displaying a plurality of search targets acquired from the conversion table 30 on the display in the document search system of this embodiment.
  • the search target is the compound A and a plurality of similar compounds are acquired from the conversion table 30, the plurality of similar compounds A1, A2, A3 are displayed on the display 41, and the user can display the similar compounds.
  • a search target similar compound
  • the similar compounds B1 to B4 and C1 are displayed for the other compounds B and C, which are search objects, and they can be selected in the boxes 43b and 43c.
  • the search process for the search target in the document search system according to the present embodiment is not limited to the example shown in FIG. 2, and a search involving expansion of the search range may be performed as follows.
  • FIG. 4 is a flowchart showing an example of searching by expanding the search range.
  • the same steps as those shown in FIG. 2 are designated by the same reference numerals, and the description thereof will be omitted.
  • step S15 when it is determined from the search result in step S15 that the search target does not exist in the database 20 in step S17, the processes of steps S19, S21, and S23 are executed. Even when a search target exists in the database 20, the same processing as steps S19, S21, and S23 is performed.
  • step S31 the conversion table 30 in which the relation with the similar search target is calculated for each search target and listed.
  • step S33 a search target similar to the search target is acquired.
  • the input search query is replaced with a similar search query to search the conversion table 30.
  • the search query is replaced by the most similar compound among the plurality of acquired similar compounds.
  • step S35 the optimum similar search target is selected from the search targets similar to the searched search target.
  • the search results for the search target similar to the search result are displayed, and displayed. .
  • FIG. 5 shows a configuration example in which the document search system of this embodiment is connected via a network (public communication network).
  • the document search system 10 according to the present embodiment enables a case to be searched in response to a request from a user or the like in the Internet environment, and provides the search result to the user or the like.
  • the document search system 10 and a plurality of user terminals 60a ... 60n are communicably connected via an information communication network 70 such as the Internet.
  • the communication unit 61 in the document search system 10 is an interface with the network 70.
  • the control unit 65 is constituted by, for example, a microprocessor or the like, which controls the entire document search system 10 including the search processing unit 40.
  • the memory 67 stores the search processing program or the like to be searched by the search processing unit 40 described above.
  • the control unit 65 reads out these programs and executes the predetermined processing and the like shown in FIGS. 2 and 4.
  • the entire document search system 10 can be positioned as a server device connected to the network 70.
  • a database that stores document data and a conversion table that stores a similar search target similar to the search target are prepared, and the conversion table is used even when an unknown word is input as a search query.
  • the conversion table is used even when an unknown word is input as a search query.
  • the similar search target (similar compound) using the known relationship of the search target (compound) is used.
  • the search accuracy can be improved by selecting) and performing a search by the similar search target (similar compound).
  • the conversion table can be maintained in the state in which the latest search targets are accumulated.
  • search query (compound) entered by the user is not an unknown word
  • a similar compound is searched by the conversion table and added to the search result of the search query (compound) entered by the user to perform similar search.
  • the search result of the target (similar compound) can be presented.

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

文献データに含まれる類似語を解決するための、文献データ中の単語の置き換えや組み合わせを不要にして、高速な文献検索を行うとともに、検索対象中に存在しない検索キーワードが入力されても、検索結果として有用な情報を提供できる文献検索方法および文献検索システムを提供する。そのため、データベース２０は、文献データに含まれる単語を機械学習により自動獲得した意味を表現するベクトルに変換することで、類似語をベクトル間の距離が近いものとして解釈し、組み合わせや置換・索引語の設定を不要とする。検索部１５は、検索クエリに含まれる検索対象がデータベース２０に存在しない場合、検索対象に類似する類似検索対象が格納された変換テーブル３０を参照して、その検索対象と類似する類似検索対象を取得する。そして、検索クエリに含まれる検索対象を、取得した類似検索対象で置換後の検索クエリによって変換テーブル３０を検索する。

Description

文献検索方法および文献検索システム
　本発明は、入力された検索クエリに基づいて大量の文献データから検索対象を検索する文献検索方法および文献検索システムに関する。
　近年におけるコンピュータ技術、通信網の発達により、電子化された大量の文書、情報等が蓄積されたデータベースから所望の文書データ、情報等を検索する需要が高まっている。一般的な情報検索システムでは、検索者が検索したい内容を最もよく表している検索語（キーワード）を入力することで、データベースに対する検索処理（索引語とのマッチング処理）が実行され、特定の条件に合致する文書データ等が検索結果として出力される。
　文献には同意異表示な言葉（例えば、インターフェース、インターフェイス等の翻訳化の相違や送り仮名相違など）や、類似語（例えば、計算機、パソコン、コンピュータなど）が含まれており、従来の検索方法では、これら(以下、類似語と呼ぶ)を同一のものとして処理する工夫が必要であった。例えば、検索対象の類似語をすべての組み合わせで置換したり、複数の索引語を文献に紐付けることで検索漏れを少なくしていた。しかし、組み合わせ数が増えることで検索時間が長くなったり、最適な索引語を設定できず、必ずしも必要な検索ができないという問題があった。同様に、検索クエリの類似語の解決も必要であった。
　例えば特許文献１は、文献データの登録時に、登録する文献データに固定キーワードを付与して情報検索システムに登録しておき、検索時に、その固定キーワードを指定して短時間で文献データベースを検索する技術を開示している。
　ところで、人工知能分野の自然言語処理では機械学習を応用して、単語そのものを扱うのではなく、単語の意味を表現したベクトルに変換する技術が用いられている。例えば、大量の文章情報をニューラルネットワークで学習し、ある単語の前後に出現する単語の分布から単語の意味を表すベクトル空間を生成して、それぞれの単語をベクトルに変換する。
　単語をベクトルに変換することによって、類似語はベクトル間の距離が近いものとして解釈することができる。したがって、検索対象に含まれる単語をベクトルに変換すれば、類似語は組み合わせや置換・索引語の設定が不要となる。機械学習により単語のベクトル空間を獲得する際に、検索対象である文献データを学習データとし、あるいは、その文献データにＷｅｂ上で入手できる一般文書などを加えて学習データとすることで単語のベクトル表現は自動で獲得できる。
特開２００７－２００３５２号公報
　上述した方法では、検索対象である文献データに含まれるすべての単語のベクトル表現は獲得できるが、検索クエリに含まれる単語は多種多様であるため、検索クエリに含まれる単語があらかじめ生成したベクトル空間に含まれていない場合に対応できない。これは学習データの単語に不足がある場合や新語である場合など、避けられない問題である。ここでは、ベクトルに変換できない単語を未知語と呼ぶ。
　特許文献１は、種々の検索の語句や表現のバリエーション等を含む類似語を共通登録キーワードとし、文献中に共通登録キーワードを埋め込んだ文献データベースを検索する構成としている。このとき、類似語を共通登録キーワードに変換するため、類似語間の差の情報を消失し、検索結果のリランキングの精度が落ちる点が挙げられる。また、共通登録キーワードの更新時に文献データベース上のすべての文献の更新が必要となるため、計算コストが高いという問題が挙げられる。
　本発明は上述した課題、すなわち、検索対象や検索クエリにおける類似語の問題に鑑みてなされたものであり、類似語を含む文献の検索時間を短縮し、検索精度を向上できる文献検索方法および文献検索システムを提供することを目的とする。
　また、本発明は検索クエリに含まれる単語が未知語である場合においても、検索結果として有用な文献情報を提供できる文献検索方法および文献検索システムを提供することを目的とする。
　上述した課題を解決する一手段として、本発明は、入力された検索クエリに基づいて、文献データベースに格納された検索対象文献を検索する文献検索方法であって、前記文献データベースを機械学習により自動獲得した意味を表現するベクトルに変換する工程と、前記検索クエリに含まれる検索キーワードがベクトルに変換可能か判定する工程と、前記検索クエリに含まれる検索キーワード(単語)がベクトルに変換できないと判定された場合、変換テーブルを用いてベクトル空間に含まれる単語と最も近い単語に変換する工程と、前記変換後の検索クエリをベクトル化する工程と、前記検索クエリによって前記文献データベースを検索する工程と、前記検索で得られた検索結果を表示する工程とを備えることを特徴とする。
　上記の文献検索方法において、好ましくは、前記文献データベースは、あらかじめ学習によりベクトル化した結果が格納されており、前記変換テーブルには、検索キーワードに類似する類似検索キーワードが格納されている。また、好ましくは、前記類似検索キーワードが複数ある場合、最も類似する類似検索キーワードで前記置換を行う。また、好ましくは、前記検索キーワードに類似する新たな類似検索キーワードを前記変換テーブルに追加して該変換テーブルを更新する工程をさらに備える。また、好ましくは、前記検索クエリに含まれる検索キーワードが前記文献データベースに存在する場合においても前記変換テーブルを参照して該検索キーワードと類似する類似検索キーワードを取得する工程と、前記検索クエリに含まれる検索キーワードによる検索結果とともに、前記取得した類似検索キーワードによる検索結果を表示する工程とをさらに備える。さらに、好ましくは、前記変換テーブルを表示装置に表示し、指定すべき検索キーワードを選択可能とする工程をさらに備える。また、好ましくは、前記検索キーワードには化合物名、化学式、化学反応式、化学方程式、分析装置名、分析手法のうち少なくとも１つが含まれ、前記文献データベースには前記検索キーワードについての分析レポート、分析関連論文、分析関連特許文献のうち少なくとも１つが含まれる。
　本発明によれば、文献データに含まれる単語を機械学習により自動獲得した意味を表現するベクトルに変換することで、類似語をベクトル間の距離が近いものとして解釈でき、組み合わせや置換・索引語の設定を不要とすることで検索時間の短縮と、検索精度の向上が実現できる。
　また、本発明によれば、検索クエリに含まれる単語が未知語である場合に、ベクトル空間に含まれる最も近い単語に変換する変換テーブルを用いることで、多種多様な検索クエリに対応し、検索結果として有用な文献情報を提供できる。
本発明の実施形態に係る文献検索システムの構成の一例を示すブロック図である。 文献検索システムにおける検索対象についての検索処理手順を示すフローチャートである。 文献検索システムにおいて変換テーブルより取得した複数の検索対象をディスプレイ上に表示する例を示す図である。 検索範囲を拡張して検索する例を示すフローチャートである。 文献検索システムをネットワークを介して接続した構成例を示す図である。
　以下、本発明に係る実施形態について添付図面を参照して詳細に説明する。図１は、本発明の実施形態に係る文献検索システムの構成の一例を示すブロック図である。図１の文献検索システム１０は、検索者であるユーザ等が入力した検索クエリに基づいて検索対象（事例、文献等）を検索し、その検索結果を出力する検索処理部４０を備える。
　検索処理部４０は、入力部１、解析部１１、特徴抽出部１３、検索部１５、表示制御部１７、および出力部５を備える。文献検索システム１０はさらに、文献データベース（以下、単にデータベースともいう）２０、変換テーブル３０、および変換テーブル３０に蓄積されたデータを更新するデータ更新部１９を備える。
　本実施形態に係る文献検索システムにおける検索対象には、例えば、分析レポート、分析関連論文、分析関連特許文献等が含まれる。分析レポートとは、例えば、「試料△△の残留農薬を装置〇〇を使用して分析した。」等の分析事例、分析結果のレポートであり、アプリケーションニュース、アプリケーションノートも分析レポートに含まれる。
　文献検索システム１０の入力部１には、ユーザ等により、検索対象を文字列、文章等で表した検索クエリ（検索キーワード、検索文字列ともいう。）が入力される。検索クエリは、検索文、検索キーワード等、検索条件を示す文字列等からなり、検索対象が分析レポートであれば、分析関連検索キーワード、分析関連化合物名、分析関連分析対象物名等が含まれる。
　入力部１は、例えば、キーボード、マウス等の入力デバイス、ディスプレイ等からなり、ディスプレイ上の入力画面を使用して検索クエリが入力される。ディスプレイは、検索結果等が表示される出力部５でもある。
　解析部１１は、入力部１より入力された検索クエリに対して、あらかじめ定義された検索辞書をもとに形態素解析を行って、最小単位の単語に分割する。そして、特徴抽出部１３は検索クエリを表現するベクトル（単語ベクトル、あるいは特徴ベクトルともいう。）を算出する。例えば、単語ベクトルは、データベース２０に蓄積された文献データ、ウエブ（Ｗｅｂ）などから集められる一般データをもとに学習し、獲得しておく。
　一方、検索クエリの単語から単語ベクトルを算出できない場合には、特徴抽出部１３は、変換テーブル３０を参照して類似検索対象を抽出し、検索クエリの変換を行ったあと、単語ベクトルに変換する。変換テーブル３０は単語ベクトルに含まれる単語と含まれない単語を、別の距離尺度で計算してリスト化したものである。例えば検索クエリとして化合物名を入力する場合、変換テーブルの距離尺度として化合物の類似度や用途、毒性などの物理量が挙げられる。
　検索部１５は、特徴抽出部１３より取得した検索キーワードの単語ベクトルをもとに、データベース２０に蓄積された文献データを検索し、それを表示制御部１７に出力する。
　出力部５は、表示制御部１７における表示内容、表示形式等の制御結果に応じた情報を表示する。これによりユーザ等は、所望の検索対象あるいはそれと類似する検索対象を取得できる。
　なお、データ更新部１９は、変換テーブル３０にない新語、その類義語、同義語等を新たに変換テーブル３０に登録するという継続的なメンテナンスを行うことで、最新の検索対象が蓄積された状態を維持する。
　文献検索システム１０において、データベース２０とは別に変換テーブル３０を備えるのは、データベース２０は機械学習による単語ベクトル獲得の再学習が必要となるのに対して、変換テーブル３０は蓄積されたデータの更新が容易である点、データの蓄積構造が簡単である点等の理由による。
　次に、本実施形態の文献検索システムにおける検索処理手順について説明する。図２は、本実施形態の文献検索システムにおける検索対象についての検索処理手順を示すフローチャートである。図２のステップＳ１１で、ユーザ等により検索クエリ（検索キーワード）が入力される。次のステップＳ１３で、形態素解析により検索クエリを最小単位の形態素に分割し、単語ベクトルを算出する。
　ステップＳ１５では、文献データ（例えば、分析レポート、分析関連論文、分析関連特許文献等）をベクトル化したデータが蓄積されたデータベース２０を参照する検索処理を行う。この検索処理では、検索クエリ（検索キーワード）に関連のある検索対象を検索し、それを検索結果とする。
　ステップＳ１７では、ステップＳ１５での検索結果よりデータベース２０中に検索対象が存在するか否か、すなわち、検索対象が「未知語」からなる検索対象か否かを判定する。例えば、検索クエリに検索対象として化合物等の名称が含まれているが、その化合物名がデータベース２０中に存在しなければ、その化合物名は「未知語」と認識される。
　データベース２０中に検索対象が存在すれば、ステップＳ２７において、検索結果を表示する。一方、データベース２０に含まれない検索クエリが入力され、検索対象が未知語であってデータベース２０中にその検索対象が存在しない場合には、ステップＳ１９において変換テーブル３０を参照する。
　変換テーブル３０には、上述したように検索対象毎に類似する検索対象との関連を計算し、それらがリスト化されている。例えば、変換テーブル３０が化合物変換テーブルの場合には、既知の化合物ごとに、その化合物と類似する化合物との関連を計算した結果が蓄積されている。
　ステップＳ２１において検索クエリに類似する検索対象を取得する。より具体的には、検索クエリが化合物であり、その化合物としてフタル酸エステルが入力された場合、変換テーブル３０中においてリスト化された、フタル酸エステルに連なるフタル酸ジプロビル、フタル酸ジネブチル、フタル酸ジノニル、フタル酸ベンチルイソベンチル、フタル酸ジメチル等の類似化合物を検索クエリとする。
　よって、ステップＳ２１における処理では、入力された検索クエリを、類似した検索クエリに置換して変換テーブル３０を検索していることになる。検索クエリの置換は、取得された類似化合物が複数ある場合、例えば、その中から最も類似する化合物によって行う。
　ステップＳ２３では、ステップＳ２１で取得された複数の類似化合物の中から、例えば、検索クエリの特徴等を考慮した最適な類似化合物を選択する。
　なお、変換テーブル３０中の検索対象には、化合物のみならず、化学式、分析装置名、化学的な方程式、分析手法等を含めてもよい。また、検索対象に類似する検索対象を取得する際の類似するか否かの判定の精度を上げるために、例えば、構造式や極性等の追加入力をする構成としてもよい。
　ステップＳ２５において、上記のステップＳ２３で選択された類似化合物を変換テーブル３０より抽出する等の検索処理を行い、続くステップＳ２７において、検索結果を表示する。
　図３は、本実施形態の文献検索システムにおいて、変換テーブル３０より取得した複数の検索対象をディスプレイ上に表示する例である。ここでは、検索対象物が化合物Ａであって、変換テーブル３０より複数の類似化合物が取得された場合、ディスプレイ４１上にそれら複数の類似化合物Ａ１，Ａ２，Ａ３を表示し、ユーザが、それら類似化合物に対応して設けたボックス４３ａにチェックを入れることで、検索対象（類似化合物）を選択できる構成となっている。
　検索対象物である他の化合物Ｂ，Ｃについても、化合物Ａと同様、それぞれの類似化合物Ｂ１～Ｂ４，Ｃ１が表示され、ボックス４３ｂ，４３ｃで選択できる構成となっている。
　本実施形態の文献検索システムにおける検索対象についての検索処理は、図２に示す例に限定されず、以下のように検索範囲の拡張を伴う検索を行ってもよい。
　図４は、検索範囲を拡張して検索する例を示すフローチャートである。なお、図４において、図２に示すステップと同一のステップには同一の符号を付し、それらの説明を省略する。
　図４に示す検索処理では、ステップＳ１５での検索結果より、ステップＳ１７においてデータベース２０中に検索対象が存在しないと判断された場合、ステップＳ１９，Ｓ２１，Ｓ２３の処理を実行するが、ここでは、データベース２０中に検索対象が存在する場合においても、ステップＳ１９，Ｓ２１，Ｓ２３と同様の処理を行う。
　すなわち、ステップＳ１７での判断結果がＮＯで、データベース２０中に検索対象が存在しても、ステップＳ３１において、検索対象毎に類似する検索対象との関連を計算してリスト化された変換テーブル３０を参照する。
　ステップＳ３３において、検索対象に類似する検索対象を取得する。その際、入力された検索クエリを、類似した検索クエリに置換して変換テーブル３０を検索する。検索クエリの置換は、取得された複数の類似化合物の中から最も類似する化合物によって行う。
　ステップＳ３５では、検索された検索対象に類似する検索対象の中から最適な類似検索対象を選択する。その結果、ユーザが入力した検索対象の検索結果に追加して、それと類似する検索対象についての検索結果を取得して、それらを表示するという、検索範囲を拡張した検索の結果を得ることができる。
　図５は、本実施形態の文献検索システムをネットワーク（公衆通信網）を介して接続した構成例を示している。図５に示すように本実施形態に係る文献検索システム１０は、例えばインターネット環境において、ユーザ等からの要求に応じて事例の検索を可能にし、検索結果をユーザ等に提供する。
　そのため、インターネット等の情報通信ネットワーク７０を介して、文献検索システム１０と、複数のユーザ端末６０ａ…６０ｎとが通信可能に接続されている。文献検索システム１０内の通信部６１は、ネットワーク７０とのインターフェイスである。制御部６５は、検索処理部４０を含む文献検索システム１０の全体の制御を司る、例えばマイクロプロセッサ等で構成される。
　メモリ６７には、上述した検索処理部４０における検索対象の検索処理プログラム等が格納されている。制御部６５は、これらのプログラムを読み出して、図２および図４に示す所定の処理等を実行する。なお、文献検索システム１０全体を、ネットワーク７０に接続されたサーバ装置と位置づけることもできる。
　以上説明したように本実施形態によれば、文献データを格納したデータベース、検索対象と類似する類似検索対象を格納した変換テーブルを用意し、検索クエリとして未知語が入力された場合でも、変換テーブルを参照して類似検索対象を取得し、それを検索結果として表示することで、ユーザに有用な情報を確実に提示できる。
　よって、学習データが少量の場合に未知語が含まれることを許容し、未知語が入力された場合であっても、検索対象（化合物）の既知の関係性を利用した類似検索対象（類似化合物）の選択を行い、その類似検索対象（類似化合物）による検索を行うことで検索精度を向上できる。
　また、データベースとは別に変換テーブルを備えることで、データの蓄積構造が簡単な変換テーブルに蓄積されたデータの更新が容易となる。これにより、データベースに類似語情報を持たせた場合のように、計算コストが大きいデータベースの更新作業を回避できる。
　さらには、新語、その類義語、同義語等を新たに継続的に変換テーブルに登録することで、変換テーブルを最新の検索対象が蓄積された状態に維持できる。
　また、ユーザが入力した検索クエリ（化合物）が未知語でない場合であっても、変換テーブルによる類似化合物の検索を行い、ユーザが入力した検索クエリ（化合物）の検索結果に追加して、類似検索対象（類似化合物）の検索結果を提示できる。
１　入力部
５　出力部
１０　文献検索システム
１１　解析部
１３　特徴抽出部
１５　検索部
１７　表示制御部
１９　データ更新部
２０　データベース
３０　変換テーブル
４０　検索処理部
４１　ディスプレイ
６０ａ…６０ｎ　ユーザ端末
６１　通信部
６５　制御部
６７　メモリ
７０　情報通信ネットワーク

Claims (7)

  1. 　入力された検索クエリに基づいて、データベースに格納された文献データを検索する文献検索方法であって、
    　前記検索クエリに含まれる検索対象が前記データベースに存在するか否かを判定する工程と、
    　前記データベースに前記検索対象が存在しないと判定された場合、変換テーブルを参照して該検索対象と類似する類似検索対象を取得する工程と、
    　前記検索クエリに含まれる検索対象を前記取得した類似検索対象で置換する工程と、
    　前記置換後の検索クエリによって前記データベースを検索する工程と、
    　前記検索で得られた検索結果を表示する工程と、
    を備えることを特徴とする文献検索方法。
  2. 　前記データベースには、機械学習によって単語の意味を表現するベクトルが獲得されて、文献データをベクトル空間に写像したデータが格納されており、前記変換テーブルには、既知の情報に基づく検索対象に類似する類似検索対象が格納されていることを特徴とする請求項１に記載の文献検索方法。
  3. 　前記類似検索対象が複数ある場合、最も類似する類似検索対象で前記置換を行うことを特徴とする請求項１に記載の文献検索方法。
  4. 　前記検索対象に類似する新たな類似検索対象を前記変換テーブルに追加して該変換テーブルを更新する工程をさらに備えることを特徴とする請求項１に記載の文献検索方法。
  5. 　前記検索クエリに含まれる検索対象が前記データベースに存在する場合においても前記変換テーブルを参照して該検索対象と類似する類似検索対象を取得する工程と、
    　前記検索クエリに含まれる検索対象による検索結果とともに、前記取得した類似検索対象による検索結果を表示する工程と、
    をさらに備えることを特徴とする請求項１に記載の文献検索方法。
  6. 　前記検索クエリには化合物名、化学式、化学反応式、化学方程式、分析装置名、分析手法のうち少なくとも１つが含まれ、前記文献データには前記検索対象についての分析レポート、分析関連論文、分析関連特許文献のうち少なくとも１つが含まれることを特徴とする請求項１～５のいずれか１項に記載の文献検索方法。
  7. 　入力された検索クエリに基づいて、データベースに格納された文献データを検索する文献検索システムであって、
    　前記検索クエリに含まれる検索対象が前記データベースに存在するか否かを判定する手段と、
    　前記データベースに前記検索対象が存在しないと判定された場合、変換テーブルを参照して該検索対象と類似する類似検索対象を取得する手段と、
    　前記検索クエリに含まれる検索対象を前記取得した類似検索対象で置換する手段と、
    　前記置換後の検索クエリによって前記データベースを検索する手段と、
    　前記検索で得られた検索結果を表示する手段と、
    を備えることを特徴とする文献検索システム。
     

     
PCT/JP2018/038476 2018-10-16 2018-10-16 文献検索方法および文献検索システム Ceased WO2020079751A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2018/038476 WO2020079751A1 (ja) 2018-10-16 2018-10-16 文献検索方法および文献検索システム
JP2020551631A JPWO2020079751A1 (ja) 2018-10-16 2018-10-16 文献検索方法および文献検索システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/038476 WO2020079751A1 (ja) 2018-10-16 2018-10-16 文献検索方法および文献検索システム

Publications (1)

Publication Number Publication Date
WO2020079751A1 true WO2020079751A1 (ja) 2020-04-23

Family

ID=70283809

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/038476 Ceased WO2020079751A1 (ja) 2018-10-16 2018-10-16 文献検索方法および文献検索システム

Country Status (2)

Country Link
JP (1) JPWO2020079751A1 (ja)
WO (1) WO2020079751A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023023126A (ja) * 2021-08-04 2023-02-16 株式会社トヨタマップマスター 変換装置、変換方法、変換プログラム及び記憶媒体
CN115858739A (zh) * 2023-03-02 2023-03-28 中国中医科学院中国医史文献研究所 一种中医古籍文献检索系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002175329A (ja) * 2000-12-07 2002-06-21 Canon Inc 情報検索装置及び情報検索方法及びコンピュータ読み取り可能な記憶媒体
JP2006163953A (ja) * 2004-12-08 2006-06-22 Nippon Telegr & Teleph Corp <Ntt> 単語ベクトル推定方法、単語ベクトル推定装置、プログラムおよび記録媒体
JP2014153744A (ja) * 2013-02-05 2014-08-25 Nippon Hoso Kyokai <Nhk> 情報検索装置及び情報検索プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216634A (ja) * 2002-01-28 2003-07-31 Ricoh Techno Systems Co Ltd 情報検索システム
JP5347307B2 (ja) * 2008-03-31 2013-11-20 株式会社リコー 情報検索装置、情報検索方法、制御プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002175329A (ja) * 2000-12-07 2002-06-21 Canon Inc 情報検索装置及び情報検索方法及びコンピュータ読み取り可能な記憶媒体
JP2006163953A (ja) * 2004-12-08 2006-06-22 Nippon Telegr & Teleph Corp <Ntt> 単語ベクトル推定方法、単語ベクトル推定装置、プログラムおよび記録媒体
JP2014153744A (ja) * 2013-02-05 2014-08-25 Nippon Hoso Kyokai <Nhk> 情報検索装置及び情報検索プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Word2Vec how to treat words that aren' t in the vocabulary", DATA SCIENCE STACK EXCHANGE, 28 September 2016 (2016-09-28), XP055702212, Retrieved from the Internet <URL:https://datascience.stackexchange.com/questions/13722/word2vec-how-to-treat-words-that-arent-in-the-vocabulary> [retrieved on 20181105] *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023023126A (ja) * 2021-08-04 2023-02-16 株式会社トヨタマップマスター 変換装置、変換方法、変換プログラム及び記憶媒体
JP7530339B2 (ja) 2021-08-04 2024-08-07 株式会社トヨタマップマスター 変換装置、変換方法、変換プログラム及び記憶媒体
CN115858739A (zh) * 2023-03-02 2023-03-28 中国中医科学院中国医史文献研究所 一种中医古籍文献检索系统

Also Published As

Publication number Publication date
JPWO2020079751A1 (ja) 2021-10-28

Similar Documents

Publication Publication Date Title
JP7167997B2 (ja) 文献検索方法および文献検索システム
CN120873195A (zh) 用于基于图谱的动态信息检索及合成的系统和方法
CN110929038A (zh) 基于知识图谱的实体链接方法、装置、设备和存储介质
JP2021144348A (ja) 情報処理装置及び情報処理方法
US20210149900A1 (en) Method, system and computer program for semantic triple-based knowledge extension
JP7167996B2 (ja) 事例検索方法
CN108228676B (zh) 信息抽取方法和系统
CN105589936A (zh) 一种数据查询方法及系统
JP2006268375A (ja) 翻訳メモリシステム
US20230109411A1 (en) Computer-implemented method of searching large-volume un-structured data with feedback loop and data processing device or system for the same
CN117420998A (zh) 一种客户端ui交互组件生成方法、装置、终端及介质
KR20190033821A (ko) 폴더 추천 방법 및 폴더 추천 장치
JP6190984B1 (ja) 質問回答支援装置、及び質問回答支援システム
CN121029935A (zh) 一种基于跨语言检索增强生成的水力压裂问答系统及方法
KR100945495B1 (ko) 다국어 전문용어 자원 제공 시스템 및 방법
Bryl et al. Interlinking and knowledge fusion
JPWO2020079751A1 (ja) 文献検索方法および文献検索システム
JP6640519B2 (ja) 情報分析装置及び情報分析方法
Revanth et al. Nl2sql: Natural language to sql query translator
JP2024172255A (ja) プログラム、情報処理装置及び情報処理方法
JP2011248827A (ja) 言語横断型情報検索方法、言語横断型情報検索システム及び言語横断型情報検索プログラム
JP2010015394A (ja) リンク先提示装置およびコンピュータプログラム
JP5428199B2 (ja) 対訳文抽出装置及び対訳文抽出方法
JP2021036408A (ja) 検索支援システム、学習システム、検索支援方法、及びプログラム
CN115827829A (zh) 一种基于本体的搜索意图优化方法及系统

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020551631

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18937312

Country of ref document: EP

Kind code of ref document: A1