JP7470235B2 - 語彙抽出支援システムおよび語彙抽出支援方法 - Google Patents

語彙抽出支援システムおよび語彙抽出支援方法 Download PDF

Info

Publication number
JP7470235B2
JP7470235B2 JP2023129567A JP2023129567A JP7470235B2 JP 7470235 B2 JP7470235 B2 JP 7470235B2 JP 2023129567 A JP2023129567 A JP 2023129567A JP 2023129567 A JP2023129567 A JP 2023129567A JP 7470235 B2 JP7470235 B2 JP 7470235B2
Authority
JP
Japan
Prior art keywords
vocabulary
relationship
document
label
extraction support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023129567A
Other languages
English (en)
Other versions
JP2023145767A (ja
Inventor
理 竹内
高明 春名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2023129567A priority Critical patent/JP7470235B2/ja
Publication of JP2023145767A publication Critical patent/JP2023145767A/ja
Application granted granted Critical
Publication of JP7470235B2 publication Critical patent/JP7470235B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/226—Validation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、語彙抽出支援システムおよび語彙抽出支援方法に関するものである。
企業等における品質管理部門やカスタマーサービス部門では、製品やサービスにおける障害や故障などの発生に伴うユーザからの各種問い合わせ、或いは、設計部門からの製品コード改修時の改修リスク指摘などに対応し、所定の文書アーカイブから類似文書（障害報告者や設計書）を検索する。
そこで、こうした類似文書の検索を容易にするため、検索キーワードの類義語／関連語を当該ユーザに提示し、適宜なものを選択させ、検索の効率・精度を向上させる種々の技術が存在する。
このような技術に関連したものとしては、例えば、非学習データ集合から機械学習用データを生成する機械学習用データ生成システムであって、評価の付与された機械学習用データを初期データとして保持する初期データ保持手段と、前記初期データから学習データを生成する学習データ生成手段と、評価の付与されていない非学習データを保持する非学習データ保持手段と、学習データを用いて機械学習を行なう機械学習手段と、前記機械学習手段による学習結果を基に非学習データの評価予測を行ない、さらに予測された評価の確信度を出力する評価手段と、評価の確信度が所定の条件を満たす非学習データを初期データ保持手段に追加する初期データ更新手段と、を具備することを特徴とする機械学習用データ生成システム（特許文献１参照）などが提案されている。
特開２００５－９２２５３号公報
一方、上述のごとく類義語や関連語を提示するためには、所定の文書アーカイブ内の文書から類義語／関連語の抽出を予め行う必要がある。
そした処理に関する基本技術としては、例えば、文書アーカイブの文書における形態素解析結果を予め定めた所定辞書（語彙間の関係性を規定した構造化データ）や名寄せ用情報（ｓｙｎｏｎｙｍ辞書）に適用し、語彙間の関係性を特定するもの（例えば、図２２参照）が提案されている（参考：“Incremental knowledge base construction using DeepDive”,The VLDB Journal 2017,Volume26,pp.81-105)。
上述の技術によれば、或る文書(Input)に含まれる語彙１と語彙２のセット（構造化データ候補：candidate）に関して、その間に存在する語彙(Words in between)とその距離(distance)といった特徴量（feature）を抽出し、これらを過去の知見である機械学習データ(Knowledge DB)に照合して正否（label）を判定し、当該語彙セットの関係性の存在確率(probability)をシステムが推定する
また、この推定結果の正誤については、類義語／関連語抽出に関するドメインエキスパートが判定し、この判定結果に応じた根拠データの要求がデータサイエンティストになされる。
データサイエンティストは、該当データを特定して上述のドメインエキスパートに提供するとともに、上述の存在確率推定で誤りが生じた原因を検討し、対策案を策定する。またこれに伴い、類義語／関連語の抽出アルゴリズムの改変と、文書アーカイブへの教師文書データの追加等を行うこととなる。
こうした、ドメインエキスパートによる正誤判定、ドメインエキスパートおよびデータサイエンティストによる作業（根拠データの要求と提示、原因検討と対策案策定）、データサイエンティストによる抽出アルゴリズムの改変、教師文書データの追加、は類義語／関連語の抽出精度向上に必要な処理ではあるが、工数増大の大きな要因ともなっている。
そこで本発明の目的は、類義語／関連語を良好な効率および精度で抽出する技術を提供することにある。
上記課題を解決する本発明の語彙抽出支援システムは、記憶装置と演算装置とを有する語彙抽出支援システムであって、前記記憶装置は、少なくとも二つの語彙を含む語彙セットを有する文書を含む文書アーカイブと、前記文書アーカイブから前記語彙セットに関して抽出される特徴量とを保持し、前記演算装置は、前記特徴量と、該特徴量を抽出した語彙セットと、該語彙セットの少なくとも二つの語彙が関係性を有するか否かの確からしさを示す、前記特徴量に基づき所定モデルにより算出される関係存在確率情報と、前記語彙セット毎に予め付与され、該語彙セットの少なくとも二つの語彙が関係性を有するか否かを示すラベルと、を含む語彙関係データ候補を生成する生成部と、前記関係存在確率情報に基づいて該語彙セットの少なくとも二つの語彙が関係性を有するか否かを判定する正当性判定部と、前記正当性判定部の判定結果と、該判定を行った語彙セットに付与されたラベルとの相違を判定する相違判定部と、前記相違判定部において前記判定結果と前記ラベルとが相違していると判定した場合に、該ラベルが付与された語彙セットを有する文書と、該語彙セットから抽出された特徴量とを検出する検出部と、前記検出部で検出された特徴量を更新される前記所定モデルの学習データから除外すると共に、前記検出部で検出された文書を前記記憶装置から削除をするフィルタリング処理を実行するフィルタリング処理部とを備える、ことを特徴とする。
また、本発明の語彙抽出支援方法は、記憶装置と演算装置とを有する語彙抽出支援システムが実行する語彙抽出支援方法であって、少なくとも二つの語彙を含む語彙セットを有する文書を含む文書アーカイブと、前記文書アーカイブから前記語彙セットに関して抽出される特徴量とを前記記憶装置で保持し、前記演算装置が、前記特徴量と、該特徴量を抽出した語彙セットと、該語彙セットの少なくとも二つの語彙が関係性を有するか否かの確からしさを示す、前記特徴量に基づき所定モデルにより算出される関係存在確率情報と、前記語彙セット毎に予め付与され、該語彙セットの少なくとも二つの語彙が関係性を有するか否かを示すラベルと、を含む語彙関係データ候補を生成し、前記関係存在確率情報に基づいて該語彙セットの少なくとも二つの語彙が関係性を有するか否かを判定し、前記関係性の判定の判定結果と、該判定を行った語彙セットに付与されたラベルとの相違を判定し、相違の判定において前記判定結果と前記ラベルとが相違していると判定した場合に、該ラベルが付与された語彙セットを有する文書と、該語彙セットから抽出された特徴量とを検出し、検出された特徴量を更新される前記所定モデルの学習データから除外すると共に、検出された文書を、前記記憶装置から削除するフィルタリング処理を実行する、ことを特徴とする。
本発明によれば、類義語／関連語を良好な効率および精度で抽出可能となる。
本実施形態の語彙抽出支援システムの構成例を示す図である。 本実施形態の管理サーバの構成例を示す図である。 本実施形態の構造化データ生成サーバの構成例を示す図である。 本実施形態の抽出relation情報の構成例を示す図である。 本実施形態のhidden relation候補の構成例を示す図である。 本実施形態の文書識別ルールの構成例を示す図である。 本実施形態における語彙抽出支援方法のフロー例１を示す図である。 本実施形態における語彙抽出支援方法のフロー例２を示す図である。 本実施形態における語彙抽出支援方法のフロー例３を示す図である。 本実施形態の形態素解析結果の例を示す図である。 本実施形態のhidden relation候補の例を示す図である。 本実施形態における語彙抽出支援方法のフロー例４を示す図である。 本実施形態における語彙抽出支援方法のフロー例５を示す図である。 本実施形態の重み情報の例を示す図である。 本実施形態における語彙抽出処理概念の例１を示す図である。 本実施形態における語彙抽出処理概念の例２を示す図である。 本実施形態における語彙抽出支援方法のフロー例６を示す図である。 本実施形態における語彙抽出支援方法のフロー例７を示す図である。 本実施形態における出力例１を示す図である。 本実施形態における出力例２を示す図である。 本実施形態における出力例３を示す図である。 本実施形態における語彙抽出支援方法のフロー例８を示す図である。 語彙抽出の基本技術を示す図である。
－－－システム構成－－－
以下に本発明の実施形態について図面を用いて詳細に説明する。図１は、本実施形態の語彙抽出支援システム１００の構成例を示す図である。図１に示す語彙抽出支援システム１００は、類義語／関連語を良好な効率および精度で抽出するコンピュータシステムである。
ここで例示する語彙抽出支援システム１００は、管理サーバ１００および複数の構造化データ生成サーバ１５０により構成されている。なお、図１では、説明の簡便化のため構造化データ生成サーバ１５０を２つのみ例示したが、２つ以上であれば特に限定はしない。
このうち管理サーバ１００は、例えば、語彙抽出処理業務を担う事業者ないし担当部署が運営するサーバ装置であり、語彙抽出処理の対象となる多数の文書を含む文書アーカイブ１１６、および、構造化データである抽出relation情報１１７を保持している。
また、管理サーバ１００は、文書種別識別部１１０、およびhidden relation抽出精度評価部１１１を機能として有する。
このうち文書種別識別部１１０は、文書アーカイブ１１６が含む各文書を、例えば、ドメインエキスパートが規定した文書識別ルール１１０１（詳細後述）に基づいて分類して、複数の文書セット１６０を生成し、これを構造化データ生成サーバ１５０に配信するものである。
ここで配信される文書セット１６０は、例えば、ドメインエキスパートが指定した属性１１７５（例：装置名－処理名）を備える語彙が含まれる文書となる。
また、hidden relation抽出精度評価部１１１は、構造化データ生成サーバ１５０のhidden relation正当性自動判別部１１３による処理結果を受けて、該当する構造化データ候補を抽出relation情報１１７の辞書すなわち装置名－処理名辞書１１７１に追加するものとなる。
一方、構造化データ生成サーバ１５０は、hidden relation抽出部１１２、およびhidden relation正当性自動判別部１１３を備える。
このうちhidden relation抽出部１１２は、管理サーバ１００の文書種別識別部１１０から配信された文書セット１６０に関して形態素解析を行って語彙群を抽出し、当該語彙群を抽出relation情報１１７の装置名－処理名辞書１１７１やｓｙｎｏｎｙｍ辞書１１７２と照合して、hidden relation候補１６１すなわち構造化データ候補（以下、hidden relation候補）を生成するものである。
なお、このhidden relation抽出部１１２は、ラベリング部１１２１、候補＆特徴量抽出部１１２２、および学習・推論部１１２３から構成される。
上述のラベリング部１１２１は、文書セット１６０に対する形態素解析を実行して語彙群を抽出し、この語彙群に抽出relation情報１１７の装置名－処理名辞書１１７１、ｓｙｎｏｎｙｍ辞書１１７２を照合することで、当該文書セット１６０に含まれる各語彙にラベルを付与するものである。
例えば、鉄道システムに関する障害報告書が文書セット１６０として文書種別識別部１１０から配信された場合、当該文書セット１６０に関して形態素解析で得た各語彙を、上述の辞書１１７１、１１７２に照合して、障害発生対象の装置名、処理名、日時、表示名、といった属性の値がラベルとして特定できる。勿論、こうした形態はあくまでも一例であり、文書アーカイブ１１６に保持する文書の種類により、様々なものを適宜に想定できる。
また、候補＆特徴量抽出部１１２２は、上述のラベリング部１１２１により得ている各語彙とその属性値に対し、ユーザ指定の属性（抽出relation情報１１７が含む属性１１７５。例えば、装置名－処理名のセット）に合致する語彙セットを構造化データ候補として抽出し、また、この語彙セットに関して所定のアルゴリズムで特徴量抽出を行うものである。
特徴量抽出のアルゴリズムについては、既に述べた基本技術におけるものと同様である。例えば、ある語彙１と語彙２との間に存在するキーワード、および当該キーワードと語彙１、２との距離、といったものが特徴量として想定できるが、特徴量の種類としては勿論これに限定しない。
また、学習・推論部１１２３は、上述の候補＆特徴量抽出部１１２２での一連の処理経緯を踏まえ、文書セット１６０における各語彙セットが示す特徴量から、当該語彙セットすなわち構造化データ候補の正当性に関するラベルが推論できるモデルを学習し、hidden relation候補１６１の関係存在確率を算出するものである。こうした学習・推論部１１２３の機能自体は上述の基本技術におけるものと同様である。
また、hidden relation正当性自動判別部１１３は、上述のhidden relation抽出部１１２により生成したhidden relation候補１６１の正当性を、その関係存在確率（確からしさ）が所定レベル以下のものについて、正当性を他の構造化データ生成サーバ１５０に問い合わせて確定させるものである。
－－－ハードウェア構成－－－
また、語彙抽出支援システム１０における管理サーバ１００のハードウェア構成は図２に示す如くとなる。すなわち管理サーバ１００は、記憶装置１０１、メモリ１０３、演算装置１０４、入力装置１０５、出力装置１０６、および通信装置１０７、を備える。
このうち記憶装置１０１は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やハードディスクドライブなど適宜な不揮発性記憶素子で構成される。
また、メモリ１０３は、ＲＡＭなど揮発性記憶素子で構成される。
また、演算装置１０４は、記憶装置１０１に保持されるプログラム１０２をメモリ１０３に読み出すなどして実行し装置自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なうＣＰＵである。
また、入力装置１０５は、ユーザからのキー入力や音声入力を受け付けるキーボードやマウス、或いはマイクである。
また、出力装置１０６は、演算装置１０４での処理データの表示を行うディスプレイ、スピーカー等である。
また、通信装置１０７は、適宜なネットワークと接続して構造化データ生成サーバ１５０との通信処理を担うネットワークインターフェイスカードである。
なお、記憶装置１０１内には、本実施形態の語彙抽出支援システム１０を構成する管理サーバ１００として必要な機能を実装する為のプログラム１０２に加えて、文書アーカイブ１１６および抽出relation情報１１７が少なくとも記憶されている。
また、構造化データ生成サーバ１５０のハードウェア構成例を図３に示す。本実施形態の構造化データ生成サーバ１５０は、記憶装置１５１、メモリ１５３、演算装置１５４、入力装置１５５、出力装置１５６、および通信装置１５７、を備える。
このうち記憶装置１５１は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やハードディスクドライブなど適宜な不揮発性記憶素子で構成される。
また、メモリ１５３は、ＲＡＭなど揮発性記憶素子で構成される。
また、演算装置１５４は、記憶装置１５１に保持されるプログラム１５２をメモリ１５３に読み出すなどして実行し装置自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なうＣＰＵである。
また、入力装置１５５は、ユーザからのキー入力や音声入力を受け付けるキーボードやマウス、或いはマイクである。
また、出力装置１５６は、演算装置１５４での処理データの表示を行うディスプレイ、スピーカー等である。
また、通信装置１５７は、適宜なネットワークと接続して、上述の管理サーバ１００や他の構造化データ生成サーバ１５０との通信処理を担うネットワークインターフェイスカードである。
なお、記憶装置１５１内には、本実施形態の語彙抽出支援システム１０を構成する構造化データ生成サーバとして必要な機能を実装する為のプログラム１５２に加えて、文書セット１６０およびhidden relation候補１６１が少なくとも記憶されている。
－－－データ構造例－－－
続いて、本実施形態の語彙抽出支援システム１０における管理サーバ１００、構造化データ生成サーバ１５０らが用いる情報について説明する。
図４に、本実施形態における抽出relation情報１１７の一例を示す。抽出relation情報１１７は、例えば、ドメインエキスパートから指示を受けた抽出対象の語彙セットすなわち抽出hidden relation種別（例：装置名－処理名）１１７４、装置名－処理名辞書１１７１、hidden relation抽出可能サーバ情報１１７３、およびｓｙｎｏｎｙｍ辞書１１７２といったデータの集合体である。
このうち、装置名－処理名辞書１１７１は、抽出hidden relation種別で指定されたキーワード１「装置名」の辞書、キーワード２「処理名」の辞書、および、それらキーワード１、２の各語彙の組み合わせの存在確率の成否を規定したrelation辞書、を含むものを想定している。
図４にて装置名－処理名辞書１１７１を例示したのは、抽出hidden relation種別１１７４として「装置名－処理名」が指定されており、これに対応する辞書を明示する意図で提示している。従って、抽出hidden relation種別１１７４として別の語彙セットが指定された場合、これに対応する辞書を用いることになる。
また、relation辞書は、該当語彙の組み合わせが、高確率で存在しうる場合「ｔ」（True）、高確率で存在しない場合「ｆ」（false）、の値がセットされている。
また、hidden relation抽出可能サーバ情報１１７３は、構造化データ生成サーバ１５０それぞれのＩＰアドレスなどの情報がセットされている。
また、ｓｙｎｏｎｙｍ辞書１１７２は、上述の装置名－処理名辞書１１７１に含まれる語彙の同義語／類義語を規定した辞書であり、対象語彙とそのｓｙｎｏｎｙｍ（同義語／類義語）とを対としたレコードの集合体である。図４の例では装置名とそのｓｙｎｏｎｙｍ、処理名とそのｓｙｎｏｎｙｍ、のそれぞれについて規定した形態を例示している。
続いて、図５に、本実施形態におけるhidden relation候補１６１の例を示す。このhidden relation候補１６１は、hidden relation抽出部１１２が生成した構造化データ候補であり、語彙セットとその関係存在確率の各値が紐付いたデータとなっている。
図５の例では、一方の語彙であるキーワード１（例：昨日）と他方の語彙であるキーワード２（例：ＴＩＤ）とのセットに関して、その関係存在確率が０～１の範囲の値として示されている。この関係存在確率が「１」であれば、当該構造化データ候補を構成する語彙セットは高確率で関係性を有し、「０」であれば、当該構造化データ候補を構成する語彙セットは高確率で関係性を有しない（換言すれば、殆ど関係性が無い）、ことを意味する。一方、「０．０２」など、「０」から「１」の間の値は、該当語彙セットに曖昧な関係性があることを示す。
続いて、図６に本実施形態における文書識別ルール１１０１の例を示す。この文書識別ルール１１０１は、文書識別部１１０が備える情報であり、文書アーカイブ１１６における各文書のうち、例えば、ドメインエキスパートが指定する属性のものを抽出するためのルールとなる。
図６の例では、該当文章における表記場所およびその場所に記載のキーワード、の組みとして上述の属性が規定されており、表記場所として、「表紙ページ先頭」、「ヘッダ部」、「先頭１００文字以内」、といった値が規定され、該当場所に記載されているべき「キーワード」として「機能仕様書」、「障害報告書」、「題目：[障害報告]」、といった値が規定されている。
文書識別部１１０は、この文書識別ルール１１０１を、文書アーカイブ１１６の各文書に適用し、当該ルールが適合する複数の文書を抽出することとなる。
－－－フロー例（文書アーカイブからの文書セットの抽出・配信）－－－
以下、本実施形態における語彙抽出支援方法の実際手順について図に基づき説明する。以下で説明する語彙抽出支援方法に対応する各種動作は、語彙抽出支援システム１０を構成する管理サーバ１００や構造化データ生成サーバ１５０らが、そのメモリ等に読み出して実行するプログラムによって実現される。そして、このプログラムは、以下に説明される各種の動作を行うためのコードから構成されている。
図７は、本実施形態における語彙抽出支援方法のフロー例１を示す図である。ここではまず、構造化データ生成サーバ１５０のhidden relation抽出部１１２におけるフローについて説明する。
この場合、hidden relation抽出部１１２は、文書アーカイブ１１６から文書を読み込む（ｓ１０）。また、hidden relation抽出部１１２は、文書識別ルール１１０１にマッチする文書を検索する（ｓ１１）。この文書識別ルール１１０１は、図４にて既に述べたとおりである。
続いて、hidden relation抽出部１１２は、上述のｓ１１での検索結果に基づき、文書識別ルール１１０１に適合する文書群を文書セット１６０として複数特定し、好ましくは、当該文書セット１６０の属性（例：ファイルタイプやデータ形式など）が互いに異なるよう、当該文書セット１６０の配信先となる構造化データ生成サーバ１５０を決定する（ｓ１２）。
また、hidden relation抽出部１１２は、上述のｓ１２で決定した構造化データ生成サーバ１５０それぞれに、対応する文書セット１６０を配信し（ｓ１３）、処理を終了する。
一方、上述の例とは異なる形で文書セット１６０の配信先を決定する形態も想定できる。図８に、本実施形態における語彙抽出支援方法のフロー例２を示す。
この場合、構造化データ生成サーバ１５０のhidden relation抽出部１１２は、文書アーカイブ１１６の各文書について形態素解析を実行し、この形態素解析の結果と抽出relation情報１１７における装置名－処理名辞書１１７１およびｓｙｎｏｎｙｍ辞書１１７２に基づき、hidden relation候補を抽出する（ｓ１５）。
また、hidden relation抽出部１１２は、ｓ１５で得たhidden relation候補それぞれについて、上述の形態素解析結果および装置名－処理名辞書１１７１、ｓｙｎｏｎｙｍ辞書１１７２に基づき関係存在確率を計算し、これに基づき、各文書においてhidden relation候補の抽出の可否、すなわち抽出のしやすさ（確率）を特定する（ｓ１６）。
例えば、ある文書における、hidden relation候補すなわち語彙セットの出現率と、そのhidden relation候補の関係存在確率とからなるベクトル値といったものを想定できる。
続いて、hidden relation抽出部１１２は、ｓ１６で得たベクトル値に基づいて、各文書のクラスタリングを実行して、当該クラスタリング後の文書セット１６０の配信先、すなわち構造化データ生成サーバ１５０を決定する（ｓ１７）。
上述のクラスタリングは、上述のベクトル値が構造化データ生成サーバ１５０ごとに異なるよう文書を分類し文書セット１６０を構成する処理となる。
また、hidden relation抽出部１１２は、ｓ１７で決定した構造化データ生成サーバ１５０に、対応する文書セット１６０を配信し（ｓ１８）、処理を終了する。
－－－フロー例（hiddenrelation抽出、hiddenrelation正当性自動判別）－－－
続いて、hiddenrelation抽出、およびhiddenrelation正当性自動判別の各処理について説明する。図９に、本実施形態における語彙抽出支援方法のフロー例３を示す。
この場合、hidden relation抽出部１１２は、抽出relation情報１１７を参照し、抽出すべき語彙セットとして抽出hidden relation種別の値、および装置名－処理名辞書１１７１、ｓｙｎｏｎｙｍ辞書１１７２をそれぞれ取得する（ｓ２０）。
また、hidden relation抽出部１１２は、管理サーバ１００の文書識別部１１０から配信を受けた文書セット１６０の各文書に対して形態素解析を実行する（ｓ２１）。
この形態素解析の結果例を図１０に示す。図１０で示す形態素解析結果９００では、文書セット１６０に含まれる各文書のＩＤおよび当該文書に含まれる文書のＩＤをキーに、当該文書に関して得たＷＯＲＤとＬＥＭＭＡ、および品詞が対応付けされた構成となっている。
続いて、hidden relation抽出部１１２は、上述のｓ２１で得た形態素解析結果９００、およびｓ２０で得た装置名－処理名辞書１１７１およびｓｙｎｏｎｙｍ辞書１１７２に基づき、hidden relation候補１６１を算出する（ｓ２２）。
また、hidden relation抽出部１１２は、上述のｓ２２で得たhidden relation候補１６１に関して、上述の形態素解析結果９００および装置名－処理名辞書１１７１、ｓｙｎｏｎｙｍ辞書１１７２に基づき特徴量を計算する（ｓ２３）。
こうして特徴量を得たhiddenrelation候補１６１の具体例を図１１に示す。図１１で例示するhidden relation候補１６１では、「装置名－処理名」の語彙セットそれぞれについて、その特徴量、ラベル、関係存在確率の各値が規定された形態となっている。
このうち特徴量における、「WORD_IN_BETWEEN」は、キーワード１とキーワード２との間に存在する語彙（記号含む）を示している。
また、「KW1_in_dict」、「KW2_in_dict」は、キーワード１、キーワード２が装置名－処理名辞書１１７１に含まれるか否かを、「ｆ」：含まれない、「ｔ」：含まれる、で示している。
またラベルは、ｓ２４で付与されるもので、例えば、装置名－処理名辞書１１７１およびｓｙｎｏｎｙｍ辞書１１７２に基づき、当該hidden relation候補１６１の語彙セットが同義語／類義語の範疇も含め、装置名－処理名辞書１１７１に規定されているか否かにより判定・付与される。全く規定されていない場合、「ｆ」、規定されている場合に「ｔ」、一方のキーワードのみ規定されているなど不確かな場合に「ｎｉｌ」となる。或いは、関係存在確率の値に応じて定めるとしてもよく、関係存在確率の値が「０」の場合に「ｆ」、「１」の場合に「ｔ」、「０」から「１」の間の値の場合に「ｎｉｌ」などとも規定できる。
続いて、hidden relation抽出部１１２は、上述のhidden relation候補１６１における語彙セットを装置名－処理名辞書１１７１およびｓｙｎｏｎｙｍ辞書１１７２に照合し、当該語彙セットが同義語／類義語の範疇も含め、装置名－処理名辞書１１７１に規定されているか否かにより、ラベルを判定・付与する（ｓ２４）。
また、hidden relation抽出部１１２は、hiddenrelation候補１６１の特徴量からラベルを推論できるモデルを所定の機械学習アルゴリズムにて学習し、hidden relation候補１６１ごとの関係存在確率を算出する（ｓ２５）。こうしたラベル付与や関係存在確率の各値の算定等については上述の基本技術を適宜に採用すればよい。
一方、上述の構造化データ生成サーバ１５０における、hidden relation正当性自動判別部１１３は、抽出relation情報１１７を参照し、hidden relation抽出可能サーバ情報を取得する（ｓ３０）。
また、hidden relation正当性自動判別部１１３は、自らのhidden relation抽出部１１２（図１１のフローの実行主体）で抽出したhidden relation候補ごとの関係存在確率の値を、ｓ３０で情報を取得した各サーバすなわち他の構造化データ生成サーバ１５０から取得する（ｓ３１）。
続いて、hidden relation正当性自動判別部１１３は、ｓ３１で得た、hidden relation候補ごとの関係存在確率の値を所定の閾値（例：０．６）と比較し、当該閾値以上または閾値以下の関係存在確率が存在するか判定する（ｓ３２）。
上述の判定の結果、閾値以上または以下の関係存在確率の値が存在しなかった場合（ｓ３２：Ｎ）、hidden relation正当性自動判別部１１３は、処理を終了する。
一方、上述の判定の結果、閾値以上または以下の関係存在確率の値が存在している場合（ｓ３２：Ｙ）、hidden relation正当性自動判別部１１３は、当該hidden relation候補に関してrelation辞書エントリを生成し、管理サーバ１００のhidden relation抽出精度評価部１１１に送信し（ｓ３３）、処理を終了する。この場合、hidden relation抽出精度評価部１１１は、当該relation辞書エントリを抽出relation情報１１７に格納する。
なお、hidden relation抽出精度評価部１１１は、各構造化データ生成サーバ１５０において保持するモデル情報（図９のｓ２５で得ているもので、hidden relation抽出部１１２において機械学習により生成済みのモデル情報）を収集する（ｓ３５）。このモデル情報の例を、図１４における重み情報１３００として示した。
続いて、hidden relation抽出精度評価部１１１は、抽出relation情報１１７におけるrelation辞書から例えば所定項目の一部情報を削除し、各構造化データ生成サーバ１５０上のhidden relation抽出部１１２にて当該情報をどの程度の確率で抽出可能であるかテストさせる（ｓ３６）。
また、hidden relation抽出精度評価部１１１は、ｓ３５で得たモデル情報およびｓ３６におけるテスト結果を、hidden relation抽出精度情報として、記憶装置１０１の所定領域に記録する（ｓ３７）。
続いて、hidden relation抽出精度評価部１１１は、上述のテスト結果に改善が見られれば、ｓ３３によりhidden relation正当性自動判別部１１３から受信した辞書エントリ情報を、抽出relation情報１１７における装置名－処理名辞書１１７１に登録する（ｓ３８）。
また、hidden relation抽出精度評価部１１１は、ｓ３７で記録されたモデル情報及びテスト結果を参照する（ｓ３９）。
続いて、hidden relation抽出精度評価部１１１は、ユーザ指定された時点のモデル情報への更新要求をhidden relation抽出部１１２に通知する（ｓ４０）。
この場合、hidden relation抽出部１１２は、要求されたモデル情報に強制更新し（ｓ４１）、処理を終了する。
－－－フロー例（特徴量および文書のフィルタリング）－－－
続いて、図１５にて示すように、正当性判定によるhidden relation候補すなわち構造化データ候補の正否である、誤検出または正当検出に関し寄与した特徴量および文書を所定アルゴリズムで分析し、当該分析結果をもとに低品質と評価された特徴量および文書のフィルタリングを実行する例について説明する。
図１５は、本実施形態における語彙抽出処理概念の例１を示す図であり、図１６は、本実施形態における語彙抽出処理概念の例２を示す図である。
この場合、hidden relation抽出部１１２における候補＆特徴量抽出部１１２２は、hidden relation候補作成に際し、候補＆特徴量抽出テンプレート１１２２１のうち、例えば、ドメインエキスパートから指示を受けたテンプレート番号１６００に対応する関数ポインタを、関数ポインタテーブル１６０１にて特定し、この関数ポインタに応じて候補＆特徴量抽出プログラム１６０２を呼び出して実行することとなる。この場合、候補＆特徴量抽出プログラム１６０２は、候補＆特徴量抽出部１１２２の実体となる。
こうした構成のため、候補＆特徴量抽出部１１２２は、上述の関数ポインタテーブル１６０１と、当該関数ポインタテーブル１６０１で記述する関数ポインタに対応した候補＆特徴量抽出プログラム１６０２を、記憶装置１５１にて保持して適宜に参照・呼び出し可能であるとする。
続いて図１７～図２１にて、本実施形態における語彙抽出支援方法のフロー例６～８を示す。
この場合、hidden relation抽出部１１２は、抽出relation情報１１７を参照し、抽出すべき語彙セットとして抽出hidden relation種別の値、および装置名－処理名辞書１１７１、ｓｙｎｏｎｙｍ辞書１１７２をそれぞれ取得する（ｓ５０）。
また、hidden relation抽出部１１２は、管理サーバ１００の文書識別部１１０から配信を受けた文書セット１６０の各文書に対して形態素解析を実行する（ｓ５１）。この形態素解析の結果例は、図１０に示したとおりである。
続いて、hidden relation抽出部１１２は、上述のｓ５１で得た形態素解析結果９００、およびｓ５０で得た装置名－処理名辞書１１７１およびｓｙｎｏｎｙｍ辞書１１７２を引数に、ユーザ指定の指定テンプレート番号１６００の候補＆特徴量抽出プログラム１６０２を関数ポインタテーブル１６０１から呼び出して実行する（ｓ５２）。これにより、図９のフローと同様、hidden relation候補１６１が算出できる。
また、hidden relation抽出部１１２は、上述のｓ５２で得たhidden relation候補１６１に関して、上述の形態素解析結果９００および装置名－処理名辞書１１７１、ｓｙｎｏｎｙｍ辞書１１７２に基づき特徴量を計算する（ｓ５３）。
続いて、hidden relation抽出部１１２は、上述のhidden relation候補１６１における語彙セットを装置名－処理名辞書１１７１およびｓｙｎｏｎｙｍ辞書１１７２に照合し、当該語彙セットが同義語／類義語の範疇も含め、装置名－処理名辞書１１７１に規定されているか否かにより、ラベルを判定・付与する（ｓ５４）。
また、hidden relation抽出部１１２は、hiddenrelation候補１６１の特徴量からラベルを推論できるモデルを所定の機械学習アルゴリズムにて学習し、hidden relation候補１６１ごとの関係存在確率を算出する（ｓ５５）。
一方、上述の構造化データ生成サーバ１５０における、hidden relation正当性自動判別部１１３は、抽出relation情報１１７を参照し、hidden relation抽出可能サーバ情報を取得する（ｓ５５）。
また、hidden relation正当性自動判別部１１３は、自らのhidden relation抽出部１１２（図１７のフローの実行主体）で抽出したhidden relation候補ごとの関係存在確率の値を、ｓ５５で情報を取得した各サーバすなわち他の構造化データ生成サーバ１５０から取得する（ｓ５６）。
続いて、hidden relation正当性自動判別部１１３は、ｓ５６で得た、hidden relation候補ごとの関係存在確率に関して集約し、自hidden relation抽出部１１２で抽出したhidden relation候補を、False POSITIVE候補セット、False NEGATIVE候補セット、正解候補セット、に分類し（ｓ５７）、これらの情報を管理サーバ１００の推論寄与特徴量＆文書判別部１１４に提供する。
なお、上述のFalse POSITIVE候補セットは、いわゆる検出漏れとなったもので、本来なら該当語彙の組み合わせは高確率で存在しうる「ｔ」（True）であるところ、高確率で存在しない「ｆ」（false）と判定してしまったものが含まれている。
また、False NEGATIVE候補セットは、いわゆる誤検出となったもので、本来なら該当語彙の組み合わせは高確率で存在しない「ｆ」（false）であるところ、高確率で存在する「ｔ」（truee）と判定してしまったものが含まれている。
続いて、推論寄与特徴量＆文書判別部１１４は、上述のFalse POSITIVE 候補セットで、当該候補をPOSITIVE に判定する要因となった主要な特徴量及び元の文書の「No Good」カウンタをインクリメントする（ｓ５８）。このカウンタの値は、例えば記憶装置１５１に保持するものとする（以下同様）。
また、推論寄与特徴量＆文書判別部１１４は、上述のFalse NEGATIVE候補セットで、当該候補をNAGATIVEに判定する要因となった主要な特徴量及び元の文書の「No Good」カウンタをインクリメントする（ｓ５９）。
また、推論寄与特徴量＆文書判別部１１４は、上述の正解候補セットで、当該候補を正しく判定する要因となった主要な特徴量及び元の文書の「Good」カウンタをインクリメントする（ｓ６０）。
なお、上述のように判定要因を特定する技術としては、機械学習アルゴリズムにおける、いわゆる逆解析手法を適宜に採用すればよい。
また、推論寄与特徴量＆文書判別部１１４は、上述のｓ５８～ｓ６０で更新した、特徴量や文書に関するカウンタの値、すなわち集計結果（図１９Ａ、図１９Ｂ参照）を、出力装置１０６にて表示する（ｓ６１）。図１９Ａには、文書に関するGood/NGの各カウンタの値の表示例を示し、図１９Ｂには、特徴量に関するGood/NGの各カウンタの値の表示例を示している。
上述の表示例が出力された画面上で、例えば、「NG」の文書または特徴量のオブジェクトに対するクリック動作がなされた場合、推論寄与特徴量＆文書判別部１１４は、図２０のように詳細情報画面２２００を出力装置１０６に表示させる。
この画面は、該当文書の表示欄２２０１、当該文書すなわちhidden relation候補の関係存在確率の表示欄２２０２、および該当特徴量とその重み付けすなわちモデル情報の表示欄２２０３、から構成されている。いずれの表示欄の情報も、推論寄与特徴量＆文書判別部１１４が、それまでの処理でメモリ等で保持している情報に基づくものとなる。
続いて、管理サーバ１００の低品質文書＆特徴量除去部１１５は、図２１のフローにて示すように、上述の集計結果に関して、「No Good」カウンタが「Good」カウンタよりも所定閾値以上となっている特徴量および文書を抽出する（ｓ６５）。
また、低品質文書＆特徴量除去部１１５は、ｓ６５で抽出した文書を、文書アーカイブ１１６から削除する（ｓ６６）。
続いて、低品質文書＆特徴量除去部１１５は、ｓ６５で抽出した特徴量を、各構造化データ生成サーバ１５０上のhidden relation抽出部１１２に通知する（ｓ６７）。
一方、各構造化データ生成サーバ１５０のhidden relation抽出部１１２は、以後の機械学習時において、ｓ６７の通知で受信した特徴量に関して無視して処理を行う（ｓ６８）。
以上、本発明を実施するための最良の形態などについて具体的に説明したが、本発明はこれに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。
こうした本実施形態によれば、類義語／関連語を良好な効率および精度で抽出可能となる。
本明細書の記載により、少なくとも次のことが明らかにされる。すなわち、本発明の語彙抽出支援システムにおいて、 前記演算装置は、前記構造化データ候補を生成するに際し、ユーザ指定の語彙セットを含む複数の文書を前記文書アーカイブから抽出し、当該複数の文書それぞれについて異なるアルゴリズムで前記構造化データ候補を生成し、当該構造化データ候補のうち確からしさが所定レベル以下のものについて、当該構造化データ候補の生成主体とは異なるアルゴリズムに紐付いた前記正当性判定を行い、当該構造化データ候補の正否を確定させるものである、としてもよい。
これによれば、抽出対象とする特徴量の種類が異なるアルゴリズムごとに、文書から構造化データ候補を生成し、その正当性に疑義があるものついて、他のアルゴリズムでの正当性判定を経ることで、精度良く正否を確定可能となる。ひいては、類義語／関連語をより良好な効率および精度で抽出可能となる。
また、本実施形態の語彙抽出支援システムにおいて、前記演算装置は、前記複数の文書を前記文書アーカイブから抽出するに際し、前記語彙セットを含む文書のうち、ユーザ指定の文書属性に適合する文書を抽出するものである、としてもよい。
これによれば、文書アーカイブ内の文書を、例えばドメインエキスパートの知見に基づく分類基準（すなわち文書属性に関する規定）で適宜に分類し、これを構造化データ候補の生成処理対象とすることができる。ひいては、類義語／関連語をより良好な効率および精度で抽出可能となる。
また、本実施形態の語彙抽出支援システムにおいて、前記演算装置は、前記文書アーカイブが含む全文書それぞれについて、前記構造化データ候補を生成して、当該構造化データ候補の群を前記確からしさが異なるよう分類し、当該分類の結果に応じて、前記構造化データ候補に対応する文書を、前記異なるアルゴリズムの処理対象とするものである、としてもよい。
これによれば、文書アーカイブ内の文書を特徴が異なるよう予め分類した上で、上述の構造化データ候補の生成処理対象のリソースとすることができる。ひいては、類義語／関連語をより良好な効率および精度で抽出可能となる。
また、本実施形態の語彙抽出支援システムにおいて、前記演算装置は、前記正当性判定による前記構造化データ候補の正否である、誤検出または正当検出に関し寄与した特徴量および文書を所定アルゴリズムで分析し、当該分析結果をもとに低品質と評価された特徴量および文書のフィルタリングを実行するものである、としてもよい。
これによれば、文書アーカイブ内の文書すなわち教師文書データの質向上や構造化データ候補の正当性の改善が図られることとなり、ひいては、類義語／関連語をより良好な効率および精度で抽出可能となる。
また、本実施形態の語彙抽出支援方法において、前記情報処理システムが、前記構造化データ候補を生成するに際し、ユーザ指定の語彙セットを含む複数の文書を前記文書アーカイブから抽出し、当該複数の文書それぞれについて異なるアルゴリズムで前記構造化データ候補を生成し、当該構造化データ候補のうち確からしさが所定レベル以下のものについて、当該構造化データ候補の生成主体とは異なるアルゴリズムに紐付いた前記正当性判定を行い、当該構造化データ候補の正否を確定させる、としてもよい。
また、本実施形態の語彙抽出支援方法において、前記情報処理システムが、前記複数の文書を前記文書アーカイブから抽出するに際し、前記語彙セットを含む文書のうち、ユーザ指定の文書属性に適合する文書を抽出する、としてもよい。
また、本実施形態の語彙抽出支援方法において、前記情報処理システムが、前記文書アーカイブが含む全文書それぞれについて、前記構造化データ候補を生成して、当該構造化データ候補の群を前記確からしさが異なるよう分類し、当該分類の結果に応じて、前記構造化データ候補に対応する文書を、前記異なるアルゴリズムの処理対象とする、としてもよい。
また、本実施形態の語彙抽出支援方法において、前記情報処理システムが、前記正当性判定による前記構造化データ候補の正否である、誤検出または正当検出に関し寄与した特徴量および文書を所定アルゴリズムで分析し、当該分析結果をもとに低品質と評価された特徴量および文書のフィルタリングを実行する、としてもよい。
１０ 語彙抽出支援システム
１００ 管理サーバ
１０１ 記憶装置
１０２ プログラム
１０３ メモリ
１０４ 演算装置
１０５ 入力装置
１０６ 出力装置
１０７ 通信装置
１１０ 文書識別部
１１０１ 文書識別ルール
１１１ hidden relation抽出精度評価部
１１４ 推論寄与特徴量＆文書判別部
１１５ 低品質文書＆特徴量除去部
１１６ 文書アーカイブ
１１７ 抽出relation情報（辞書）
１１７１ 装置名－処理名辞書
１１７２ ｓｙｎｏｎｙｍ辞書
１１７３ 抽出可能サーバ情報
１５０ 構造化データ生成サーバ
１５１ 記憶装置
１５２ プログラム
１５３ メモリ
１５４ 演算装置
１５５ 入力装置
１５６ 出力装置
１５７ 通信装置
１１２ hidden relation抽出部
１１２１ ラベリング部
１１２２ 候補＆特徴量抽出部
１１２２１ 候補＆特徴量抽出テンプレート
１１２３ 学習・推論部
１１３ hidden relation正当性自動判別部
１６０ 文書セット
１６１ hidden relation候補（構造化データ候補）

Claims (9)

  1. 記憶装置と演算装置とを有する語彙抽出支援システムであって、
    前記記憶装置は、
    少なくとも二つの語彙を含む語彙セットを有する文書を含む文書アーカイブと、前記文書アーカイブから前記語彙セットに関して抽出される特徴量とを保持し、
    前記演算装置は、
    前記特徴量と、該特徴量を抽出した語彙セットと、該語彙セットの少なくとも二つの語彙が関係性を有するか否かの確からしさを示す、前記特徴量に基づき所定モデルにより算出される関係存在確率情報と、前記語彙セット毎に予め付与され、該語彙セットの少なくとも二つの語彙が関係性を有するか否かを示すラベルと、を含む語彙関係データ候補を生成する生成部と、
    前記関係存在確率情報に基づいて該語彙セットの少なくとも二つの語彙が関係性を有するか否かを判定する正当性判定部と、
    前記正当性判定部の判定結果と、該判定を行った語彙セットに付与されたラベルとの相違を判定する相違判定部と、
    前記相違判定部において前記判定結果と前記ラベルとが相違していると判定した場合に、該ラベルが付与された語彙セットを有する文書と、該語彙セットから抽出された特徴量とを検出する検出部と、
    前記検出部で検出された特徴量を更新される前記所定モデルの学習データから除外すると共に、前記検出部で検出された文書を前記記憶装置から削除をするフィルタリング処理を実行するフィルタリング処理部とを備える、
    ことを特徴とする語彙抽出支援システム。
  2. 前記生成部は、前記フィルタリング処理で除外された特徴量以外の特徴量と、前記フィルタリング処理で削除された文書以外の文書とに基づき、前記語彙関係データ候補を更新する、
    ことを特徴とする請求項１に記載の語彙抽出支援システム。
  3. 前記相違判定部は、付与された前記ラベルと前記正当性判定部の判定の結果が相違している場合には、誤検出または検出漏れと判定し、
    前記検出部は前記誤検出または検出漏れに寄与していると判定された特徴量および文書を検出する、
    ことを特徴とする請求項２に記載の語彙抽出支援システム。
  4. 前記相違判定部は、前記ラベルが前記関係性を有することを示しているが、前記正当性判定部で前記関係性が存在しないと判定された場合には、検出漏れと判定し、
    前記ラベルが前記関係性を有することを示していないが、前記正当性判定部で前記関係性が存在しうると判定された場合は、誤検出と判定する、
    ことを特徴とする請求項３に記載の語彙抽出支援システム。
  5. 前記検出部は、
    さらに、前記判定結果と前記ラベルとが相違していないと判定した特徴量及び文書を検出し、
    前記フィルタリング処理部は、
    前記特徴量及び文書毎に、相違なしの判定、誤検出および検出漏れの数をカウントし、相違なしの判定よりも、誤検出または検出漏れの数が多い特徴量を除外し文書を削除する、
    ことを特徴とする請求項４に記載の語彙抽出支援システム。
  6. 前記ラベルは、前記語彙のセットが、少なくとも二つのキーワードの語彙セットが登録されている辞書情報に規定されているか否かを示す情報である、
    ことを特徴とする請求項５に記載の語彙抽出支援システム。
  7. 前記正当性判定部は、前記関係存在確率情報が示す確からしさの値が予め定められた閾値以上の場合は前記関係性を有すると、閾値以下の場合は前記関係性を有しないと判定する、
    ことを特徴とする請求項６に記載の語彙抽出支援システム。
  8. 前記特徴量は、語彙間の関係を示唆する助詞である、
    ことを特徴とする請求項7に記載の語彙抽出支援システム。
  9. 記憶装置と演算装置とを有する語彙抽出支援システムが実行する語彙抽出支援方法であって、
    少なくとも二つの語彙を含む語彙セットを有する文書を含む文書アーカイブと、前記文書アーカイブから前記語彙セットに関して抽出される特徴量とを前記記憶装置で保持し、
    前記演算装置が、
    前記特徴量と、該特徴量を抽出した語彙セットと、該語彙セットの少なくとも二つの語彙が関係性を有するか否かの確からしさを示す、前記特徴量に基づき所定モデルにより算出される関係存在確率情報と、前記語彙セット毎に予め付与され、該語彙セットの少なくとも二つの語彙が関係性を有するか否かを示すラベルと、を含む語彙関係データ候補を生成し、
    前記関係存在確率情報に基づいて該語彙セットの少なくとも二つの語彙が関係性を有するか否かを判定し、
    前記関係性の判定の判定結果と、該判定を行った語彙セットに付与されたラベルとの相違を判定し、
    相違の判定において前記判定結果と前記ラベルとが相違していると判定した場合に、該ラベルが付与された語彙セットを有する文書と、該語彙セットから抽出された特徴量とを検出し、
    検出された特徴量を更新される前記所定モデルの学習データから除外すると共に、検出された文書を、前記記憶装置から削除するフィルタリング処理を実行する、
    ことを特徴とする語彙抽出支援方法。
JP2023129567A 2018-12-12 2023-08-08 語彙抽出支援システムおよび語彙抽出支援方法 Active JP7470235B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023129567A JP7470235B2 (ja) 2018-12-12 2023-08-08 語彙抽出支援システムおよび語彙抽出支援方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018232580A JP7330691B2 (ja) 2018-12-12 2018-12-12 語彙抽出支援システムおよび語彙抽出支援方法
JP2023129567A JP7470235B2 (ja) 2018-12-12 2023-08-08 語彙抽出支援システムおよび語彙抽出支援方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018232580A Division JP7330691B2 (ja) 2018-12-12 2018-12-12 語彙抽出支援システムおよび語彙抽出支援方法

Publications (2)

Publication Number Publication Date
JP2023145767A JP2023145767A (ja) 2023-10-11
JP7470235B2 true JP7470235B2 (ja) 2024-04-17

Family

ID=71071647

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018232580A Active JP7330691B2 (ja) 2018-12-12 2018-12-12 語彙抽出支援システムおよび語彙抽出支援方法
JP2023129567A Active JP7470235B2 (ja) 2018-12-12 2023-08-08 語彙抽出支援システムおよび語彙抽出支援方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018232580A Active JP7330691B2 (ja) 2018-12-12 2018-12-12 語彙抽出支援システムおよび語彙抽出支援方法

Country Status (2)

Country Link
US (1) US11397853B2 (ja)
JP (2) JP7330691B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022144778A (ja) 2021-03-19 2022-10-03 株式会社日立製作所 候補アイディアを生成するシステム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011118689A (ja) 2009-12-03 2011-06-16 Univ Of Tokyo 検索方法及びシステム
US20160217128A1 (en) 2015-01-27 2016-07-28 Verint Systems Ltd. Ontology expansion using entity-association rules and abstract relations
JP2019079321A (ja) 2017-10-25 2019-05-23 株式会社東芝 文書理解支援装置、文書理解支援方法、およびプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1429258A4 (en) * 2001-07-26 2007-08-29 Ibm DATA PROCESSING, DATA PROCESSING SYSTEM AND PROGRAM
JP2005092253A (ja) 2003-09-11 2005-04-07 Fuji Xerox Co Ltd 機械学習用データ生成システム及び機械学習用データ生成方法、類似文書対生成システム及び類似文書対生成方法、並びにコンピュータ・プログラム
JP2011501847A (ja) * 2007-10-17 2011-01-13 アイティーアイ・スコットランド・リミテッド コンピュータで実現される方法
US9436663B2 (en) * 2012-12-17 2016-09-06 Hewlett Packard Enterprise Development Lp Presenting documents to a user based on topics and collective opinions expressed in the documents

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011118689A (ja) 2009-12-03 2011-06-16 Univ Of Tokyo 検索方法及びシステム
US20160217128A1 (en) 2015-01-27 2016-07-28 Verint Systems Ltd. Ontology expansion using entity-association rules and abstract relations
JP2019079321A (ja) 2017-10-25 2019-05-23 株式会社東芝 文書理解支援装置、文書理解支援方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHIN, Jaeho et al.，Incremental Knowledge Base Construction Using DeepDive，Cornell University，2015年06月15日，pp.1-19，[検索日 2022.04.04], Internet<URL: https://arxiv.org/abs/1502.00731 >

Also Published As

Publication number Publication date
US11397853B2 (en) 2022-07-26
JP7330691B2 (ja) 2023-08-22
JP2020095452A (ja) 2020-06-18
US20200193090A1 (en) 2020-06-18
JP2023145767A (ja) 2023-10-11

Similar Documents

Publication Publication Date Title
US20230409835A1 (en) Discovering a semantic meaning of data fields from profile data of the data fields
US8453027B2 (en) Similarity detection for error reports
WO2019214245A1 (zh) 一种信息推送方法、装置、终端设备及存储介质
US20180232443A1 (en) Intelligent matching system with ontology-aided relation extraction
US8364618B1 (en) Large scale machine learning systems and methods
Paramesh et al. Automated IT service desk systems using machine learning techniques
US10789225B2 (en) Column weight calculation for data deduplication
CN107844533A (zh) 一种智能问答系统及分析方法
US20090089285A1 (en) Method of detecting spam hosts based on propagating prediction labels
US20090089373A1 (en) System and method for identifying spam hosts using stacked graphical learning
JP7470235B2 (ja) 語彙抽出支援システムおよび語彙抽出支援方法
US11836331B2 (en) Mathematical models of graphical user interfaces
CN108027814A (zh) 停用词识别方法与装置
US11822578B2 (en) Matching machine generated data entries to pattern clusters
Dasgupta et al. Towards auto-remediation in services delivery: Context-based classification of noisy and unstructured tickets
US11604923B2 (en) High volume message classification and distribution
US11816112B1 (en) Systems and methods for automated process discovery
CN116821903A (zh) 检测规则确定及恶意二进制文件检测方法、设备及介质
CN112199573B (zh) 一种非法交易主动探测方法及系统
Han et al. UFTR: A unified framework for ticket routing
WO2020101478A1 (en) System and method for managing duplicate entities based on a relationship cardinality in production knowledge base repository
US20240184661A1 (en) Prediction network for automatic correlation of information
US20240184855A1 (en) Training of prediction network for automatic correlation of information
WO2022129605A1 (en) Method of processing data from a data source, apparatus and computer program
CN118627638A (zh) 一种事件管理方法、装置及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230926

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20231214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240405

R150 Certificate of patent or registration of utility model

Ref document number: 7470235

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150