JP7425662B2 - ラベル設計支援装置、及びラベル設計支援方法 - Google Patents

Description

本発明は、ラベル設計支援装置、及びラベル設計支援方法に関する。

特許文献１には、ラベル付与の負担を低減すると共により柔軟な機械学習を実現することを目的として構成された情報処理装置に関して記載されている。情報処理装置は、制約ラベルが付与された学習用データを用いて機械学習を行う学習部を備え、制約ラベルは、通常ラベルが従うべき制約の種別を定義したラベルであり、学習部は、制約ラベルに基づいて、学習モデルを選択し、制約ラベルに基づき、学習モデルに係るネットワークを選択し、制約ラベルに基づき、学習モデルに係るロス関数を選択し、学習用データに基づき制約ラベルを推定する。

国際公開第２０１９／０９７７８４号

例えば、文書検索システムにおいて検索対象となる文書に含まれている単語にラベルを付与（アノテーション（annotation））する場合、一般的なラベル（場所、人名等）については公開されている定義済みのラベルを利用することが可能である。しかしドメイン（組織における特定の部門等）で固有に用いられている固有表現について適切なカテゴリのラベルを付与するにはラベルの設計が必要になる。尚、固有表現とは、人名や地名等、特定の物事を指す単語の総称である。例えば、「技術者」や「東京都」は、「人」、「場所」についての固有表現である。またこの場合、上記の「人」、「場所」はカテゴリに相当する。

ここで一般にドメインにおけるラベルの設計は、ＩＴ技術者とドメインの知識を有する者（以下、「ＳＭＥ」（Subject Matter Expert）と称する。）が対話を行いつつ進めら
れるが、この場合、次のような課題がある。即ち、例えば、ＳＭＥが主体となってラベルの設計が行われた場合、ドメイン寄りの観点でラベルが設計され、文書に含まれている各単語のラベルへの帰属の判定において複数のラベルの判定に共通の特徴量が用いられて正しいラベルが付与されないことがある。尚、この場合は、例えば、より上位概念のラベルを設定する必要がある。また例えば、ドメインの知識を有していないＩＴ技術者が主体となってラベルの設計が行われた場合、本来、異なるラベルを付与すべき複数の単語に同じラベルが付与されてしまうことがある。

本発明は、上記の課題に鑑みなされたものであり、その目的は、単語に適切なラベルを付与するためのラベルの設計を支援する、ラベル設計支援装置、及びラベル設計支援方法を提供することにある。

上記目的を達成するための本発明の一つは、ラベル設計支援装置であって、情報処理装置を用いて構成され、ラベルと当該ラベルの付与対象となる複数の単語とを対応づけた情報であるラベル設計を記憶する記憶部と、前記ラベル設計において前記ラベルに対応づけられている前記単語を特徴量に基づきベクトル化した単語ベクトルを生成するベクトル化部と、前記単語ベクトルをクラスタリングするクラスタリング部と、前記クラスタリング
の結果と、前記ラベル設計における前記ラベルと前記単語の関係とを比較することにより前記ラベル設計の補正要否を判定するラベル設計評価部と、を備える。

その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄、及び図面により明らかにされる。

本発明によれば、単語に適切なラベルを付与するためのラベルの設計を支援することができる。

ラベル設計支援装置が備える主な機能を示す図である。 ラベル設計原案の一例である。 蓄積特徴量の一例である。 ラベル設計原案の一例である。 ラベル設計原案の一例である。 ラベル設計原案に含まれている単語をクラスタリングした結果を模式的に示した図である。 図５の模式図に図４Ａのラベル設計原案の各ラベルの範囲を表した図である。 図５の模式図に図４Ｂのラベル設計原案の各ラベルの範囲を表した図である。 図６Ａに対応する補正案の模式図である。 図６Ｂに対応する補正案の模式図である。 ラベル設計支援装置の実現に用いる情報処理装置のハードウェア構成例である。 ラベル設計支援処理を説明するフローチャートである。 評価処理を説明するフローチャートである。 ラベル設計提案処理を説明するフローチャートである。 特徴量調整処理を説明するフローチャートである。 適用事例として示す文書検索システムのシステムフロー図である。

以下、実施形態について図面を参照しつつ説明する。以下の説明において、同一のまたは類似する構成について同一の符号を付して重複した説明を省略することがある。また以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。また本発明は、他の種々の形態でも実施する事が可能である。またとくに限定しない限り、各構成要素は単数でも複数でも構わない。また識別情報について説明する際、「識別子」、「ＩＤ」等の表現を適宜用いるが、これらについてはお互いに置換可能である。

図１は、一実施形態として示す情報処理装置（以下、「ラベル設計支援装置１００」と称する。）が備える主な機能を示す図である。ラベル設計支援装置１００は、ラベルの設計を行うユーザ（ＳＭＥ（Subject Matter Expert）、ＩＴ技術者等）が作成した設計原
案（ラベルと単語を対応付けた情報。以下、「ラベル設計原案」と称する。）に含まれている各単語をクラスタリングし、クラスタリングの結果（各単語のクラスタへの帰属の様子）とラベル設計原案におけるラベルと単語の関係（各単語のラベルへの帰属の様子）を比較することによりラベル設計原案を評価し、ラベル設計原案の補正要否を判定する。そしてラベル設計支援装置１００は、補正要と判定した場合、ラベル設計原案を補正し、補正後のラベル設計原案（以下、「ラベル設計結果」と称する。）を出力する。

同図に示すように、ラベル設計支援装置１００は、記憶部１１０、ラベル設計原案受付部１２０、ベクトル化部１３０、クラスタリング部１４０、ラベル設計評価部１５０、ラベル設計補正部１６０、結果出力部１７０、及び閾値設定部１８０の各機能を備える。

記憶部１１０は、ラベル設計原案１１１、蓄積特徴量１１２、第１閾値１１３、第２閾値１１４、ラベル設計結果１１５、及び特徴量調整情報１１６を記憶する。記憶部１１０は、例えば、ＤＢＭＳが提供するデータベースのテーブルや、ファイルシステムが提供するファイルとして、これらの情報（データ）を記憶する。

ラベル設計原案１１１は、前述したラベル設計原案であり、ラベルと当該ラベルを付与する単語とを対応づけた情報を含む。

図２にラベル設計原案１１１の一例を示す。同図に示すように、ラベル設計原案１１１は、ラベルＩＤ１１１１、ラベル１１１２、単語ＩＤ１１１３、及び単語１１１４の各項目を対応づけた複数のエントリ（レコード）で構成される。上記項目のうち、ラベルＩＤ１１１１には、単語に付与するラベルの識別子であるラベルＩＤが設定される。ラベル１１１２には、単語に付与するラベルが設定される。単語ＩＤ１１１３には、単語の識別子である単語ＩＤが設定される。単語１１１４には、ラベルの付与対象となる単語が設定される。

図１に戻り、蓄積特徴量１１２は、例えば、ラベル設計支援装置１００によって設計されたラベル設計を利用してラベル付けが行われた文書を検索対象とする後述の文書検索システム１３００等において過去に用いられた特徴量である。

図３に蓄積特徴量１１２の一例を示す。同図に示すように、蓄積特徴量１１２には、単語と特徴量の対応が管理される。同図に示すように、蓄積特徴量１１２は、単語ＩＤ１１２１、単語１１２２、特徴量ＩＤ１１２３、及び特徴量１１２４の各項目を対応づけた複数のエントリ（レコード）で構成される。

上記項目のうち、単語ＩＤ１１２１には、前述の単語ＩＤが設定される。単語１１２２には、当該ラベルが付与される単語が設定される。特徴量１１２３には、当該単語について当該文書から抽出された特徴量の識別子である特徴量ＩＤが設定される。特徴量１１２４には、当該文書から抽出された特徴量が設定される。特徴量は、例えば、単語の接頭辞や接尾辞に関するもの、単語の周辺に表れる他の単語（共起語）に関するもの、単語の周辺の文脈に関するもの、単語の周辺の文構造（構文）に関するもの等である。

図１に戻り、第１閾値１１３及び第２閾値１１４は、いずれもラベル設計原案１１１の評価に際して用いる閾値である。これらの詳細については後述する。

ラベル設計結果１１５は、ラベル設計支援装置１００がラベル設計原案１１１に基づき生成したラベル設計の結果（以下、「ラベル設計結果」と称する。）に関する情報を含む。

ベクトル化部１３０は、ラベル設計原案１１１に含まれている各単語をクラスタリングするための準備処理として、ラベル設計原案１１１における各単語をベクトル（以下、「単語ベクトル」と称する。）に変換する。上記変換の方法としては、例えば、One hot表
現(TF-IDF等)によるもの、分散表現によるもの（word2vec（Skip-gram、CBOW）等）等が
ある。

クラスタリング部１４０は、ベクトル化部１３０によって生成された単語ベクトルに基づき、ラベル設計原案１１１における各単語をクラスタリングする。上記クラスタリングの方法として、例えば、非階層的手法（k-means法）、階層的手法（分割型、凝集型）等
がある。

ラベル設計評価部１５０は、クラスタリングした単語のクラスタへの帰属の様子とラベル設計原案１１１における各単語のラベルへの帰属の様子を比較することにより、ラベル設計原案１１１を評価し、ラベル設計原案１１１を補正する必要があるか否かを判定する。この判定は、例えば、次のようにして行われる。

図４Ａ及び図４Ｂは夫々、以下の説明で用いるラベル設計原案１１１の一例である。また図５は、図４Ａ及び図４Ｂに示すラベル設計原案１１１に含まれている単語をクラスタリング部１４０がクラスタリングした結果を模式的に示した図である。同図は、単語ＩＤがｗ１～ｗ１３である１３個の単語をクラスタリングした場合であり、これらの単語（単ベクトル）が、クラスタリング部１４０によってＣ１（ｗ１～ｗ５）、Ｃ２（ｗ６～ｗ９）、Ｃ３（ｗ１０～ｗ１３）の３つのクラスタに分類されている。

ここでラベル設計評価部１５０は、例えば、ラベルごとに、代表クラスタ（最も多くの単語が属するクラスタ）の単語が複数のラベルに対応付けられているものがあるか（代表クラスタが重複するラベルが存在するか）否か（以下、「第１判定基準」と称する）に基づき、ラベル設計原案１１１の補正要否を判定する。

図６Ａは、図５に示したクラスタリング結果の模式図に、図４Ａのラベル設計原案１１１の各ラベルの範囲を表した図である。本例の場合、「ラベル１」の代表クラスタはＣ１であり、「ラベル２」の代表クラスタもＣ１であり、「ラベル１」と「ラベル２」は代表クラスタＣ１が重複しており、第１判定基準を満たす。そこでこの場合、ラベル設計評価部１５０は、ラベル設計原案１１１を補正する必要があると判定する。

また例えば、ラベル設計評価部１５０は、ラベルごとに、代表クラスタの重心からの各単語の距離の平均（以下、「平均距離」と称する。）が所定範囲外（予め設定された第１閾値未満または予め設定された第２閾値を超える）であるか否か（以下、「第２判定基準」と称する）に基づき、ラベル設計原案１１１の補正要否を判定する。

図６Ｂは、図５に示したクラスタリング結果の模式図に、図４Ｂのラベル設計原案１１１の各ラベルの範囲を表した図である。本例の場合、「ラベル１」については、代表クラスタであるＣ１の重心からの距離の平均（以下、「平均距離」と称する。）が、第２閾値を超えており（ラベルが大まか過ぎる）、第２判定基準を満たす。また「ラベル２」については、代表クラスタであるＣ３の重心からの平均距離が、第１閾値未満であり（ラベルが細か過ぎる）、第２判定基準を満たす。そこでこの場合、ラベル設計評価部１５０は、ラベル設計原案１１１を補正する必要があると判定する。

図１に戻り、ラベル設計補正部１６０は、ラベル設計評価部１５０がラベル設計原案１１１を補正する必要があると判定した場合にラベル設計原案１１１を補正する。同図に示すように、ラベル設計補正部１６０は、新ラベル設計提案部１６１、特徴量調整部１６２、及び補正処理部１６３の各機能を含む。

新ラベル設計提案部１６１は、ラベル設計原案１１１の補正案を生成してユーザに提示する。

例えば、図６Ａの場合、新ラベル設計提案部１６１は、クラスタリング部１４０により
クラスタリングされた各クラスタにラベルを対応づけた（クラスタ通りにラベルを付与した）、図７Ａに示す補正案を生成してユーザに提示する。

また例えば、図６Ｂの場合、新ラベル設計提案部１６１は、「ラベル１」については重心からの平均距離が第２閾値以下となるようにラベルを設定し直し、「ラベル２」については重心からの平均距離が第１閾値以上となるようにラベルを設定し直した、例えば、図７Ｂに示す補正案を生成してユーザに提示する。

図１に戻り、特徴量調整部１６２は、新ラベル設計提案部１６１が提示した補正案にユーザが同意しない場合に、ベクトル化部１３０が単語をベクトル化する際に用いる特徴量を調整（例えば、新たな特徴量を追加、特徴量の変更、特徴量の削除等）し、調整した特徴量を用いて、クラスタリング部１４０によるクラスタリングと新ラベル設計提案部１６１による補正案の生成を再度行う。特徴量調整部１６２は、調整に用いる特徴量を、例えば、蓄積特徴量１１２から選択する。また特徴量調整部１６２は、調整に用いる特徴量を、例えば、ユーザインタフェースを介してユーザから受け付ける。

補正処理部１６３は、新ラベル設計提案部１６１が提案した補正案にユーザが同意した場合に、上記補正案により補正したラベル設計をラベル設計結果１１５として生成する。尚、特徴量の調整を行った場合、補正処理部１６３は、特徴量の調整内容（追加した特徴量に関する情報等。以下、「特徴量調整情報１１６」と称する。）をラベル設計結果１１５に付帯させる。

結果出力部１７０は、ラベル設計結果１１５を出力する。またラベル設計補正部１６０は、例えば、外部の装置（例えば、文書検索システムの検索対象となる文書に含まれている単語にラベルを付与する装置）に送信する。

閾値設定部１８０は、ラベル設計評価部１５０がラベル設計原案１１１の補正要否の判定に際して参照する、前述の所定範囲の設定（第１閾値１１３、第２閾値１１４の設定）をユーザから受け付ける。

図８に、ラベル設計支援装置１００の実現に用いる情報処理装置のハードウェア構成の一例を示す。例示する情報処理装置１０は、プロセッサ１１、主記憶装置１２、補助記憶装置１３、入力装置１４、出力装置１５、及び通信装置１６を備える。尚、情報処理装置１０は、その全部または一部が、例えば、クラウドシステムによって提供される仮想サーバのように、仮想化技術やプロセス空間分離技術等を用いて提供される仮想的な情報処理資源を用いて実現されるものであってもよい。また情報処理装置１０によって提供される機能の全部または一部を、例えば、クラウドシステムがＡＰＩ（Application Programming Interface）等を介して提供するサービスによって実現してもよい。

プロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable
Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＡＩ（Artificial Intelligence）チップ等を用いて構成されている。

主記憶装置１２は、プログラムやデータを記憶する装置であり、例えば、ＲＯＭ（Read
Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ（ＮＶＲＡＭ（Non Volatile RAM））等である。

補助記憶装置１３は、例えば、ハードディスクドライブ、ＳＳＤ（Solid State Drive
）、光学式記憶装置（ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等）、
ストレージシステム、ＩＣカード、ＳＤカードや光学式記録媒体等の記録媒体の読取／書込装置、クラウドサーバの記憶領域等である。補助記憶装置１３には、記録媒体の読取装置や通信装置１６を介してプログラムやデータを読み込むことができる。補助記憶装置１３に格納（記憶）されているプログラムやデータは主記憶装置１２に随時読み込まれる。

入力装置１４は、外部からの入力を受け付けるインタフェースであり、例えば、キーボード、マウス、タッチパネル、カードリーダ、ペン入力方式のタブレット、音声入力装置等である。

出力装置１５は、処理経過や処理結果等の各種情報を出力するインタフェースである。出力装置１５は、例えば、上記の各種情報を可視化する表示装置（液晶モニタ、ＬＣＤ（Liquid Crystal Display）、グラフィックカード等）、上記の各種情報を音声化する装置（音声出力装置（スピーカ等））、上記の各種情報を文字化する装置（印字装置等）である。尚、例えば、情報処理装置１０が通信装置１６を介して他の装置との間で情報の入力や出力を行う構成としてもよい。

尚、入力装置１４及び出力装置１５は、ユーザとの間で情報の受け付けや情報の提示を行うユーザインタフェースを構成する。

通信装置１６は、他の装置との間の通信を実現する装置である。通信装置１６は、第１通信ネットワーク５や第２通信ネットワーク６を介した他の装置との間の通信を実現する、有線方式または無線方式の通信インタフェースであり、例えば、ＮＩＣ（Network Interface Card）、無線通信モジュール、ＵＳＢモジュール等である。

情報処理装置１０には、例えば、オペレーティングシステム、ファイルシステム、ＤＢＭＳ（DataBase Management System）（リレーショナルデータベース、ＮｏＳＱＬ等）、ＫＶＳ（Key-Value Store）等が導入されていてもよい。

ラベル設計支援装置１００が備える前述した機能は、プロセッサ１１が、主記憶装置１２に格納されているプログラムを読み出して実行することにより、もしくは、これらの装置を構成するハードウェア（ＦＰＧＡ、ＡＳＩＣ、ＡＩチップ等）によって実現される。

続いて、ラベル設計支援装置１００が行う処理についてフローチャートとともに説明する。

図９は、ラベル設計支援装置１００が行う処理（以下、「ラベル設計支援処理Ｓ９００」と称する。）を説明するフローチャートである。以下、同図とともにラベル設計支援処理Ｓ９００について説明する。

同図に示すように、まずラベル設計原案受付部１２０が、ユーザからラベル設計原案１１１を受け付ける（Ｓ９１１）。

続いて、ベクトル化部１３０が、受け付けたラベル設計原案１１１に含まれている単語を単語ベクトルに変換し、クラスタリング部１４０が、単語ベクトルをクラスタリングする（図５を参照）（Ｓ９１２）。

続いて、ラベル設計評価部１５０が、Ｓ９１１で受け付けたラベル設計原案１１１を評価する処理（以下、「評価処理Ｓ９１３」と称する。）を行う。

図１０は、評価処理Ｓ９１３の詳細を説明するフローチャートである。

まずラベル設計評価部１５０は、ラベル設計原案１１１のラベルごとに、単語のクラスタへの帰属の様子とラベル設計原案１１１における各単語のラベルへの帰属の様子を比較する（図６Ａ、図６Ｂを参照）。

続いて、ラベル設計評価部１５０は、クラスタの分布が前述した第１判定基準を満たすか否か、即ち、代表クラスタの単語が複数のラベルに対応付けられているか（代表クラスタが重複するラベルが存在するか）否かを判定する（Ｓ１０１３）。クラスタの分布が第１判定基準を満たす（代表クラスタが重複するラベルがある）場合（Ｓ１０１３：ＹＥＳ）、ラベル設計評価部１５０は、戻り値に「補正要」を設定し（Ｓ１０２０）、評価処理Ｓ９１３を終了する。一方、クラスタの分布が第１判定基準を満たさない場合（Ｓ１０１３：ＮＯ）、処理はＳ１０１４に進む。

Ｓ１０１４では、ラベル設計評価部１５０は、ラベルごとに、代表クラスタからの各単語の平均距離を求める。

続いて、ラベル設計評価部１５０は、第２判定基準を満たすか否か、即ち、求めた各単語の平均距離が所定範囲外（第１閾値未満または第２閾値を超える）であるか否かを判定する。第２判定基準を満たす（平均距離が所定範囲外である）場合（Ｓ１０１５：ＹＥＳ）、ラベル設計評価部１５０は、戻り値に「補正要」を設定し（Ｓ１０２０）、評価処理Ｓ９１３を終了する。一方、第２判定基準を満たさない場合（Ｓ１０１５：ＮＯ）、ラベル設計評価部１５０は、戻り値に「補正不要」を設定し（Ｓ１０１６）、評価処理Ｓ９１３を終了する。

図９に戻り、続いて、ラベル設計支援装置１００は、評価処理Ｓ９１３の戻り値を判定する（Ｓ９１５）。戻り値が「補正不要」であれば（Ｓ９１５：ＮＯ）、ラベル設計補正部１６０が、Ｓ９１１で受け付けたラベル設計原案１１１を内容とするラベル設計結果１１５を生成する（Ｓ９２１）。その後、処理はＳ９２２に進む。一方、戻り値が「補正要」であれば（Ｓ９１５：ＹＥＳ）、ラベル設計補正部１６０が、ラベル設計を提案する処理（以下、「ラベル設計提案処理Ｓ９１６」と称する。）を行う。

図１１は、ラベル設計提案処理Ｓ９１６の詳細を説明するフローチャートである。まずラベル設計補正部１６０は、補正が必要となった要因が、代表クラスタの単語が複数のラベルに対応付けられている（代表クラスタが重複するラベルが存在する（即ち、第１判定基準を満たす））ことであるか否かを判定する（Ｓ１１０１）。ラベル設計補正部１６０が、補正が必要となった要因が代表クラスタの単語が複数のラベルに対応付けられていることであると判定した場合（Ｓ１１０１：ＹＥＳ）、新ラベル設計提案部１６１が、Ｓ９１２のクラスタリングの結果通りのラベル設計（クラスタ通りにラベルを付与したラベル設計）をユーザに提示する（Ｓ１１０２）。その後、ラベル設計提案処理Ｓ９１６は終了する。一方、ラベル設計補正部１６０が、補正が必要となった要因が、代表クラスタの単語が複数のラベルに対応付けられている（第１判定基準を満たす）ことでないと判定した場合（Ｓ１１０１：ＮＯ）、処理はＳ１１１１に進む。

Ｓ１１１１では、ラベル設計補正部１６０が、代表クラスタの重心からの平均距離を第１閾値及び第２閾値と比較する（第２判定基準）。代表クラスタの重心からの平均距離が第２閾値を超える場合（Ｓ１１１１：第２閾値＜平均距離）、新ラベル設計提案部１６１が、代表クラスタの重心からの平均距離が第２閾値以下になるように設定し直したラベル設計をユーザに提示する（Ｓ１１１２）。その後、ラベル設計提案処理Ｓ９１６は終了する。一方、代表クラスタの重心からの平均距離が第１閾値未満である場合（Ｓ１１１１：平均距離＜第２閾値）、新ラベル設計提案部１６１が、代表クラスタの重心からの平均距
離が第１閾値以上になるように設定し直したラベル設計をユーザに提示する（Ｓ１１１３）。その後、ラベル設計提案処理Ｓ９１６は終了する。

図９に戻り、続いて、ラベル設計補正部１６０は、新ラベル設計提案部１６１が提示したラベル設計に同意するか否かをユーザに確認する（Ｓ９１７）。新ラベル設計提案部１６１が提示したラベル設計にユーザが同意する場合（Ｓ９１７：ＹＥＳ）、処理はＳ９２０に進む。一方、新ラベル設計提案部１６１が提示したラベル設計にユーザが同意しない場合（Ｓ９１７：ＮＯ）、ラベル設計補正部１６０は、特徴量を調整する処理（以下、「特徴量調整処理Ｓ９１８」と称する。）を行う。

図１２は、特徴量調整処理Ｓ９１８の詳細を説明するフローチャートである。特徴量調整部１６２は、Ｓ９１２においてベクトル化部１３０が単語をベクトル化する際に用いる特徴量を調整（例えば、新たな特徴量を蓄積特徴量１１２から検索）する（Ｓ１２１１）。特徴量調整部１６２は、例えば、ラベルを付与しようとする単語（例えば、文書に含まれている単語）に対して、より適切にラベルを付与することができるように特徴量を調整する。

特徴量調整部１６２が特徴量を適切に調整することができた（例えば、蓄積特徴量１１２から適切な特徴量を検索することができた）場合（Ｓ１２１２：ＹＥＳ）、特徴量調整処理Ｓ９１８は終了する。一方、特徴量を適切に調整することができなかった場合（例えば、適切な特徴量を蓄積特徴量１１２から検索することができなかった場合）（Ｓ１２１２：ＮＯ）、特徴量調整部１６２は、ユーザから特徴量の調整内容（例えば、追加する新たな特徴量）の入力を受け付ける。その後、特徴量調整処理Ｓ９１８は終了する。

図９に戻り、Ｓ９２０では、ラベル設計補正部１６０は、ユーザが同意したラベル設計（ラベル設計提案処理Ｓ９１６で提示したラベル設計）に基づきラベル設計結果１１５を生成する。尚、特徴量調整処理Ｓ９１８で特徴量の調整内容をユーザから受け付けている場合、ラベル設計補正部１６０は、生成するラベル設計結果１１５に特徴量調整情報１１６を付帯させる。

Ｓ９２２では、結果出力部１７０が、ラベル設計結果１１５を出力する。その後、ラベル設計支援処理Ｓ９００は終了する。

以上に説明したように、本実施形態のラベル設計支援装置１００は、クラスタリングの結果とラベル設計原案１１１におけるラベルと単語の関係を比較することによりラベル設計の補正要否を判定するので、ラベル設計について補正の要否を適切に判定することができる。またラベル設計支援装置１００は、補正要と判定した場合、ラベルの補正案を生成するので、ラベルの設計にかかるユーザの負荷を軽減することができる。このように、ラベル設計支援装置１００は、単語に適切なラベルを付与するためのラベルの設計を支援することができる。

またラベル設計支援装置１００は、代表クラスタの単語が複数のラベルに対応付けられていると判定した場合に、例えば、クラスタリングされた各クラスタにラベルを対応づけた内容のラベル設計の補正案を生成する。そのため、例えば、ＳＭＥが主体となってラベルの設計が行われることによりドメイン寄りの観点でラベルが設計されてしまい、文書に含まれている各単語のラベルへの帰属の判定において複数のラベルの判定に共通の特徴量が用いられてラベルの付与精度が低下してしまうのを防ぐことができる。

またラベル設計支援装置１００は、代表クラスタの重心からの各単語の平均距離が所定範囲外であると判定したラベルについて、例えば、平均距離が所定範囲内になるようにラ
ベルを設定し直した内容のラベル設計の補正案を生成する。そのため、例えば、ドメインの知識を有していないＩＴ技術者が主体となってラベルの設計が行われた場合、本来、異なるラベルを付与すべき複数の単語に同じラベルが付与されてしまうのを防ぐことができる。

またラベル設計支援装置１００は、補正案をユーザに提示することによりユーザが補正案に同意するか否かを受け付け、ユーザが同意した場合に補正案をラベル設計の結果として出力するので、ユーザの意向に沿ったラベル設計を行うことができる。

またラベル設計支援装置１００は、ラベル設計について補正要と判定した場合に、特徴量を調整してベクトル化を行うことにより単語ベクトルを生成してクラスタリングし直し、ラベル設計の補正要否を再度判定するので、適切なラベル設計を行うことができる。

尚、以上では、第１判定基準を満たす場合、第２判定基準を満たす場合、及び提示したラベル設計にユーザが同意しない場合の夫々に対応する３つの補正方法を例示したが、これらの２つ以上の方法を同時に適用してもよい。

＜適用事例＞
続いて、ラベル設計支援装置１００が生成したラベル設計結果１１５の適用事例について説明する。

図１３は、本発明の適用事例として示す文書検索システム１３００のシステムフロー図である。例示する文書検索システム１３００は、ラベル設計支援装置１００が生成したラベル設計結果１１５に基づき、文書に含まれている単語にラベルを付与する機械学習モデルであるラベル付与モデル１１７を生成する。

同図に示すように、例示する文書検索システム１３００は、モデル生成装置２５０、ラベル付与装置２００、文書検索装置３００、及びユーザ装置２を含む。

文書検索装置３００は、テキストデータ等の所定のデータ形式で記述された多数の文書群である文書データ（ラベル付与済）２１５を検索対象として、ユーザ装置２から送られてくる検索条件（クエリ）による検索処理を実行し、検索結果をユーザ装置２に返す。

文書データ（ラベル付与済）２１５は、ラベルの付与対象の文書データである文書データ（ラベル無し）２１１に含まれている単語について、ラベル付与装置２００がラベルを付与することにより生成される。ラベル付与装置２００は、機械学習モデルであるラベル付与モデル１１７を用いて文書データ（ラベル無し）２１１に含まれている単語にラベルを付与することにより、単語とラベルとを対応付けた情報が付帯する文書データ（ラベル付与済）２１５を生成する。

モデル生成装置２５０は、ラベル付与モデル１１７を生成する情報処理装置である。モデル生成装置２５０は、付与しようとするラベルと、当該ラベルの付与対象となる一つ以上の単語のセットを含む情報である、ラベル設計支援装置１００から提供される、ラベル設計結果１１５（特徴量調整情報１１６が付帯する場合は当該特徴量調整情報１１６も含む）と、学習用に用意される、特徴量の抽出元の文書データである学習用文書データ（ラベル無し）２１２とに基づき、ラベル付与モデル１１７を生成する。具体的には、モデル生成装置２５０は、ラベル設計結果１１５においてラベルに対応づけられている各単語について、例えば、公知の特徴量抽出アルゴリズムにより学習用文書データ（ラベル無し）２１２から特徴量を抽出し、抽出した各特徴量について夫々の文書中における出現頻度をスコアリングすることにより得られる確率モデルをラベル付与モデル１１７として生成す
る。尚、ラベル設計結果１１５に特徴量調整情報１１６が付帯する場合、上記各特徴量として当該特徴量調整情報１１６に含まれている特徴量も採用される。

以上の構成からなる文書検索システム１３００は、例えば、鉄道システムや医療機器、建設機械等におけるシステムや装置の障害発生時における、原因特定に用いる過去の類似案件に関する文書の検索、既存の特許文献からの新材料開発に利用可能な実験データの自動抽出、金融分野における財務諸表等の帳票からの与信情報の自動抽出等の様々な分野に適用することが可能であり、これにより各種システムの検索負荷の軽減や検索作業の効率化を図ることができる。

以上、本発明の一実施形態について説明したが、本発明は上記の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また上記実施形態の構成の一部について、他の構成の追加や削除、置換をすることが可能である。

例えば、図５、図６Ａ、図６Ｂ、図７Ａ、図７Ｂでは、単語ベクトルを二次元の模式図で示したが、単語ベクトルの次元は必ずしも限定されず、三次元以上の単語ベクトルを用いてもよい。

また上記の各構成、機能部、処理部、処理手段等は、それらの一部または全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、ＩＣ
カード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また上記の各図において、制御線や情報線は説明上必要と考えられるものを示しており、必ずしも実装上の全ての制御線や情報線を示しているとは限らない。例えば、実際には殆ど全ての構成が相互に接続されていると考えてもよい。

また以上に説明した各情報処理装置の各種機能部、各種処理部、各種データベースの配置形態は一例に過ぎない。各種機能部、各種処理部、各種データベースの配置形態は、これらの装置が備えるハードウェアやソフトウェアの性能、処理効率、通信効率等の観点から最適な配置形態に変更し得る。

また前述した各種のデータを格納するデータベースの構成（スキーマ（Schema）等）は、リソースの効率的な利用、処理効率向上、アクセス効率向上、検索効率向上等の観点から柔軟に変更し得る。

１００ ラベル設計支援装置
１１０ 記憶部
１１１ ラベル設計原案
１１２ 蓄積特徴量
１１３ 第１閾値
１１４ 第２閾値
１１５ ラベル設計結果
１１６ 特徴量調整情報
１２０ ラベル設計原案受付部
１３０ ベクトル化部
１４０ クラスタリング部
１５０ ラベル設計評価部
１６０ ラベル設計補正部
１６１ 新ラベル設計提案部
１６２ 特徴量調整部
１６３ 補正処理部
１７０ 結果出力部
１８０ 閾値設定部
Ｓ９００ ラベル設計支援処理
Ｓ９１３ 評価処理
Ｓ９１６ ラベル設計提案処理
Ｓ９１８ 特徴量調整処理
１３００ 文書検索システム

Claims (15)

1. 情報処理装置を用いて構成され、
   ラベルと当該ラベルの付与対象となる複数の単語とを対応づけた情報であるラベル設計を記憶する記憶部と、
   前記ラベル設計において前記ラベルに対応づけられている前記単語を特徴量に基づきベクトル化した単語ベクトルを生成するベクトル化部と、
   前記単語ベクトルをクラスタリングするクラスタリング部と、
   前記クラスタリングの結果と、前記ラベル設計における前記ラベルと前記単語の関係とを比較することにより前記ラベル設計の補正要否を判定するラベル設計評価部と、
   を備える、ラベル設計支援装置。
2. 請求項１に記載のラベル設計支援装置であって、
   前記ラベル設計評価部は、単語数が最大のクラスタである代表クラスタの単語が複数のラベルに対応付けられているか否かを判定することにより、前記ラベル設計の補正要否を判定する、
   ラベル設計支援装置。
3. 請求項２に記載のラベル設計支援装置であって、
   前記ラベル設計評価部が前記ラベル設計について補正要と判定した場合に、前記ラベル設計の補正案を生成するラベル設計補正部を更に備え、
   前記ラベル設計評価部が、前記代表クラスタの単語が複数のラベルに対応付けられていると判定した場合に、前記ラベル設計補正部が、前記クラスタリング部によりクラスタリングされた各クラスタに前記ラベルの夫々を対応づけた内容の前記ラベル設計の補正案を生成する、
   ラベル設計支援装置。
4. 請求項１に記載のラベル設計支援装置であって、
   前記ラベル設計評価部は、前記ラベルごとに、単語数が最大のクラスタである代表クラスタの重心からの各単語の平均距離が所定範囲内である否かを判定することにより、前記ラベル設計の補正要否を判定する、
   ラベル設計支援装置。
5. 請求項４に記載のラベル設計支援装置であって、
   前記ラベル設計評価部が前記ラベル設計について補正要と判定した場合に、前記ラベル設計の補正案を生成するラベル設計補正部を更に備え、
   前記ラベル設計評価部が、単語数が最大のクラスタである代表クラスタの重心からの各単語の平均距離が所定範囲内でないと判定したラベルについて、前記ラベル設計補正部が、前記平均距離が前記所定範囲内になるように前記ラベルを設定し直した内容の前記ラベル設計の補正案を生成する、
   ラベル設計支援装置。
6. 請求項４に記載のラベル設計支援装置であって、
   前記所定範囲の設定を受け付けるユーザインタフェースを更に備える、
   ラベル設計支援装置。
7. 請求項１に記載のラベル設計支援装置であって、
   前記ラベル設計評価部が前記ラベル設計について補正要と判定した場合に、前記ラベル設計の補正案を生成するラベル設計補正部を更に備え、
   前記ラベル設計補正部は、ユーザインタフェースを介して前記補正案をユーザに提示す
   ることによりユーザが前記補正案に同意するか否かを受け付け、
   ユーザが同意した場合に前記補正案をラベル設計の結果として出力する結果出力部を更に備える、
   ラベル設計支援装置。
8. 請求項１に記載のラベル設計支援装置であって、
   前記ラベル設計評価部が、前記ラベル設計について補正要と判定した場合に、特徴量を調整して前記ベクトル化を行うことにより前記単語ベクトルを生成し、生成した前記単語ベクトルをクラスタリングし、
   前記ラベル設計評価部が、前記クラスタリングの結果と前記ラベル設計における前記ラベルと前記単語の関係を評価することにより、前記ラベル設計の補正要否を再度判定する、
   ラベル設計支援装置。
9. 請求項８に記載のラベル設計支援装置であって、
   前記ラベル設計評価部が前記ラベル設計について補正要と判定した場合に、前記ラベル設計の補正案を生成するラベル設計補正部を更に備え、
   前記ラベル設計補正部は、ユーザインタフェースを介して前記補正案をユーザに提示することによりユーザが前記補正案に同意するか否かを受け付け、
   ユーザが同意した場合に前記ラベル設計の結果と特徴量の前記調整の内容とを出力する結果出力部を更に備える、
   ラベル設計支援装置。
10. 請求項８に記載のラベル設計支援装置であって、
    特徴量の前記調整は、新たな特徴量の追加である、
    ラベル設計支援装置。
11. 情報処理装置が、
    ラベルと当該ラベルの付与対象となる複数の単語とを対応づけた情報であるラベル設計を記憶するステップと、
    前記ラベル設計において前記ラベルに対応づけられている前記単語を特徴量に基づきベクトル化した単語ベクトルを生成するステップと、
    前記単語ベクトルをクラスタリングするステップと、
    前記クラスタリングの結果と、前記ラベル設計における前記ラベルと前記単語の関係とを比較することにより前記ラベル設計の補正要否を判定するステップと、
    を実行する、ラベル設計支援方法。
12. 請求項１１に記載のラベル設計支援方法であって、
    前記情報処理装置が、単語数が最大のクラスタである代表クラスタの単語が複数のラベルに対応付けられているか否かを判定することにより、前記ラベル設計の補正要否を判定するステップ、
    を更に実行する、ラベル設計支援方法。
13. 請求項１２に記載のラベル設計支援方法であって、
    前記情報処理装置が、
    前記ラベル設計について補正要と判定した場合に、前記ラベル設計の補正案を生成するステップを更に実行し、
    前記代表クラスタの単語が複数のラベルに対応付けられていると判定した場合に、前記ラベル設計の補正案を生成するステップにおいて、クラスタリングした各クラスタに前記ラベルの夫々を対応づけた内容の前記ラベル設計の補正案を生成する、
    ラベル設計支援方法。
14. 請求項１１に記載のラベル設計支援方法であって、
    前記情報処理装置が、前記ラベルごとに、単語数が最大のクラスタである代表クラスタの重心からの各単語の平均距離が所定範囲内である否かを判定することにより、前記ラベル設計の補正要否を判定するステップ、
    を更に実行する、ラベル設計支援方法。
15. 請求項１４に記載のラベル設計支援方法であって、
    前記情報処理装置が、
    前記ラベル設計について補正要と判定した場合に、前記ラベル設計の補正案を生成するステップを更に実行し、
    単語数が最大のクラスタである代表クラスタの重心からの各単語の平均距離が所定範囲内でないと判定したラベルについて、前記ラベル設計の補正案を生成するステップにおいて、前記平均距離が前記所定範囲内になるように前記ラベルを設定し直した内容の前記ラベル設計の補正案を生成する、
    ラベル設計支援方法。

Images