JP6849917B2 - 学習用データ生成プログラム、学習用データ生成装置及び学習用データ生成方法 - Google Patents

Description

本発明は、学習用データ生成プログラム、学習用データ生成装置及び学習用データ生成方法に関する。

近年、様々な分野において機械学習の利用が検討されている。例えば、利用者からの問合せを受け付けると、それに含まれる単語や表現に基づき、その問合内容に対する回答内容またはその候補をデータベースから抽出する処理を行う情報処理システムがある。このような情報処理システムにおいて、問合内容に対する適切な回答内容またはその候補を、機械学習の手法を用いて抽出することが考えられている。

特開２００７−１５７００６号公報

問合内容に対する回答内容またはその候補を抽出する情報処理システムでは、例えば、問合せを受け付けたオペレータが、抽出された候補に基づいて適切な回答内容を作成し、利用者に回答する。この時に作成された回答内容と問合内容との組合せを、機械学習の際に用いる学習用データ（教師データ）として蓄積することができる。しかし、このような学習用データの蓄積方法では、１回の問合せにつき１つの学習用データしか蓄積されず、学習用データの蓄積効率が低いという問題点があった。

１つの側面では、本発明は、学習用データを効率的に増やすことが可能な学習用データ生成プログラム、学習用データ生成装置及び学習用データ生成方法を提供することを目的とする。

１つの態様では、学習用データ生成プログラムが提供される。この学習用データ生成プログラムは、コンピュータに、回答情報の引用履歴情報を記憶する記憶部を参照して、いずれかの問合情報に対する回答情報の作成時に他の回答情報が引用されたかどうかの判定を行い、他の回答情報が引用された場合、いずれかの問合情報と、他の回答情報とを含む学習用データを生成する、処理を実行させる。

また、１つの態様では、学習用データ生成装置が提供される。この学習用データ生成装置は、回答情報の引用履歴情報を記憶する記憶部と、引用履歴情報を参照して、いずれかの問合情報に対する回答情報の作成時に他の回答情報が引用されたかどうかの判定を行い、他の回答情報が引用された場合、いずれかの問合情報と、他の回答情報とを含む学習用データを生成する演算部と、を有する。

また、１つの態様では、学習用データ生成方法が提供される。この学習用データ生成方法は、コンピュータが、回答情報の引用履歴情報を記憶する記憶部を参照して、いずれかの問合情報に対する回答情報の作成時に他の回答情報が引用されたかどうかの判定を行い、他の回答情報が引用された場合、いずれかの問合情報と、他の回答情報とを含む学習用データを生成する。

１つの側面では、学習用データを効率的に増やすことができる。

第１の実施の形態に係る学習用データ生成装置の一例を示す図である。 第２の実施の形態に係る情報処理システムの一例を示す図である。 第２の実施の形態に係るサーバのハードウェア構成の一例を示す図である。 第２の実施の形態に係るサーバが有する機能の一例を示す図である。 第２の実施の形態に係るサーバの記憶部が備えるテーブルの一例を示す図である。 第２の実施の形態に係るサーバで問合せが受け付けられた時の説明図である。 第２の実施の形態に係るサーバで新規チケットに対する回答が行われる時の第１の例を説明する図である。 第２の実施の形態に係るサーバに接続されるオペレータ側の端末装置で表示される画面の一例を示す図である。 第２の実施の形態に係るサーバで新規チケットに対する回答が行われる時の第２の例を説明する図である。 第２の実施の形態に係るチケット登録処理フローの一例を示す図である。 第２の実施の形態に係る学習データ生成処理フローの第１の例を示す図である。 第２の実施の形態に係るサーバでの回答及びＦＡＱ作成の一例を説明する図である。 第２の実施の形態に係るサーバに接続されるオペレータ側の端末装置で表示される画面の一例を示す図である。 第２の実施の形態に係るＦＡＱ登録処理フローの一例を示す図である。 第２の実施の形態に係る学習データ生成処理フローの第２の例を示す図である。 第２の実施の形態に係るサーバでの回答の一例を説明する図である。 第２の実施の形態に係るＦＡＱ自動提案処理フローの一例を示す図である。 第２の実施の形態に係る学習処理フローの一例を示す図である。 学習結果テーブルの一例を示す図である。 第２の実施の形態に係る回答情報検索処理フローの一例を示す図である。

以下、実施の形態について図面を参照して説明する。
［第１の実施の形態］
図１は第１の実施の形態に係る学習用データ生成装置の一例を示す図である。

図１に示す学習用データ生成装置１は、問合せに対する適切な回答を出力するための機械学習に用いる学習用データ（教師データ）を生成する。生成される学習用データは、問合せの内容を示す問合情報と、問合せに対する回答の内容を示す回答情報とを含む。

学習用データ生成装置１は、記憶部１ａ及び演算部１ｂを有する。記憶部１ａは、例えば、ＲＡＭ（Random Access Memory）やＨＤＤ（Hard Disk Drive）等、学習用データ生成装置１が備える図示しない記憶装置の記憶領域として実現される。演算部１ｂは、例えば、学習用データ生成装置１が備える図示しないプロセッサとして実現される。この場合、演算部１ｂの処理は、プロセッサが所定のプログラムを実行することで実現される。なお、プロセッサには、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等が含まれ得る。

学習用データ生成装置１は、例えば、オペレータによって作成された問合情報及び回答情報の情報を用いて、学習用データを生成する。例えば、サービスの利用者からの問合せを受け付け、その問合せの内容に対する回答の内容をオペレータが作成し、作成された回答の内容を利用者に対して出力するサービスが提供されるとする。このサービスにおいて、オペレータの操作によって回答の内容が作成され、利用者に回答が出力されると、問合せの内容を示す問合情報と回答の内容を示す回答情報とのペアを含む情報が生成される。以下、この時生成される情報を「データペア」と呼ぶ。

図１では例として、データペアＰ１〜Ｐ３が生成されたとする。データペアＰ１は、問合情報Ａと回答情報ａを含む。データペアＰ２は、問合情報Ｂと回答情報ｂを含む。データペアＰ３は、問合情報Ｃと回答情報ｃを含む。

また、オペレータは、或る問合情報に対する回答情報を作成する際に、既存のデータペアに含まれる回答情報を引用することができる。この時、問合情報の回答情報が、どの回答情報を引用して作成されたかを示す情報が、引用履歴情報２に登録される。図１では例として、引用履歴情報２には、引用先の回答情報を含むデータペア名と、引用元の回答情報を含むデータペア名とが登録されるものとする。

図１の例では、データペアＰ２の回答情報ｂを作成する際に、データペアＰ１の回答情報ａが引用されたとする。この場合、引用履歴情報２には、引用先としてデータペアＰ２を示す「Ｐ２」が登録され、引用元としてデータペアＰ１を示す「Ｐ１」が登録される。更にその後、データペアＰ３の回答情報ｃを作成する際に、データペアＰ２の回答情報ｂが引用されたとする。この場合、引用履歴情報２には、引用先としてデータペアＰ３を示す「Ｐ３」が登録され、引用元としてデータペアＰ２を示す「Ｐ２」が登録される。

記憶部１ａは、上記のような引用履歴情報２を記憶する。演算部１ｂは、作成されたデータペアを用いて学習用データを生成する。例えば、演算部１ｂは、オペレータの操作によって生成されたデータペアそのものを、学習用データとすることができる。しかし、この方法では、生成されたデータペアと同数の学習用データしか生成できず、生成効率が高いとは言えない。そこで、演算部１ｂは、引用履歴情報２を参照しながら、次のような手順で学習用データを更に生成する。

演算部１ｂは、引用履歴情報２を参照し、或る問合情報に対する回答情報の作成時に他の回答情報が引用されたかどうかの判定を行う。ここで、引用されたかどうかが判定される他の回答情報には、或る問合情報に対して直接的に引用されたもののほか、間接的に引用されたもの、即ち、引用された他の回答情報の作成時に引用された更に他の回答情報も含まれてもよい。演算部１ｂは、或る問合情報に対する回答情報の作成時に直接的又は間接的に他の回答情報が引用されたと判定された場合、その問合情報と、それに対して直接的又は間接的に引用された他の回答情報とを含む学習用データを生成する。生成された学習用データは、例えば、記憶部１ａに格納される。

図１の例では、演算部１ｂは、データペアＰ１を処理対象として選択すると、データペアＰ１そのものを学習用データ３ａとして出力する。これとともに、演算部１ｂは、引用履歴情報２を参照し、データペアＰ１の回答情報ａの作成時に他の回答情報が引用されたかを判定する。図１の例では、回答情報ａの作成時には他の回答情報が引用されていないので、学習用データ３ａのみが生成される。

次に、演算部１ｂは、データペアＰ２を処理対象として選択すると、データペアＰ２そのものを学習用データ３ｂとして出力する。これとともに、演算部１ｂは、引用履歴情報２を参照し、データペアＰ２の回答情報ｂの作成時に他の回答情報が引用されたかを判定する。図１の例では、回答情報ｂの作成時にデータペアＰ１の回答情報ａが引用されている。この場合、演算部１ｂは、データペアＰ２の問合情報Ｂと、データペアＰ１の回答情報ａとを含む学習用データ３ｂ１を生成する。

次に、演算部１ｂは、データペアＰ３を処理対象として選択すると、データペアＰ３そのものを学習用データ３ｃとして出力する。これとともに、演算部１ｂは、引用履歴情報２を参照し、データペアＰ３の回答情報ｃの作成時に他の回答情報が引用されたかを判定する。図１の例では、回答情報ｃの作成時にデータペアＰ２の回答情報ｂが直接的に引用されている。この場合、演算部１ｂは、データペアＰ３の問合情報Ｃと、データペアＰ２の回答情報ｂとを含む学習用データ３ｃ１を生成する。

更に、引用履歴情報２によれば、データペアＰ２の回答情報ｂは、データペアＰ１の回答情報ａを引用して作成されている。この場合、回答情報ｃの作成時にはデータペアＰ１の回答情報ａが間接的に引用されている。そこで、演算部１ｂは、データペアＰ３の問合情報Ｃと、間接的に引用されたデータペアＰ１の回答情報ａとを含む学習用データ３ｃ２を生成することもできる。

以上のように、学習用データ生成装置１は、生成済みのデータペアＰ１〜Ｐ３をそのまま用いた学習用データ３ａ〜３ｃに加え、回答情報の引用関係に基づいて、学習用データ３ｂ１，３ｃ１，３ｃ２を更に生成することができる。これにより、学習用データを効率的に増やすことができる。学習用データの生成数が増えることにより、問合せに対する適切な回答を出力するための機械学習の精度を向上させることができる。

［第２の実施の形態］
図２は第２の実施の形態に係る情報処理システムの一例を示す図である。
図２に示す情報処理システム１０００では、問合せの受付けと、その問合せに対する回答の提供を行うサービスに関する処理が行われる。より具体的には、サービスの利用者からの問合せを受け付け、その問合せの内容を示す問合情報に対し、回答の内容を示す回答情報の候補を抽出する処理、及び抽出された候補に基づいてオペレータが作成した回答情報を利用者に回答する処理が行われる。

情報処理システム１０００は、サーバ１００、端末装置２００ａ，２００ｂ，２００ｃ及び端末装置３００を含む。サーバ１００及び端末装置２００ａ，２００ｂ，２００ｃは、ネットワーク４００ａを介して接続されている。サーバ１００及び端末装置３００は、ネットワーク４００ｂを介して接続されている。例えば、ネットワーク４００ａ，４００ｂは、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット等である。サーバ１００は、利用者からの問合せを受け付け、その問合せに対する回答情報を利用者宛てに送信するコンピュータである。端末装置２００ａ，２００ｂ，２００ｃは、利用者が使用する装置である。端末装置３００は、回答情報を作成するオペレータが使用する装置である。

サービスの利用者は、端末装置２００ａ，２００ｂ，２００ｃのいずれかを使用して、任意の質問文の形式で問合せを行う。端末装置２００ａ，２００ｂ，２００ｃは、問合せの内容を示す問合情報をサーバ１００に送信する。サーバ１００は、端末装置３００に対するオペレータの操作に応じて、受信した問合情報に対する回答情報を作成する。サーバ１００は、作成された回答情報を、例えば電子メール等を用いて利用者側の端末装置に送信する。

また、サーバ１００は、利用者に対してＦＡＱ（Frequently Asked Questions）を提供する機能を有する。例えば、利用者は、問合せを行う前に、端末装置２００ａ，２００ｂ，２００ｃのいずれかを使用し、検索キーワードを指定することによってＦＡＱの検索を要求する。サーバ１００は、検索キーワードを含むＦＡＱの情報を利用者の端末装置に送信する。利用者は、ＦＡＱの検索により所望の回答が得られなかった場合に、問合情報をサーバ１００に送信して問合せを行うことができる。

更に、サーバ１００は、オペレータによる回答情報の作成作業を支援する機能を備える。具体的には、サーバ１００は、回答済みの回答情報や公開中のＦＡＱが蓄積されたデータベースを備える。サーバ１００は、問合情報を受信すると、データベースを検索し、問合情報に対する回答情報の候補を抽出し、端末装置３００を介してオペレータに提示する。オペレータは、端末装置３００を使用して、提示された回答情報の候補の内容を参考にしながら、受信した問合情報に対する回答情報を作成することができる。また、オペレータは、提示された回答情報を引用して回答情報を作成することもできる。

また、サーバ１００は、利用者に対して送信された問合情報及び回答情報のペアを含む情報や、作成されたＦＡＱの情報に基づいて、学習用データ（教師データ）を生成する。そして、サーバ１００は、生成された学習用データを用いて、問合情報に対する適切な回答情報の候補を抽出するための機械学習を行う。

次に、サーバ１００のハードウェア構成について説明する。
図３は第２の実施の形態に係るサーバのハードウェア構成の一例を示す図である。
サーバ１００は、プロセッサ１０１、ＲＡＭ１０２、ＨＤＤ１０３、画像信号処理部１０４、入力信号処理部１０５、読み取り装置１０６及び通信インタフェース１０７を有する。

プロセッサ１０１は、マルチプロセッサであってもよい。プロセッサ１０１は、例えば、ＣＰＵ、ＤＳＰ、ＡＳＩＣ又はＦＰＧＡ等である。プロセッサ１０１は、ＣＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ等のうちの２種以上の組合せであってもよい。

ＲＡＭ１０２は、サーバ１００の主記憶装置である。ＲＡＭ１０２は、プロセッサ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部を一時的に記憶する。また、ＲＡＭ１０２は、プロセッサ１０１による処理に用いる各種データを記憶する。

ＨＤＤ１０３は、サーバ１００の補助記憶装置である。ＨＤＤ１０３は、内蔵した磁気ディスクに対して、磁気的にデータの書き込み及び読み出しを行う。ＨＤＤ１０３には、ＯＳのプログラム、アプリケーションプログラム、及び各種データが格納される。サーバ１００は、ＳＳＤ（Solid State Drive）等の他の種類の補助記憶装置を備えてもよく、複数の補助記憶装置を備えてもよい。

画像信号処理部１０４は、プロセッサ１０１からの命令に従って、サーバ１００に接続されたディスプレイ１０８ａに画像を出力する。ディスプレイ１０８ａとしては、ＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ等を用いることができる。

入力信号処理部１０５は、サーバ１００に接続された入力デバイス１０８ｂから入力信号を取得し、プロセッサ１０１に出力する。入力デバイス１０８ｂとしては、例えば、マウスやタッチパネル等のポインティングデバイス、キーボード等を用いることができる。

読み取り装置１０６は、記録媒体１０８ｃに記録されたプログラムやデータを読み取る装置である。記録媒体１０８ｃとして、例えば、フレキシブルディスク（ＦＤ：Flexible Disk）やＨＤＤ等の磁気ディスク、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）等の光ディスク、光磁気ディスク（ＭＯ：Magneto-Optical disk）を使用できる。また、記録媒体１０８ｃとして、例えば、フラッシュメモリカード等の不揮発性の半導体メモリを使用することもできる。読み取り装置１０６は、例えば、プロセッサ１０１からの命令に従って、記録媒体１０８ｃから読み取ったプログラムやデータをＲＡＭ１０２又はＨＤＤ１０３に格納する。

通信インタフェース１０７は、ネットワーク４００ａを介して端末装置２００ａ，２００ｂ，２００ｃと通信を行うためのインタフェースである。また、通信インタフェース２１は、ネットワーク４００ｂを介して端末装置３００と通信を行うためのインタフェースである。

なお、端末装置２００ａ，２００ｂ，２００ｃ及び端末装置３００も、サーバ１００と同様のハードウェアにより実現できる。
次に、サーバ１００が有する機能について説明する。

図４は第２の実施の形態に係るサーバが有する機能の一例を示す図である。
サーバ１００は、問合回答処理部１１０、回答候補抽出処理部１２０、記憶部１３０、学習用データ生成処理部１４０、学習処理部１５０及びＦＡＱ自動提案処理部１６０を有する。

記憶部１３０は、ＲＡＭ１０２又はＨＤＤ１０３に確保された記憶領域として実装される。記憶部１３０には、チケットテーブル１３１、ＦＡＱテーブル１３２、引用履歴テーブル１３３、学習用データテーブル１３４及び学習結果テーブル１３５が記憶される。

チケットテーブル１３１には、生成済みのチケットが登録される。チケットとは、利用者からの問合情報と、その問合情報に対する回答情報とを含むデータ構造体である。チケットは、問合回答処理部１１０が利用者からの問合情報を受信した時に新たに生成され、そのチケットに問合情報が設定される。その後、オペレータの操作によって回答情報が作成されると、作成された回答情報が利用者宛てに送信されるとともに、その回答情報がチケットに設定される。問合回答処理部１１０は、問合情報と回答情報が設定されたチケットをチケットテーブル１３１に登録する。

ＦＡＱテーブル１３２には、生成済みのＦＡＱが登録される。ＦＡＱは、チケットと同様のデータ構造を有しており、問合情報と回答情報とを含む。ＦＡＱは、オペレータの操作に応じて生成され、ＦＡＱテーブル１３２に登録される。また、後述するように、オペレータは、生成済みのチケットの内容を引用してＦＡＱの内容を作成することもできる。

図５は第２の実施の形態に係るサーバの記憶部が備えるテーブルの一例を示す図であって、（Ａ）はチケットテーブルを示す図、（Ｂ）はＦＡＱテーブルを示す図である。
チケットテーブル１３１は、図５（Ａ）に示すように、問合情報が登録される問合情報欄１３１ａ、及び問合情報に対する回答情報が登録される回答情報欄１３１ｂを有する。ＦＡＱテーブル１３２も同様に、図５（Ｂ）に示すように、問合情報が登録される問合情報欄１３２ａ、及び問合情報に対する回答情報が登録される回答情報欄１３２ｂを有する。

なお、チケットテーブル１３１に登録されたチケット、及びＦＡＱテーブル１３２に登録されたＦＡＱは、いずれも学習用データとしても利用される。本実施の形態では、チケット及びＦＡＱの生成、登録タイミングとは非同期に、学習用データの生成処理が実行される。そして、学習用データの生成処理において、チケットテーブル１３１に新たに登録されたチケットや、ＦＡＱテーブル１３２に新たに登録されたＦＡＱが、新たな学習用データとして確定されるものとする。

以下、図４を用いて説明を続ける。
引用履歴テーブル１３３には、チケットと、そのチケットの回答情報の作成時に引用された他のチケット又はＦＡＱとの対応関係（引用関係）を示す情報が登録される。また、引用履歴テーブル１３３には、ＦＡＱと、そのＦＡＱの生成時に引用されたチケットとの対応関係（引用関係）を示す情報も登録される。

学習用データテーブル１３４には、学習用データのうち、チケット間やチケットとＦＡＱとの間の引用関係に基づいて生成された学習用データが登録される。学習用データもチケットと同様のデータ構造を有しており、問合情報と回答情報とを含む。

学習結果テーブル１３５には、機械学習によって得られる学習結果を示す情報が登録される。例えば、学習結果テーブル１３５には、学習用データに含まれる問合情報から抽出したキーワードを、学習用データに含まれる回答情報から抽出したキーワードに変換する変換パラメータが登録される。

問合回答処理部１１０、回答候補抽出処理部１２０、学習用データ生成処理部１４０、学習処理部１５０、及びＦＡＱ自動提案処理部１６０の処理は、例えば、プロセッサ１０１が所定のアプリケーションプログラムを実行することによって実現される。

問合回答処理部１１０は、サービスの利用者側からの問合せの内容を示す問合情報を受信し、受信された問合情報に対する回答情報を利用者側に送信する。
回答候補抽出処理部１２０は、学習結果テーブル１３５に基づき、チケットテーブル１３１及びＦＡＱテーブル１３２から、問合回答処理部１１０によって受信された問合情報に対する回答情報（及びその問合情報、即ちチケット又はＦＡＱ）の候補を抽出する。

問合回答処理部１１０は、抽出された回答情報の候補を端末装置３００を介してオペレータに提示する。オペレータは、提示された回答情報を参照しながら回答情報を作成することができる。問合回答処理部１１０は、作成された回答情報を利用者側に送信する。また、問合回答処理部１１０は、問合情報と、それに対して作成された回答情報とを含む生成済みのチケットを、チケットテーブル１３１に登録する。更に、問合回答処理部１１０は、そのチケットの回答情報の作成時に、候補中の他のチケット又はＦＡＱの回答情報が引用されたか否かを示す情報、引用された場合にはそのチケットと他のチケット又はＦＡＱとの引用関係を示す情報を、引用履歴テーブル１３３に登録する。

また、問合回答処理部１１０は、ＦＡＱの検索要求を利用者から受け付け、ＦＡＱの検索結果を利用者側に提示する。更に、問合回答処理部１１０は、オペレータの操作に応じてＦＡＱを生成し、生成されたＦＡＱをＦＡＱテーブル１３２に登録する。

学習用データ生成処理部１４０は、チケットテーブル１３１に新たに登録されたチケットを用いて学習用データを生成する。その際、学習用データ生成処理部１４０は、引用履歴テーブル１３３を参照し、或るチケットについて、その回答情報が、他のチケット又はＦＡＱの回答情報を直接的に引用したものか否かを判定する。或るチケットの回答情報が、他のチケット又はＦＡＱの回答情報を直接的に引用したものである場合、学習用データ生成処理部１４０は、或るチケットの問合情報と、他のチケット又はＦＡＱの回答情報とを含む学習用データを生成する。学習用データ生成処理部１４０は、このようにして生成した学習用データを、学習用データテーブル１３４に登録する。

学習用データ生成処理部１４０はまた、引用履歴テーブル１３３を参照し、或るチケットの回答情報として引用された回答情報を含む他のチケット又はＦＡＱが、その生成時に更に別のチケット又はＦＡＱの回答情報を引用したものか否かを判定する。別のチケット又はＦＡＱの回答情報を引用したものである場合、即ち別のチケット又はＦＡＱの回答情報が間接的に引用されて或るチケットの回答情報が生成されている場合、学習用データ生成処理部１４０は、その引用関係に基づく学習用データを生成する。具体的には、学習用データ生成処理部１４０は、或るチケットの問合情報と、その回答情報として引用された回答情報に引用されている別のチケット又はＦＡＱの回答情報とを含む学習用データを生成する。学習用データ生成処理部１４０は、このようにして生成した学習用データも、学習用データテーブル１３４に登録する。

また、学習用データ生成処理部１４０は、ＦＡＱテーブル１３２に新たに登録されたＦＡＱを用いて学習用データを生成する。その際、学習用データ生成処理部１４０は、引用履歴テーブル１３３を参照し、或るＦＡＱがチケットの内容を直接的に引用したものか否かを判定する。或るＦＡＱの内容がチケットの内容を直接的に引用したものである場合、学習用データ生成処理部１４０は、引用されたチケットの問合情報と、引用先のＦＡＱの回答情報とを含む学習用データを生成する。学習用データ生成処理部１４０は、このようにして生成した学習用データを、学習用データテーブル１３４に登録する。

学習用データ生成処理部１４０は更に、引用履歴テーブル１３３を参照し、或るＦＡＱの生成時に引用されたチケットが、その生成時に更に別のチケット又はＦＡＱを引用したものか否かを判定する。別のチケット又はＦＡＱを引用したものである場合、学習用データ生成処理部１４０は、その引用関係に基づく学習用データを生成する。具体的には、学習用データ生成処理部１４０は、或るＦＡＱの回答情報と、そのＦＡＱの生成時に引用されたチケットの回答情報として引用された別のチケット又はＦＡＱの問合情報とを含む学習用データを生成する。学習用データ生成処理部１４０は、このようにして生成した学習用データも、学習用データテーブル１３４に登録する。

学習処理部１５０は、チケットテーブル１３１、ＦＡＱテーブル１３２及び学習用データテーブル１３４から学習用データを取得して学習（再学習）処理を行い、学習結果を学習結果テーブル１３５に登録する。例えば、学習処理部１５０は、学習用データに含まれる回答情報から抽出したキーワードに変換する変換パラメータを機械学習し、変換パラメータを学習結果テーブル１３５に登録する。

ＦＡＱ自動提案処理部１６０は、学習用データテーブル１３４に登録された情報に基づいて、ＦＡＱの生成のために引用するのに適するチケットを判別し、判別したチケットを用いたＦＡＱの生成をオペレータに提案する。具体的には、ＦＡＱ自動提案処理部１６０は、チケットの生成時に引用された回数が一定数以上となったチケットを、ＦＡＱの生成のために引用するのに適するチケットと判別する。

＜チケット生成に応じた学習用データの生成＞
図６は第２の実施の形態に係るサーバで問合せが受け付けられた時の説明図である。
例えば、問合回答処理部１１０は、図６に示すような、問合情報Ａを含む新規のチケット１を取得する。例えば、問合回答処理部１１０は、利用者側の端末装置２００ａ，２００ｂ，２００ｃからの問合せを受け付けると、受け付けた問合せの内容を示す問合情報を含む新規のチケット１を生成する。

回答候補抽出処理部１２０は、取得した新規チケット１に含まれる問合情報Ａに対する回答情報の候補（回答候補）５００を抽出する。回答候補５００は、学習結果テーブル１３５に基づき、チケットテーブル１３１及びＦＡＱテーブル１３２から抽出される。例えば、図６に示すような、問合情報Ｘとその回答情報ｘを含むＦＡＱ１、問合情報Ｙとその回答情報ｙを含むＦＡＱ２、問合情報Ｂとその回答情報ｂを含むチケット２、問合情報Ｃとその回答情報ｃを含むチケット３等が、回答候補５００として抽出される。

オペレータは、端末装置３００を使用し、回答候補抽出処理部１２０によって抽出された回答候補５００の内容を参照しながら、問合情報Ａに対する回答情報を作成する。問合回答処理部１１０は、作成された回答情報を利用者側に送信する。

図７は第２の実施の形態に係るサーバで新規チケットに対する回答が行われる時の第１の例を説明する図である。
例えば、図７に示すように、オペレータにより、新規のチケット１の問合情報Ａに対する回答情報ａの作成時に、回答候補５００の中からチケット２の回答情報ｂが引用されたものとする。この場合、オペレータは、引用した回答情報ｂの文章をそのまま使用する、あるいはその文章を編集することで、チケット１の回答情報ａを作成する。

問合回答処理部１１０は、このようにして作成されたチケット１の問合情報Ａ及び回答情報ａを、利用者側に送信（発行）する。問合回答処理部１１０は、発行されたチケット１の問合情報Ａとその回答情報ａとを、チケットテーブル１３１に登録する。

問合回答処理部１１０は更に、発行されたチケット１と、その作成時に引用されたチケット２との引用関係を、引用履歴テーブル１３３に登録する。図７に示すように、引用履歴テーブル１３３は、チケット名の欄と引用チケット／ＦＡＱ名の欄を有する。チケット１の回答情報ａがチケット２の回答情報ｂを引用して作成された場合、チケット名の欄にチケット１の識別番号が登録され、引用チケット／ＦＡＱの欄にチケット２の識別番号が登録される。

その後の学習用データの生成タイミングにおいて、学習用データ生成処理部１４０は、発行されたチケット１を学習用データとして確定する。これとともに、学習用データ生成処理部１４０は、引用履歴テーブル１３３を参照し、チケット１の回答情報ａの作成時に他のチケット又はＦＡＱが引用されているか否かを判定する。図７の例では、チケット１の回答情報ａの作成時にチケット２が引用されている。そのため、学習用データ生成処理部１４０は、チケット１がチケット２を引用していると判定し、チケット１の問合情報Ａとチケット２の回答情報ｂとを含む学習用データを生成する。学習用データ生成処理部１４０は、生成された学習用データを学習用データテーブル１３４（Ｎｏ．１）に登録する。

サーバ１００は、例えばこのようにして、受け付けた回答情報と、それに対する回答情報の作成時に引用された回答情報とを含む学習用データを、学習用データテーブル１３４に蓄積する。

図８は第２の実施の形態に係るサーバに接続されるオペレータ側の端末装置で表示される画面の一例を示す図である。
オペレータ側の端末装置３００には、サーバ１００の問合回答処理部１１０が取得したチケットについて、図８に示すような画面６００がディスプレイに表示される。画面６００には、実行する作業のメニューを示すツールバー６１０、チケットの「概要」の欄６２０、「回答候補」の欄６３０が含まれる。ツールバー６１０には、作業の一例として、「戻る」、「回答」、「記録」、「回送」、「編集」、「検索」、「関連付け」、「チケット発行」、「ＦＡＱ発行」、「印刷」といったメニューが含まれる。「概要」の欄６２０には、問合情報の内容が表示される「質問／現象」の欄６２１、その問合情報に対する回答情報の内容が入力される「回答／対処」の欄６２２が含まれる。「回答候補」の欄６３０には、問合情報に対する回答情報（それを含むチケット又はＦＡＱ）の候補が挙げられ、各候補について、それを「引用して回答」するか否かを選択することができるようになっている。

問合回答処理部１１０が問合情報を含む新規チケットを取得すると、その問合情報の内容が、「質問／現象」の欄６２１に表示される。更に、回答候補抽出処理部１２０によりその問合情報に基づいて抽出された回答情報の候補が、「回答候補」の欄６３０に表示される。例えば、「回答候補」の欄６３０に表示された回答情報の候補の１つをオペレータがクリック操作すると、対応するチケット又はＦＡＱに含まれる問合情報及び回答情報の内容が、ポップアップ画面等を用いて表示される。

オペレータは、例えば、「回答／対処」の欄６２２に文字を入力することにより、回答情報を作成することができる。また、図８では例として、「質問／現象」の欄６２１に表示された問合情報に対し、オペレータが、「回答候補」の欄６３０に挙げられた候補のチケット又はＦＡＱの中から１つを引用して回答したものとする。この場合、オペレータは、各候補に設定された「引用」の表示領域６３１を選択し、更に該当候補について「引用して回答」を選択する。オペレータによって「引用して回答」が選択されると、その候補のチケット又はＦＡＱに含まれる回答情報の内容が、「回答／対処」の欄６２２に表示される。オペレータは、「回答／対処」の欄６２２の内容を、適宜編集することができる。そして、オペレータにより、ツールバー６１０の「回答」が選択されると、「回答／対処」の欄６２２に表示される回答情報が、「質問／現象」の欄６２１に表示される問合情報の内容について問合せが行われた利用者側の端末装置２００ａ等に送信される。

このように、「質問／現象」の欄６２１の問合情報に対し、「回答候補」の欄６３０に挙げられた候補のチケット又はＦＡＱの回答情報が引用されて回答されると、サーバ１００により、その問合情報と、引用された回答情報に基づいて作成された回答情報とを含むチケットが、チケットテーブル１３１に登録される。更に、そのチケットと、回答情報に引用された他のチケット又はＦＡＱとの引用関係が、引用履歴テーブル１３３に登録される。

その後、学習用データの生成タイミングにおいて、上記のように学習用データ生成処理部１４０により学習用データが生成され、生成された学習用データが学習用データテーブル１３４に登録される。なお、学習用データの生成タイミングは、例えば、チケットテーブル１３１に一定数のチケットの情報が登録されたタイミングとすることができる。

図９は第２の実施の形態に係るサーバで新規チケットに対する回答が行われる時の第２の例を説明する図である。
例えば、図９に示すように、オペレータにより、チケット２の問合情報Ｂに対する回答情報ｂの生成時にチケット４の回答情報ｄが引用され、更にその後、チケット１の問合情報Ａに対する回答情報ａの生成時に、チケット２の回答情報ｂが引用されたものとする。

この場合、問合回答処理部１１０は、チケット２の問合情報Ｂに対する回答情報ｂを利用者側に送信（発行）する。これとともに、問合回答処理部１１０は、発行されたチケット２の問合情報Ｂとその回答情報ｂとを、チケットテーブル１３１に登録し、更に、発行されたチケット２と、その生成時に引用されたチケット４との引用関係を、引用履歴テーブル１３３に登録する。

その後、問合回答処理部１１０は、チケット１の問合情報Ａに対する回答情報ａを利用者側に送信（発行）する。これとともに、問合回答処理部１１０は、発行されたチケット１の問合情報Ａとその回答情報ａとを、チケットテーブル１３１に登録し、更に、発行されたチケット１と、その生成時に引用されたチケット２との引用関係を、引用履歴テーブル１３３に登録する。

その後の学習用データの生成タイミングにおいて、学習用データ生成処理部１４０は、新規に登録されたチケットを学習用データとして確定する。これとともに、学習用データ生成処理部１４０は、引用履歴テーブル１３３を参照し、新規のチケットの回答情報の生成時に他のチケット又はＦＡＱが引用されているか否かを判定する。

図９の例では、チケット２の回答情報ｂの作成時にチケット４が引用され、チケット１の作成時にチケット２が引用されている。
この場合、学習用データ生成処理部１４０は、チケット２を学習用データとして確定するとともに、チケット２がチケット４を引用していると判定し、チケット２の問合情報Ｂとチケット４の回答情報ｄとを含む学習用データを生成する。学習用データ生成処理部１４０は、生成された学習用データを、図９に示すように学習用データテーブル１３４（Ｎｏ．１）に登録する。

また、学習用データ生成処理部１４０は、チケット１を学習用データとして確定するとともに、チケット１がチケット２を引用していると判定し、チケット１の問合情報Ａとチケット２の回答情報ｂとを含む学習用データを生成する。学習用データ生成処理部１４０は、生成された学習用データを、図９に示すように学習用データテーブル１３４（Ｎｏ．２）に登録する。

更に、学習用データ生成処理部１４０は、引用履歴テーブル１３３の引用チケット／ＦＡＱ名の欄に登録されているチケットが、それ以前に登録されたレコードにおいてチケット名の欄に登録されているか否かを判定する。即ち、学習用データ生成処理部１４０は、別のチケット又はＦＡＱとの間で引用関係があるか否かを判定する。この例では、図９の引用履歴テーブル１３３に示されるように、チケット１がチケット２を引用し、そのチケット２がチケット４を引用している。従って、引用チケット／ＦＡＱ名の欄に登録されているチケット２は、他のレコードのチケット名の欄に登録されており、そのレコードの引用チケット／ＦＡＱ名の欄に登録された別のチケット４との間で引用関係があると判定される。即ち、チケット１とチケット４とは、チケット１の問合情報Ａに対する回答情報ａの作成時に、チケット４の回答情報ｄが間接的に引用された関係にある。学習用データ生成処理部１４０は、このような間接的な引用関係にあるチケット１とチケット４について、チケット１の問合情報Ａと、チケット４の回答情報ｄとを含む学習用データを生成する。学習用データ生成処理部１４０は、生成された学習用データを、図９に示すように学習用データテーブル１３４（Ｎｏ．３）に登録する。

以上のように、サーバ１００で蓄積される学習用データは、チケット１の問合情報Ａとそれに対する回答情報ａという１対１の関係を示すものに留まらない。サーバ１００では、問合情報Ａと、この問合情報Ａと直接的な引用関係にある回答情報ｂとを含む学習用データ、及び、問合情報Ａと、この問合情報Ａと間接的な引用関係にある回答情報ｄとを含む学習用データが、更に蓄積される。これにより、学習用データを効率的に蓄積していくことができる。このように学習用データを効率的に蓄積していくことで、それを用いた学習処理における学習精度、利用者からの問合情報に対する回答情報の候補抽出精度を、効率的に高めることができる。

図１０は第２の実施の形態に係るチケット登録処理フローの一例を示す図である。
サーバ１００の問合回答処理部１１０は、新規チケットの問合情報に対して回答情報が作成されると、図１０に示すような処理を実行する。以下、図１０に示す処理をステップ番号に沿って説明する。

（Ｓ１１）問合回答処理部１１０は、問合情報とそれに対する回答情報とを含む新規チケットを、チケットテーブル１３１に登録する。
（Ｓ１２）問合回答処理部１１０は、新規チケットの問合情報に対する回答情報の作成時に、回答候補抽出処理部１２０によって回答候補として抽出されたチケット又はＦＡＱから回答情報が引用されたか否かを判定する。引用された場合、問合回答処理部１１０は、処理をステップＳ１３に進める。引用されていない場合、問合回答処理部１１０は、処理を終了する。

（Ｓ１３）問合回答処理部１１０は、新規チケットと、ステップＳ１２で引用されたと判定されたチケット又はＦＡＱとの引用関係を、引用履歴テーブル１３３に登録する。
図１１は第２の実施の形態に係る学習データ生成処理フローの第１の例を示す図である。

サーバ１００の学習用データ生成処理部１４０は、所定の学習データ生成タイミングにおいて、前回の学習データ生成タイミングの後にチケットテーブル１３１に新たに登録されたチケットのそれぞれについて、図１１に示すような処理を実行する。例えば、学習用データ生成処理部１４０は、チケットテーブル１３１に一定数のチケットが新たに登録された段階で、新たに登録されたチケットのそれぞれについて、図１１に示すような処理を実行する。以下、図１１に示す処理をステップ番号に沿って説明する。

（Ｓ２１）学習用データ生成処理部１４０は、チケットテーブル１３１から新規に登録されたチケットを１つ選択する。この処理では、チケットがその登録順に選択される。
（Ｓ２２）学習用データ生成処理部１４０は、ステップＳ２１で選択されたチケットを学習用データとして確定する。例えば、チケットテーブル１３１には、各チケットに対して、学習用データとして確定済みか否かを示すフラグ情報が付加されており、ステップＳ２２では、選択されたチケットに付加されたフラグ情報が「０」から「１」に更新される。この場合、ステップＳ２１では、フラグ情報が「０」になっているチケットの中から、最も先に登録されたチケットが処理対象として選択される。

（Ｓ２３）学習用データ生成処理部１４０は、引用履歴テーブル１３３を参照し、ステップＳ２１で選択されたチケットの生成時に、直接的に引用された他のチケット又はＦＡＱがあるか否かを判定する。この処理では、引用履歴テーブル１３３から、ステップＳ２１で選択されたチケットの識別情報がチケット名の欄に登録されているレコードが特定された場合に、直接的に引用された他のチケット又はＦＡＱがあると判定される。

直接的に引用された他のチケット又はＦＡＱがある場合、学習用データ生成処理部１４０は、処理をステップＳ２４に進める。直接的に引用された他のチケット又はＦＡＱがない場合、学習用データ生成処理部１４０は、選択されたチケットについての処理を終了する。

（Ｓ２４）学習用データ生成処理部１４０は、ステップＳ２１で選択されたチケットの問合情報と、ステップＳ２３で特定されたレコードの引用チケット／ＦＡＱ名の欄に登録されている他のチケット又はＦＡＱの問合情報とを含む学習用データを生成する。

（Ｓ２５）学習用データ生成処理部１４０は、ステップＳ２４で生成された学習用データを、学習用データテーブル１３４に登録する。
（Ｓ２６）学習用データ生成処理部１４０は、引用履歴テーブル１３３を参照し、ステップＳ２１で選択されたチケットの生成時に、間接的に引用された他のチケット又はＦＡＱがあるか否かを判定する。この処理では、ステップＳ２３で引用履歴テーブル１３３から特定されたレコードの引用チケット／ＦＡＱ名の欄に登録されているチケットの識別番号が、それ以前に引用履歴テーブル１３３に登録されたレコードのチケット名の欄に登録されているか否かが判定される。そして、該当レコードが引用履歴テーブル１３３から特定された場合に、間接的に引用された他のチケット又はＦＡＱがあると判定される。

間接的に引用された他のチケット又はＦＡＱがある場合、学習用データ生成処理部１４０は、処理をステップＳ２７に進める。間接的に引用された他のチケット又はＦＡＱがない場合、学習用データ生成処理部１４０は、選択されたチケットについての処理を終了する。

（Ｓ２７）学習用データ生成処理部１４０は、ステップＳ２１で選択されたチケットの問合情報と、ステップＳ２６で特定されたレコードの引用チケット／ＦＡＱ名の欄に登録されている他のチケット又はＦＡＱの回答情報とを含む学習用データを生成する。

（Ｓ２８）学習用データ生成処理部１４０は、ステップＳ２７で生成された学習用データを、学習用データテーブル１３４に登録する。
＜ＦＡＱ生成に応じた学習用データの生成＞
図１２は第２の実施の形態に係るサーバでの回答及びＦＡＱ作成の一例を説明する図である。

例えば、図１２に示すように、チケット１の問合情報Ａに対する回答情報ａとして、チケット２の回答情報ｂが引用されたものとする。引用履歴テーブル１３３には、チケット１と、それに引用されたチケット２との引用関係が登録される。

例えば、チケット１のほかにも複数のチケットの回答情報として引用される等、チケット２の回答情報ｂが有効なものである場合、そのチケット２の内容に基づき、利用者に公開されるＦＡＱが生成される。図１２には、チケット２の内容に基づき、問合情報Ｚとそれに対する回答情報ｚとを含むＦＡＱ３が生成される場合を示している。ＦＡＱ３の問合情報Ｚ及び回答情報ｚは、それぞれチケット２の問合情報Ｂ及び回答情報ｂの内容がそのままコピーされたものでもよいし、それぞれチケット２の問合情報Ｂ及び回答情報ｂの内容が適宜編集されたものであってもよい。

この場合、図１２に示すように、まず、問合回答処理部１１０は、チケット２の問合情報Ｂに対する回答情報ｂを利用者側に送信（発行）する。これとともに、問合回答処理部１１０は、発行されたチケット２の問合情報Ｂとその回答情報ｂとを、チケットテーブル１３１に登録する。

その後、問合回答処理部１１０は、チケット１の問合情報Ａに対する回答情報ａを利用者側に送信（発行）する。これとともに、問合回答処理部１１０は、発行されたチケット１の問合情報Ａとその回答情報ａとを、チケットテーブル１３１に登録し、更に、発行されたチケット１と、その生成時に引用されたチケット２との引用関係を、引用履歴テーブル１３３に登録する。

その後、問合回答処理部１１０は、ＦＡＱ３が生成されると、ＦＡＱ３の問合情報Ｚとその回答情報ｚとを、ＦＡＱテーブル１３２に登録し、更に、生成されたＦＡＱ３と、その生成時に引用されたチケット２との引用関係を、引用履歴テーブル１３３に登録する。ここで、引用履歴テーブル１３３では、チケット名の欄にチケット２の識別番号が登録され、引用チケット／ＦＡＱ名の欄にＦＡＱ３の識別番号が登録されるものとする。

その後の学習用データの生成タイミングにおいて、学習用データ生成処理部１４０は、新規に登録されたＦＡＱを学習用データとして確定する。これとともに、学習用データ生成処理部１４０は、引用履歴テーブル１３３を参照し、新規のＦＡＱの生成時にチケットが引用されているか否かを判定する。図１２の例では、ＦＡＱ３の生成時にチケット２が引用されている。この場合、チケット２の回答情報ｂと、ＦＡＱ３の回答情報ｚとは、直接的な引用関係にあるものと見做せる。このことから、学習用データ生成処理部１４０は、チケット２の問合情報Ｂと、ＦＡＱ３の回答情報ｚとを含む学習用データを生成し、学習用データテーブル１３４に登録する。

更に、学習用データ生成処理部１４０は、引用履歴テーブル１３３を参照し、チケット２の回答情報ｂが、他のチケットの回答情報の生成時に引用されているか否かを判定する。図１２の例では、チケット２の回答情報ｂは、チケット１の回答情報ａの生成時に引用されている。この場合、チケット１の回答情報ａと、ＦＡＱ３の回答情報ｚとは、間接的な引用関係にあるものと見做せる。このことから、学習用データ生成処理部１４０は、チケット１の問合情報Ａと、ＦＡＱ３の回答情報ｚとを含む学習用データを生成し、学習用データテーブル１３４に登録する。

以上のように、ＦＡＱ３が生成され、ＦＡＱ３とチケット１及びチケット２とが図１２に示すような引用関係を有する場合には、ＦＡＱ３そのものをコピーした学習用データに加え、引用関係に基づく２つの学習用データが生成され、記憶部１３０に蓄積される。これにより、学習用データを効率的に蓄積していくことができる。このように学習用データを効率的に蓄積していくことで、それを用いた学習処理における学習精度、利用者からの問合情報に対する回答情報の候補抽出精度を、効率的に高めることができる。

図１３は第２の実施の形態に係るサーバに接続されるオペレータ側の端末装置で表示される画面の一例を示す図である。なお、図１３では、図８と同じ構成要素には同じ符号を付して示している。

オペレータ側の端末装置３００には、サーバ１００が取得したチケットについて、図１３に示すような画面６００がディスプレイに表示される。画面６００には、図８と同様に、実行する作業のメニューを示すツールバー６１０、チケットの「概要」の欄６２０、「回答候補」の欄６３０が含まれる。

例えば、サーバ１００が取得したチケットの問合情報の内容が、「質問／現象」の欄６２１に表示され、その問合情報に基づいて抽出された回答情報の候補が、「回答候補」の欄６３０に表示される。前述のように、オペレータは、「回答／対処」の欄６２２に文字を入力することにより、回答情報を作成することができる。また、「回答候補」の欄６３０に表示された回答候補の１つを引用して回答情報を作成することもできる。回答情報の作成が終了し、オペレータにより、ツールバー６１０の「回答」が選択されると、「回答／対処」の欄６２２に表示される回答情報が、「質問／現象」の欄６２１に表示される問合情報の内容を問い合わせた利用者側の端末装置２００ａ等に送信される。この時、その問合情報と、引用された回答情報とを含むチケットが、チケットテーブル１３１に登録される。なお、ここでは「チケット２」が生成されて、チケットテーブル１３１に登録されたとする。

この状態で、オペレータにより、ツールバー６１０の「ＦＡＱ発行」が選択されると、「質問／現象」の欄６２１に表示されている情報に基づく問合情報と、「回答／対処」の欄６２２に表示されている情報に基づく回答情報とを含むＦＡＱが生成される。ここでは「ＦＡＱ３」が生成されたとする。この場合、ＦＡＱ３は、チケット２に基づいて生成されたことになる。なお、生成されたＦＡＱ３においては、問合情報及び回答情報の内容は、それぞれチケット２の問合情報及び回答情報の内容がそのままコピーされたものであってもよい。あるいは、問合情報及び回答情報の内容は、それぞれチケット２の問合情報及び回答情報の内容が適宜編集されたものであってもよい。

このようにしてＦＡＱ３が生成されると、ＦＡＱ３がＦＡＱテーブル１３２に登録されるとともに、ＦＡＱ３とチケット２との引用関係が引用履歴テーブル１３３に登録される。

図１４は第２の実施の形態に係るＦＡＱ登録処理フローの一例を示す図である。
サーバ１００の問合回答処理部１１０は、新規ＦＡＱの作成に伴い、図１４に示すような処理を実行する。以下、図１４に示す処理をステップ番号に沿って説明する。

（Ｓ３１）問合回答処理部１１０は、問合情報とそれに対する回答情報とを含む新規ＦＡＱを、ＦＡＱテーブル１３２に登録する。
（Ｓ３２）問合回答処理部１１０は、新規ＦＡＱの生成時にチケットが引用されたか否かを判定する。引用された場合、問合回答処理部１１０は、処理をステップＳ３３に進める。引用されていない場合、問合回答処理部１１０は、処理を終了する。

（Ｓ３３）問合回答処理部１１０は、新規ＦＡＱと、ステップＳ３２で引用されたと判定されたチケットとの引用関係を、引用履歴テーブル１３３に登録する。
図１５は第２の実施の形態に係る学習データ生成処理フローの第２の例を示す図である。

サーバ１００の学習用データ生成処理部１４０は、所定の学習データ生成タイミングにおいて、前回の学習データ生成タイミングの後にＦＡＱテーブル１３２に新たに登録されたチケットのそれぞれについて、図１５に示すような処理を実行する。例えば、学習用データ生成処理部１４０は、ＦＡＱテーブル１３２に一定数のＦＡＱが新たに登録された段階で、新たに登録されたＦＡＱのそれぞれについて、図１５に示すような処理を実行する。以下、図１５に示す処理をステップ番号に沿って説明する。

（Ｓ４１）学習用データ生成処理部１４０は、ＦＡＱテーブル１３２から新規に登録されたＦＡＱを１つ選択する。この処理では、ＦＡＱがその登録順に選択される。
（Ｓ４２）学習用データ生成処理部１４０は、ステップＳ４１で選択されたＦＡＱを学習用データとして確定する。例えば、ＦＡＱテーブル１３２には、各ＦＡＱに対して、学習用データとして確定済みか否かを示すフラグ情報が付加されており、ステップＳ４２では、選択されたＦＡＱに付加されたフラグ情報が「０」から「１」に更新される。この場合、ステップＳ４１では、フラグ情報が「０」になっているＦＡＱの中から、最も先に登録されたＦＡＱが処理対象として選択される。

（Ｓ４３）学習用データ生成処理部１４０は、引用履歴テーブル１３３を参照し、ステップＳ４１で選択されたＦＡＱの生成時に、直接的に引用されたチケットがあるか否かを判定する。この処理では、引用履歴テーブル１３３から、ステップＳ４１で選択されたＦＡＱの識別情報が引用チケット／ＦＡＱ名の欄に登録されているレコードが特定された場合に、直接的に引用されたチケットがあると判定される。

直接的に引用されたチケットがある場合、学習用データ生成処理部１４０は、処理をステップＳ４４に進める。直接的に引用されたチケットがない場合、学習用データ生成処理部１４０は、選択されたＦＡＱについての処理を終了する。

（Ｓ４４）学習用データ生成処理部１４０は、ステップＳ４３で特定されたレコードのチケット名の欄に登録されているチケットの問合情報と、ステップＳ４１で選択されたＦＡＱの回答情報とを含む学習用データを生成する。

（Ｓ４５）学習用データ生成処理部１４０は、ステップＳ４４で生成された学習用データを、学習用データテーブル１３４に登録する。
（Ｓ４６）学習用データ生成処理部１４０は、引用履歴テーブル１３３を参照し、ステップＳ４１で選択されたＦＡＱの回答情報を間接的に引用している他のチケットがあるか否かを判定する。この処理では、ステップＳ４３で引用履歴テーブル１３３から特定されたレコードのチケット名の欄に登録されているチケットの識別番号が、それ以前に引用履歴テーブル１３３に登録されたレコードの引用チケット／ＦＡＱ名の欄に登録されているか否かが判定される。そして、該当レコードが引用履歴テーブル１３３から特定された場合に、ＦＡＱの回答情報を間接的に引用している他のチケットがあると判定される。

間接的に引用している他のチケットがある場合、学習用データ生成処理部１４０は、処理をステップＳ４７に進める。間接的に引用している他のチケットがない場合、学習用データ生成処理部１４０は、選択されたＦＡＱについての処理を終了する。

（Ｓ４７）学習用データ生成処理部１４０は、ステップＳ４６で特定されたレコードのチケット名の欄に登録されているチケットの問合情報と、ステップＳ４１で選択されたＦＡＱの回答情報とを含む学習用データを生成する。

（Ｓ４８）学習用データ生成処理部１４０は、ステップＳ４７で生成された学習用データを、学習用データテーブル１３４に登録する。
＜学習用データ生成処理の変形例＞
図６〜図１１に示した、チケット生成に応じた学習用データの生成処理では、学習用データの生成処理を、チケット生成タイミングとは非同期のタイミングで実行した。しかし、別の処理例として、チケットが生成されるとすぐに、そのチケットに基づいて学習用データの生成処理が実行されてもよい。この場合、例えば、図１０及び図１１のフローチャートは次のように変形されればよい。

まず、問合回答処理部１１０は、図１０のステップＳ１１〜Ｓ１３を実行する。これにより、新規のチケットがチケットテーブル１３１に登録され、そのチケットが他のチケット又はＦＡＱの引用により生成された場合には、引用関係を示す情報が引用履歴テーブル１３３に登録される。続いて、学習用データ生成処理部１４０は、生成された新規のチケットを処理対象として、図１１のステップＳ２２〜Ｓ２８の処理を実行する。即ち、ステップＳ２２〜Ｓ２８の処理では、ステップＳ２１で選択されたチケットの代わりに、生成された新規のチケットが適用される。これにより、生成されたチケットに基づく学習データの生成処理が実行される。

また、上記の変形例では、例えば、ステップＳ１３において、問合回答処理部１１０は、新規チケットと、その生成時に引用された他のチケット又はＦＡＱとの引用関係を、引用履歴テーブル１３３に登録せずに、ＲＡＭ１０２に一時的に保持してもよい。なお、この時に保持される情報も、引用履歴の一形態である。このように処理が変形された場合、ステップＳ２３において、学習用データ生成処理部１４０は、ステップＳ１３で一時的に保持された情報が存在するか否かによって、直接的に引用された他のチケット又はＦＡＱがあるか否かを判定する。また、直接的に引用された他のチケット又はＦＡＱがあると判定された場合、学習用データ生成処理部１４０は、ステップＳ２４において、ステップＳ１３の手順で引用関係を示す情報を引用履歴テーブル１３３に登録する。この時に登録されるレコードは、ステップＳ２６において「ステップＳ２３で引用履歴テーブル１３３から特定されたレコード」として取り扱われる。

一方、図１２〜図１５に示した、ＦＡＱ生成に応じた学習用データの生成処理では、学習用データの生成処理を、ＦＡＱ生成タイミングとは非同期のタイミングで実行した。しかし、別の処理例として、ＦＡＱが生成されるとすぐに、そのＦＡＱに基づいて学習用データの生成処理が実行されてもよい。この場合、例えば、図１４及び図１５のフローチャートは次のように変形されればよい。

まず、問合回答処理部１１０は、図１４のステップＳ３１〜Ｓ３３を実行する。これにより、新規のＦＡＱがＦＡＱテーブル１３２に登録され、そのＦＡＱがチケットの引用により生成された場合には、引用関係を示す情報が引用履歴テーブル１３３に登録される。続いて、学習用データ生成処理部１４０は、生成された新規のＦＡＱを処理対象として、図１５のステップＳ４２〜Ｓ４８の処理を実行する。即ち、ステップＳ４２〜Ｓ４８の処理では、ステップＳ４１で選択されたＦＡＱの代わりに、生成された新規のＦＡＱが適用される。これにより、生成されたＦＡＱに基づく学習データの生成処理が実行される。

更に、前述のチケット生成に応じた学習用データの生成処理と同様、上記の変形例では、例えば、ステップＳ３３において、問合回答処理部１１０は、新規ＦＡＱと、その生成時に引用されたチケットとの引用関係を、引用履歴テーブル１３３に登録せずに、ＲＡＭ１０２に一時的に保持してもよい。なお、この時に保持される情報も、引用履歴の一形態である。このように処理が変形された場合、ステップＳ４３において、学習用データ生成処理部１４０は、ステップＳ３３で一時的に保持された情報が存在するか否かによって、直接的に引用されたチケットがあるか否かを判定する。また、直接的に引用されたチケットがあると判定された場合、学習用データ生成処理部１４０は、ステップＳ４４において、ステップＳ３３の手順で引用関係を示す情報を引用履歴テーブル１３３に登録する。この時に登録されるレコードは、ステップＳ４６において「ステップＳ４３で引用履歴テーブル１３３から特定されたレコード」として取り扱われる。

＜ＦＡＱの自動提案処理＞
上記のようなサーバ１００では、学習用データテーブル１３４を利用し、ＦＡＱの生成をオペレータに対して自動的に提案する機能を持たせることができる。ここでは、このような機能について図１６及び図１７を参照して説明する。

図１６は第２の実施の形態に係るサーバでの回答の一例を説明する図である。
例えば、図１６の上側に示すように、チケット５の問合情報Ｅに対する回答情報ｅの作成時、チケット６の問合情報Ｆに対する回答情報ｆの作成時、チケット７の問合情報Ｇに対する回答情報ｇの作成時等に、チケット１の回答情報ａが引用されたものとする。この場合、図１６の下側に示すように、学習用データテーブル１３４には、チケット５の問合情報Ｅとチケット１の回答情報ａとを含む学習データ（Ｎｏ．１）、チケット６の問合情報Ｆとチケット１の回答情報ａとを含む学習データ（Ｎｏ．２）、チケット７の問合情報Ｇとチケット１の回答情報ａとを含む学習データ（Ｎｏ．３）等が登録される。

この例のように、同一のチケット１の回答情報が他のチケットの生成時に何回も引用されている場合、引用元のチケット１の内容は利用者から問合せの多い内容であるので、ＦＡＱとして公開することが望ましいと判断できる。そして、学習用データテーブル１３４の回答情報欄に登録されている回答情報ａの数から、それが引用された回数を知ることができる。

そこで、ＦＡＱ自動提案処理部１６０は、学習用データテーブル１３４の回答情報欄に登録されている同一チケットの回答情報の数、即ち同一チケットが引用された回数を計測する。ＦＡＱ自動提案処理部１６０は、あるチケットの引用回数が一定回数以上の場合、オペレータに対して、そのチケットを用いたＦＡＱの作成を自動的に提案する。

図１７は第２の実施の形態に係るＦＡＱ自動提案処理フローの一例を示す図である。
（Ｓ５１）ＦＡＱ自動提案処理部１６０は、学習用データテーブル１３４の回答情報欄を参照し、回答情報欄に回答情報が登録されたチケット毎の登録数をカウントする。なお、学習用データテーブル１３４の回答情報欄には、回答情報の内容とともに、その回答情報がどのチケットに含まれるかを示す識別情報も登録されているものとする。

（Ｓ５２）ＦＡＱ自動提案処理部１６０は、ステップＳ５１のカウント処理により、登録数が一定数以上であるチケットがあったか否かを判定する。該当するチケットがあった場合、ＦＡＱ自動提案処理部１６０は、処理をステップＳ５３に進める。該当するチケットがなかった場合、ＦＡＱ自動提案処理部１６０は、処理を終了する。

（Ｓ５３）ＦＡＱ自動提案処理部１６０は、オペレータ側の端末装置３００を介して、登録数が一定数以上であるチケットを用いてＦＡＱを生成することを提案する提案情報を、オペレータに通知する。

（Ｓ５４）オペレータによってＦＡＱを生成する操作が行われた場合、ＦＡＱ自動提案処理部１６０は、生成されたＦＡＱをＦＡＱテーブル１３２に登録する。
以上の処理により、サーバ１００は、生成済みチケットの中から、ＦＡＱを生成するために適するチケットを自動的に抽出して、オペレータに通知することができる。これにより、オペレータによるＦＡＱの生成作業効率を高めることができる。また、ＦＡＱ自動提案処理部１６０は、例えば、抽出されたチケットを用いたＦＡＱの生成を提案するのではなく、そのチケットを用いてＦＡＱを自動的に生成して、ＦＡＱテーブル１３２に登録してもよい。この場合、ＦＡＱを効率的に生成することができる。

なお、以上の図１５及び図１６の処理では、ＦＡＱ自動提案処理部１６０は、学習用データテーブル１３４を参照して、引用回数が一定回数以上のチケットを判別した。しかし、例えば、ＦＡＱ自動提案処理部１６０は、学習用データテーブル１３４の代わりに引用履歴テーブル１３３を参照して、引用回数が一定回数以上のチケットを判別してもよい。この場合、ＦＡＱ自動提案処理部１６０は、引用履歴テーブル１３３の引用チケット／ＦＡＱ名の欄を参照して、登録数が一定数以上のチケットを判別する。このように引用履歴テーブル１３３を参照した場合には、他のチケットの生成時に直接的に引用されたチケットのみがカウントの対象となり、間接的に引用されたチケットはカウントの対象から外れる。

＜学習処理及び回答候補の検索処理＞
次に、問合情報に対する適切な回答情報を抽出するための学習処理の一例と、その学習処理の結果を用いて、新たな問合情報に対する回答情報の候補を検索する処理の一例について説明する。

まず、学習処理について説明する。ここでは一例として、学習用データに含まれる問合情報から抽出したキーワードを、学習用データに含まれる回答情報から抽出したキーワードに変換する変換パラメータが機械学習されるものとする。なお、学習用データとしては、チケットテーブル１３１に登録されたチケットと、ＦＡＱテーブル１３２に登録されたＦＡＱと、学習用データテーブル１３４に登録された学習用データとが用いられる。

図１８は第２の実施の形態に係る学習処理フローの一例を示す図である。
（Ｓ６１）学習処理部１５０は、学習処理の実行タイミングになるまで待機する。そして、学習処理部１５０は、学習処理の実行タイミングになると、処理をステップＳ６２に進める。

（Ｓ６２）学習処理部１５０は、学習用データに含まれる問合情報からキーワードを抽出する。例えば、学習処理部１５０は、問合情報に対して形態素分析を行うことにより、キーワードを抽出する。

（Ｓ６３）学習処理部１５０は、学習用データに含まれる回答情報からキーワードを抽出する。例えば、学習処理部１５０は、ステップＳ６２と同様に、回答情報に対して形態素分析を行うことにより、キーワードを抽出する。

（Ｓ６４）学習処理部１５０は、ステップＳ６２で抽出されたキーワードをステップＳ６３で抽出されたキーワードに変換する変換パラメータを、機械学習する。例えば、学習処理部１５０は、ステップＳ６２で抽出されたキーワードとステップＳ６３で抽出されたキーワードとを教師データとして識別関数に与えることにより、変換パラメータを算出する。学習処理部１５０は、ステップＳ６２で抽出されたキーワードとステップＳ６３で抽出されたキーワードとを識別関数に入力して、変換パラメータを算出する。学習処理部１５０は、問合情報から抽出された各キーワードと回答情報から抽出された各キーワードとの組み合わせ毎に、変換パラメータの機械学習を行う。

図１９は学習結果テーブルの一例を示す図である。
図１９に示す学習結果テーブル１３５には、図１８のステップＳ６２で問合情報から抽出されたキーワードを示す項目が、縦方向に並列される。また、図１８のステップＳ６３で回答情報から抽出されたキーワードを示す項目が、横方向に並列される。そして、学習結果テーブル１３５には、縦方向に並ぶキーワードのそれぞれと、横方向に並ぶキーワードのそれぞれとの組み合わせ毎に、機械学習によって得られた変換パラメータが登録される。

次に、学習結果テーブル１３５を参照して、新たな問合情報に対する回答情報の候補を検索する処理について説明する。
図２０は第２の実施の形態に係る回答情報検索処理フローの一例を示す図である。

（Ｓ７１）回答候補抽出処理部１２０は、問合回答処理部１１０が利用者からの新たな問合情報を受け付けるまで待機する。そして、回答候補抽出処理部１２０は、問合回答処理部１１０が新たな問合情報を受け付け、回答候補抽出処理部１２０からその問合情報が通知されると、処理をステップＳ７２に進める。

（Ｓ７２）回答候補抽出処理部１２０は、通知された問合情報からキーワードを抽出する。例えば、回答候補抽出処理部１２０は、通知された問合情報に対して形態素分析を行うことにより、キーワードを抽出する。以下、抽出されたキーワードを「変換前キーワード」と呼ぶ。

（Ｓ７３）回答候補抽出処理部１２０は、学習結果テーブル１３５に登録された変換パラメータを用いて、ステップＳ７２で抽出された変換前キーワードを変換し、変換後キーワードを取得する。

（Ｓ７４）回答候補抽出処理部１２０は、ステップＳ７３で取得した変換後キーワードを用いて、チケットテーブル１３１及びＦＡＱテーブル１３２を検索する。回答候補抽出処理部１２０は、チケットテーブル１３１に登録されたチケット及びＦＡＱテーブル１３２に登録されたＦＡＱの各回答情報の中から、所定数の回答情報を検索結果として抽出する。回答候補抽出処理部１２０は、抽出された各回答情報が含まれるチケットまたはＦＡＱを問合回答処理部１１０に受け渡す。これにより、これらのチケットまたはＦＡＱが、図８に示した画面６００の「回答候補」の欄６３０に表示される。

ここで、ステップＳ７３，Ｓ７４の処理の具体例について更に説明する。例えば、ステップＳ７３において、回答候補抽出処理部１２０は、ステップＳ７２で抽出された変換前キーワードとの相関度を、図１８のステップＳ６３で回答情報から抽出されたキーワード毎に算出する。

例えば、変換前キーワードとして「監視」と「条件」が抽出されたとする。回答候補抽出処理部１２０は、図１９に示す学習結果テーブル１３５のうち、左端の項目に「監視」、「条件」がそれぞれ設定された行を参照する。回答候補抽出処理部１２０は、変換前キーワード「監視」と、上端の項目に設定された各キーワード、即ち、学習用データの回答情報から抽出された各キーワードとの間の変換パラメータを取得する。更に、変換前キーワード「条件」についても同様に、「条件」と、学習用データの回答情報から抽出された各キーワードとの間の変換パラメータを取得する。

次に、回答候補抽出処理部１２０は、学習用データの回答情報から抽出された同じキーワードについて取得された変換パラメータを加算することで、新たな問合情報と、学習用データの回答情報から抽出された各キーワードとの間の相関度を算出する。例えば、変換前キーワード「監視」と、学習用データの回答情報から抽出されたキーワード「イベント」との間の変換パラメータとして、「０．３」が取得される。また、変換前キーワード「条件」と、学習用データの回答情報から抽出されたキーワード「イベント」との間の変換パラメータとして、「０．３」が取得される。この場合、新たな問合情報と、学習用データの回答情報から抽出された各キーワードとの間の相関度として、「０．６」が算出される。

次に、回答候補抽出処理部１２０は、学習用データの回答情報から抽出されたキーワードの中から、相関度が所定閾値を超えるキーワードを、変換後キーワードとして特定する。そして、回答候補抽出処理部１２０は、特定された変換後キーワードを検索キーとして、チケットテーブル１３１に登録されたチケット及びＦＡＱテーブル１３２に登録されたＦＡＱの各回答情報を検索する。回答候補抽出処理部１２０は、検索による評価値の高い（例えば、特定された変換後キーワードをより多く含む）回答情報を所定数特定し、特定した回答情報が含まれるチケットまたはＦＡＱを検索結果として問合回答処理部１１０に出力する。

このような処理により、機械学習の結果に基づき、新たに受け付けた問合情報に対する適切な回答情報の候補を含むチケットまたはＦＡＱを検索することができる。その結果、オペレータによる回答情報の作成作業を支援し、その作業効率を向上させることができる。

なお、上記の各実施の形態に示した装置（例えば、学習用データ生成装置１、サーバ１００）の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリ等がある。磁気記憶装置には、ＨＤＤ、フレキシブルディスク、磁気テープ等がある。光ディスクには、ＤＶＤ、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等がある。光磁気記録媒体には、ＭＯ等がある。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。

１ 学習用データ生成装置
１ａ 記憶部
１ｂ 演算部
２ 引用履歴情報
３ａ，３ｂ，３ｂ１，３ｃ，３ｃ１，３ｃ２ 学習用データ

Claims (7)

1. 回答情報の引用履歴情報を記憶する記憶部を参照して、いずれかの問合情報に対する回答情報の作成時に他の回答情報が引用されたかどうかの判定を行い、
   前記他の回答情報が引用された場合、前記いずれかの問合情報と、前記他の回答情報とのペアを含む学習用データを新たに生成する、
   処理をコンピュータに実行させることを特徴とする学習用データ生成プログラム。
2. 前記判定で前記他の回答情報が引用されたと判定される条件には、前記他の回答情報が、他の問合情報に対する回答情報の作成時に引用され、前記他の問合情報に対する回答情報が、前記いずれかの問合情報に対する回答情報の作成時に引用された場合が含まれることを特徴とする請求項１に記載の学習用データ生成プログラム。
3. 前記判定で前記他の回答情報が引用されたと判定される条件には、前記他の回答情報が、前記いずれかの問合情報に対する回答情報の作成時に直接的に引用された場合が更に含まれることを特徴とする請求項２に記載の学習用データ生成プログラム。
4. 前記他の回答情報に基づいて、新たな問合情報と新たな回答情報とのペアを含むＦＡＱ（Frequently Asked Questions）を生成し、
   前記他の回答情報に対応する他の問合情報と、前記新たな回答情報とのペアを含む新たな学習用データと、前記いずれかの問合情報と、前記新たな回答情報とのペアを含む新たな学習用データを生成する、
   処理を前記コンピュータに更に実行させることを特徴とする請求項１に記載の学習用データ生成プログラム。
5. 生成された前記学習用データを前記記憶部に蓄積し、
   前記記憶部に前記学習用データが複数蓄積された時、複数の前記学習用データの中に、前記判定において前記他の回答情報として引用されたと判定された同一内容の回答情報を含む特定データが一定数以上存在する場合には、前記特定データをＦＡＱの生成のために用いるデータの候補として出力する、
   処理を前記コンピュータに更に実行させることを特徴とする請求項１乃至３のいずれか１項に記載の学習用データ生成プログラム。
6. 回答情報の引用履歴情報を記憶する記憶部と、
   前記引用履歴情報を参照して、いずれかの問合情報に対する回答情報の作成時に他の回答情報が引用されたかどうかの判定を行い、前記他の回答情報が引用された場合、前記いずれかの問合情報と、前記他の回答情報とのペアを含む学習用データを新たに生成する演算部と、
   を有することを特徴とする学習用データ生成装置。
7. コンピュータが、
   回答情報の引用履歴情報を記憶する記憶部を参照して、いずれかの問合情報に対する回答情報の作成時に他の回答情報が引用されたかどうかの判定を行い、
   前記他の回答情報が引用された場合、前記いずれかの問合情報と、前記他の回答情報とのペアを含む学習用データを新たに生成する、
   ことを特徴とする学習用データ生成方法。

Images