JP4176691B2 - 問題作成プログラムおよび問題作成装置 - Google Patents

Description

この発明は、質問への回答能力を試験する試験問題を作成する処理をコンピュータに実行させる問題作成プログラムおよび問題作成装置に関し、特に、オペレータの能力育成に有用となる試験問題を効率的に作成することのできる問題作成プログラムおよび問題作成装置に関する。

従来、ハードウェアやソフトウェアなどを製造しているメーカーが、自社製品の使用法や、障害の発生などについての顧客からの質問に対して、電話でサポートをおこなうコールセンタが開設されている。

このコールセンタにおいては、顧客からの質問に答えるオペレータの業務負担を軽減するため、頻繁になされる質問とその回答とをあらかじめＦＡＱ（Ｆｒｅｑｕｅｎｔｌｙ Ａｓｋｅｄ Ｑｕｅｓｔｉｏｎ）としてデータベースに登録しておき、それを顧客に提示することにより顧客が問題を自分で解決できるようにしている。

近年、このＦＡＱを自動的に生成する方法として、いくつかの方法が考えられている。たとえば、特許文献１には、質問およびその回答を記憶したデータベースから、ＦＡＱに追加すべき代表的な質問およびその回答を、質問内容の類似度に基づいて効率よく作成する文書類似度算出装置が開示されている。

特開２００３−２６３４４３号公報

しかしながら、上記特許文献１に代表される従来技術では、代表的な質問およびその回答をデータベースから作成できるものの、作成した質問およびその回答を顧客の質問に対するオペレータの回答能力を育成するために有効に活用することが難しいという問題があった。

たとえば、自分の質問に対する回答をＦＡＱから見つけられなかった顧客や、ＦＡＱから回答を探すよりもオペレータに直接質問するのを好む顧客などは、オペレータとの間で直接話をすることにより回答を得ようとするため、顧客の質問に対するオペレータの回答能力の向上は、たとえＦＡＱが準備されているとしても非常に重要なものである。

この発明は、上述した従来技術による問題点を解消するためになされたものであり、オペレータの能力育成に有用となる試験問題を効率的に作成することのできる問題作成プログラムおよび問題作成装置を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、質問への回答能力を試験する試験問題を作成する処理をコンピュータに実行させる問題作成プログラムであって、質問と、該質問への回答と、該回答に要した回答時間とが対応付けて登録された応答記録を記憶手段から取得し、該応答記録に含まれる質問を類似度に基づいてクラスタを作成するクラスタリング処理手順と、前記クラスタリング処理手順により作成されたクラスタに含まれるそれぞれの質問に対応する回答時間に基づいて、前記クラスタに含まれる質問に対応する回答の中から模範回答を抽出する模範回答抽出手順と、前記クラスタリング処理手順により作成されたクラスタに含まれる質問から、予め記憶手段に記憶されているパターンであって、質問内の語句と照合されるパターンを含む質問を代表質問として抽出する代表質問抽出手順と、前記模範回答と、前記クラスタリング処理手順により作成されたクラスタのうち前記模範回答に対応する質問が含まれるクラスタから前記代表質問抽出手順によって抽出された代表質問とを組み合わせて、前記試験問題を作成する試験問題作成手順とをコンピュータに実行させることを特徴とする。

また、本発明は、質問への回答能力を試験する試験問題を作成する問題作成装置であって、質問と、該質問への回答と、該回答に要した回答時間とが対応付けて登録された応答記録を記憶手段から取得し、該応答記録に含まれる質問を類似度に基づいてクラスタを作成するクラスタリング処理手段と、前記クラスタリング処理手段により作成されたクラスタに含まれるそれぞれの質問に対応する回答時間に基づいて、前記クラスタに含まれる質問に対応する回答の中から模範回答を抽出する模範回答抽出手段と、前記クラスタリング処理手段により作成されたクラスタに含まれる質問から、予め記憶手段に記憶されているパターンであって、質問内の語句と照合されるパターンを含む質問を代表質問として抽出する代表質問抽出手段と、前記模範回答と、前記クラスタリング処理手段により作成されたクラスタのうち前記模範回答に対応する質問が含まれるクラスタから前記代表質問抽出手段によって抽出された代表質問とを組み合わせて、前記試験問題を作成する試験問題作成手段とを備えることを特徴とする。

本発明によれば、過去に受け付けた質問および質問に対してなされた回答に係る情報を記憶し、記憶された質問および質問に対してなされた回答に係る情報に基づいて試験問題を作成することとしたので、オペレータの能力育成に有用となる試験問題を効率的に作成することができるという効果を奏する。

また、本発明によれば、類似した複数の質問を関連付けたクラスタを生成し、生成されたクラスタに係る情報に基づいて試験問題を作成することとしたので、類似した質問を関連付けたクラスタを用いて試験問題を作成することにより、似通った質問を試験問題として出題することを防止することができ、オペレータの能力育成に有用となる試験問題を効率的に作成することができるという効果を奏する。

また、本発明によれば、クラスタを生成した場合に、クラスタに含まれる質問の数に応じてクラスタを所定の種別に分類し、分類された種別ごとにクラスタを所定数抽出し、抽出されたクラスタに係る情報に基づいて試験問題を作成することとしたので、重要度の異なるクラスタを用いて試験問題を作成することにより、オペレータの能力育成に有用となる試験問題を効率的に作成することができるという効果を奏する。

また、本発明によれば、質問文と試験問題とする質問文のパターンとの間でパターンマッチングを実行し、過去に受け付けた質問からパターンにマッチした質問文を抽出することにより試験問題を作成することとしたので、質問文のパターンとの間でパターンマッチングをおこなうことにより、質問文を容易に抽出することができ、オペレータの能力育成に有用となる試験問題を効率的に作成することができるという効果を奏する。

また、本発明によれば、質問に対して回答するのに要した時間に係る情報に基づいて試験問題の解答を作成することとしたので、回答時間を模範解答の基準とすることにより、オペレータの能力育成に有用となる試験問題を効率的に作成することができるという効果を奏する。

以下に添付図面を参照して、本発明に係る問題作成プログラムおよび問題作成装置の好適な実施例を詳細に説明する。

まず、本実施例に係る問題作成装置の機能的構成について説明する。図１は、本実施例に係る問題作成装置の機能的構成を示す図である。この問題作成装置は、過去にコールセンタに寄せられた質問から、類似した質問を関連付けてクラスタを生成し、生成したクラスタから代表的な質問を抽出する処理をおこなう。

また、この問題作成装置は、単に代表的な質問を抽出するだけでなく、代表的な質問に対する模範的な回答を、過去の回答事例から抽出し、代表的な質問およびその回答から顧客の質問に応答するオペレータに対して実施する試験の試験問題を作成する。

このように、この問題作成装置を用いて、代表的な質問と、模範的な回答とから試験問題を作成することにより、オペレータの能力育成に有用となる試験問題を効率的に作成することができる。

図１に示すように、本実施例に係る問題作成装置は、入力部１０、表示部１１、記憶部１２、クラスタリング処理部１３、クラスタ分類部１４、新規成長クラスタ抽出部１５、代表質問抽出部１６、模範解答抽出部１７、試験問題作成部１８、問題解決能力判定部１９および制御部２０を有する。

入力部１０は、キーボードやマウスなどの入力デバイスである。表示部２０は、ディスプレイなどの表示デバイスである。記憶部１２は、ハードディスク装置などの記憶デバイスである。この記憶部１２は、応答記録１２ａ、クラスタ情報１２ｂ、パターン情報１２ｃおよびオペレータ情報１２ｄを記憶している。

応答記録１２ａは、過去に顧客から受け付けた質問に対してオペレータが回答をおこなった内容を記録したものであり、各オペレータにより入力された回答事例を収集したものである。

図２は、オペレータにより入力された回答事例の一例を示す図であり、図３は、図１に示す応答記録１２ａの一例を示す図である。図２に示されるように、オペレータは、自分が顧客からの質問に対応した場合に、応対日、応対者、応対時刻、質問種別、質問および回答の情報を端末装置に入力する。ここで、応対時刻は、顧客との間で電話回線がつながった時刻および電話回線が切れた時刻である。

そして、図２に示したような回答事例を収集して記憶したものが応答記録１２ａである。図３に示すように、この応答記録１２ａは、質問ＩＤと、図１に示したような回答事例から抽出された、応対日、応対者、応対時刻、質問種別、質問および回答の情報を記録している。ここで、質問ＩＤとは、各質問を識別するために割り当てられた識別情報である。

図１の説明に戻ると、クラスタ情報１２ｂは、過去に顧客から受け付けた質問のうち、類似した質問を関連付けることにより得られたクラスタに係る情報を記憶したものである。図４は、図１に示したクラスタ情報１２ｂの一例を示す図である。

図４に示すように、このクラスタ情報１２ｂは、クラスタＩＤ、質問数、頻度分類、新規フラグ、質問ＩＤおよびクラスタ代表質問の情報を記憶している。クラスタＩＤは、質問を関連付けることにより得られた各クラスタを識別する識別情報である。要素数は、各クラスタに含まれる質問の数である。

頻度分類は、各クラスタに含まれる質問の出現頻度を分類したものである。たとえば、図４の例では、各クラスタの出現頻度が、「最頻出」、「高頻度」、「中頻度」、「低頻度」、「希少」の５段階に分けられている。

図５は、各クラスタに含まれる質問の出現頻度の分類方法を示す図である。図５に示すように、クラスタに含まれる質問数を横軸に対数でとり、質問数の度数を縦軸に対数でとると、クラスタに含まれる質問数と、質問数の度数との間には一般に直線的な関係が見られる。ここで、質問数の度数とは、質問数が同じであるクラスタの数であり、質問数がａであるクラスタがｂ個あった場合には、質問数の度数はｂとなる。

図５の例では、クラスタに含まれる質問数が１の場合には「希少」、２から４の場合には「低頻度」、５から１５の場合には「中頻度」、１６から３１の場合には「高頻度」、３２以上の場合には「最頻出」というように、各クラスタの頻度分類の情報を設定することとしている。

図４の説明に戻ると、新規フラグは、クラスタが、前回クラスタの生成処理をおこなった時よりも、クラスタに含まれる質問の数が所定の割合以上増加した新規成長クラスタであるか否かを示す情報である。「Ｙ」は、新規成長クラスタであることを示しており、「Ｎ」は新規成長クラスタではないことを示している。

質問ＩＤは、図３に示したクラスタに含まれる質問を示す質問の識別情報である。クラスタ代表質問は、クラスタに含まれる各質問のうち、特開２００３−２６３４４３号公報（特許文献１）で開示されたような方法で、代表的な質問の質問部分を抽出したものである。

図１の説明に戻ると、パターン情報１２ｃは、応対記録１２ａに記録された質問から質問部分を抽出する際に、質問内の語句と照合するパターンを記憶した情報である。図６は、図１に示したパターン情報１２ｃの一例を示す図である。

図６に示すように、このパターン情報１２ｃは、パターン、役割および優先度の情報を記憶している。パターンは、応対記録１２ａに記録された質問内の語句と照合するパターンである。役割は、パターンに一致する語句を含んだ文が表現している内容である。

たとえば、「で（き）ません」というパターンを含んだ文は、障害が発生していることを示している。また、「したい」あるいは「教えて」というパターンを含んだ文は、顧客の希望が述べられている文であることを示している。

優先度は、１つの質問の記述の中にパターン情報１２ｃに記憶されたパターンを含んだ文が複数あった場合に、抽出する文の優先度を設定した情報である。図７は、質問の記述の中から質問部分を抽出する抽出方法を説明する図である。

図７に示すように、まず、図３に示したような応答記録１２ａの質問記述部内の語句と、図６に示したようなパターン情報１２ｃに記憶されたパターンとの間でパターンの照合をおこない、パターンが一致する文を抽出する。

図７の例では、文「ピンボールの音がでません。」の「でません」がパターンに一致しているので、この文が質問部分として抽出される。また、文「原因を教えて欲しいと言われています。」の「教えて」がパターンに一致しているので、この文も質問部分として抽出される。

この場合、質問の記述の中に異なるパターン「でません」および「教えて」を含んだ文が２つあるため、それらのパターンの優先度が比較され、パターン「でません」の方が、優先度が大きいので、文「ピンボールの音がでません。」が質問部分として抽出される。

図１の説明に戻ると、オペレータ情報１２ｄは、各オペレータが属する業務拠点の情報を記憶したものである。具体的には、オペレータ情報１２ｄは、各オペレータを識別する情報と、各オペレータが業務をおこなう業務拠点の情報とを対応付けて記憶している。

クラスタリング処理部１３は、応答記録１２ａに記録された質問間の類似度を算出し、類似した質問どうしを関連付けたクラスタを生成する処理をおこなう。具体的には、クラスタリング処理部１３は、パターン情報１２ｃに登録されたパターンに語句が一致する文を応答記録１２ａの質問の中から抽出し、周知のｗａｒｄ法を用いて、類似した質問どうしを関連付けてクラスタ化する。

図８は、類似した質問どうしが関連付けられたクラスタに係る情報の一例を示す図である。図８に示すように、このクラスタに係る情報は、クラスタＩＤ、質問数および質問ＩＤの情報を含んでいる。

クラスタＩＤは、生成されたクラスタを識別する識別情報である。質問数は、クラスタに含まれる質問の数である。質問ＩＤは、クラスタに含まれる各質問を識別する識別情報である。

クラスタ分類部１４は、各クラスタに含まれる質問の数に応じて、図４に示したクラスタ情報１２ｂの頻度分類を決定する。新規成長クラスタ抽出部１５は、クラスタに含まれる質問の数が閾値以上で、かつ、その質問の数が前回クラスタを生成したときに比べて所定の割合以上増えているクラスタを新規成長クラスタとして抽出する。試験問題に新規問題として含まれる問題は、この新規成長クラスタ抽出部１５により抽出されたクラスタを基にして作成される。

図９は、新規成長クラスタの抽出処理を説明する図である。図９に示すように、この抽出処理では、あるクラスタにおいて、時点ｔ１から時点ｔ２までの期間１になされた質問の質問数と、時点ｔ１から時点ｔ３までの期間２になされた質問の質問数とを比較し、期間２における質問数が期間１における質問数よりも所定の割合以上増加した場合に、当該クラスタを新規成長クラスタとして抽出する。

図１０は、クラスタに含まれる質問の数の増加率の情報の一例を示す図である。この増加率の情報は、クラスタＩＤ、質問数、質問増加率および質問ＩＤの情報を含んでいる。クラスタＩＤは、クラスタを識別する識別情報である。このクラスタＩＤは、図８で示したクラスタＩＤに対応している。

質問数は、クラスタに含まれる質問の数である。質問増加率は、期間１のクラスタに含まれる質問数に対する期間２のクラスタに含まれる質問数の増加率である。質問ＩＤは、クラスタに含まれる各質問を識別する識別情報である。

ここで、上記増加率は、以下の式により算出される。
（増加率）＝｛１−（期間１のクラスタに含まれる質問数）／（期間２のクラスタに含まれる質問数）｝×１００

なお、ここでは、新規成長クラスタ抽出部１５が、質問数が所定の割合以上増加したクラスタを新規成長クラスタとして抽出することとしたが、質問数が所定の数以上増加したクラスタを新規成長クラスタとして抽出することとしてもよい。

代表質問抽出部１６は、クラスタ分類部１４によりなされたクラスタの分類、および、新規成長クラスタ抽出部１５により抽出された新規成長クラスタの情報を用いて、図１１に示すような基準により試験問題の問題部を抽出するクラスタを選択する。

図１１は、試験問題の問題部を抽出する基準の一例を示す図である。図１１に示すように、代表質問抽出部１６は、最頻出、高頻度、中頻度、低頻度のクラスタ、および、新規成長クラスタからそれぞれ所定の割合で問題を抽出する。その際、前回どのような問題を出題したかは考慮せず、問題をランダムに抽出する。

また、代表質問抽出部１６は、選択されたクラスタに属する質問を代表するクラスタ代表質問をクラスタごとに抽出する。その際、代表質問抽出部１６は、記憶部１２に記憶されたパターン情報１２ｃを参照し、図７で説明したような方法を用いて、クラスタ代表質問を抽出する。

図１２は、試験問題用に抽出された問題部の一例を示す図である。図１２に示すように、図１１に示したような基準に基づいて各問題が抽出される。また、ここでは、最頻出、高頻度、中頻度および低頻度の問題の難易度をそれぞれ１、２、３および４に設定している。難易度は、数字が大きくなるほど難しい問題であることを示している。

模範回答抽出部１７は、代表質問抽出部１６により抽出されたクラスタ代表質問に対応する模範的な回答を、応答記録１２ａから抽出する。具体的には、模範回答抽出部１７は、応答記録１２ａを参照し、応対時刻の情報から質問に回答するのに要した時間が短いオペレータの回答を模範回答として抽出する。

具体的には、模範回答抽出部１７は、当該質問に対するオペレータｉ（ｉ＝１，２，・・・）の回答時間の平均値Ｐｉと、オペレータｉが受け付けたすべての質問に対する回答時間の平均値Ａｉと、オペレータｉが受け付けたすべての質問に対する回答時間の分散Ｖｉとを算出し、以下の評価関数にそれらの値を代入して評価関数の値を求める。

評価関数Ｓｉ＝α×Ｐｉ×（１−α）×Ａｉ×Ｖｉ
ここで、αは、０＜α＜１を満足する定数である。

模範回答抽出部１７は、オペレータごとに評価関数Ｓｉの値を算出し、評価関数の値が最も小さいオペレータの回答を模範回答として抽出する。

試験問題作成部１８は、代表質問抽出部１６により選択された試験問題を抽出するクラスタと、模範回答抽出部１７により抽出された模範回答とから、オペレータに対して実施する試験の試験問題を作成する。

問題解決能力判定部１９は、試験問題作成部１８により作成された試験問題をオペレータの端末装置（図示せず）に出力し、オペレータが問題に解答する時間を計測することによりオペレータの問題解決能力を判定する。

図１３は、オペレータの端末装置に出力される試験問題出力画面３０の一例を示す図である。図１３に示すように、問題解決能力判定部１９は、オペレータの端末装置に試験問題を一問ずつ出力し、解答欄３２にオペレータにより解答が入力されるのを待ち受ける。

そして、オペレータにより解答が入力された場合には、問題解決能力判定部１９は、その解答を端末装置から受信して、その解答を問題と対応付けて記憶し、後におこなわれる採点のために記憶する。

オペレータは、解答を入力した後、つぎの問題の出力を要求するボタン３１をマウス等でクリックする。そして、問題解決能力判定部１９は、問題を出力してからボタン３１がクリックされるまでの時間を測定し、その時間を問題解決に要した時間として記憶する。

また、問題解決能力判定部１９は、各オペレータが問題解決に要した時間の情報を基にして、試験問題に解答したオペレータの成績を評価し、評価した成績をオペレータが属する業務拠点および業務課題ごとに分けてグラフで出力する処理をおこなう。

図１４は、各拠点のオペレータの成績を業務課題ごとに評価したグラフの一例を示す図である。図１４に示すように、このグラフにおいては、業務課題ごとに、各オペレータの成績のレベルが拠点ごとに示されている。

ここで、グラフの縦軸は、各業務課題に対応している。業務課題とは、図２および図３に示した質問種別と同じものであり、オペレータが解答した問題に対応する質問種別である。グラフの横軸は、各拠点のオペレータに対応しており、拠点ごとに左側から右側に向かって成績が低くなるよう、各オペレータが配置される。

そして、縦軸の業務課題と横軸のオペレータとで特定される２次元グラフ上の領域には、そのオペレータの成績のレベルに応じた色が塗られるため、オペレータの成績が悪かった業務課題が拠点ごとに把握でき、優先的に教育をおこなうべき対象を容易に発見することができる。ここで、各拠点のオペレータの業務課題ごとの成績のレベルは、以下の式により算出される。

（成績レベル）＝１００×（平均解答時間）÷（全オペレータの平均解答時間）
ここで、平均解答時間は、当該業務課題に対応する問題のオペレータの解答時間の平均値であり、全オペレータの平均解答時間は、当該業務課題に対応する問題の全オペレータの解答時間の平均値である。

さらに、問題解決能力判定部１９は、試験問題に解答したオペレータの成績の推移を検出し、検出した成績の推移を、オペレータが属する業務拠点および業務課題ごとに分けてグラフで出力する。

図１５は、各拠点のオペレータの業務課題ごとの成績の推移を課題ごとに検出したグラフの一例を示す図である。図１５に示すように、このグラフにおいては、業務課題ごとに、各オペレータの成績の推移が拠点ごとに示されている。

ここで、グラフの縦軸は、各業務課題に対応している。グラフの横軸は、各拠点のオペレータに対応しており、拠点ごとに左側から右側に向かって成績が低くなるよう、各オペレータが配置される。

そして、縦軸の業務課題と横軸のオペレータとで特定される２次元グラフ上の領域には、そのオペレータの成績の推移に応じた色が塗られるため、オペレータの成績が悪くなった業務課題が拠点ごとに把握でき、優先的に教育をおこなうべき対象を容易に発見することができる。

ここで、各拠点のオペレータの業務課題ごとの成績の推移は、以下の式により算出される。
（成績の推移）＝（時点ｉの成績レベル）−（時点ｉ−１の成績レベル）

図１の説明に戻ると、制御部２０は、問題作成装置を全体制御する制御部であり、各機能部間におけるデータの授受などを司る。

つぎに、本実施例に係る問題作成処理の処理手順について説明する。図１６は、本実施例に係る問題作成処理の処理手順を示すフローチャートである。図１６に示すように、まず、問題作成装置の記憶部１２は、応答記録を蓄積する（ステップＳ１０１）。

そして、クラスタリング処理部１３は、類似した質問を関連付けてクラスタを生成する（ステップＳ１０２）。その後、新規成長クラスタ抽出部１５は、生成されたクラスタから新規成長クラスタを抽出する（ステップＳ１０３）。さらに、クラスタ分類部１４は、生成されたクラスタを、クラスタに含まれる質問の出現頻度に応じて分類する（ステップＳ１０４）。

続いて、代表質問抽出部１６は、試験問題を作成するクラスタを選択し（ステップＳ１０５）、選択されたクラスタからパターン情報１２ｃを参照してクラスタ代表質問を抽出する（ステップＳ１０６）。

そして、模範回答抽出部１７は、各オペレータの質問に対する回答時間の情報を基にして、応答記録１２ａから模範回答を抽出する（ステップＳ１０７）。そして、試験問題作成部１８は、抽出された代表質問と模範回答とから試験問題を作成する（ステップＳ１０８）。

その後、問題解決能力判定部１９は、試験問題をオペレータの端末装置に出力して試験を実施し、オペレータの回答を記憶するとともに、回答時間を計測する（ステップＳ１０９）。そして、問題解決能力判定部１９は、各拠点のオペレータの成績および成績の推移を業務課題ごとに評価することにより試験結果を分析し、分析した結果を出力して（ステップＳ１１０）、この問題作成処理を終了する。

つぎに、図１６のステップＳ１０２で説明したクラスタの生成処理をさらに詳しく説明する。図１７は、クラスタの生成処理の処理手順の詳細を示すフローチャートである。図１７に示すように、まず、問題作成装置のクラスタリング処理部１３は、応答記録１２ａから質問集合を取得する（ステップＳ２０１）。

そして、クラスタリング処理部１３は、質問集合に対する索引を作成する（ステップＳ２０２）。この索引は、質問と質問内に含まれる単語との間の対応関係の情報である。続いて、クラスタリング処理部１３は、質問集合の中から最初の質問を選択し（ステップＳ２０３）、選択された質問から単語を抽出して検索式を作成する（ステップＳ２０４）。

その後、クラスタリング処理部１３は、作成した検索式を用いて検索式に適合する質問を検索し、さらに選択された質問と検索された質問との間の類似度を算出して、類似度順に質問を並べる処理をおこなう（ステップＳ２０５）。

そして、クラスタリング処理部１３は、類似度が閾値よりも大きい質問について、当該質問に割り当てられた質問番号、質問および類似度の組を出力する（ステップＳ２０６）。続いて、クラスタリング処理部１３は、選択された質問が質問集合の最後の質問か否かを調べる（ステップＳ２０７）。

選択された質問が質問集合の最後の質問でない場合には（ステップＳ２０７，Ｎｏ）、クラスタリング処理部１３は、つぎの質問を質問集合から選択し（ステップＳ２０８）、ステップＳ２０４に移行して、ステップＳ２０４からステップＳ２０７の処理を繰り返す。

選択された質問が質問集合の最後の質問である場合には（ステップＳ２０７，Ｙｅｓ）、クラスタリング処理部１３は、類似度が閾値以上である質問どうしを関連付けてクラスタを作成し（ステップＳ２０９）、クラスタに含まれる質問数が多い順にクラスタを並べ替えて出力し（ステップＳ２１０）、このクラスタの生成処理を終了する。

つぎに、図１６のステップＳ１０３で説明した新規成長クラスタの抽出処理をさらに詳しく説明する。図１８は、新規成長クラスタの抽出処理の処理手順の詳細を示すフローチャートである。

図１８に示すように、まず、問題作成装置の新規成長クラスタ抽出部１５は、図９で説明したように、期間１のクラスタにおける最初の質問を検索し（ステップＳ３０１）、期間１のクラスタにまだ選択されていない質問があるか否かを調べる（ステップＳ３０２）。

期間１のクラスタにまだ選択されていない質問がある場合には（ステップＳ３０２，Ｙｅｓ）、新規成長クラスタ抽出部１５は、その質問と、質問が属するクラスタのクラスタＩＤと、そのクラスタに含まれる質問の数との組を、質問ＩＤが同一である期間２の質問に対応付ける（ステップＳ３０３）。そして、新規成長クラスタ抽出部１５は、まだ選択されていないつぎの質問を期間１のクラスタから検索し（ステップＳ３０４）、ステップＳ３０２に移行する。

期間１のクラスタにまだ選択されていない質問がない場合には（ステップＳ３０２，Ｎｏ）、新規成長クラスタ抽出部１５は、期間２の最初のクラスタを検索し（ステップＳ３０５）、期間２のクラスタのうちまだ選択されていないクラスタがあるか否かを調べる（ステップＳ３０６）。

まだ選択されていないクラスタがある場合には（ステップＳ３０６，Ｙｅｓ）、新規成長クラスタ抽出部１５は、ステップＳ３０３で得た期間１および期間２の質問間の対応情報に基づき、期間２のクラスタ内の質問を期間１のクラスタに対応付ける（ステップＳ３０７）。

このように、上記処理により、期間１のクラスタと期間２のクラスタおよび期間１のクラスタに含まれる質問と期間２に含まれる質問とを対応付ける。その後、新規成長クラスタ抽出部１５は、まだ選択されていないつぎのクラスタを期間２のクラスタから検索し（ステップＳ３０８）、ステップＳ３０６に移行する。

まだ選択されていないクラスタがない場合には（ステップＳ３０６，Ｎｏ）、新規成長クラスタ抽出部１５は、期間２の最初のクラスタをもう一度検索し（ステップＳ３０９）、この２回目の検索処理において、まだ選択されていない期間２のクラスタがあるか否かを調べる（ステップＳ３１０）。

まだ検索されていない期間２のクラスタがある場合には（ステップＳ３１０，Ｙｅｓ）、新規成長クラスタ抽出部１５は、期間２のクラスタのうち、質問数が所定の閾値以上で、かつ、期間１から期間２にかけて質問数の増加率が所定の閾値以上であるクラスタを新規成長クラスタとして抽出する（ステップＳ３１１）。そして、新規成長クラスタ抽出部１５は、まだ選択されていないつぎの質問を期間２のクラスタから検索し（ステップＳ３１２）、ステップＳ３１０に移行する。

まだ選択されていない期間２のクラスタがなかった場合には（ステップＳ３１０，Ｎｏ）、この新規成長クラスタの抽出処理を終了する。

つぎに、図１６のステップＳ１０４で説明したクラスタの質問頻度分類処理をさらに詳しく説明する。図１９は、クラスタの質問頻度分類処理の処理手順の詳細を示すフローチャートである。

図１９に示すように、まず、問題作成装置のクラスタ分類部１４は、期間２の最初のクラスタを検索し（ステップＳ４０１）、まだ選択されていないクラスタがあるか否かを調べる（ステップＳ４０２）。

まだ選択されていないクラスタがあった場合には（ステップＳ４０２，Ｙｅｓ）、クラスタ分類部１４は、図５において説明したように、クラスタに含まれる質問の質問数を基にして、クラスタの質問の出現頻度を「希少」、「低頻度」、「中頻度」、「高頻度」および「最頻出」に分類する（ステップＳ４０３）。そして、クラスタ分類部１４は、つぎのクラスタを検索し（ステップＳ４０４）、ステップＳ４０２に移行する。

まだ選択されていないクラスタがなかった場合には（ステップＳ４０２，Ｎｏ）、この質問頻度分類処理を終了する。

つぎに、図１６のステップＳ１０５で説明した試験問題を作成するクラスタの選択処理をさらに詳しく説明する。図２０は、試験問題を作成するクラスタの選択処理の処理手順の詳細を示すフローチャートである。

図２０に示すように、まず、問題作成装置の代表質問抽出部１６は、図１１に示したような、新規成長クラスタおよびそれ以外のクラスタから問題を選択する比率、クラスタの頻度分類ごとに定められた問題を選択する比率などの、問題の選択基準に係る情報を取得する（ステップＳ５０１）。

そして、代表質問抽出部１６は、新規成長クラスタとそれ以外のクラスタ、最頻出のクラスタ、高頻度のクラスタ、中頻度のクラスタ、低頻度のクラスタの各種クラスタから試験問題として抽出する件数を決定する（ステップＳ５０２）。

その後、代表質問抽出部１６は、決定された件数に基づいて、問題を抽出するクラスタをランダムに選択し（ステップＳ５０３）、このクラスタの選択処理を終了する。

つぎに、図１６のステップＳ１０６で説明したクラスタからクラスタ代表質問を抽出する処理をさらに詳しく説明する。図２１は、クラスタ代表質問の抽出処理の処理手順の詳細を示すフローチャートである。この処理は、図７で説明した処理に該当する。

図２１に示すように、まず、問題作成装置の代表質問抽出部１６は、質問が記述された質問記述部から先頭の文を選択する（ステップＳ６０１）。そして、代表質問抽出部１６は、記憶部１２に記憶されたパターン情報１２ｃを参照し、選択された文内の語句がパターンと一致したか否かを調べる（ステップＳ６０２）。

選択された文内の語句がパターンと一致した場合には（ステップＳ６０２，Ｙｅｓ）、代表質問抽出部１６は、選択された文、一致したパターン、および、パターンの優先度を記憶し（ステップＳ６０３）、選択された文が質問記述部の最後の文か否かを調べる（ステップＳ６０４）。

選択された文が質問記述部の最後の文でない場合には（ステップＳ６０４，Ｎｏ）、代表質問抽出部１６は、つぎの文を選択し（ステップＳ６０５）、ステップＳ６０２に移行する。

選択された文が質問記述部の最後の文である場合には（ステップＳ６０４，Ｙｅｓ）、代表質問抽出部１６は、ステップＳ６０３で記憶した文のうち、優先度が最も高い文をクラスタ代表質問として選択し（ステップＳ６０６）、このクラスタ代表質問の抽出処理を終了する。

つぎに、図１６のステップＳ１０７で説明した模範回答を抽出する処理をさらに詳しく説明する。図２２は、模範回答の抽出処理の処理手順の詳細を示すフローチャートである。

図２２に示すように、まず、問題作成装置の模範回答抽出部１７は、試験問題作成用に選択されたクラスタの質問に対応する各オペレータの平均回答時間を算出する（ステップＳ７０１）。

そして、模範回答抽出部１７は、すべての質問に対する各オペレータの平均回答時間を算出し（ステップＳ７０２）、さらに、すべての質問に対する各オペレータの回答時間の分散を算出する（ステップＳ７０３）。

その後、模範回答抽出部１７は、算出した値を前述した評価関数に代入して、評価関数の値の小さいオペレータの回答を模範回答として選択し（ステップＳ７０４）、この模範回答の抽出処理を終了する。

つぎに、図１６のステップＳ１０９で説明した試験を実施する処理をさらに詳しく説明する。図２３は、試験実施処理の処理手順の詳細を示すフローチャートである。図２３に示すように、まず、問題作成装置の問題解決能力判定部１９は、最初の問題を検索し（ステップＳ８０１）、問題が選択されたか否かを調べる（ステップＳ８０２）。

問題が選択された場合には（ステップＳ８０２，Ｙｅｓ）、問題解決能力判定部１９は、図１３に示したように、オペレータの端末装置に問題を出力する（ステップＳ８０３）。そして、問題解決能力判定部１９は、オペレータにより入力された解答を記憶し（ステップＳ８０４）、さらにオペレータが問題解決に要した時間を算出する（ステップＳ８０５）。

そして、問題解決能力判定部１９は、つぎの問題を検索し（ステップＳ８０６）、ステップＳ８０２に移行する。問題が選択されなかった場合には（ステップＳ８０２，Ｎｏ）、この試験実施処理を終了する。

ところで、上述した問題作成装置および問題作成方法は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することができる。そこで、以下では、上述した問題作成装置（問題作成方法）と同様の機能を有する問題作成プログラムを実行するコンピュータシステムについて説明する。

図２４は、本実施例に係るコンピュータシステム１００の構成を示すシステム構成図であり、図２５は、コンピュータシステム１００における本体部１０１の構成を示すブロック図である。

図２４に示すように、このコンピュータシステム１００は、本体部１０１と、本体部１０１からの指示によって表示画面１０２ａに画像などの情報を表示するためのディスプレイ１０２と、このコンピュータシステム１００に種々の情報を入力するためのキーボード１０３と、ディスプレイ１０２の表示画面１０２ａ上の任意の位置を指定するためのマウス１０４とを備える。

また、このコンピュータシステム１００における本体部１０１は、図２５に示すように、ＣＰＵ１２１と、ＲＡＭ１２２と、ＲＯＭ１２３と、ハードディスクドライブ（ＨＤＤ）１２４と、ＣＤ−ＲＯＭ１０９を受け入れるＣＤ−ＲＯＭドライブ１２５と、フレキシブルディスク（ＦＤ）１０８を受け入れるＦＤドライブ１２６と、ディスプレイ１０２、キーボード１０３並びにマウス１０４を接続するＩ／Ｏインターフェース１２７と、ローカルエリアネットワークまたはワイドエリアネットワーク（ＬＡＮ／ＷＡＮ）１０６に接続するＬＡＮインターフェース１２８と、を備える。

さらに、このコンピュータシステム１００には、インターネットなどの公衆回線１０７に接続するためのモデム１０５が接続されるとともに、ＬＡＮインターフェース１２８およびＬＡＮ／ＷＡＮ１０６を介して、他のコンピュータシステム（ＰＣ）１１１、サーバ１１２並びにプリンタ１１３などが接続される。

そして、このコンピュータシステム１００は、所定の記録媒体に記録された問題作成プログラムを読み出して実行することで問題作成装置（問題作成方法）を実現する。

ここで、所定の記録媒体とは、フレキシブルディスク（ＦＤ）１０８、ＣＤ−ＲＯＭ１０９、ＭＯディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」の他に、コンピュータシステム１００の内外に備えられるハードディスクドライブ（ＨＤＤ）１２４や、ＲＡＭ１２２、ＲＯＭ１２３などの「固定用の物理媒体」、さらに、モデム１０５を介して接続される公衆回線１０７や、他のコンピュータシステム１１１並びにサーバ１１２が接続されるＬＡＮ／ＷＡＮ１０６などのように、プログラムの送信に際して短期にプログラムを保持する「通信媒体」など、コンピュータシステム１００によって読み取り可能な問題作成プログラムを記録する、あらゆる記録媒体を含むものである。

すなわち、問題作成プログラムは、上記した「可搬用の物理媒体」、「固定用の物理媒体」、「通信媒体」などの記録媒体に、コンピュータ読み取り可能に記録されるものであり、コンピュータシステム１００は、このような記録媒体から問題作成プログラムを読み出して実行することで問題作成装置および問題作成方法を実現する。

なお、問題作成プログラムは、コンピュータシステム１００によって実行されることに限定されるものではなく、他のコンピュータシステム１１１またはサーバ１１２が問題作成プログラムを実行する場合や、これらが協働して問題作成プログラムを実行するような場合にも、本発明を同様に適用することができる。

上述してきたように、本実施例では、問題作成装置の記憶部１２が、過去に受け付けた質問および質問に対してなされた回答に係る情報を応答記録１２ａとして記憶し、試験問題作成部１８が、記憶された応答記録１２ａに基づいて、試験問題を作成することとしたので、オペレータの能力育成に有用となる試験問題を効率的に作成することができる。

また、本実施例では、クラスタリング処理部１３が、類似した複数の質問を関連付けたクラスタを生成し、試験問題作成部１８が、生成されたクラスタに係る情報に基づいて試験問題を作成することとしたので、類似した質問を関連付けたクラスタを用いて試験問題を作成することにより、似通った質問を試験問題として出題することを防止することができ、オペレータの能力育成に有用となる試験問題を効率的に作成することができる。

また、本実施例では、新規成長クラスタ抽出部１５が、生成されたクラスタに含まれる質問の数が、所定の割合以上増加したクラスタを抽出し、試験問題作成部１８が、抽出されたクラスタに係る情報に基づいて試験問題を作成することとしたので、質問の数が増加したクラスタを用いて試験問題を作成することにより、オペレータの能力育成に有用となる試験問題を効率的に作成することができる。

また、本実施例では、クラスタリング処理部１３がクラスタを生成した場合に、クラスタ分類部１４が、クラスタに属する質問の数に応じてクラスタを「最頻出」、「高頻度」、「中頻度」、「低頻度」および「希少」の種別に分類し、分類された種別ごとにクラスタを所定数抽出し、試験問題作成部１８が、抽出されたクラスタに係る情報に基づいて試験問題を作成することとしたので、重要度の異なるクラスタを用いて試験問題を作成することにより、オペレータの能力育成に有用となる試験問題を効率的に作成することができる。

また、本実施例では、代表質問抽出部１６が、質問文と試験問題とする質問文のパターンとの間でパターンマッチングを実行し、過去に受け付けた質問からパターンにマッチした質問文を抽出することにより試験問題を作成することとしたので、質問文のパターンとの間でパターンマッチングをおこなうことにより、質問文を容易に抽出することができ、オペレータの能力育成に有用となる試験問題を効率的に作成することができる。

また、本実施例では、模範解答抽出部１７が、オペレータが質問に対して回答するのに要した時間に係る情報に基づいて試験問題の解答を作成することとしたので、回答時間を模範解答の基準とすることにより、オペレータの能力育成に有用となる試験問題を効率的に作成することができる。

また、本実施例では、問題解決能力判定部１９が、作成された試験問題を出力し、出力された試験問題に対する解答を受け付けて、解答に要した時間を計測することとしたので、作成された試験問題を用いて試験を実施し、解答に要した時間を基準として、試験の結果を評価することができる。

また、本実施例では、問題解決能力判定部１９が、計測された時間に基づいて、試験問題に解答したオペレータの成績を評価し、評価した成績をオペレータが属する業務拠点および／または業務課題ごとに分けてグラフで出力することとしたので、試験の結果をオペレータが属する業務拠点および／または業務課題ごとに分けて容易に把握することができる。

また、本実施例では、問題解決能力判定部１９が、オペレータの成績を出力するとともに、試験問題に解答したオペレータの成績の推移を検出し、検出した成績の推移をオペレータが属する業務拠点および／または業務課題ごとに分けてグラフで出力することとしたので、解答者の成績の推移をオペレータが属する業務拠点および／または業務課題ごとに分けて容易に把握することができる。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、上記特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施例にて実施されてもよいものである。

たとえば、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。

この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した問題作成装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、問題作成装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

さらに、問題作成装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

（付記１）質問への回答能力を試験する試験問題を作成する処理をコンピュータに実行させる問題作成プログラムであって、
過去に受け付けた質問および該質問に対してなされた回答に係る情報を記憶する記憶手順と、
前記記憶手順により記憶された質問および該質問に対してなされた回答に係る情報に基づいて前記試験問題を作成する問題作成手順と、
をコンピュータに実行させることを特徴とする問題作成プログラム。

（付記２）前記問題作成手順は、類似した複数の質問を関連付けたクラスタを生成し、生成されたクラスタに係る情報に基づいて前記試験問題を作成することを特徴とする付記１に記載の問題作成プログラム。

（付記３）前記問題作成手順は、生成されたクラスタに含まれる質問の数が、所定の数または所定の割合以上増加したクラスタを抽出し、抽出されたクラスタに係る情報に基づいて前記試験問題を作成することを特徴とする付記２に記載の問題作成プログラム。

（付記４）前記問題作成手順は、クラスタを生成した場合に、クラスタに含まれる質問の数に応じてクラスタを所定の種別に分類し、分類された種別ごとにクラスタを所定数抽出し、抽出されたクラスタに係る情報に基づいて前記試験問題を作成することを特徴とする付記２または３に記載の問題作成プログラム。

（付記５）前記問題作成手順は、質問文と試験問題とする質問文のパターンとの間でパターンマッチングを実行し、過去に受け付けた質問からパターンにマッチした質問文を抽出することにより試験問題を作成することを特徴とする付記１〜４のいずれか１つに記載の問題作成プログラム。

（付記６）前記問題作成手順は、前記質問に対して回答するのに要した時間に係る情報に基づいて試験問題の解答を作成することを特徴とする付記１〜５のいずれか１つに記載の問題作成プログラム。

（付記７）前記問題作成手順により作成された試験問題を出力し、出力された試験問題に対する解答を受け付けて、解答に要した時間を計測する時間計測手順をさらに含んだことを特徴とする付記１〜６のいずれか１つに記載の問題作成プログラム。

（付記８）前記時間計測手順により計測された時間に基づいて、前記試験問題に解答した解答者の成績を評価し、評価した成績を該解答者が属する集団および／または課題ごとに分けて出力する成績出力手順をさらに含んだことを特徴とする付記７に記載の問題作成プログラム。

（付記９）前記成績出力手順は、前記解答者の成績を出力するとともに、前記試験問題に解答した解答者の成績の推移を検出し、検出した成績の推移を該解答者が属する集団および／または課題ごとに分けて出力することを特徴とする付記８に記載の問題作成プログラム。

（付記１０）質問への回答能力を試験する試験問題を作成する問題作成装置であって、
過去に受け付けた質問および該質問に対してなされた回答に係る情報を記憶する記憶手段と、
前記記憶手段により記憶された質問および該質問に対してなされた回答に係る情報に基づいて前記試験問題を作成する問題作成手段と、
をコンピュータに実行させることを特徴とする問題作成装置。

（付記１１）質問への回答能力を試験する試験問題を作成する問題作成方法であって、
過去に受け付けた質問および該質問に対してなされた回答に係る情報を記憶する記憶工程と、
前記記憶工程により記憶された質問および該質問に対してなされた回答に係る情報に基づいて前記試験問題を作成する問題作成工程と、
を含んだことを特徴とする問題作成方法。

以上のように、本発明にかかる問題作成プログラムおよび問題作成装置は、オペレータの能力育成に有用となる試験問題を効率的に作成することが必要な場合に有用である。

本実施例に係る問題作成装置の機能的構成を示す図である。 オペレータにより入力された回答事例の一例を示す図である。 図１に示す応答記録１２ａの一例を示す図である。 図１に示したクラスタ情報１２ｂの一例を示す図である。 各クラスタに含まれる質問の出現頻度の分類方法を示す図である。 図１に示したパターン情報１２ｃの一例を示す図である。 質問の記述の中から質問部分を抽出する抽出方法を説明する図である。 類似した質問どうしが関連付けられたクラスタに係る情報の一例を示す図である。 新規成長クラスタの抽出処理を説明する図である。 期間２におけるクラスタに係る情報の一例を示す図である。 試験問題の問題部を抽出する基準の一例を示す図である。 試験問題用に抽出された問題部の一例を示す図である。 オペレータの端末装置に出力される試験問題出力画面３０の一例を示す図である。 各拠点のオペレータの成績を業務課題ごとに評価したグラフの一例を示す図である。 各拠点のオペレータの業務課題ごとの成績の推移を課題ごとに検出したグラフの一例を示す図である。 本実施例に係る問題作成処理の処理手順を示すフローチャートである。 クラスタの生成処理の処理手順の詳細を示すフローチャートである。 新規成長クラスタの抽出処理の処理手順の詳細を示すフローチャートである。 クラスタの質問頻度分類処理の処理手順の詳細を示すフローチャートである。 試験問題を作成するクラスタの選択処理の処理手順の詳細を示すフローチャートである。 クラスタ代表質問の抽出処理の処理手順の詳細を示すフローチャートである。 模範回答の抽出処理の処理手順の詳細を示すフローチャートである。 試験実施処理の処理手順の詳細を示すフローチャートである。 本実施例に係るコンピュータシステム１００の構成を示すシステム構成図である。 コンピュータシステム１００における本体部１０１の構成を示すブロック図である。

符号の説明

１０ 入力部
１１ 表示部
１２ 記憶部
１２ａ 応答記録
１２ｂ クラスタ情報
１２ｃ パターン情報
１２ｄ オペレータ情報
１３ クラスタリング処理部
１４ クラスタ分類部
１５ 新規成長クラスタ抽出部
１６ 代表質問抽出部
１７ 模範回答抽出部
１８ 試験問題作成部
１９ 問題解決能力判定部
２０ 制御部
３０ 試験問題出力画面

Claims (2)

1. 質問への回答能力を試験する試験問題を作成する処理をコンピュータに実行させる問題作成プログラムであって、
   質問と、該質問への回答と、該回答に要した回答時間とが対応付けて登録された応答記録を記憶手段から取得し、該応答記録に含まれる質問を類似度に基づいてクラスタを作成するクラスタリング処理手順と、
   前記クラスタリング処理手順により作成されたクラスタに含まれるそれぞれの質問に対応する回答時間に基づいて、前記クラスタに含まれる質問に対応する回答の中から模範回答を抽出する模範回答抽出手順と、
   前記クラスタリング処理手順により作成されたクラスタに含まれる質問から、予め記憶手段に記憶されているパターンであって、質問内の語句と照合されるパターンを含む質問を代表質問として抽出する代表質問抽出手順と、
   前記模範回答と、前記クラスタリング処理手順により作成されたクラスタのうち前記模範回答に対応する質問が含まれるクラスタから前記代表質問抽出手順によって抽出された代表質問とを組み合わせて、前記試験問題を作成する試験問題作成手順と
   をコンピュータに実行させることを特徴とする問題作成プログラム。
2. 質問への回答能力を試験する試験問題を作成する問題作成装置であって、
   質問と、該質問への回答と、該回答に要した回答時間とが対応付けて登録された応答記録を記憶手段から取得し、該応答記録に含まれる質問を類似度に基づいてクラスタを作成するクラスタリング処理手段と、
   前記クラスタリング処理手段により作成されたクラスタに含まれるそれぞれの質問に対応する回答時間に基づいて、前記クラスタに含まれる質問に対応する回答の中から模範回答を抽出する模範回答抽出手段と、
   前記クラスタリング処理手段により作成されたクラスタに含まれる質問から、予め記憶手段に記憶されているパターンであって、質問内の語句と照合されるパターンを含む質問を代表質問として抽出する代表質問抽出手段と、
   前記模範回答と、前記クラスタリング処理手段により作成されたクラスタのうち前記模範回答に対応する質問が含まれるクラスタから前記代表質問抽出手段によって抽出された代表質問とを組み合わせて、前記試験問題を作成する試験問題作成手段と
   を備えることを特徴とする問題作成装置。

Images