JP5043892B2 - エッセイ中の過度の反復語使用の自動評価 - Google Patents

Description

本出願は、２００２年１１月１４日出願済み米国仮出願番号６０／４２６，０１５の「ＡＵＴＯＭＡＴＥＤ ＥＶＡＬＵＡＴＩＯＮ ＯＦ ＯＶＥＲＬＹ ＲＥＰＥＴＩＴＩＶＥ ＷＯＲＤ ＵＳＥ ＩＮ ＡＮ ＥＳＳＡＹ」に対して優先権を主張するものである。

文章能力を開発するには、実用的な作文経験を積むのが効果的な方法であると一般に考えられている。これに関して作文法の教示に関する文献には、評価およびフィードバック、具体的には学生が作成したエッセイの強い部分および弱い部分の指摘を行なうことで、学生の文章能力、具体的には文章編成に関する能力の改善を促進できるものである。

伝統的な作文法の授業では、教師が学生のエッセイを評価する。この評価はエッセイの特定要素に向けられたコメントを含む。同様に、自動エッセイ評価の出現により、コンピュータアプリケーションはエッセイを評価し、フィードバックを提供するように構成される。この工程は、ある文章エラーに関しては比較的単純である。例えば、単語の綴りは正しく綴られた単語のリストと容易に比較される。このリストにないすべての単語は、間違った綴りとして提示される。別の例では、主語・動詞の合致に関するエラーは、注釈付きエッセイのコーパス（言語資料）に基づいて特定される。これらのエッセイは、訓練された人間の審査員（例えば、作文教師および同種の者）によって注釈されており、評価ソフトウェアを訓練するための十分に大きなデータベースを構築するのに利用される。この訓練方法は、審査員間で比較的高い程度で合致される、文書エラーを認識するのに実質的に功を奏する。

例えば文法エラーまたは間違った綴りなどの上記に提示した比較的「厳格な」エラーに比較して、エッセイテキスト中での単語の過度に頻繁な使用を含む、文章中のエラーは、その性質上より主観的である。どの文体が最善かは、審査員の間で合致しないかもしれない。ある審査員はある文体の選択が気になっても、他の審査員には気にならないかもしれない。これらのタイプのエラーは定義するのが困難なため、これらは作文法の学生を非常に悩ませるものである。

従って、本発明でのエッセイを評価する方法は、文章の主観的要素の１つに関するフィードバックを学生の筆者に対して生成する必要性を満足させるものである。特に、本方法では、エッセイの自動評価を行いエッセイテキスト中でどの単語が過度に使用されているかを示すことができる。この評価は人間の評価者では時には主観的であるが、本発明では、エッセイテキストで単語が過度に使用されているかどうかの人間の評価を予測する、精確な評価方法を提供する。即ち、人間の評価がモデルとして使用され、文章エラーに関して学生のエッセイを評価する。単語の乱用についてのフィードバックは、文章における学生の語彙能力を高めるのに役立つ。

実施形態によれば、本発明は、過度の反復単語使用に対してエッセイを自動的に評価する方法を提供する。この方法では、エッセイ中の単語が特定され、前記単語に関する１若しくはそれ以上の特徴が決定される。さらに、過度の反復様式で使用されている前記単語の確率が、前記特徴をモデルにマッピングすることにより決定される。前記モデルは、少なくとも１人の人間が評価したエッセイに基づいた機械学習アプリケーションによって生成される。さらに、エッセイに注釈が付けられ、閾値の確率を超えた確率に応えて過度の反復様式で使用されている単語を示す。

本発明の実施形態は実施例として図示しているものであり、付随の図面に限定されるものではなく、図面の同様の数字の参照は、同様の要素を参照しているものである。
図１は、本発明の実施形態を使用したコンピュータネットワークのブロック図である。 図２は、本発明の実施形態を使用したコンピュータシステムのブロック図である。 図３は、本発明の実施形態に従った、自動評価アプリケーションに関するアーキテクチャのブロック図である。 図４は、本発明の実施形態に従った、モデルの図式である。 図５は、本発明の別の実施形態に従った、自動評価アプリケーションに関するアーキテクチャのブロック図である。 図６は、本発明の実施形態に従った、エッセイの評価方法のフローチャートである。 図７は、自動評価モデルビルダアプリケーションの実施形態に関するアーキテクチャのブロック図である。 図８は、本発明の実施形態に従った、過度の反復単語使用モデルの構築方法のフローチャートである。 図９は、本実施形態に従った、評価データの生成方法のフローチャートである。

簡潔化および例示的目的のため、本発明の原理は、主にその実施形態を参照することにより説明する。以下の説明では、本発明が完全に理解されるよう具体的な詳細事項を多数記載する。ただし当然のことながら、当業者であれば、本発明がこれら具体的な詳細事項に限定されることなく実施可能であることは理解されるであろう。その他の場合、本発明の要点を不必要に不明確にしないためにも周知の方法および構造について詳しく説明しない。

また、本明細書および付属の特許請求の範囲において使用する単数形「ａ」「ａｎ」および「ｔｈｅ」は、文脈が明らかに指示していない限り、複数の言及も含むことに留意しなければならない。特に別の定義がなければ、本明細書で使用されているすべての技術的および科学的用語は、当業者が一般に理解するのと同じ意味を有するものである。本明細書で説明するものと同一または同等のいかなる方法も、本発明の実施形態の実施またはテストで使用できるが、ここでは好適な方法を説明する。本明細書で言及したすべての出版物は参照により組み込まれるものである。本発明がそのような先行発明による開示に先行する資格がないことの承認として解釈されるべきものは、本明細書にはない。

以下の説明では、自動エッセイ評価システムのさまざまな実施形態が、構築および使用方法と共に提供されている。以下の例は、特定の文章エラー、すなわち過度の反復様式での単語使用に言及している。一般に、前記用語「過度の反復」は、単語、句または同種のものが、読者にとって気障りでありおよび／または不愉快である程度に頻繁に繰り返される文体的文章エラーを指す。ただし、当然のことながら、本発明は過度の反復単語使用の評価に限定されるものでない。それよりむしろ、本発明の他の実施形態はさまざまな文章エラーを検出するのに使用することができる。

本発明の実施例は、文体的文章エラーに関する人間の評価者間での合致を説明するのに使用される。次に、この合致は、過度の反復単語使用に関してエッセイを自動的に評価するモデルを生成するために使用される。

図１は、本発明の実施形態が実施されるコンピュータネットワーク１００のブロック図である。図１に示すように、前記コンピュータネットワーク１００は、例えばサーバ１１０と、ワークステーション１２０および１３０と、スキャナ１４０と、プリンタ１５０と、データベース１６０と、コンピュータネットワーク１７０とを含む。前記コンピュータネットワーク１７０は、他の装置と通信するため前記コンピュータネットワーク１００の各装置に通信路を提供するように構成されている。また、前記コンピュータネットワーク１７０は、インターネット、公衆交換電話網、ローカルエリアネットワーク、プライベート広域ネットワーク、ワイアレスネットワークおよび同種のものであってもよい。

本発明の実施形態では、自動評価アプリケーション（「ＡＥＡ」）１８０は、前記サーバ１１０で実行され、前記ワークステーション１２０および１３０のどちらかまたは両方よりアクセス可能である。例えば、本発明のこの実施形態では、前記サーバ１１０は前記ＡＥＡ１８０を実行するように構成され、前記ＡＥＡへの入力として前記ワークステーション１２０および１３０からエッセイを受け取り、前記結果を前記ワークステーション１２０および／または１３０に出力する。代替実施形態として、前記ワークステーション１２０および１３０の１つまたは両方が単独または協同で、前記ＡＥＡ１８０を実行するように構成することができる。

前記スキャナ１４０は、テキスト内容をスキャンしてその内容をコンピュータ可読フォーマットに出力するように構成される。また、前記プリンタ１５０は、紙などの印刷媒体に前記内容を出力するように構成される。さらに、エッセイ、前記ＡＥＡ１８０によって使用されるモデル、前記ＡＥＡ１８０の処理結果、および注釈付きエッセイなどの前記ＡＥＡ１８０に関連するデータを格納するように、前記データベース１６０は構成される。また、コンピュータネットワーク１００の前記さまざまなコンポーネントにデータを配信またはそこからデータを受け取るように、前記データベース１６０は構成される。さらに、図１では個別装置のシステムとして示されているが、コンピュータネットワーク１００を構成するいくつかまたは全ての装置を単一の装置内に組み込むこともできる。

図１は、コンピュータネットワーク１００上の前記ＡＥＡ１８０を示したものだが、当然のことながら、本発明はネットワーク内の作用に限定されるものではなく、むしろいかなる適切な電子装置内でも実施可能である。このため、図１に示した前記コンピュータネットワークは例示的なものであって、いかなる意味においても本発明を限定することを意図したものではない。

図２は、本発明の実施形態を実装できるコンピュータシステム２００のブロック図である。図２に示したように、前記コンピュータシステム２００は、プロセッサ２０２と、メインメモリ２０４と、二次メモリ２０６と、マウス２０８と、キーボード２１０と、ディスプレイアダプタ２１２と、ディスプレイ２１４と、ネットワークアダプタ２１６と、バス２１８とを含む。前記バス２１８は、他の要素と通信するために前記コンピュータシステム２００の各要素に通信路を提供するように構成されている。

前記プロセッサ２０２は、前記ＡＥＡ１８０のソフトウェア実施形態を実行するように構成されている。この場合、コンピュータで実行可能な前記ＡＥＡ１８０用のコードのコピーを前記メインメモリ２０４にロードされ、前記二次メモリ２０６から前記プロセッサ２０２によって実行できる。コンピュータで実行可能なコードとは別に、前記メインメモリ２０４および／または前記二次メモリは、エッセイ、テキストの内容、注釈付きエッセイ、データのテーブル、エッセイの得点などを含むデータを格納することができる。

作動時は、前記ＡＥＡ１８０の実施形態用の前記コンピュータで実行可能なコードに基づいて前記プロセッサ２０２は表示データを生成することができる。この表示データは、前記ディスプレイアダプタ２１２により受け取られ、前記ディスプレイ２１４を制御するように構成された表示コマンドへ変換される。さらに、周知の方法で、前記マウス２０８およびキーボード２１０は、ユーザによる前記コンピュータシステム２００とのインターフェイスとして利用できる。

前記ネットワークアダプタ２１６は、前記ネットワーク１７０と前記コンピュータシステム２００との間に双方向通信を提供するように構成されている。この場合、前記ＡＥＡ１８０および／またはこのＡＥＡ１８０に関連付けられたデータは、前記コンピュータネットワーク１００に格納され、前記コンピュータシステム２００からアクセスできるようになる。

図３は、本発明の１つの実施形態に従った、前記ＡＥＡ１８０のアーキテクチャのブロック図である。図３に示すように、前記ＡＥＡ１８０は、エッセイの問題を表示し、エッセイを受け入れ、および／または評価付きエッセイ（例えば、採点付き、注釈付き、コメント付きなど）をユーザに出力するように構成されたユーザインターフェイス３００を含む。例えば、前記ユーザインターフェイス３００は、ユーザにエッセイを入力するように指示する問題を表示できる。前記ユーザインターフェイス３００はさらに、前記キーボード２１０で入力されたエッセイを受け入れ、このエッセイを特徴抽出プログラム３０２に転送し、反復分析モデラー３１８から１若しくはそれ以上の確率を受け取る。さらに、前記ユーザインターフェイスは、前記１若しくはそれ以上の確率をモデルと比較し、この比較に基づいて前記エッセイに注釈を付け、評価付きエッセイを前記ディスプレイ２１４に表示するように構成される。人間の審査員間で比較的高い合致を有する評価をもたらす閾値確率が、経験的に決定される。実施例では、人間の審査員間、および人間の審査員と当該自動評価システムと間の合致を詳述する。前記注釈には過度の反復単語使用のあらゆる適切な指示を含めることができる。例えば、過度の反復と決定されたそれぞれの事例を、太字で表示することができる。

前記特徴抽出プログラム３０２は、発生計数プログラム３０４と、エッセイ比率計算プログラム３０６と、段落比率計算プログラム３０８と、最高段落比率識別プログラム３１０と、単語長計数プログラム３１２と、代名詞識別プログラム３１４と、間隔距離識別プログラム３１６とを含み、これらはそれぞれが相互通信するように構成される。前記用語「特徴」は、特定された単語の属性、特性および／または特質として定義される。さらに、当然のことながら、本明細書では前記用語「単語」が全体を通して使用されているが、過度の反復単語、単語群、句、および同種のものの特定は、本発明のさまざまな実施形態の範囲内にあるものである。

前記特徴抽出プログラム３０２は、エッセイ中の単語を特定して、各特定された単語に対する単語エントリを含んだベクトルファイルを生成するように構成される。前記用語ベクトルファイルは、エッセイ中の各非機能語に対する特徴値のマトリクス（ＭＸＩ）を説明するために使用される。前記単語を決定するために、前記特徴抽出プログラム３０２は、前記エッセイをスペース、コンマ、ピリオドまたは同種のものの単語区切り文字が後続する１若しくはそれ以上の文字に解析する。前記ベクトルファイルを生成する前に、例えば前置詞、冠詞、および助動詞などの機能語が取り除かれる。例えば、前記機能語（ｔｈｅ，ｔｈａｔ，ｗｈａｔ，ａ，ａｎ，ａｎｄ，ｎｏｔ）は、結果の信頼性に貢献することなしに、前記分析の複雑性を増加させることが経験的に判明している。この場合、機能語リストが前記エッセイ中の前記単語と比較される。前記機能語リストに合致すると決定された単語は取り除かれ、以下で詳述するように、（表１と同様に）ベクトルファイルが残りの単語から生成される。

さらに、以下で説明するように、少なくとも１つの特徴が決定され、各特徴に対する関連値が前記エントリに格納される。上記で説明したように前記単語は決定され、各単語に関する特徴が決定され関連付けられる。１つの実施形態では、前記特徴はコンマによって別けられる。他の実施形態では、前記特徴はリンクリストまたは他の関係データ構造を通して関連付けられる。一般に、利用される前記特徴は、過度の反復単語使用の決定に関して、統計的に適切であることが経験的に解決されている。以下の本発明の実施例でさらに詳細に説明するように、この特定組合せの特徴をモデルにすることにより、前記ＡＥＡ１８０と人間の審査員との間の合致は、大体において２人の人間の審査員間の合致を超える。

一例として、表１は、あるエッセイ中の６３の特定された非機能語のそれぞれに対して７つの特徴を特定している前記特徴抽出プログラム３０２の結果を示している。表１に示すように、前記表の各列は、前記所与の単語に対する前記特徴ベクトルを構成している。

表１に示すように、機能語を除いたエッセイ中の各特定した単語に対して１つずつ、すなわち６３のベクトルファイルがある。本発明の１つの実施形態では、第１の行は列見出しを表し、第１の列は特定した単語を一覧し、第２の列は参照単語識別子を一覧し、残りの列は前記決定された特徴に対する前記関連値を一覧する。さまざまなその他の実施形態では、前記列見出し、前記特定された単語リスト、および／または前記参照単語識別子が存在しないかもしれない。１から７までの列見出しで上記に示されている前記列内の前記値は、特徴に関連している。本発明の１つの実施形態でのこれらの特徴は、以下の通りそれぞれ順番に一覧されている。
１．特定の単語がエッセイ中で見付けられた回数で、「発生」と定義される。
２．エッセイ中の単語の合計数と比較した発生比率で、「エッセイ比率」と定義される。
３．エッセイ中の個々の段落内の単語の平均発生比率で、「平均段落比率」と定義される。前記特定の単語は各エッセイの段落中で数えられ、各段落内で見付けられた前記単語数によって割り算され、個別段落比率が算出される。次に、平均段落比率がここの特徴として格納される。
４．前記個々の段落内での前記単語の最高比例発生が、「最高段落比率」として決定される。
５．個々の文字が測定され「単語の長さ」が決定される。
６．前記単語が代名詞かどうかが、「代名詞インジケータ」によって決定される。(はい＝１、いいえ＝０)
７．最後に、単語で測定される、特定された単語の発生間隔における「間隔距離」が、各単語に対して決定される。この間隔距離は、エッセイ中で単語が一度しか発生しない場合には適用されず計算されない。各エッセイで、テキストに前記特定の単語が現れるごとに、各単語ごとに別々に前記特徴が決定される。従って、前記単語「ｌｉｋｅ」がエッセイ中に４回現れる場合は、「ｌｉｋｅ」に対して４つの単語ベクトルが作成される。１回目に「ｌｉｋｅ」が現れた場合には、計算するための「間隔距離」は存在しない。しかし、２回目に前記単語が現れると、前記１回目と２回目の発生の間の距離が計算され、「ｌｉｋｅ」の前記２回目の発生に対する前記特徴セットに格納される。

表１に提供された例では、エッセイ中の単語の過度の反復使用を決定するのに特に有用なものとして、これらの７つの特徴が特定される。ただし、実際上は、あらゆる妥当な数の特徴が特定される。

例えば、特徴抽出プログラムは、エッセイ中に見付けられる単語の合計数に基づいて（例えば、トークン総数）、またはエッセイ中に現れる異なる単語の合計数（例えば、タイプ総数）に基づいて、前記解析付きテキストの特徴を抽出するように構成される。前記トークン総数とタイプ総数との違いは、上記で使用した例に照らすとよりよく理解できる。前記単語「ｌｉｋｅ」が前記エッセイテキストで４回現れた場合、トークン総数システムで前記単語「ｌｉｋｅ」に対して４つのベクトルが生成される。ただし、タイプ総数システムでは、前記特徴抽出プログラムは、前記単語「ｌｉｋｅ」に対して１つのベクトルしか生成しない。

表１の構成では、特徴抽出プログラムはエッセイ中の前記単語合計数に基づいて特徴を抽出した(トークン総数)。一語一語に関して、ベクトルが生成され、特徴が決定される。別の実施形態では、前記特徴抽出プログラムが、エッセイ中の全ての異なる単語に対して特徴ベクトルを生成することができる（タイプ総数）。タイプ総数システムとトークン総数システムを比較すると、両システムで列１〜７に表示される前記特徴は、大部分は等しいものである。ただし、タイプ総数に基づく特徴抽出プログラムにおいて、間隔距離計算は変化する。従って、タイプ総数システムでは、前記間隔距離特徴は、単語数で測定される単語発生の間の平均距離を示すように構成される。前記間隔距離特徴はまた、前記単語が発生する間の最大距離間を示すように構成される。前記間隔距離は、前記単語発生の距離間のそのような関係を示すように計算される。例えば、単語「ｌｉｋｅ」がエッセイテキスト中で４回発生し、それぞれが４単語、８単語、および１２単語の間隔で現れた場合、ベクトル「ｌｉｋｅ」の前記平均間隔距離は８単語である。

各単語に対して、前記発生計数プログラム３０４は、エッセイ中に単語が現れる回数を決定し（「発生」）、この値をベクトルファイルの対応する単語エントリ（「エントリ」）に格納するように構成される。例えば、それぞれのエントリに対応する前記単語は、「検索ストリング」として利用される。エッセイを検索する際、前記検索ストリングへの各「ヒット」により、発生計数プログラム（最初はゼロに設定）が１つずつ増加する。ファイルの終了（ＥＯＦ）マーカがエッセイの終了を示すのに利用され、それにより、それぞれのエントリへの前記発生計数プログラムの値の格納が示される。前記発生計数プログラムはゼロに再設定され、次の単語の発生数が数えられる。この工程は、原則的に全ての単語の発生が決定され、それぞれのエントリに格納されるまで続けられる。上記の例では、発生を数える工程に対する比較的に連続的なアプローチを示している。ただし、他のアプローチを利用することも、本発明の範囲内である。例えば、エッセイ中の単語に対する基本的に全ての発生が、エッセイの最初の単語の特定解析中に決定されるようにすることができる。

前記エッセイ比率計算プログラム３０６は、エッセイ中の各単語に関する単語使用比率(「エッセイ比率」)を決定するように設定される。この場合、前記エッセイに存在する単語の合計数（「単語総数」）（機能語を引いた）が、前記エッセイ比率計数プログラム３０６によって決定される。また、各単語に対して、前記エッセイ比率計算プログラム３０６は、発生を前記単語総数で割って前記エッセイ比率を決定するように構成される。前記単語総数は、さまざまな様式で決定される。例えば、前記エッセイ比率計算プログラム３０６が前記ベクトルファイルの数を数えるか、または単語区切り文字が後続する１若しくはそれ以上の文字に前記エッセイを解析し、機能語を取り除いた後に単語の合計数を決定するように構成される。前記エッセイ比率は、前記エッセイ比率計算プログラム３０６によって前記ベクトルファイルの関連単語とともに格納される。

前記段落比率計算プログラム３０８は、各段落中に各単語が現れる回数、各段落中の単語数、および各段落ごとの発生比率を決定するように構成される。エッセイ中の段落に対する発生の平均比率は、各段落ごとの前記発生比率の平均を計算して決定される。エッセイ中の段落の境界は、エッセイ中のハードリターン文字を検索することによって決定される。エッセイ中の段落に対する前記平均発生比率は、前記段落比率計算プログラム３０８によって、前記ベクトルファイル内の関連単語と共に格納される。また、前記段落比率計算プログラム３０８は、各段落ごとの前記発生比率を前記最高段落比率識別プログラム３１０に転送するように構成され、これにより労力の重複を削減する。

前記最高段落比率識別プログラム３１０は、各段落ごとの前記それぞれの発生率を受け取り、最高値を特定するように構成される。この値は、前記ベクトルファイル中の関連単語と共に、最高段落比率識別プログラム３１０として格納される。

前記単語長計数プログラム３１２は、各単語それぞれの長さを決定し、各長さのそれぞれの決定を前記ベクトルファイル中の関連単語と共に格納するように構成される。

前記代名詞識別プログラム３１４は、エッセイ中の代名詞を特定するように構成される。前記代名詞識別プログラム３１４はさらに、特定された代名詞に関連する前記ベクトルファイル中の各エントリのそれぞれに対して「１」を格納するように構成される。また、前記代名詞識別プログラム３１４は、特定された代名詞に関連しない前記ベクトルファイル中の各エントリのそれぞれに対して「０」を格納するように構成される。エッセイ中のあらゆる代名詞を特定するために、エッセイ中の各文章が特定され（例えば、終止符の場所に基づいて）、各特定された文章内の単語に「品詞タグ」が構文解析プログラムによって割り当てられる。前記代名詞識別プログラム３１４は、前記「品詞タグ」に基づいてエッセイ中の代名詞を特定するように構成される。上記の構文解析プログラムについてのさらなる詳細な説明は、２０００年１０月２０日出願済みＥｄｕｃａｔｉｏｎａｌ Ｔｅｓｔｉｎｇ Ｓｅｒｖｉｃｅに与えられた米国特許第６,３６６,７５９ Ｂ１で開示されており、この参照によりその全体が本明細書に組み込まれるものである。代名詞を特定するその他の方法も使用することができる。例えば、代名詞のあらかじめ定められたリストと解析付きテキストとを比較して、エッセイ中の代名詞を特定することができる。

前記距離識別プログラム３１６は、エッセイおよび／またはベクトルファイルに基づいて、単語の一連の発生から重複単語を分離している介在単語数（有れば）を決定するように構成される。前記単語の１回目の発生の間、前記距離識別プログラム３１６によって、ベクトルファイルに前記単語に対する距離「Ｎ／Ａ（該当なし）」が格納される。しかし、特定された単語の２回目（またはそれ以上）の発生の場合には、前記介在単語数を表す数値が決定され、この値は前記距離識別プログラム３１６によって前記単語（２回目またはそれ以上の発生）のベクトルファイルに格納される。

前記反復分析モデラー３１８は、前記特徴抽出プログラム３０２から前記ベクトルファイルのそれぞれを受け取り、前述の訓練に基づいて(図７を参照)、前記ベクトルファイルからパターンを抽出するように構成される。前記訓練では、モデル４００が生成された（図６を参照）。一般に、前記モデル４００は、専門家および／または訓練された審査員によって注釈が付けられたエッセイに基づいて生成された少なくとも１つの決定木を含む。前記ベクトルファイルの各エントリに関連する特徴の値および存在または不在に基づいて前記決定木を進むことにより、実質的に一意の各単語に関する確率が決定される。この確率は、エッセイ中の前記単語使用を過度の反復単語使用と関連付ける。従って、各単語に対して、前記モデル４００は、前記単語が過度に反復している単語の可能性を決定するのに利用される（例えば、マッピング）。例えば、前記ベクトルファイルが前記モデル４００にマッピングされて、過度に反復している各単語の確率が決定される。一般に、前記マッピング工程は、前記モデル４００と呼ばれる複数枝の決定木を進むことを含む。前記決定木の各枝において特徴と関連する値は、前記モデルをどのように進むかを決定するのに利用される。前記マッピング工程が完了すると、確率が戻される。この工程は前記ベクトルファイル中の各エントリに対して繰り返され、各エントリに対して確率が戻される。これらの確率は前記ユーザインターフェイス３００に転送される。

モデル化は本技術分野のその他のいかなる方法によっても達成される。その他の方法には、単語が過度に使用されているかどうかの最終計算で使用される各特徴の重みを決定する、重回帰を含む。モデル化と人間の評価については、本出願の実施例で再び説明する。

各モデルは、人間の採点者によって採点された複数のエッセイから構築される。各単語に関する前記ベクトルファイルに格納されている特徴値は、前記モデルを有する値範囲と比較される。例えば、図４では、決定木として単純化された前記モデル４００の図式が示されている。第１の決定点４０１では、所定の単語に対する発生値が前記モデルと比較される。前記発生値がある特定の範囲内にある場合には、枝４０５を採り、そうでない場合には枝４１０を採る。前記エッセイ比率を前記モデルと比較する第２の決定点４１５に到着する。前記エッセイ比率の値が複数の範囲と比較され、パス４２０、４２５、または４３０からどれを採るかが決定される。さまざまな決定点および関連セグメントが前記モデル４００を通る複数のパスを形成している。各パスは関連した確率を有する。前記ベクトルファイルに基づいて、前記さまざまなセグメントを通る１つのパスが決定され、前記関連した確率が戻される。この工程は比較的太いパス４５０によって示されている。従って、この例では、６５％の確率が戻される。

図５は、本発明の代替実施形態に従った、自動評価アプリケーション（「ＡＥＡ」）５００に関するアーキテクチャのブロック図である。図１または２には示していないが、前記ＡＥＡ５００は、コンピュータシステム（例えば、前記コンピュータシステム２００）および／またはコンピュータネットワーク（例えば、前記コンピュータネットワーク１００）で実施してもよい。この実施形態の前記ＡＥＡ５００は、図３に示した前記実施形態と類似しているので、異なる側面だけを以下に説明する。図３に示した前記実施形態から異なるものの１つは、前記ＡＥＡ５００が前記ユーザインターフェイス３００および／または前記特徴抽出プログラム３０２から実質的に独立した方法で動作されることである。この場合、図５に示すように、前記ＡＥＡ５００はベクトルファイル５０５、モデル５１０、および反復分析モデラー５１５を含む。

この実施形態の前記反復分析モデラー５１５は、前記モデル５１０への前記ベクトルファイル５０５のマッピングに基づいて、出力５２０を生成するように構成される。例えば、前記反復分析モデラー５１５が、前記ベクトルファイル５０５および前記モデル５１０をメモリ(例えば、メインメモリ２０４、二次メモリ２０６または他の記憶装置)から読み出すように構成される。前記出力５２０は、前記マッピング工程に基づいて１若しくはそれ以上の確率を含むことができる。

図６は、本発明の１つの実施形態に従った、図５に示した前記ＡＥＡ５００に対する方法６００のフローチャートである。従って、前記方法６００は、コンピュータシステム（例えば、コンピュータシステム２００）および／またはコンピュータネットワーク（例えば、コンピュータネットワーク１００）で実施される。前記方法６００は、前記ＡＥＡ５００によって評価されるエッセイの受け取りに応じて開始される（６０５）。

そして、次のエッセイが、前記ＡＥＡ５００によって処理されるために、メインメモリにロードされる（６０５）。前記ＡＥＡ５００は、前記エッセイから全ての機能語を取り除いて（６１０）、分析される第１の非機能語を特定する（６１５）。この場合、前記ＡＥＡ５００は単語単位でエッセイを分析するように適応されるか、または特定句若しくは文字の並びを分析するのに使用できるように適応され、関連する前記特徴値を決定する。図３に示した前述の実施形態のように、次に、前記ＡＥＡ５００は前記発生６２０を計算し、エッセイ中の単語合計数に対するエッセイ中の各単語の比率である前記エッセイ比率６２５を計算する。前記ＡＥＡは次に、前記段落比率６３０を計算する。前記平均段落比率６３０の計算において、各段落で現れる各単語の回数、各段落の単語数、および各段落ごとの発生比率が決定される。エッセイ中の各段落に対する発生の平均比率がさらに決定される。例えば、特定の単語が３つの段落それぞれに対して段落比率０.０１、０.０２、および０.０３を有する場合、平均段落比率は０.０２である。各段落比率に対する前記値を使用して、前記ＡＥＡは次に、前記最大段落比率を計算する（６３５）。次に、単語の前記長さが単語長によって決定される（６４０）。上記の計算された値はそれぞれ、前記特定の単語に対してベクトルフィルに格納される。また、前記ベクトルは代名詞識別子の値６４５を含み、単語が代名詞として特定された場合には所与値（例えば、１）であり、単語が代名詞でないとして特定された場合には第２の値（例えば、２）である。

最後に、前記単語が発生する間の前記介在距離６５０が測定され、その値が前記単語に対するベクトルファィルに格納される。単語の１回目の発生に対しては、ベクトルファイルのそれぞれのエントリ６５０にゼロ値が格納される。しかし、特定された単語のその後の発生に対してはベクトルファイルが生成され、間隔距離を示す数値が計算され、前記特定された単語のベクトルファイルに格納される。この距離は、２つの後続発生間で決定された介在単語数である。

次に、前記ＡＥＡは、分析すべき追加の単語が残っているかどうか決定し（６５５）、存在する場合には、工程６１５に始まる前記工程が繰り返される。エッセイ中に分析すべき追加の単語がない場合には、次に生成されたベクトルファイルがモデル６６０にマッピングされ、前記単語に対する結果の確率が計算される（６６５）。この工程は各ベクトルに対して繰り返され（６７０）、前記結果の確率はさらに処理または保存に送付される（６７５）。前記さらなる処理には、計算した確率を閾値レベルと比較して、所定の単語のいずれかがエッセイ中で過度の反復として分類されるべきかどうか決定することを含む。また、前記確率は、エッセイに過度の反復単語使用を示す注釈を付けるのに使用される。分析すべき追加のエッセイがある場合には（６８０）、工程６０５から始まる上述の方法を繰り返し、そうでない場合には前記方法は終了する（６８５）。

図７は、反復分析モデルビルダ（「モデルビルダ」）の実施形態に対するアーキテクチャのブロック図である（７００）。図１または２には示していないが、前記モデルビルダ７００は、コンピュータシステム（例えば、コンピュータシステム２００）および／またはコンピュータネットワーク（例えば、コンピュータネットワーク１００）で実施してもよい。図７に示すように、前記モデルビルダ７００はユーザインターフェイス７０２と、特徴抽出プログラム７０４と、機械学習ツール７１８とを含む。
前記ユーザインターフェイス７０２は、訓練用データを受け取るように構成される。既存のエッセイと前記エッセイの注釈とを有する訓練用データが、反復分析モデルを構築するのに利用される。この場合、前記訓練用データは上記に説明した前記エッセイデータに類似しているかもしれない。前記訓練用データは、さまざまなテストプロンプトに応じて書かれたエッセイである。従って、評価されるエッセイのトピックは、前記モデルを生成するのに使用されたエッセイ訓練用データのトピックと異なる。前記注釈は、前記訓練用データ内の過度の反復単語のインジケータを含む。前記注釈はさまざまな様式で生成されるが、本発明の１つの実施形態では、前記ユーザインターフェイス７０２が訓練された審査員からの訓練用データの手動の注釈を受け取るように構成される（図９を参照）。また、前記ユーザインターフェイス７０２は、前記訓練用データおよび／または前記注釈を前記特徴抽出プログラム７０４に転送し、前記機械学習ツール７１８から前記作成モデル７２５を受け取るように構成される。

前記モデルビルダ７００の前記特徴抽出プログラム７０４は、上記に説明した前記特徴抽出プログラム３０２に類似しているので、前記特徴抽出プログラム７０４の完全な理解に必要とされる特徴だけを以下に詳細に説明する。図７に示すように、前記特徴抽出プログラム７０４は、発生計数プログラム７０６と、エッセイ比率計算プログラム７０８と、段落比率計算プログラム７１０と、最高段落比率計算プログラム７１２と、単語長計数プログラム７１４と、代名詞識別プログラム７１６とを含み、それぞれの動作は図３でより充分に説明されている。前記特徴抽出プログラム７０４は、前記ユーザインターフェイス７０２から前記訓練用データおよび／または前記訓練用データの注釈とを受け取り、７０６、７０８、７１０、７１２、７１４、および７１６で特定された前記関連する特徴値を計算し、前記所与の単語に対するベクトルファイルに各値を格納する。次に、例えば人間の評価者、審査員、または専門家などのユーザは、単語が過度に使用されているという注釈者の主観的決定を示す第１の値（例えば、１）か、または単語が過度に使用されていないことを示す第２の値（例えば、０）を入力するように訊ねられる。代わりとして、前記訓練用データにどの単語が反復使用されているかを示す採点または注釈が既に付いている。従って、工程７１７では、前記特徴抽出プログラムがこの注釈を読み取ってエッセイ中の単語の反復性を決定する。

前記機械学習ツール７１８は、前記訓練用データから抽出された特徴を使用して、このデータに基づいて前記モデル７２５を生成するように構成される。一般に、前記機械学習ツール７１８は、各注釈と関連したパターンを決定するように構成される。例えば、比較的長い単語が同じ単語に比較的近接して反復する場合は、この重複する単語が比較的短い場合よりもさらに強い相関関係がある。本発明の１つの実施形態では、機械学習ツール（例えば、データマイニングツール等）、Ｃ５．０（登録商標）（オーストラリアのＲＵＬＥＱＵＥＳＴ ＲＥＳＥＡＲＣＨ ＰＴＹ．ＬＴＤ．から入手可能）を利用して前記モデルを生成する。しかし、本発明の他の実施形態では、さまざまなその他の機械学習ツールまたは同種のものを利用して前記モデルを生成するので、これらは本発明の範囲内である。この場合、本発明の代替実施形態では、複数モデルが生成され、それらが単１モデルに組み込まれる。例えば、単語長に基づいたモデル、近接に基づいたモデル、および段落中での発生比率に基づいたモデルが生成される。この方法では、例えば投票アルゴリズムが、候補の単語(例えば、過度の反復の見込みのある単語)を各モデルから受け取って、各指名された単語に対する総意を決定する。前記機械学習ツール７１８によって生成された前記モデル７２５は次に、前記反復分析モデラー７２０に組み込まれ、本明細書で説明した様式でエッセイを評価するために使用される。

図８は、本発明の１つの実施形態に従った、モデルを構築するための方法８００のフローチャートである。図１または２には示していないが、前記方法８００は、コンピュータシステム（例えば、コンピュータシステム２００）および／またはコンピュータネットワーク（例えば、コンピュータネットワーク１００）で実施してもよい。図８に示すように、前記方法８００は少なくとも１つの注釈付きエッセイ（例えば、注釈訓練用データ）の受け取りに応じて開始される（８０１）。前記注釈付きエッセイはさまざまな方法で生成され得るが、その内の１つが図９に示されている。ただし、注釈付きエッセイ８０１を生成するいかなる方法も本発明の範囲内にあるものである。本発明の１つの実施形態では、前記注釈付きエッセイは１若しくはそれ以上のトピックを論議する複数のエッセイの形式である。前記複数のエッセイは、１人またはそれ以上の訓練された審査員によって注釈されている。一般に、前記注釈は、過度の反復様式で使用されている単語を特定するのに利用される。

少なくとも１つの注釈付きエッセイを受け取った後（８０１）、関連する特徴が抽出され各単語に対するベクトルに格納される（８０５）。前記特徴はいかなる方法でも抽出され、図３または図７と共に説明したような特徴抽出プログラムの使用を含むものである。ただし、この場合は、関連する特性およびパラメータをよりよく表すように、前記特徴が人間の評価者によって修正される。

いったん前記特徴ベクトルが作成されると（８０５）、前記モデルは機械学習ツールによって構築され（８１０）、前記ベクトルおよび人間による注釈付きエッセイをパターンやその他の関連する特性に関して検査する。前記モデルは、図７に説明した前記方法のような本明細書の方法によりまたはその他の周知の方法により構築される。

次に、前記モデルは評価され、結果予測が充分正確かどうかを決定する（８１５）。例えば、前記方法は、図３と共に説明した方法に類似した方法で、エッセイを評価するために使用される。前記エッセイは人間の専門家によって評価され（８１５）、前記ＡＥＡ１８０のモデル４００としてそのパフォーマンスと比較される。前記評価が所定の範囲内で合致すれば、前記モデルは受け入れることができると決定される。前記評価が所定の範囲内で合致しなかった場合には、前記モデルは失敗であり、前記方法８００は工程８０５に戻し、そこで前記モデルの正確さを増加させるように前記特性およびパラメータを修正する。

図９は、本発明の１つの実施形態に従った、モデルを生成するのに使用できる評価付きまたは注釈付きエッセイを生成するための方法９００のフローチャート。図９に示すように、前記方法９００は、専門家および審査員が評価されるべき少なくとも１つのエッセイを受け取るところから始まる（９０５）。前記専門家は、文法および／またはエッセイ評価において平均以上の技量を有する当業者として一般に認定されている１人またはそれ以上の人間である。前記審査員は、文法および／またはエッセイ評価において少なくとも当業者の技量を有する１人またはそれ以上の人間である。

工程９１０では、審査員は専門家によって過度の反復単語使用についてエッセイに注釈を付ける訓練を受ける。例えば、前記専門家は、単語が過度に使用されているかどうかを決定する予め定められた一組のルールに従って訓練または指導する。また、前記審査員は、前記専門家が１若しくはそれ以上のエッセイを評価しているのを観察することができる。前記審査員と前記専門家はどのようにして、なぜ特定の評価が行われたのか討議することができる。追加訓練が必要ような場合は（９１５）、追加のエッセイを使用して前記工程が繰り返される。そうでなければ、前記審査員は、モデルを生成するために使用できるエッセイを評価および／または注釈する訓練ができたと見なされる。

次に、工程９１０で受けた訓練に基づき、前記審査員によってエッセイが評価および／または注釈される（９２０）。例えば、前記審査員は、過度の反復様式で使用されていると決定された単語を特定し、それに従って前記エッセイに注釈を付ける。これらの評価付きエッセイはデータベースまたは他のデータ記憶装置に格納される（９２５）。

定期的に、審査員のパフォーマンスが評価され、エッセイが受け入れられる様式で評価および／または注釈されているかどうかを決定する（９３０）。例えば、第１の審査員によって評価されたエッセイは、第２の審査員および／または専門家による同じエッセイについての評価と比較される。前記評価が所定の範囲内であれば、前記パフォーマンスは受け入れられたと見なされる。前記評価付きエッセイ間の合致レベルは、例えば、κ（カッパ）統計量、適合率（ｐｒｅｃｉｓｉｏｎ）、再現率（ｒｅｃａｌｌ）、Ｆ値（Ｆ−ｍｅａｓｕｒｅ）などの１若しくはそれ以上の評価付きエッセイの周知の特性測定の値を計算することにより決定される。ここで、κ（カッパ）統計量は、偶然の確率を排除した統計的な合致確率を決定するもので、一般に知られた式で表される。適合率とは、第１の審査員および第２の審査員の合致数を第１の審査員が付記した評価の数で割った、合致確立の指標である。再現率とは、第１の審査員および第２の審査員の合致数を第２の審査員が付記した評価の数で割った、合致確立の指標である。Ｆ値は、２×適合率×再現率を適合率＋再現率で割ったものに等しい。

審査員のパフォーマンスが受け入れられないと決定した場合は、前記審査員は、専門家との訓練に戻される。審査員のパフォーマンスが受け入れられると決定した場合には、前記審査員はエッセイの評価および／または注釈を続けることができる。

本発明の１つの実施形態９００では、前記モデル構築に使用する注釈付きエッセイを生成するための１人またはそれ以上の審査員の訓練を提供する。例えば、比較的大量のエッセイを評価する場合で、そうすることが比較的少数の専門家にとって不当な重荷である場合、方法９００を使用して複数の審査員を訓練するのは有益である。本発明の別の実施形態では、審査員、訓練された審査員、または専門家の中の誰でもエッセイを評価することができる。

前記ＡＥＡ（本明細書で説明した前記モデルビルダ）および本発明の方法は、アクティブおよび非アクティブの両方のさまざまな形式で存在する。例えば、これらは、ソースコード、オブジェクトコード、実行可能コード、または他フォーマットのプログラム命令を有するソフトウェアプログラムとして存在することができる。上記のいずれもが、（記憶装置およびシグナルを含む）圧縮または非圧縮のコンピュータ可読媒体に具体化される。コンピュータ可読媒体記憶装置の例としては、従来のコンピュータシステムＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（読み取り専用メモリ）、ＥＰＲＯＭ（消去可能、プログラム可能ＲＯＭ）、ＥＦＰＲＯＭ（電気的消去可能、プログラム可能ＲＯＭ）、フラッシュメモリ、および磁気または光のディスクまたはテープを含む。コンピュータ可読シグナルの例として、インターネットまたは他のネットワークを通してダウンロードされるシグナルを含む、（媒体の使用によって変調されているかどうかに係わらず）コンピュータプログラムをホストするまたは実行するコンピュータシステムがアクセスできるように構成されるシグナルである。前述の具体例としては、ＣＤＲＯＭまたはインターネットダウンロードを通したプログラムの分配を含む。ある意味で、インターネット自体が、抽象的実体としてコンピュータ可読媒体である。これは、コンピュータネットワーク一般についても同様である。

また、ここで言及する数人または全ての専門家、審査員、およびユーザには、エッセイの生成、エッセイの注釈、および／または審査員にエッセイの注釈を指導するように構成されるソフトウェアエージェントを含む。この場合、前記ソフトウェアエージェントはアクティブおよび非アクティブなさまざまな形式で存在することができる。

実施例
以下の例では、人間の評価者の間の合致および、本発明のシステムと人間の評価者との間の合致を示す。２人の人間の審査員が一連のエッセイに注釈を付け、過度に使用されている単語があるかを示す。簡略な表記法の「ｒｅｐｅａｔｅｄ（反復した）」、「ｒｅｐｅｔｉｔｉｏｎ（反復）」、または「ｒｅｐｅｔｉｔｉｖｅ（反復的）」は、エッセイ中の特定の単語の過度の反復使用に言及するものである。

表２の結果は、単語レベルで審査員により反復が付記されたエッセイに基づいて、２人の人間の審査員間の合致を示している。表２のこのデータには、１人の審査員はいくつかの反復単語を注釈し、他方の審査員は反復している単語がないと注釈したケースを含んでいる。各審査員は、エッセイの約２５％について、過度の反復単語を注釈した。表２での「Ｊ１とＪ２」合致は、審査員２の注釈が比較の基準であったことを示し、「Ｊ２とＪＩ」合致では、審査員１の注釈が比較の基準であったことを示している。前記２人の審査員間のκ統計量は全単語（例えば、反復＋非反復）の注釈を基に０．５であった。κ統計量は、審査員間の偶然の合致に関する合致を示す。０．８より高いκ値は高度の合致を反映し、０．６〜０．８は優良な合致を示し、０．４〜０．６の値は低度の合致を示す、ただしそれでも偶然以上である。

表２では、「反復単語」についての審査員間の合致は少し低めである。しかし、どちらかの審査員によっていくつかの反復を有すると特定されたエッセイの合計セットがあり、特に、両方の審査員がある種の反復があるとして注釈した４０エッセイの重複セットがある。この重複はサブセットであり、最終的には本発明のモデルを作成するのに使用される。審査員１がいくつかの反復を有するとして注釈したエッセイの中の約５７％（４０／７０）のエッセイが、ある種の反復があるとした審査員２の決定に合致し、審査員２が反復単語使用として注釈したエッセイの中の約５４％である（４０／７４）。

表２の全てのエッセイに対して各審査員によって「反復単語」とラベルを付けられた合計数に焦点を当てると、４０エッセイのこのサブセットは、各審査員による「反復単語」の過半数を含んでおり、審査員２については６４％（８３８／１３１５）、審査員１については６０％（７６７／１２９２）である。表３では、前記合致サブセットの「反復単語」に対する前記２人の審査員間の高度の合致（Ｊ１およびＪ２が反復しているとして同じ単語について同意する）を示している。このサブセットでの「全単語」（反復＋非反復）に対する前記２人の審査員間のκ値は０．８８である。

表４では、複数のベースラインシステム間の反復単語の合致および２人の審査員のそれぞれを示している。各ベースラインシステムは、反復単語を選択するのに使用される７単語ベース特徴の１つを使用する(表１を参照)。ベースラインシステムでは、アルゴリズムの基準値に合致すると、単語の全ての発生に反復としてラベルを付ける。異なった値を使用して複数回繰り返した後、最高のパフォーマンスを出したのが最終基準値（Ｖ）である。前記最終基準値は表４に示されている。適合率、再現率、およびＦ値は、表２からの同じセットのエッセイおよび単語との比較に基づいている。審査員１と各ベースラインアルゴリズムとの比較は、審査員１が反復単語の発生を注釈した７４エッセイを基にし、同様に審査員２が反復単語の発生を注釈した７０エッセイを基している。

表４の前記ベースラインアルゴリズムを使用すると、非反復単語のＦ値の範囲は０．９６〜０．９７であり、全単語（例えば、反復＋非反復単語）は０．９３〜０．９４である。例外的ケースは、審査員２の最高段落比率アルゴリズムであって、その非反復単語のＦ値は０．８９であり、全単語に対しては０．８２である。

各特徴組合せアルゴリズムについて人間の審査員それぞれとの比較においてシステムを評価するために、両方の審査員の注釈の各セットに対する１０回のクロス確認が実行された。各クロス確認実行では、データの任意の１０分９が訓練用に使用され、残りの１０分１がそのモデルのクロス確認用に使用された。この検証に基づいて、表５では各審査員と異なった特徴組合せを使用するシステムとの間の単語レベルの合致を表している。合致は、前記１０回のクロス確認実行を通して合致した平均を示している。

全てのシステムは、表４の７つのベースラインアルゴリズムのパフォーマンスを明らかに超えている。人間の審査員１または２からの注釈付きサンプルを使用したモデル構築は、見分けがつかないほど正確な結果を生みだした。これにより、前記審査員のいずれかのデータが最終システム構築に使用できる。全特徴システムが使用されると、非反復単語と、「Ｊ１とシステム」および「Ｊ２とシステム」の両方に対する全ての単語とに関して、Ｆ値＝１．００である。全特徴システムを使用した場合、反復単語の合致は、表３の合致サブセットの審査員間合致により近く類似する。従って、機械学習アルゴリズムは、人間の審査員が表示の反復に合意した、エッセイのサブセット中の反復単語使用パターンを捕らえている。

本明細書で本発明の実施形態を一部の変形形態とともに説明および例示した。本明細書で使用した用語、説明、および図面は、限定を意図したものではなく、例示的な目的のみで記載している。当業者であれば、添付の特許請求の範囲（およびそれと等価なもの）により定義されるよう意図された本発明の要旨および範囲内で多数の変形形態が可能であり、前記特許請求の範囲（およびそれと等価なもの）において、全ての項は、特に断りがない限り、最も広義に且つ妥当に解釈されるように意図されていることが理解されるであろう。

Claims (17)

1. コンピュータシステムにより用語の過度の反復使用を決定するモデルを生成する方法であって、
   前記コンピュータシステムが、訓練用データを電子的に受け取る工程であって、前記訓練用データは、過度に反復使用されている１若しくはそれ以上の用語を特定するアノテーションが予め付記されたエッセイを含むものである、前記受け取る工程と、
   前記コンピュータシステムが、前記エッセイ中に含まれる用語のベクトルファイルを生成する工程であって、当該工程において、前記エッセイ中の所定の機能語はベクトルファイルから除外されるものである、前記生成する工程と、
   前記コンピュータシステムが、前記ベクトルファイル中の各用語について、当該用語に関する複数の特徴のそれぞれに対応する特徴値を算出し、当該特徴値を当該用語に関連付ける工程であって、
   前記複数の特徴は、１つの用語につき出現頻度に関する異なる定義を示し、
   前記エッセイ中に特定の用語が出現する回数と、
   前記エッセイ中に含まれる用語の合計数に対する、前記特定の用語の出現回数の比率と、
   前記エッセイの段落毎に前記特定の用語が出現する回数の平均値と
   を含むものである
   前記関連付ける工程と、
   前記コンピュータシステムが、前記ベクトルファイル中の各用語に対してインジケータ値を関連付ける工程であって、前記アノテーションにより当該用語が過度に反復使用されていると特定されている場合は、前記インジケータ値は第１の値に設定されるものである、前記関連付ける工程と、
   前記コンピュータシステムが、前記ベクトルファイル中の各用語に関連付けられた前記特徴値および前記インジケータ値を、当該コンピュータシステムによりアクセス可能なデータ記憶装置に格納する工程と、
   前記コンピュータシステムが、前記格納された特徴値およびインジケータ値に基づいて用語の過度の反復使用を特定するモデルを生成する工程と
   を有する方法。
2. 請求項１の方法において、前記用語は単語を有するものである方法。
3. 請求項１の方法において、前記アノテーションは手動の採点である方法。
4. 請求項１の方法において、前記特徴は、前記エッセイ中の１段落に含まれる用語の合計数に対する、当該段落中に含まれる前記特定の用語の出現回数の比率を前記エッセイ中の各段落について算出したときの最大値を含むものである方法。
5. 請求項１の方法において、前記特徴は、前記特定の用語を文字数で算出した長さを含むものである方法。
6. 請求項１の方法において、前記特徴は、前記特定の用語が代名詞を含むか否かを示す値を含むものである方法。
7. 請求項１の方法において、前記特徴は、前記特定の用語が連続して出現する場合の間隔距離を表す値を含むものである方法。
8. 請求項７の方法において、前記距離は介在語数を算出することにより決定されるものである方法。
9. 請求項７の方法において、前記距離は介在文字数を算出することにより決定されるものである方法。
10. 用語の過度の反復使用を決定するモデルを生成するシステムであって、
    訓練用データを受け取るように構成されたコンピュータシステムであって、前記訓練用データは、過度に反復使用されている１若しくはそれ以上の用語を特定するアノテーションが予め付記されたエッセイを含むものであり、当該コンピュータシステムは、さらに、前記エッセイ中に含まれる用語のベクトルファイルを生成するように構成されており、当該工程において、前記エッセイ中の所定の機能語はベクトルファイルから除外されるものである、前記コンピュータシステムと、
    特徴抽出プログラムであって、前記コンピュータシステムに、
    前記ベクトルファイル中の各用語について、当該用語に関する複数の特徴のそれぞれに対応する特徴値を算出して当該特徴値を当該用語に関連付ける工程と、
    前記ベクトルファイル中の各用語に対してインジケータ値を関連付ける工程と
    を実行させるように構成され、
    前記インジケータ値は、前記アノテーションに基づいて前記用語が過度に反復使用されているか否かを示すものであり、
    前記複数の特徴は、１つの用語につき出現頻度に関する異なる定義を示し、
    前記エッセイ中に特定の用語が出現する回数と、
    前記エッセイ中に含まれる用語の合計数に対する、前記特定の用語の出現回数の比率と
    前記エッセイの段落毎に前記特定の用語が出現する回数の平均値と
    を含むものである
    前記特徴抽出プログラムと、
    前記ベクトルファイル中の各用語に関連付けられた前記特徴値および前記インジケータ値を格納するように構成されたデータ記憶装置と、
    前記格納された特徴値およびインジケータ値に基づいて用語の過度の反復使用を特定するモデルを生成するモデル生成装置と
    を有するシステム。
11. 請求項１０のシステムにおいて、前記アノテーションが付記されたエッセイは手動で採点されるものであるシステム。
12. 請求項１０のシステムにおいて、前記特徴抽出プログラムは、前記コンピュータシステムに、前記エッセイ中の１段落に含まれる用語の合計数に対する、当該段落中に含まれる特定の用語の出現回数の最大比率を表す値を生成する工程を実行させるように構成された段落最高比率計算プログラムを有するものであるシステム。
13. 請求項１０のシステムにおいて、前記特徴抽出プログラムは、前記コンピュータシステムに、前記特定の用語を文字数で算出した長さを表す値を生成する工程を実行させるように構成された長さ計算プログラムを有するものであるシステム。
14. 請求項１０のシステムにおいて、前記特徴抽出プログラムは、前記コンピュータシステムに、前記特定の用語が代名詞を含むか否かを決定する工程を実行させるように構成された識別プログラムを有するものであるシステム。
15. 請求項１０のシステムにおいて、前記特徴抽出プログラムは、前記コンピュータシステムに、前記特定の用語が連続して出現する場合の間隔距離を表す値を生成する工程を実行させるように構成された距離計算プログラムを有するものであるシステム。
16. 請求項１５のシステムにおいて、前記特定の用語が連続して出現する場合の間隔距離は単語数により算出されるものであるシステム。
17. 請求項１５のシステムにおいて、前記特定の用語が連続して出現する場合の間隔距離は文字数により算出されるものであるシステム。

Images