JP4243942B2 - 文章評価採点装置、プログラム及び記憶媒体 - Google Patents
文章評価採点装置、プログラム及び記憶媒体 Download PDFInfo
- Publication number
- JP4243942B2 JP4243942B2 JP2002313004A JP2002313004A JP4243942B2 JP 4243942 B2 JP4243942 B2 JP 4243942B2 JP 2002313004 A JP2002313004 A JP 2002313004A JP 2002313004 A JP2002313004 A JP 2002313004A JP 4243942 B2 JP4243942 B2 JP 4243942B2
- Authority
- JP
- Japan
- Prior art keywords
- sentence
- evaluation
- scoring
- sentences
- evaluation scoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Document Processing Apparatus (AREA)
- Machine Translation (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、文章評価採点装置、プログラム及び記憶媒体に関する。
【０００２】
【従来の技術】
文章の評価方法に関する発明として、特許文献１，２には、文章の修辞に関する評価に関する技術について開示されているが、文章の論理構成や内容の適切さについては評価されていない。特許文献３には、文書の種類に応じた評価を行なう文書評価方式について開示されており、また、特許文献４には、文章要約における重要文を抽出するためにニューラルネットによる学習を利用する技術について開示されている。
【０００３】
【特許文献１】
特許第２６０９６５０号公報
【特許文献２】
特許第２６１５１２１号公報
【特許文献３】
特開平６−１２４１０号公報
【特許文献４】
特開平５−１７４０１９号公報
【非特許文献１】
Cooper, P.L.:The assessment of writing ability: a review of research, GRE Board Research Report, GREB No.82-15R. 1984
【０００４】
【発明が解決しようとする課題】
アメリカにおいては、近年、コンピュータによる小論文の自動採点の研究が精力的に行なわれており、その中でもアメリカのテスト機関であるＥＴＳ（Educational Testing Service）が開発し、現在はその補助機関である ETS Technologiesに拡張開発、および運用が移管されているe-raterは最も有名で、経営大学院（ビジネススクール）の入学試験であるＧＭＡＴ（Graduate Management Admission Test）における小論文の採点に用いられている。
【０００５】
小論文試験においては、実施者は受験者のある種の能力が答案に反映していることを期待しているわけだが、その得点結果には、様々な要因が複雑に関与している。前述の非特許文献１によると、「小論文がWriting Abilityを測定しているものと考えると、その得点に関して誤差要因として働くものには、書き手(writer)、題目(topic)、形式(mode)、制限時間(time-limit)、テスト状況(examination situation)、そして評定者(rater)がある」という。これらの大部分はいわゆる「試験」に共通している要因であるが、特に「評定者」の要因は小論文においては決定的なものである。
【０００６】
他にも小論文試験では、得点に影響を与える以下のような多くの要因が存在し、それらについての多くの研究がある。
・文字の巧拙（文字の上手さ、綴りの正確性）
・評定の系列的効果（ある小論文の評定が答案の中で何番目に行なわれたか）
・課題選択（異なる課題に基づいて書かれた小論文をどう評価するか）
・その他種々の誤差要因（書き手の性別、人種など）
e-raterは、このような誤差要因を排除し、試験採点における公平性を担保する。そのため、e-raterは以下の３つの観点から小論文を評定する。
構造：文法の多様性、すなわちフレーズや文節、および文の配列が多様な構造で表現されているか
組織化：アイディアが理路整然と表現されているか。たとえば修辞的な表現、あるいは文や節の間の論理的な接続法が用いられているか
内容：トピックに関連した語彙が用いられているか
e-raterでは、この３つの観点を示すと考えられる指標を選び、人間による膨大な数の採点結果とできるだけ一致するように線形回帰を行ない、それぞれの指標にかかる回帰係数を求めている。
【０００７】
これら３つの観点（構造、組織化、内容）が、論文評価をおこなうための重要な視点であることは疑いがないであろうが、これら３つの観点の比率をどのようにするかは、いわゆる採点基準をどのように定めるかに他ならず、評価すべき論文の性質や採点者のビジョンに大きく依存し、通常は一定ではない。もちろん、先行研究の成果を踏まえ、通常は妥当と考えられる配点を既定値とはするが、この配点は必要に応じてユーザが自由に変更できることが望ましい。
【０００８】
また、e-raterは、人間の採点にできるだけ近づけるというアプローチをとるために、採点対象となる小論文においてどの指標が優れているのか、あるいは劣っているのかの判断を下すことが困難である。
【０００９】
本発明の目的は、ユーザは各観点にかかる重み付け（配点）を自由に設定し、変更することができるようにすることである。
【００１０】
本発明の別の目的は、小論文試験等において採点に影響を与える様々な誤差要因を排除して、客観的にかつ自動的に評価採点を行なうことである。
【００１１】
【課題を解決するための手段】
本発明は、対象となる文章を複数の観点からそれぞれ評価採点し、その各評価採点を統合する文章評価採点装置であって、予め収集された多数の文章の修辞および論理構造に関する各種指標の分布情報を格納した文章分布情報格納手段と、多数の文章から作成した内容を表す類似度を計算するための文章−単語行列を特異値分解した結果を格納した文章−単語情報格納手段と、修辞の観点を示す指標として、対象となる文章に日本語形態素解析を適用した結果から、読みやすさ、語彙の多様性、ビッグワードの割合及び受動態の文の割合の各指標を算出し、それらの算出した各指標を、前記文章分布情報格納手段に格納された対応する指標の分布情報と比較し、統計学的に外れ値と見なすか否かを判断する第１の評価手段と、対象となる文章に日本語形態素解析を適用した結果から、文章の接続関係を示す順接及び逆接の接続詞の数、および、順接及び逆接の出現パターンを算出し、順接及び逆接の接続詞の数については、前記文章分布情報格納手段に格納された、対応する指標の分布情報を比較し、統計的に外れ値と見なすか否かを判断し、順接及び逆接の出現パターンについては、前記文章分布格納手段に格納された、対応する指標の出現確率情報を用いて計算される所与の出現パターンの生起確率が、出現順序を考慮しない場合の計算により得られる生起確率に比べて小さいならば、その出現パターンが特異であると判断する第２の評価手段と、前記内容の観点の前記評価採点を、対象となる文章及び前記対象となる文書の作成意図となる出題文に日本語形態素解析を適用したそれぞれの結果に基づいて、それぞれの文書ベクトルを算出し、文章−単語情報格納手段に格納された文書−単語行列を特異値分解した結果を適用し、前記対象となる文章とその作成意図となる出題文の両者（両文書ベクトル）を比較し、その類似度を演算する第３の評価手段と、前記第１の評価手段、第２の評価手段、および、第３の評価手段からのそれぞれの出力について適用する重み付けを、ユーザから受け付ける重み付け設定手段と、前記第１の評価手段、第２の評価手段、および、第３の評価手段からのそれぞれの出力について、前記重み付け設定手段から受け付け入力された重み付けを適用し、それらを統合して、文章評価結果を得る文章評価採点手段と、前記文章評価採点手段から出力される評価採点の結果を出力する出力手段とを備えたものである。
【００１２】
また、前記第１の評価手段が適用する前記読みやすさの指標は、文の長さ、句の長さ、句中における文節数、文字種の比率、連体修飾文（埋め込み文）の数、並びに、連用形や接続助詞の句の並びの数である。
【００１３】
また、コンピュータを請求項１または請求項２に記載の文章評価採点装置の前記各手段として機能させるためのプログラムである。
【００１４】
また、請求項３に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体である。
【００３３】
【発明の実施の形態】
本発明の一実施の形態について説明する。
【００３４】
図１は、本実施の形態である文章評価採点装置１の電気的な接続を示すブロック図である。図１に示すように、文章評価採点装置１は、ＰＣなどのコンピュータであり、各種演算を行ない、文章評価採点装置１の各部を集中的に制御するＣＰＵ２と、各種のＲＯＭやＲＡＭからなるメモリ３とが、バス４で接続されている。
【００３５】
バス４には、所定のインターフェイスを介して、ハードディスクなどの磁気記憶装置５と、マウスやキーボードなどで構成される入力装置６と、ＬＣＤやＣＲＴなどの表示装置７と、光ディスクなどの記憶媒体８を読取る記憶媒体読取装置９とが接続され、また、インターネットなどのネットワーク１０と通信を行なう所定の通信インターフェイス１１が接続されている。なお、記憶媒体８としては、ＣＤやＤＶＤなどの光ディスク、光磁気ディスク、フレキシブルディスクなどの各種方式のメディアを用いることができる。また、記憶媒体読取装置９は、具体的には記憶媒体８の種類に応じて光ディスクドライブ、光磁気ディスクドライブ、フレキシブルディスクドライブなどが用いられる。
【００３６】
磁気記憶装置５には、この発明のプログラムを実現する文章評価採点プログラムが記憶されている。この文章評価採点プログラムは、記憶媒体８から記憶媒体読取装置９により読取るか、あるいは、インターネットなどのネットワーク１０からダウンロードするなどして、磁気記憶装置５にインストールしたものである。このインストールにより文章評価採点装置１は動作可能な状態となる。なお、この文章評価採点プログラムは、所定のＯＳ上で動作するものであってもよい。また、特定のアプリケーションソフトの一部をなすものであってもよい。
【００３７】
図２に示すように、この文章評価採点装置１をサーバコンピュータ１４として実施し、このサーバコンピュータ１４と端末装置１２とをネットワーク１３を介して接続して、端末装置１２からサーバコンピュータ１４を操作できるようにしてもよい。この場合に、端末装置１２は、パーソナルコンピュータ、携帯情報端末（ＰＤＡ）、携帯電話などの情報処理装置として実施することができる。また、ネットワーク１３は、無線、有線及び放送波のいずれを用いたものでもよく、例えば、ＬＡＮ、ＷＡＮ、インターネット、アナログ電話網、デジタル電話網（ＩＳＤＮ）、ＰＨＳ（パーソナルハンディホンシステム）網、携帯電話網、衛星通信網などを利用することができる。
【００３８】
以下では、文章評価採点プログラムに基づいて、文章評価採点装置１が行なう処理の内容について説明する。
【００３９】
図３は、文章評価採点装置１の機能ブロック図である。出題文入力部２１は、評価採点の対象となる文章の作成意図となる出題文の入力を受付け、これを本文章評価採点装置（のメモリ３、磁気記憶装置５等の記憶媒体）に記憶する。文章入力部２２は、評価採点の対象となる対象となる文章の入力を受付け、これを本文章評価採点装置１（のメモリ３、磁気記憶装置５等の記憶媒体）に記憶する。配点入力部２３は、評価採点における各観点の配点（重み付け）の設定、修正の入力を受付けて、本文章評価採点装置１（のメモリ３、磁気記憶装置５等の記憶媒体）に格納する。
【００４０】
文章評価採点部２４は、出題文入力部２１、文章入力部２２及び配点入力部２３で入力したデータに基づき、各観点の採点結果を算出し、これらを統合することで文章評価点を与える。
【００４１】
なお、この文章評価採点部２４は、詳細には、日本語形態素解析を行なう形態素解析部２５を含み、文章入力部２２で入力された文章に対して、文法規則が予め格納されてある文法規則格納部２６と、辞書を格納している辞書格納部２７とを用いて、文章評価を行なうための各指標についての統計諸量を計算しておく。
【００４２】
文章評価採点部２４では、文章分布情報格納部２８に予め収集してある多数の優れた文章についての修辞及び論理構造に関する各種指標の分布情報を格納しておき、入力された文章の統計量と文章分布情報格納部２８に格納された同指標の分布とを比較することで、評価採点を行なう。比較の方法としては、入力された文章の統計量が文章分布情報格納部２８に格納された同指標の分布において、統計学的に外れ値とみなすことができるか否かによって判断をする。
【００４３】
また、文章の評価採点においては、対象文章が与えられた出題文に対して相応しいものか評価することが不可欠である。このために文書−単語情報格納部２９に予め多数の文書から作成した文書−単語行列を特異値分解した結果を格納しておき、この結果を用いて、出題文入力部２１で入力した出題文と対象文章の類似度を計算し、これを利用して評価採点を行なう。
【００４４】
文章評価採点表示部３０では、文章評価採点部２４の結果をもとに、それぞれの観点ごとの評価点と、そこから得られる最終評価点を表示装置７に表示するとともに、対象文章に対する診断情報を表示する。
【００４５】
以下では、文章評価採点装置１の各部で行なう処理の詳細な内容について説明する。
【００４６】
図４は、かかる処理を説明するフローチャートである。図４に示すように、出題文入力部２１で出題文の入力を受付け（ステップＳ１）、文章入力部２２で出題文の入力を受付ける（ステップＳ２）。コンピュータで処理可能な日本語コードには、大別してパーソナルコンピュータでよく用いられるシフトＪＩＳ、ＵＮＩＸマシンでよく用いられるＥＵＣ（Extended Unix Code）、通信でよく用いられる７ビットのＪＩＳの３つが知られているが（ＵＮＩＸ，Ｕｎｉｘは登録商標である）、ステップＳ１，Ｓ２における入力は、このうちのいずれで入力してもよい。入力された文章は、文章評価採点装置１において全てＥＵＣに変換して処理する。
【００４７】
また、配点入力部２３で、配点の入力を受付け、設定手段を実現する（ステップＳ３）。これは、評価対象となる文章は３つの観点、すなわち、修辞、論理構成、内容の少なくとも１つ以上の観点で評価されるが、それぞれの観点に対する配点（重み付け）をここで指定する。これは、合計１０点満点で、あらかじめ適切な配点として、デフォルトとして、例えば、修辞、論理構成、内容をそれぞれ５，２，３の配点とするが、ユーザはこの配点を自由に変更することができる。なお、ここで修辞、論理構成、内容をそれぞれ５，２，３とする配点例は、“渡部洋、平由実子、井上俊哉：小論文評価データの解析、東京大学教育学部紀要、第28巻, 143-164. 1988”の研究結果に基づいている。
【００４８】
そして、入力を受付けた出題文と評価対象となる文章に対して、形態素解析部２５により日本語形態素解析を行なう（ステップＳ４）。ステップＳ４〜Ｓ７は、文章評価採点手段を実現するものである。これは、前述のように文法規則格納部２６、辞書格納部２７を用いて行なう。日本語形態素解析については周知の技術であり、さまざまな形態素解析系を利用できるが、たとえば、奈良先端科学技術大学院大学 松本研究室の茶筌（ちゃせん、“http://chasen.aist-nara.ac.jp”を参照）と、それが用いる日本語文法規則と日本語辞書を使用することができる。
【００４９】
次に、この形態素結果を用いて、文章評価採点部２４が対象文書に関する各指標についての統計諸量を算出する（ステップＳ５）。
【００５０】
（１）日本語の「修辞」を示す統計量には、“前川守：文章を科学する、1000万人のコンピュータ科学3, 岩波書店, 1995、1章pp.1-56”、“長尾真（編）:自然言語処理、岩波講座ソフトウェア科学15, 岩波書店, 1996、2.1節pp.13-35参照”によれば以下が挙げられる。
【００５１】
▲１▼．文章の読みやすさを示すメトリクスとして
・文の長さの中央値、最大値
・句の長さの中央値、最大値
・句中における文節数の中央値、最大値
・漢字／カナの割合
・連体修飾（埋め込み文）の数
・連用形や接続助詞の句の並びの最大値
▲２▼．語彙の多様性を示すメトリクスとして
・ユール（Yule）のＫ特性値
▲３▼．文章の専門性を示すメトリクスとして
・ビッグワード（長くて難しい語）の発生割合
▲４▼．いわゆる良い文章を示すメトリクスとして
・受動態の文の割合
【００５２】
（２）また、「論理構造」を把握するために、「順接」および「逆接」を示す接続詞の数と、その出現パターンを記録する。ここで「順接」という語はやや広い意味で用いており、議論の流れが変わらない接続構造一般を指している。
【００５３】
日本語の接続構造としては、“野矢茂樹：論理トレーニング、産業図書、第1章および第2章、pp.3-26参照”によれば、以下が挙げられる。
【００５４】
▲１▼．「順接」の接続構造
・付加：主張を加える接続関係である。典型的には「そして」、「しかも」、「むしろ」など。
・解説：典型的には「すなわち」、「つまり」、「言い換えれば」、「要約すれば」といった接続表現で表される接続関係である。
・論証：理由と帰結の関係を示す。理由を示す典型的な接続表現には、「なぜなら」、「その理由は」などがあり、帰結を示すものとしては、「それゆえ」、「したがって」、「だから」、「つまり」などがある。
・例示：典型的には「たとえば」で表される接続関係であり、具体例による解説、ないし論証としての構造をもつ。
【００５５】
▲２▼．また、「逆接」の接続構造には以下のものがある。
・転換：ある主張Ａに対して対立する主張Ｂが続けられるとき、Ｂの方に言いたいことが位置する接続関係をいう。一般に，「ＡだがＢ」、「Ａ、しかしＢ」という表現をとる。
・譲歩：転換の一種とみることもできるが、譲歩の場合は対話的構造が現われる。典型的には、「たしかに」、「もちろん」などである。
・対比：典型的には、「一方」、「他方」、「それに対して」といった接続表現で表される接続関係である。
【００５６】
以上のように、各指標についての統計諸量を算出した後（ステップＳ５）、得られた各指標についての統計諸量を、文章分布情報格納部２８に格納された同指標の分布とを比較することで評価採点を行なう（ステップＳ６）。
【００５７】
文章分布情報格納部２８には、「修辞」を示す前述のメトリクスに対して、優れた文章のそれらの統計量の分布として、たとえば、新聞記事データベースに納められている社説、あるいはコラムについて得て、格納する。
【００５８】
これらメトリクスの分布のほとんどは、左右非対象の歪んだ分布となるが、この分布を理想とする小論文についての分布とみなす。得られた統計量が、この理想とする分布において外れ値となった場合に、そのメトリクスにおいて「適当でない」と判断し、割り当てられた配点を減じ、またその旨をコメントとして出力する。
【００５９】
外れ値は、四分範囲の１．５倍を越えるデータとする。採点において、ブレークダウンした各メトリクスの比重は同等とする。唯一の例外は「語彙の多様性」の尺度であり、これだけがその重み付けを２倍にする。これは、この項目が修辞だけでなく、内容にも関与する指標であると考えられることによる。
【００６０】
例えば、評価に用いられている文章中にある各文の長さの中央値が８４文字を超えているならば、文が総じて（平均的に）長いと判断し、このメトリクスに割り当てられた配点０．２点を減じ、「文が総じて（平均的に）長いです」という出力を出す。文の長さの中央値が５０文字を超えたときは、０．１点を減じ、「文が総じて（平均的に）少し長いです」という出力を出す。
【００６１】
また、語彙の多様性を示すユールのＫ特性値の値が１７２よりも大きければ、このメトリクスに割り当てられた配点０．４点を減じ、「語彙の多様性が不足しています」という出力を出す。１１６よりも大きくて１７２以下のときは、０．２点を減じ、「語彙の多様性がやや不足しています」という出力を出す。
【００６２】
「論理構造」についても、ここでは新聞の社説に現われる接続関係を示す句を全て抜き出し、これを前述の順接、逆接、各４通り、計８通りに排他的に分類する。
【００６３】
本例では、採点する小論文の談話（discourse, 議論のかたまり）に対して接続関係を示すラベルを付加し、これらの個数をカウントすることで議論がよく掘り下げられているか否かを判断する。
【００６４】
個数についても、修辞同様、新聞の社説で学習し、模範とする分布において外れ値となった場合に配点を減ずることとする。例えば、８００字の論文で順接や逆説を示す接続詞が全くなければ１点を減じ、「議論の接続が不十分であるように見受けられます」という出力を行なう。接続詞が１個であるならば、０．５点を減じ、「議論の接続がやや不十分であるように見受けられます」という出力を行なう。
【００６５】
また、これら接続関係の出現パターンが、社説のそれに比べて特異でないかを判断する。そのために、順接と逆接の出現パターンについて、トライグラムモデル（“北研二:確率的言語モデル、言語と計算4、東京大学出版会, 1999、３章, pp.57-99”を参照）を考える。
【００６６】
一般にＮグラムモデルは、確率有限オートマトンによって表現することができる。オートマトンの各状態は、トライグラムモデルにおいては、長さ２の記号列によりラベル付けされる。記号の集合は、“Σ＝｛ａ：順接，ｂ：逆接｝”である。
【００６７】
図５は、統計量として得た、各状態遷移の条件付き出力確率の例である。“-”は何もないことを示す。初期状態は“−−”である。例えば、“Ｐ（ａ｜--）”は初期状態で最初に“ａ：順接”が出現する確率をいう。
【００６８】
これより、論文中の｛ａ：順接｝と｛Ｂ：逆接｝の出現パターンに対する生起確率が、第３図に示す条件付き確率の積をとることで得ることができる。例えば、｛ａ，ｂ，ａ，ａ｝の出現パターンに対する生起確率ｐは、“０．４４×０．５２×０．５５×０．２８＝０．０３５”となる。
【００６９】
一方、事前情報なしに、｛ａ：順接｝の出現する確率は０．４７で、｛ｂ：逆接｝の出現する確率は０．５３であるから、順接が３回と逆接が１回出現したときの、事前情報が与えられていないという条件のもとでの与えられた出現パターンの生起確率ｑは、“０．４７３×０．５３＝０．０５５”となる。
【００７０】
この例のように、事前情報のない方がその生起確率が大きくなるとき、順接と逆接の出現パターンは特異であると考え、議論の接続に割り当てられた配点、たとえば１点を減ずる。
【００７１】
以上のようにしてステップＳ６の処理を行った後、ステップＳ１で入力された出題文と、ステップＳ２で入力された文章との内容的な近さ、すなわち類似度を計算することで、書かれている文章が出題文に対して適切な内容になっているかを、文書−単語情報格納部２９に格納された特異値分解結果を利用し、文章評価採点部２４が「内容」についての評価採点を行なう（ステップＳ７）。
【００７２】
この類似度を計算するために、文書検索の国際的評価会ＴＲＥＣ（Text REtrieval Conference）などでその有用性が主張されているＬＳＩ（Latent Semantic Indexing）を用いる。このＬＳＩは、予め十分に多くの文書に出現する単語の頻度を表した、“ｔ×ｄの行列Ｘ”（但し、ｔは単語数、ｄは文書数）を特異値分解することから始まる。
【００７３】
得られた特異値ベクトルの特異値の大きい方からｋ番目までとり、これを対角要素とする対角行列をＳとする。それに応じて、ｋ列までを抜き出した左右の特異値分解行列をそれぞれＴ，Ｄとすれば、
【数１】
となり、
【数２】
は、Ｘの近似となる。
ここで、Ｔはｔ×ｋ行列、Ｓはｋ×ｋの正方対角行列、Ｄ’はｋ×ｄ行列である（’は転置を示す）。言語データの場合、経験的にｋは５０〜１００程度にすればよい。
【００７４】
採点される小論文ｅは、形態素解析によりその小論文が含むｔ次元の単語ベクトルｘｅで表現することができ、これを用いて、文書空間Ｄの行に対応する、“１×ｋ”の文書ベクトル
【数３】
を導くことができる。出題文qについても同様にｋ次元ベクトルｄｑを得ることができる。これより、両文書の近似度ｒ（ｄｅ，ｄｑ）を、（３）式のように両文書ベクトルがなす角の余弦で与えることができる。
【００７５】
【数４】
【００７６】
（３）式はｄｅとｄｑが正規分布に従うという仮定のもとで、統計学でいうところの相関係数に一致する。したがって本例では、ここで与えられるｒを「内容」に割り当てられた配点を乗ずることで、「内容」に対する評点とすることとした。例えば、内容に対する配点が３で“近似度ｒ＝０．８”ならば、「内容」に対する評点は２．４である。ｒは理論的には負の値を取りうるが、その下限を０にすることは妥当であると考えられる。
【００７７】
以上のようにして、文章評価採点部２４が「内容」についての評価採点を行なった後（ステップＳ７）、得られた評価についての各観点（「修辞」、「論理構成」、「内容」）についての評価採点結果を統合することで最終得点を計算し、これらの採点結果と各観点での評価から得られる文章についての診断情報を文章評価採点表示部３０が表示し、出力手段を実現する（ステップＳ８）。
【００７８】
例えば、「修辞」の評点が５点満点中３．０点、「論理構成」の評点が２点満点中１．０点、「内容」の評点が３点満点中２．９点であるならば、総合の評点は１０点満点中６．９点となる。また、各観点についての表示されうる診断情報は、図６に示す通りである。同じ評点でも異なった診断情報を表示することができる。
【００７９】
以上のような処理によれば、文章入力部２２で入力された文章の修辞及び論理構成について、文章分布情報格納部２８に格納された予め収集した多数の優れた文書における同指標の分布に対して、文章評価採点部２４で統計学的に外れているか否かで評価採点を行ない、また文章の内容については文書−単語情報格納部２９に格納された特異値分解結果を利用することで、与えられた出題文との意味的な近さを測定することで評価採点を行ない、文章評価採点表示部３０で最終的な評点を表示することができる。これにより、客観的にかつ自動的に文書の評価採点を行なうことが可能になる。
【００８０】
また、配点入力部２３では、必要に応じてユーザが採点基準となる３つの観点に対する配点を変更することができる。
【００８１】
さらに、文章評価採点表示部３０では、最終的な点だけでなく、図６に例示するような診断情報も提示することができる。
【００８２】
【発明の効果】
以上説明したように、本発明によれば、ユーザは各観点にかかる重み付け（配点）を自由に設定し、変更することができる。
【００８３】
また、観点ごとに設けられた各指標と、予め収集した多数の優れた文書における指標の分布とを比較することで評価採点を行なうので、指標ごとの優劣の判定が容易であり、従来、小論文試験等において採点に影響を与える様々な誤差要因を排除して、客観的にかつ自動的に評価採点を行なうことができる。また、この判定結果をコメントとして出力することができる。
【００８４】
また、対象となる文章の指標が、予め収集した多数の優れた文書における指標の分布に対して統計学的に外れているか否かで評価採点を行なうので、指標ごとの優劣の判定が容易であり、従来、小論文試験等において採点に影響を与える様々な誤差要因を排除して、客観的にかつ自動的に評価採点を行なうことができる。また、この判定結果をコメントとして出力することができる。
【００８５】
また、対象となる文章の指標の、予め収集した多数の優れた文書における指標の分布に対する偏差値によって評価採点を行なうので、指標ごとの優劣の判定が容易であり、従来、小論文試験等において採点に影響を与える様々な誤差要因を排除して、客観的にかつ自動的に評価採点を行なうことができる。
【００８６】
また、文章についての修辞、論理構成及び内容のうち少なくとも一つを観点として、観点ごとに設けられた各指標と、予め収集した多数の優れた文書における指標の分布とを比較することで評価採点を行ない、従来、小論文試験等において採点に影響を与える様々な誤差要因を排除して、客観的にかつ自動的に評価採点を行なうことができる。
【００８７】
また、修辞の観点を示す指標として、読みやすさ、語彙の多様性、ビッグワードの割合及び受動態の文の割合、の各指標のうちの少なくとも一つ以上を用いて、従来、小論文試験等において採点に影響を与える様々な誤差要因を排除して、客観的にかつ自動的に評価採点を行なうことができる。
【００８８】
また、読みやすさの指標として、文字数、文数及び文の長さ、文内文数及び文内文の長さ、文内文中の句数、文字種の比率、連体修飾文（埋め込み文）の数、並びに、連用修飾文の並びの数、の各細目指標のうちの少なくとも一つ以上を用いることで、従来、小論文試験等において採点に影響を与える様々な誤差要因を排除して、客観的にかつ自動的に評価採点を行なうことができる。
【００８９】
また、論理構成の観点を示す指標として、文章の接続関係を示す順接及び逆接の接続詞の数、並びに、文章の接続関係を示す順接及び逆接の接続詞の出現パターンのうちの少なくとも一つ以上を用いることで、従来、小論文試験等において採点に影響を与える様々な誤差要因を排除して、客観的にかつ自動的に評価採点を行なうことができる。
【００９０】
また、文章の内容について、与えられた出題文との意味的な近さを測定することで評価採点を行なうので、小論文試験において採点に影響を与える様々な誤差要因を排除して、客観的にかつ自動的に評価採点を行なうことができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態である文章評価採点装置の電気的な接続を示すブロック図である。
【図２】文章評価採点装置を含むネットワークの構成を示す説明図である。
【図３】文章評価採点装置の機能ブロック図である。
【図４】文章評価採点装置が行なう処理のフローチャートである。
【図５】統計量として得た状態遷移の条件付き出力確率の例を示す説明図である。
【図６】文章評価採点装置で示される診断情報の説明図である。
【符号の説明】
１ 文章評価採点装置
Ｓ３ 設定手段
Ｓ４〜Ｓ７ 文章評価採点手段
Ｓ８ 入力手段
【発明の属する技術分野】
本発明は、文章評価採点装置、プログラム及び記憶媒体に関する。
【０００２】
【従来の技術】
文章の評価方法に関する発明として、特許文献１，２には、文章の修辞に関する評価に関する技術について開示されているが、文章の論理構成や内容の適切さについては評価されていない。特許文献３には、文書の種類に応じた評価を行なう文書評価方式について開示されており、また、特許文献４には、文章要約における重要文を抽出するためにニューラルネットによる学習を利用する技術について開示されている。
【０００３】
【特許文献１】
特許第２６０９６５０号公報
【特許文献２】
特許第２６１５１２１号公報
【特許文献３】
特開平６−１２４１０号公報
【特許文献４】
特開平５−１７４０１９号公報
【非特許文献１】
Cooper, P.L.:The assessment of writing ability: a review of research, GRE Board Research Report, GREB No.82-15R. 1984
【０００４】
【発明が解決しようとする課題】
アメリカにおいては、近年、コンピュータによる小論文の自動採点の研究が精力的に行なわれており、その中でもアメリカのテスト機関であるＥＴＳ（Educational Testing Service）が開発し、現在はその補助機関である ETS Technologiesに拡張開発、および運用が移管されているe-raterは最も有名で、経営大学院（ビジネススクール）の入学試験であるＧＭＡＴ（Graduate Management Admission Test）における小論文の採点に用いられている。
【０００５】
小論文試験においては、実施者は受験者のある種の能力が答案に反映していることを期待しているわけだが、その得点結果には、様々な要因が複雑に関与している。前述の非特許文献１によると、「小論文がWriting Abilityを測定しているものと考えると、その得点に関して誤差要因として働くものには、書き手(writer)、題目(topic)、形式(mode)、制限時間(time-limit)、テスト状況(examination situation)、そして評定者(rater)がある」という。これらの大部分はいわゆる「試験」に共通している要因であるが、特に「評定者」の要因は小論文においては決定的なものである。
【０００６】
他にも小論文試験では、得点に影響を与える以下のような多くの要因が存在し、それらについての多くの研究がある。
・文字の巧拙（文字の上手さ、綴りの正確性）
・評定の系列的効果（ある小論文の評定が答案の中で何番目に行なわれたか）
・課題選択（異なる課題に基づいて書かれた小論文をどう評価するか）
・その他種々の誤差要因（書き手の性別、人種など）
e-raterは、このような誤差要因を排除し、試験採点における公平性を担保する。そのため、e-raterは以下の３つの観点から小論文を評定する。
構造：文法の多様性、すなわちフレーズや文節、および文の配列が多様な構造で表現されているか
組織化：アイディアが理路整然と表現されているか。たとえば修辞的な表現、あるいは文や節の間の論理的な接続法が用いられているか
内容：トピックに関連した語彙が用いられているか
e-raterでは、この３つの観点を示すと考えられる指標を選び、人間による膨大な数の採点結果とできるだけ一致するように線形回帰を行ない、それぞれの指標にかかる回帰係数を求めている。
【０００７】
これら３つの観点（構造、組織化、内容）が、論文評価をおこなうための重要な視点であることは疑いがないであろうが、これら３つの観点の比率をどのようにするかは、いわゆる採点基準をどのように定めるかに他ならず、評価すべき論文の性質や採点者のビジョンに大きく依存し、通常は一定ではない。もちろん、先行研究の成果を踏まえ、通常は妥当と考えられる配点を既定値とはするが、この配点は必要に応じてユーザが自由に変更できることが望ましい。
【０００８】
また、e-raterは、人間の採点にできるだけ近づけるというアプローチをとるために、採点対象となる小論文においてどの指標が優れているのか、あるいは劣っているのかの判断を下すことが困難である。
【０００９】
本発明の目的は、ユーザは各観点にかかる重み付け（配点）を自由に設定し、変更することができるようにすることである。
【００１０】
本発明の別の目的は、小論文試験等において採点に影響を与える様々な誤差要因を排除して、客観的にかつ自動的に評価採点を行なうことである。
【００１１】
【課題を解決するための手段】
本発明は、対象となる文章を複数の観点からそれぞれ評価採点し、その各評価採点を統合する文章評価採点装置であって、予め収集された多数の文章の修辞および論理構造に関する各種指標の分布情報を格納した文章分布情報格納手段と、多数の文章から作成した内容を表す類似度を計算するための文章−単語行列を特異値分解した結果を格納した文章−単語情報格納手段と、修辞の観点を示す指標として、対象となる文章に日本語形態素解析を適用した結果から、読みやすさ、語彙の多様性、ビッグワードの割合及び受動態の文の割合の各指標を算出し、それらの算出した各指標を、前記文章分布情報格納手段に格納された対応する指標の分布情報と比較し、統計学的に外れ値と見なすか否かを判断する第１の評価手段と、対象となる文章に日本語形態素解析を適用した結果から、文章の接続関係を示す順接及び逆接の接続詞の数、および、順接及び逆接の出現パターンを算出し、順接及び逆接の接続詞の数については、前記文章分布情報格納手段に格納された、対応する指標の分布情報を比較し、統計的に外れ値と見なすか否かを判断し、順接及び逆接の出現パターンについては、前記文章分布格納手段に格納された、対応する指標の出現確率情報を用いて計算される所与の出現パターンの生起確率が、出現順序を考慮しない場合の計算により得られる生起確率に比べて小さいならば、その出現パターンが特異であると判断する第２の評価手段と、前記内容の観点の前記評価採点を、対象となる文章及び前記対象となる文書の作成意図となる出題文に日本語形態素解析を適用したそれぞれの結果に基づいて、それぞれの文書ベクトルを算出し、文章−単語情報格納手段に格納された文書−単語行列を特異値分解した結果を適用し、前記対象となる文章とその作成意図となる出題文の両者（両文書ベクトル）を比較し、その類似度を演算する第３の評価手段と、前記第１の評価手段、第２の評価手段、および、第３の評価手段からのそれぞれの出力について適用する重み付けを、ユーザから受け付ける重み付け設定手段と、前記第１の評価手段、第２の評価手段、および、第３の評価手段からのそれぞれの出力について、前記重み付け設定手段から受け付け入力された重み付けを適用し、それらを統合して、文章評価結果を得る文章評価採点手段と、前記文章評価採点手段から出力される評価採点の結果を出力する出力手段とを備えたものである。
【００１２】
また、前記第１の評価手段が適用する前記読みやすさの指標は、文の長さ、句の長さ、句中における文節数、文字種の比率、連体修飾文（埋め込み文）の数、並びに、連用形や接続助詞の句の並びの数である。
【００１３】
また、コンピュータを請求項１または請求項２に記載の文章評価採点装置の前記各手段として機能させるためのプログラムである。
【００１４】
また、請求項３に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体である。
【００３３】
【発明の実施の形態】
本発明の一実施の形態について説明する。
【００３４】
図１は、本実施の形態である文章評価採点装置１の電気的な接続を示すブロック図である。図１に示すように、文章評価採点装置１は、ＰＣなどのコンピュータであり、各種演算を行ない、文章評価採点装置１の各部を集中的に制御するＣＰＵ２と、各種のＲＯＭやＲＡＭからなるメモリ３とが、バス４で接続されている。
【００３５】
バス４には、所定のインターフェイスを介して、ハードディスクなどの磁気記憶装置５と、マウスやキーボードなどで構成される入力装置６と、ＬＣＤやＣＲＴなどの表示装置７と、光ディスクなどの記憶媒体８を読取る記憶媒体読取装置９とが接続され、また、インターネットなどのネットワーク１０と通信を行なう所定の通信インターフェイス１１が接続されている。なお、記憶媒体８としては、ＣＤやＤＶＤなどの光ディスク、光磁気ディスク、フレキシブルディスクなどの各種方式のメディアを用いることができる。また、記憶媒体読取装置９は、具体的には記憶媒体８の種類に応じて光ディスクドライブ、光磁気ディスクドライブ、フレキシブルディスクドライブなどが用いられる。
【００３６】
磁気記憶装置５には、この発明のプログラムを実現する文章評価採点プログラムが記憶されている。この文章評価採点プログラムは、記憶媒体８から記憶媒体読取装置９により読取るか、あるいは、インターネットなどのネットワーク１０からダウンロードするなどして、磁気記憶装置５にインストールしたものである。このインストールにより文章評価採点装置１は動作可能な状態となる。なお、この文章評価採点プログラムは、所定のＯＳ上で動作するものであってもよい。また、特定のアプリケーションソフトの一部をなすものであってもよい。
【００３７】
図２に示すように、この文章評価採点装置１をサーバコンピュータ１４として実施し、このサーバコンピュータ１４と端末装置１２とをネットワーク１３を介して接続して、端末装置１２からサーバコンピュータ１４を操作できるようにしてもよい。この場合に、端末装置１２は、パーソナルコンピュータ、携帯情報端末（ＰＤＡ）、携帯電話などの情報処理装置として実施することができる。また、ネットワーク１３は、無線、有線及び放送波のいずれを用いたものでもよく、例えば、ＬＡＮ、ＷＡＮ、インターネット、アナログ電話網、デジタル電話網（ＩＳＤＮ）、ＰＨＳ（パーソナルハンディホンシステム）網、携帯電話網、衛星通信網などを利用することができる。
【００３８】
以下では、文章評価採点プログラムに基づいて、文章評価採点装置１が行なう処理の内容について説明する。
【００３９】
図３は、文章評価採点装置１の機能ブロック図である。出題文入力部２１は、評価採点の対象となる文章の作成意図となる出題文の入力を受付け、これを本文章評価採点装置（のメモリ３、磁気記憶装置５等の記憶媒体）に記憶する。文章入力部２２は、評価採点の対象となる対象となる文章の入力を受付け、これを本文章評価採点装置１（のメモリ３、磁気記憶装置５等の記憶媒体）に記憶する。配点入力部２３は、評価採点における各観点の配点（重み付け）の設定、修正の入力を受付けて、本文章評価採点装置１（のメモリ３、磁気記憶装置５等の記憶媒体）に格納する。
【００４０】
文章評価採点部２４は、出題文入力部２１、文章入力部２２及び配点入力部２３で入力したデータに基づき、各観点の採点結果を算出し、これらを統合することで文章評価点を与える。
【００４１】
なお、この文章評価採点部２４は、詳細には、日本語形態素解析を行なう形態素解析部２５を含み、文章入力部２２で入力された文章に対して、文法規則が予め格納されてある文法規則格納部２６と、辞書を格納している辞書格納部２７とを用いて、文章評価を行なうための各指標についての統計諸量を計算しておく。
【００４２】
文章評価採点部２４では、文章分布情報格納部２８に予め収集してある多数の優れた文章についての修辞及び論理構造に関する各種指標の分布情報を格納しておき、入力された文章の統計量と文章分布情報格納部２８に格納された同指標の分布とを比較することで、評価採点を行なう。比較の方法としては、入力された文章の統計量が文章分布情報格納部２８に格納された同指標の分布において、統計学的に外れ値とみなすことができるか否かによって判断をする。
【００４３】
また、文章の評価採点においては、対象文章が与えられた出題文に対して相応しいものか評価することが不可欠である。このために文書−単語情報格納部２９に予め多数の文書から作成した文書−単語行列を特異値分解した結果を格納しておき、この結果を用いて、出題文入力部２１で入力した出題文と対象文章の類似度を計算し、これを利用して評価採点を行なう。
【００４４】
文章評価採点表示部３０では、文章評価採点部２４の結果をもとに、それぞれの観点ごとの評価点と、そこから得られる最終評価点を表示装置７に表示するとともに、対象文章に対する診断情報を表示する。
【００４５】
以下では、文章評価採点装置１の各部で行なう処理の詳細な内容について説明する。
【００４６】
図４は、かかる処理を説明するフローチャートである。図４に示すように、出題文入力部２１で出題文の入力を受付け（ステップＳ１）、文章入力部２２で出題文の入力を受付ける（ステップＳ２）。コンピュータで処理可能な日本語コードには、大別してパーソナルコンピュータでよく用いられるシフトＪＩＳ、ＵＮＩＸマシンでよく用いられるＥＵＣ（Extended Unix Code）、通信でよく用いられる７ビットのＪＩＳの３つが知られているが（ＵＮＩＸ，Ｕｎｉｘは登録商標である）、ステップＳ１，Ｓ２における入力は、このうちのいずれで入力してもよい。入力された文章は、文章評価採点装置１において全てＥＵＣに変換して処理する。
【００４７】
また、配点入力部２３で、配点の入力を受付け、設定手段を実現する（ステップＳ３）。これは、評価対象となる文章は３つの観点、すなわち、修辞、論理構成、内容の少なくとも１つ以上の観点で評価されるが、それぞれの観点に対する配点（重み付け）をここで指定する。これは、合計１０点満点で、あらかじめ適切な配点として、デフォルトとして、例えば、修辞、論理構成、内容をそれぞれ５，２，３の配点とするが、ユーザはこの配点を自由に変更することができる。なお、ここで修辞、論理構成、内容をそれぞれ５，２，３とする配点例は、“渡部洋、平由実子、井上俊哉：小論文評価データの解析、東京大学教育学部紀要、第28巻, 143-164. 1988”の研究結果に基づいている。
【００４８】
そして、入力を受付けた出題文と評価対象となる文章に対して、形態素解析部２５により日本語形態素解析を行なう（ステップＳ４）。ステップＳ４〜Ｓ７は、文章評価採点手段を実現するものである。これは、前述のように文法規則格納部２６、辞書格納部２７を用いて行なう。日本語形態素解析については周知の技術であり、さまざまな形態素解析系を利用できるが、たとえば、奈良先端科学技術大学院大学 松本研究室の茶筌（ちゃせん、“http://chasen.aist-nara.ac.jp”を参照）と、それが用いる日本語文法規則と日本語辞書を使用することができる。
【００４９】
次に、この形態素結果を用いて、文章評価採点部２４が対象文書に関する各指標についての統計諸量を算出する（ステップＳ５）。
【００５０】
（１）日本語の「修辞」を示す統計量には、“前川守：文章を科学する、1000万人のコンピュータ科学3, 岩波書店, 1995、1章pp.1-56”、“長尾真（編）:自然言語処理、岩波講座ソフトウェア科学15, 岩波書店, 1996、2.1節pp.13-35参照”によれば以下が挙げられる。
【００５１】
▲１▼．文章の読みやすさを示すメトリクスとして
・文の長さの中央値、最大値
・句の長さの中央値、最大値
・句中における文節数の中央値、最大値
・漢字／カナの割合
・連体修飾（埋め込み文）の数
・連用形や接続助詞の句の並びの最大値
▲２▼．語彙の多様性を示すメトリクスとして
・ユール（Yule）のＫ特性値
▲３▼．文章の専門性を示すメトリクスとして
・ビッグワード（長くて難しい語）の発生割合
▲４▼．いわゆる良い文章を示すメトリクスとして
・受動態の文の割合
【００５２】
（２）また、「論理構造」を把握するために、「順接」および「逆接」を示す接続詞の数と、その出現パターンを記録する。ここで「順接」という語はやや広い意味で用いており、議論の流れが変わらない接続構造一般を指している。
【００５３】
日本語の接続構造としては、“野矢茂樹：論理トレーニング、産業図書、第1章および第2章、pp.3-26参照”によれば、以下が挙げられる。
【００５４】
▲１▼．「順接」の接続構造
・付加：主張を加える接続関係である。典型的には「そして」、「しかも」、「むしろ」など。
・解説：典型的には「すなわち」、「つまり」、「言い換えれば」、「要約すれば」といった接続表現で表される接続関係である。
・論証：理由と帰結の関係を示す。理由を示す典型的な接続表現には、「なぜなら」、「その理由は」などがあり、帰結を示すものとしては、「それゆえ」、「したがって」、「だから」、「つまり」などがある。
・例示：典型的には「たとえば」で表される接続関係であり、具体例による解説、ないし論証としての構造をもつ。
【００５５】
▲２▼．また、「逆接」の接続構造には以下のものがある。
・転換：ある主張Ａに対して対立する主張Ｂが続けられるとき、Ｂの方に言いたいことが位置する接続関係をいう。一般に，「ＡだがＢ」、「Ａ、しかしＢ」という表現をとる。
・対比：典型的には、「一方」、「他方」、「それに対して」といった接続表現で表される接続関係である。
【００５６】
以上のように、各指標についての統計諸量を算出した後（ステップＳ５）、得られた各指標についての統計諸量を、文章分布情報格納部２８に格納された同指標の分布とを比較することで評価採点を行なう（ステップＳ６）。
【００５７】
文章分布情報格納部２８には、「修辞」を示す前述のメトリクスに対して、優れた文章のそれらの統計量の分布として、たとえば、新聞記事データベースに納められている社説、あるいはコラムについて得て、格納する。
【００５８】
これらメトリクスの分布のほとんどは、左右非対象の歪んだ分布となるが、この分布を理想とする小論文についての分布とみなす。得られた統計量が、この理想とする分布において外れ値となった場合に、そのメトリクスにおいて「適当でない」と判断し、割り当てられた配点を減じ、またその旨をコメントとして出力する。
【００５９】
外れ値は、四分範囲の１．５倍を越えるデータとする。採点において、ブレークダウンした各メトリクスの比重は同等とする。唯一の例外は「語彙の多様性」の尺度であり、これだけがその重み付けを２倍にする。これは、この項目が修辞だけでなく、内容にも関与する指標であると考えられることによる。
【００６０】
例えば、評価に用いられている文章中にある各文の長さの中央値が８４文字を超えているならば、文が総じて（平均的に）長いと判断し、このメトリクスに割り当てられた配点０．２点を減じ、「文が総じて（平均的に）長いです」という出力を出す。文の長さの中央値が５０文字を超えたときは、０．１点を減じ、「文が総じて（平均的に）少し長いです」という出力を出す。
【００６１】
また、語彙の多様性を示すユールのＫ特性値の値が１７２よりも大きければ、このメトリクスに割り当てられた配点０．４点を減じ、「語彙の多様性が不足しています」という出力を出す。１１６よりも大きくて１７２以下のときは、０．２点を減じ、「語彙の多様性がやや不足しています」という出力を出す。
【００６２】
「論理構造」についても、ここでは新聞の社説に現われる接続関係を示す句を全て抜き出し、これを前述の順接、逆接、各４通り、計８通りに排他的に分類する。
【００６３】
本例では、採点する小論文の談話（discourse, 議論のかたまり）に対して接続関係を示すラベルを付加し、これらの個数をカウントすることで議論がよく掘り下げられているか否かを判断する。
【００６４】
個数についても、修辞同様、新聞の社説で学習し、模範とする分布において外れ値となった場合に配点を減ずることとする。例えば、８００字の論文で順接や逆説を示す接続詞が全くなければ１点を減じ、「議論の接続が不十分であるように見受けられます」という出力を行なう。接続詞が１個であるならば、０．５点を減じ、「議論の接続がやや不十分であるように見受けられます」という出力を行なう。
【００６５】
また、これら接続関係の出現パターンが、社説のそれに比べて特異でないかを判断する。そのために、順接と逆接の出現パターンについて、トライグラムモデル（“北研二:確率的言語モデル、言語と計算4、東京大学出版会, 1999、３章, pp.57-99”を参照）を考える。
【００６６】
一般にＮグラムモデルは、確率有限オートマトンによって表現することができる。オートマトンの各状態は、トライグラムモデルにおいては、長さ２の記号列によりラベル付けされる。記号の集合は、“Σ＝｛ａ：順接，ｂ：逆接｝”である。
【００６７】
図５は、統計量として得た、各状態遷移の条件付き出力確率の例である。“-”は何もないことを示す。初期状態は“−−”である。例えば、“Ｐ（ａ｜--）”は初期状態で最初に“ａ：順接”が出現する確率をいう。
【００６８】
これより、論文中の｛ａ：順接｝と｛Ｂ：逆接｝の出現パターンに対する生起確率が、第３図に示す条件付き確率の積をとることで得ることができる。例えば、｛ａ，ｂ，ａ，ａ｝の出現パターンに対する生起確率ｐは、“０．４４×０．５２×０．５５×０．２８＝０．０３５”となる。
【００６９】
一方、事前情報なしに、｛ａ：順接｝の出現する確率は０．４７で、｛ｂ：逆接｝の出現する確率は０．５３であるから、順接が３回と逆接が１回出現したときの、事前情報が与えられていないという条件のもとでの与えられた出現パターンの生起確率ｑは、“０．４７３×０．５３＝０．０５５”となる。
【００７０】
この例のように、事前情報のない方がその生起確率が大きくなるとき、順接と逆接の出現パターンは特異であると考え、議論の接続に割り当てられた配点、たとえば１点を減ずる。
【００７１】
以上のようにしてステップＳ６の処理を行った後、ステップＳ１で入力された出題文と、ステップＳ２で入力された文章との内容的な近さ、すなわち類似度を計算することで、書かれている文章が出題文に対して適切な内容になっているかを、文書−単語情報格納部２９に格納された特異値分解結果を利用し、文章評価採点部２４が「内容」についての評価採点を行なう（ステップＳ７）。
【００７２】
この類似度を計算するために、文書検索の国際的評価会ＴＲＥＣ（Text REtrieval Conference）などでその有用性が主張されているＬＳＩ（Latent Semantic Indexing）を用いる。このＬＳＩは、予め十分に多くの文書に出現する単語の頻度を表した、“ｔ×ｄの行列Ｘ”（但し、ｔは単語数、ｄは文書数）を特異値分解することから始まる。
【００７３】
得られた特異値ベクトルの特異値の大きい方からｋ番目までとり、これを対角要素とする対角行列をＳとする。それに応じて、ｋ列までを抜き出した左右の特異値分解行列をそれぞれＴ，Ｄとすれば、
【数１】
【数２】
ここで、Ｔはｔ×ｋ行列、Ｓはｋ×ｋの正方対角行列、Ｄ’はｋ×ｄ行列である（’は転置を示す）。言語データの場合、経験的にｋは５０〜１００程度にすればよい。
【００７４】
採点される小論文ｅは、形態素解析によりその小論文が含むｔ次元の単語ベクトルｘｅで表現することができ、これを用いて、文書空間Ｄの行に対応する、“１×ｋ”の文書ベクトル
【数３】
【００７５】
【数４】
（３）式はｄｅとｄｑが正規分布に従うという仮定のもとで、統計学でいうところの相関係数に一致する。したがって本例では、ここで与えられるｒを「内容」に割り当てられた配点を乗ずることで、「内容」に対する評点とすることとした。例えば、内容に対する配点が３で“近似度ｒ＝０．８”ならば、「内容」に対する評点は２．４である。ｒは理論的には負の値を取りうるが、その下限を０にすることは妥当であると考えられる。
【００７７】
以上のようにして、文章評価採点部２４が「内容」についての評価採点を行なった後（ステップＳ７）、得られた評価についての各観点（「修辞」、「論理構成」、「内容」）についての評価採点結果を統合することで最終得点を計算し、これらの採点結果と各観点での評価から得られる文章についての診断情報を文章評価採点表示部３０が表示し、出力手段を実現する（ステップＳ８）。
【００７８】
例えば、「修辞」の評点が５点満点中３．０点、「論理構成」の評点が２点満点中１．０点、「内容」の評点が３点満点中２．９点であるならば、総合の評点は１０点満点中６．９点となる。また、各観点についての表示されうる診断情報は、図６に示す通りである。同じ評点でも異なった診断情報を表示することができる。
【００７９】
以上のような処理によれば、文章入力部２２で入力された文章の修辞及び論理構成について、文章分布情報格納部２８に格納された予め収集した多数の優れた文書における同指標の分布に対して、文章評価採点部２４で統計学的に外れているか否かで評価採点を行ない、また文章の内容については文書−単語情報格納部２９に格納された特異値分解結果を利用することで、与えられた出題文との意味的な近さを測定することで評価採点を行ない、文章評価採点表示部３０で最終的な評点を表示することができる。これにより、客観的にかつ自動的に文書の評価採点を行なうことが可能になる。
【００８０】
また、配点入力部２３では、必要に応じてユーザが採点基準となる３つの観点に対する配点を変更することができる。
【００８１】
さらに、文章評価採点表示部３０では、最終的な点だけでなく、図６に例示するような診断情報も提示することができる。
【００８２】
【発明の効果】
以上説明したように、本発明によれば、ユーザは各観点にかかる重み付け（配点）を自由に設定し、変更することができる。
【００８３】
また、観点ごとに設けられた各指標と、予め収集した多数の優れた文書における指標の分布とを比較することで評価採点を行なうので、指標ごとの優劣の判定が容易であり、従来、小論文試験等において採点に影響を与える様々な誤差要因を排除して、客観的にかつ自動的に評価採点を行なうことができる。また、この判定結果をコメントとして出力することができる。
【００８４】
また、対象となる文章の指標が、予め収集した多数の優れた文書における指標の分布に対して統計学的に外れているか否かで評価採点を行なうので、指標ごとの優劣の判定が容易であり、従来、小論文試験等において採点に影響を与える様々な誤差要因を排除して、客観的にかつ自動的に評価採点を行なうことができる。また、この判定結果をコメントとして出力することができる。
【００８５】
また、対象となる文章の指標の、予め収集した多数の優れた文書における指標の分布に対する偏差値によって評価採点を行なうので、指標ごとの優劣の判定が容易であり、従来、小論文試験等において採点に影響を与える様々な誤差要因を排除して、客観的にかつ自動的に評価採点を行なうことができる。
【００８６】
また、文章についての修辞、論理構成及び内容のうち少なくとも一つを観点として、観点ごとに設けられた各指標と、予め収集した多数の優れた文書における指標の分布とを比較することで評価採点を行ない、従来、小論文試験等において採点に影響を与える様々な誤差要因を排除して、客観的にかつ自動的に評価採点を行なうことができる。
【００８７】
また、修辞の観点を示す指標として、読みやすさ、語彙の多様性、ビッグワードの割合及び受動態の文の割合、の各指標のうちの少なくとも一つ以上を用いて、従来、小論文試験等において採点に影響を与える様々な誤差要因を排除して、客観的にかつ自動的に評価採点を行なうことができる。
【００８８】
また、読みやすさの指標として、文字数、文数及び文の長さ、文内文数及び文内文の長さ、文内文中の句数、文字種の比率、連体修飾文（埋め込み文）の数、並びに、連用修飾文の並びの数、の各細目指標のうちの少なくとも一つ以上を用いることで、従来、小論文試験等において採点に影響を与える様々な誤差要因を排除して、客観的にかつ自動的に評価採点を行なうことができる。
【００８９】
また、論理構成の観点を示す指標として、文章の接続関係を示す順接及び逆接の接続詞の数、並びに、文章の接続関係を示す順接及び逆接の接続詞の出現パターンのうちの少なくとも一つ以上を用いることで、従来、小論文試験等において採点に影響を与える様々な誤差要因を排除して、客観的にかつ自動的に評価採点を行なうことができる。
【００９０】
また、文章の内容について、与えられた出題文との意味的な近さを測定することで評価採点を行なうので、小論文試験において採点に影響を与える様々な誤差要因を排除して、客観的にかつ自動的に評価採点を行なうことができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態である文章評価採点装置の電気的な接続を示すブロック図である。
【図２】文章評価採点装置を含むネットワークの構成を示す説明図である。
【図３】文章評価採点装置の機能ブロック図である。
【図４】文章評価採点装置が行なう処理のフローチャートである。
【図５】統計量として得た状態遷移の条件付き出力確率の例を示す説明図である。
【図６】文章評価採点装置で示される診断情報の説明図である。
【符号の説明】
１ 文章評価採点装置
Ｓ３ 設定手段
Ｓ４〜Ｓ７ 文章評価採点手段
Ｓ８ 入力手段
Claims (4)
- 対象となる文章を複数の観点からそれぞれ評価採点し、その各評価採点を統合する文章評価採点装置であって、
予め収集された多数の文章の修辞および論理構造に関する各種指標の分布情報を格納した文章分布情報格納手段と、
多数の文章から作成した内容を表す類似度を計算するための文章−単語行列を特異値分解した結果を格納した文章−単語情報格納手段と、
修辞の観点を示す指標として、対象となる文章に日本語形態素解析を適用した結果から、読みやすさ、語彙の多様性、ビッグワードの割合及び受動態の文の割合の各指標を算出し、それらの算出した各指標を、前記文章分布情報格納手段に格納された対応する指標の分布情報と比較し、統計学的に外れ値と見なすか否かを判断する第１の評価手段と、
対象となる文章に日本語形態素解析を適用した結果から、文章の接続関係を示す順接及び逆接の接続詞の数、および、順接及び逆接の出現パターンを算出し、順接及び逆接の接続詞の数については、前記文章分布情報格納手段に格納された、対応する指標の分布情報を比較し、統計的に外れ値と見なすか否かを判断し、順接及び逆接の出現パターンについては、前記文章分布格納手段に格納された、対応する指標の出現確率情報を用いて計算される所与の出現パターンの生起確率が、出現順序を考慮しない場合の計算により得られる生起確率に比べて小さいならば、その出現パターンが特異であると判断する第２の評価手段と、
前記内容の観点の前記評価採点を、対象となる文章及び前記対象となる文書の作成意図となる出題文に日本語形態素解析を適用したそれぞれの結果に基づいて、それぞれの文書ベクトルを算出し、文章−単語情報格納手段に格納された文書−単語行列を特異値分解した結果を適用し、前記対象となる文章とその作成意図となる出題文の両者（両文書ベクトル）を比較し、その類似度を演算する第３の評価手段と、
前記第１の評価手段、第２の評価手段、および、第３の評価手段からのそれぞれの出力について適用する重み付けを、ユーザから受け付ける重み付け設定手段と、
前記第１の評価手段、第２の評価手段、および、第３の評価手段からのそれぞれの出力について、前記重み付け設定手段から受け付け入力された重み付けを適用し、それらを統合して、文章評価結果を得る文章評価採点手段と、
前記文章評価採点手段から出力される評価採点の結果を出力する出力手段とを備えたことを特徴とする文章評価採点装置。 - 前記第１の評価手段が適用する前記読みやすさの指標は、文の長さ、句の長さ、句中における文節数、文字種の比率、連体修飾文（埋め込み文）の数、並びに、連用形や接続助詞の句の並びの数であることを特徴とする請求項１記載の文章評価採点装置。
- コンピュータを請求項１または請求項２に記載の文章評価採点装置の前記各手段として機能させるためのプログラム。
- 請求項３に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002313004A JP4243942B2 (ja) | 2002-10-28 | 2002-10-28 | 文章評価採点装置、プログラム及び記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002313004A JP4243942B2 (ja) | 2002-10-28 | 2002-10-28 | 文章評価採点装置、プログラム及び記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004151757A JP2004151757A (ja) | 2004-05-27 |
| JP4243942B2 true JP4243942B2 (ja) | 2009-03-25 |
Family
ID=32457739
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002313004A Expired - Fee Related JP4243942B2 (ja) | 2002-10-28 | 2002-10-28 | 文章評価採点装置、プログラム及び記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4243942B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070141544A1 (en) * | 2003-11-28 | 2007-06-21 | Katsuaki Nakane | Apparatus for grading and evaluating compositional essays |
| KR101616909B1 (ko) * | 2012-10-31 | 2016-04-29 | 에스케이텔레콤 주식회사 | 자동 채점 장치 및 방법 |
| JP2016152030A (ja) * | 2015-02-19 | 2016-08-22 | 日本電信電話株式会社 | 難易度推定式学習装置、難易度推定装置、方法、及びプログラム |
| US11256866B2 (en) | 2017-10-25 | 2022-02-22 | Google Llc | Natural language processing with an N-gram machine |
| CN109299457B (zh) * | 2018-09-06 | 2023-04-28 | 北京奇艺世纪科技有限公司 | 一种观点挖掘方法、装置及设备 |
| JP7184972B1 (ja) | 2021-07-19 | 2022-12-06 | ヤフー株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
-
2002
- 2002-10-28 JP JP2002313004A patent/JP4243942B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004151757A (ja) | 2004-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Oakes | Statistics for corpus linguistics | |
| CN108717406B (zh) | 文本情绪分析方法、装置及存储介质 | |
| CN108647205B (zh) | 细粒度情感分析模型构建方法、设备及可读存储介质 | |
| CN109726389B (zh) | 一种基于常识和推理的中文缺失代词补全方法 | |
| JP4652737B2 (ja) | 単語境界確率推定装置及び方法、確率的言語モデル構築装置及び方法、仮名漢字変換装置及び方法、並びに、未知語モデルの構築方法、 | |
| JP4904496B2 (ja) | 文書類似性導出装置及びそれを用いた回答支援システム | |
| WO2020199600A1 (zh) | 情感极性分析方法及相关装置 | |
| JP4778474B2 (ja) | 質問応答装置、質問応答方法、質問応答プログラム並びにそのプログラムを記録した記録媒体 | |
| CN104137102A (zh) | 非事实型询问应答系统以及计算机程序 | |
| CN111930792B (zh) | 数据资源的标注方法、装置、存储介质及电子设备 | |
| KR20080021017A (ko) | 텍스트 기반의 문서 비교 | |
| WO2014002775A1 (ja) | 同義語抽出システム、方法および記録媒体 | |
| KR100481580B1 (ko) | 문서에서 이벤트 문장을 추출하는 장치 및 그 방법 | |
| Bhuyan et al. | An N-gram based model for predicting of word-formation in Assamese language | |
| JP4243942B2 (ja) | 文章評価採点装置、プログラム及び記憶媒体 | |
| CN112528003B (zh) | 一种基于语义排序和知识修正的多项选择问答方法 | |
| Hao et al. | SCESS: a WFSA-based automated simplified chinese essay scoring system with incremental latent semantic analysis | |
| CN110750967B (zh) | 一种发音的标注方法、装置、计算机设备和存储介质 | |
| CN112559711A (zh) | 一种同义文本提示方法、装置及电子设备 | |
| Sudiro et al. | Aspect Based Sentiment Analysis with Combination Feature Extraction LDA and Word2vec | |
| JP7333368B2 (ja) | 情報処理装置および情報処理方法 | |
| de Mendonça Almeida et al. | Evaluating phonetic spellers for user-generated content in Brazilian Portuguese | |
| CN114722224A (zh) | 基于联合特征的图文跨模态检索方法 | |
| Li et al. | The instantiation discourse relation: A corpus analysis of its properties and improved detection | |
| CN114548049A (zh) | 一种数字正则化方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041007 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050223 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050330 |
|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20060922 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070629 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070703 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070831 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071127 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080422 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080611 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080909 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081010 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081224 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081224 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120116 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140116 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |