JP4584148B2

JP4584148B2 - 作文小論文の評価採点装置

Info

Publication number: JP4584148B2
Application number: JP2005516086A
Authority: JP
Inventors: 克明中根
Original assignee: 株式会社言葉の森
Priority date: 2003-11-28
Filing date: 2004-11-26
Publication date: 2010-11-17
Anticipated expiration: 2024-11-26
Also published as: CN1886767A; WO2005057524A1; US20070141544A1; JPWO2005057524A1

Description

この発明は、主として小学生から高校生が書く作文小論文を、コンピュータを利用して評価採点する装置に関する。

従来の作文小論文の評価は、採点者の主観的な判断に基づくものであった。主観的とは言え多くの人が共通して感じる基準に沿ったものであるかぎり、主観的であることそのものに問題があったわけではない。問題は、評価に客観性を要求しようとすれば、複数の採点者が評価するなどそれなりの時間や手間が必要になるということであった。

現在、米国で行なわれつつある新しい評価方法は、コンピュータを利用した採点である。それは既にe-rater(登録商標）という名称で（以下e-raterと称する。）米国の主として中学生のレポート採点に利用されている。
しかし、コンピュータを利用した採点の問題点の一つは、評価の精度を高めようとすれば、それに応じてコンピュータの計算能力が必要となるということである。そのため、この評価方法は、現状ではまだ個人がパソコンレベルで手軽に利用できるものにはなっていない。

問題点の二つ目は、規範となる文章群の持つ様々な特徴との隔たりの度合いから文章を評価するという方法論のために、上手でない文章を評価する点では優れているが、上手な文章を評価する点ではまだ性能が不充分だということである。

下記のページには、コンピュータを利用した文章評価に関する米国の研究の現状が紹介されている。
http://www.ets.org/research/dload/iaai03bursteinj.pdf
CriterionSM: Online essay evaluation: An application for automated evaluation of student essays. August 2003.

この米国のe-raterを日本語の文章に適用する形で、日本でも小論文の自動採点の試みが行われている。
特願２００２−３１３００４「文章評価採点装置、プログラム及び記憶媒体」

この文章評価採点装置（以下Jess（プログラム名）と称する。）の概要は、上記出願者と同一の著者によって著された下記の文献によってうかがうことができる。
http://www.rd.dnc.ac.jp/~tunenori/doc/jerater_ieice.pdf
コンピュータによる日本語小論文の自動採点システム

当装置の前身は、米国での動きとは独立して、当教室（Online作文教室言葉の森）が１９８３年の日本における作文小論文の指導開始当初から開発していた独自の評価方法である。したがって、作文小論文評価における教師の負担軽減を目指したコンピュータの利用という問題意識では他の自動採点の試みと共通しているが、その方法については、後述するように大きく異なっている。

作文小論文の学習には、漢字力・読解力・表現力など日本語の総合的な力が必要とされる。子供たちの総体的な学力低下と受験競争の低年齢化が同時に進行する中で、教育の原点を読む力書く力の育成に置くことは、今日多くの人の求めるところとなっている。しかし、読む力書く力を評価するための作文小論文の試験は、大学入試においてこそ多くの大学学部で採用されるようになっているが、小中学校や高校の段階ではまだ充分な活用がなされているとは言い難い。そのいちばんの原因は、指導の目標となる評価の基準が確立していないことにある。

当発明は、作文小論文の評価の手間を大幅に軽減するとともに、子供たちに書く目標を明示し書く楽しさを味わわせることにより、教育の場に作文小論文の学習を広く普及させることを目的としている。

本発明は、インターネットとコンピュータによって上記課題を解決している。
この本発明にかかる作文小論文の評価採点装置は、作文小論文の学習者である生徒と、生徒の学年及び担当講師との対応を記録した生徒テーブルと、学年に対応した課題を記録した課題テーブルと、学年に対応した項目、及びこの項目を達成したことが作文小論文の中に一定のキーワードを含むことで評価できる当該キーワードを記録した項目テーブルと、評価した結果を記録し蓄積する評価テーブルを有し、
あらかじめ指定された前記課題に沿って生徒が入力した作文小論文を、前記項目を達成したことを前記キーワードを含むことによって評価する第１評価手段と、生徒が入力した作文小論文を、その文章を構成するユニークな語彙の量によって評価する第２評価手段と、生徒の作文小論文とその評価結果を、生徒テーブルによって指定された講師に電子メールで送信する手段と、講師に送信された評価結果を、講師が追加修正し再び評価テーブルに反映させる手段と、評価テーブルから評価結果をグラフ化するなどして見やすく表示する手段、からなる。

また、本発明にかかる作文小論文の評価採点装置の一例においては、前記第１評価手段は、
小学１年生から高校３年生のように作文の添削などが要求される年齢や学年でそれぞれ区分けされた作文小論文において共通に評価する分野を、構成・題材・表現・主題などに分け、それぞれの分野における評価の項目とキーワードを記録した項目テーブルを有し、作文小論文を、あらかじめ指定した項目とキーワードによって評価する手段を有している。

また、本発明にかかる作文小論文の評価採点装置の更に他の一例においては、前記第２評価手段は、助詞・助動詞・接続詞など文章におけるつなぎ言葉として機能する平凡な語彙を配列として格納した平凡語彙ファイルと、生徒が入力した作文から、平凡語彙ファイルに格納された平凡語彙群を逐次削除し、その削除した箇所に挿入した半角スペースなどの区切り記号によって新たに配列化されたユニーク語彙を作成する手段と、生徒の作文から抽出されたユニーク語彙を記録する集計テーブルと、集計テーブルに記録されたユニーク語彙から、語彙数と出現回数などを集計し、文章の内容の評価として表示する手段を有している。

上述の本発明における、分野・項目・キーワード・課題の相互関係は次のとおりである。本発明では、例えば小学１年生から高校３年生までの作文小論文において共通して評価する分野を、構成・題材・表現・主題などの各分野としている。それぞれの分野を指導評価するために更に細分化したものが項目である。生徒にはその学年に対応した項目があらかじめ指定されている。それぞれの項目にはキーワードが対応し、そのキーワードの有無によって本発明の一例となる装置が作文小論文の評価採点を行う。キーワードの対応がない項目については、担当する講師が採点をする。また、それらの項目とは独立して、生徒にはその学年に対応した課題があらかじめ指定されている。したがって、生徒は、一方で指定された課題をもとに、他方でその課題とは独立して指定された項目をもとに作文小論文を書くことになる。

本発明にかかる作文小論文の評価採点装置の一例における、構成・題材・表現・主題の定義は次のとおりである。
構成とは、文章の内部における、ある段落と他の段落との関係、又は、ある段落と全体との関係であり、その関係を表わす語句である。語句の例としては、「その理由は」「その原因は」「そのための対策は」などがある。
題材とは、文章における、実例となる具体的事実であり、その事実を表わす語句である。語句の例としては、「私の体験では」「昔話を例に挙げると」「データとしては」などがある。
表現とは、文章における、事実又は意見をより豊かに表わす工夫であり、その工夫を表わす語句である。語句の例としては、「まるで……のよう（たとえ）」「ことわざで言えば」「名言によれば」などがある。
主題とは、文章における、ものの見方・感じ方・考え方となる感想や意見であり、その感想や意見を表わす語句である。語句の例としては、「思ったこと」「わかったこと」「確かに（反対意見に対する理解）」などがある。

本発明にかかる作文小論文の評価採点装置の更に他の一例における、「内容」の定義は次のとおりである。前記本発明にかかる作文小論文の評価採点装置の一例における、構成・題材・表現・主題などの分野が文章の主として形式的な面での評価であるのに対し、本発明にかかる作文小論文の評価採点装置の他の一例における「内容」は、文章の内容的な面での個性や創造性の評価である。内容の評価は、特定の語句によってではなく文章の全体から評価される。

本発明のもたらす効果は、第一に、作文小論文の形式面の評価項目がキーワードとして明示されているために、生徒に文章を書く際の目標ができ、そのことが学習を意欲的に継続する動機となっていることである。例えば、従来の方法で生徒が作文を書く場合、自分の書いた作文について自己評価ができる分野は字数の長さなどに限られている。これに対して項目とキーワードが指定された作文を書く場合、生徒は自分の書いた作文について、一つひとつの項目ができたかどうかということについても自己評価ができる。この評価できる複数の目標があることが、作文を書く前の目標意識と書いたあとの達成感に結びついている。

本発明のもたらす効果の第二は、作文小論文の内容面の評価がユニーク語彙の多様さとして明示されているために、与えられた評価をもとに書き手がよりよい文章を書くための努力をすることができ、しかもその努力が小手先の技術ではなく、読書量を増やしたり新しい表現の仕方を工夫したりするという本格的な努力に発展することである。更に、語彙の多様性を増すための努力は、実例をより創造的に適用する努力、表現の仕方をより創造的に工夫する努力につながることから、創造的であることを喜びとする人間の本性に合致している。

本発明のもたらす効果の第三は、作文の評価をきわめて少ない計算能力で高速に行なえることである。文章を評価するプログラムの中には数千から数万行になるものも多いと言われているが、当装置のプログラムは語彙の辞書も含めてわずか８００行である。この軽量のプログラムにより、インターネットを利用して生徒が自分の書いた作文小論文を頻繁に自己評価することが可能となっている。客観的な目標を持った学習と自己評価の可能な学習とによって、書き手自身の努力が即座に評価に反映するということは、書き手にスポーツやゲームに参加するような主体的な楽しみを提供する。主体的な参加の楽しみを複数の人間で共有することができれば、そこに作文文化のようなものを生み出すことができる。作文文化がその性質上、読書文化や考える文化に波及していくであろうことを考えると、今日の日本の社会で作文文化を育てることは大きな意義のあることだと思われる。

本発明は、デジタル化された作文小論文を対象にしているため、現状では、作文小論文をパソコンで入力できる生徒の文章を評価する際に主として利用される。しかし、第３発明の採点に必要とされる平凡語彙は、ひらがなや簡単な漢字を中心にした９００種類程度の限られた語彙（図９）であるから、現在の光学文字読取装置の水準でもかなりの精度で手書き文字を読み取ることができると思われる。また、平凡語彙を削除した残りのユニーク語彙については、語彙そのものを認識する必要はなく、画像として似た語彙を集計すればよいのであるから、これも現在の光学文字読み取り装置の水準で充分に集計は可能であると思われる。その結果、当装置とスキャナを利用して手書きの作文小論文を評価採点することが今後の展望として考えられる。
更に、本発明にかかる作文小論文の評価採点装置のさらに他の一例においては、平凡語彙を抽出した残りを集計するというその方法上の特徴から、日本語以外の外国語についても、容易にそれぞれの言語に対応した小論文自動採点装置を作ることを可能にすると思われる。

全体の流れを示す図である。課題テーブルの一部である。項目テーブルの一部である。（小１〜小４）項目テーブルの一部である。（小５〜中２）項目テーブルの一部である。（中３〜高３）生徒が作文小論文を送信するフォームを示す図である。作文小論文が送信されたあとキーワードによって評価がつけられたことを示す図である。評価の結果がインターネットで表示されたことを示す図である。平凡語彙の一覧（部分）を示す図である。第３発明の評価の流れを示すために仮に作成した元の文章を示す図である。図１０の文章から平凡語彙を除いたものを示す図である。図１０の文章から抽出されたユニーク語彙を抽出順にテンポラリテーブルに格納したことを示す図である。図１０の文章から抽出されたユニーク語彙を出現回数順にテンポラリテーブルに格納したことを示す図である。集計されたユニーク語彙をもとに評価した結果のイメージを示す図である。 e-raterのサンプル文章をもとに、e-rater、Jess、当装置第３発明の採点結果を比較した表を示す図である。 e-raterのサンプル文章をもとに、e-rater、Jess、当装置第３発明の採点結果を比較したグラフを示す図である。当教室の複数の採点者の採点と当装置の採点を比較したグラフを示す図である。当教室の複数の採点者の採点と当装置の採点を比較した表である。比較のための英語のサンプル文章の一例を示す図である。強力語彙（思考語彙）を抽出した表である。ユニーク語彙の反対である素材語彙（平凡語彙）を抽出した表である。重量語彙を抽出した表である。英語のA乃至Gの７つのサンプルについて、評価をまとめて示す表である。サンプルBについてのデータを語彙ごとに示した分析グラフである。図２４のの分析グラフを簡単に見れるようにしたグラフである。本発明の作文小論文を評価採点する装置で英語のA乃至Gの７つのサンプルについて評価した結果を示す図である。英語のA乃至Gの７つのサンプルについてe-raterにより評価した折れ線と、英語のA乃至Gの７つのサンプルを日本語に翻訳したものを前述の本発明の作文小論文の評価採点装置とJessの両方で評価した夫々の折れ線を併せて示す図である。

この発明全体を概観した流れは、図１に示すように次の手順に従う。
まず生徒がインターネットに接続するところからスタートする。
（１）生徒がユーザー名を入力する。入力する場所は、インターネット上にブラウザで表示されたフォームである。
（２）生徒テーブルがユーザー名に対応した生徒の学年と担当講師のデータを取得し、該当する課題、項目、担当講師メールアドレスを呼び出す。
（３）課題テーブルは、学年に対応した課題を呼び出す。
（４）項目テーブルは、学年に対応した項目とキーワードを呼び出す。
（５）呼び出された課題と項目とキーワードは、インターネット上のブラウザに表示される。
（６）生徒は、表示された課題と項目とキーワードに応じて作文小論文を入力し送信する。入力する場所は、インターネット上にブラウザで表示されたフォームである。
（７）送信された作文小論文は、項目テーブルから取得されたキーワードの有無によって評価採点される。
（８）キーワードによって評価採点された結果は、評価テーブルに格納される。
（９）次いで、送信された作文小論文は、ユニーク語彙による評価をするための手段を呼び出す。
（１０）評価手段は、平凡語彙ファイルから平凡語彙を取得し、送信された作文小論文から平凡語彙を削除することによってユニーク語彙を抽出し評価採点を行う。
（１１）ユニーク語彙の抽出により評価採点された結果は、集計テーブルに蓄積される。
（１２）集計テーブルで加工された評価採点結果は、評価テーブルに格納される。
（１３）キーワードの有無によって評価採点された結果と、ユニーク語彙の数によって評価採点された結果の二つの評価を付加された作文小論文は、担当講師あてにメールで送信される。
（１４）講師は、評価採点結果をチェックし、講評を付加し、最終的な評価データを作成する。
（１５）講師は、インターネットから評価データを入力し送信する。
（１６）送信された評価データは、評価テーブルに格納される。
（１７）評価テーブルに格納された評価データは、グラフなどに加工され生徒向けに表示される。

キーワードの有無によって評価採点されるプログラムの詳細は、次のとおりである。
まず、小学１年生から高校３年生までの学年に対応した作文小論文の課題を定めた課題テーブルを作る。（図２）

また、作文小論文を、全学年を通して共通した評価分野（構成、題材、表現、主題など）に分け、それぞれの分野で評価の目標となる項目とキーワードを定めた項目テーブルを作る。（図３、図４、図５）

次に、生徒がその学年に応じた課題で書いた作文小論文を、その学年に対応する項目のキーワードが入っているかどうかで評価する。

キーワードの有無による評価の具体的方法は、次のとおりである。まず、データベースを利用し、生徒ごとの学年の情報を生徒テーブルに入れ、それを、学年に対応した項目とキーワードの入った項目テーブルと連動させる。両者のテーブルはインターネットを介して作文小論文の送信フォームと結びついている。（図６）は送信フォームのイメージである。

生徒がインターネット上で作文小論文を送信すると、生徒の学年に対応した項目テーブルの項目別キーワード群が呼び出される。項目テーブルは、その作文から文中のキーワードの有無を評価し、キーワード群とマッチする部分をカラーで表示し、その分野に◎の評価をつける。
（図７）をもとに説明すると、「お母さんに聞いた話では……」の「聞」が題材の項目である「前の話、聞いた話」に該当するので題材に◎がついている。また、「まるでわがまませいじんの一人のように……」の「まるで」と「よう」が表現の項目である「たとえ」に該当するので表現に◎がついている。また、「……友達をもっと増やしたらいいということが分かった。」「……子供の遊びは変わっていくということが分かった。」の「分かった」が主題の項目である「わかったこと」に該当するので主題に◎がついている。

項目の中には、キーワードにマッチするかどうかでは採点しにくいものもある。それらの評価は保留のまま、生徒と講師の対応を記録した生徒テーブルを介して人間による採点者（講師）のところにメールで送信される。

講師が点検し講評を追加した最終的な評価データは、インターネット上の送信フォームから評価テーブルに蓄積される。

生徒は自分の作文と講師によって付加された評価結果を同学年の生徒との比較グラフなどとともにインターネット上で閲覧することができる。（図８）はある生徒の評価結果が表示されたときのイメージである。

項目ごとのキーワードの有無のようにある一定の形式ができているかどうかは、作文を書く力の一部を評価するものであって、作文の内容も含めた全体を評価するものではない。それは例えば、俳句における五七五の形式や季語の有無が、俳句となる形式上の条件を規定するものであって、俳句の内容を評価するものではないことと同様である。しかし、形式があることによって、評価の目標や指導の目標を生徒が理解できると、作文小論文を書き上げたときに、文章を完成したという感覚以外に目標を達成したという感覚を持てるようになる。このことが、作文小論文を書くという退屈になりがちな学習に生徒が長期間意欲的に取り組むことのできる大きな要因となっている。

ユニーク語彙による評価をするための手段の実施形態の詳細は、次のとおりである。
前述のように項目ごとのキーワードの有無で評価するものは、主として作文小論文の形式的な面である。
一方、作文小論文の内容的な面に関しては、ユニーク語彙による評価をするための手段はその文章の持つユニークな語彙の数と出現回数によって評価している。

文章の内容面での評価の一つとして個性のあることが挙げられる。個性があるということは、その作文小論文が創造性を持っていることであり、その文章によって世界に新たなものの見方や新たな表現の仕方が付け加えられることを意味している。個性・創造性は作文の内容の面白さであるとともに、書き手にとって書くことの楽しさにもつながっている。ユニーク語彙による評価をするための手段は、コンピュータにより、文章の個性・創造性を評価しようとするものである。

作文小論文で、ある一定の文字数のうちに、使用頻度の少ないユニークな語彙が何種類使われているかということは、その文章の内容面での個性・創造性と高い相関があると仮定できる。これは、私たちの日常の会話においても、話題（題材）や語彙（表現）の豊富な人は、話題や語彙の乏しい人よりも面白い話をしていると仮定できることと同様である。

ユニークな語彙は、次のように抽出する。まず平凡な語彙を集めた平凡語彙ファイルを作る。平凡な語彙とは、「そして、大いに、である、また、は、が」など、文章の内部で語句と語句とをつなぐ役割を果たす助詞、助動詞、副詞、連体詞、接続詞などである。これらの語彙は、名詞や動詞などの多様性と比較するときわめて限られたものであるため小さいファイルに格納することができる。（図９）は、その平凡語彙の一部である。なお、当装置は、語彙を抽出するために文章をわかち書きする手段として、内部でKAKASI（漢字→かな変換プログラム）という形態素解析ソフトを利用している。

次に、送信された文章（図１０）の中の語彙を、平凡語彙ファイルの語彙群と照合し、マッチした語彙を本文から削除するとともに、その削除した箇所に新たな区切り記号として半角スペースを挿入する。この際、文字数の短いものが先に置換されると、文字数の長いものが正しく置換されないので、先に文字数の長いものを置換する。（図１１）は、平凡語彙がすべて半角スペースに置換されたあとの結果である。

平凡な語彙をすべて半角スペースなどの区切り記号に置換した文章を、今度はその半角スペースの区切り記号で分割して配列化すると、ユニークな語彙（平凡な語彙以外の語彙）の配列が得られる。

このユニークな語彙の配列をデータベースの集計テーブルに格納し、語彙の種類別に集計すると、ユニークな語彙の数と出現回数が算出される。ただし、文章の字数が長くなるにつれてユニークな語彙の種類は逓減する傾向がある。例えば５０字の文章を同じ語彙を１回しか使わずに記述することは可能であるが、１２００字の文章を同じ語彙を１回しか使わずに記述することはほぼ不可能である。したがって、文章の字数に応じた調整割合を定め、長い文章と短い文章とを同列に比較できるようにする。
（図１２）はユニーク語彙を抽出順にテンポラリテーブルという一時的なテーブルに格納したものである。
（図１３）はユニーク語彙を出現回数順に集計して別のテンポラリテーブルに格納したものである。
（図１４）は集計テーブルにそれまでに蓄積された他の文章のユニーク語彙と比較して、当該文章の評価結果を表示したときのイメージである。この図では、小学生から高校生までの異なる学年を同じ基準で評価するために、事実文と意見文の違い、漢語の割合の違いも評価に加味しているが、中心となっているものは、ユニーク語彙の数である。

ユニーク語彙の抽出から集計テーブルへの格納にいたるまでのプログラムの流れの概略は次のとおりである。（使用しているプログラミング言語はPHP）
//平凡語彙の配列
$ordinary = array(そして,しかし,だから,……);
//文章中の平凡語彙を逐次半角スペースに置換する
for($i=0;$i<$count($ordinary);$i++){
$unique .= str_replace("$ordinary[$i]"," ",$article);
}
//半角スペースを区切りとしてユニーク語彙の配列を作成する
$unique = explode(" ",$unique);
//抽出されたユニーク語彙を逐次データベースに格納する
foreach($unique as $key => $value){
$query = "insert into table …… $value ……";
}

ユニーク語彙による評価をするための手段の工夫の一つは、最初からユニークな語彙を抽出するのではなく、平凡な語彙を除いたものをユニークな語彙と見なしたことである。どの言語にも、膨大な数のユニークな語彙と限られた数の平凡な語彙とがある。ユニークな語彙を抽出するために限られた数の平凡な語彙を消去する方法をとることにより、コンピュータの少ない計算能力資源で高速な計算をすることが可能となった。

ユニーク語彙による評価をするための手段でユニーク語彙の量を評価した結果を、e-rater及びJessで行われた評価と比較してみる。Jessでは、e-raterの評価サンプルとなっている英語の文章をJessの作成者が日本語に翻訳し、その日本語の文章をJessで評価した結果を表示している。当装置では、e-raterのサンプルとなっている英語の文章をエキサイト社のウェブ翻訳で日本語に翻訳し、その日本語の文章を当装置にかけて評価している。
e-rater、Jessと当装置（ユニーク語彙による評価をするための手段）の採点結果を比較したものが（図１５）の表である。Jessでは１０前後が満点になるように設定されているが当装置では１００前後が満点になるように設定されている。グラフでの比較がわかりやすいように当装置の数値を１０分の１にして表示したものが（図１６）のグラフである。
e-rater及びJessが、文章の下手でない度合いを、多くの基準によって、主として減点法で評価しているのに対し、当装置は、文章の個性を、ユニーク語彙の多さという単一の基準によって、主として加点法で評価している。評価方法の相違にも関わらず、Jessと当装置のグラフがほぼ同じ形になっている理由の一つは、サンプルとした文章の間の得点の差異が大きいためであるが、そのことを考慮に入れても、当装置の評価が他の評価と比べて妥当なものであることを示している。

図１７及び図１８は、当教室の小学４年生から中学３年生にかけての生徒が書いた作文小論文を、当教室の複数の採点者と当装置とで採点した結果の比較である。点数はいずれも百点満点に換算した。中心となる評価は、ユニーク語彙の数によるものであるが、小学生から高校生までの異なる学年の文章を同一の基準で価採点する必要から、次の評価も加味している。一つは、事実中心の文章は、意見中心の文章よりも容易に書けるので、意見文によく使われる語彙（思考語彙）の多い文章は評価を加算している。
もう一つは、ひらがなの多い文章は、漢字の多い文章よりも容易に書けるので、ユニーク語彙に占める漢語（２文字以上の漢字の文字列）の割合の多い文章は評価を加算している。
しかし、中学生以上の作文小論文では、思考語彙の数や漢語の数による差異は無視できるため、それぞれ評価に加算する上限を定めている。中学生以上の文章ではほとんどがこの上限を超えるので、評価はユニーク語彙の数によってほぼ決まっている。
これらの作文小論文のサンプルと評価は下記のページで公開している。
サンプル（http://www.mori7.net/patent/bm/sample.php）

本発明が、日本語以外の言語に対しても適用可能であることについて、図１９乃至図２７を参照しながら説明する。日本語以外の言語として、一例として英語を選択し、日本語では評価する字数の上限を１２００字としていたが、英語ではその３倍の３６００字に設定してその評価を行っている。なお、これらの上限は便宜性のために選択された数に過ぎず、評価者が任意の数を選択できることは言うまでもない。

次に、評価のためのテーブルデータとして、平凡語彙テーブル、思考語彙テーブルを準備する。平凡語彙は、日本語の平凡語彙をもとに、「and, there, you」などを抽出し、それ以外の語彙をユニーク語彙とする。また、思考語彙は、日本語の思考語彙をもとに、「but, think, therefore」などを抽出する。また、日本語における２文字以上の漢語は、英語の場合はその３倍の、６レター以上の単語とした。このような英語版を準備した後、e-raterが行っているものと同じサンプルを独自に評価した。評価の結果は、下記のとおりである。

先ず、図１９は、比較のためのサンプル文章の一例を示しており、図２０が強力語彙（思考語彙）を抽出した表であり、図２１がユニーク語彙の反対である素材語彙（平凡語彙）を抽出した表であり、図２２が重量語彙を抽出した表である。これらの抽出作業を行なったところで、図１に示した手順に従ってデータを処理することで評価作業を行うことができる。

図２３は英語のA乃至Gの７つのサンプルについて、評価をまとめたものである。図２４はサンプルBについてのデータを語彙ごとに示した分析グラフであり、図２５はその分析グラフを簡単に見れるようにしたグラフである。図２５において、本来は所要の着色がなされ、評価対者の良い点や悪い点などが視覚的に判断できるように工夫されている。

図２６は本発明の作文小論文を評価採点する装置で英語のA乃至Gの７つのサンプルについて評価した結果を示す図であり、図２６に示すように、サンプルCとサンプルFで比較的高得点のデータが得られているが、サンプルDでは比較的に低い点のデータが得られていることが判る。図２７は、英語のA乃至Gの７つのサンプルについてe-raterにより評価した折れ線と、英語のA乃至Gの７つのサンプルを日本語に翻訳したものを前述の本発明の作文小論文の評価採点装置とJessの両方で評価した夫々の折れ線を併せて示す図である。図２６と図２７に示すように、本発明の作文小論文を評価採点する装置で英語のA乃至Gの７つのサンプルについて評価した結果は、英語のA乃至Gの７つのサンプルについてe-raterにより評価した折れ線と比べて、サンプルCとサンプルFで比較的高得点のデータが得られサンプルDでは比較的に低い点のデータが得られている点でよく似ており、極めて相関関係が高いことが示される。また、英語のA乃至Gの７つのサンプルを日本語に翻訳したものを前述の本発明の作文小論文の評価採点装置とJessの両方で評価した場合でも、、両者の間は、極めて相関関係が高いことが示されており、本発明の作文小論文を評価採点する装置がマルチリンガルに機能することが実証される。

なお、上述の実施形態においては、多言語の例として日本語と英語の例を示したが、本発明はこれに限定されず、他の言語についても評価できる。

Claims

作文小論文を評価採点する装置であって、
作文小論文の学習者である生徒と、生徒の学年及び担当講師との対応を記録した生徒テーブルと、
学年に対応した課題を記録した課題テーブルと、
学年に対応した項目、及びこの項目を達成したことが作文小論文の中に一定のキーワードを含むことで評価できる当該キーワードを記録した項目テーブルと、
評価した結果を記録し蓄積する評価テーブルを有し、
あらかじめ指定された前記課題に沿って生徒が入力した作文小論文を、前記項目を達成したことを前記キーワードを含むことによって評価する第１評価手段と、
生徒が入力した作文小論文を、その文章を構成するユニークな語彙の量によって評価する第２評価手段と、
生徒の作文小論文とその評価結果を、生徒テーブルによって指定された講師に電子メールで送信する手段と、
講師に送信された評価結果を、講師が追加修正し再び評価テーブルに反映させる手段と、
評価テーブルから評価結果をグラフ、数字、文字により表示する手段と、
を備え、
前記第２評価手段は、助詞・助動詞・接続詞など文章におけるつなぎ言葉として機能する平凡な語彙を配列として格納した平凡語彙ファイルと、生徒が入力した作文から、平凡語彙ファイルに格納された平凡語彙群を逐次削除し、その削除した箇所に挿入した半角スペースなどの区切り記号によって新たに配列化されたユニーク語彙を作成する手段と、生徒の作文から抽出されたユニーク語彙を記録する集計テーブルと、集計テーブルに記録されたユニーク語彙から、語彙数と出現回数などを集計し、文章の内容の評価とする手段を持つ、
作文小論文を評価採点する装置。