WO2005057524A1

WO2005057524A1 - 作文小論文の評価採点装置

Info

Publication number: WO2005057524A1
Application number: PCT/JP2004/017605
Authority: WO
Inventors: Katsuaki Nakane
Original assignee: Kotobanomori Inc.
Priority date: 2003-11-28
Filing date: 2004-11-26
Publication date: 2005-06-23
Also published as: CN1886767A; US20070141544A1; JPWO2005057524A1; JP4584148B2

Abstract

　インターネット上でコンピュータによる作文小論文の評価採点を可能にする装置は、まずインターネット上で、作文小論文の学習者の学年に応じた作文小論文の課題と評価項目を提示する。提示された課題と項目に沿って学習者が作成した作文小論文を、評価項目に連動した複数の方法で評価し、評価結果をその学習者の採点を担当する採点者に電子メールなどの手段で配信する。採点者が講評を付加した評価結果をインターネット上のサーバーに記録し評価結果をグラフ化などで見やすくし学習者に表示する。本発明の作文小論文を評価する装置の特徴は、（１）作文小論文を構成・題材・表現・主題などの複数の分野に区分し、指定したキーワードの有無などによってそれぞれの分野を評価すること、（２）作文小論文の中に含まれるユニークな語彙の量と広がりによって内容の個性度を評価すること、である。

Description

明細書

作文小論文の評価採点装置

技術分野

[0001] この発明は、主として小学生から高校生が書く作文小論文を、コンピュータを利用して評価採点する装置に関する。

背景技術

[0002] 従来の作文小論文の評価は、採点者の主観的な判断に基づくものであった。主観的とは言え多くの人が共通して感じる基準に沿ったものであるかぎり、主観的であることそのものに問題があったわけではない。問題は、評価に客観性を要求しょうとすれば、複数の採点者が評価するなどそれなりの時間や手間が必要になるということであつた o

[0003] 現在、米国で行なわれつつある新、評価方法は、コンピュータを利用した採点である。それは既に e-rater (登録商標）という名称で (以下 e-raterと称する。）米国の主として中学生のレポート採点に利用されて、る。

しかし、コンピュータを利用した採点の問題点の一つは、評価の精度を高めようとすれば、それに応じてコンピュータの計算能力が必要となるということである。そのため、この評価方法は、現状ではまだ個人がパソコンレベルで手軽に利用できるものにはなっていない。

[0004] 問題点の二つ目は、規範となる文章群の持つ様々な特徴との隔たりの度合いから文章を評価すると、う方法論のために、上手でな 1、文章を評価する点では優れて!ヽるが、上手な文章を評価する点ではまだ性能が不充分だということである。

[0005] 下記のページには、コンピュータを利用した文章評価に関する米国の研究の現状が紹介されている。

http://www.ets.org/research/dload/iaai03bursteinj.pdr

非特干文献 1 : Critenon¾ivl: unhne essay evaluation: An application for automated evaluation of student essays. August 2003.

[0006] この米国の e-raterを日本語の文章に適用する形で、日本でも小論文の自動採点の試みが行われている。

特許文献 1：特願 2002 - 313004「文章評価採点装置、プログラム及び記憶媒体」 [0007] この文章評価採点装置 (以下 Jess (プログラム名）と称する。）の概要は、上記出願者と同一の著者によって著された下記の文献によってうかがうことができる。

http://www.rd.dnc.ac.jp/ tunenori/ doc/ jerater_ieice.pdf

非特許文献 2：コンピュータによる日本語小論文の自動採点システム

[0008] 当装置の前身は、米国での動きとは独立して、当教室（Online作文教室言葉の森）が 1983年の日本における作文小論文の指導開始当初から開発していた独自の評価方法である。したがって、作文小論文評価における教師の負担軽減を目指したコンピュータの利用という問題意識では他の自動採点の試みと共通している力その方法については、後述するように大きく異なっている。

発明の開示

[0009] 作文小論文の学習には、漢字力 '読解力'表現力など日本語の総合的な力が必要とされる。子供たちの総体的な学力低下と受験競争の低年齢ィ匕が同時に進行する中で、教育の原点を読む力書く力の育成に置くことは、今日多くの人の求めるところとなつている。しかし、読む力書く力を評価するための作文小論文の試験は、大学入試においてこそ多くの大学学部で採用されるようになっているが、小中学校や高校の段階ではまだ充分な活用がなされているとは言い難い。そのいちばんの原因は、指導の目標となる評価の基準が確立して、な、ことにある。

[0010] 当発明は、作文小論文の評価の手間を大幅に軽減するとともに、子供たちに書く目標を明示し書く楽しさを味わわせることにより、教育の場に作文小論文の学習を広く普及させることを目的としている。

[0011] 本発明は、インターネットとコンピュータによって上記課題を解決している。

この本発明に力かる作文小論文の評価採点装置は、作文小論文の学習者である生徒と、生徒の学年及び担当講師との対応を記録した生徒テーブルと、学年に対応した課題を記録した課題テーブルと、学年に対応した項目、及びこの項目を達成したことが作文小論文の中に一定のキーワードを含むことで評価できる当該キーワードを記録した項目テーブルと、評価した結果を記録し蓄積する評価テーブルを有し、あらかじめ指定された前記課題に沿って生徒が入力した作文小論文を、前記項目を達成したことを前記キーワードを含むことによって評価する第 1評価手段と、生徒が入力した作文小論文を、その文章を構成するユニークな語彙の量によって評価する第

2評価手段と、生徒の作文小論文とその評価結果を、生徒テーブルによって指定された講師に電子メールで送信する手段と、講師に送信された評価結果を、講師が追加修正し再び評価テーブルに反映させる手段と、評価テーブル力評価結果をダラフ化するなどして見やすく表示する手段、力なる。

[0012] また、本発明にかかる作文小論文の評価採点装置の一例においては、前記第 1評価手段は、

小学 1年生から高校 3年生のように作文の添削などが要求される年齢や学年でそれぞれ区分けされた作文小論文において共通に評価する分野を、構成 ·題材 ·表現 · 主題などに分け、それぞれの分野における評価の項目とキーワードを記録した項目テーブルを有し、作文小論文を、あらかじめ指定した項目とキーワードによって評価する手段を有している。

[0013] また、本発明にかかる作文小論文の評価採点装置の更に他の一例においては、前記第 2評価手段は、助詞 '助動詞'接続詞など文章におけるつなぎ言葉として機能する平凡な語彙を配列として格納した平凡語彙ファイルと、生徒が入力した作文から、平凡語彙ファイルに格納された平凡語彙群を逐次削除し、その削除した箇所に挿入した半角スペースなどの区切り記号によって新たに配列化されたユニーク語彙を作成する手段と、生徒の作文カゝら抽出されたユニーク語彙を記録する集計テーブルと、集計テーブルに記録されたユニーク語彙から、語彙数と出現回数など計し、文章の内容の評価として表示する手段を有して、る。

[0014] 上述の本発明における、分野 ·項目 'キーワード '課題の相互関係は次のとおりである。本発明では、例えば小学 1年生力も高校 3年生までの作文小論文において共通して評価する分野を、構成'題材 ·表現.主題などの各分野としている。それぞれの分野を指導評価するために更に細分ィ匕したものが項目である。生徒にはその学年に対応した項目があら力じめ指定されている。それぞれの項目にはキーワードが対応し、そのキーワードの有無によって本発明の一例となる装置が作文小論文の評価採点を行う。キーワードの対応がない項目については、担当する講師が採点をする。また、それらの項目とは独立して、生徒にはその学年に対応した課題があら力じめ指定されている。したがって、生徒は、一方で指定された課題をもとに、他方でその課題とは独立して指定された項目をもとに作文小論文を書くことになる。

[0015] 本発明にかかる作文小論文の評価採点装置の一例における、構成'題材 ·表現' 主題の定義は次のとおりである。

構成とは、文章の内部における、ある段落と他の段落との関係、又は、ある段落と全体との関係であり、その関係を表わす語句である。語句の例としては、「その理由は」「その原因は」「そのための対策は」などがある。

題材とは、文章における、実例となる具体的事実であり、その事実を表わす語句である。語句の例としては、「私の体験では」「昔話を例に挙げると」「データとしては」などがある。

表現とは、文章における、事実又は意見をより豊かに表わす工夫であり、その工夫を表わす語句である。語句の例としては、「まるで……のよう（たとえ）」「ことわざで言えば」「名言によれば」などがある。

主題とは、文章における、ものの見方'感じ方 ·考え方となる感想や意見であり、その感想や意見を表わす語句である。語句の例としては、「思ったこと」「わ力たこと」「確かに (反対意見に対する理解)」などがある。

[0016] 本発明にかかる作文小論文の評価採点装置の更に他の一例における、「内容」の定義は次のとおりである。前記本発明にかかる作文小論文の評価採点装置の一例における、構成'題材 ·表現'主題などの分野が文章の主として形式的な面での評価であるのに対し、本発明にかかる作文小論文の評価採点装置の他の一例における「内容」は、文章の内容的な面での個性や創造性の評価である。内容の評価は、特定の語句によってではなく文章の全体力も評価される。

[0017] 本発明のもたらす効果は、第一に、作文小論文の形式面の評価項目がキーワードとして明示されているために、生徒に文章を書く際の目標ができ、そのことが学習を意欲的に継続する動機となっていることである。例えば、従来の方法で生徒が作文を書く場合、自分の書いた作文について自己評価ができる分野は字数の長さなどに限られている。これに対して項目とキーワードが指定された作文を書く場合、生徒は自分の書!、た作文につ!、て、一つひとつの項目ができたかどうかと!/、うことにつ!/ヽても自己評価ができる。この評価できる複数の目標があることが、作文を書く前の目標意識と書、たあとの達成感に結びつ、て、る。

[0018] 本発明のもたらす効果の第二は、作文小論文の内容面の評価がユニーク語彙の多様さとして明示されて、るために、与えられた評価をもとに書き手がよりよ、文章を書くための努力をすることができ、し力もその努力が小手先の技術ではなぐ読書量を増やしたり新、表現の仕方を工夫したりすると!/、う本格的な努力に発展することである。更に、語彙の多様性を増すための努力は、実例をより創造的に適用する努力、表現の仕方をより創造的に工夫する努力につながることから、創造的であることを喜びとする人間の本性に合致して、る。

[0019] 本発明のもたらす効果の第三は、作文の評価をきわめて少ない計算能力で高速に行なえることである。文章を評価するプログラムの中には数千力も数万行になるものも多いと言われている力当装置のプログラムは語彙の辞書も含めてわず力 800行である。この軽量のプログラムにより、インターネットを利用して生徒が自分の書いた作文小論文を頻繁に自己評価することが可能となって、る。客観的な目標を持った学習と自己評価の可能な学習とによって、書き手自身の努力が即座に評価に反映するということは、書き手にスポーツやゲームに参加するような主体的な楽しみを提供する。主体的な参加の楽しみを複数の人間で共有することができれば、そこに作文文化のようなものを生み出すことができる。作文文化がその性質上、読書文化や考える文化に波及していくであろうことを考えると、今日の日本の社会で作文文化を育てることは大きな意義のあることだと思われる。

[0020] 本発明は、デジタル化された作文小論文を対象にしているため、現状では、作文小論文をパソコンで入力できる生徒の文章を評価する際に主として利用される。しかし、第 3発明の採点に必要とされる平凡語彙は、ひらがなや簡単な漢字を中心にした 9 00種類程度の限られた語彙 (図 9)であるから、現在の光学文字読取装置の水準でもかなりの精度で手書き文字を読み取ることができると思われる。また、平凡語彙を削除した残りのユニーク語彙については、語彙そのものを認識する必要はなぐ画像として似た語彙を集計すればよ!、のであるから、これも現在の光学文字読み取り装置の水準で充分に集計は可能であると思われる。その結果、当装置とスキャナを利用して手書きの作文小論文を評価採点することが今後の展望として考えられる。

更に、本発明にかかる作文小論文の評価採点装置のさらに他の一例においては、平凡語彙を抽出した残りを集計するというその方法上の特徴から、日本語以外の外国語につ!、ても、容易にそれぞれの言語に対応した小論文自動採点装置を作ることを可能にすると思われる。

図面の簡単な説明

[図 1]全体の流れを示す図である。

[図 2]課題テーブルの一部である。

[図 3]項目テーブルの一部である。（小 1一小 4)

[図 4]項目テーブルの一部である。（小 5—中 2)

[図 5]項目テーブルの一部である。（中 3—高 3)

[図 6]生徒が作文小論文を送信するフォームを示す図である。

[図 7]作文小論文が送信されたあとキーワードによって評価がつけられたことを示す図である。

[図 8]評価の結果力インターネットで表示されたことを示す図である。

[図 9]平凡語彙の一覧 (部分)を示す図である。

[図 10]第 3発明の評価の流れを示すために仮に作成した元の文章を示す図である。

[図 11]図 10の文章から平凡語彙を除いたものを示す図である。

[図 12]図 10の文章力も抽出されたユニーク語彙を抽出順にテンポラリテーブルに格納したことを示す図である。

[図 13]図 10の文章力も抽出されたユニーク語彙を出現回数順にテンポラリテーブルに格納したことを示す図である。

[図 14]集計されたユニーク語彙をもとに評価した結果のイメージを示す図である。

[図 15]e-raterのサンプル文章をもとに、 e-rater、 Jess,当装置第 3発明の採点結果を比較した表を示す図である。

[図 16]e-raterのサンプル文章をもとに、 e-rater、 Jess,当装置第 3発明の採点結果を比較したグラフを示す図である。

[図 17]当教室の複数の採点者の採点と当装置の採点を比較したグラフを示す図である。

[図 18]当教室の複数の採点者の採点と当装置の採点を比較した表である。

[図 19]比較のための英語のサンプル文章の一例を示す図である。

[図 20]強力語彙 (思考語彙)を抽出した表である。

[図 21]ユニーク語彙の反対である素材語彙 (平凡語彙)を抽出した表である。

[図 22]重量語彙を抽出した表である。

[図 23]英語の A乃至 Gの 7つのサンプルにつ!/、て、評価をまとめて示す表である。

[図 24]サンプル Bについてのデータを語彙ごとに示した分析グラフである。

[図 25]図 24のの分析グラフを簡単に見れるようにしたグラフである。

[図 26]本発明の作文小論文を評価採点する装置で英語の A乃至 Gの 7つのサンプルにつ、て評価した結果を示す図である。

[図 27]英語の A乃至 Gの 7つのサンプルにつ!/、て e-raterにより評価した折れ線と、英語の A乃至 Gの 7つのサンプルを日本語に翻訳したものを前述の本発明の作文小論文の評価採点装置と Jessの両方で評価した夫々の折れ線を併せて示す図である。発明を実施するための最良の形態

この発明全体を概観した流れは、図 1に示すように次の手順に従う。

まず生徒力 Sインターネットに接続するところ力もスタートする。

(1)生徒がユーザー名を入力する。入力する場所は、インターネット上にブラウザで表示されたフォームである。

(2)生徒テーブルがユーザー名に対応した生徒の学年と担当講師のデータを取得し、該当する課題、項目、担当講師メールアドレスを呼び出す。

(3)課題テーブルは、学年に対応した課題を呼び出す。

(4)項目テーブルは、学年に対応した項目とキーワードを呼び出す。

(5)呼び出された課題と項目とキーワードは、インターネット上のブラウザに表示される。

(6)生徒は、表示された課題と項目とキーワードに応じて作文小論文を入力し送信する。入力する場所は、インターネット上にブラウザで表示されたフォームである。

(7)送信された作文小論文は、項目テーブル力取得されたキーワードの有無によつて評価採点される。

(8)キーワードによって評価採点された結果は、評価テーブルに格納される。

(9)次いで、送信された作文小論文は、ユニーク語彙による評価をするための手段を呼び出す。

(10)評価手段は、平凡語彙ファイルカゝら平凡語彙を取得し、送信された作文小論文カゝら平凡語彙を削除することによってユニーク語彙を抽出し評価採点を行う。

(11)ユニーク語彙の抽出により評価採点された結果は、集計テーブルに蓄積される

( 12)集計テーブルで加工された評価採点結果は、評価テーブルに格納される。

(13)キーワードの有無によって評価採点された結果と、ユニーク語彙の数によって評価採点された結果の二つの評価を付加された作文小論文は、担当講師あてにメールで送信される。

(14)講師は、評価採点結果をチックし、講評を付加し、最終的な評価データを作成する。

(15)講師は、インターネットから評価データを入力し送信する。

(16)送信された評価データは、評価テーブルに格納される。

(17)評価テーブルに格納された評価データは、グラフなどに加工され生徒向けに表示される。

[0023] キーワードの有無によって評価採点されるプログラムの詳細は、次のとおりである。

まず、小学 1年生力高校 3年生までの学年に対応した作文小論文の課題を定めた課題テーブルを作る。（図 2)

[0024] また、作文小論文を、全学年を通して共通した評価分野 (構成、題材、表現、主題など）に分け、それぞれの分野で評価の目標となる項目とキーワードを定めた項目テ一ブルを作る。（図 3、図 4、図 5)

[0025] 次に、生徒がその学年に応じた課題で書いた作文小論文を、その学年に対応する項目のキーワードが入って、るかどうかで評価する。 [0026] キーワードの有無による評価の具体的方法は、次のとおりである。まず、データべースを利用し、生徒ごとの学年の情報を生徒テーブルに入れ、それを、学年に対応した項目とキーワードの入った項目テーブルと連動させる。両者のテーブルはインタ一ネットを介して作文小論文の送信フォームと結びついている。（図 6)は送信フォームのイメージである。

[0027] 生徒力インターネット上で作文小論文を送信すると、生徒の学年に対応した項目テ一ブルの項目別キーワード群が呼び出される。項目テーブルは、その作文から文中のキーワードの有無を評価し、キーワード群とマッチする部分をカラーで表示し、その分野に◎の評価をつける。

(図 7)をもとに説明すると、「お母さんに聞、た話では……」の「聞」が題材の項目である「前の話、聞いた話」に該当するので題材に◎がついている。また、「まるでわがまませ、じんの一人のように · ·… ·」の「まるで」と「よう」が表現の項目である「たとえ」に該当するので表現に◎がついている。また、「……友達をもっと増やしたらいいということが分力つた。」「……子供の遊びは変わっていくということが分力つた。」の「分かつた」が主題の項目である「わかったこと」に該当するので主題に◎がっヽて、る。

[0028] 項目の中には、キーワードにマッチするかどうかでは採点しにくいものもある。それらの評価は保留のまま、生徒と講師の対応を記録した生徒テーブルを介して人間による採点者 (講師）のところにメールで送信される。

[0029] 講師が点検し講評を追加した最終的な評価データは、インターネット上の送信フォーム力評価テーブルに蓄積される。

[0030] 生徒は自分の作文と講師によって付加された評価結果を同学年の生徒との比較グラフなどとともにインターネット上で閲覧することができる。（図 8)はある生徒の評価結果が表示されたときのイメージである。

[0031] 項目ごとのキーワードの有無のようにある一定の形式ができているかどうかは、作文を書く力の一部を評価するものであって、作文の内容も含めた全体を評価するものではない。それは例えば、俳句における五七五の形式や季語の有無力俳句となる形式上の条件を規定するものであって、俳句の内容を評価するものではないことと同様である。しかし、形式があることによって、評価の目標や指導の目標を生徒が理解できると、作文小論文を書き上げたときに、文章を完成したという感覚以外に目標を達成したという感覚を持てるようになる。このことが、作文小論文を書くという退屈になり力 Sちな学習に生徒が長期間意欲的に取り組むことのできる大きな要因となっている。

[0032] ユニーク語彙による評価をするための手段の実施形態の詳細は、次のとおりである前述のように項目ごとのキーワードの有無で評価するものは、主として作文小論文の形式的な面である。

一方、作文小論文の内容的な面に関しては、ユニーク語彙による評価をするための手段はその文章の持つユニークな語彙の数と出現回数によって評価している。

[0033] 文章の内容面での評価の一つとして個性のあることが挙げられる。個性があるということは、その作文小論文が創造性を持っていることであり、その文章によって世界に新たなものの見方や新たな表現の仕方が付け加えられることを意味している。個性' 創造性は作文の内容の面白さであるとともに、書き手にとって書くことの楽しさにもつながっている。ユニーク語彙による評価をするための手段は、コンピュータにより、文章の個性'創造性を評価しょうとするものである。

[0034] 作文小論文で、ある一定の文字数のうちに、使用頻度の少ないユニークな語彙が何種類使われて、るかと、うことは、その文章の内容面での個性 ·創造性と高、相関があると仮定できる。これは、私たちの日常の会話においても、話題 (題材)や語彙（表現)の豊富な人は、話題や語彙の乏し、人よりも面白い話をして、ると仮定できることと同様である。

[0035] ユニークな語彙は、次のように抽出する。まず平凡な語彙を集めた平凡語彙フアイルを作る。平凡な語彙とは、「そして、大いに、である、また、は、カ^など、文章の内部で語句と語句とをつなぐ役割を果たす助詞、助動詞、副詞、連体詞、接続詞などである。これらの語彙は、名詞や動詞などの多様性と比較するときわめて限られたものであるため小さいファイルに格納することができる。（図 9)は、その平凡語彙の一部である。なお、当装置は、語彙を抽出するために文章をわかち書きする手段として、内部で KAKASI (漢字→かな変換プログラム）ヽぅ形態素解析ソフトを利用してヽる。

[0036] 次に、送信された文章（図 10)の中の語彙を、平凡語彙ファイルの語彙群と照合し、マッチした語彙を本文力削除するとともに、その削除した箇所に新たな区切り記号として半角スペースを挿入する。この際、文字数の短いものが先に置換されると、文字数の長いものが正しく置換されないので、先に文字数の長いものを置換する。 ( 図 11)は、平凡語彙がすべて半角スペースに置換されたあとの結果である。

[0037] 平凡な語彙をすベて半角スペースなどの区切り記号に置換した文章を、今度はその半角スペースの区切り記号で分割して配列化すると、ユニークな語彙 (平凡な語彙以外の語彙)の配列が得られる。

[0038] このユニークな語彙の配列をデータベースの集計テーブルに格納し、語彙の種類別に集計すると、ユニークな語彙の数と出現回数が算出される。ただし、文章の字数が長くなるにつれてユニークな語彙の種類は遁減する傾向がある。例えば 50字の文章を同じ語彙を 1回し力使わずに記述することは可能であるが、 1200字の文章を同じ語彙を 1回し力使わずに記述することはほぼ不可能である。したがって、文章の字数に応じた調整割合を定め、長い文章と短い文章とを同列に比較できるようにする。

(図 12)はユニーク語彙を抽出順にテンポラリテーブルという一時的なテーブルに格納したものである。

(図 13)はユニーク語彙を出現回数順に集計して別のテンポラリテーブルに格納したものである。

(図 14)は集計テーブルにそれまでに蓄積された他の文章のユニーク語彙と比較して、当該文章の評価結果を表示したときのイメージである。この図では、小学生から高校生までの異なる学年を同じ基準で評価するために、事実文と意見文の違い、漠語の割合の違いも評価にカ卩味している力中心となっているものは、ユニーク語彙の数である。

[0039] ユニーク語彙の抽出力も集計テーブルへの格納に、たるまでのプログラムの流れの概略は次のとおりである。（使用しているプログラミング言語は PHP)

〃平凡語彙の配列

Sordinary = array (そして,しかし,だから,……；)；

〃文章中の平凡語彙を逐次半角スペースに置換する

for($ i=0； $ K $ count ($ ordinary)； $ i++){ $ unique .= str— replace(〃$ordinary[$i] , ,$ article);

〃半角スペースを区切りとしてユニーク語彙の配列を作成する

$ unique = explode( ,$ unique);

〃抽出されたユニーク語彙を逐次データベースに格納する

foreac (,$unique as $key => $value)t

$ query = insert into table $ value ；

[0040] ユニーク語彙による評価をするための手段の工夫の一つは、最初からユニークな語彙を抽出するのではなぐ平凡な語彙を除、たものをユニークな語彙と見なしたことである。どの言語にも、膨大な数のユニークな語彙と限られた数の平凡な語彙とがある。ユニークな語彙を抽出するために限られた数の平凡な語彙を消去する方法をとることにより、コンピュータの少ない計算能力資源で高速な計算をすることが可能となった。

[0041] ユニーク語彙による評価をするための手段でユニーク語彙の量を評価した結果を、 e- rater及び Jessで行われた評価と比較してみる。 Jessでは、 e- raterの評価サンプルとなっている英語の文章を Jessの作成者が日本語に翻訳し、その日本語の文章を Jess で評価した結果を表示している。当装置では、 e-raterのサンプルとなっている英語の文章をエキサイト社のウェブ翻訳で日本語に翻訳し、その日本語の文章を当装置にかけて評価している。

e-rater, Jessと当装置 (ユニーク語彙による評価をするための手段）の採点結果を比較したものが（図 15)の表である。 Jessでは 10前後が満点になるように設定されて V、るが当装置では 100前後が満点になるように設定されて!、る。グラフでの比較がわ力りやすいように当装置の数値を 10分の 1にして表示したもの力 S (図 16)のグラフである。

e-rater及び Jessが、文章の下手でない度合いを、多くの基準によって、主として減点法で評価しているのに対し、当装置は、文章の個性を、ユニーク語彙の多さという単一の基準によって、主として加点法で評価している。評価方法の相違にも関わらず、 Jessと当装置のグラフがほぼ同じ形になっている理由の一つは、サンプルとした文章の間の得点の差異が大きいためである力そのことを考慮に入れても、当装置の評価が他の評価と比べて妥当なものであることを示している。

[0042] 図 17及び図 18は、当教室の小学 4年生から中学 3年生にかけての生徒が書いた作文小論文を、当教室の複数の採点者と当装置とで採点した結果の比較である。点数はいずれも百点満点に換算した。中心となる評価は、ユニーク語彙の数によるものである力小学生から高校生までの異なる学年の文章を同一の基準で価採点する必要から、次の評価も加味している。一つは、事実中心の文章は、意見中心の文章よりも容易に書けるので、意見文によく使われる語彙 (思考語彙)の多!、文章は評価を加算している。

もう一つは、ひらがなの多い文章は、漢字の多い文章よりも容易に書けるので、ュニーク語彙に占める漢語 (2文字以上の漢字の文字列）の割合の多!、文章は評価を加算している。

しかし、中学生以上の作文小論文では、思考語彙の数や漢語の数による差異は無視できるため、それぞれ評価に加算する上限を定めている。中学生以上の文章ではほとんどがこの上限を超えるので、評価はユニーク語彙の数によってほぼ決まって!/ヽる。

これらの作文小論文のサンプルと評価は下記のページで公開している。サンプノレ (http:/ 1 www.mon .net/ patent/ Dm/ sample. php)

[0043] 本発明が、日本語以外の言語に対しても適用可能であることについて、図 19乃至図 27を参照しながら説明する。日本語以外の言語として、一例として英語を選択し、日本語では評価する字数の上限を 1200字としていた力英語ではその 3倍の 3600 字に設定してその評価を行っている。なお、これらの上限は便宜性のために選択された数に過ぎず、評価者が任意の数を選択できることは言うまでもな、。

[0044] 次に、評価のためのテーブルデータとして、平凡語彙テーブル、思考語彙テープルを準備する。平凡語彙は、日本語の平凡語彙をもとに、「and, there, you」などを抽出し、それ以外の語彙をユニーク語彙とする。また、思考語彙は、日本語の思考語彙をもとに、「but, think, therefore]などを抽出する。また、日本語における 2文字以上の漢語は、英語の場合はその 3倍の、 6レター以上の単語とした。このような英語版を準備した後、 e-raterが行っているものと同じサンプルを独自に評価した。評価の結果は、下記のとおりである。

[0045] 先ず、図 19は、比較のためのサンプル文章の一例を示しており、図 20が強力語彙

(思考語彙)を抽出した表であり、図 21がユニーク語彙の反対である素材語彙 (平凡語彙)を抽出した表であり、図 22が重量語彙を抽出した表である。これらの抽出作業を行なったところで、図 1に示した手順に従ってデータを処理することで評価作業を行うことができる。

[0046] 図 23は英語の A乃至 Gの 7つのサンプルについて、評価をまとめたものである。図 2 4はサンプル Bについてのデータを語彙ごとに示した分析グラフであり、図 25はその分析グラフを簡単に見れるようにしたグラフである。図 25において、本来は所要の着色がなされ、評価対者の良い点や悪い点などが視覚的に判断できるように工夫されている。

[0047] 図 26は本発明の作文小論文を評価採点する装置で英語の A乃至 Gの 7つのサンプルについて評価した結果を示す図であり、図 26に示すように、サンプル Cとサンプル Fで比較的高得点のデータが得られて、るが、サンプル Dでは比較的に低、点のデータが得られていることが判る。図 27は、英語の A乃至 Gの 7つのサンプルについて e-raterにより評価した折れ線と、英語の A乃至 Gの 7つのサンプルを日本語に翻訳したものを前述の本発明の作文小論文の評価採点装置と Jessの両方で評価した夫々の折れ線を併せて示す図である。図 26と図 27に示すように、本発明の作文小論文を評価採点する装置で英語の A乃至 Gの 7つのサンプルについて評価した結果は、英語の A乃至 Gの 7つのサンプルにつ!/、て e-raterにより評価した折れ線と比べて、サンプル Cとサンプル Fで比較的高得点のデータが得られサンプル Dでは比較的に低い点のデータが得られている点でよく似ており、極めて相関関係が高いことが示される。また、英語の A乃至 Gの 7つのサンプルを日本語に翻訳したものを前述の本発明の作文小論文の評価採点装置と Jessの両方で評価した場合でも、、両者の間は、極めて相関関係が高いことが示されており、本発明の作文小論文を評価採点する装置がマルチリンガルに機能することが実証される。なお、上述の実施形態においては、多言語の例として日本語と英語の例を示したが、本発明はこれに限定されず、他の言語についても評価できる。

Claims

請求の範囲

[1] 作文小論文を評価採点する装置であって、

作文小論文の学習者である生徒と、生徒の学年及び担当講師との対応を記録した生徒テーブルと、

学年に対応した課題を記録した課題テーブルと、

学年に対応した項目、及びこの項目を達成したことが作文小論文の中に一定のキーワードを含むことで評価できる当該キーワードを記録した項目テーブルと、評価した結果を記録し蓄積する評価テーブルを有し、

あらかじめ指定された前記課題に沿って生徒が入力した作文小論文を、前記項目を達成したことを前記キーワードを含むことによって評価する第 1評価手段と、生徒が入力した作文小論文を、その文章を構成するユニークな語彙の量によって評価する第 2評価手段と、

生徒の作文小論文とその評価結果を、生徒テーブルによって指定された講師に電子メールで送信する手段と、

講師に送信された評価結果を、講師が追加修正し再び評価テーブルに反映させる手段と、

評価テーブル力評価結果をグラフ化するなどにより表示する手段とを持つ、作文小論文を評価採点する装置。

[2] 前記第 1評価手段は、年齢若しくは学年により区分けされた作文小論文において共通に評価する分野を、構成'題材 ·表現'主題などに分け、それぞれの分野における評価の項目とキーワードを記録した項目テーブルを有し、

作文小論文を、あらかじめ指定した項目とキーワードによって評価する手段を持つ、請求項 1に記載の作文小論文を評価採点する装置。

[3] 前記第 2評価手段は、助詞 '助動詞'接続詞など文章におけるつなぎ言葉として機能する平凡な語彙を配列として格納した平凡語彙ファイルと、生徒が入力した作文から、平凡語彙ファイルに格納された平凡語彙群を逐次削除し、その削除した箇所に挿入した半角スペースなどの区切り記号によって新たに配列化されたユニーク語彙を作成する手段と、生徒の作文力抽出されたユニーク語彙を記録する集計テープルと、

集計テーブルに記録されたユニーク語彙から、語彙数と出現回数など計し、文章の内容の評価として表示する手段を持つ、

請求項 1に記載の作文小論文を評価採点する装置。

[4] 評価する作文小論文の言語に応じて評価する字数を変えることを特徴とする請求項 1に記載の作文小論文を評価採点する装置。

[5] 重量語彙とされる言葉の規定を評価する作文小論文の言語に応じて変えることを特徴とする請求項 1に記載の作文小論文を評価採点する装置。

[6] 作文小論文を評価採点する方法であって、

作文小論文の学習者である生徒と、生徒の学年及び担当講師との対応を記録した生徒テーブルと、学年に対応した課題を記録した課題テーブルと、学年に対応した項目、及びこの項目を達成したことが作文小論文の中に一定のキーワードを含むことで評価できる当該キーワードを記録した項目テーブルと、評価した結果を記録し蓄積する評価テーブルを設定し、

あらかじめ指定された前記課題に沿って生徒が入力した作文小論文を、前記項目を達成したことを前記キーワードを含むことによって評価し、

生徒が入力した作文小論文を、その文章を構成するユニークな語彙の量によって評価し、

生徒の作文小論文とその評価結果を、生徒テーブルによって指定された講師に送信することを特徴とする作文小論文を評価採点する方法。

[7] 前記講師に送信された評価結果を、講師が追加修正し再び評価テーブルに反映させ、前記評価テーブル力評価結果をグラフ化するなどにより表示することを特徴とする請求項 6記載の作文小論文を評価採点する方法。