JP4659433B2 - Problem automatic creation device and problem automatic creation program - Google Patents
Problem automatic creation device and problem automatic creation program Download PDFInfo
- Publication number
- JP4659433B2 JP4659433B2 JP2004310551A JP2004310551A JP4659433B2 JP 4659433 B2 JP4659433 B2 JP 4659433B2 JP 2004310551 A JP2004310551 A JP 2004310551A JP 2004310551 A JP2004310551 A JP 2004310551A JP 4659433 B2 JP4659433 B2 JP 4659433B2
- Authority
- JP
- Japan
- Prior art keywords
- response
- condition
- pair
- correct answer
- question
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004044 response Effects 0.000 claims description 123
- 230000035045 associative learning Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 description 9
- 238000000034 method Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012797 qualification Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000013016 learning Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000014616 translation Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
Description
この発明は、多肢選択式の問題を自動的に作成する技術に関し、特に、例えばいわゆるe−ラーニングまたはモバイル学習等において使用される多肢選択式の問題を自動的に作成する問題自動作成装置および問題自動作成プログラムに関する。 The present invention relates to a technique for automatically creating a multiple-choice question, and in particular, an automatic question creation device for automatically creating a multiple-choice question used in, for example, so-called e-learning or mobile learning. And an automatic problem creation program.
経済・社会の変化に伴い、就業形態も従来と変わり始めている。積極的に転職をすることにより、自己のキャリアを高めていくという考え方も広まりつつある。そのために、仕事に役立つ資格を取得しようとする人々が増加している。転職のためだけでなく最初の就職の際にも、何らかの資格を持っているほうが有利と考える人も多く、そのため種々の資格取得のための予備校、塾、通信教育などが盛んになっている。 With changes in the economy and society, employment forms are beginning to change. The idea of improving one's own career by actively changing jobs is also spreading. For this reason, an increasing number of people are trying to acquire qualifications useful for work. Many people think that it is more advantageous to have some qualifications not only for changing jobs but also for the first employment, so preparatory schools, cram schools, correspondence courses, etc. for obtaining various qualifications are popular.
資格試験の中でも特に人気のあるのが、英語のコミュニケーション能力を測定する試験である。留学の際の条件として、特定の試験で所定の点数以上を取得していることが求められることも多い。 One of the most popular qualification tests is to measure English communication skills. As a condition for studying abroad, it is often required to obtain a specified score or more in a specific examination.
ところで、そうした試験において問題となるのは、いかにして採点を的確にするか、という点である。特に受験者が多数となると、採点のための労力が多くなって結果が得られるまでの期間が長くなったり、採点者が増加するために採点の精度が低くなったり、試験実施のためのコストが高くなったりするという問題がある。 By the way, the problem in such tests is how to make the scoring accurate. In particular, when there are a large number of examinees, the time taken to obtain results increases because of the effort for scoring, the accuracy of scoring decreases due to an increase in the number of graders, and the cost of conducting the test. There is a problem that becomes high.
そこで、各種の試験問題の形式として、一つの質問に対して設けられた複数の選択肢の中から正しい選択肢を選択する多肢選択式問題が多用されている。多肢選択式問題の場合には、採点が容易で自動化が可能であり、短期間に結果を出すことができるという利点がある。その結果採点者を増加させたりする必要もなく、受験者が増加してもコストの増加を抑制できる。 Therefore, as a form of various test questions, a multiple-choice question in which a correct option is selected from a plurality of options provided for one question is frequently used. In the case of a multiple choice question, there are advantages that scoring is easy and can be automated, and results can be obtained in a short time. As a result, there is no need to increase the number of graders, and even if the number of examinees increases, an increase in cost can be suppressed.
また、現代日本のようにネットワーク技術、通信技術が発達し、携帯電話のようなコミュニケーションツールが普及した社会では、そうしたコミュニケーションツールを用いていつでもどこでも短い時間で利用できる、資格試験のための学習サービスを求める利用者が多くなっている。そうしたサービスのためにも多肢選択式問題は有効である。 Also, in a society where network technology and communication technology have been developed as in modern Japan and communication tools such as mobile phones have become popular, learning services for qualification tests that can be used anytime and anywhere in a short time using such communication tools More users are seeking The multiple-choice question is also effective for such services.
このようなパーソナルコンピュータやモバイル機器を用いた学習形態では、練習問題の提供側において問題を効率よく作成することが必要となる。多肢選択式問題を作成するためには、問いとその問いに対する正解とを準備するだけでなく、不正解に相当する選択肢を準備する必要がある。しかし、ある問いに対し不正解となるような選択肢を作成するためには、まず不正解の候補を作成し、その候補が問いに対する正解にはなり得ないことを確認するという作業が必要である。また、問題として難易度を高めるためには、不正解であっても正解と紛らわしいような選択肢を作成することも必要である。 In such a learning form using a personal computer or a mobile device, it is necessary to efficiently create a problem on the practice question providing side. In order to create a multiple-choice question, it is necessary to prepare not only a question and a correct answer to the question but also an option corresponding to an incorrect answer. However, in order to create an option that will give an incorrect answer to a question, it is necessary to first create an incorrect answer candidate and confirm that the candidate cannot be the correct answer to the question. . In addition, in order to increase the difficulty level as a problem, it is also necessary to create an option that is misleading even if it is an incorrect answer.
しかし、こうした作業を行なうためには、例えば語学の試験の場合、選択肢の候補となる文の意味まで的確に理解する必要があると考えられていた。そのため、従来は、試験問題作成のために十分な能力を備えた人間が、手作業でそうした問題の作成を行なっていた。 However, in order to perform such work, for example, in the case of a language test, it was thought that it was necessary to accurately understand the meaning of sentences as candidates for options. Therefore, in the past, humans with sufficient ability to create test questions have created such questions manually.
しかし、今後はより多数の人々がコミュニケーションツールを用いた学習を行なうことが考えられ、そうした需要に対応するためには、適切な多肢選択式問題を、効率よく、自動的に作成する技術が求められている。 However, in the future, it is possible that a larger number of people will learn using communication tools, and in order to respond to such demand, there is a technology to create appropriate multiple-choice questions efficiently and automatically. It has been demanded.
したがって、この発明の目的は、適切な多肢選択式問題を自動的に作成することが可能な多肢選択式問題の問題自動作成装置およびそのためのコンピュータプログラムを提供することである。 Accordingly, an object of the present invention is to provide an automatic problem creation apparatus for a multiple-choice question that can automatically create an appropriate multi-choice question and a computer program therefor.
この発明の他の目的は、適切な多肢選択式問題を自動的に、かつ効率的に作成することが可能な多肢選択式問題の問題自動作成装置およびそのためのコンピュータプログラムを提供することである。 Another object of the present invention is to provide a multiple-choice question automatic creation apparatus and a computer program therefor capable of automatically and efficiently creating an appropriate multiple-choice question. is there.
本発明のある局面にしたがった問題自動作成装置は、各々が、条件と、この条件に対する応答とからなる複数の条件応答ペアを含むコーパスから、任意の条件応答ペアを正解用ペアとして選択するための正解選択手段と、当該正解選択手段により選択された正解用ペアと、正解用ペアの応答と等価な表現の応答を有する条件応答ペアの集合(以下、第1の集合という)と、正解用ペアの条件と等価な表現の条件を有する条件応答ペアの集合(以下、第2の集合という)とを、コーパスから除くことにより、不正解用選択肢候補の集合を求めるための不正解候補集合作成手段と、求められた不正解用選択肢候補の集合に含まれる任意の条件応答ペアから選択した所定個数の不正解用の応答を、正解用ペアの応答と組合わせることにより、正解用ペアの条件に対応する応答を選択させる多肢選択式問題を作成するための問題作成手段とを含む。 An automatic problem creation device according to an aspect of the present invention selects an arbitrary condition-response pair as a correct answer pair from a corpus that includes a plurality of condition-response pairs each composed of a condition and a response to the condition. Correct answer selection means, a correct answer pair selected by the correct answer selection means, a set of conditional response pairs (hereinafter referred to as a first set) having a response equivalent to the response of the correct answer pair, and for correct answer Creating an incorrect answer candidate set for obtaining a set of incorrect answer option candidates by removing from the corpus a set of condition-response pairs (hereinafter referred to as a second set) having a condition equivalent to the pair condition. A correct answer is obtained by combining a correct number of incorrect responses selected from arbitrary condition-response pairs included in the set of means and incorrect answer option candidates obtained with the responses of the correct pairs. And a problem creating means for creating a multiple-choice question to select a response corresponding to the A conditions.
第1の集合は、正解用ペアの応答と等価な表現集合に含まれる応答を有する集合であり、それら応答は正解用ペアの条件に対して正解となりうる。この集合に含まれる応答を正解用ペアの応答と組合わせて選択肢とすると、正解が複数存在することになり問題として不適当である。第2の集合は、正解用ペアの条件と等価な表現集合に含まれる条件を有する集合であり、それらの応答は、正解用ペアの条件に対して正解となりうる。これらの応答を正解用ペアの応答と組合わせて選択肢とすると、正解が複数存在することになり問題としてやはり不適当である。このため、正解用ペアと第1および第2の集合とをコーパスから削除して、不正解用選択肢の集合とする。この不正解用選択肢の集合では、正解用ペアの条件に対して、複数の正解が出現する可能性のある応答の存在が排除され、条件および応答の正しい組合わせは1個しか存在せず、適正な多肢選択式問題が作成される。問題作成作業は人手によることなく自動で行われるから効率が良い上、コスト削減にもつながる。また、選択肢の数を自在に設定できるから、選択肢の組合わせの自由度を格段に向上できるし、コーパスに自然な対話の条件応答ペアやその他種々の条件応答ペアを用意しておくことで、より高度な問題の自動作成も可能となる。 The first set is a set having responses included in the expression set equivalent to the response of the correct pair, and these responses can be correct with respect to the condition of the correct pair. If the response included in this set is combined with the response of the correct answer pair, a plurality of correct answers exist, which is inappropriate as a problem. The second set is a set having a condition included in an expression set equivalent to the condition of the correct answer pair, and their responses can be correct with respect to the condition of the correct answer pair. If these responses are combined with the response of the correct answer pair, there are a plurality of correct answers, which is also inappropriate as a problem. For this reason, the correct answer pair and the first and second sets are deleted from the corpus to obtain an incorrect answer option set. In this set of incorrect answer choices, the existence of a response in which multiple correct answers may appear for the condition of the correct answer pair is excluded, and there is only one correct combination of condition and response, A proper multiple-choice question is created. Problem creation work is done automatically without human intervention, which is efficient and leads to cost reduction. In addition, since the number of options can be set freely, the degree of freedom of combination of options can be greatly improved, and by preparing conditional response pairs for natural dialogue and other various condition response pairs in the corpus, It is also possible to automatically create more advanced problems.
好ましくは、問題自動作成装置はさらに、不正解候補集合作成手段により作成された不正解用選択肢候補の集合から、正解用ペアの応答と非類似の応答を有する条件応答ペアの集合(以下、第3の集合という)を削除した不正解用選択肢の集合を問題作成手段に与えるための手段を含む。 Preferably, the automatic question creation apparatus further includes a set of conditional response pairs (hereinafter referred to as the first set of conditional response pairs) having a response similar to the response of the correct answer pair from the set of incorrect answer option candidates created by the incorrect answer candidate set creating means. Means for giving the question creation means a set of incorrect answer choices from which 3) is deleted.
第3の集合に含まれる応答は、正解用ペアの応答と非類似であるから、これが選択肢に含まれても受験者は惑うことなくこの選択肢を避けることができる。これら応答を不正解用選択肢の集合から排除することにより、正解用の応答と全く異なる応答が選択肢として設定されることがなくなる。その結果、受験者が惑うような選択肢を有する、試験練習用として好適な問題を作成することができる。 Since the response included in the third set is dissimilar to the response of the correct pair, the candidate can avoid this option without hesitation even if it is included in the option. By excluding these responses from the set of incorrect answer options, a response that is completely different from the correct answer is not set as an option. As a result, it is possible to create a question suitable for test practice, which has an option that may be confusing to the examinee.
条件応答ペアにおける条件と応答の具体例として、条件は質問であり応答は質問に対する解答である場合や、条件は画像であり応答は画像についての説明文である場合や、条件は文章であり応答は文章についての要約である場合を挙げることができる。 As specific examples of conditions and responses in a condition-response pair, if the condition is a question and the response is an answer to the question, the condition is an image and the response is an explanatory text about the image, or the condition is a sentence and a response May be a summary of a sentence.
また問題自動作成装置はさらに、問題作成手段により所定個数の多肢選択式問題が作成されるまで、正解選択手段、不正解候補集合作成手段、および問題作成手段を繰返し動作させるための手段をさらに含んでもよい。 Further, the automatic question creation apparatus further includes means for repeatedly operating the correct answer selection means, the incorrect answer candidate set creation means, and the problem creation means until a predetermined number of multiple-choice questions are created by the question creation means. May be included.
この問題自動作成装置は、所定個数の問題を自動的に作成して、作成が完了すると自動的に停止する。必要なときに必要な個数の問題を作成できるので、問題作成を効率よく行なえる。 The automatic problem creation apparatus automatically creates a predetermined number of problems and automatically stops when the creation is completed. Since you can create as many questions as you need, you can create problems efficiently.
本発明の他の局面にしたがったコンピュータプログラムは、コンピュータにより実行されると、上記いずれかの問題自動作成装置として当該コンピュータを動作させるものである。 A computer program according to another aspect of the present invention, when executed by a computer, causes the computer to operate as one of the above-described problem automatic creation devices.
以下に述べる本発明の実施の形態は、コンピュータおよびコンピュータ上で動作するソフトウェアにより実現される。もちろん、以下に述べる機能の一部または全部を、ソフトウェアでなくハードウェアで実現することも可能である。 The embodiment of the present invention described below is realized by a computer and software operating on the computer. Of course, some or all of the functions described below can be realized by hardware instead of software.
図1に、本実施の形態で利用されるコンピュータシステム20の外観図を、図2にコンピュータシステム20のブロック図を、それぞれ示す。なおここに示すコンピュータシステム20はあくまで一例であり、この他にも種々の構成が可能である。
FIG. 1 shows an external view of a
図1を参照して、コンピュータシステム20は、コンピュータ40と、いずれもこのコンピュータ40に接続されたモニタ42、キーボード46、およびマウス48を含む。コンピュータ40にはさらに、CD−ROM(Compact Disc Read−Only Memory)ドライブ50と、FD(Flexible Disk)ドライブ52とが内蔵されている。
Referring to FIG. 1, the
図2を参照して、コンピュータシステム20はさらに、コンピュータ40に接続されるプリンタ44を含むが、これは図1には示していない。またコンピュータ40はさらに、CD−ROMドライブ50およびFDドライブ52に接続されたバス66と、いずれもバス66に接続された中央演算装置(Central Processing Unit:CPU)56、コンピュータ40のブートアッププログラムなどを記憶したROM(Read−Only Memory)58、CPU56が使用する作業エリアおよびCPU56により実行されるプログラムの格納エリアを提供するRAM(Random Access Memory)60、および後述するコーパスを格納したハードディスク54を含む。
Referring to FIG. 2,
以下に述べる実施の形態のシステムを実現するソフトウェアは、たとえば、CD−ROM62のような記録媒体上に記録されて流通し、CD−ROMドライブ50のような読取装置を介してコンピュータ40に読込まれ、ハードディスク54に格納される。CPU56がこのプログラムを実行する際には、ハードディスク54からこのプログラムを読出してRAM60に格納し、図示しないプログラムカウンタによって指定されるアドレスから命令を読出して実行する。CPU56は、処理対象のデータをハードディスク54から読出し、処理結果を同じくハードディスク54に格納する。
The software for realizing the system of the embodiment described below is recorded and distributed on a recording medium such as a CD-
コンピュータシステム20の動作自体は周知であるので、ここではその詳細については繰り返さない。
Since the operation itself of the
なお、ソフトウェアの流通形態は上記したように記録媒体に固定された形には限定されない。たとえば、ネットワークを通じて接続された他のコンピュータからデータを受取る形で流通することもあり得る。また、ソフトウェアの一部が予めハードディスク54中に格納されており、ソフトウェアの残りの部分をネットワーク経由でハードディスク54に取込んで実行時に統合するような形の流通形態もあり得る。
The distribution form of software is not limited to the form fixed to the recording medium as described above. For example, data may be distributed in the form of receiving data from other computers connected through a network. Further, there may be a distribution form in which a part of software is stored in the
一般的に、現代のプログラムはコンピュータのオペレーティングシステム(OS)によって提供される汎用の機能を利用し、それらを所望の目的にしたがって組織化した形態で実行することにより前記した所望の目的を達成する。したがって、以下に述べる本実施の形態の各機能のうち、OSまたはサードパーティが提供する汎用的な機能を含まず、それら汎用的な機能の実行順序の組合わせだけを指定するプログラム(群)であっても、それらを利用して全体的として所望の目的を達成する制御構造を有するプログラム(群)である限り、それらが本発明の技術的範囲に含まれることは明らかである。 In general, modern programs utilize the general purpose functions provided by a computer operating system (OS) and achieve the desired objectives described above by executing them in an organized manner according to the desired objectives. . Therefore, among the functions of this embodiment described below, a program (group) that does not include general-purpose functions provided by the OS or a third party, and specifies only a combination of execution orders of these general-purpose functions. Even so, as long as the program (group) has a control structure that achieves a desired object as a whole by using them, it is obvious that they are included in the technical scope of the present invention.
[構成]
図3に、本実施の形態のプログラムにより問題自動作成装置82が実現されるものとみなして問題自動作成装置82の構成を機能的に示してある。図3を参照して、この問題自動作成装置82は、ハードディスク54に格納された、英語の問題(条件)のテキストデータおよびその音声データならびにその問題文に対する解答(応答)文のテキストデータ(または音声データ)のペアを多数含むコーパス80を用いて、英語のリスニング能力に関する多肢選択式問題を作成するためのものである。すなわちこの実施の形態では、問題文のテキストデータまたは音声データを条件とし、その条件に対する応答が解答文であり、コーパス80はそうした条件応答ペアを多数集めたものである。
[Constitution]
FIG. 3 functionally shows the configuration of the automatic
なお、以下の説明では、図4に示すように、条件が質問QKであり応答が質問に対する解答AK、Aiである英語のリスニング問題を例にとって説明する。図4に示す例では解答AKが正解である。説明を簡易にするために以下の例では選択肢は2個とするが、実際の問題では選択肢の数は3個以上5個以内の範囲が適切であると思われる。 In the following description, as shown in FIG. 4, an English listening problem in which the condition is the question Q K and the response is the answers A K and A i to the question will be described as an example. In the example shown in FIG. 4, the answer AK is a correct answer. In order to simplify the explanation, the number of choices is two in the following example. However, in the actual problem, it is considered that the number of choices is in the range of 3 or more and 5 or less.
問題自動作成装置82は、コーパス80の中から問題文および正解文となるペアを選択するための正解選択部90と、コーパス80に含まれるペアの中から、正解選択部90により選択された正解用ペア、正解用ペアの応答と等価な表現の応答を有する条件応答ペアの集合、および正解用ペアの条件と等価な表現の条件を有する条件応答ペアの集合をコーパス80から除くことにより、不正解用選択肢候補の集合を求めて不正解となる選択肢の候補となる解答文の集合を作成するための集合演算部92と、正解選択部90により選択された正解ペアと、集合演算部92により選択された不正解となる解答文の集合とから多肢選択式問題を作成するための問題作成部94とを含む。
The automatic
ハードディスク54に記憶されたコーパス80の構成例を図5に示す。図5を参照して、コーパス80は、質問Qiとそれに対する正しい応答Aiとからなるペアを多数集めた問題の集合C={(Qi→Ai)|i∈N}である(Nは自然数の集合)。質問Qiと応答Aiとは、応答Aiが質問Qiに対する正しい解答となるように予め作成されている。
A configuration example of the
図6に、問題自動作成装置82の各機能を実現するためのコンピュータプログラムのフローチャートを示す。以下、図3の各部と図6とを参照しながら、図3の各部の機能について説明する。
FIG. 6 shows a flowchart of a computer program for realizing each function of the automatic
正解選択部90は、コーパス80の中から、任意の質問応答ペア(QK,AK)を正解用ペアとして選択し、QKを問題の条件、AKを正解の選択肢とする機能を持つ(図6のステップ110)。
集合演算部92は、不正解用選択肢の集合を求めるものである(図6のステップ112〜ステップ124)。集合演算部92は、具体的には以下のようにして不正解用選択肢の集合を求める。
The
まず、コーパス80を構成する集合Cから正解ペア(QK,AK)を差し引いた集合C’=C−(QK,AK)を求める(ステップ112)。 First, a set C ′ = C− (Q K , A K ) is obtained by subtracting the correct pair (Q K , A K ) from the set C constituting the corpus 80 (step 112).
次に、集合演算部92は、集合C’のうち、応答が正解の応答AKの言換え(換言)となっているものを第1の集合として抽出する(ステップ114)。以下、ある文Xの言換えとなる文の集合を以下PARAPHRASE(X)と表す。
Next, the
例えば、図4および図5に示す応答Ai=「Yes,I′d like to know his name」に対し、比較対象の応答Aj=「Yes,I want to know his name」とすれば、Aj∈PARAPHRASE(Ai)である。ある文が正解の応答AKの言換えとなっているか否かを判定する方法には種々ある。例えば、同じ意味で異なる言い方を集めた辞書を用い、この辞書との照合により判定することができる。なお、「言換え(換言)」は、同じ意味を別の言い方でいうこと、すなわち両者が等価であることをいう。これに対し、後に述べる「類似」とは、二つの文中に出現する単語または構文が類似することをいい、類似か否かを判定するための所定の判定基準によって判定される。したがって「言換え(換言)」と「類似」とは別の概念である。 For example, if the response A i = “Yes, I want to know his name” shown in FIG. 4 and FIG. 5 is compared with the response A j = “Yes, I want to know his name” to be compared, the response A i = “Yes, I ′d like to know his name” j ∈ PARAPHRASE (A i ). There are various of whether a method of determining a statement is in the word instead of the response A K of the correct answer. For example, it is possible to determine by using a dictionary in which different expressions are collected with the same meaning and collating with this dictionary. In addition, “paraphrase (paraphrase)” means the same meaning in another way, that is, both are equivalent. On the other hand, “similarity” to be described later means that words or syntax appearing in two sentences are similar, and is determined by a predetermined criterion for determining whether or not they are similar. Therefore, “paraphrase” and “similarity” are different concepts.
正解の応答AKの言換えとなっている応答は、不正解選択肢として不適切である。したがってステップ116では、集合演算部92は、コーパスC’から前述した第1の集合を削除して新たにC’とする。
Response that is the word instead of the response A K correct answers are unsuitable as distractor. Accordingly, in
さらに集合演算部92は、ステップ118において、コーパスC’のうち、質問Qj∈PARAPHRASE(QK)となるようなペアQj−Ajからなる第2の集合を作成する。これは、正解ペアの質問の言換えになっている質問に対する応答は、正解文と同じ意味を表すか、正解ペアの質問に対する正しい応答となっているためである。そうした応答は不正解選択肢として不適切である。したがって、ステップ120において集合C’から第2の集合を削除して新たにC’とする。
Further, in step 118, the
以上の処理で、集合C’には、応答が正解の応答AKとは異なる意味となっているペアのみが残されている。したがって、集合C’の中の任意のペアのうちの質問を抽出し、不正解選択肢とすることができる。しかし、多肢選択式問題としては、できるだけ正解と紛らわしい不正解選択肢を設けることが望ましい。そこで本実施の形態ではさらに次のような処理を行なう。 In the above processing, the set C ', the response is left only pair to be different meaning is the response A K of the correct answer. Therefore, a question of an arbitrary pair in the set C ′ can be extracted and set as an incorrect answer option. However, as a multiple choice question, it is desirable to provide incorrect answer options that are as confusing as possible. Therefore, in the present embodiment, the following processing is further performed.
すなわち、集合演算部92は、ステップ122において、集合C’のうち、応答が正解の応答AKと類似しないペアのみからなる第3の集合を作成する。第3の集合内の各応答は、正解用ペアの応答と非類似であるから、これが正解用ペアの応答とともに他の選択肢として採用された場合には、正解用の応答と全く異なり明らかに誤りと分る選択肢が存在することになる。それでは、受験者が惑うことがなく、試験練習用問題として適性に欠けるものとなるから、このような第3の集合を不正解用選択肢の集合から排除する。すなわち、ステップ124において、集合C’から第3の集合を削除して新たな集合C’とする。この処理により、集合C’に残るペアの応答は、いずれも正解の応答AKに類似しているが、その言換えではない文となる。これらを選択肢とすることで、多肢選択式問題がより難しいものとなる。
That is, the
ステップ126では、このようにして作成された集合C’から必要な数だけの任意の応答を抽出し、不正解選択肢とする。
In
問題作成部94は、このようにして抽出された不正解用の応答Aiを、正解用ペア(QK,AK)の応答AKと組合わせて、応答の選択肢が2個以上存在する多肢選択式問題を作成し、ハードディスク54に一つの問題として出力する(ステップ128)。
The
さらにステップ130では、問題作成の終了条件が成立したか否かを判定する。終了条件が成立すれば処理を終了する。終了条件が成立していなければステップ110に戻り、次の問題の作成を開始する。終了条件としては、例えば所定個数の問題を作成し終えたか否かを採用することができる。
Further, in
こうして作成された多肢選択式問題においては、条件および応答の正しい組合わせは1個しか存在しない。また不正解選択肢はいずれも正解の選択肢と紛らわしいものとなり、多肢選択式問題として適正な問題が作成される。 In the multiple choice problem thus created, there is only one correct combination of condition and response. In addition, the incorrect answer options are confused with the correct answer options, and an appropriate question is created as a multiple-choice question.
以上に説明した不正解選択肢の抽出のための基準を図7に表形式でまとめてある。 The criteria for extracting the incorrect answer options described above are summarized in a table form in FIG.
図7を参照して、行204は、正解用ペアが(Q3,A3)であることを示している。
Referring to FIG. 7,
行200は、正解の応答A3と非類似の応答A1を有するペア(Q1,A1)は、不正解選択肢を作成するためのペアとしては不適切であることを示している。
The
行202は、応答がPARAPHRASE(A3)に属する質問応答ペア(Q2,A2)は、不正解選択肢を作成するためのペアとしては不適切であることを示す。
The
行206は、質問がPARAPHRASE(Q3)に属する質問応答ペア(Q4,A4)は、不正解選択肢を作成するためのペアとしては不適切であることを示す。
The
行208は、質問応答ペア(Q1,A1)、(Q2,A2)、(Q3,A3)、(Q4,A4)を除いた不正解用選択肢の集合から選択した質問応答ペア(Q5,A5)は、不正解選択肢を作成するためのペアとしては適切であることを示している。
The
[動作]
次に、図3に示した問題自動作成装置82の動作を、適宜図6のフローチャートを参照しながら説明する。
[Operation]
Next, the operation of the automatic
質問の作成が指示されると、正解選択部90は、コーパス80の中から、任意の質問応答ペア(QK,AK)を正解用ペアとして選択し、質問QKを問題の条件、応答AKを正解の選択肢とする(図6のステップ110)。
When the creation of a question is instructed, the correct
集合演算部92は、コーパス80から正解ペア(QK,AK)を差し引いた集合C’=C−(QK,AK)を求めたのち(ステップ112)、第1の集合を求める(ステップ114)。そして集合C’からこの第1の集合を削除して新たな集合C’とする(ステップ116)。集合演算部92はさらに、第2の集合を作成する(ステップ118)。新たなC’からこの第2の集合を削除して新たな集合C’とする(ステップ120)。集合演算部92はさらに、第3の集合を作成する(ステップ122)。そして集合C’からさらにこの第3の集合を削除して最終的な不正解用選択肢の集合C’とする(ステップ124)。
The
このような処理により、不正解用選択肢の集合C’には、正解ペア(QK,AK)の条件QKに対して、応答AKと同じく正解となりうる応答も、応答AKと非類似の応答も含まれていないことになる。 By such processing, the set C 'wrong answers for choice, the correct answer pair (Q K, A K) for the condition Q K of the response that can be the same correct answers and response A K, response A K and non Similar responses will not be included.
次に、問題作成部94は、不正解用選択肢の集合C’に含まれる任意の条件応答ペアから選択した1個または複数個の不正解用の応答Aiを、正解用ペア(QK,AK)の応答AKと組合わせて問題を作成する(ステップ126)。
Next, the
こうして作成した問題は、適当に整形された後、ハードディスク54に多肢選択式問題集として蓄積される。
The problems created in this way are appropriately shaped and then stored in the
利用者から多肢選択式問題を提供するよう要求があった場合には、この多肢選択式問題集から何らかの方式にしたがって多肢選択式問題を選択し、選択された多肢選択式問題の問題文の音声データを要求のあったパーソナルコンピュータまたはモバイル機器等に出力し、あわせて選択肢のテキストを送信して画面に表示させ、その中から利用者に応答を選択させる。利用者の応答が受信されると、その応答が正解応答の選択肢と一致しているか否かを判定し、正解・誤りの判定結果を送信し、次の問題を実行する。 When there is a request from the user to provide a multiple-choice question, the multiple-choice question is selected from this multiple-choice question collection according to some method, and the selected multiple-choice question is selected. The voice data of the question sentence is output to the requested personal computer or mobile device, and the text of the option is also transmitted and displayed on the screen, and the user selects a response from the text. When the user's response is received, it is determined whether or not the response matches the correct answer option, the correct / error determination result is transmitted, and the following problem is executed.
このような問題の作成処理および出力が、受験者から要求がある度に繰返され、受験者に対して数多くの問題が提供される。 Such problem creation processing and output are repeated each time a request is made from the examinee, and many problems are provided to the examinee.
この実施の形態によれば、問題作成は人手によることなく自動で行われるから効率が良い上、コスト削減にもつながる。また、選択肢の数を自在に選択できるから、選択肢の組合わせの自由度を格段に向上できる。さらに、コーパス80に自然な対話の条件応答ペアまたはその他種々の条件応答ペアを用意しておくことで、より高度な問題の自動作成も可能となる。
According to this embodiment, since problem creation is performed automatically without manual operation, the efficiency is high and the cost is reduced. In addition, since the number of options can be freely selected, the degree of freedom in combining options can be significantly improved. Further, by preparing a natural interaction condition response pair or various other condition response pairs in the
またこの実施の形態では、正解用ペア(QK,AK)の応答AKと非類似な応答を有する質問応答ペアの集合(第3の集合)も不正解用選択肢の集合から削除している。したがって、受験者が惑うような選択肢を付加することができ、試験練習用として好適な問題を作成することができる。 In this embodiment, the correct answer for the pair (Q K, A K) (the set of the third) set of question and answer pairs has a response A K dissimilar responses be deleted from the set of incorrect for choice Yes. Therefore, it is possible to add an option that makes the examinee confused, and to create a problem suitable for practice.
[変形例]
上記した問題自動作成装置82は英語のリスニングに関する多肢選択式問題を作成するものである。しかし本発明はリスリング問題に限定して適用可能なわけではなく、また英語の問題に限定されるわけでもない。テキストを提示する問題に適用することも可能であるし、音声言語であればどのような言語についても適用できる。
[Modification]
The above-described automatic
また以上の実施の形態では、条件が質問であり応答が質問に対する解答である場合を例にとって説明した。しかし、本発明はそのような実施の形態には限定されない。例えば、図8に示すように、絵や写真等の画像PKと、説明文SK、Sjを複数提示して、画像の説明として適切なものを選択する形式の問題であってもよい。この場合は、絵または写真等の画像Piと説明文Siとのペアを集めたコーパス{(Pi,Si)}を作成しておき、画像Piを条件に、説明文Siを応答に、それぞれ置換えて、前述した処理を行なうことにより、問題作成を自動で行わせることができる。二つの画像が等価か否かを判定することが画像のみに基づいては困難な場合もあるが、そうした場合には何らかの定型的な説明を画像に付しておくことが有効である。この説明は、応答としての説明文とは別のものである。 In the above embodiment, the case where the condition is a question and the response is an answer to the question has been described as an example. However, the present invention is not limited to such an embodiment. For example, as shown in FIG. 8, there may be a problem in which a plurality of images P K such as pictures and photographs and explanatory texts S K and Sj are presented and an appropriate image description is selected. In this case, the image P i and an explanation S i and corpus collected pairs {(P i, S i)}, such as a picture or photograph in advance by creating an image P i on condition, description S i It is possible to cause problem creation to be performed automatically by substituting each for the response and performing the above-described processing. In some cases, it may be difficult to determine whether two images are equivalent based on only the images. In such a case, it is effective to add some typical explanation to the images. This explanation is different from the explanatory text as a response.
また、図9に示すように、文章CKとともに要約SK、Sjを複数提示して、文章CKに合致する要約を選択する形式の問題であってもよい。この場合は、文章Ciと要約Siのペアを集めたコーパス{(Ci,Si)}を作成しておき、文章Ciを条件に、要約Siを応答に、それぞれ置換えて前述した処理を行なうことにより、問題作成を自動的に行なわせることができる。 Further, as shown in FIG. 9, the sentence C K with a summary S K, a plurality presenting Sj, may be in the form of the problem of selecting an abstract that matches the sentence C K. In this case, a corpus {(C i , S i )} that collects pairs of the sentence C i and the summary S i is created, and the sentence S i is replaced with the response with the sentence C i as a condition. By performing the above process, problem creation can be automatically performed.
また、翻訳を複数提示して、原文に合致する翻訳を選択する形式の問題であってもよいし、単語の定義を複数提示して、単語に合致する定義を選択する形式の問題であってもよい。1個の質問と複数個の応答からなる問題ではなく、複数個の質問と1個の応答が与えられ、応答に対してもっとも適した質問を選択させる形式の多肢選択式問題であってもよい。この場合には、前述した実施の形態において、質問を応答に、応答を質問に、それぞれ置換えて前述した処理を行なうことにより、問題作成を自動的に行なわせることができる。 In addition, it may be a problem of a format in which a plurality of translations are presented and a translation that matches the original text is selected, or a problem in which a plurality of word definitions are presented and a definition that matches the word is selected. Also good. Not a question consisting of one question and multiple responses, but a multiple-choice question in which multiple questions and one response are given and the most appropriate question is selected for the response. Good. In this case, in the above-described embodiment, the question creation can be automatically performed by replacing the question with the response and the response with the question and performing the above-described processing.
上記した実施の形態では問題を音声データで出力しているが、問題をテキストで出力してもよいことはもちろんである。また問題の音声データをコーパスに保持することなく、音声合成によってテキストから問題の音声を発生させるようにしてもよい。さらに、選択肢の各々の音声を順次発生させて利用者に聞かせ、その中から解答を選択させるような実施の形態も考えられる。 In the above-described embodiment, the problem is output as voice data. However, the problem may be output as text. Also, the problematic voice may be generated from the text by voice synthesis without holding the problematic voice data in the corpus. Furthermore, an embodiment is also conceivable in which the voices of the choices are generated in order to let the user hear and select an answer from them.
上記した実施の形態では、多肢選択式問題として英語等の語学に関するものを想定している。しかし本発明はそのような実施の形態には限定されない。質問として利用できる何らかの条件と、それに対する正しい応答とからなるペアをコーパスとして収集できるものであれば、どのようなものを対象とする場合でも、適切な多肢選択式問題を自動的に、短時間で効率的に多数作成することができる。 In the above-described embodiment, the multi-choice question is assumed to be related to languages such as English. However, the present invention is not limited to such an embodiment. As long as the corpus can collect a pair consisting of some condition that can be used as a question and the correct response to it, the appropriate multiple-choice question is automatically shortened regardless of the target. Many can be created efficiently in time.
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。 The embodiment disclosed herein is merely an example, and the present invention is not limited to the above-described embodiment. The scope of the present invention is indicated by each of the claims after taking into account the description of the detailed description of the invention, and all modifications within the meaning and scope equivalent to the wording described therein are intended. Including.
40 コンピュータ
80 コーパス
82 問題自動作成装置
90 正解選択部
92 集合演算部
94 問題作成部
40
Claims (7)
前記記憶装置に記憶された前記コーパスから、任意の条件応答ペアを正解用ペアとして選択する正解選択手段と、
前記正解選択手段により選択された正解用ペアと、前記正解用ペアの応答と等価な表現の応答を有する条件応答ペアの集合と、前記正解用ペアの条件と等価な表現の条件を有する条件応答ペアの集合とを前記コーパスから除くことにより、不正解用選択肢候補の集合を求める不正解候補集合作成手段と、
前記求められた不正解用選択肢候補の集合に含まれる任意の条件応答ペアから選択した所定個数の不正解用の応答を、前記正解用ペアの応答と組合わせることにより、前記正解用ペアの条件に対応する応答を選択させる多肢選択式問題を作成する問題作成手段とを含む、問題自動作成装置。 A storage device for storing a corpus including a plurality of condition-response pairs each comprising a condition and a response to the condition ;
From the corpus stored in the storage device, and the correct answer selection means you select any condition responsive pair as the correct for a pair,
A correct answer pair selected by the correct answer selecting means, a set of condition response pairs having a response equivalent to the response of the correct answer pair, and a conditional response having a condition equivalent to the condition of the correct answer pair by excluding a set of pairs from the corpus, the incorrect candidate set creating unit that obtains a set of incorrect for alternative candidates,
By combining a predetermined number of incorrect answer responses selected from arbitrary condition response pairs included in the determined incorrect answer option candidate set with the correct pair responses, the conditions of the correct answer pairs and a problem creating means to create a multiple-choice question to select a response corresponding to the automatic creation device problems.
前記記憶装置に記憶された前記コーパスから、任意の条件応答ペアを正解用ペアとして選択する正解選択手段と、Correct answer selection means for selecting an arbitrary condition-response pair as a correct answer pair from the corpus stored in the storage device;
前記正解選択手段により選択された正解用ペアと、前記正解用ペアの応答と等価な表現の応答を有する条件応答ペアの集合と、前記正解用ペアの条件と等価な表現の条件を有する条件応答ペアの集合とを前記コーパスから除くことにより、不正解用選択肢候補の集合を求める不正解候補集合作成手段と、A correct answer pair selected by the correct answer selecting means, a set of condition response pairs having a response equivalent to the response of the correct answer pair, and a conditional response having a condition equivalent to the condition of the correct answer pair An incorrect answer candidate set creating means for obtaining a set of option candidates for incorrect solutions by removing a set of pairs from the corpus;
前記求められた不正解用選択肢候補の集合に含まれる任意の条件応答ペアから選択した所定個数の不正解用の応答を、前記正解用ペアの応答と組合わせることにより、前記正解用ペアの条件に対応する応答を選択させる多肢選択式問題を作成する問題作成手段として機能させる、問題自動作成のコンピュータプログラム。By combining a predetermined number of incorrect answer responses selected from arbitrary condition-response pairs included in the determined incorrect answer option candidate set with the correct answer pairs, the conditions of the correct answer pairs A computer program for automatically creating a problem that functions as a problem creating means for creating a multiple-choice question for selecting a response corresponding to a question.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004310551A JP4659433B2 (en) | 2004-10-26 | 2004-10-26 | Problem automatic creation device and problem automatic creation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004310551A JP4659433B2 (en) | 2004-10-26 | 2004-10-26 | Problem automatic creation device and problem automatic creation program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006126242A JP2006126242A (en) | 2006-05-18 |
JP4659433B2 true JP4659433B2 (en) | 2011-03-30 |
Family
ID=36721079
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004310551A Active JP4659433B2 (en) | 2004-10-26 | 2004-10-26 | Problem automatic creation device and problem automatic creation program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4659433B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5230927B2 (en) * | 2006-11-22 | 2013-07-10 | ヤフー株式会社 | Problem automatic creation apparatus, problem automatic creation method, and computer program |
US20100273138A1 (en) * | 2009-04-28 | 2010-10-28 | Philip Glenny Edmonds | Apparatus and method for automatic generation of personalized learning and diagnostic exercises |
JP5177764B2 (en) * | 2009-06-24 | 2013-04-10 | 株式会社教育測定研究所 | Education support system server, education support system |
JP6030874B2 (en) * | 2012-07-18 | 2016-11-24 | 株式会社プレセナ・ストラテジック・パートナーズ | Problem questioning system, computer program for realizing the system, and method thereof |
US10614725B2 (en) | 2012-09-11 | 2020-04-07 | International Business Machines Corporation | Generating secondary questions in an introspective question answering system |
JP6437684B1 (en) * | 2018-04-02 | 2018-12-12 | 株式会社フォーサイト | Problem creation support system, method, and program |
JP6930754B2 (en) * | 2019-09-09 | 2021-09-01 | atama plus株式会社 | Learning support device and questioning method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001129261A (en) * | 1999-11-08 | 2001-05-15 | Gtv:Kk | Renewing method of database, text communication system and storage medium |
JP2004085734A (en) * | 2002-08-23 | 2004-03-18 | Sanyo Electric Co Ltd | Question preparation method, question preparation, question providing device, and computer program |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06289769A (en) * | 1993-03-31 | 1994-10-18 | Casio Comput Co Ltd | Learning device |
-
2004
- 2004-10-26 JP JP2004310551A patent/JP4659433B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001129261A (en) * | 1999-11-08 | 2001-05-15 | Gtv:Kk | Renewing method of database, text communication system and storage medium |
JP2004085734A (en) * | 2002-08-23 | 2004-03-18 | Sanyo Electric Co Ltd | Question preparation method, question preparation, question providing device, and computer program |
Also Published As
Publication number | Publication date |
---|---|
JP2006126242A (en) | 2006-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6341959B1 (en) | Method and system for learning a language | |
Rolin-Ianziti et al. | Students' views regarding the use of the first language: An exploratory study in a tertiary context maximizing target language use | |
US8700382B2 (en) | Personal text assistant | |
US20120141959A1 (en) | Crowd-sourcing the performance of tasks through online education | |
Bardovi-Harlig | Awareness of meaning of conventional expressions in second-language pragmatics | |
US20120329013A1 (en) | Computer Language Translation and Learning Software | |
US20110059423A1 (en) | System and method for providing scalable educational content | |
US20110208508A1 (en) | Interactive Language Training System | |
US20160012751A1 (en) | Comprehension assistance system, comprehension assistance server, comprehension assistance method, and computer-readable recording medium | |
US20060216685A1 (en) | Interactive speech enabled flash card method and system | |
JP2008165175A (en) | Modularized computer-aided language learning method and system | |
WO2019075819A1 (en) | Paper grading method and paper grading system | |
JP2004157815A (en) | Medical image report input system | |
CN108897771B (en) | Automatic question answering method and device, computer readable storage medium and electronic equipment | |
JP4018673B2 (en) | Multiple choice language test question automatic creation program | |
Gürbüz | Understanding fluency and disfluency in non-native speakers' conversational English | |
Toker et al. | Gaze analysis of user characteristics in magazine style narrative visualizations | |
KR101438088B1 (en) | Method for providing learning foreign language service based on interpretation test and writing test using speech recognition and speech to text technology | |
JP4659433B2 (en) | Problem automatic creation device and problem automatic creation program | |
Nallaya | The measurement of change in English language proficiency | |
JP6437684B1 (en) | Problem creation support system, method, and program | |
JP7118389B2 (en) | Language learning device, language learning method, and language learning program | |
KR101944628B1 (en) | An One For One Foreign Language Studying System Based On Video Learning | |
KR20000036950A (en) | A communications network system for teaching and test in english | |
Olmanson et al. | Multimodality in Learning and Communicating via Chinese Characters |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070928 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101013 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101130 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101227 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140107 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4659433 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20131224 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |