JP6623575B2 - Learning support device and program - Google Patents

Learning support device and program Download PDF

Info

Publication number
JP6623575B2
JP6623575B2 JP2015127080A JP2015127080A JP6623575B2 JP 6623575 B2 JP6623575 B2 JP 6623575B2 JP 2015127080 A JP2015127080 A JP 2015127080A JP 2015127080 A JP2015127080 A JP 2015127080A JP 6623575 B2 JP6623575 B2 JP 6623575B2
Authority
JP
Japan
Prior art keywords
data
image
sentence
learning
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015127080A
Other languages
Japanese (ja)
Other versions
JP2017009875A (en
Inventor
山口 倫治
倫治 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2015127080A priority Critical patent/JP6623575B2/en
Publication of JP2017009875A publication Critical patent/JP2017009875A/en
Application granted granted Critical
Publication of JP6623575B2 publication Critical patent/JP6623575B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Electrically Operated Instructional Devices (AREA)

Description

本発明は、例えば外国語のリスニングを学習するのに好適な学習支援装置およびその制御プログラムに関する。   The present invention relates to a learning support device suitable for learning a foreign language, for example, and a control program therefor.

従来から、外国語を学習して正しく話せるようになるには、読み書きだけでなくリスニング能力を向上させることが重要であり、以下に記載するような学習支援装置が考えられている。   Conventionally, in order to learn a foreign language and to speak correctly, it is important to improve not only reading and writing but also listening ability, and learning support devices described below have been considered.

立体表示装置に2次元的に表示された画像に含まれる物などの対象図形をタッチして選択すると、当該対象図形を3次元的に表示させると共に、同対象図形に対応する名称などの単語を音声出力してユーザに聞かせる学習装置が考えられている(例えば、特許文献1参照。)。   When a target graphic such as an object included in an image displayed two-dimensionally on the stereoscopic display device is touched and selected, the target graphic is displayed three-dimensionally, and a word such as a name corresponding to the target graphic is displayed. There has been proposed a learning device that outputs a sound to be heard by a user (for example, see Patent Document 1).

学生のリスニング能力を測定し、その測定の結果に基づいて、学生に対し弱点対策を付した教材を作成し提供して演習を行なわせる語学学習システムが考えられている(例えば、特許文献2参照。)。   2. Description of the Related Art A language learning system has been considered in which a student's listening ability is measured, and based on the measurement result, the student prepares and provides teaching materials with measures against weaknesses to perform an exercise (for example, see Patent Document 2). .).

特開平10−31413号公報JP-A-10-31413 特開2005−250423号公報JP 2005-250423 A

画像に表わされている事象を説明する文章の音声を再生してリスニングさせるものにおいて、より早く効果的にリスニング能力を向上させることが望まれる。   It is desired to improve the listening ability faster and more effectively in a system in which a sound of a sentence explaining an event represented in an image is reproduced and listened.

本発明は、このような課題に鑑みなされたもので、ユーザのリスニング能力をより早く効果的に向上させることが可能になる学習支援装置およびその制御プログラムを提供することを目的とする。   The present invention has been made in view of such a problem, and an object of the present invention is to provide a learning support device and a control program for the learning support device, which can improve a listening ability of a user more quickly and effectively.

本発明に係る学習支援装置は、画像データと、当該画像データにより表示される画像に表わされている事象を正しく説明する文章データと誤って説明する文章データと、前記文章データの表す事象のポイントになる前記画像上の位置を示す位置データとを取得するデータ取得手段と、前記データ取得手段により取得された画像データに基づく画像を表示する画像表示手段と、前記データ取得手段により取得された文章データに対応する音声データを再生する音声再生手段と、前記音声再生手段により前記文章データに対応する音声データが再生されるのに伴い、前記画像表示手段により表示されている画像上の前記位置データに該当する部分画像を識別表示させる識別表示手段と、を備えたことを特徴としている。 The learning support device according to the present invention includes image data, text data that correctly describes an event represented by an image displayed by the image data, text data that erroneously describes the event, and an event represented by the text data . Data acquisition means for acquiring position data indicating a position on the image to be a point, image display means for displaying an image based on the image data acquired by the data acquisition means, and image acquisition means acquired by the data acquisition means An audio reproducing unit that reproduces audio data corresponding to the sentence data; and the position on the image displayed by the image display unit as the audio data corresponding to the sentence data is reproduced by the audio reproducing unit. Identification display means for identifying and displaying the partial image corresponding to the data.

本発明によれば、ユーザのリスニング能力をより早く効果的に向上させることが可能になる。   ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to improve a user's listening ability quickly and effectively.

本発明の学習支援装置の実施形態に係る学習支援システムの外観構成を示す図。FIG. 1 is a diagram illustrating an external configuration of a learning support system according to an embodiment of a learning support device of the present invention. 前記学習支援システムにおける学習端末10の電子回路の構成を示すブロック図。FIG. 2 is a block diagram showing a configuration of an electronic circuit of the learning terminal 10 in the learning support system. 前記学習端末10の学習問題データ12bとして記憶される学習問題の1問分のデータ構造を示す図。The figure which shows the data structure of one question of the learning problem memorize | stored as the learning problem data 12b of the said learning terminal 10. 前記学習問題データ12bに含まれる学習問題1問分のデータの具体例を示す図。The figure which shows the specific example of the data of one learning problem contained in the said learning problem data 12b. 前記学習問題データ12bに含まれる学習問題(1問分)に対応したヒントデータ12cの具体例を示す図。The figure which shows the specific example of the hint data 12c corresponding to the learning problem (one question) contained in the said learning problem data 12b. 前記学習支援システムにおける学習端末10の制御処理を示すフローチャート。5 is a flowchart showing a control process of the learning terminal 10 in the learning support system. 前記学習端末10の制御処理における第1実施例のヒント表示処理(1)を示すフローチャート。9 is a flowchart showing a hint display process (1) of the first embodiment in the control process of the learning terminal 10; 前記学習端末10の第1実施例のヒント表示処理(1)に従った音声再生を伴う画像表示動作を示す図。The figure which shows the image display operation | movement accompanying audio | voice reproduction | regeneration according to the hint display process (1) of 1st Example of the said learning terminal. 前記学習端末10の学習問題データ12bとして記憶される学習問題1問分の第2実施例のデータ構造を示す図。The figure which shows the data structure of 2nd Example for one learning problem memorize | stored as the learning problem data 12b of the said learning terminal 10. 前記学習端末10の制御処理における第2実施例のヒント表示処理(2)を示すフローチャート。9 is a flowchart showing a hint display process (2) of the second embodiment in the control process of the learning terminal 10; 前記学習端末10の第2実施例のヒント表示処理(2)に従った音声再生を伴う画像表示動作を示す図。The figure which shows the image display operation | movement accompanying audio | voice reproduction | regeneration according to the hint display process (2) of the 2nd Example of the said learning terminal. 前記学習端末10の制御処理における第3実施例のヒント表示処理(3)を示すフローチャート。9 is a flowchart showing a hint display process (3) of the third embodiment in the control process of the learning terminal 10; 前記学習端末10の第3実施例のヒント表示処理(3)に従った音声再生を伴う画像表示動作を示す図。The figure which shows the image display operation | movement accompanying sound reproduction according to the hint display process (3) of the 3rd Example of the said learning terminal.

以下図面により本発明の実施の形態について説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図1は、本発明の学習支援装置の実施形態に係る学習支援システムの外観構成を示す図である。   FIG. 1 is a diagram showing an external configuration of a learning support system according to an embodiment of the learning support device of the present invention.

本実施形態の学習支援システムは、ユーザが操作する学習端末10と、当該学習端末10とインターネットなどの通信ネットワークNを介して接続される学習サーバ20とから構成される。   The learning support system according to the present embodiment includes a learning terminal 10 operated by a user, and a learning server 20 connected to the learning terminal 10 via a communication network N such as the Internet.

前記学習端末10は、タブレット端末などの携帯端末あるいはパソコンからなり、外部からインストールされたプログラム、あるいは予め記憶されたプログラムに従って動作することで前記学習支援システムの端末10として機能する。   The learning terminal 10 includes a mobile terminal such as a tablet terminal or a personal computer, and functions as the terminal 10 of the learning support system by operating according to a program externally installed or a program stored in advance.

前記学習サーバ20は、語学学習サイトを有し、前記学習端末10からの依頼に応じて、当該語学学習の学習支援プログラムを提供したり、ユーザの語学力に応じた学習問題を提供したりする。   The learning server 20 has a language learning site, and provides a learning support program for the language learning in response to a request from the learning terminal 10 or provides a learning problem according to a user's language ability. .

図2は、前記学習支援システムにおける学習端末10の電子回路の構成を示すブロック図である。   FIG. 2 is a block diagram showing a configuration of an electronic circuit of the learning terminal 10 in the learning support system.

前記学習端末10は、コンピュータである制御装置(CPU)11を備えている。   The learning terminal 10 includes a control device (CPU) 11, which is a computer.

前記CPU11は、フラッシュROMなどの記憶装置12に記憶された端末制御プログラム12aに従って回路各部の動作を制御する。   The CPU 11 controls the operation of each section of the circuit according to a terminal control program 12a stored in a storage device 12 such as a flash ROM.

前記端末制御プログラム12aは、前記記憶装置12に予め記憶されるか、光ディスクやメモリカードなどの外部記録媒体13から記録媒体読み取り部14により読み込まれて前記記憶装置12に記憶されるか、前記通信ネットワークN上のWebサーバ(ここではプログラムサーバ)20から通信部15によりダウンロードされて前記記憶装置12に記憶される。   The terminal control program 12a is stored in the storage device 12 in advance, is read from an external storage medium 13 such as an optical disk or a memory card by a storage medium reading unit 14, is stored in the storage device 12, and is stored in the storage device 12. It is downloaded from a Web server (here, a program server) 20 on the network N by the communication unit 15 and stored in the storage device 12.

前記端末制御プログラム12aとしては、本学習端末10の全体の動作を司るシステムプログラム、ユーザ操作に応じて前記学習サーバ20から学習問題を取得し、当該学習問題に応じた表示の制御および音声再生の制御を行なうための学習支援プログラムなどが記憶される。   As the terminal control program 12a, a system program that governs the overall operation of the learning terminal 10 acquires a learning problem from the learning server 20 according to a user operation, and controls display and voice reproduction according to the learning problem. A learning support program for performing control is stored.

前記記憶装置12にはまた、前記学習サーバ20から取得された学習問題データ12bと当該学習問題データ12bと併せて取得されたヒントデータ12cが記憶される。   The storage device 12 also stores learning problem data 12b obtained from the learning server 20 and hint data 12c obtained together with the learning problem data 12b.

前記端末制御プログラム12aは、キー操作部17からのキー入力信号、タッチパネル付き表示部18からのタッチ操作に応じた入力信号、前記通信部15を介して受信される前記学習サーバ20などの外部機器からの通信信号に応じて起動される。   The terminal control program 12a includes a key input signal from a key operation unit 17, an input signal corresponding to a touch operation from a display unit with a touch panel 18, and an external device such as the learning server 20 received via the communication unit 15. Activated in response to a communication signal from

RAM16は、前記CPU11による回路各部の動作の制御に伴う各種データの作業用メモリとして機能し、前記タッチパネル付き表示部18の液晶表示部に表示させる表示データが描画されて記憶される表示データエリア16aなどが確保される。   The RAM 16 functions as a work memory for various data associated with the control of the operation of each circuit by the CPU 11, and a display data area 16a in which display data to be displayed on the liquid crystal display of the display unit 18 with a touch panel is drawn and stored. Are secured.

このように、前記CPU11には、前記記憶装置12、記録媒体読み取り部14、通信部15、RAM16、キー操作部17、タッチパネル付き表示部18が接続される他に、当該CPU11により生成された音声や再生された音声を出力するための音声出力部19が接続される。   As described above, the storage device 12, the recording medium reading unit 14, the communication unit 15, the RAM 16, the key operation unit 17, and the display unit 18 with a touch panel are connected to the CPU 11, and the sound generated by the CPU 11 is also connected to the CPU 11. And an audio output unit 19 for outputting reproduced audio.

図3は、前記学習端末10の学習問題データ12bとして記憶される学習問題の1問分のデータ構造を示す図である。   FIG. 3 is a diagram showing a data structure of one learning problem stored as the learning problem data 12b of the learning terminal 10.

図4は、前記学習問題データ12bに含まれる学習問題1問分のデータの具体例を示す図である。   FIG. 4 is a diagram showing a specific example of data for one learning problem included in the learning problem data 12b.

前記学習問題は、写真や絵からなる画像データGと、当該画像データGに含まれる物,人,動きなどに関する事象を説明する複数の文章データBm(ここでは4つの文章1〜文章4)と、当該文章データBmの各文章が説明している事象に関係した前記画像データG上でのポイント位置データPm(P1〜P7)と、前記文章データBmの各文章の読み上げ音声である音声データRm(音声1〜音声4)とが対応付けられて構成される。   The learning problem includes image data G composed of photographs and pictures, and a plurality of text data Bm (here, four texts 1 to 4) that explain events related to objects, people, movements, and the like included in the image data G. , Point position data Pm (P1 to P7) on the image data G related to the event described by each sentence of the sentence data Bm, and audio data Rm which is a reading voice of each sentence of the sentence data Bm. (Voice 1 to voice 4) are associated with each other.

前記複数の文章データBm(文章1〜文章4)は、前記画像データGの事象を正しく説明する内容の文章(ここでは文章3(正解))と誤って説明する内容の文章(ここでは文章1,2,4(不正解))とが混在して記憶される。   The plurality of sentence data Bm (sentence 1 to sentence 4) include a sentence (here, sentence 3 (correct answer)) that correctly describes the event of the image data G and a sentence (here, sentence 1) that erroneously describes the event. , 2, 4 (incorrect)) are stored together.

また、前記ポイント位置データPm(P1〜P7)は、前記画像データGにより表される画像上での、例えば、物,人,動きを表す位置とされる。   Further, the point position data Pm (P1 to P7) is a position representing, for example, an object, a person, and a movement on the image represented by the image data G.

なお、前記学習問題の画像データGを前記タッチパネル付き表示部18により表示させる際には、図4(A)に示すように、当該画像データGの左下に、前記音声データRm(音声1〜音声4)を聴いたユーザがその何れの音声に対応した文章データ(文章1〜文章4)が正解であるかをタッチ操作により選択して回答するための回答ボタン[1]〜[4]が合成される。   When the image data G of the learning problem is displayed on the display unit 18 with the touch panel, as shown in FIG. 4A, the audio data Rm (audio 1 to audio Answer buttons [1] to [4] for the user who listens to 4) to select which sentence data (sentence 1 to sentence 4) corresponding to the voice is the correct answer by touch operation and reply. Is done.

図5は、前記学習問題データ12bに含まれる学習問題(1問分)に対応したヒントデータ12cの具体例を示す図である。   FIG. 5 is a diagram showing a specific example of the hint data 12c corresponding to the learning problem (one question) included in the learning problem data 12b.

前記ヒントデータ12cは、当該ヒントの対象となる前記画像データG上でのポイント位置データPm(P1〜P7)に、各該当する位置の物,人,動きを表す単語(名詞,動詞)と、当該単語に対応した画像部分に関する同単語を用いた説明文とを対応付けて構成される。   The hint data 12c is obtained by adding words (nouns, verbs) representing objects, people, and movements at respective corresponding positions to the point position data Pm (P1 to P7) on the image data G to be the target of the hint, It is configured by associating a description using the same word with respect to the image portion corresponding to the word.

このように構成された学習支援システムの学習装置10は、前記制御装置(CPU)11が前記端末制御プログラム12a(前記システムプログラム、学習支援プログラムを含む)に記述された命令に従い回路各部の動作を制御し、ソフトウエアとハードウエアとが協働して動作することにより、後述の動作説明で述べる機能を実現する。   In the learning device 10 of the learning support system configured as described above, the control device (CPU) 11 controls the operation of each circuit in accordance with the instructions described in the terminal control program 12a (including the system program and the learning support program). By controlling the software and the hardware and the hardware operating in cooperation with each other, the functions described in the operation description below are realized.

また、前記学習支援システムの学習サーバ20も同様に、当該学習サーバ20に備えられた制御装置(CPU)がそのサーバ制御プログラムに記述された命令に従い回路各部の動作を制御し、ソフトウエアとハードウエアとが協働して動作することにより、後述の動作説明で述べる機能を実現する。   Similarly, in the learning server 20 of the learning support system, a control device (CPU) provided in the learning server 20 controls the operation of each circuit in accordance with an instruction described in the server control program, and the software and hardware are controlled. By operating in cooperation with the software, the functions described in the operation description below are realized.

次に、前記構成の学習支援システムの動作について説明する。   Next, the operation of the learning support system having the above configuration will be described.

図6は、前記学習支援システムにおける学習端末10の制御処理を示すフローチャートである。   FIG. 6 is a flowchart showing a control process of the learning terminal 10 in the learning support system.

前記学習端末10において、前記学習サーバ20の語学学習サイトにアクセスし、前記学習支援プログラムをダウンロードしてインストールする。   The learning terminal 10 accesses a language learning site of the learning server 20, downloads and installs the learning support program.

前記学習支援プログラムが起動されると、ユーザの語学力をチェックするためのチェックテストが実行され、テスト実行結果の語学力と、ユーザ入力された語学検定試験の目標点数や希望の問題項目などに応じて、前記学習サーバ20からユーザに出題する学習問題データ12bと当該学習問題12bに対応したヒントデータ12cが取得され、記憶装置12に記憶される。   When the learning support program is started, a check test for checking the user's language ability is executed, and the test execution result of the language ability and the user-input target score of the language examination test and desired question items, etc. In response, the learning server 20 acquires the learning problem data 12b to be set for the user and the hint data 12c corresponding to the learning problem 12b, and stores them in the storage device 12.

なお、前記学習問題データ12bとそのヒントデータ12cは、前記学習サーバ20から学習支援プログラムをダウンロードしてインストールする際に、当該プログラムと併せてダウンロードし取得する構成としてもよい。   The learning problem data 12b and the hint data 12c may be downloaded and acquired together with the learning support program when the learning support program is downloaded and installed from the learning server 20.

ユーザ操作に応じて学習の開始が指示されると、記憶装置12に記憶された学習問題データ12bが制御装置11に読み出され(取得され)、前記学習問題データ12bから最初の問題が読み出される(ステップS1)。そして取得された最初の学習問題の画像データG(図4(A)参照)がタッチパネル付き表示部18に表示される(ステップS2)。   When the start of learning is instructed in response to a user operation, the learning problem data 12b stored in the storage device 12 is read (acquired) by the control device 11, and the first problem is read from the learning problem data 12b. (Step S1). Then, the acquired image data G of the first learning problem (see FIG. 4A) is displayed on the display unit with a touch panel 18 (step S2).

ここで、ユーザが、前記表示された画像データGについて回答選択の前にヒントを得るために、当該画像データGが表示された画面上をタッチすると(ステップS10(Yes))、当該画像データG上のタッチされた位置に対応したポイント位置Pnが、前記ヒントデータ12c(図5参照)に含まれているか否か判断される(ステップS11)。   Here, when the user touches the screen on which the image data G is displayed in order to obtain a hint before selecting an answer for the displayed image data G (step S10 (Yes)), the image data G It is determined whether or not the point position Pn corresponding to the above touched position is included in the hint data 12c (see FIG. 5) (step S11).

前記タッチ位置に対応したポイント位置Pnが、前記ヒントデータ12cに含まれていると判断されると(ステップS11(Yes))、当該ポイント位置Pnに対応付けられたヒント情報の単語が前記画像データG上の空エリアに重ねて表示される(ステップS12)。   When it is determined that the point position Pn corresponding to the touch position is included in the hint data 12c (step S11 (Yes)), the word of the hint information associated with the point position Pn is used as the image data. It is displayed over the empty area on G (step S12).

そして、前記表示されたヒント情報の単語がユーザによりタッチされると(ステップS13(Yes))、前記ヒントデータ12c内の該当単語に対応付けられた当該単語を含む説明文が表示される(ステップS14)。   When the word of the displayed hint information is touched by the user (step S13 (Yes)), an explanatory sentence including the word associated with the corresponding word in the hint data 12c is displayed (step S13). S14).

具体的には、前記図4(A)に示すように表示された画像データGおいて、ポイント位置P1の近傍がタッチされると(ステップS10(Yes))、当該ポイント位置P1に対応付けられた単語“banner”が表示される(ステップS11→S12)。そして、当該単語“banner”がタッチされると(ステップS13(No))、当該単語“banner”を含む説明文“a banner is … between the poles.”が表示される(ステップS14)。   Specifically, when the vicinity of the point position P1 is touched in the image data G displayed as shown in FIG. 4A (step S10 (Yes)), the image data G is associated with the point position P1. The word "banner" is displayed (steps S11 → S12). Then, when the word "banner" is touched (step S13 (No)), an explanatory note "a banner is ... between the poles." Including the word "banner" is displayed (step S14).

この後、前記表示中の画像データG上でのユーザによるタッチ操作が判断される毎に、前記同様に、当該タッチ操作位置(ポイント位置Pn)に該当する人,物,動きなどの単語が表示され、さらに、当該単語へのタッチ操作に応じて同単語を含む説明文が表示される(ステップS10〜S14)。   Thereafter, each time a touch operation by the user on the displayed image data G is determined, a word such as a person, object, or movement corresponding to the touch operation position (point position Pn) is displayed in the same manner as described above. Then, an explanatory sentence including the same word is displayed in response to a touch operation on the word (steps S10 to S14).

これにより、ユーザは、前記表示中の問題の画像データGに対応した正しい文章データBm(文章1〜文章4)が何れであるかの回答選択を行なう前に、当該画像データG上の各部の事象を表す説明をヒントとして知ることができる。またそればかりでなく、当該画像データG上の各部に関係する様々な事象の英語表現を知ることもできる。   Thus, the user can select the correct sentence data Bm (sentence 1 to sentence 4) corresponding to the image data G in question being displayed before selecting the answer of each part on the image data G. You can know the explanation that represents the event as a hint. In addition, it is possible to know English expressions of various events related to each part on the image data G.

次に、ユーザ操作に応じて、前記表示中の画像データGに対応付けられている文章データBm(文章1〜文章4)に対応する音声データRm(音声1〜音声4)の再生開始が指示されると(ステップS3(Yes))、当該再生開始指示後の1回目(初回)である場合は(ステップS4(Yes))、前記各音声1〜音声4が順番に再生され音声出力部19から出力される(ステップS5)。   Next, in response to a user operation, an instruction to start reproduction of audio data Rm (audio 1 to audio 4) corresponding to text data Bm (text 1 to text 4) associated with the image data G being displayed is given. (Step S3 (Yes)), if it is the first time (first time) after the reproduction start instruction (Step S4 (Yes)), the sounds 1 to 4 are reproduced in order and the sound output unit 19 (Step S5).

ユーザは、前記表示中の画像データGに表わされている事象について、前記音声データRm(音声1〜音声4)として再生された文章データBm(文章1〜文章4)の何れの文章が正しいかを、当該画像データG上に表示された回答ボタン[1]〜[4]を選択して回答する(ステップS7)。   The user corrects any sentence of the sentence data Bm (sentence 1 to sentence 4) reproduced as the sound data Rm (sound 1 to sound 4) for the event represented by the image data G being displayed. The answer is made by selecting the answer buttons [1] to [4] displayed on the image data G (step S7).

ここで、ユーザが、前記再生された音声データRm(音声1〜音声4)を、その聞き取りが不十分であることなどによりもう一度聞きたい場合に、例えば前記表示中の画像データG上でのタッチ操作あるいはキー操作部17のキー操作により当該もう一度聞きたい指示があったと判断される(ステップS6(Yes))。   Here, when the user wants to listen to the reproduced audio data Rm (audio 1 to audio 4) again due to insufficient listening, for example, a touch on the image data G being displayed. It is determined that there is an instruction to be heard again by the operation or the key operation of the key operation unit 17 (step S6 (Yes)).

すると、前記音声データRm(音声1〜音声4)の再生回数nが2回目以降と判断され(ステップS4(No))、当該各音声1〜音声4を順番に再生する処理と共に、各対応する文章1〜文章4の正誤をユーザが判断するためのヒント表示処理が実行される(ステップSH(図7〜図13参照))。   Then, it is determined that the number n of times of reproduction of the audio data Rm (audio 1 to audio 4) is the second or later (step S4 (No)). A hint display process is performed for the user to determine whether the sentences 1 to 4 are correct (step SH (see FIGS. 7 to 13)).

(第1実施例)
図7は、前記学習端末10の制御処理における第1実施例のヒント表示処理(1)を示すフローチャートである。
(First embodiment)
FIG. 7 is a flowchart showing the hint display processing (1) of the first embodiment in the control processing of the learning terminal 10.

図8は、前記学習端末10の第1実施例のヒント表示処理(1)に従った音声再生を伴う画像表示動作を示す図である。   FIG. 8 is a diagram showing an image display operation involving sound reproduction according to the hint display process (1) of the first embodiment of the learning terminal 10.

前記ヒント表示処理(1)が開始されると、図8に示すように、先ず、前記文章データBm(文章1〜文章4)の文章1“There is a man on the bike in front of the banner.”に対応する音声1が読み出されて再生される(ステップH11,H12)。   When the hint display processing (1) is started, as shown in FIG. 8, first, the sentence 1 of the sentence data Bm (sentence 1 to sentence 4) is “There is a man on the bike in front of the banner. Is read out and reproduced (steps H11 and H12).

そして、前記文章1に対応付けられた画像データG上のポイント位置Pm(P1,P2,P3)(図4参照)に従い矢印D1が表示され、当該表示中の画像データG上の該当する位置(ここではP1〜P3の範囲の画像部分)が識別表示される(ステップH13)。   Then, an arrow D1 is displayed according to the point position Pm (P1, P2, P3) on the image data G associated with the sentence 1 (see FIG. 4), and the corresponding position on the displayed image data G ( Here, the image portion in the range of P1 to P3 is identified and displayed (step H13).

この後、次の各文章2〜文章4についても前記同様に、当該各文章2〜文章4の各音声2〜音声4が順番に再生されながら、各対応するポイント位置Pm(文章2;P6,P7/文章3;P1,P2,P3/文章4;P5,P6)に矢印D2,D3,D4が表示され、表示中の画像データG上の該当する位置(範囲)が順番に識別表示される(ステップH14(Yes)→H11〜H13)。   Thereafter, in the same manner as described above, the following sentences 2 to 4 are reproduced in the order of the respective sounds 2 to 4 of the respective sentences 2 to 4 and the corresponding point positions Pm (sentence 2; P6). Arrows D2, D3, D4 are displayed at P7 / Sentence 3; P1, P2, P3 / Sentence 4; P5, P6), and the corresponding positions (ranges) on the displayed image data G are identified and displayed in order. (Step H14 (Yes) → H11 to H13).

これにより、ユーザは、前記矢印D1〜D4により順次識別表示される再生中の各文章1〜文章4にそれぞれ関係する事象がある付近の画像部分に注目しながら当該各文章1〜文章4の再生音声を聴くことができ、同各文章1〜文章4の正誤判断を容易に行えるようになる。   Thus, the user can reproduce each of the sentences 1 to 4 while paying attention to the image portions near the event where the events related to each of the sentences 1 to 4 being reproduced are sequentially identified and displayed by the arrows D1 to D4. The user can listen to the voice, and can easily determine whether each sentence 1 to sentence 4 is correct.

(第2実施例)
図9は、前記学習端末10の学習問題データ12bとして記憶される学習問題1問分の第2実施例のデータ構造を示す図である。
(Second embodiment)
FIG. 9 is a diagram showing a data structure of a second embodiment of one learning problem stored as the learning problem data 12b of the learning terminal 10.

第2実施例(第3実施例も同様)では、前記画像データGに対応付けられるポイント位置データPmとして、正しい文章(ここでは文章3)が説明している事象に関係した当該画像データG上でのポイント位置(P1,P2,P3)だけが記憶される。   In the second embodiment (similarly in the third embodiment), as point position data Pm associated with the image data G, on the image data G related to the event described in the correct sentence (here, sentence 3). Only the point positions (P1, P2, P3) at are stored.

図10は、前記学習端末10の制御処理における第2実施例のヒント表示処理(2)を示すフローチャートである。   FIG. 10 is a flowchart showing a hint display process (2) of the second embodiment in the control process of the learning terminal 10.

図11は、前記学習端末10の第2実施例のヒント表示処理(2)に従った音声再生を伴う画像表示動作を示す図である。   FIG. 11 is a diagram showing an image display operation accompanied by sound reproduction according to the hint display process (2) of the second embodiment of the learning terminal 10.

前記ヒント表示処理(2)が開始されると、図11に示すように、前記文章データBm(文章1〜文章4)に対応する各音声1〜音声4が順番に読み出されて再生される(ステップH21)。   When the hint display process (2) is started, as shown in FIG. 11, the voices 1 to 4 corresponding to the text data Bm (the texts 1 to 4) are sequentially read and reproduced. (Step H21).

すると、前記各文章1〜文章4の音声再生に伴い、正解の文章3に対応付けられた画像データG上のポイント位置Pm(P1,P2,P3)に基づいて正解の文章が示す事象を表した範囲が特定される(ステップH22)。   Then, with the sound reproduction of each of the above-mentioned sentences 1 to 4, the events indicated by the correct sentences based on the point positions Pm (P1, P2, P3) on the image data G associated with the correct sentences 3 are displayed. The specified range is specified (step H22).

そして、図11に示すように、前記表示中の画像データG上で前記特定された範囲以外の画像が時間の経過に応じて色合いを薄くして表示される(ステップH23)。言い換えれば、時間の経過に応じて、前記正しい文章3に対応する付近の画像部分が徐々に識別表示される。   Then, as shown in FIG. 11, on the image data G being displayed, images other than the specified range are displayed with lighter shades as time passes (step H23). In other words, an image portion near the correct sentence 3 is gradually identified and displayed as time elapses.

これにより、ユーザは、前記再生中の各文章1〜文章4の中で正しい文章3に対応した事象がある付近の画像部分にだけ注目の的が誘導されながら当該各文章1〜文章4の再生音声を聴くことができ、同ユーザのリスニング能力に関わらず、前記文章1〜文章4の正誤判断をより容易に行えるようになる。   This allows the user to reproduce each of the sentences 1 to 4 while guiding attention only to the image portion near the event where the event corresponding to the correct sentence 3 in each of the sentences 1 to 4 being reproduced. The user can listen to the voice, and can easily determine the correctness of the sentences 1 to 4 regardless of the listening ability of the user.

(第3実施例)
図12は、前記学習端末10の制御処理における第3実施例のヒント表示処理(3)を示すフローチャートである。
(Third embodiment)
FIG. 12 is a flowchart showing a hint display process (3) of the third embodiment in the control process of the learning terminal 10.

図13は、前記学習端末10の第3実施例のヒント表示処理(3)に従った音声再生を伴う画像表示動作を示す図である。   FIG. 13 is a diagram showing an image display operation accompanied by sound reproduction according to the hint display process (3) of the third embodiment of the learning terminal 10.

前記ヒント表示処理(3)が開始されると、図13に示すように、前記文章データBm(文章1〜文章4)に対応する各音声1〜音声4が順番に読み出されて再生される(ステップH31)。   When the hint display process (3) is started, as shown in FIG. 13, the voices 1 to 4 corresponding to the text data Bm (text 1 to text 4) are sequentially read and reproduced. (Step H31).

すると、前記各文章1〜文章4の音声再生に伴い、正解の文章3に対応付けられた画像データG上のポイント位置Pm(P1,P2,P3)が特定される(ステップH32)。   Then, the point position Pm (P1, P2, P3) on the image data G associated with the correct sentence 3 is specified with the sound reproduction of each of the sentences 1 to 4 (step H32).

そして、図13に示すように、前記表示中の画像データGが時間の経過に応じて前記特定された位置(ここではP1,P2,P3を含む所定の範囲)にズームされながら表示される(ステップH23)。言い換えれば、前記第2実施例と同様に、時間の経過に応じて、前記正しい文章3に対応する付近の画像部分だけに徐々に識別されて表示される。   Then, as shown in FIG. 13, the displayed image data G is displayed while being zoomed to the specified position (here, a predetermined range including P1, P2, and P3) as time passes ( Step H23). In other words, as in the second embodiment, as time passes, only the image portion near the correct sentence 3 is gradually identified and displayed.

これにより、ユーザは、前記再生中の各文章1〜文章4の中で正しい文章3に対応した事象がある付近の画像部分だけに見ている内容が誘導されながら当該各文章1〜文章4の再生音声を聴くことができ、同ユーザのリスニング能力に関わらず、前記文章3が正しいとの判断をより容易に行えるようになる。   As a result, the user is guided while viewing only the image portion near the event where the event corresponding to the correct sentence 3 among the sentences 1 to 4 being reproduced is guided. The user can listen to the reproduced voice, and can easily determine that the sentence 3 is correct regardless of the listening ability of the user.

こうして、前記文章データBm(文章1〜文章4)に対応した音声再生を伴う画像データGのヒント表示処理(ステップSH)が実行された後に、ユーザ操作に応じて、さらにもう一度聞きたい指示があったと判断されると(ステップS6(Yes))、その都度、前記同様のヒント表示処理(ステップSH)が繰り返し実行される。   After the hint display processing (step SH) of the image data G accompanied by the sound reproduction corresponding to the sentence data Bm (sentence 1 to sentence 4) is executed in this way, there is an instruction to listen to again according to the user operation. When it is determined that the hint has been displayed (step S6 (Yes)), the same hint display processing (step SH) is repeatedly executed each time.

この後、前記表示中の画像データGの事象について、前記音声1〜音声4として再生された文章1〜文章4の何れの文章が正しいか、当該画像G上に表示された回答ボタン[1]〜[4]の選択により回答されると(ステップS7(Yes))、当該回答が正解か否かが判断されその判断結果が前記タッチパネル式表示部18に表示される(ステップS8)。   Thereafter, regarding the event of the image data G being displayed, which one of the sentences 1 to 4 reproduced as the sounds 1 to 4 is correct, the answer button [1] displayed on the image G If an answer is made by selecting [4] (Step S7 (Yes)), it is determined whether or not the answer is correct, and the result of the determination is displayed on the touch panel display unit 18 (Step S8).

続いて、前記学習問題データ12の学習問題として次の問題があるか否か判断され(ステップS9)、次の問題(ここでは2問目)があると判断されると(ステップS9(Yes))、当該2問目の問題が読み出され(ステップS1)、その画像データGがタッチパネル付き表示部18に表示される(ステップS2)。   Subsequently, it is determined whether or not there is a next problem as a learning problem of the learning problem data 12 (step S9), and if it is determined that there is a next problem (here, the second question) (step S9 (Yes)). The second question is read out (step S1), and the image data G is displayed on the display unit with a touch panel 18 (step S2).

そして、前記1問目の場合と同様に、ユーザは、前記表示された2問目の画像データGの文章データBmに対応した音声再生を行なわせる前に、当該画像データG上の各部をタッチ操作して各対応する画像部分の事象を表す単語や説明文をヒントとして表示させたり(ステップS10〜S14)、前記文章データBm(文章1〜文章n)に対応した音声再生を行なわせながら正しい文章に対応した画像部分をヒントとして識別表示させたりして(ステップSH)、当該各文章1〜文章nの正誤を判断できる。   Then, similarly to the case of the first question, the user touches each part on the image data G before performing the sound reproduction corresponding to the sentence data Bm of the displayed image data G of the second question. A word or an explanatory sentence representing an event of each corresponding image portion is displayed as a hint by performing an operation (steps S10 to S14), or a sound is reproduced while performing sound reproduction corresponding to the sentence data Bm (sentence 1 to sentence n). By identifying and displaying the image portion corresponding to the text as a hint (step SH), the correctness of each of the texts 1 to n can be determined.

したがって、前記構成の学習支援システムによれば、学習問題データ12bとして記憶されている画像データGをタッチパネル付き表示部18に表示させ、当該画像Gに表わされている事象を説明する文章1〜文章4に対応した音声1〜音声4を順次再生する。そして、前記音声再生に伴い、前記事象の説明が正しい文章3に関係する前記画像G上のポイント位置Pm(P1,P2,P3)に従って、当該ポイント位置に該当する画像部分を、矢印表示(ヒント表示(1))、または時間経過に応じたコントラスト表示(ヒント表示(2))、または時間経過に応じたズーム表示(ヒント表示(3))などにより識別表示させる。   Therefore, according to the learning support system having the above-described configuration, the image data G stored as the learning problem data 12b is displayed on the display unit 18 with the touch panel, and the sentences 1 to 3 explaining the events represented in the image G are provided. Sounds 1 to 4 corresponding to the sentence 4 are sequentially reproduced. Then, in accordance with the point reproduction Pm (P1, P2, P3) on the image G relating to the sentence 3 in which the description of the event is correct, the image portion corresponding to the point is displayed with an arrow ( A hint display (1)), a contrast display according to the passage of time (hint display (2)), a zoom display according to the passage of time (hint display (3)), and the like are displayed.

これにより、ユーザは、前記正しい文章3に対応した事象がある画像部分に注目しながら前記各文章1〜文章4の再生音声を聴くことができ、当該文章3が正しいとの判断を容易に行えるようになる。   Thereby, the user can listen to the reproduced voice of each of the sentences 1 to 4 while paying attention to the image portion having an event corresponding to the correct sentence 3, and can easily determine that the sentence 3 is correct. Become like

なお、前記矢印表示(ヒント表示(1))の場合は、前記各文章1〜文章4に対応した音声1〜音声4を順番に再生する毎に、当該各文章1〜文章4に関係する各々のポイント位置に該当する画像部分を矢印D1〜D4で示して識別表示させる。   In the case of the arrow display (hint display (1)), each time the sounds 1 to 4 corresponding to the respective sentences 1 to 4 are reproduced in order, The image portion corresponding to the point position is indicated by arrows D1 to D4 and is identified and displayed.

この場合、ユーザは、前記矢印D1〜D4により順次識別表示される前記各文章1〜文章4にそれぞれ対応した事象がある各画像部分に注目しながら当該各文章1〜文章4の再生音声を聴くことができ、同各文章1〜文章4の正誤判断を容易に行えるようになる。   In this case, the user listens to the reproduced sound of each of the sentences 1 to 4 while paying attention to each image portion having an event corresponding to each of the sentences 1 to 4 sequentially identified and displayed by the arrows D1 to D4. This makes it possible to easily determine whether the sentences 1 to 4 are correct or not.

また、前記構成の学習支援システムによれば、前記表示中の画像データGに対応した各文章1〜文書4の音声再生を行なわせる前にも、当該画像G上の各部をタッチ操作して各対応する画像部分の事象を表す単語や説明文をヒントとして表示させることができる。   In addition, according to the learning support system having the above configuration, even before the sound reproduction of each of the sentences 1 to 4 corresponding to the image data G being displayed, the respective parts on the image G are touch-operated. A word or an explanatory sentence representing the event of the corresponding image portion can be displayed as a hint.

よって、ユーザは、そのリスニング能力に関わらず、前記文章1〜文章4の正誤判断をより容易に行えるようになり、同ユーザのリスニング能力をより早く効果的に向上させることが可能になる。   Therefore, regardless of the listening ability, the user can easily determine the correctness of the sentences 1 to 4, and the listening ability of the user can be improved more quickly and effectively.

なお、前記各実施形態では、学習問題として画像Gと当該画像Gの事象を表す正解/不正解が混在する複数の文章1〜4とを取得し、当該文章1〜4に対応する音声を順番に再生することで、何れか正解の文章をユーザに選択させて回答させる構成としたが、前記画像Gの事象を表す正解又は不正解の1つの文章を取得し、当該文章の音声を再生してその文章が正解か否かを回答させる構成としてもよい。   In each of the above embodiments, as the learning problem, the image G and a plurality of sentences 1 to 4 in which correct / incorrect answers representing events of the image G are mixed are acquired, and the sounds corresponding to the sentences 1 to 4 are sequentially arranged. , The user is allowed to select one of the correct sentences and make an answer. However, one of the correct or incorrect answer representing the event of the image G is obtained, and the voice of the sentence is reproduced. Alternatively, a configuration may be employed in which a response is made as to whether or not the sentence is correct.

なお、前記各実施形態において記載した学習支援システムによる各処理の手法およびデータベース、すなわち、図6のフローチャートに示す学習端末10の制御処理、図7、図9、図12の各フローチャートに示す前記学習端末10の制御処理に伴うヒント表示処理(1)(2)(3)等の各手法、および学習問題データ12b、ヒントデータ12c等のデータベースは、何れもコンピュータに実行させることができるプログラムとして、メモリカード(ROMカード、RAMカード等)、磁気ディスク(フロッピ(登録商標)ディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の外部記録装置の媒体に格納して配布することができる。そして、電子機器のコンピュータ(制御装置)は、この外部記録装置の媒体に記憶されたプログラムを記憶装置に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記各実施形態において説明した学習支援機能を実現し、前述した手法による同様の処理を実行することができる。   The method and database of each process by the learning support system described in each of the above embodiments, that is, the control process of the learning terminal 10 shown in the flowchart of FIG. 6, and the learning process shown in each flowchart of FIGS. Each of the methods such as the hint display processing (1), (2), and (3) accompanying the control processing of the terminal 10 and the databases such as the learning problem data 12b and the hint data 12c are all programs that can be executed by a computer. It is stored in a medium of an external recording device such as a memory card (ROM card, RAM card, etc.), a magnetic disk (floppy (registered trademark) disk, a hard disk, etc.), an optical disk (CD-ROM, DVD, etc.), a semiconductor memory, etc. be able to. Then, the computer (control device) of the electronic device reads the program stored in the medium of the external recording device into the storage device, and the operation is controlled by the read program, whereby the learning described in each of the above embodiments is performed. The support function can be realized, and the same processing by the above-described method can be executed.

また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク上を伝送させることができ、この通信ネットワークに接続されたコンピュータ装置(プログラムサーバ)から前記プログラムのデータを電子機器に取り込んで記憶装置に記憶させ、前述した学習支援機能を実現することもできる。   Further, data of a program for realizing each of the above methods can be transmitted on a communication network in the form of a program code, and data of the program is electronically transmitted from a computer device (program server) connected to the communication network. The learning support function described above can also be realized by taking it into a device and storing it in a storage device.

本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が異なる形態にして組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。   The present invention is not limited to the above embodiments, and can be variously modified in an implementation stage without departing from the scope of the invention. Furthermore, the embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some components are deleted from all the components shown in each embodiment, or some components are combined in a different form, the problems described in the section of the problem to be solved by the invention. Can be solved and the effect described in the section of the effect of the invention can be obtained, a configuration in which this component is deleted or combined can be extracted as the invention.

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。   Hereinafter, the invention described in the claims of the present application is additionally described.

[1]
画像データと、当該画像データにより表示される画像に表わされている事象を文章で説明する文章データと、前記文章の表す事象のポイントになる前記画像上の位置を示す位置データとを取得するデータ取得手段と、
前記データ取得手段により取得された画像データに基づく画像を表示する画像表示手段と、
前記データ取得手段により取得された文章データに対応する音声データを再生する音声再生手段と、
前記音声再生手段により前記文章データに対応する音声データが再生されるのに伴い、前記画像表示手段により表示されている画像上の前記位置データに該当する部分画像を識別表示させる識別表示手段と、
を備えたことを特徴とする学習支援装置。
[1]
Acquire image data, text data describing the event represented by the image displayed by the image data in text, and position data indicating a position on the image that is a point of the event represented by the text. Data acquisition means;
Image display means for displaying an image based on the image data acquired by the data acquisition means,
Sound reproducing means for reproducing sound data corresponding to the sentence data obtained by the data obtaining means,
With the audio data corresponding to the sentence data being reproduced by the audio reproduction means, identification display means for identifying and displaying a partial image corresponding to the position data on the image displayed by the image display means,
A learning support device comprising:

[2]
前記データ取得手段は、前記文章データとして、前記画像に表わされている事象を正しく説明する文章データと誤って説明する文章データとを混在して複数取得する、
ことを特徴とする[1]に記載の学習支援装置。
[2]
The data acquisition unit acquires a plurality of pieces of the sentence data as the sentence data, in which the sentence data that correctly describes the event represented in the image and the sentence data that is incorrectly described are mixed.
The learning support device according to [1], wherein:

[3]
前記音声再生手段は、前記データ取得手段により取得された複数の文章データに各対応する音声データを順次再生し、
前記識別表示手段は、前記音声再生手段により前記複数の文章データに各対応する音声データが順次再生される毎に、前記画像表示手段により表示されている画像上で当該音声再生中の文章データに対応した前記位置データに該当する部分画像を識別表示させる、
ことを特徴とする[2]に記載の学習支援装置。
[3]
The sound reproducing means sequentially reproduces sound data corresponding to each of the plurality of sentence data obtained by the data obtaining means,
The identification display means, each time the audio data corresponding to the plurality of text data is sequentially reproduced by the audio reproduction means, the text data being reproduced on the image displayed by the image display means. Identifying and displaying a partial image corresponding to the corresponding position data,
The learning support device according to [2], wherein:

[4]
前記識別表示手段は、前記音声再生手段により前記複数の文章データに各対応する音声データが再生される間に、前記画像表示手段により表示されている画像上で前記事象を正しく説明する文章データに対応した位置データに該当する部分画像を徐々に識別して表示させる、
ことを特徴とする[2]に記載の学習支援装置。
[4]
The identification display means, while the audio data corresponding to the plurality of text data is reproduced by the audio reproduction means, text data that correctly describes the event on the image displayed by the image display means. To gradually identify and display the partial image corresponding to the position data corresponding to
The learning support device according to [2], wherein:

[5]
前記データ取得手段により取得された前記画像上の各位置データに対応する各画像部分に対応した単語を取得する単語取得手段と、
前記画像表示手段により表示された画像上でユーザ操作に応じて指定された位置の画像部分に対応して前記単語取得手段により取得された単語をヒントとして表示させるヒント単語表示手段と、
を備えたことを特徴とする[1]ないし[4]の何れかに記載の学習支援装置。
[5]
Word acquisition means for acquiring a word corresponding to each image portion corresponding to each position data on the image acquired by the data acquisition means,
Hint word display means for displaying a word acquired by the word acquisition means as a hint corresponding to an image portion at a position designated according to a user operation on the image displayed by the image display means,
The learning support device according to any one of [1] to [4], comprising:

[6]
電子機器のコンピュータを、
画像データと、当該画像データにより表示される画像に表わされている事象を文章で説明する文章データと、前記文章の表す事象のポイントになる前記画像上の位置を示す位置データとを取得するデータ取得手段と、
前記データ取得手段により取得された画像データに基づく画像を表示する画像表示手段と、
前記データ取得手段により取得された文章データに対応する音声データを再生する音声再生手段と、
前記音声再生手段により前記文章データに対応する音声データが再生されるのに伴い、前記画像表示手段により表示されている画像上の前記位置データに該当する部分画像を識別表示させる識別表示手段、
として機能させるためのコンピュータ読み込み可能なプログラム。
[6]
Electronic equipment computer,
Acquire image data, text data describing the event represented by the image displayed by the image data in text, and position data indicating a position on the image that is a point of the event represented by the text. Data acquisition means;
Image display means for displaying an image based on the image data acquired by the data acquisition means,
Sound reproducing means for reproducing sound data corresponding to the sentence data obtained by the data obtaining means,
With the audio data corresponding to the sentence data being reproduced by the audio reproducing means, identification display means for identifying and displaying a partial image corresponding to the position data on the image displayed by the image display means,
A computer-readable program to function as a computer.

10 …学習端末
11 …制御装置(CPU)
12 …記憶装置
12a…端末制御プログラム
12b…学習問題データ
12c…ヒントデータ
13 …外部記録媒体
14 …記録媒体読み取り部
15 …通信部
16a…表示データエリア
18 …タッチパネル付き表示部
20 …学習サーバ(Webサーバ)
N …通信ネットワーク
10 Learning terminal 11 Control device (CPU)
DESCRIPTION OF SYMBOLS 12 ... Storage device 12a ... Terminal control program 12b ... Learning problem data 12c ... Hint data 13 ... External recording medium 14 ... Recording medium reading part 15 ... Communication part 16a ... Display data area 18 ... Display part with a touch panel 20 ... Learning server (Web) server)
N: Communication network

Claims (6)

画像データと、当該画像データにより表示される画像に表わされている事象を正しく説明する文章データと誤って説明する文章データと、前記文章データの表す事象のポイントになる前記画像上の位置を示す位置データとを取得するデータ取得手段と、
前記データ取得手段により取得された画像データに基づく画像を表示する画像表示手段と、
前記データ取得手段により取得された文章データに対応する音声データを再生する音声再生手段と、
前記音声再生手段により前記文章データに対応する音声データが再生されるのに伴い、前記画像表示手段により表示されている画像上の前記位置データに該当する部分画像を識別表示させる識別表示手段と、
を備えたことを特徴とする学習支援装置。
Image data, sentence data that incorrectly describes the event represented in the image displayed by the image data, and sentence data that incorrectly describes the event, and the position on the image that is the point of the event represented by the sentence data. Data acquisition means for acquiring position data to be indicated,
Image display means for displaying an image based on the image data acquired by the data acquisition means,
Sound reproducing means for reproducing sound data corresponding to the sentence data obtained by the data obtaining means,
With the audio data corresponding to the sentence data being reproduced by the audio reproduction means, identification display means for identifying and displaying a partial image corresponding to the position data on the image displayed by the image display means,
A learning support device comprising:
前記データ取得手段は、前記文章データとして、前記画像に表わされている事象を正しく説明する文章データと誤って説明する文章データとを混在して複数取得する、
ことを特徴とする請求項1に記載の学習支援装置。
The data acquisition unit acquires a plurality of pieces of the sentence data as the sentence data, in which the sentence data that correctly describes the event represented in the image and the sentence data that is incorrectly described are mixed.
The learning support device according to claim 1, wherein:
前記音声再生手段は、前記データ取得手段により取得された複数の文章データに各対応する音声データを順次再生し、
前記識別表示手段は、前記音声再生手段により前記複数の文章データに各対応する音声データが順次再生される毎に、前記画像表示手段により表示されている画像上で当該音声データが再生中の文章データに対応した前記位置データに該当する部分画像を識別表示させる、
ことを特徴とする請求項2に記載の学習支援装置。
The sound reproducing means sequentially reproduces sound data corresponding to each of the plurality of sentence data obtained by the data obtaining means,
It said identification means, every time the corresponding audio data to the plurality of sentence data by the audio reproducing means is sequentially reproduced, the text of the audio data is being reproduced on the image displayed by said image display means Identifying and displaying a partial image corresponding to the position data corresponding to the data,
The learning support device according to claim 2, wherein:
前記識別表示手段は、前記音声再生手段により前記複数の文章データに各対応する音声データが再生される間に、前記画像表示手段により表示されている画像上で前記事象を正しく説明する文章データに対応した位置データに該当する部分画像を徐々に識別して表示させる、
ことを特徴とする請求項2に記載の学習支援装置。
The identification display means, while the audio data corresponding to the plurality of text data is reproduced by the audio reproduction means, text data that correctly describes the event on the image displayed by the image display means. To gradually identify and display the partial image corresponding to the position data corresponding to
The learning support device according to claim 2, wherein:
前記データ取得手段により取得された前記画像上の各位置データに対応する各画像部分に対応した単語を取得する単語取得手段と、
前記画像表示手段により表示された画像上でユーザ操作に応じて指定された位置の画像部分に対応して前記単語取得手段により取得された単語をヒントとして表示させるヒント単語表示手段と、
を備えたことを特徴とする請求項1ないし請求項4の何れか1項に記載の学習支援装置。
Word acquisition means for acquiring a word corresponding to each image portion corresponding to each position data on the image acquired by the data acquisition means,
Hint word display means for displaying a word acquired by the word acquisition means as a hint corresponding to an image portion at a position designated according to a user operation on the image displayed by the image display means,
The learning support device according to any one of claims 1 to 4, further comprising:
電子機器のコンピュータを、
画像データと、当該画像データにより表示される画像に表わされている事象を正しく説明する文章データと誤って説明する文章データと、前記文章データの表す事象のポイントになる前記画像上の位置を示す位置データとを取得するデータ取得手段と、
前記データ取得手段により取得された画像データに基づく画像を表示する画像表示手段と、
前記データ取得手段により取得された文章データに対応する音声データを再生する音声再生手段と、
前記音声再生手段により前記文章データに対応する音声データが再生されるのに伴い、前記画像表示手段により表示されている画像上の前記位置データに該当する部分画像を識別表示させる識別表示手段、
として機能させるためのコンピュータ読み込み可能なプログラム。
Electronic equipment computer,
Image data, sentence data that incorrectly describes the event represented in the image displayed by the image data, and sentence data that incorrectly describes the event, and the position on the image that is the point of the event represented by the sentence data. Data acquisition means for acquiring position data to be indicated,
Image display means for displaying an image based on the image data acquired by the data acquisition means,
Sound reproducing means for reproducing sound data corresponding to the sentence data obtained by the data obtaining means,
With the audio data corresponding to the sentence data being reproduced by the audio reproducing means, identification display means for identifying and displaying a partial image corresponding to the position data on the image displayed by the image display means,
A computer-readable program to function as a computer.
JP2015127080A 2015-06-24 2015-06-24 Learning support device and program Active JP6623575B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015127080A JP6623575B2 (en) 2015-06-24 2015-06-24 Learning support device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015127080A JP6623575B2 (en) 2015-06-24 2015-06-24 Learning support device and program

Publications (2)

Publication Number Publication Date
JP2017009875A JP2017009875A (en) 2017-01-12
JP6623575B2 true JP6623575B2 (en) 2019-12-25

Family

ID=57763438

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015127080A Active JP6623575B2 (en) 2015-06-24 2015-06-24 Learning support device and program

Country Status (1)

Country Link
JP (1) JP6623575B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020013049A (en) * 2018-07-20 2020-01-23 富士ゼロックス株式会社 Information processing device and information processing program
ES2831166A1 (en) * 2019-12-05 2021-06-07 Univ Castilla La Mancha PROCEDURE FOR PLAYING HELP MULTIMEDIA CONTENT THROUGH AUDIO IN VISUAL USER INTERFACES, AND DEVICE THAT IMPLEMENTS SAID PROCEDURE (Machine-translation by Google Translate, not legally binding)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10207332A (en) * 1997-01-27 1998-08-07 Gakken Co Ltd Learning system using computer
JP2003131778A (en) * 2001-10-29 2003-05-09 Tdk Corp Display control method, display control program and data-storage medium recorded with the display control program
JP2004219879A (en) * 2003-01-17 2004-08-05 Miyako Tazaki Educational system
US7524191B2 (en) * 2003-09-02 2009-04-28 Rosetta Stone Ltd. System and method for language instruction
JP2006119362A (en) * 2004-10-21 2006-05-11 Docomo Mobile Inc Teaching material data for e-learning, editing device, and editing system
KR100821380B1 (en) * 2006-12-01 2008-04-11 최재봉 Language learning contents provider system
JP5177764B2 (en) * 2009-06-24 2013-04-10 株式会社教育測定研究所 Education support system server, education support system
JP2011128362A (en) * 2009-12-17 2011-06-30 Cocone Corp Learning system
JP5708419B2 (en) * 2011-09-29 2015-04-30 フリュー株式会社 Image display system, learning system, image display method, and control program

Also Published As

Publication number Publication date
JP2017009875A (en) 2017-01-12

Similar Documents

Publication Publication Date Title
US9904666B2 (en) Interactive environment for performing arts scripts
US20090239201A1 (en) Phonetic pronunciation training device, phonetic pronunciation training method and phonetic pronunciation training program
JP2017219718A (en) Programming learning device and program
JP6623575B2 (en) Learning support device and program
WO2018074023A1 (en) Word learning support device, word learning support program, word learning support method
Alsunaidi et al. Abjad: Towards interactive learning approach to arabic reading based on speech recognition
JP2018130454A (en) Mild cognitive disorder inspection system and mild cognitive disorder inspection program
JP7135372B2 (en) LEARNING SUPPORT DEVICE, LEARNING SUPPORT METHOD AND PROGRAM
Wiener et al. Effects of perceptual abilities and lexical knowledge on the phonetic categorization of second language speech
JP2019070717A (en) Electronic apparatus, method for controlling the same, and program
KR20140107067A (en) Apparatus and method for learning word by using native speakerpronunciation data and image data
JP7395892B2 (en) Electronic devices, vocabulary learning methods, and programs
JP6225236B1 (en) Information processing apparatus, program, and information processing method
JP7338737B2 (en) ELECTRONIC DEVICE, CONTROL METHOD THEREOF, AND PROGRAM
JP6620437B2 (en) Learning support apparatus and program
KR20170014810A (en) Method for English study based on voice recognition
JP4585703B2 (en) Typing practice device with learning function, typing practice method by answering questions, and typing practice program by answering questions
JP2018072810A (en) Leaning support device, learning support method, and program
US11562663B1 (en) Production and presentation of aural cloze material
KR102207910B1 (en) Method and apparatus for studying English
Wang Exploring the potential of using spatial audio to improve web accessibility for screen reader users
JP7180168B2 (en) Information processing system, information processing method and program
Phoo et al. A Web-Based Audio Computer-Assisted Self-interview Application With Illustrated Pictures to Administer a Hepatitis B Survey Among a Myanmar-Born Community in Perth, Australia: Development and User Acceptance Study
KR20220134248A (en) Method and device for providing korean language self-directed learning contents
KR101121206B1 (en) System for providing service of vocabulardy learning in on-line

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190514

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191111

R150 Certificate of patent or registration of utility model

Ref document number: 6623575

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150