JP6710893B2 - Electronics and programs - Google Patents

Electronics and programs Download PDF

Info

Publication number
JP6710893B2
JP6710893B2 JP2015035992A JP2015035992A JP6710893B2 JP 6710893 B2 JP6710893 B2 JP 6710893B2 JP 2015035992 A JP2015035992 A JP 2015035992A JP 2015035992 A JP2015035992 A JP 2015035992A JP 6710893 B2 JP6710893 B2 JP 6710893B2
Authority
JP
Japan
Prior art keywords
text
user
misreading
misread
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015035992A
Other languages
Japanese (ja)
Other versions
JP2016157042A (en
Inventor
祐幸 加藤
祐幸 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2015035992A priority Critical patent/JP6710893B2/en
Publication of JP2016157042A publication Critical patent/JP2016157042A/en
Application granted granted Critical
Publication of JP6710893B2 publication Critical patent/JP6710893B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Electrically Operated Instructional Devices (AREA)

Description

本発明は、電子機器およびプログラムに関する。 The present invention relates to an electronic device and a program.

従来から、音読を行う等してユーザが発した音声を録音し、誤読があったか否かを判定したり、ユーザの音読を評価したりすることが可能な電子機器が種々開発されている。 2. Description of the Related Art Conventionally, various electronic devices have been developed which are capable of recording a voice uttered by a user by performing aloud reading, determining whether or not there is a misreading, and evaluating a user's aloud reading.

例えば特許文献1には、複数の文節により構成される文章を表示画面上に表示し、それを音読したユーザの音声を文節ごとに受け付けて音声を文節ごとに認識し、文節ごとに認識された音声に基づいてユーザによる音読結果を採点する電子機器(音読評価装置)が記載されている。 For example, in Patent Document 1, a sentence composed of a plurality of phrases is displayed on a display screen, the voice of a user who has read it aloud is accepted for each phrase, and the voice is recognized for each phrase. An electronic device (speech reading evaluation device) that scores a sound reading result by a user based on a voice is described.

特開2005−274830号公報JP-A-2005-274830

しかし、例えば小学生が教科書等に掲載されている文章(テキスト)を音読するような場合には、特許文献1に記載された電子機器による音読結果の採点等は少々レベルが高過ぎる。小学生等を対象とする場合には、誤読すなわち読み間違いや読み飛ばし等があった場合には、それを的確に検出して、正しい読み方になるように適切に学習させることが求められる。 However, for example, when an elementary school student reads aloud the text (text) published in a textbook or the like, the grade of the reading result by the electronic device described in Patent Document 1 is a little too high. In the case of targeting elementary school students and the like, if there is misreading, that is, misreading or skipping, it is necessary to accurately detect such misreading and to properly learn so as to obtain the correct reading.

本発明は、上記の問題点を鑑みてなされたものであり、テキストの誤読があった場合にユーザの読み方が正しい読み方になるように適切に学習させることが可能な電子機器およびプログラムを提供することを目的とする。 The present invention has been made in view of the above problems, and provides an electronic device and a program capable of appropriately learning so that a user's reading is correct when a text is misread. The purpose is to

以上の課題を解決するため、本発明の一態様の電子機器は、ディスプレイ上に漢字を含むテキストを表示させるテキスト表示手段と、ユーザが発した音声の内容を認識する音声認識手段と、前記音声認識手段が認識した前記ユーザの音声に対応するテキストと、前記表示されているテキストとを部分毎に比較して、両者のテキストに不一致があった場合に、その不一致の内容に基づいて複数種類の誤読のいずれであるかを判断する判断手段と、前記判断手段により判断された誤読の種類に応じて異なる処理を実行する処理手段と、を備え、前記処理手段は、前記テキストの漢字部分に誤読があった場合に、誤読部分を繰り返し再読させ、再読した回数に応じて、誤読部分を漢字のままで識別表示させる処理と、誤読部分に対応するひらがなを表示させるか、あるいは、誤読部分に対応する音声データを出力させる処理のいずれかを選択し、選択された処理を実行する、ことを特徴とする。 In order to solve the above problems, an electronic device according to one aspect of the present invention includes a text display unit that displays a text including a Chinese character on a display, a voice recognition unit that recognizes the content of a voice uttered by a user, and the voice. The text corresponding to the voice of the user recognized by the recognition means is compared with the displayed text for each part, and when there is a mismatch between the two texts, a plurality of types are based on the content of the mismatch. Of the erroneous reading, and processing means for performing different processing depending on the type of erroneous reading judged by the determining means , wherein the processing means includes a kanji part of the text. When there is a misread, the misread part is repeatedly reread, and the process of identifying and displaying the misread part as kanji according to the number of times of rereading and displaying the hiragana corresponding to the misread part, or It is characterized in that any one of the processes for outputting the corresponding audio data is selected and the selected process is executed .

本発明によれば、ユーザによりテキストの誤読があった場合に、ユーザの読み方が正しい読み方になるように適切に学習させることが可能となる。 According to the present invention, when a user misreads a text, it is possible to appropriately learn how to read correctly by the user.

電子機器の概観を示す平面図である。It is a top view showing the appearance of an electronic device. 電子機器の別の構成例を表す図である。It is a figure showing another structural example of an electronic device. 電子機器の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of an electronic device. 電子機器のCPUが行う各処理を説明するフローチャートである。It is a flow chart explaining each processing which a CPU of electronic equipment performs. (A)〜(C)ディスプレイ上の表示内容等を表す図である。(A) ~ (C) It is a figure showing the display content etc. on a display. 学習テキストの構成例を表す図である。It is a figure showing the structural example of a learning text. (A)〜(D)ディスプレイ上の表示内容等を表す図である。(A)-(D) It is a figure showing the display content etc. on a display. 再読処理における各処理を説明するフローチャートである。It is a flow chart explaining each processing in re-reading processing. 学習モードを逐次モードから全文モードに自動的に切り替えるように構成してもよいことを説明するフローチャートである。9 is a flowchart illustrating that the learning mode may be configured to be automatically switched from the sequential mode to the full-text mode.

以下、本発明に係る電子機器の実施の形態について、図面を参照して説明する。なお、以下では、電子機器1が、図1に示すようなハンディな一体型の電子機器である場合について説明するが、発明の範囲は、図示例に限定されない。 Embodiments of an electronic device according to the present invention will be described below with reference to the drawings. In addition, below, although the case where the electronic device 1 is a handy integrated electronic device as shown in FIG. 1 is described, the scope of the invention is not limited to the illustrated example.

すなわち、本発明は、例えば図2に示すように、携帯情報端末やスマートフォン等の端末102とメインコンピュータ101とを回線や無線塔で結び、ユーザに端末102を操作させ、それに応じてメインコンピュータ101で種々の処理を行い、メインコンピュータ101から端末102に必要なデータ等を送信する等して、端末102上に学習テキストを表示させたり端末102上で音声を再生させたりする場合にも適用される。そして、この場合は、メインコンピュータ101が、本発明に係る電子機器に相当する。 That is, according to the present invention, for example, as shown in FIG. 2, a terminal 102 such as a portable information terminal or a smart phone and a main computer 101 are connected by a line or a wireless tower, and a user operates the terminal 102, and the main computer 101 is operated accordingly. It is also applied to the case where various kinds of processing are performed and necessary data and the like are transmitted from the main computer 101 to the terminal 102 so that the learning text is displayed on the terminal 102 or the voice is reproduced on the terminal 102. It In this case, the main computer 101 corresponds to the electronic device according to the present invention.

図1は、本実施形態に係る電子機器の平面図である。図1に示すように、電子機器1は、ディスプレイ2、入力キー群3、マイクロフォン4、スピーカ5等を備えている。 FIG. 1 is a plan view of an electronic device according to this embodiment. As shown in FIG. 1, the electronic device 1 includes a display 2, an input key group 3, a microphone 4, a speaker 5, and the like.

ディスプレイ2は、学習テキストを表示したり、ユーザによる入力キー群2の操作に応じた文字や符号等の各種データを白黒またはカラーで表示する部分であり、液晶ディスプレイ(Liquid Crystal Display)等により構成されている。また、本実施形態では、ディスプレイ2は、いわゆるタッチパネルと一体的に形成されており、例えばユーザがディスプレイ2上に指やタッチペン102a(図2参照)等で文字等を記載することで、その文字等を入力することができるようになっている。なお、タッチパネルをディスプレイ2とは別に設けることも可能である。 The display 2 is a portion for displaying learning texts and various data such as characters and codes in black and white or color according to the operation of the input key group 2 by the user, and is configured by a liquid crystal display (Liquid Crystal Display) or the like. Has been done. In addition, in the present embodiment, the display 2 is formed integrally with a so-called touch panel. For example, when the user writes characters on the display 2 with his/her finger or the touch pen 102a (see FIG. 2), Etc. can be entered. The touch panel can be provided separately from the display 2.

入力キー群3は、ユーザから電子機器1を操作するための操作を受ける各種キーを有している。具体的には、入力キー群2は、文字キー3aや、決定キー3b、カーソルキー3c、MENUキー3d、戻るキー3e等を有している。 The input key group 3 has various keys that are operated by a user to operate the electronic device 1. Specifically, the input key group 2 includes a character key 3a, an enter key 3b, a cursor key 3c, a MENU key 3d, a return key 3e, and the like.

文字キー3aは、ユーザによる文字の入力等に使用されるキーであり、本実施形態では“A”〜“Z”キーを備えている。決定キー3bは、ユーザが行う選択処理等の際に決定を指示するキーである。カーソルキー3cは、ディスプレイ2の画面内のカーソル位置の移動等に使用されるキーであり、本実施形態においては上下左右の方向を指定可能となっている。また、MENUキー3dはユーザが選択するコンテンツ等を一覧表示させるためのキーである。また、戻るキー3eは、現在行われている処理をやめてその処理に移行する直前の処理に戻る際に押下されるキーである。 The character keys 3a are keys used by the user to input characters, and in the present embodiment, the character keys 3a include "A" to "Z" keys. The decision key 3b is a key for instructing a decision in the selection process or the like performed by the user. The cursor key 3c is a key used to move the cursor position on the screen of the display 2, and in the present embodiment, the up, down, left, and right directions can be designated. The MENU key 3d is a key for displaying a list of contents and the like selected by the user. The return key 3e is a key that is pressed when returning to the process immediately before the current process is stopped and the process is shifted to the current process.

[内部構成]
次に、電子機器1の内部構造について説明する。図3は、電子機器1の内部構成を示すブロック図である。図3に示すように、電子機器1は、CPU(Central Processing Unit)11、表示部12、キー入力部13、音声入力部14、音声出力部15、記憶部30、RAM(Random Access Memory)40等がそれぞれ接続されて構成されている。
[Internal configuration]
Next, the internal structure of the electronic device 1 will be described. FIG. 3 is a block diagram showing an internal configuration of the electronic device 1. As shown in FIG. 3, the electronic device 1 includes a CPU (Central Processing Unit) 11, a display unit 12, a key input unit 13, a voice input unit 14, a voice output unit 15, a storage unit 30, a RAM (Random Access Memory) 40. Etc. are connected to each other.

なお、図2に示したように、メインコンピュータ101と端末102とで構成する場合には、端末102には、図3に示した各部のうち、表示部12やキー入力部13、音声入力部14、音声出力部15等が搭載され、それらが図示しない入出力制御部により制御される。そして、この端末102側の入出力制御部と、電子機器1であるメインコンピュータ101のCPU11との間で直接或いは基地局等を介してデータ等のやり取りが行われるように構成される。 When the main computer 101 and the terminal 102 are configured as shown in FIG. 2, the terminal 102 includes a display unit 12, a key input unit 13, and a voice input unit among the units shown in FIG. 14, an audio output unit 15, etc. are mounted, and these are controlled by an input/output control unit (not shown). Data is exchanged between the input/output control unit on the side of the terminal 102 and the CPU 11 of the main computer 101 which is the electronic device 1 directly or via a base station or the like.

表示部12は、上記のディスプレイ2を備えており、CPU11の指示に従ってディスプレイ2上に学習テキスト等の情報を表示するようになっている。キー入力部13は、上記の入力キー群3を備えており、ユーザにより入力キー群3の操作が行われると、操作されたキーに対応する情報をCPU11に送信するようになっている。 The display unit 12 includes the display 2 described above, and displays information such as a learning text on the display 2 according to an instruction from the CPU 11. The key input unit 13 includes the input key group 3 described above, and when the user operates the input key group 3, the key input unit 13 transmits information corresponding to the operated key to the CPU 11.

音声入力部14は、上記のマイクロフォン4を備えており、ユーザが発した音声がマイクロフォン4から入力されると、それをCPU11に送信するようになっている。音声出力部15は、上記のスピーカ5を備えており、必要に応じて、CPU11の指示に従って音声データや録音データを再生してスピーカ5から発声させることができるようになっている。 The voice input unit 14 includes the microphone 4 described above, and when the voice uttered by the user is input from the microphone 4, it is transmitted to the CPU 11. The voice output unit 15 includes the above-mentioned speaker 5, and can reproduce voice data or recorded data according to an instruction from the CPU 11 and cause the speaker 5 to utter when necessary.

記憶部30は、電子機器1の各種機能を実現するための制御プログラムや各種データ等を記憶している。本実施形態では、記憶部30は、制御プログラムや後述する本発明に係るプログラムを記憶する記憶領域31と、音声認識プログラムを記憶する記憶領域32と、学習テキストのデータベースを記憶する記憶領域33と、後述する学習記録データを記憶する記憶領域34とを備えている。 The storage unit 30 stores control programs and various data for realizing various functions of the electronic device 1. In the present embodiment, the storage unit 30 includes a storage area 31 for storing a control program and a program according to the present invention described later, a storage area 32 for storing a voice recognition program, and a storage area 33 for storing a database of learning texts. And a storage area 34 for storing learning record data described later.

なお、図3では、制御プログラムと音声認識プログラムが異なる記憶領域31、32にそれぞれ記載されているように記載されているが、これは、本実施形態では、電子機器1が音声認識プログラムを有していることを示すための記載であり、音声認識プログラムを制御プログラムとは別の記憶領域に記憶させることを意味するものではない。また、記憶部40には、その他、国語辞典や英和辞典等の各辞書データが収容された辞書データベース等の必要なデータ等を記憶させておいてもよい。 In FIG. 3, the control program and the voice recognition program are described as being stored in different storage areas 31 and 32, respectively. However, this means that in the present embodiment, the electronic device 1 has the voice recognition program. However, this does not mean that the voice recognition program is stored in a storage area different from that of the control program. In addition, the storage unit 40 may also store necessary data such as a dictionary database accommodating each dictionary data such as a Japanese dictionary and an English-Japanese dictionary.

RAM40は、CPU11の作業領域として機能するメモリであり、ディスプレイ2上に表示させる学習テキスト等の表示データを一時的に記憶する記憶領域41や、ユーザが発した音声を録音した録音データを記憶する記憶領域42等を備えている。 The RAM 40 is a memory that functions as a work area of the CPU 11, and stores a storage area 41 that temporarily stores display data such as learning texts to be displayed on the display 2 and recording data that records a voice uttered by a user. The storage area 42 and the like are provided.

CPU11は、表示部12やキー入力部13、音声入力部14、音声出力部15、記憶部30、RAM40等と接続されている。そして、CPU11は、キー入力部13やディスプレイ2のタッチパネル等から入力される指示に応じて所定のプログラムに基づいた処理を実行し、各機能部への指示やデータの転送等を行い、電子機器1を統括的に制御するようになっている。 The CPU 11 is connected to the display unit 12, the key input unit 13, the voice input unit 14, the voice output unit 15, the storage unit 30, the RAM 40, and the like. Then, the CPU 11 executes a process based on a predetermined program in response to an instruction input from the key input unit 13 or the touch panel of the display 2, and performs an instruction and data transfer to each functional unit, and the electronic device. 1 is controlled comprehensively.

具体的には、CPU11は、ユーザにより入力キー群3が操作されて入力された操作信号や、ディスプレイ2のタッチパネルにユーザがタッチして入力された操作信号等が、キー入力部13や表示部12等から送信されると、入力される操作信号等に応じて記憶部30に格納された各種プログラムを読み出し、当該プログラムに従って処理を実行する。そして、CPU11は、処理結果をRAM40に一時的に保存するとともに、処理結果を表示部12に送ってディスプレイ2上に表示させる。 Specifically, the CPU 11 receives an operation signal input by the user operating the input key group 3 and an operation signal input by the user touching the touch panel of the display 2 and the like on the key input unit 13 and the display unit. When transmitted from 12 or the like, various programs stored in the storage unit 30 are read according to the input operation signal and the like, and the processes are executed in accordance with the programs. Then, the CPU 11 temporarily stores the processing result in the RAM 40 and sends the processing result to the display unit 12 to display it on the display 2.

また、CPU11は、ユーザの操作により音読学習が開始される等して学習テキストを表示させる場合には、記憶部30の記憶領域33に記憶された学習テキストのデータベースから指定された学習テキストを読み出して表示部12に送信して、ディスプレイ2上に当該学習テキストを表示させる。そして、表示部12から現在ディスプレイ2上に表示させているデータの情報が送信されてくると、それを表示データとしてRAM40の記憶領域41に一時的に記憶させる。 Further, the CPU 11 reads out the designated learning text from the database of the learning text stored in the storage area 33 of the storage unit 30 when the learning text is displayed by the user's operation to start the reading learning. The learning text is transmitted to the display unit 12 and displayed on the display 2. Then, when the information of the data currently displayed on the display 2 is transmitted from the display unit 12, it is temporarily stored in the storage area 41 of the RAM 40 as display data.

また、CPU11は、ユーザが発した音声がマイクロフォン4から入力され、音声入力部14からその情報が送信されてくると、それを録音してRAM40の記憶領域42に録音データとして記憶させるようになっている。また、CPU11は、録音データや他の音声データ等を再生する指示があった場合は、RAM40や記憶部30から必要なデータを読み出して音声出力部15に送り、スピーカ5で再生させる等の種々の処理を行うようになっている。 Further, when the voice uttered by the user is input from the microphone 4 and the information is transmitted from the voice input unit 14, the CPU 11 records the information and stores it in the storage area 42 of the RAM 40 as recorded data. ing. In addition, when there is an instruction to reproduce recorded data or other audio data, the CPU 11 reads out necessary data from the RAM 40 or the storage unit 30, sends it to the audio output unit 15, and causes the speaker 5 to reproduce it. It is designed to perform the processing of.

[動作]
次に、本実施形態に係る電子機器1で音読学習を行う際の電子機器1の動作について、図4等に示すフローチャート等に基づいて説明する。また、本実施形態に係る電子機器1の作用についてもあわせて説明する。なお、以下で説明する電子機器1の動作は、前述した本発明に係るプログラムに従って行われるため、以下の説明は、本発明に係るプログラムについての説明にもなっている。
[motion]
Next, the operation of the electronic device 1 when performing the reading aloud with the electronic device 1 according to the present embodiment will be described based on the flowchart shown in FIG. 4 and the like. The operation of the electronic device 1 according to this embodiment will also be described. Since the operation of the electronic device 1 described below is performed according to the program according to the present invention described above, the following description is also an explanation of the program according to the present invention.

ユーザによりMENUキー3d(図1参照)が押下され、音読学習が選択されると、CPU11は、図5(A)に示すように、ディスプレイ2上に音読学習のメニューを一覧表示する(ステップS1)。 When the user presses the MENU key 3d (see FIG. 1) and selects the reading aloud, the CPU 11 displays a list of the reading aloud menus on the display 2 as shown in FIG. 5A (step S1). ).

なお、ディスプレイ2上にカーソルを表示したり、文字等を後述するハイライト表示したりする場合、実際にはディスプレイ2上の文字等の背景の部分が所定の色や濃さ等を付して表示されるが、図面上で文字等の背景に網掛け等を付して記載すると文字等が見づらくなる。そのため、図5(A)以下の各図では、カーソルや、文字等がハイライト表示されている状態を、文字等を単に四角で囲う形で表す。図5(A)の四角はカーソル位置を表している。なお、図5(B)では、以下で説明するように、各四角はそれぞれアイコンを表している。 When displaying a cursor on the display 2 or highlighting characters or the like which will be described later, the background portion of the characters or the like on the display 2 is actually given a predetermined color or darkness. Although it is displayed, it is difficult to see the letters and the like when the letters and the like are shaded on the background of the drawing. Therefore, in each of FIG. 5A and the subsequent figures, the state in which the cursor, characters, etc. are highlighted is shown by simply enclosing the characters, etc. in a square. Squares in FIG. 5A represent cursor positions. In FIG. 5B, each square represents an icon, as described below.

そして、ユーザによりそのメニューの中から学習対象として例えば「梅干しの作り方」が選択されると(ステップS2)、CPU11は、図5(B)に示すように、ディスプレイ2上に学習モードを選択するためのアイコンを表示する。本実施形態では、図5(B)に示すように、学習モードとして、「聞く(きく)」、「逐次(すこしずつ)」、「全文(ぜんぶ)」のいずれかのモードを選択できるようになっており、ユーザが右や左のカーソルキー3cを操作することで選択できるようになっている。 Then, when the user selects, for example, "how to make umeboshi" from the menu as a learning target (step S2), the CPU 11 selects the learning mode on the display 2 as shown in FIG. 5(B). Display an icon for. In the present embodiment, as shown in FIG. 5B, as a learning mode, any one of “listening (quick)”, “sequential (slightly)”, and “full sentence” can be selected. The user can select by operating the right and left cursor keys 3c.

[聞くモードの場合]
そして、CPU11は、ユーザにより聞くモード(すなわち図5(B)の「聞く(きく)」のアイコン)が選択された場合には(ステップS3;Yes)、記憶部30の記憶領域33に記憶されている学習テキストのデータベースの中から「梅干しの作り方」の学習テキストのデータを読み出す。その際、本実施形態では、学習テキストTの構成は、図6に示すように、学習テキストTを全文表示するためのテキストデータである表示テキストデータt1と、表示テキストデータt1に対応する音声データt2と、部分データt3と、部分ひらがなデータt4とで構成されている。なお、部分データt3や部分ひらがなデータt4については後で説明する。
[In listening mode]
Then, when the user selects the listening mode (that is, the "listen (quick) icon" in FIG. 5B) (step S3; Yes), the CPU 11 stores the storage mode in the storage area 33 of the storage unit 30. The learning text data of "how to make umeboshi" is read from the database of learning texts. At that time, in the present embodiment, the structure of the learning text T is, as shown in FIG. 6, display text data t1 which is text data for displaying the learning text T in full text, and voice data corresponding to the display text data t1. It is composed of t2, partial data t3, and partial hiragana data t4. The partial data t3 and the partial hiragana data t4 will be described later.

CPU11は、上記のように聞くモードが選択された場合(ステップS3;Yes)、読み出した学習テキストT中の表示テキストデータt1に基づいて、図5(C)に示すようにディスプレイ2上に「梅干しの作り方」のテキストを全文表示させる(ステップS4)とともに、学習テキストT中の音声データt2を音声出力部15に送信し、音声出力部15に「梅干しの作り方」の学習テキストTの音声データを再生させて(ステップS5)、スピーカ5から出力させる。 When the listening mode is selected as described above (step S3; Yes), the CPU 11 displays "" on the display 2 as shown in FIG. 5C based on the display text data t1 in the read learning text T. The whole text of "how to make umeboshi" is displayed (step S4), and the voice data t2 in the learning text T is transmitted to the voice output unit 15, and the voice data of the learning text T of "how to make umeboshi" is output to the voice output unit 15. Is reproduced (step S5) and output from the speaker 5.

このように、聞くモードでは、ユーザが選択した「梅干しの作り方」のテキストが全文表示されるとともにその音声が再生されるため、ユーザがテキストを読みながら音声を聞くことで、正しい読み方を理解して覚える学習を行うことが可能となる。 In this way, in the listening mode, the entire text of the “how to make umeboshi” selected by the user is displayed and its voice is played back, so that the user can understand the correct reading by listening to the voice while reading the text. It is possible to learn by learning.

[逐次モードの場合]
次に、ユーザにより逐次モード(すなわち図5(B)の「逐次(すこしずつ)」のアイコン)が選択された場合について説明する。CPU11は、図5(B)に示したアイコンの中から「逐次(すこしずつ)」が選択され、逐次モードが選択されると(ステップS6;Yes)、図5(C)に示したようにディスプレイ2上に「梅干しの作り方」のテキストを全文表示させる(ステップS7)。
[For sequential mode]
Next, the case where the user selects the sequential mode (that is, the “sequential (slightly)” icon in FIG. 5B) will be described. When “sequential (slightly)” is selected from the icons shown in FIG. 5(B) and the sequential mode is selected (step S6; Yes), the CPU 11 displays the result as shown in FIG. 5(C). The entire text of "how to make umeboshi" is displayed on the display 2 (step S7).

そして、CPU11は、逐次モードでは、図7(A)に示すように、学習テキストTを複数の部分に分割した場合の各部分pのうち、ユーザが読むべき部分pを他とは区別されるようにディスプレイ2上に表示させる。すなわち、ユーザが読む部分pをディスプレイ2上にハイライト表示させる(ステップS8)。 Then, in the sequential mode, the CPU 11 distinguishes the part p to be read by the user from the other parts among the parts p when the learning text T is divided into a plurality of parts, as shown in FIG. 7A. To be displayed on the display 2. That is, the portion p read by the user is highlighted on the display 2 (step S8).

この場合、ハイライト表示は、前述したように、ディスプレイ2上の文字等の背景の部分が所定の色や濃さ等を付して表示するように構成することも可能であるが、例えば、文字自体の色を変えたり、文字等を表示する大きさを変える等して表示するように構成することも可能であり、ハイライト表示されている部分pがディスプレイ2上の他の部分とは区別して識別されるように表示されていれば、どのような形態であってもよい。 In this case, the highlight display can be configured such that the background portion such as characters on the display 2 is displayed with a predetermined color or darkness as described above. It is also possible to change the color of the characters themselves or change the size of the characters to be displayed, so that the highlighted part p is different from the other parts on the display 2. Any form may be used as long as it is displayed so as to be distinguished and identified.

また、学習テキストT(図6参照)は、上記のように学習テキストTの全文に対応する表示テキストデータt1の他に、上記のように学習テキストTを複数の部分に分割した場合の各部分pに対応する各部分データt3を有している。そして、CPU11は、上記のようにして逐次モードが選択されると、図7(A)に示すように、各部分データt3のうち最初の部分データt3「梅干しの作り方を」を読み出して、それに対応する部分pをハイライト表示させるようになっている。 In addition to the display text data t1 corresponding to the whole sentence of the learning text T as described above, the learning text T (see FIG. 6) also includes each part when the learning text T is divided into a plurality of parts as described above. It has each partial data t3 corresponding to p. Then, when the sequential mode is selected as described above, the CPU 11 reads out the first partial data t3 “how to make umeboshi” among the partial data t3 as shown in FIG. The corresponding part p is highlighted.

なお、上記の部分p(および部分データt3)を文節ごとすることも可能であるが、上記の部分pを文節ごととすると、文章の分け方が細か過ぎるように感じられ、音読がぎこちなく感じられる虞れがあるため、本実施形態では、上記の部分pは、1つまたは複数の文節を含む一まとまりの意味内容を含む部分とされている。 It is possible to use the above-mentioned part p (and the partial data t3) for each phrase. However, if the above-mentioned part p is used for each phrase, it seems that the division of the sentence is too fine, and the reading aloud is awkward. Therefore, in the present embodiment, the part p is a part including a group of meaning contents including one or more clauses.

CPU11は、図7(A)に示すように、ユーザがハイライト表示されたテキストの部分pを音読すると、マイクロフォン4から入力され音声入力部14から送信されてきたユーザが発した音声を、それを録音し、録音データとしてRAM40の記憶領域42に記憶させるとともに(ステップS9)、音声認識プログラムに基づいて録音データを解析して、録音したユーザの音声の内容を認識する音声認識処理を行うようになっている(ステップS9)。なお、音声認識処理については公知の内容であるから説明を省略する。 As shown in FIG. 7A, when the user reads aloud the highlighted portion p of the text, the CPU 11 outputs the voice uttered by the user, which is input from the microphone 4 and transmitted from the voice input unit 14. Is recorded in the storage area 42 of the RAM 40 as recorded data (step S9), the recorded data is analyzed based on the voice recognition program, and a voice recognition process for recognizing the content of the recorded voice of the user is performed. (Step S9). Note that the voice recognition processing is publicly known and will not be described.

続いて、CPU11は、音声認識処理で認識したユーザの音声の内容と、学習テキストTの内容とを比較する。この場合は、音声認識処理で認識したユーザの音声の内容と、学習テキストTのうちディスプレイ2上でハイライト表示させている部分pに対応する部分データt3「梅干しの作り方を」とを比較する。 Subsequently, the CPU 11 compares the content of the user's voice recognized by the voice recognition process with the content of the learning text T. In this case, the content of the user's voice recognized in the voice recognition process is compared with the partial data t3 “how to make umeboshi” corresponding to the highlighted portion p of the learning text T on the display 2. ..

そして、図7(A)に示した場合は、音声認識処理で認識したユーザの音声の内容と、学習テキストTのうちの当該部分pの内容(すなわち部分データt3)とが一致するため(ステップS10;Yes)、CPU11は、学習テキストTに次の部分pがあるか否かを判断し(ステップS11)、すなわち次の部分データt3があるか否かを判断し、この場合は次の部分データt3「三つに分けて」が存在するため(ステップS11;Yes)、ステップS8に戻り、図示を省略するが、次の「三つに分けて」の部分pをハイライト表示する。このようにして、学習テキストTの各部分pのハイライト表示と、ユーザによる音読、録音、音声認識処理とが繰り返される。 Then, in the case shown in FIG. 7A, the content of the user's voice recognized by the voice recognition process and the content of the portion p of the learning text T (that is, the partial data t3) match (step S). (S10; Yes), the CPU 11 determines whether or not the learning text T has the next portion p (step S11), that is, whether or not there is the next portion data t3, and in this case, the next portion. Since the data t3 “divide into three” exists (step S11; Yes), the process returns to step S8, and although not shown, the next “divide into three” part p is highlighted. In this way, the highlight display of each part p of the learning text T and the reading, recording and voice recognition processing by the user are repeated.

そして、例えば図7(B)に示すように、音声認識処理で認識したユーザの音声の内容と、学習テキストTのうちの当該部分pの内容(すなわち部分データt3)とが一致しない場合(ステップS10;No)、すなわち誤読があった場合には、CPU11は、再読処理(ステップS12)に移行する。 Then, as shown in FIG. 7B, for example, when the content of the user's voice recognized by the voice recognition process does not match the content of the part p of the learning text T (that is, the partial data t3) (step S3). S10; No), that is, if there is an erroneous reading, the CPU 11 shifts to the rereading process (step S12).

本実施形態では、再読処理は、図8に示すフローチャートに従って行われるようになっている。すなわち、図7(B)の場合は、読み間違いの誤読であるが(ステップS31;Yes)、ユーザによる読み間違いは初めてであるから(ステップS32;No)、CPU11は、ディスプレイ2上に表示されている学習テキストT中の誤読部分pe、すなわちこの場合は読み間違えた「水あらいです」の部分peを他の部分とは区別されて識別されるように識別表示させる(ステップS33)。 In the present embodiment, the rereading process is performed according to the flowchart shown in FIG. That is, in the case of FIG. 7B, the reading error is a misreading (step S31; Yes), but since the user makes the first reading error (step S32; No), the CPU 11 is displayed on the display 2. The misread portion pe in the learning text T, that is, the misreaded "water rough" portion pe in this case is identified and displayed so as to be distinguished from other portions (step S33).

その際、図7(B)に示したように「水あらいです」の読み間違い部分peがすでにハイライト表示されているため、CPU11は、例えば「水あらいです」の文字自体の色を変えたり、文字等を表示する大きさを変える等して表示するようにして識別表示させる。なお、この場合も、誤読部分peがディスプレイ2上の他の部分とは区別して識別されるように識別表示されていればよく、識別表示の仕方はどのような形態であってもよい。 At this time, as shown in FIG. 7(B), the misreading portion pe of "water rough" is already highlighted, so the CPU 11 changes the color of the character "water rough", for example. , The characters and the like are displayed in different sizes so as to be identified and displayed. Also in this case, it is sufficient that the misread portion pe is identified and displayed so as to be distinguished from the other portions on the display 2, and the identification display method may be any form.

そして、CPU11は、ブザー音等の効果音をスピーカ5から出力させてユーザに不正解であることを通知する等して、読み間違えた部分pe「水あらいです」を再読(すなわち読み直し)させるように指示する(ステップS34)。なお、この他に、或いは効果音に加えて、誤読部分peを点滅させたり、或いは「もう一度読んで」等の音声をスピーカ5から出力させる等して再読を指示するように構成することも可能であり、再読の指示の態様もどのような態様であってもよい。 Then, the CPU 11 outputs a sound effect such as a buzzer sound from the speaker 5 to notify the user that the answer is incorrect, and causes the user to re-read (ie, re-read) the misread portion pe “water rough”. (Step S34). In addition to this, or in addition to the sound effect, the misread portion pe may be blinked, or a voice such as "read again" may be output from the speaker 5 to instruct rereading. The reread instruction may be in any form.

そして、CPU11は、前述した図4のステップS9、S10と同様に、ユーザが再読した音声を録音して音声認識処理を行い(ステップS35)、音声認識処理で認識したユーザの音声の内容が学習テキストTの部分p「水あらいです」と一致すれば(ステップS36;Yes)、チャイム音等の効果音をスピーカ5から出力させてユーザに正解であることを通知する等して、再読処理を終了して、図4に示したフローに戻る。 Then, the CPU 11 records the voice reread by the user and performs the voice recognition process (step S35), as in steps S9 and S10 of FIG. 4 described above, and the content of the voice of the user recognized by the voice recognition process is learned. If it matches the part p of the text T, "I am water," (step S36; Yes), the re-reading process is performed by outputting a sound effect such as a chime sound from the speaker 5 to notify the user that the answer is correct. Upon completion, the process returns to the flow shown in FIG.

しかし、ユーザが再び読み間違え、音声認識処理で認識したユーザの音声の内容と学習テキストTの部分p「水(みず)あらいです」とが一致しない場合には(ステップS36;No)、CPU11は、再度、ブザー音等の効果音をスピーカ5から出力させてユーザに不正解であることを通知する。 However, when the user misreads again and the content of the user's voice recognized by the voice recognition process does not match the part p “Mizu Arai” of the learning text T (step S36; No), the CPU 11 , Again, a sound effect such as a buzzer sound is output from the speaker 5 to notify the user that the answer is incorrect.

そして、ステップS31の判断処理に戻り、CPU11は、ユーザが再び読み間違え(ステップS31;Yes)、読み間違いが2回生じたため(ステップS32;Yes)、今度は、学習テキストTの当該部分データt3「水あらいです」に対応する部分ひらがなデータt4「みずあらいです」(図6参照)を読み出して、図7(C)に示すように、誤読部分pe「水あらいです」に代えて「みずあらいです」を表示させる(ステップS37)。 Then, returning to the determination process of step S31, the CPU 11 misreads the user again (step S31; Yes), and the reading error occurs twice (step S32; Yes). This time, the partial data t3 of the learning text T is read. The partial hiragana data t4 “Mizuarai” (see FIG. 6) corresponding to “Mirai” is read (see FIG. 6), and as shown in FIG. 7(C), the misread portion pe “Mirai” is replaced with “Mizurai”. Is displayed (step S37).

このように、学習テキストTのうち、部分ひらがなデータt4とは、それに対応する部分データt3をすべてひらがなで表したデータである。なお、ユーザに正解を知らせる方法としては、このように読み間違い部分peをひらがなで表示する(ステップS37)ように構成する代わりに、漢字にふりがなを付加して表示したり、或いは部分データt3に対応する音声データ「みずあらいです」をスピーカ5から出力するように構成することも可能であり、どのような形態であってもよい。 As described above, in the learning text T, the partial hiragana data t4 is data in which all the corresponding partial data t3 are represented in hiragana. As a method of informing the user of the correct answer, instead of displaying the misreading portion pe in hiragana (step S37), a kanji is added with furigana or displayed, or the partial data t3 is displayed. Corresponding voice data "Mizuararai" can be configured to be output from the speaker 5, and any form is possible.

そして、CPU11は、読み間違えた部分pe「水あらいです」を再読させるように指示する(ステップS34)。このように、本実施形態では、CPU11は、ユーザが誤読をするごとに、ユーザにその誤読部分pe(この場合は「水あらいです」の部分)の再読を繰り返し指示するようになっている。 Then, the CPU 11 gives an instruction to reread the misread portion pe “water rough” (step S34). As described above, in the present embodiment, the CPU 11 repeatedly instructs the user to re-read the misread portion pe (in this case, "water rough" portion) every time the user misreads.

そして、CPU11は、図7(C)に示すように、ユーザが正しく「みずあらいです」と発声して、音声認識処理で認識したユーザの音声の内容が学習テキストTの部分p「水あらいです」と一致すれば(ステップS36;Yes)、チャイム音等の効果音をスピーカ5から出力させてユーザに正解であることを通知する等して、再読処理を終了して、図4に示したフローに戻る。 Then, as shown in FIG. 7(C), the CPU 11 correctly utters "Mirai Arai" by the user, and the content of the user's voice recognized by the voice recognition process is the part p "Water Arai" of the learning text T. 4” (step S36; Yes), a sound effect such as a chime sound is output from the speaker 5 to notify the user that the answer is correct, and the rereading process ends, and the process shown in FIG. Return to flow.

一方、本実施形態では、図7(D)に示すように、ユーザが、ディスプレイ2上に表示された学習テキストTの「注意しましょう」の部分pで「注意」が読めずに読み飛ばしたような場合、すなわち誤読が読み飛ばしである場合には、CPU11は、正解を教えないようになっている。 On the other hand, in the present embodiment, as shown in FIG. 7(D), the user skips “Caution” in the learning text T displayed on the display 2 without being able to read “Caution”. In such a case, that is, when the erroneous reading is skipped, the CPU 11 does not teach the correct answer.

具体的には、この場合の誤読の内容は読み間違いではなく(ステップS31;No)、読み飛ばしであるから(ステップS38;Yes)、CPU11は、ディスプレイ2上に表示されている学習テキストT中の誤読部分pe、すなわちこの場合は読み飛ばした「注意しましょう」の部分peを他の部分とは区別されて識別されるように識別表示させる(ステップS39)。 Specifically, the content of the misread in this case is not a misread (step S31; No), and is skipped (step S38; Yes). Therefore, the CPU 11 selects the learning text T displayed on the display 2. The erroneously read part pe, that is, the part pe of "let's be careful" skipped in this case is displayed so as to be distinguished from the other parts (step S39).

なお、本実施形態では、前述した学習テキストTの部分データt3が、「注意/しましょう」や「水あらい/です」のように、より細かい文節や単語ごとに区切りが入った状態で記憶されている。そして、CPU11は、ユーザが区切られた文節や単語を全て発声しているが間違いがある場合の誤読を読み間違いと判断し、ユーザが区切られた文節や単語のうちの一部を発声しなかった場合の誤読を読み飛ばしとして判断するようになっている。 Note that in the present embodiment, the partial data t3 of the learning text T described above is stored in a state in which finer phrases and words are divided into words, such as “Caution/Let's do” and “Mizu Arai/Do”. ing. Then, the CPU 11 determines that misreading is incorrect when the user utters all the delimited phrases and words, but the user does not utter some of the delimited phrases and words. It is designed so that misreading in case of failure is skipped.

そして、ユーザが何度読み飛ばしても(ステップS38;Yes)、読み飛ばし部分peを識別表示させるだけで(ステップS39)、読み間違いの場合のステップS37の処理のように正解は表示せず、ブザー音等の効果音をスピーカ5から出力させてユーザに不正解であることを通知する等して再読させる(ステップS35)。本実施形態では、このようにして、ユーザを、正解の読みを思い出させる方向に向かわせるようになっている。 Then, no matter how many times the user skips reading (step S38; Yes), only the skipped portion pe is identified and displayed (step S39), and the correct answer is not displayed like the processing of step S37 in the case of a reading error, A sound effect such as a buzzer sound is output from the speaker 5 to notify the user that the answer is incorrect and read again (step S35). In this way, in the present embodiment, the user is directed in a direction that reminds them of correct reading.

そして、ユーザが読み飛ばしではなく、何らかの言葉を発声したが、読み間違いである場合には、CPU11は、前述したように処理(ステップS31〜S33、S37)を行って、最終的に正解をひらがなで表示させるようになっている(ステップS37)。 Then, the user uttered some words instead of skipping the reading, but if the reading is incorrect, the CPU 11 performs the processing (steps S31 to S33, S37) as described above, and finally reads the correct answer. Is displayed in step S37 (step S37).

逐次モードの場合は、以上のようにして、CPU11は、ユーザに学習テキストTを各部分pごとに(すなわち逐次)読ませていき、誤読があった場合には、ユーザが正しい読み方で読めるようになるまでユーザに再読を繰り返し指示する。そして、ユーザが学習テキストTの最後まで正しく読んだ時点で(図4のステップS11;No)、音読学習を終了するようになっている。 In the case of the sequential mode, the CPU 11 causes the user to read the learning text T for each part p (that is, sequentially) as described above, and if there is an erroneous reading, the user can read it in the correct reading manner. Repeatedly instruct the user to read again until. Then, when the user correctly reads the learning text T to the end (step S11; No in FIG. 4), the reading aloud learning is finished.

なお、下記の全文モードの場合も同様であるが、例えば、音読学習のメニューごとに、すなわち図5(A)に示した例で言えば音読学習のメニュー「おばあさんの話」、「梅干しの作り方」、「たくあんの作り方」ごとにユーザの誤読部分peの数(すなわち何箇所誤読したか)を前述した学習記録データとして記憶部30の記憶領域34(図3参照)に記憶させておくように構成することも可能である。 The same applies to the case of the following full-text mode, but for example, for each reading-aloud learning menu, that is, in the example shown in FIG. For each “how to make takuan”, the number of misread portions pe of the user (that is, how many misreads) is stored in the storage area 34 (see FIG. 3) of the storage unit 30 as the above-described learning record data. It is also possible to configure.

また、その際、どのような誤読をしたかの記録を残すため、例えば、RAM40に記憶されている、ユーザが発した音声の全ての録音データ、或いは誤読部分peの録音データも記憶部30の記憶領域34に学習記録データとして記憶させておくように構成することも可能である。このように構成すれば、過去の録音データを再生して聞き直すことで、過去にどのような誤読を行ったかを確認することが可能となる。なお、この他にも、音読学習の際のユーザの種々のデータを学習記録データとして記憶させておくことが可能である。 Further, at that time, in order to leave a record of what misread is made, for example, all the recorded data of the voice uttered by the user or the recorded data of the misread portion pe stored in the RAM 40 is also stored in the storage unit 30. It is also possible to store the learning record data in the storage area 34. With this configuration, it is possible to confirm what kind of erroneous reading has been made in the past by reproducing the past recorded data and listening again. In addition to this, it is possible to store various data of the user at the time of learning reading aloud as learning record data.

[全文モードの場合] [In full text mode]

次に、全文モードが選択された場合について説明する。 Next, the case where the full-text mode is selected will be described.

全文モードでは、CPU11は、ユーザに学習テキストTを全文を読ませ、誤読があった場合には、その誤読部分peが分かるように表示して、ユーザが正しい読み方で読めるようになるまでユーザに全文を再読させて音読学習を行うように構成される。以下、図4のフローチャート等に基づいて具体的に説明する。 In the full-sentence mode, the CPU 11 causes the user to read the entire learning text T, and if there is a misreading, displays the misreading portion pe so that the user can read it in a correct reading manner. It is configured to reread the whole sentence and learn reading aloud. Hereinafter, a specific description will be given based on the flowchart of FIG.

CPU11は、図5(B)に示した各アイコンIを表示した状態で、ユーザにより全文モード(すなわち「全文(ぜんぶ)」のアイコンI)が選択された場合(ステップS13;Yes)、記憶部30の記憶領域33に記憶されている学習テキストTのデータベースの中から「梅干しの作り方」の学習テキストTのデータを読み出し、表示テキストデータt1(図6参照)を表示部12に送信して、図5(C)に示したように、ディスプレイ2上に学習テキストTを全文表示させる(ステップS14)。 The CPU 11 displays the icons I shown in FIG. 5B, and when the user selects the full-text mode (that is, the icon I of "full text (zen)") (step S13; Yes), the storage unit. The data of the learning text T of "how to make umeboshi" is read from the database of the learning text T stored in the storage area 33 of 30, and the display text data t1 (see FIG. 6) is transmitted to the display unit 12, As shown in FIG. 5C, the learning text T is displayed in full text on the display 2 (step S14).

そして、CPU11は、ディスプレイ2上に「読んでみましょう」等のメッセージを表示したりスピーカ5から発声させる等して、ユーザに表示された学習テキストTの全文を音読するように促す。また、それと同時に、ユーザが音読する音声がマイクロフォン4から入力され音声入力部14から送信されてくると、それを録音し、録音データとしてRAM40の記憶領域42に記憶させる(ステップS15)。 Then, the CPU 11 prompts the user to read aloud the entire sentence of the learning text T displayed by displaying a message such as “Let's read it” on the display 2 or uttering it from the speaker 5. At the same time, when a voice read by the user is input from the microphone 4 and transmitted from the voice input unit 14, the voice is recorded and stored in the storage area 42 of the RAM 40 as recorded data (step S15).

録音は、ユーザの音読が終了(ステップS16;Yes)するまで続けられる。なお、例えば、音読が終了した時点でユーザが決定キー3bを押下することでCPU11が音読が終了したことを認識するように構成することも可能であり、例えば、ユーザが音声を発しない時間が所定時間継続する等した時点でCPU11が音読が終了したことを自動的に認識するように構成することも可能である。 Recording is continued until the user's reading aloud is completed (step S16; Yes). Note that, for example, when the user presses the decision key 3b at the time when the reading is finished, the CPU 11 can be configured to recognize that the reading is finished. It is also possible to configure that the CPU 11 automatically recognizes that the aloud reading has been completed when it continues for a predetermined time.

CPU11は、ユーザの音読が終了すると(ステップS16;Yes)、音声認識プログラムに基づいて録音データを解析して、録音したユーザの音声の内容を認識する音声認識処理を行う(ステップS17)。 When the user's reading is completed (step S16; Yes), the CPU 11 analyzes the recorded data based on the voice recognition program and performs a voice recognition process for recognizing the content of the recorded voice of the user (step S17).

この場合、誤読があったか否かの判断においては、CPU11は、例えば、音声認識処理で認識したユーザの音声の内容を、学習テキストTの各部分データt3(図6参照)に対応する各部分pに分割し、各部分pごとに、音声認識処理で認識したユーザの音声の内容と、学習テキストTの部分データt3とが一致するか否かを判断していくように構成される。そして、逐次モードの所で説明したように、誤読として、読み間違いや読み飛ばしがあったか否かを、学習テキストTの各部分pごとに判定していくようになっている。 In this case, in determining whether or not there is a misread, the CPU 11 determines, for example, the content of the user's voice recognized in the voice recognition process by each part p corresponding to each part data t3 (see FIG. 6) of the learning text T. It is configured to determine whether or not the content of the user's voice recognized by the voice recognition process and the partial data t3 of the learning text T match for each part p. Then, as described in the sequential mode, whether or not there is an erroneous reading or skipped reading as misreading is determined for each part p of the learning text T.

また、本実施形態では、全文モードの場合には、さらに、誤読として、読み間違いや読み飛ばしはなくても、例えば、「傷を/つけないように」や「間違いを/直し忘れる」のように区切って読むところを「傷をつけ/ないように」や「間違いを直し/忘れる」のように誤った区切り方で区切って読んだ場合、すなわち区切り間違いの場合も誤読として判断するようになっている。 Further, in the present embodiment, in the case of the full-text mode, even if there is no misreading or skipping as misreading, for example, “do not scratch/damage” or “do not forget to correct/correct” If you read the document in a delimited manner, such as "Don't hurt/prevent" or "Correct/forget mistakes", you can judge it as a misreading. ing.

本実施形態では、学習テキストTの部分データt3に、正しい読み方をした場合に区切りが入る位置(上記の「きずをつけないように」の場合には「きずを」と「つけないように」の間の位置)の情報が付帯されて記憶されており、CPU11は、ユーザがそれとは異なった位置で区切って読んだ場合に誤読(区切り間違い)として判断するようになっている。 In the present embodiment, a position where a break occurs in the partial data t3 of the learning text T when the correct reading is performed (in the case of "Do not make a flaw" described above, "make a flaw" and "Do not make a flaw"). Information) is additionally stored, and the CPU 11 is configured to judge that the user has misreaded the data (separation error) when the user separates and reads the information at a position different from that.

そして、CPU11は、音声認識処理で認識したユーザの音声の内容と、学習テキストTの全文とが一致し(ステップS18;Yes)、誤読(読み間違い、読み飛ばし、区切り間違い)がなかった場合には、ディスプレイ2上に「正しく読めました」等のメッセージを表示したりスピーカ5から発声させる等してユーザに学習テキストTの全文を正しく読むことができたことを通知する等して、音読学習を終了する。 Then, the CPU 11 matches the content of the user's voice recognized by the voice recognition process with the entire text of the learning text T (step S18; Yes), and when there is no erroneous reading (misreading, skipping, or erroneous division). Displays a message such as "Read correctly" on the display 2 or speaks from the speaker 5 to notify the user that the entire text of the learning text T has been correctly read. Finish learning.

また、CPU11は、誤読があった場合には、学習テキストT中の誤読があった部分pを、誤読部分peとして、誤読があったことを識別できる態様で表示(すなわちハイライト表示)させる。 Further, when there is a misread, the CPU 11 causes the misread part p in the learning text T to be displayed as a misread part pe in such a manner that the misread can be identified (that is, highlighted).

具体的には、CPU11は、読み間違いがあった場合には、ユーザが読み間違えた学習テキストTの誤読部分peをハイライト表示させるとともに、例えば上記のようにひらがな表示したり(図7(C)参照)、漢字にふりがなを付加して表示する等して、読み間違い部分peを正しく表示させる(ステップS19)。 Specifically, when there is a misreading, the CPU 11 highlights the misreading portion pe of the learning text T misread by the user, and displays the hiragana as described above (see FIG. 7C. )), the phonetic characters are added to the kanji and displayed, and the misreading portion pe is correctly displayed (step S19).

また、CPU11は、読み飛ばしがあった場合には、ユーザが読み飛ばした学習テキストTの部分peをハイライト表示させて、読み飛ばし部分peを識別表示させる(ステップS20)。さらに、区切り間違いがあった場合には、ユーザが区切り間違いをおかした学習テキストTの部分peをハイライト表示させるとともに、例えば上記の「傷を/つけないように」や「間違いを/直し忘れる」のように、間違えた区切りを正しい位置に表示させる(ステップS21)。 Further, when there is skipped reading, the CPU 11 highlights the part pe of the learning text T skipped by the user and identifies and displays the skipped part pe (step S20). Further, when there is a break, the user highlights the part pe of the learning text T in which the break is made, and, for example, the above-mentioned "Don't scratch/damage" or "Forget/correct the mistake". , The incorrect division is displayed at the correct position (step S21).

そして、CPU11は、ディスプレイ2上に「もう一度最初から読んでみましょう」等のメッセージを表示したり(ステップS22)、スピーカ5から発声させる等して、ユーザに学習テキストTの全文の再読を指示する。そして、CPU11は、誤読(読み間違い、読み飛ばし、区切り間違い)があるうちは、ユーザが正しい読み方で読むようになるまでステップS15〜S22の各処理を繰り返して、ユーザに再読を繰り返し指示する。 Then, the CPU 11 displays a message such as "Let's read it again from the beginning" on the display 2 (step S22), or causes the speaker 5 to speak, so that the user can reread the entire text of the learning text T. Give instructions. Then, the CPU 11 repeats the processing of steps S15 to S22 and repeatedly instructs the user to re-read while there is an erroneous reading (misreading, skipping, or punctuation error) until the user reads in the correct reading.

このように、CPU11は、全文モードの場合は、ユーザに学習テキストTの全文を読ませ、誤読があった場合には、ユーザが正しい読み方で読めるようになるまでユーザに学習テキストTの全文の再読を繰り返し指示する。そして、ユーザが学習テキストTの全文を最後まで正しく読んだ場合に(ステップS18;Yes)、ディスプレイ2上に「正しく読めました」等のメッセージを表示したりスピーカ5から発声させる等してユーザに学習テキストTの全文を正しく読むことができたことを通知する等して、音読学習を終了する。 In this way, the CPU 11 causes the user to read the entire text of the learning text T in the full text mode, and if there is an erroneous reading, the CPU 11 prompts the user to read the full text of the learning text T until the user can read the text in the correct way. Repeated reading instructions. Then, when the user has correctly read the entire text of the learning text T to the end (step S18; Yes), a message such as "Read correctly" is displayed on the display 2 or the speaker 5 is uttered. Is notified that all the sentences of the learning text T have been correctly read, and the reading aloud learning ends.

[効果]
以上のように、本実施形態に係る電子機器1やプログラムによれば、ユーザが学習テキストTを音読した際に、読み間違いや読み飛ばし、区切り間違い等の誤読があった場合に、電子機器1のCPU11が的確にそれを検出して、誤読部分peや学習テキストTの全文を再読させるため、ユーザの読み方が正しい読み方になるように適切に学習させることが可能となる。
[effect]
As described above, according to the electronic device 1 and the program according to the present embodiment, when the user misreads the learning text T, such as misreading, skipping, and erroneous reading, the electronic device 1 is read. The CPU 11 detects the error accurately and rereads the misread portion pe or the entire sentence of the learning text T, so that the user can appropriately learn the reading so that the reading is correct.

なお、上記の実施形態では、図5(B)に示したように、ユーザに逐次モードか全文モードか(或いは聞くモード)を選択させる場合について説明したが、例えば図9に示すように、最初は自動的に逐次モード(ステップS51)で音読学習を開始し、学習記録データとして記憶部30の記憶領域34(図3参照)に記憶させた、ユーザの誤読部分peの数(すなわち何箇所誤読したか)が基準以下になった時点で(ステップS52;Yes)、CPU11が学習モードを全文モード(ステップS53)に自動的に切り替えて、ユーザに音読学習を行わせるように構成することも可能である。 In the above embodiment, the case where the user selects the sequential mode or the full-text mode (or the listening mode) as shown in FIG. 5B has been described. However, as shown in FIG. Automatically starts reading aloud in the sequential mode (step S51), and stores the number of misread portions pe of the user stored in the storage area 34 (see FIG. 3) of the storage unit 30 as learning record data (that is, how many misreads). It is also possible to configure that the CPU 11 automatically switches the learning mode to the full-text mode (step S53) when the result is below the standard (step S52; Yes), and the user is made to perform the reading aloud learning. Is.

このように構成すれば、ユーザの音読のレベルが低い場合は逐次モードで音読学習を行わせ、ユーザのレベルが上がってきた時点で音読学習をより難易度が高い全文モードに切り替えることが可能となり、効果的にユーザの音読学習のレベルアップを図ることが可能となる。 With this configuration, when the user's reading level is low, the reading mode is sequentially learned, and when the user level rises, the reading mode can be switched to the full-text mode, which has a higher degree of difficulty. Thus, it is possible to effectively improve the level of the user's reading learning.

以上、本発明の実施形態を説明したが、本発明の範囲は、上記の実施形態等に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
ディスプレイ上にテキストを表示させるテキスト表示手段と、
ユーザが発した音声の内容を認識する音声認識手段と、
前記音声認識手段が認識した前記ユーザの音声の内容と、前記テキストの内容とを比較して、誤読があった場合には、前記テキスト中の誤読部分を他とは区別されて識別されるように表示させる誤読部分表示手段と、
誤読があった場合に、ユーザに再読を指示する再読指示手段と、
を備えることを特徴とする電子機器。
<請求項2>
前記テキスト表示手段は、前記テキストを複数の部分に分割した場合の各部分のうち、ユーザが読むべき部分を他とは区別されるように前記ディスプレイ上に表示させ、
前記誤読部分表示手段は、前記音声認識手段が認識した前記ユーザの音声の内容と、前記テキストの当該部分の内容とを比較して、誤読があった場合には、前記テキスト中の当該部分を、誤読部分として、誤読があったことを識別できる態様で表示させ、
前記再読指示手段は、誤読があるごとに、ユーザに当該誤読部分の再読を指示することを特徴とする請求項1に記載の電子機器。
<請求項3>
前記テキスト表示手段は、ユーザが読むべき前記テキストの全文を前記ディスプレイ上に表示させ、
前記誤読部分表示手段は、前記音声認識手段が認識した前記ユーザの音声の内容と、前記テキストの当該部分の内容とを比較して、誤読があった場合には、前記テキストのうち誤読があった部分を、誤読部分として、誤読があったことを識別できる態様で表示させ、
前記再読指示手段は、誤読があった場合には、ユーザに前記テキストの全文の再読を指示することを特徴とする請求項1に記載の電子機器。
<請求項4>
前記再読指示手段は、ユーザが正しい読み方で読むようになるまでユーザに再読を繰り返し指示することを特徴とする請求項1から請求項3のいずれか一項に記載の電子機器。
<請求項5>
前記誤読には、読み間違いおよび読み飛ばしが含まれることを特徴とする請求項1から請求項4のいずれか一項に記載の電子機器。
<請求項6>
前記誤読には、区切り間違いが含まれることを特徴とする請求項5に記載の電子機器。
<請求項7>
コンピュータを、
ディスプレイ上にテキストを表示させるテキスト表示手段と、
ユーザが発した音声の内容を認識する音声認識手段と、
前記音声認識手段が認識した前記ユーザの音声の内容と、前記テキストの内容とを比較して、誤読があった場合には、前記テキスト中の誤読部分を他とは区別されて識別されるように表示させる誤読部分表示手段と、
誤読があった場合に、ユーザに再読を指示する再読指示手段、
として機能させるためのプログラム。
Although the embodiments of the present invention have been described above, the scope of the present invention is not limited to the above embodiments and the like, and includes the scope of the invention described in the claims and the equivalent scope thereof.
The inventions described in the scope of the claims attached first to the application for this application will be additionally described below. The claim numbers listed in the appendices are as set forth in the claims initially attached to the application for this application.
[Appendix]
<Claim 1>
Text display means for displaying text on the display,
Voice recognition means for recognizing the content of the voice uttered by the user,
By comparing the content of the voice of the user recognized by the voice recognition unit with the content of the text, if there is a misread, the misread portion in the text is distinguished from the others. Misreading part display means to be displayed in,
Reread instruction means for instructing the user to reread when there is misreading,
An electronic device comprising:
<Claim 2>
The text display means displays, on the display, a part to be read by the user so as to be distinguished from other parts among the parts when the text is divided into a plurality of parts,
The misread portion display unit compares the content of the voice of the user recognized by the voice recognition unit with the content of the portion of the text, and if there is a misread, displays the portion of the text. , Display as a misreading part in a form that can identify that there was a misreading,
The electronic device according to claim 1, wherein the reread instruction unit instructs the user to reread the misread portion each time there is a misread.
<Claim 3>
The text display means displays the full text of the text to be read by the user on the display,
The misread portion display unit compares the content of the voice of the user recognized by the voice recognition unit with the content of the portion of the text, and if there is a misread, the misread portion is included in the text. Displayed as a misreading part, in a mode that can identify that there was a misreading,
The electronic device according to claim 1, wherein the reread instruction unit instructs the user to reread the entire text of the text when there is a misread.
<Claim 4>
The electronic device according to any one of claims 1 to 3, wherein the reread instruction unit repeatedly instructs the user to reread until the user reads in a correct reading.
<Claim 5>
The electronic device according to claim 1, wherein the erroneous reading includes erroneous reading and skipped reading.
<Claim 6>
The electronic device according to claim 5, wherein the erroneous reading includes a punctuation error.
<Claim 7>
Computer,
Text display means for displaying text on the display,
Voice recognition means for recognizing the content of the voice uttered by the user,
By comparing the content of the voice of the user recognized by the voice recognition unit with the content of the text, if there is a misread, the misread portion in the text is distinguished from the others. Misreading part display means to be displayed in,
Reread instruction means for instructing the user to reread when there is misreading,
Program to function as.

1 電子機器
2 ディスプレイ
11 CPU(テキスト表示手段、音声認識手段、誤読部分表示手段、再p 部分
pe 誤読部分
T 学習テキスト(テキスト)
1 electronic equipment 2 display 11 CPU (text display means, voice recognition means, misreading part display means, re-p part pe misreading part T learning text (text)

Claims (9)

ディスプレイ上に漢字を含むテキストを表示させるテキスト表示手段と、
ユーザが発した音声の内容を認識する音声認識手段と、
前記音声認識手段が認識した前記ユーザの音声に対応するテキストと、前記表示されているテキストとを部分毎に比較して、両者のテキストに不一致があった場合に、その不一致の内容に基づいて複数種類の誤読のいずれであるかを判断する判断手段と、
前記判断手段により判断された誤読の種類に応じて異なる処理を実行する処理手段と、
を備え
前記処理手段は、前記テキストの漢字部分に誤読があった場合に、誤読部分を繰り返し再読させ、再読した回数に応じて、誤読部分を漢字のままで識別表示させる処理と、誤読部分に対応するひらがなを表示させるか、あるいは、誤読部分に対応する音声データを出力させる処理のいずれかを選択し、選択された処理を実行する、電子機器。
Text display means for displaying text including kanji on the display,
Voice recognition means for recognizing the content of the voice uttered by the user,
The text corresponding to the voice of the user recognized by the voice recognition means is compared with the displayed text for each part, and if there is a mismatch between the two texts, based on the content of the mismatch. Judgment means for judging which of multiple types of misreading,
Processing means for performing different processing depending on the type of misreading judged by the judging means;
Equipped with
When the Chinese character portion of the text is erroneously read, the processing unit causes the erroneous reading portion to be reread repeatedly, and the erroneous reading portion is displayed in Chinese characters in accordance with the number of times of rereading. An electronic device that executes a selected process by selecting either a process of displaying a hiragana or a process of outputting audio data corresponding to a misread part .
前記判断手段が判断する複数種類の誤読は、前記表示されているテキストの各部分を、ユーザが発声しているが間違いがある読み間違い、ユーザが発声していない読み飛ばし、及びユーザが誤った区切り方で区切って読んだ区切り間違い、のうちの少なくとも1つの誤読を含む、
請求項1に記載の電子機器。
The plural kinds of misreading judged by the judgment means include misreading that each part of the displayed text is uttered by the user but erroneous, skipped by the user not uttered, and erroneous by the user. Including at least one of the mistaken readings that were read by separating them according to the division method,
The electronic device according to claim 1.
前記判断手段が判断する複数種類の誤読は、前記読み間違い、前記読み飛ばし、及び前記区切り間違い、のうちのいずれか2つの誤読を含む、
請求項2に記載の電子機器。
The plural kinds of misreads judged by the judgment means include any two misreads of the reading error, the skipping, and the break error.
The electronic device according to claim 2.
誤読があった場合に、前記テキスト中の誤読部分を他とは区別されて識別されるように表示させる誤読部分表示手段を更に備え、
前記処理手段は、前記誤読部分表示手段による誤読部分の表示において、前記判断手段により判断された誤読の種類に応じて異なる形態で誤読部分を識別表示させる、
請求項1から3のいずれか一項に記載の電子機器。
When there is a misread, it further comprises a misread part display means for displaying the misread part in the text so as to be distinguished and distinguished from the others,
In the display of the misread portion by the misread portion display means, the processing means identifies and displays the misread portion in a different form according to the type of misread judged by the judging means.
The electronic device according to claim 1.
誤読があった場合に、ユーザに再読を指示する再読指示手段を更に備え、
前記処理手段は、前記再読指示手段による再読の指示において、前記判断手段により判断された誤読の種類に応じて異なる形態で再読を指示する、
請求項1から4のいずれか一項に記載の電子機器。
When there is a misread, it further comprises a reread instruction means for instructing the user to reread,
In the rereading instruction by the rereading instruction unit, the processing unit instructs rereading in a different form according to the type of misreading determined by the determination unit,
The electronic device according to claim 1.
前記判断手段は、前記認識したユーザの音声に対応するテキストと、前記表示されているテキストとを、文節または単語ごとに区切られた部分毎に比較し、区切られた文節または単語をユーザが全て発声しているが間違いがある場合の誤読を読み間違いと判断し、区切られた文節または単語のうちの一部をユーザが発声しなかった場合の誤読を読み飛ばしとして判断する、
請求項1から5のいずれか一項に記載の電子機器。
The determination means compares the text corresponding to the recognized voice of the user with the displayed text for each segmentalized segment or each segmented segment, and the segmented segment or segmented by the user. If misreading is uttered but there is a mistake, it is judged as misreading, and misreading when the user does not utter a part of the demarcated clauses or words is judged as skipping.
The electronic device according to claim 1.
前記処理手段は、前記漢字部分の誤読の種類が読み間違いである場合には、前記漢字部分に対応するひらがなを表示させるひらがな表示処理を実行し、前記漢字部分の誤読の種類が読み飛ばしである場合には、前記ひらがな表示処理を実行しない、
請求項1から6のいずれか一項に記載の電子機器。
When the misreading type of the Chinese character part is a misreading, the processing means executes a hiragana display process for displaying the hiragana corresponding to the Chinese character part, and the misreading type of the Chinese character part is skipped. In this case, the Hiragana display process is not executed,
The electronic device according to claim 1 .
前記処理手段は、前記テキストの漢字部分に誤読があった場合に、誤読部分を誤読が無くなるまで繰り返し再読させ、誤読が無くなるまでに再読した回数が所定回数未満であれば、誤読部分を漢字のままで識別表示させる処理を実行し、誤読が無くなるまでに再読した回数が所定回数以上であれば、誤読部分に対応するひらがなを表示させるか、あるいは、誤読部分に対応する音声データを出力する処理を実行する
請求項1から7のいずれか一項に記載の電子機器。
When the kanji part of the text is misread, the processing means causes the misread part to be reread repeatedly until the misreading disappears, and if the number of rereads before the misreading is less than a predetermined number of times, the misread part is written as a kanji character. executes processing Ru is identification remains, number of re-read until the misreading disappears is equal to or greater than a predetermined number of times, or to display the hiragana corresponding to misread portion, or outputs audio data corresponding to misread portion Perform processing ,
The electronic device according to claim 1 .
コンピュータを、
ディスプレイ上に漢字を含むテキストを表示させるテキスト表示手段、
ユーザが発した音声の内容を認識する音声認識手段、
前記音声認識手段が認識した前記ユーザの音声に対応するテキストと、前記表示されているテキストとを部分毎に比較して、両者のテキストに不一致があった場合に、その不一致の内容に基づいて複数種類の誤読のいずれであるかを判断する判断手段と、
前記判断手段により判断された誤読の種類に応じて異なる処理を実行する処理手段、
として機能させ
前記処理手段は、前記テキストの漢字部分に誤読があった場合に、誤読部分を繰り返し再読させ、再読した回数に応じて、誤読部分を漢字のままで識別表示させる処理と、誤読部分に対応するひらがなを表示させるか、あるいは、誤読部分に対応する音声データを出力させる処理のいずれかを選択し、選択された処理を実行する、プログラム。
Computer,
Text display means for displaying text including kanji on the display,
Voice recognition means for recognizing the content of the voice uttered by the user,
The text corresponding to the voice of the user recognized by the voice recognition means is compared with the displayed text for each part, and if there is a mismatch between the two texts, based on the content of the mismatch. Judgment means for judging which of multiple types of misreading,
Processing means for performing different processing depending on the type of misreading judged by the judging means,
To function as,
When the Chinese character portion of the text is erroneously read, the processing unit causes the erroneous reading portion to be reread repeatedly, and the erroneous reading portion is displayed in Chinese characters in accordance with the number of times of rereading. A program that executes a selected process by selecting either a process of displaying a hiragana or a process of outputting audio data corresponding to a misread part .
JP2015035992A 2015-02-26 2015-02-26 Electronics and programs Active JP6710893B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015035992A JP6710893B2 (en) 2015-02-26 2015-02-26 Electronics and programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015035992A JP6710893B2 (en) 2015-02-26 2015-02-26 Electronics and programs

Publications (2)

Publication Number Publication Date
JP2016157042A JP2016157042A (en) 2016-09-01
JP6710893B2 true JP6710893B2 (en) 2020-06-17

Family

ID=56826108

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015035992A Active JP6710893B2 (en) 2015-02-26 2015-02-26 Electronics and programs

Country Status (1)

Country Link
JP (1) JP6710893B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7166696B1 (en) 2022-07-07 2022-11-08 株式会社Ongli Information processing method, program and information processing device
TWI806703B (en) * 2022-07-12 2023-06-21 國泰醫療財團法人國泰綜合醫院 Auxiliary method and system for voice correction

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9520068B2 (en) * 2004-09-10 2016-12-13 Jtt Holdings, Inc. Sentence level analysis in a reading tutor
JP4591481B2 (en) * 2007-07-27 2010-12-01 カシオ計算機株式会社 Display control apparatus and display control processing program
JP2014059330A (en) * 2012-09-14 2014-04-03 Casio Comput Co Ltd Tone display control device and program

Also Published As

Publication number Publication date
JP2016157042A (en) 2016-09-01

Similar Documents

Publication Publication Date Title
JP4574390B2 (en) Speech recognition method
CN104123858A (en) Method and device for detecting and correcting errors in reading and reciting texts
CN108780542A (en) Operation supports system, management server, portable terminal, operation to support method and program
JP6963302B2 (en) Kanji learning device
JP6197706B2 (en) Electronic device, problem output method and program
JP6710893B2 (en) Electronics and programs
KR101210432B1 (en) An electronic studying apparatus and a method of providing learnig contents for learnig a word
JP6166831B1 (en) Word learning support device, word learning support program, and word learning support method
KR20170009486A (en) Database generating method for chunk-based language learning and electronic device performing the same
JP2009122581A (en) Word learning device, interactive learning system and word learning program
JP2016062062A (en) Voice output device, voice output program, and voice output method
KR101554619B1 (en) System and method for learning language using touch screen
KR101373552B1 (en) A stenography equipped with a touch-screen
JPH10222049A (en) Study authorization device and method therefor
WO2010007703A1 (en) English language education system and english language education program
JPH0883092A (en) Information inputting device and method therefor
JP4369529B1 (en) English education system and program
Alnfiai et al. Improved Singeltapbraille: Developing a Single Tap Text Entry Method Based on Grade 1 and 2 Braille Encoding.
JP2015125203A (en) Sound output device and sound output program
JP7036483B1 (en) Programs, information processing equipment and information processing methods
CN112541651B (en) Electronic device, pronunciation learning method, server device, pronunciation learning processing system, and recording medium
CN103678467A (en) Information display control apparatus, information display control method, information display control system
KR20140074459A (en) Apparatus and method for learning word by using native speaker&#39;s pronunciation data and syllable of a word and image data
JP3877975B2 (en) Keyboardless input device and method, execution program for the method, and recording medium therefor
JP2023046232A (en) Electronic equipment, learning support system, learning processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190115

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190315

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191023

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200428

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200511

R150 Certificate of patent or registration of utility model

Ref document number: 6710893

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150