WO2018147435A1 - 学習支援システム及び方法、並びにコンピュータプログラム - Google Patents
学習支援システム及び方法、並びにコンピュータプログラム Download PDFInfo
- Publication number
- WO2018147435A1 WO2018147435A1 PCT/JP2018/004700 JP2018004700W WO2018147435A1 WO 2018147435 A1 WO2018147435 A1 WO 2018147435A1 JP 2018004700 W JP2018004700 W JP 2018004700W WO 2018147435 A1 WO2018147435 A1 WO 2018147435A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- lesson
- language
- data
- conversation
- Prior art date
Links
- 230000013016 learning Effects 0.000 title claims abstract description 144
- 238000000034 method Methods 0.000 title claims description 59
- 238000004590 computer program Methods 0.000 title claims description 13
- 238000000605 extraction Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 11
- 230000002452 interceptive effect Effects 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 83
- 230000004044 response Effects 0.000 description 48
- 230000008569 process Effects 0.000 description 46
- 238000004891 communication Methods 0.000 description 37
- 238000012986 modification Methods 0.000 description 19
- 230000004048 modification Effects 0.000 description 19
- 230000005540 biological transmission Effects 0.000 description 13
- 230000002354 daily effect Effects 0.000 description 8
- 238000012546 transfer Methods 0.000 description 7
- 238000012790 confirmation Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 235000012054 meals Nutrition 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000014616 translation Effects 0.000 description 2
- 230000009118 appropriate response Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000881 depressing effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/06—Foreign languages
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/04—Electrically-operated educational appliances with audible presentation of the material to be studied
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Definitions
- This disclosure relates to a learning support system and method.
- Various learning methods are known for a second language different from the first language corresponding to the user's native language or learned language. For example, an offline / online learning method through conversation with a teacher is known. Learning methods using analog / digital teaching materials such as books and software are also known.
- the conventional method it is necessary for the user to select a teacher / teaching material or to convey to the teacher the expression he / she wants to learn for efficient learning.
- the techniques disclosed in the above-mentioned documents can be useful for supplementing language knowledge that the user lacks, the second language knowledge is provided to the user based on a special conversation in a second language that is different from the user's native language or learned language. Is to replenish. Therefore, this technology cannot effectively support language learning of a user who is not sufficiently linguistic about the second language.
- a learning support system for supporting language learning.
- This learning support system includes an acquisition unit and a provision unit.
- the acquisition unit is configured to acquire user conversation data.
- the providing unit is configured to provide a lesson for learning a second language different from the first language used in the conversation based on the content of the conversation indicated by the conversation data.
- the content of the lessons provided may vary depending on the content of the conversation.
- This learning support system can provide a user with a second language lesson based on conversation data in a native language or a learned language as the user's first language. Therefore, the second language learning by the user can be effectively supported.
- the acquisition unit may be configured to acquire voice data in which a daily conversation of the user is recorded as conversation data.
- the voice data in which the user's daily conversation is recorded may be understood as voice data in which the user's conversation at the non-lesson time is recorded.
- the providing unit may be configured to determine the content of the lesson according to the content of the conversation, for example, the type and / or characteristics of the conversation.
- the providing unit may be configured to provide a lesson according to at least one of a conversation type and a feature.
- the providing unit may be configured to determine a user attribute based on one of conversation data and pre-registered user attribute data.
- the providing unit may be configured to determine the content of the lesson to be provided based on the determined user attribute and the content of the conversation.
- the providing unit may be configured to determine the user's second language proficiency level and determine the content of the lesson to be provided based on the determined user proficiency level and the content of the conversation.
- the providing unit may determine the proficiency level based on data representing the proficiency level of the second language for the user.
- the providing unit may be configured to provide a lesson corresponding to one of the type of conversation environment determined from the content of the conversation and the type of conversation environment specified by the user.
- Examples of types of conversational environments can include business environments and non-business environments.
- the providing unit may be configured to provide a lesson according to one or more words included in the conversation.
- the learning support system may comprise an extraction unit configured to extract one or more keywords from the conversation.
- the providing unit may be configured to determine the content of the lesson based at least in part on the one or more keywords extracted by the extraction unit.
- the providing unit may be configured to provide a lesson on one or more words of the second language according to the content of the conversation.
- the providing unit may be configured to provide a lesson on one or more words of a second language that at least partially correspond to the one or more keywords extracted by the extraction unit.
- the extraction unit may be configured to extract a plurality of keywords as one or more keywords.
- the providing unit may be configured to provide a lesson on one or more words of the second language corresponding to the keyword selected by the user among the plurality of keywords extracted by the extracting unit. Examples of the one or more words in the second language may include at least one of a synonym and an antonym corresponding to the keyword selected by the user.
- the learning support system may include a display control unit configured to display a plurality of keywords on the display device in one form of the first language and the second language.
- the learning support system may include a selection information acquisition unit configured to acquire selection information representing a keyword selected by the user among a plurality of keywords displayed by the display device through the input device.
- the providing unit may be configured to provide a lesson on one or more words of the second language corresponding to the keyword selected by the user represented by the selection information.
- the providing unit may be configured to provide a lesson using the second language example sentence included in the corpus data with reference to the second language corpus data.
- the providing unit may be configured to provide second language interactive lessons by voice through a microphone and speaker.
- the providing unit may be configured to control the progress of the lesson according to the content of the user's utterance obtained through the microphone in the interactive lesson.
- the providing unit may be configured to control the progress of the lesson according to the user's understanding / skill level specified from the utterance content.
- a computer program for causing a computer to realize at least one function of an acquisition unit, a providing unit, an extraction unit, a display control unit, and a selection information acquisition unit may be provided.
- a learning support method for supporting language learning which is used in conversation based on acquiring conversation data of a user and the content of the conversation indicated by the acquired conversation data.
- Providing a lesson for learning a second language different from the one language may be provided.
- the content of the lessons provided may vary depending on the content of the conversation.
- the learning support method may be executed by a computer.
- a learning support method to which the same technical idea as the learning support system described above is applied may be provided.
- a computer program comprising instructions for causing a computer to execute these learning support methods may be provided.
- the computer program may be recorded on a computer-readable non-transitory recording medium.
- the learning support system 1 in this embodiment is a system for supporting language learning by a user.
- the learning support system 1 is configured to support learning of a second language different from the native language or learned language that the user uses every day.
- the user's native language or the learned language that the user has already acquired is expressed as the first language
- the language to be learned is expressed as the second language.
- the learning support system 1 shown in FIG. 1 includes a recording device 10, a user terminal device 30, and a server device 50.
- the user terminal device 30 provides the user with a second language lesson in the form of sound and display based on the data received from the server device 50.
- the learning support system 1 determines lesson contents based on the daily conversation of the user in the first language recorded by the recording device 10.
- the daily conversation here corresponds to the conversation of the user during non-lesson.
- the recording device 10 is a portable device independent of the user terminal device 30 and is arranged so as to be able to record the user's voice.
- the recording device 10 is worn around the user's collar or chest pocket.
- the recording device 10 includes a microphone 11, an operation unit 13, a control unit 15, a storage unit 17, and a short-range communication unit 19.
- the microphone 11 converts the user's voice into an electrical voice signal and inputs it to the control unit 15.
- the operation unit 13 includes one or more mechanical switches that can accept a recording instruction and a stop instruction from a user.
- the control unit 15 is configured to perform overall control of each unit of the recording device 10.
- the control unit 15 converts the user's voice signal input from the microphone 11 into digital voice data until a stop instruction is input. Record in the storage unit 17.
- the storage unit 17 is an electrically rewritable semiconductor memory, for example, a flash memory.
- the audio data recorded in the storage unit 17 is also expressed as recorded data.
- the near field communication unit 19 is configured to be capable of near field communication with the user terminal device 30.
- the near field communication is, for example, Bluetooth (registered trademark) communication.
- the control unit 15 is configured to transmit the recording data in the storage unit 17 to the user terminal device 30 in response to a request from the user terminal device 30 through short-range communication.
- the user terminal device 30 is a portable information communication terminal. Examples of the user terminal device 30 include a smartphone and a tablet. As shown in FIG. 1, the user terminal device 30 includes a control unit 31, a storage unit 32, a display unit 34, an operation unit 35, a sound input / output unit 36, a wireless communication unit 38, and a short-range communication unit. 39.
- the control unit 31 is configured to comprehensively control each unit of the user terminal device 30.
- the control unit 31 includes a processor, specifically, a CPU (Central Processing Unit) 311.
- the CPU 311 realizes various functions by executing processing according to the computer program stored in the storage unit 32. Below, the process which CPU311 performs is demonstrated as a process which the control part 31 or the user terminal device 30 performs.
- the storage unit 32 stores a computer program executed by the CPU 311 and various data.
- the storage unit 32 is configured by, for example, a flash memory. A computer program necessary for the user terminal device 30 to provide a second language lesson is installed in the storage unit 32.
- the display unit 34 is controlled by the control unit 31 and configured to display various types of information for the user.
- the display unit 34 includes, for example, a liquid crystal or an organic EL display.
- the operation unit 35 is configured to receive an operation from the user and input an operation signal to the control unit 31.
- the operation unit 35 can be, for example, a touch panel that spreads on the screen of the display unit 34.
- the operation unit 35 may include a mechanical or capacitive switch around the screen of the display unit 34.
- the sound input / output unit 36 includes a microphone 361 and a speaker 363, and is configured to input a sound signal from the microphone 361 to the control unit 31, and to output various sounds from the speaker 363 under the control of the control unit 31.
- the wireless communication unit 38 is configured to be able to communicate with the external server device 50 through a wide area communication network and / or a cellular communication network. Examples of the wide area communication network include the Internet.
- the short-range communication unit 39 is configured to be capable of short-range communication with the recording device 10.
- the short-range communication unit 39 is controlled by the control unit 31 to communicate with the recording device 10.
- the server device 50 includes a processing unit 51, a storage unit 52, and a communication unit 58.
- the server device 50 shown in FIG. 1 is configured by one or more computers in detail.
- the processing unit 51 includes a CPU 511 and realizes various functions by executing processing according to a computer program stored in the storage unit 52. Below, the process which CPU511 performs is demonstrated as a process which the process part 51 or the server apparatus 50 performs.
- the storage unit 52 stores a computer program executed by the CPU 511 and various data.
- the storage unit 52 includes one or more hard disk drives (HDD) and / or solid state drives (SSD).
- the communication unit 58 is configured to be able to communicate with the user terminal device 30 through a wide area communication network.
- the processing unit 51 communicates with the user terminal device 30 through the communication unit 58, executes processing based on data received from the user terminal device 30, and transmits response data to the user terminal device 30. For example, when the processing unit 51 receives word selection data representing a learning target word from the user terminal device 30 through the communication unit 58, the processing unit 51 selects one of the scenario templates stored in the storage unit 52 corresponding to the learning target word. Select a scenario template. The processing unit 51 generates lesson data based on the selected scenario template, and transmits the lesson data to the user terminal device 30 as response data.
- the lesson data is data for providing a user with an interactive lesson related to a learning target word and related words and example sentences through the user terminal device 30. All interactive lessons are conducted in the second language.
- the storage unit 52 stores a plurality of scenario templates, and specifically stores a plurality of scenario templates for each learning item. More specifically, the storage unit 52 stores a plurality of scenario templates for each word for each learning item.
- the reason why the storage unit 52 stores a plurality of scenario templates for each word is to switch the scenario template to be used randomly or under a predetermined condition to provide the user with lessons with different contents regarding the same word.
- the predetermined condition may be a condition based on the number of learnings of the same word, for example. This switching is useful for providing variable lessons that are not fixed for the same word.
- the reason why the storage unit 52 stores a plurality of scenario templates for each learning item is to provide an appropriate lesson according to the usage environment and / or proficiency level of the second language.
- a lesson suitable for learning varies depending on the use environment even if the learning target word is the same word.
- the usage environment includes a business environment and a non-business environment.
- the business environment may include an environment for each business such as a research and development business, a design design business, a customer service business, a medical business, and a legal business as a subsidiary environment.
- the non-business environment may include a daily living environment, a travel environment, and the like as sub-environments.
- the content of lessons appropriate for learning also varies depending on the proficiency level of the second language.
- the storage unit 52 stores a plurality of scenario templates for each learning environment and / or proficiency level as a plurality of scenario plates for each learning item.
- storage part 52 may be provided with the scenario template for every learning item by divisions other than use environment and / or proficiency. That is, the learning item may be a learning item that is classified from a viewpoint other than the usage environment and / or proficiency level of the second language.
- Each of the scenario templates stored in the storage unit 52 includes scenario attribute data and a plurality of learning data.
- the scenario attribute data represents the learning item corresponding to the scenario template and the word to be learned.
- the plurality of learning data defines an interaction scenario in an interactive lesson.
- the interactive lesson is performed by repeating the dialogue set of the system 1 utterance, the user's response to it, and the system 1 response to it.
- One learning data describes an utterance sentence of the system 1 corresponding to one dialogue set and a response sentence of the system 1 for each user response pattern.
- the utterances and responses of the system 1 mentioned here correspond to the utterances and responses from the user terminal device 30 to the user, which are performed for providing lessons. Spoken and answered in a second language.
- each of the learning data is associated with the identification code (ID) of the learning data, data describing the utterance sentence of the system 1, and the system response for each user response pattern to the data.
- ID identification code
- the system response data describes a system response sentence that is a response sentence to be issued by the system 1 and a migration destination ID when a user response of the pattern occurs in association with data representing a user response pattern.
- the transfer destination ID represents an identification code (ID) of learning data to be referred to next.
- ID an identification code
- the control unit 31 transmits a recording data request signal to the recording device 10 through the short-range communication unit 39, and acquires the recording data from the recording device 10 (S110).
- the recording data acquired here may be recording data representing the conversation contents of the user recorded on the day, or the recording data not acquired by the user terminal device 30 among the recording data stored in the recording device 10. It may be all.
- the control unit 31 analyzes the acquired recording data and converts it into text data (S120), extracts a plurality of keywords from the text data, and generates a first language word list (S130). A word group of the first language to be extracted as a keyword is determined in advance. The control unit 31 ranks the extracted plurality of keywords, extracts the upper predetermined keyword from the ranked keywords, and sets the upper predetermined keyword list as the first language word list. It may be generated.
- the control unit 31 can rank a plurality of extracted keywords based on the frequency of use of each keyword of the user in a predetermined period so that a keyword with a higher usage frequency has a higher rank.
- the predetermined period may be a recording period corresponding to the acquired recording data, or may be a fixed period in the past with the present as the end point. Examples of the fixed period include a day, a week, and a month.
- the weighting factor can be set to a larger value for words that are useful for learning the second language.
- data defining the weighting factor can be provided from the server device 50 to the user terminal device 30 and stored in the storage unit 32.
- the weighting factor may be determined based on the user's second language proficiency level. In this case, the weighting factor can be set to a larger value for words that match the proficiency level.
- the control unit 31 transmits the word list of the first language generated in S130 in this way to the server device 50 through the wireless communication unit 38 (S140).
- the processing unit 51 of the server device 50 receives the word list in the first language through the communication unit 58 (S210), translates the received word list, and converts the word list in the second language. Generate (S220).
- the processing unit 51 transmits the second language word list generated in S220 to the user terminal device 30 that is the transmission source of the first language word list through the communication unit 58 (S230).
- the control unit 31 of the user terminal device 30 receives the second language word list corresponding to the first language word list transmitted to the server device 50 in S140 from the server device 50 via the wireless communication unit 38 in S150. .
- control unit 31 outputs a message prompting the user to select a learning target word from the word list of the second language through the speaker 363 and causes the display unit 34 to display the message. Thereafter, the control unit 31 displays a word selection screen on the display unit 34 (S160).
- FIG. 5 shows an example of the word selection screen. According to FIG. 5, the second language is English.
- this description means that the control unit 31 outputs a message of the second language through the speaker 363 and displays it on the display unit 34.
- the control unit 31 may perform processing for exchanging greetings with the user prior to displaying the word selection screen. For example, as illustrated in FIG. 6, the control unit 31 can output a message “How are you today?”.
- a message indicated by a double quotation mark “” corresponds to a second language message.
- the second language is English. Therefore, in the description of the embodiment, the double quotation marks “” are shown in English as the second language regardless of the description language of the present specification.
- the control unit 31 can display a word selection screen on the display unit 34 after detecting an appropriate response of the user to this greeting.
- the response from the user is performed by voice input through the microphone 361. For example, in response to the response “Good.” From the user, the control unit 31 outputs a message “Here are the words of the day.”, And then displays the word selection screen shown in FIG. Can be made.
- the word group included in the word list of the second language is displayed on the word selection screen while being scrolled in the horizontal direction.
- the user can select one desired word as a learning target from the word group displayed on the word selection screen through the operation unit 35.
- a word selection confirmation operation can be performed.
- the control unit 31 can acquire an operation signal related to a word selection operation and a confirmation operation by the user through the operation unit 35 and specify the selected word.
- the control unit 31 transmits word selection data indicating the selected learning target word to the server device 50 through the wireless communication unit 38 (S170). Thereby, lesson data corresponding to the selected word is transmitted from the server device 50.
- the control unit 31 can execute a process for outputting a message that praises the word selection by the user during a period until the lesson data is received after the word selection is confirmed.
- the word selection screen is closed, and the word “ “negotiation” is displayed.
- a message “Good choice!” That praises the selection is output.
- the processing unit 51 of the server device 50 receives the word selection data from the user terminal device 30 through the communication unit 58 after transmitting the second language word list to the user terminal device 30 in S230 (S240), the process proceeds to S250.
- the processing unit 51 selects one scenario template to be used this time from a plurality of scenario templates corresponding to the learning target word indicated by the received word selection data.
- the storage unit 52 stores a scenario template group for each word for each learning item.
- the processing unit 51 is a scenario template group corresponding to the corresponding user's learning item (second language usage environment and / or proficiency level), and corresponding to the selected learning target word.
- One scenario template to be used is selected from the list (S250).
- the server device 50 For each user or user terminal device 30, the server device 50 stores user data in the storage unit 52 in association with identification information of the corresponding user or user terminal device 30, specifically, a user ID or device ID. .
- the user data includes information on the usage environment and / or proficiency level of the corresponding user in the second language.
- the processing unit 51 of the server device 50 can obtain information on the usage environment in the second language from the corresponding user by inquiring the usage environment of the corresponding user through the user terminal device 30. it can.
- the processing unit 51 of the server device 50 periodically inquires the corresponding user about the proficiency level through the user terminal device 30, thereby acquiring information on the proficiency level of the second language from the corresponding user and updating the user data. can do.
- the processing unit 51 of the server device 50 may be configured to update the user data by evaluating the proficiency level of the second language from the history of the corresponding user lesson.
- the processing unit 51 can specify the learning type of the corresponding user with reference to the user data corresponding to the word selection data transmission source.
- the processing unit 51 can acquire the identification information of the user or the user terminal device 30 corresponding to the word selection data transmission source from the user terminal device 30 before selecting the scenario template in S250.
- the processing unit 51 can acquire the identification information of the corresponding user or the user terminal device 30 from the user terminal device 30 together with the word list of the first language in S210 or together with the word selection data in S240. .
- the processing unit 51 generates lesson data based on the selected scenario template (S260).
- the lesson data is data in which the variable part of the scenario template is fixed, and may have the same configuration as the scenario template.
- a part or all of an example sentence related to a learning target word provided to a user is not defined as a fixed sentence in the scenario template but is defined as a parameter.
- the dialogue scenario defined in the scenario template has a variable part in which the example sentence changes.
- the processing unit 51 refers to the corpus database 70 in order to determine an example sentence used for this variable part.
- the corpus database 70 can be provided in a server device different from the server device 50. Alternatively, the corpus database 70 may be incorporated in the server device 50. For example, the corpus database 70 may be provided in the storage unit 52 of the server device 50.
- the processing unit 51 generates lesson data by determining an example sentence used for a variable part (parameter) of the scenario template based on the corpus database 70.
- the processing unit 51 selects an example sentence used for the variable part from among a plurality of example sentences corresponding to the words to be learned included in the corpus database 70.
- the example sentences incorporated in the lesson data can be selected randomly or according to a predetermined rule from a plurality of example sentences corresponding to the words to be learned included in the corpus database 70. Selecting according to the predetermined rule includes selecting an example sentence corresponding to the usage environment of the second language from among the plurality of example sentences.
- the processing unit 51 can randomly select an example sentence to be used for the variable portion from the plurality of example sentences. By selecting the example sentence, the user can efficiently learn the example sentence corresponding to the learning item.
- the processing unit 51 may generate lesson data based on the corpus database 70 so as to include related words to be introduced to the user.
- the processing unit 51 executes a lesson data transmission process (S270).
- the processing unit 51 transmits the generated lesson data to the user terminal device 30 that is the word selection data transmission source. Thereafter, the processing unit 51 ends the process shown in FIG.
- the control unit 31 of the user terminal device 30 receives the lesson data as response data from the server device 50 via the wireless communication unit 38 (S180). Thereafter, the control unit 31 executes a lesson providing process (S190). In the lesson providing process, the control unit 31 provides a lesson based on the word to be learned selected by the user based on the received lesson data in an interactive format in the second language using the speaker 363 and the microphone 361. . At this time, the control unit 31 controls the display unit 34 such that a voice dialogue is displayed on the display unit 34 as character information.
- FIG. 6 An example of the lesson data provision process executed by the control unit 31 is shown in FIG.
- the control unit 31 Upon receiving the lesson data, the control unit 31 performs a dialogue regarding the meaning of the learning target word selected by the user (S310). As illustrated in FIG. 6, the control unit 31 may cause the display unit 34 to display the meaning of the word to be learned in the second language following the message output “Here's the means of ⁇ word>”. it can.
- the message output means message output by voice and display as described above. As can be understood from FIG. 6, the selected learning target word is inserted into ⁇ word>.
- the control unit 31 displays the meaning of the word on the display unit 34 and then displays the message “Did you” get the meaning? In response to this question, when the user gives a positive answer in the utterance in the second language, for example, “Yes”, the control unit 31 receives the input from the microphone 361. Based on this response, it is determined that the lesson is advanced to the next stage (Yes in S320), and at this time, the control unit 31 can output a message that praises the user, and then proceeds to S330. .
- control unit 31 determines that the lesson is not advanced to the next stage (No in S320), and the meaning of the word The process for continuing the conversation about is executed (S310).
- control unit 31 outputs a message “No? OK, then I'll show you one more time. Please look at the screen.”, And further, a message “Did you get the meaning?” Can be output and the user's response to it can be waited for. When a positive answer is obtained, the process proceeds to S330.
- the above processing stores, in the learning data provided in the scenario template, system response data to be referred to when the user response is positive, and system response data to be referred to when the user response is negative, This can be realized by describing different migration destination IDs in the system response data.
- the lesson is performed in an interactive manner, and the progress of the lesson is controlled by the control unit 31 according to the content of the user's utterance.
- control unit 31 performs a dialogue regarding synonyms in S330.
- the control unit 31 outputs a message introducing similar words corresponding to the word to be learned in the second language, and further outputs a message inquiring whether or not the synonym can be understood.
- the control unit 31 determines that the lesson is advanced to the next stage (Yes in S340). Thereafter, the process proceeds to S350.
- the control unit 31 does not advance the lesson to the next stage (No in S340) and executes a process for continuing the conversation about the synonym (S330). Then, a message for inquiring whether or not the synonym can be understood is output again.
- the process proceeds to S350.
- the control unit 31 performs a dialogue regarding the synonym. This dialogue can be done in the same way as synonyms.
- the control unit 31 determines that the lesson is advanced to the next stage (Yes in S360), and proceeds to S370. Transition. If the user makes a negative answer to the above question, the control unit 31 does not advance the lesson to the next stage (No in S360), and executes a process for continuing the conversation about the synonym (S350).
- control unit 31 executes a process for performing an utterance lesson related to an example sentence.
- the control unit 31 includes “Here's a” with an example sentence display through the display unit 34. sample sentence. Let's read it out loud. Repeat after me. Message can be output. Furthermore, the example sentence can be read out.
- the control unit 31 determines whether or not the user has correctly uttered the example sentence with an appropriate pronunciation based on the input from the microphone 361. If the user speaks with an appropriate pronunciation without making a mistake in the example sentence, it is determined that the lesson is advanced to the next stage (Yes in S380). The process proceeds to S390. Otherwise, the process proceeds to S370, and the example sentence is read aloud again. After this reading, the correctness of the utterance of the user's example sentence is similarly evaluated based on the input from the microphone 361.
- the control unit 31 repeatedly reads out the example sentence and evaluates the user's utterance up to a predetermined number of times until the user utters the example sentence with proper and proper pronunciation. If the user speaks with proper pronunciation without making a mistake in the example sentence, the process proceeds to S390.
- control unit 31 can end the lesson in S390 by outputting a message that praises the user and a message that the lesson is ended. In other cases, the control unit 31 can end the lesson by outputting a message prompting the lesson again in S390.
- the utterance lesson regarding the example sentence may be performed for a plurality of example sentences, or another lesson may be performed following the utterance lesson regarding the example sentence.
- Output a message asking whether or not to continue the lesson, and if the response from the user is positive, continue the lesson, and if the response from the user is negative,
- the control unit 31 may execute processing based on the lesson data so as to end.
- the user terminal device 30 acquires the recording data in which the daily conversation of the user in the first language is recorded from the recording device 10 (S110).
- the user terminal device 30 provides a lesson for learning the second language based on the content of the conversation indicated by the recording data, and corresponding to the content of the conversation (S190). Therefore, according to this learning support system 1, a lesson in the second language based on the daily conversation of the user can be provided to the user, and the learning of the second language by the user can be effectively supported. It is.
- the user terminal device 30 provides lessons according to the characteristics of the conversation related to words. Specifically, a lesson based on one or more words included in the conversation is provided. As described above, the user terminal device 30 extracts one or more keywords from the conversation in the first language (S130), and among the one or more keywords, the second language corresponding to one keyword selected by the user. A lesson based on one or more words is provided (S190).
- the user terminal device 30 acquires translations of the extracted plurality of keywords from the server device 50 (S150), and selects words included in the second language word list that is the translation of the acquired keywords.
- the screen is displayed on the display unit 34 (S160).
- the user terminal device 30 treats the word selected by the user from the displayed word group as the keyword selected by the user, and uses one or more words in the second language corresponding to the selected keyword as the subject.
- the subject is the selected word and optionally its related words.
- the related terms are synonyms and synonyms. Therefore, the learning support system 1 is useful for learning support of words in the second language corresponding to words used by the user in daily conversation and related words.
- the lesson is conducted in a voice interactive format in the second language. Interactive lessons effectively improve the power required for conversation.
- the example sentences provided in the lesson are changed using corpus data. By using corpus data, various lessons can be provided to the user.
- the user terminal device 30 controls the progress of the lesson according to the user's utterance content obtained through the microphone 361.
- lessons can be advanced in accordance with the user's understanding / skill level.
- the user's utterance repetition of example sentences
- the progress of the lesson is controlled based on the result. For this reason, according to this embodiment, suitable learning support according to a user's proficiency level is possible.
- the server device 50 transmits all the data necessary for a series of lessons to the user terminal device 30 in S270.
- the server device 50 may be configured to transmit lesson data to the user terminal device 30 step by step as the lesson progresses.
- the processing unit 51 of the server device 50 executes the lesson data transmission process shown in FIG. 8 in S270 (see FIG. 4).
- the control unit 31 of the user terminal device 30 can execute the lesson providing process shown in FIG. 9 in S190 (see FIG. 3).
- the processing unit 51 transmits the lesson data generated in S260 to the user terminal device 30 (S410).
- the processing unit 51 can generate lesson data for providing a first-stage lesson in a series of lessons.
- the processing unit 51 receives response data representing the user response to the system utterance generated in the lesson provided to the user from the user terminal device 30 based on the lesson data through the communication unit 58 (S420).
- the response data may be data representing a response voice from the user to the utterance of the system 1.
- the processing unit 51 generates lesson data for providing a lesson according to the response pattern of the user based on the received response data (S430), and transmits the generated lesson data to the user terminal device 30 through the communication unit 58. (S440). Based on the lesson data, response data indicating the response contents of the user generated in the lesson provided to the user from the user terminal device 30 is received through the communication unit 58 (S450).
- next lesson data is generated and transmitted based on the response data received in S450 (S430, S440), and further response data is received. (S450). That is, the processing unit 51 repeatedly executes S430 to S450 until a series of lessons is completed, whereby the lesson data is changed for each lesson stage with the branch of the lesson whose contents change according to the user response as a boundary. To the user terminal device 30. When the series of lessons ends, the processing unit 51 notifies the user terminal device 30 of the end of the lessons (S470), and ends the data providing process.
- the control unit 31 of the user terminal device 30 provides a lesson based on the lesson data received from the server device 50 through the display unit 34 and the speaker 363 (S510). Based on the input, response data representing a user response to the utterance of the system 1 is transmitted to the server device 50 through the wireless communication unit 38 (S520).
- the control unit 31 of the user terminal device 30 executes the processing of S510 and S520 every time lesson data is received from the server device 50 (Yes in S530).
- the control unit 31 does not receive the lesson data (No in S530), and receives the lesson end notification (Yes in S540), outputs a message to end the lesson and ends the lesson (S550).
- the lesson data is provided stepwise from the server device 50 to the user terminal device 30, whereby the data necessary for the lesson is selectively provided to the user terminal device 30.
- the processing load on the user terminal device 30 can be reduced.
- the scale of the second language learning computer program installed in the user terminal device 30 can be further reduced.
- the storage unit 52 may have corresponding user attribute data in the user data for each user or for each user terminal device 30.
- User attribute data may include data representing the gender and / or age (or age group) of the user. This attribute data may include data representing the user's occupation and / or information representing the user's hobby. Examples of hobbies include sports, playing musical instruments, and art appreciation.
- the user data may include data representing the lesson attendance frequency together with the corresponding user's second language usage environment and / or proficiency level.
- the processing unit 51 extracts a word group corresponding to the user attribute from the word list of the first language received from the user terminal device 30, and translates only the extracted word group into the second language. You may register in the word list of the second language.
- the storage unit 52 can hold dictionary data that defines word groups to be extracted from the word list of the first language.
- the dictionary data is configured such that an attribute label is attached to each word for a plurality of words.
- the attribute label indicates one or more user attributes related to the corresponding word.
- the processing unit 51 sequentially selects each word registered in the word list of the first language, refers to the attribute label attached in the dictionary data to the selected word, and indicates the one indicated by the referenced attribute label Alternatively, it is determined whether or not the user attributes of the user terminal device 30 that has transmitted the first language word list are included in the plurality of user attributes. Here, only when it is determined that the word is included, the processing unit 51 can translate the selected word into the second language and register it in the word list of the second language.
- Each word in the dictionary data may be labeled with a vocabulary level.
- the processing unit 51 uses the vocabulary that matches the proficiency level of the user corresponding to the user terminal device 30 that has transmitted the first language word list out of the word group registered in the first language word list.
- the level word group can be translated into the second language and registered in the second language word list.
- the proficiency level of the corresponding user can be determined from the user data of the corresponding user.
- the target word group that the control unit 31 of the user terminal device 30 extracts as keywords in S130 can be widely defined.
- the control unit 31 may not perform ranking of keywords based on the frequency of use and extraction of a predetermined number of keywords. The extraction of the upper predetermined number of keywords based on the usage frequency may be performed by the server device 50 when generating the second language word list.
- the storage unit 52 may not include dictionary data. Instead, a function as dictionary data having attribute labels may be incorporated in the corpus database 70. In this case, the processing unit 51 can generate a word list in the second language with reference to the corpus database 70.
- the corpus database 70 may include a plurality of example sentences for each word and each user attribute.
- the processing unit 51 selects an example sentence corresponding to the user attribute of the user corresponding to the user terminal device 30 that is the lesson data transmission destination from among a plurality of example sentences corresponding to the word to be learned included in the corpus database 70.
- the lesson data including the selected example sentence can be generated by selecting one or a plurality of the example sentences.
- the storage unit 52 may include a scenario template group for each word for each combination of user attributes and learning items.
- the processing unit 51 refers to the user data of the corresponding user, is a scenario template group corresponding to the combination of the user's learning item and the user attribute, and corresponds to the selected learning target word.
- One scenario template to be used may be selected from the scenario template group to be used.
- the learning support system 1 may be modified so that the user terminal device 30 transfers the recording data to the server device 50 as shown in FIG.
- the user terminal device 30 acquires recording data from the recording device 10.
- the user terminal device 30 transfers the recorded data to the server device 50.
- the server device 50 generates a second language word list based on the recording data received from the user terminal device 30 and transmits it to the user terminal device 30 that is the recording data transmission source.
- the user terminal device 30 displays a word selection screen based on the second language word list received from the server device 50, and transmits word selection data to the server device 50 based on a user operation on the word selection screen.
- the server device 50 generates lesson data based on the received word selection data, and transmits the lesson data to the user terminal device 30 that is the word selection data transmission source.
- the user terminal device 30 provides a second language lesson to the user based on the received lesson data.
- the recording device 10, the user terminal device 30, the server device 50, and the corpus database 70 of the learning support system 3 shown in FIG. 10 are partially different in computer programs held in the user terminal device 30 and the server device 50. Except for this, the configuration is basically the same as the learning support system 1 of the above embodiment.
- control unit 31 of the user terminal device 30 in the third modified example executes the process shown in FIG. 11 instead of the process shown in FIG.
- the processing unit 51 of the server device 50 executes the process shown in FIG. 12 instead of the process shown in FIG.
- the configuration of the learning support system 3 that is not described below may be understood to be the same as any one of the embodiment, the first modified example, and the second modified example.
- control unit 31 of the user terminal device 30 starts the process shown in FIG. 11 in response to a lesson start instruction from the user, it acquires recording data from the recording device 10 as in S110 (S610). Thereafter, the acquired recording data is transferred to the server device 50 (S620).
- the processing unit 51 of the server device 50 receives the recording data from the user terminal device 30 (S710), the recording data is transmitted to the voice recognition server 80, whereby text data corresponding to the recording data is received from the voice recognition server 80. Obtain (S715).
- the speech recognition server 80 analyzes the recording data received from the server device 50, generates text data obtained by converting the speech voice included in the recording data into text, and sends the text data to the server device 50 that is the recording data transmission source. Send.
- the voice recognition server 80 may be an existing voice recognition server existing on the Internet, for example.
- the processing unit 51 of the server device 50 may analyze the recorded data by itself and generate text data corresponding to the recorded data (S715).
- the processing unit 51 In subsequent S720, the processing unit 51 generates a second language word list by referring to the corpus database 70 based on the text data.
- the processing unit 51 extracts keywords from the text data in the same manner as in the above embodiment, generates a first language word list, translates the first language word list, and generates a second language word list. Can do.
- the processing unit 51 can refer to the user data of the corresponding user.
- the first language and / or second language word list takes into account one or more of word usage frequency, conversation environment, second language usage environment, user attributes, user proficiency, and lesson frequency. Then, it may be generated as in the above embodiment, the first modified example, or the second modified example. However, the first language word list is generated not by the user terminal device 30 but by the server device 50.
- the processing unit 51 transmits the word list of the second language generated in S720 to the user terminal device 30 that is the recording data transmission source (S730).
- the control unit 31 of the user terminal device 30 receives the word list from the server device 50 (S650), displays a word selection screen on the display unit 34 based on the received word list (S660), and selects word selection data. Is transmitted to the server device 50 (S670).
- the processing of S660 and S670 is executed in the same manner as S160 and S170.
- the processing unit 51 of the server device 50 receives word selection data from the user terminal device 30 (S740).
- the processing unit 51 selects one scenario template to be used from the scenario template group based on the learning target word indicated by the received word selection data and the corresponding user learning item (S750). Lesson data according to the scenario template is generated (S760), and the lesson data is transmitted to the user terminal device 30 (S770).
- the processing of S740-S770 is executed in the same way as S240-S270.
- the control unit 31 of the user terminal device 30 receives lesson data from the server device 50 (S680), and provides a second language lesson based on the lesson data (S690).
- the processes of S680 and S690 are executed in the same manner as S180 and S190. According to the third modification, most of the processing necessary for providing the lesson can be executed by the server device 50, and the load on the user terminal device 30 can be suppressed.
- the server device 50 may be configured to generate a first language word list in S720 and transmit the first language word list in S730.
- the user terminal device 30 can receive the first language word list in S650, and can display the first language word selection screen on the display unit 34 in S660.
- the first language word selection screen may correspond to, for example, a screen in which the display language in the second language word selection screen shown in FIG. 5 is changed to the first language.
- the user terminal device 30 can transmit the word selected by the user through the word selection screen in the first language to the server device 50 as the word selection data.
- the server device 50 can receive the word selection data from the user terminal device 30 in S740 and select a scenario template based on the word selection data received in S750. Specifically, the word in the first language selected by the user indicated by the word selection data is translated into the second language, the word to be learned in the second language is specified, and the specified word and learning item are used.
- the scenario template can be selected. Also according to this example, an appropriate lesson can be provided to the user.
- idioms and / or sentences may be extracted from text data based on recorded data.
- the word list of at least one of the first language and the second language may include idioms and / or sentences in addition to words.
- idioms and / or sentences may be displayed as selection targets on the word selection screen.
- the word selection data may include idioms and / or sentences to be learned selected by the user.
- the server device 50 includes a scenario template for each idiom and / or sentence that can be selected as a learning target, and generates lesson data based on the scenario template corresponding to the idiom and / or sentence selected by the user.
- the user terminal device 30 may be provided. In this way, the learning support systems 1 and 3 may provide a lesson based on the phrase and / or sentence selected by the user.
- the second language word list may include a corresponding first language word together with the second language word.
- the learning support system 1 of the above embodiment provides a lesson based on a single word selected by the user, but the learning support system 1 provides a lesson based on a plurality of words selected by the user. May be.
- the control unit 31 of the user terminal device 30 accepts a plurality of word selection operations through the operation unit 35 and transmits word selection data indicating the selected plurality of words to the server device 50 in S160.
- the server device 50 may be configured to generate lesson data using a scenario template corresponding to each of a plurality of words indicated by the word selection data and transmit the lesson data to the user terminal device 30.
- the user terminal device 30 can provide lessons regarding a plurality of words selected by the user based on the lesson data. For example, it is possible to provide a lesson in which lessons for each word are combined in series.
- the learning support system 1 may be configured to provide lessons regarding words that are frequently used together with one or more words selected by the user to assist in learning related words.
- the learning support system 1 may be configured to automatically determine a learning target word based on a group of keywords included in the recording data without inquiring the user. For example, instead of the processing of S160 and S170, the control unit 31 selects one or more words as learning target words from the word list at random or under predetermined conditions without displaying a word selection screen, and selects a word. You may perform the process which transmits data to the server apparatus 50. FIG. For example, the control unit 31 can select an unlearned word from the word list so that the user does not select a learned word in a past lesson.
- the control unit 31 may determine the type of user conversation represented by the recording data in S120.
- the control part 31 can discriminate
- the classifier may be a classifier that classifies a conversation environment in the data into one of a business environment and a non-business environment, and further to a sub-environment based on recorded data.
- the control unit 31 transmits data representing the determined conversation type (conversation environment) to the server device 50 together with the word selection data (S170). From the server device 50, the conversation environment corresponding to the recording data and the learning target Lesson data corresponding to the word can be provided (S180). The processing unit 51 of the server device 50 can generate lesson data by selecting a corresponding scenario template (S250) based on the word selection data received from the user terminal device 30 and the data indicating the type of conversation (S250). S260).
- the control unit 31 can provide the user with a second language lesson based on the words to be learned in the conversation environment indicated by the recording data based on the lesson data. For example, if the recorded data indicates a conversation in a business environment, a lesson useful for business conversation can be provided to the user. For example, when the recorded data indicates a conversation in a meal environment, a lesson useful for a conversation during a meal can be provided to the user.
- the lesson data may be generated based not only on the conversation of the user at the non-lesson time but also based on the record of dialogue between the system and the user at the lesson time. Lesson data may be generated so that lessons with different contents are provided according to the proficiency level of the user specified from the dialogue record.
- the recording device 10 may be configured to sequentially provide the input sound from the microphone 11 to the user terminal device 30 without being stored in the storage unit 17 as recording data.
- the user terminal device 30 can store the input voice from the microphone 11 as recorded data in its own storage unit 32.
- the control unit 31 can read the recording data stored in the storage unit 32 in S110 and execute the processes in and after S120.
- the recording device 10 may be configured to be connectable to a transfer device different from the user terminal device 30 by wire or wireless. In this case, the recording device 10 may be configured to transmit the recording data to the user terminal device 30 and / or the server device 50 through the transfer device.
- the transfer device can be a docking station / dock for the recording device 10.
- the transfer device can transmit the recording data from the connected recording device 10 to the server device 50 by wired or wireless communication.
- the learning support system 1 may be configured to provide the lesson until the end of the lesson intention is displayed by the user, and to stop providing the lesson when the end intention is displayed.
- the user terminal device 30 may be configured to determine user attributes such as the user's sex and age group from the recorded data in S120.
- the user terminal device 30 may transmit the determined user attribute information to the server device 50 together with the word list of the first language.
- the user terminal device 30 may be configured to determine an important word based on the user's utterance tone identified from the recording data, and register the important word in the first language word list.
- the important word may be determined based on the general usage frequency of the word specified from the balanced corpus and the word usage frequency of the individual user.
- the corpus database may be prepared for each user attribute.
- the processing unit 51 of the server device 50 matches the user attribute from the word list in the first language with reference to the corpus database associated with the user attribute corresponding to the user terminal device 30 that has transmitted the word list in the first language.
- a word list of the second language may be generated by translating the word group to be translated into the second language.
- the processing unit 51 may generate lesson data with reference to example sentences included in the corpus database.
- the user terminal device 30 may extract a keyword group related to the user attribute of the corresponding user from the recording data based on the user attribute, and generate a first language word list.
- the user terminal device 30 may be configured to generate a word list in the first language based on keywords included in the recording data in the time zone specified by the user among the recording data. Only the recording data in the time period designated by the user may be provided to the user terminal device 30, the server device 50, or the voice recognition server 80. That is, the learning support system 1 may be configured to provide a lesson based on recording data in a specific time zone.
- the user terminal device 30 may be configured to extract a keyword that matches the user's speech in consideration of the user's speech specified from the utterance history.
- the server device 50 may be configured to generate lesson data based on a keyword that matches the habit.
- Recorded data may include voices other than the user.
- the user terminal device 30 or the server device 50 may be configured not to register a keyword corresponding to a voice that does not match the user characteristics in the first language word list. Sound information other than the user's voice may be deleted from the recorded data to suppress the data amount of the recorded data or text data.
- Techniques for identifying a speaker are already known. Based on this technology, the user terminal device 30 or the server device 50 can appropriately create a first language word list from the user's voice included in the recording data.
- the user terminal device 30 or the server device 50 is configured to identify a feature of the user's conversation from the utterance history and register a keyword that matches the feature as a keyword spoken by the user in the first language word list. Also good. Whether or not the keyword matches the feature can be determined based on the utterance frequency of each word of the user specified from the conversation history.
- the above-described processing relating to keyword extraction, generation of the first language word list, and generation of the second language word list may be executed by the server device 50 as in the third modification.
- a part or all of the scenario template group held by the server device 50 may be held by the user terminal device 30.
- the server device 50 acquires a scenario template necessary for generating lesson data from the user terminal device 30 and refers to the corpus database 70 for example sentences and / or related words to be set in the variable part of the acquired scenario template.
- the lesson data to be determined and provided to the user terminal device 30 may be generated.
- the part of the scenario template group held by the server device 50 may be a scenario template that does not include a variable part, that is, data that can be provided to the user terminal device 30 as lesson data without any editing.
- a scenario template may be held in the user terminal device 30 as lesson data.
- the user terminal device 30 may include all functions and data necessary for providing lessons including the functions of the server device 50 described above.
- the functions of one component in the above embodiment may be distributed among a plurality of components. Functions of a plurality of components may be integrated into one component. A part of the configuration of the above embodiment may be omitted. At least a part of the configuration of the embodiment may be added to or replaced with the configuration of the other embodiment. Any aspect included in the technical idea specified from the wording of the claims is an embodiment of the present disclosure.
- the processing of S110 executed by the control unit 31 of the user terminal device 30 or the processing of S710 executed by the processing unit 51 of the server device 50 corresponds to an example of processing executed by the acquisition unit.
- the processing of S120-S190 executed by the control unit 31 and the processing of S210-S270 executed by the processing unit 51, or the processing of S715-S770 executed by the processing unit 51 correspond to an example of processing executed by the providing unit.
- the processing of S130 executed by the control unit 31 or the processing of S720 executed by the processing unit 51 corresponds to an example of processing executed by the extraction unit.
- control unit 31 displays the word selection screen on the display unit 34 in S160 or S660 corresponds to an example of the process executed by the display control unit.
- control unit 31 receives an operation on the word selection screen in S170 or S670 corresponds to an example of a process executed by the selection information acquisition unit.
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本開示の一側面によれば、言語学習を支援するための学習支援システムが提供される。学習支援システムは、取得ユニットと、提供ユニットと、を備える。取得ユニットは、ユーザの会話データを取得するように構成される。提供ユニットは、会話データが示す会話の内容に基づき、会話で用いられる第一言語とは異なる第二言語を学習するためのレッスンを提供するように構成される。提供されるレッスンの内容は、会話の内容に応じて異なる。
Description
本国際出願は、2017年2月9日に日本国特許庁に出願された日本国特許出願第2017-22001号に基づく優先権を主張するものであり、日本国特許出願第2017-22001号の全内容を本国際出願に参照により援用する。
本開示は、学習支援システム及び方法に関する。
ユーザの母語又は習得済言語に対応する第一言語とは異なる第二言語に対する様々な学習方法が知られている。例えば、教師との会話を通じたオフライン/オンラインでの学習方法が知られている。書籍やソフトウェア等のアナログ/ディジタル教材を用いた学習方法もまた知られている。
ユーザ及びその会話相手の発話に基づき、相手の発話で用いられている言語知識であって、ユーザの発話で用いられていない言語知識に関する解説をユーザに提供するシステムもまた知られている(例えば、特許文献1参照)。
しかしながら、従来方法によれば、ユーザは、効率的な学習のために、教師/教材を選択したり、教師に学びたい表現を伝えたりする必要がある。上述の文献に開示される技術は、ユーザが不足する言語知識の補充に役立ち得るが、ユーザの母語又は習得済言語とは異なる第二言語での特殊な会話に基づきユーザに第二言語の知識を補充するものである。従って、この技術では、第二言語に関する言語能力が未熟なユーザの言語学習を効果的に支援できない。
そこで、本開示の一側面によれば、言語学習を効果的に支援可能な新規技術を提供できることが望ましい。
本開示の一側面によれば、言語学習を支援するための学習支援システムが提供される。この学習支援システムは、取得ユニットと、提供ユニットと、を備える。取得ユニットは、ユーザの会話データを取得するように構成される。提供ユニットは、会話データが示す会話の内容に基づき、会話で用いられる第一言語とは異なる第二言語を学習するためのレッスンを提供するように構成される。提供されるレッスンの内容は、会話の内容に応じて異なり得る。
この学習支援システムによれば、ユーザの第一言語としての母語又は習得済言語による会話データに基づいた第二言語のレッスンをユーザに向けて提供することができる。従って、ユーザによる第二言語の学習を効果的に支援することができる。
取得ユニットは、ユーザの日常会話が記録された音声データを、会話データとして取得するように構成されてもよい。ユーザの日常会話が記録された音声データは、非レッスン時におけるユーザの会話が記録された音声データであると理解されてもよい。
提供ユニットは、会話の内容、例えば会話の種類及び/又は特徴に応じてレッスンの内容を決定するように構成されてもよい。提供ユニットは、会話の種類及び特徴の少なくとも一方に応じたレッスンを提供するように構成されてもよい。
提供ユニットは、会話データ及び予め登録されたユーザの属性を表すデータの一方に基づきユーザの属性を判別するように構成されてもよい。提供ユニットは、判別したユーザの属性及び会話の内容に基づき、提供するレッスンの内容を決定するように構成されてもよい。
提供ユニットは、ユーザの第二言語の習熟度を判別し、判別したユーザの習熟度及び会話の内容に基づき、提供するレッスンの内容を決定するように構成されてもよい。提供ユニットは、ユーザについての第二言語の習熟度を表すデータに基づき、習熟度を判別してもよい。
提供ユニットは、会話の内容から判別される会話環境の種類及びユーザから指定された会話環境の種類の一方に応じたレッスンを提供するように構成されてもよい。会話環境の種類の例には、ビジネス環境及び非ビジネス環境が含まれ得る。
提供ユニットは、会話に含まれる1以上の単語に応じたレッスンを提供するように構成されてもよい。学習支援システムは、会話から1以上のキーワードを抽出するように構成される抽出ユニットを備えてもよい。提供ユニットは、抽出ユニットにより抽出された1以上のキーワードに少なくとも部分的に基づいてレッスンの内容を決定するように構成されてもよい。
提供ユニットは、会話の内容に応じた第二言語の1以上の単語を題材としたレッスンを提供するように構成されてもよい。提供ユニットは、抽出ユニットにより抽出された1以上のキーワードと少なくとも部分的に対応する第二言語の1以上の単語を題材としたレッスンを提供するように構成されてもよい。
抽出ユニットは、1以上のキーワードとして、複数のキーワードを抽出するように構成されてもよい。提供ユニットは、抽出ユニットにより抽出された複数のキーワードの内、ユーザにより選択されたキーワードに対応する第二言語の1以上の単語を題材としたレッスンを提供するように構成されてもよい。第二言語の1以上の単語の例には、ユーザにより選択されたキーワードに対応する類義語及び対義語の少なくとも一方が含まれ得る。
学習支援システムは、複数のキーワードを、第一言語及び第二言語の一方の形態で、表示デバイスに表示させるように構成される表示制御ユニットを備えてもよい。学習支援システムは、表示デバイスにより表示された複数のキーワードの内、ユーザにより選択されたキーワードを表す選択情報を、入力デバイスを通じて取得するように構成される選択情報取得ユニットを備えてもよい。提供ユニットは、選択情報が表すユーザにより選択されたキーワードに対応する第二言語の1以上の単語を題材としたレッスンを提供するように構成されてもよい。
提供ユニットは、第二言語のコーパスデータを参照して、コーパスデータに含まれる第二言語の例文を用いたレッスンを提供するように構成されてもよい。提供ユニットは、マイクロフォン及びスピーカを通じた音声による第二言語の対話形式のレッスンを提供するように構成されてもよい。
提供ユニットは、対話形式のレッスンにおいて、マイクロフォンを通じて得られたユーザの発話内容に応じて、レッスンの進行を制御するように構成されてもよい。例えば、提供ユニットは、発話内容から特定されるユーザの理解度/習熟度に応じて、レッスンの進行を制御するように構成され得る。
本開示の別側面によれば、取得ユニット、提供ユニット、抽出ユニット、表示制御ユニット、及び、選択情報取得ユニットの少なくとも一つの機能を、コンピュータに実現させるためのコンピュータプログラムが提供されてもよい。
本開示の別側面によれば、言語学習を支援するための学習支援方法であって、ユーザの会話データを取得することと、取得した会話データが示す会話の内容に基づき、会話で用いられる第一言語とは異なる第二言語を学習するためのレッスンを提供することと、を含む学習支援方法が提供されてもよい。提供されるレッスンの内容は、会話の内容に応じて異なり得る。上記学習支援方法は、コンピュータにより実行されてもよい。上述した学習支援システムと同様の技術的思想が適用された学習支援方法が提供されてもよい。これらの学習支援方法をコンピュータに実行させるための命令を備えるコンピュータプログラムが提供されてもよい。コンピュータプログラムは、コンピュータ読取可能な一時的でない記録媒体に記録されてもよい。
1,3…学習支援システム、10…録音装置、11…マイクロフォン、13…操作部、15…制御部、17…記憶部、19…近距離通信部、30…ユーザ端末装置、31…制御部、311…CPU、32…記憶部、34…表示部、35…操作部、36…音入出力部、361…マイクロフォン、363…スピーカ、38…無線通信部、39…近距離通信部、50…サーバ装置、51…処理部、511…CPU、52…記憶部、58…通信部、70…コーパスデータベース、80…音声認識サーバ。
本開示の例示的実施形態を、以下に図面を参照しながら説明する。本実施形態における学習支援システム1は、ユーザによる言語学習を支援するためのシステムである。この学習支援システム1は、ユーザが日常使用する母語又は習得済言語とは異なる第二言語の学習を支援するように構成される。以下では、ユーザの母語又はユーザが既に習得した習得済言語のことを、第一言語と表現し、学習対象の言語のことを第二言語と表現する。
図1に示す学習支援システム1は、録音装置10と、ユーザ端末装置30と、サーバ装置50と、を備える。ユーザ端末装置30は、サーバ装置50からの受信データに基づき、第二言語のレッスンを、音声及び表示の形態でユーザに提供する。特徴的なことに、この学習支援システム1は、レッスン内容を、録音装置10にて記録されたユーザの第一言語での日常会話に基づいて決定する。ここでいう日常会話は、非レッスン時のユーザの会話に対応する。
録音装置10は、ユーザ端末装置30とは独立した携帯型装置であり、ユーザの音声を記録可能に配置される。例えば録音装置10は、ユーザの襟元又は胸ポケットの周辺に装着される。この録音装置10は、マイクロフォン11と、操作部13と、制御部15と、記憶部17と、近距離通信部19と、を備える。
マイクロフォン11は、ユーザの音声を電気的な音声信号に変換し制御部15に入力する。操作部13は、ユーザから録音指示及び停止指示を受付可能な1以上の機械スイッチを備える。制御部15は、録音装置10の各部を統括制御するように構成される。
制御部15は、操作部13を通じてユーザから録音指示が入力されると、停止指示が入力されるまでの期間、マイクロフォン11から入力されるユーザの音声信号を、ディジタルの音声データに変換して、記憶部17に記録する。記憶部17は、電気的にデータ書換可能な半導体メモリであり、例えばフラッシュメモリである。以下では、記憶部17に記録される音声データのことを、録音データとも表現する。
近距離通信部19は、ユーザ端末装置30と近距離通信可能に構成される。近距離通信は、例えば、ブルートゥース(登録商標)通信である。制御部15は、近距離通信によるユーザ端末装置30からの要求に応じて記憶部17内の録音データを、ユーザ端末装置30に送信するように構成される。
ユーザ端末装置30は、携帯型の情報通信端末である。ユーザ端末装置30の例には、スマートフォン及びタブレットが含まれる。図1に示すように、ユーザ端末装置30は、制御部31と、記憶部32と、表示部34と、操作部35と、音入出力部36と、無線通信部38と、近距離通信部39と、を備える。
制御部31は、ユーザ端末装置30の各部を統括制御するように構成される。制御部31は、プロセッサ、具体的にはCPU(中央処理ユニット)311を備える。CPU311は、記憶部32が記憶するコンピュータプログラムに従う処理を実行することにより、各種機能を実現する。以下では、CPU311が実行する処理を、制御部31又はユーザ端末装置30が実行する処理として説明する。記憶部32は、CPU311が実行するコンピュータプログラム、及び、各種データを記憶する。記憶部32は、例えばフラッシュメモリで構成される。記憶部32には、ユーザ端末装置30が第二言語のレッスンを提供するために必要なコンピュータプログラムがインストールされる。
表示部34は、制御部31に制御されて、各種情報をユーザに向けて表示するように構成される。表示部34は、例えば、液晶又は有機ELディスプレイを含む。操作部35は、ユーザからの操作を受け付けて、その操作信号を制御部31に入力するように構成される。操作部35は、例えば、表示部34の画面上に広がるタッチパネルであり得る。操作部35は、表示部34の画面周囲に機械式又は静電容量式のスイッチを備えてもよい。
音入出力部36は、マイクロフォン361及びスピーカ363を備え、マイクロフォン361からの音声信号を制御部31に入力する一方、制御部31に制御されて、各種音声をスピーカ363から出力するように構成される。無線通信部38は、広域通信網及び/又はセルラー通信網を通じて、外部のサーバ装置50と通信可能に構成される。広域通信網の例には、インターネットが含まれる。
近距離通信部39は、録音装置10と近距離通信可能に構成される。この近距離通信部39は、制御部31に制御されて、録音装置10と通信する。
サーバ装置50は、処理部51と、記憶部52と、通信部58と、を備える。図1に示すサーバ装置50は、詳細には1以上のコンピュータにより構成される。処理部51は、CPU511を備え、記憶部52が記憶するコンピュータプログラムに従う処理を実行することにより、各種機能を実現する。以下では、CPU511が実行する処理を、処理部51又はサーバ装置50が実行する処理として説明する。
サーバ装置50は、処理部51と、記憶部52と、通信部58と、を備える。図1に示すサーバ装置50は、詳細には1以上のコンピュータにより構成される。処理部51は、CPU511を備え、記憶部52が記憶するコンピュータプログラムに従う処理を実行することにより、各種機能を実現する。以下では、CPU511が実行する処理を、処理部51又はサーバ装置50が実行する処理として説明する。
記憶部52は、CPU511が実行するコンピュータプログラム、及び、各種データを記憶する。記憶部52は、1以上のハードディスクドライブ(HDD)及び/又はソリッドステートドライブ(SSD)を含む。通信部58は、広域通信網を通じてユーザ端末装置30と通信可能に構成される。
処理部51は、通信部58を通じてユーザ端末装置30と通信し、ユーザ端末装置30からの受信データに基づいた処理を実行し、応答データをユーザ端末装置30に送信する。例えば、処理部51は、通信部58を通じてユーザ端末装置30から学習対象の単語を表す単語選択データを受信すると、記憶部52が記憶する複数のシナリオテンプレートから、学習対象の単語に対応する一つのシナリオテンプレートを選択する。処理部51は、選択したシナリオテンプレートに基づくレッスンデータを生成して、当該レッスンデータを、応答データとしてユーザ端末装置30に送信する。レッスンデータは、学習対象の単語及びそれに関連する単語及び例文に関する対話形式のレッスンを、ユーザ端末装置30を通じてユーザに提供するためのデータである。対話形式のレッスンは、全て第二言語で行われる。
図2に示すように記憶部52は、複数のシナリオテンプレートを記憶し、具体的には、学習種目毎に複数のシナリオテンプレートを記憶する。より詳細には、記憶部52は、各学習種目に対して、単語毎に複数のシナリオテンプレートを記憶する。
記憶部52が単語毎に複数のシナリオテンプレートを記憶するのは、使用するシナリオテンプレートをランダムに又は所定条件で切り替えて、同一単語に関する異なる内容のレッスンをユーザに提供するためである。所定条件は、例えば、同一単語の学習回数に基づく条件であり得る。この切り替えは、同一単語に対して固定的ではない可変のレッスンを提供するのに役立つ。
記憶部52が学習種目毎に複数のシナリオテンプレートを記憶するのは、第二言語の使用環境及び/又は習熟度に合わせて、適切なレッスンを提供するためである。例えば学習に適切なレッスンは、学習対象の単語が同一単語であっても、使用環境の相違によって変化する。使用環境には、ビジネス環境及び非ビジネス環境が含まれる。ビジネス環境は、副環境として、研究開発業、デザイン設計業、接客業、医療業、法務業等の業務毎の環境を含み得る。非ビジネス環境は、副環境として、日常生活環境、及び、旅行環境等を含み得る。学習に適切なレッスンの内容は、更に第二言語の習熟度によっても変化する。
このため、記憶部52は、学習種目毎の複数のシナリオプレートとして、第二言語の使用環境及び/又は習熟度毎に複数のシナリオテンプレートを記憶する。記憶部52は、使用環境及び/又は習熟度以外の区分による学習種目毎のシナリオテンプレートを備えていてもよい。即ち、学習種目は、第二言語の使用環境及び/又は習熟度以外の観点で区分される学習種目であってもよい。
記憶部52が記憶するシナリオテンプレートの夫々は、シナリオ属性データと、複数の学習用データとを備える。シナリオ属性データは、シナリオテンプレートに対応する学習種目及び学習対象の単語を表す。複数の学習用データは、対話形式のレッスンにおける対話シナリオを規定する。
対話形式のレッスンは、システム1の発話、それに対するユーザの応答、それに対するシステム1の応答の対話セットの繰返しにより行なわれる。一つの学習用データは、一つの対話セットに対応するシステム1の発話文と、それに対するユーザの応答パターン毎のシステム1の応答文と、を記述する。ここで言うシステム1の発話及び応答は、レッスンの提供のために行なわれる、ユーザ端末装置30からユーザへの発話及び応答に対応する。発話及び応答は、第二言語で行なわれる。
図2において示されるように、学習用データの夫々は、その学習用データの識別コード(ID)に関連付けて、システム1の発話文を記述するデータと、それに対するユーザの応答パターン毎のシステム応答データを備える。
システム応答データは、ユーザの応答パターンを表すデータに関連付けて、そのパターンのユーザ応答が生じたときにシステム1が発すべき応答文であるシステム応答文と、移行先IDとを記述する。移行先IDは、次に参照すべき学習用データの識別コード(ID)を表す。一つの学習用データに基づくシステム1の発話、それに対するユーザの応答、及び、システム1の応答が行なわれた後には、上記移行先IDに対応する学習用データに基づく、システム1の発話、それに対するユーザの応答、及び、システム1の応答が行なわれる。
続いて、ユーザ端末装置30及びサーバ装置50が実行する処理の詳細を説明する。ユーザ端末装置30の制御部31は、操作部35を通じてユーザからレッスンの開始指示が入力されると、図3に示す処理を実行する。
図3に示す処理を開始すると、制御部31は、近距離通信部39を通じて録音装置10に録音データの要求信号を送信し、録音装置10から録音データを取得する(S110)。ここで取得する録音データは、当日記録されたユーザの会話内容を表す録音データであってもよいし、録音装置10に保存されている録音データの内、ユーザ端末装置30が未取得の録音データの全てであってもよい。
制御部31は、取得した録音データを解析してテキストデータに変換し(S120)、このテキストデータから複数のキーワードを抽出して、第一言語の単語リストを生成する(S130)。キーワードとして抽出すべき第一言語の単語群は予め定められる。制御部31は、抽出した複数のキーワードをランキング化し、ランキング化した複数のキーワードの中から、上位所定個のキーワードを抽出して、上位所定個のキーワードのリストを、第一言語の単語リストとして生成してもよい。
一例によれば、制御部31は、所定期間におけるユーザの各キーワードの使用頻度に基づき、使用頻度が高いキーワードほどランクが高くなるように、抽出した複数のキーワードをランキング化することができる。所定期間は、取得した録音データに対応する録音期間であってもよいし、現在を終点とした過去の一定期間であってもよい。一定期間の例には、一日、一週間、及び、一月が含まれる。
別例によれば、制御部31は、抽出した複数のキーワードに関して、キーワード毎に、所定期間におけるユーザの使用頻度と重み係数とを乗算することにより、各キーワードのスコア(=使用頻度×重み係数)を算出し、スコアの高いキーワードほどランクが高くなるように、抽出した複数のキーワードをランキング化することができる。重み係数は、第二言語の習得に役立つ単語ほど大きな値に定められ得る。この場合、重み係数を定義するデータがサーバ装置50からユーザ端末装置30に提供されて、記憶部32に記憶され得る。重み係数は、ユーザの第二言語の習熟度に基づいて定められてもよい。この場合、重み係数は、習熟度に合致する単語ほど大きな値に定められ得る。
制御部31は、このようにしてS130で生成した第一言語の単語リストを、無線通信部38を通じてサーバ装置50に送信する(S140)。サーバ装置50の処理部51は、図4に示すように、第一言語の単語リストを、通信部58を通じて受信し(S210)、受信した単語リストを翻訳して、第二言語の単語リストを生成する(S220)。処理部51は、S220で生成した第二言語の単語リストを、第一言語の単語リストの送信元であるユーザ端末装置30に、通信部58を通じて送信する(S230)。
ユーザ端末装置30の制御部31は、S140においてサーバ装置50に送信した第一言語の単語リストに対応する第二言語の単語リストを、S150においてサーバ装置50から無線通信部38を介して受信する。
その後、制御部31は、第二言語の単語リストから学習対象の単語を選択するように促すメッセージを、スピーカ363を通じて音声出力すると共に表示部34に表示させる。その後、制御部31は、単語選択画面を表示部34に表示させる(S160)。図5には、単語選択画面の一例を示す。図5によれば、第二言語は、英語である。以下において、制御部31がメッセージを出力すると記載したとき、この記載は、制御部31が、第二言語のメッセージを、スピーカ363を通じて音声出力すると共に表示部34に表示させることを意味する。
S160において、制御部31は、単語選択画面の表示に先駆けて、ユーザとの間で挨拶を交わすための処理を行ってもよい。例えば、図6に示すように、制御部31は、“How are you today?”とのメッセージを出力することができる。本明細書において、二重引用符“”で示されるメッセージは、第二言語のメッセージに対応する。本実施形態では、第二言語は、英語である。従って、実施形態の説明では、本願明細書の記述言語によらず、二重引用符“”内を、第二言語としての英語で示す。
制御部31は、この挨拶に対するユーザの適切な応答を検知した後、単語選択画面を表示部34に表示させることができる。ユーザからの応答は、マイクロフォン361を通じて音声入力により行われる。例えば、制御部31は、ユーザからの応答“Good.”に対し、“Here are the words of the day.”とのメッセージを出力し、その後、図5に示す単語選択画面を表示部34に表示させることができる。
図5に示す例によれば、第二言語の単語リストに含まれる単語群は、横方向へのスクロールを伴いながら単語選択画面に表示される。ユーザは、操作部35を通じて、単語選択画面に表示される単語群から学習対象として所望する単語を一つ選択することができる。そして、単語選択画面に表示されるOKボタンを押下操作することにより、単語選択の確定操作を行なうことができる。制御部31は、操作部35を通じて、ユーザによる単語の選択操作及び確定操作に関する操作信号を取得し、選択された単語を特定することができる。
制御部31は、単語選択の確定操作がなされると、選択された学習対象の単語を示す単語選択データを、無線通信部38を通じてサーバ装置50に送信する(S170)。これにより、サーバ装置50からは、選択された単語に対応するレッスンデータが送信されてくる。制御部31は、単語選択の確定操作がなされた後、レッスンデータを受信するまでの期間に、ユーザによる単語選択を称賛するメッセージを出力するための処理を実行することができる。図6に示す例によれば、単語選択の確定操作がなされると、単語選択画面が閉じられ、単語選択画面の表示前のユーザとのやり取りに関するメッセージに続いて、ユーザにより選択された単語“negotiation”が表示される。更に、その選択を称賛するメッセージ“Good choice!”が出力される。
サーバ装置50の処理部51は、S230において第二言語の単語リストをユーザ端末装置30に送信後、このユーザ端末装置30から通信部58を通じて単語選択データを受信すると(S240)、S250に移行する。S250において、処理部51は、受信した単語選択データが示す学習対象の単語に対応する複数のシナリオテンプレートの中から、今回使用するシナリオテンプレートを一つ選択する。
上述したように記憶部52は、単語毎のシナリオテンプレート群を学習種目毎に記憶する。S250において、処理部51は、対応するユーザの学習種目(第二言語の使用環境及び/又は習熟度)に対応するシナリオテンプレート群であって、選択された学習対象の単語に対応するシナリオテンプレート群の中から、使用するシナリオテンプレートを一つ選択する(S250)。
サーバ装置50は、ユーザ又はユーザ端末装置30毎に、対応するユーザ又はユーザ端末装置30の識別情報、具体的には、ユーザID又はデバイスIDに関連付けて、ユーザデータを、記憶部52に記憶する。ユーザデータは、対応するユーザの第二言語の使用環境及び/又は習熟度の情報を含む。
サーバ装置50の処理部51は、ユーザデータの登録時に、ユーザ端末装置30を通じて、対応するユーザに使用環境を問い合わせることにより、対応するユーザから、第二言語の使用環境の情報を取得することができる。サーバ装置50の処理部51は、ユーザ端末装置30を通じて、対応するユーザに定期的に習熟度を問い合わせることにより、対応するユーザから、第二言語の習熟度の情報を取得し、ユーザデータを更新することができる。サーバ装置50の処理部51は、対応するユーザのレッスンの履歴から、第二言語の習熟度を評価して、ユーザデータを更新する構成にされてもよい。
S250において、処理部51は、単語選択データ送信元に対応するユーザデータを参照して、対応するユーザの学習種目を特定することができる。処理部51は、単語選択データ送信元に対応するユーザ又はユーザ端末装置30の識別情報を、S250におけるシナリオテンプレートの選択前に、ユーザ端末装置30から取得することができる。例えば、処理部51は、対応するユーザ又はユーザ端末装置30の識別情報を、S210において第一言語の単語リストと共に、又は、S240において、単語選択データと共に、ユーザ端末装置30から取得することができる。
その後、処理部51は、選択したシナリオテンプレートに基づき、レッスンデータを生成する(S260)。レッスンデータは、シナリオテンプレートの可変部分が確定したデータであり、シナリオテンプレートと同様の構成を有し得る。
例えば、レッスンデータに基づくレッスンにおいて、ユーザに提供される学習対象の単語に関する例文の一部又は全部は、シナリオテンプレートにおいて定型文として定義されておらず、パラメータとして定義されている。換言すれば、シナリオテンプレートにおいて定義される対話シナリオは、例文が変化する可変部分を有する。
処理部51は、この可変部分に用いる例文を決定するために、コーパスデータベース70を参照する。コーパスデータベース70は、サーバ装置50とは別のサーバ装置が備えることができる。あるいは、コーパスデータベース70は、サーバ装置50に組み込まれていてもよい。例えば、コーパスデータベース70は、サーバ装置50の記憶部52内に設けられてもよい。処理部51は、シナリオテンプレートの可変部分(パラメータ)に用いる例文を、コーパスデータベース70に基づいて決定することにより、レッスンデータを生成する。
具体的に、処理部51は、可変部分に用いる例文を、コーパスデータベース70が有する学習対象の単語に対応する複数の例文の中から選択する。レッスンデータに組み込まれる例文は、コーパスデータベース70が有する学習対象の単語に対応する複数の例文の中から、ランダムに、又は、所定の規則で選択され得る。所定規則で選択することは、複数の例文の中から、第二言語の使用環境に対応する例文を選択することを含む。第二言語の使用環境に対応する例文が複数存在する場合、処理部51は、その複数の例文の中から、ランダムに、可変部分に用いる例文を選択することができる。こうした例文の選択により、ユーザは、学習種目に対応する例文を効率的に学習し得る。
レッスンデータに基づいては、学習対象の単語と共に関連語を学習するレッスンが提供されてもよく、この場合、シナリオテンプレートは、関連語に関する可変部分(パラメータ)を有し得る。即ち、処理部51は、コーパスデータベース70に基づいてユーザに紹介する関連語を含むようにレッスンデータを生成してもよい。
S260におけるレッスンデータの生成後、処理部51は、レッスンデータ送信処理を実行する(S270)。このレッスンデータ送信処理において、処理部51は、上記生成したレッスンデータを、単語選択データ送信元のユーザ端末装置30に送信する。その後、処理部51は、図4に示す処理を終了する。
ユーザ端末装置30の制御部31は、単語選択データをサーバ装置50に送信した後、サーバ装置50から応答データとして、上記レッスンデータを、無線通信部38を介して受信する(S180)。その後、制御部31は、レッスン提供処理を実行する(S190)。レッスン提供処理において、制御部31は、受信したレッスンデータに基づき、ユーザに選択された学習対象の単語を題材としたレッスンを、スピーカ363及びマイクロフォン361を用いて第二言語による対話形式で提供する。この際、制御部31は、音声での対話が文字情報として表示部34に表示されるように、表示部34を制御する。
制御部31より実行されるレッスンデータ提供処理の一例が、図7に示される。制御部31は、レッスンデータを受信すると、ユーザにより選択された学習対象の単語の意味に関する対話を行う(S310)。制御部31は、図6に示すように“Here’s the meaning of <単語>.”とのメッセージ出力に続いて、第二言語で学習対象の単語の意味を表示部34に表示させることができる。メッセージ出力は、上述したように音声及び表示によるメッセージ出力を意味する。<単語>には、図6から理解できるように、選択された学習対象の単語が挿入される。
制御部31は、単語の意味を表示部34に表示させた後、メッセージ“Did you
get the meaning?”を出力することができる。この問いかけに対して、ユーザが第二言語による発話で肯定的な回答をした場合、例えば“Yes”と答えた場合、制御部31は、マイクロフォン361からの入力に基づいてこの回答を検知し、レッスンを次の段階に進めると判断する(S320でYes)。この際、制御部31は、ユーザを賞賛するメッセージを出力することができる。その後、S330に移行する。
get the meaning?”を出力することができる。この問いかけに対して、ユーザが第二言語による発話で肯定的な回答をした場合、例えば“Yes”と答えた場合、制御部31は、マイクロフォン361からの入力に基づいてこの回答を検知し、レッスンを次の段階に進めると判断する(S320でYes)。この際、制御部31は、ユーザを賞賛するメッセージを出力することができる。その後、S330に移行する。
上記問いかけに対して、ユーザが否定的な回答をした場合、例えば“No”と答えた場合、制御部31は、レッスンを次の段階に進めないと判断し(S320でNo)、単語の意味に関する会話を続けるための処理を実行する(S310)。
例えば、制御部31は、“No? OK, then I’ll show you one more time. Please look at the screen.”とのメッセージを出力し、更には、”Did you get the meaning?”とのメッセージを出力し、それに対するユーザの応答を待つことができる。そして、肯定的な回答が得られると、S330に移行する。
上記処理は、シナリオテンプレートが備える学習用データに、ユーザの応答が肯定的である場合に参照すべきシステム応答データと、否定的である場合に参照すべきシステム応答データと、を格納し、各システム応答データには異なる移行先IDを記述しておくことにより、実現可能である。このようにレッスンは、対話形式により行われ、レッスンの進行は、ユーザの発話内容に応じて制御部31により制御される。
図7に示す例によれば、制御部31は、S330において、類義語に関する対話を行う。制御部31は、第二言語で、学習対象の単語に対応する類似語を紹介するメッセージを出力し、更には、類義語を理解することができたか否かを問い合わせるメッセージを出力する。
この問いかけに対して、ユーザが第二言語による発話で肯定的な回答をした場合、制御部31は、レッスンを次の段階に進めると判断する(S340でYes)。その後、S350に移行する。上記問いかけに対して、ユーザが否定的な回答をした場合、制御部31は、レッスンを次の段階に進めず(S340でNo)、類義語に関する会話を続けるための処理を実行する(S330)。そして、再度、類義語を理解することができたか否かを問い合わせるメッセージを出力する。これに対し、肯定的な回答が得られると、S350に移行する。
S350において、制御部31は、対義語に関する対話を行う。この対話は、類義語と同様に行うことができる。制御部31は、対義語を理解することができたか否かの問いかけに対して、ユーザが肯定的な回答をした場合、レッスンを次の段階に進めると判断して(S360でYes)、S370に移行する。上記問いかけに対して、ユーザが否定的な回答をした場合、制御部31は、レッスンを次の段階に進めず(S360でNo)、対義語に関する会話を続けるための処理を実行する(S350)。
S370において、制御部31は、例文に関する発話レッスンを行うための処理を実行する。例えば、制御部31は、表示部34を通じた例文表示を伴って“Here’s a
sample sentence. Let’s read it out loud. Repeat after me.”とのメッセージを出力することができる。更には、例文を読み上げることができる。
sample sentence. Let’s read it out loud. Repeat after me.”とのメッセージを出力することができる。更には、例文を読み上げることができる。
制御部31は、例文の読み上げに続いて、ユーザが例文を正しく適切な発音で発話したか否かを、マイクロフォン361からの入力に基づいて判断する。そして、ユーザが例文を間違えずに適切な発音で発話した場合には、レッスンを次の段階に進めると判断し(S380でYes)。S390に移行する。それ以外の場合には、S370に移行し、例文を再度読み上げる。この読み上げ後、マイクロフォン361からの入力に基づいて同様にユーザの例文の発話の正しさを評価する。
制御部31は、このような例文の読み上げ及びユーザの発話の評価を、ユーザが例文を正しく適切な発音で発話するまで、所定回数を限度に繰返し行う。そして、ユーザが例文を間違えずに適切な発音で発話した場合には、S390に移行する。
ユーザが例文を正しく適切な発音で発話した場合、制御部31は、S390において、ユーザを賞賛するメッセージ及びレッスンを終了する旨のメッセージを出力して、レッスンを終了することができる。それ以外の場合、制御部31は、S390において、再度のレッスンを促すメッセージを出力して、レッスンを終了することができる。
ここでは、説明を簡単にするために、例文に関する発話レッスンを終了すると、一連のレッスンが終了する例を説明した。しかしながら、例文に関する発話レッスンは、複数の例文について行われてもよいし、例文に関する発話レッスンに続いて別のレッスンが行われてもよい。レッスンを更に行うか否かを問い合わせるメッセージを出力し、このメッセージに対するユーザからの回答が肯定的である場合には、レッスンを継続し、ユーザからの回答が否定的である場合には、レッスンを終了するように、制御部31は、レッスンデータに基づく処理を実行してもよい。
以上に説明した本実施形態の学習支援システム1によれば、ユーザ端末装置30は、ユーザの第一言語による日常会話が記録された録音データを録音装置10から取得する(S110)。ユーザ端末装置30は、この録音データが示す会話の内容に基づき、第二言語を学習するためのレッスンであって、会話の内容に応じたレッスンを提供する(S190)。従って、この学習支援システム1によれば、ユーザの日常会話に基づいた第二言語のレッスンをユーザに向けて提供することができ、ユーザによる第二言語の学習を効果的に支援することが可能である。
特に、ユーザ端末装置30は、単語に関する会話の特徴に応じたレッスンを提供する。具体的には、会話に含まれる1以上の単語に基づいたレッスンを提供する。上述したように、ユーザ端末装置30は、第一言語による会話から1以上のキーワードを抽出し(S130)、当該1以上のキーワードの内、ユーザにより選択された一つのキーワードに対応する第二言語の1以上の単語を題材としたレッスンを提供する(S190)。
具体的には、ユーザ端末装置30は、抽出した複数のキーワードの翻訳をサーバ装置50から取得し(S150)、取得した複数のキーワードの翻訳である第二言語の単語リストに含まれる単語の選択画面を表示部34に表示させる(S160)。ユーザ端末装置30は、表示された単語群の中からユーザが選択した単語を、ユーザにより選択されたキーワードとして取り扱い、当該選択されたキーワードに対応する第二言語の1以上の単語を題材としたレッスンを提供する。題材は、選択された単語と、任意には、その関連語である。本実施形態において、関連語は、類義語及び対義語である。従って、学習支援システム1は、ユーザが日常会話で用いる単語に対応する第二言語の単語、及び、その関連語の学習支援に役立つ。
本実施形態では、レッスンが第二言語による音声での対話形式で行なわれることも有意義である。対話形式のレッスンによれば、会話に必要な力が効果的に向上する。本実施形態では、レッスンにおいて提供される例文がコーパスデータを用いて変更されることも有意義である。コーパスデータを用いることで多様なレッスンをユーザに提供することが可能である。
更に、本実施形態では、図7に示されるように、ユーザ端末装置30が、マイクロフォン361を通じて得られたユーザの発話内容に応じて、レッスンの進行を制御する。これにより、ユーザの理解度/習熟度に合わせて、レッスンを進めることが可能である。特に、例文の学習においては、発音も考慮してユーザの発話(例文の復唱)を評価し、その結果に基づいて、レッスンの進行を制御する。このため、本実施形態によれば、ユーザの習熟度に応じた適切な学習支援が可能である。
続いて、学習支援システム1に関する複数の変形例を説明する。変形例に関しては、上述の学習支援システム1との相違点を選択的に説明する。従って、変形例において説明のない構成は、上述の学習支援システム1の対応する構成と同じであると理解されてよい。
上記実施形態によれば、サーバ装置50が、一連のレッスンに必要なデータの全てをS270においてユーザ端末装置30に送信する。しかしながら、サーバ装置50は、図8に示すように、レッスンの進行に合わせて、レッスンデータを段階的にユーザ端末装置30に送信するように構成されてもよい。
第一変形例において、サーバ装置50の処理部51は、S270(図4参照)において、図8に示すレッスンデータ送信処理を実行する。これに対応して、ユーザ端末装置30の制御部31は、S190(図3参照)において、図9に示すレッスン提供処理を実行することができる。
図8に示す処理を開始すると、処理部51は、S260で生成されたレッスンデータをユーザ端末装置30に送信する(S410)。第一変形例のS260では、処理部51が、一連のレッスンにおける第一段階のレッスンを提供するためのレッスンデータを生成することができる。
その後、処理部51は、このレッスンデータに基づきユーザ端末装置30からユーザに提供されるレッスンにおいて生じたシステムの発話に対するユーザ応答を表す応答データを、通信部58を通じて受信する(S420)。応答データは、システム1の発話に対するユーザからの応答音声を表すデータであり得る。
処理部51は、受信した応答データに基づき、ユーザの応答パターンに応じたレッスンを提供するためのレッスンデータを生成し(S430)、生成したレッスンデータを、通信部58を通じてユーザ端末装置30に送信する(S440)。このレッスンデータに基づきユーザ端末装置30からユーザに提供されたレッスンにおいて生じたユーザの応答内容を示す応答データを、通信部58を通じて受信する(S450)。
そして、一連のレッスンが終了していない場合には(S460でNo)、S450で受信した応答データに基づき、次のレッスンデータを生成及び送信し(S430,S440)、更なる応答データを受信する(S450)。即ち、処理部51は、一連のレッスンが終了するまで、S430~S450を繰返し実行し、これにより、レッスンデータを、ユーザ応答に応じて内容が変化するレッスンの分岐を境界とするレッスンの段階毎にユーザ端末装置30に送信する。処理部51は、一連のレッスンが終了すると、ユーザ端末装置30にレッスンの終了を通知し(S470)、当該データ提供処理を終了する。
ユーザ端末装置30の制御部31は、図9に示すレッスン提供処理を開始すると、サーバ装置50から受信したレッスンデータに基づくレッスンを表示部34及びスピーカ363を通じて提供し(S510)、マイクロフォン361からの入力に基づき、システム1の発話に対するユーザ応答を表す応答データを、無線通信部38を通じてサーバ装置50に送信する(S520)。
ユーザ端末装置30の制御部31は、S510及びS520の処理をサーバ装置50からレッスンデータを受信する度に(S530でYes)実行する。制御部31は、レッスンデータを受信することなく(S530でNo)、レッスンの終了通知を受信すると(S540でYes)、レッスンを終了するメッセージを出力して、レッスンを終了する(S550)。
第一変形例によれば、レッスンデータがサーバ装置50からユーザ端末装置30に段階的な提供され、これによりユーザ端末装置30にはレッスンに必要なデータが選択的に提供される。この変形例によれば、更に、音声解析によるユーザの応答パターンの判別を、サーバ装置50で高精度且つ高速に行なうことができる。従って、当該変形例によれば、ユーザ端末装置30の処理負荷を低減することができる。第一変形例によれば、更に、ユーザ端末装置30においてインストールされる第二言語学習用のコンピュータプログラムの規模を小さくすることができる。
第二変形例として、記憶部52は、ユーザ毎又はユーザ端末装置30毎のユーザデータ内に、対応するユーザの属性データを有していてもよい。ユーザの属性データには、ユーザの性別及び/又は年齢(又は年齢層)を表すデータが含まれ得る。この属性データには、ユーザの職業を表すデータ及び/又はユーザの趣味を表す情報が含まれてもよい。趣味の例には、スポーツ、楽器演奏、及び、美術鑑賞が含まれる。ユーザデータには、対応するユーザの第二言語の使用環境及び/又は習熟度と共に、レッスンの受講頻度を表すデータが含まれてもよい。
この場合、処理部51は、S220において、ユーザ端末装置30から受信した第一言語の単語リストから、ユーザ属性に対応する単語群を抽出し、抽出した単語群のみを第二言語に翻訳して、第二言語の単語リストに登録してもよい。
記憶部52は、第一言語の単語リストから抽出すべき単語群を定義する辞書データを保持することができる。例えば、辞書データは、複数の単語に関して、単語毎に属性ラベルが付された構成にされる。属性ラベルは、対応する単語に関連する一つ又は複数のユーザ属性を示す。
処理部51は、第一言語の単語リストに登録された単語のそれぞれを順に選択し、選択した単語に対して辞書データ内で付された属性ラベルを参照し、参照した属性ラベルが示す一つ又は複数のユーザ属性に、第一言語の単語リストを送信したユーザ端末装置30のユーザ属性が含まれるか否かを判断する。ここで、含まれると判断した場合に限って、処理部51は、上記選択した単語を、第二言語に翻訳して第二言語の単語リストに登録することができる。
辞書データの各単語には、語彙レベルを表すラベルが付されてもよい。この場合、処理部51は、S220において、第一言語の単語リストに登録された単語群の内、第一言語の単語リストを送信したユーザ端末装置30に対応するユーザの習熟度に合致する語彙レベルの単語群を第二言語に翻訳して第二言語の単語リストに登録することができる。対応するユーザの習熟度は、対応するユーザのユーザデータから判別され得る。
ユーザ属性に基づいた有意義な第二言語の単語リストを生成するために、ユーザ端末装置30の制御部31がS130でキーワードとして抽出する対象の単語群は、広く定められ得る。制御部31は、第一言語の単語リストを生成する際、使用頻度に基づいたキーワードのランキング化、及び、上位所定個のキーワードの抽出を行わなくてもよい。使用頻度に基づく上位所定個のキーワードの抽出は、第二言語の単語リストを生成する際にサーバ装置50により行われてもよい。
第二変形例に対する更なる変形例として、記憶部52は、辞書データを備えなくてもよい。代わりに、属性ラベルを有する辞書データとしての機能をコーパスデータベース70に組み込んでもよい。この場合、処理部51は、コーパスデータベース70を参照して、第二言語の単語リストを生成することができる。
第二変形例に対する更なる変形例として、コーパスデータベース70は、単語毎及びユーザ属性毎に複数の例文を備えていてもよい。この場合、処理部51は、S260において、コーパスデータベース70が有する学習対象の単語に対応する複数の例文の中から、レッスンデータ送信先のユーザ端末装置30に対応するユーザのユーザ属性に対応する例文の一つ又は複数を選択して、選択した例文を含むレッスンデータを生成することができる。
第二変形例に対する更なる変形例として、記憶部52は、単語毎のシナリオテンプレート群を、ユーザ属性及び学習種目の組合せ毎に備えていてもよい。この場合、処理部51は、S250において、対応するユーザのユーザデータを参照して、ユーザの学習種目及びユーザ属性の組合せに対応するシナリオテンプレート群であって、選択された学習対象の単語に対応するシナリオテンプレート群の中から、使用するシナリオテンプレートを一つ選択してもよい。
学習支援システム1は、図10に示すように、ユーザ端末装置30がサーバ装置50に録音データを転送するように変形されてもよい。図10に示す第三変形例の学習支援システム3では、ユーザ端末装置30が録音装置10から録音データを取得する。ユーザ端末装置30は、録音データをサーバ装置50に転送する。
サーバ装置50は、ユーザ端末装置30から受信した録音データに基づき、第二言語の単語リストを生成し、これを録音データ送信元のユーザ端末装置30に送信する。ユーザ端末装置30は、サーバ装置50から受信した第二言語の単語リストに基づき、単語選択画面を表示し、単語選択画面に対するユーザ操作に基づき、単語選択データを、サーバ装置50に送信する。
サーバ装置50は、受信した単語選択データに基づき、レッスンデータを生成し、当該レッスンデータを、単語選択データ送信元のユーザ端末装置30に送信する。ユーザ端末装置30は、受信したレッスンデータに基づき、ユーザに向けて第二言語のレッスンを提供する。
図10に示される学習支援システム3の録音装置10、ユーザ端末装置30、サーバ装置50、及び、コーパスデータベース70は、ユーザ端末装置30及びサーバ装置50に保持されるコンピュータプログラムが一部異なる点を除いて、上記実施形態の学習支援システム1と基本的に同様に構成される。
コンピュータプログラムの相違により、第三変形例におけるユーザ端末装置30の制御部31は、図3に示す処理に代えて、図11に示す処理を実行する。サーバ装置50の処理部51は、図4に示す処理に代えて、図12に示す処理を実行する。以下において説明が省略された学習支援システム3の構成は、上記実施形態、第一変形例、及び、第二変形例のいずれかと同じであると理解されてよい。
ユーザ端末装置30の制御部31は、ユーザからのレッスンの開始指示に応じて、図11に示す処理を開始すると、S110と同様に、録音装置10から録音データを取得する(S610)。その後、取得した録音データを、サーバ装置50に転送する(S620)。
サーバ装置50の処理部51は、ユーザ端末装置30から録音データを受信すると(S710)、録音データを、音声認識サーバ80に送信することによって、録音データに対応するテキストデータを音声認識サーバ80から取得する(S715)。
音声認識サーバ80は、サーバ装置50から受信した録音データを解析して、録音データに含まれる発話音声をテキスト化したテキストデータを生成し、当該テキストデータを、録音データ送信元のサーバ装置50に送信する。音声認識サーバ80は、例えば、インターネット上に存在する既存の音声認識サーバであり得る。別例として、サーバ装置50の処理部51は、自ら録音データを解析して、録音データに対応するテキストデータを生成してもよい(S715)。
続くS720において、処理部51は、テキストデータに基づき、コーパスデータベース70を参照して第二言語の単語リストを生成する。処理部51は、テキストデータから、上記実施形態と同様にキーワードを抽出して、第一言語の単語リストを生成し、第一言語の単語リストを翻訳して、第二言語の単語リストを生成し得る。この際、処理部51は、対応するユーザのユーザデータを参照し得る。
第一言語及び/又は第二言語の単語リストは、単語の使用頻度、会話環境、第二言語の使用環境、ユーザ属性、ユーザの習熟度、及びレッスンの受講頻度の一つ又は複数を考慮して、上記実施形態、第一変形例、又は第二変形例の通り、生成され得る。但し、第一言語の単語リストは、ユーザ端末装置30ではなくサーバ装置50によって生成される。
処理部51は、S720で生成した第二言語の単語リストを、録音データ送信元のユーザ端末装置30に送信する(S730)。
ユーザ端末装置30の制御部31は、サーバ装置50からの上記単語リストを受信し(S650)、受信した単語リストに基づいて、単語選択画面を表示部34に表示させ(S660)、単語選択データをサーバ装置50に送信する(S670)。S660,S670の処理は、S160,S170と同じように実行される。
ユーザ端末装置30の制御部31は、サーバ装置50からの上記単語リストを受信し(S650)、受信した単語リストに基づいて、単語選択画面を表示部34に表示させ(S660)、単語選択データをサーバ装置50に送信する(S670)。S660,S670の処理は、S160,S170と同じように実行される。
サーバ装置50の処理部51は、ユーザ端末装置30から単語選択データを受信する(S740)。処理部51は、受信した単語選択データが示す学習対象の単語、及び、対応するユーザの学習種目に基づき、シナリオテンプレート群の中から、使用するシナリオテンプレートを一つ選択し(S750)、選択したシナリオテンプレートに従うレッスンデータを生成し(S760)、当該レッスンデータをユーザ端末装置30に送信する(S770)。S740-S770の処理は、S240-S270と同じように実行される。
ユーザ端末装置30の制御部31は、サーバ装置50からのレッスンデータを受信し(S680)、このレッスンデータに基づく第二言語のレッスンを提供する(S690)。S680,S690の処理は、S180,S190と同じように実行される。第三変形例によれば、レッスンの提供に必要な処理を大部分をサーバ装置50にて実行することができ、ユーザ端末装置30の負荷を抑えることができる。
第三変形例に対する更なる変形例として、サーバ装置50は、S720で第一言語の単語リストを生成し、S730において、第一言語の単語リストを送信するように構成されてもよい。この場合、ユーザ端末装置30は、S650において、第一言語の単語リストを受信し、S660において、第一言語の単語選択画面を表示部34に表示させることができる。第一言語の単語選択画面は、例えば、図5に示される第二言語の単語選択画面における表示言語が第一言語に変更された画面に対応し得る。ユーザ端末装置30は、S670において、単語選択データとして、第一言語の単語選択画面を通じてユーザにより選択された単語を、サーバ装置50に送信することができる。
サーバ装置50は、S740において、この単語選択データをユーザ端末装置30から受信し、S750で受信した単語選択データに基づいてシナリオテンプレートを選択することができる。具体的には、単語選択データが示すユーザにより選択された第一言語の単語を、第二言語に翻訳して、第二言語における学習対象の単語を特定し、特定した単語及び学習種目に基づいて、シナリオテンプレートを選択することができる。この例によっても、適切なレッスンをユーザに提供することができる。
本開示は、上記実施形態及び変形例に限定されるものではなく、更に種々の態様を採ることができることは言うまでもない。
例えば、録音データに基づくテキストデータからは、熟語及び/又は文章が抽出されてもよい。第一言語及び第二言語の少なくとも一方の単語リストには、単語以外に、熟語及び/又は文章が含まれていてもよい。この場合には、単語選択画面において、熟語及び/又は文章が選択対象として表示されてもよい。単語選択データには、ユーザにより選択された学習対象の熟語及び/又は文章が含まれてもよい。サーバ装置50は、学習対象として選択され得る熟語及び/又は文章毎のシナリオテンプレートを備え、ユーザにより選択された学習対象の熟語及び/又は文章に対応するシナリオテンプレートに基づいてレッスンデータを生成して、ユーザ端末装置30に提供してもよい。このようにして、学習支援システム1,3は、ユーザにより選択された熟語及び/又は文章を題材としたレッスンを提供してもよい。第二言語の単語リストには、第二言語の単語と共に、対応する第一言語の単語が含まれていてもよい。
例えば、録音データに基づくテキストデータからは、熟語及び/又は文章が抽出されてもよい。第一言語及び第二言語の少なくとも一方の単語リストには、単語以外に、熟語及び/又は文章が含まれていてもよい。この場合には、単語選択画面において、熟語及び/又は文章が選択対象として表示されてもよい。単語選択データには、ユーザにより選択された学習対象の熟語及び/又は文章が含まれてもよい。サーバ装置50は、学習対象として選択され得る熟語及び/又は文章毎のシナリオテンプレートを備え、ユーザにより選択された学習対象の熟語及び/又は文章に対応するシナリオテンプレートに基づいてレッスンデータを生成して、ユーザ端末装置30に提供してもよい。このようにして、学習支援システム1,3は、ユーザにより選択された熟語及び/又は文章を題材としたレッスンを提供してもよい。第二言語の単語リストには、第二言語の単語と共に、対応する第一言語の単語が含まれていてもよい。
上記実施形態の学習支援システム1は、ユーザにより選択された一つの単語を題材としたレッスンを提供するが、学習支援システム1は、ユーザにより選択された複数の単語を題材としたレッスンを提供してもよい。
即ち、ユーザ端末装置30の制御部31は、S160において、複数の単語の選択操作を、操作部35を通じて受け付けて、選択された複数の単語を示す単語選択データを、サーバ装置50に送信するように構成されてもよい。サーバ装置50は、単語選択データが示す複数の単語の夫々に対応するシナリオテンプレートを用いて、レッスンデータを生成し、ユーザ端末装置30に送信するように構成されてもよい。ユーザ端末装置30は、このレッスンデータに基づき、ユーザが選択した複数の単語に関するレッスンを提供することができる。例えば、各単語に関するレッスンを直列的に結合したレッスンを提供することができる。学習支援システム1は、関連語の学習を支援するために、ユーザにより選択された1つ又は複数の単語と高い頻度で一緒に使用される単語に関するレッスンを提供するように構成されてもよい。
学習支援システム1は、学習対象の単語を、録音データに含まれるキーワードの一群に基づいて、ユーザに問い合わせることなく自動的に決定するように構成されてもよい。例えば、制御部31は、S160及びS170の処理に代えて、単語選択画面を表示することなく、単語リストからランダムに又は所定条件で1以上の単語を学習対象の単語として選択して、単語選択データをサーバ装置50に送信する処理を実行してもよい。例えば、制御部31は、過去のレッスンにおいてユーザが学習済みの単語を選択しないようにして、単語リストから未学習の単語を選択することができる。
制御部31は、S120において録音データが表すユーザの会話の種類を判別してもよい。制御部31は、分類器を用いて、録音データから、会話の種類を判別することができる。例えば、分類器は、録音データに基づき、そのデータにおける会話環境を、ビジネス環境及び非ビジネス環境のいずれかに、更にはその副環境に分類する分類器であり得る。
制御部31は、判別した会話の種類(会話環境)を表すデータを、単語選択データと共にサーバ装置50に送信して(S170)、サーバ装置50から、録音データに対応する会話環境及び学習対象の単語に応じたレッスンデータの提供を受けることができる(S180)。サーバ装置50の処理部51は、ユーザ端末装置30から受信した単語選択データ及び会話の種類を表すデータに基づき、対応するシナリオテンプレートを選択して(S250)、レッスンデータを生成することができる(S260)。
制御部31は、このレッスンデータに基づき、録音データが示す会話環境における学習対象の単語を題材とした第二言語のレッスンをユーザに提供することができる。例えば、録音データがビジネス環境での会話を示す場合には、ビジネス会話に役立つレッスンをユーザに提供することができる。例えば、録音データが食事環境での会話を示す場合には、食事中の会話に役立つレッスンをユーザに提供することができる。
レッスンデータは、非レッスン時のユーザの会話だけでなく、レッスン時におけるシステムとユーザとの対話記録に基づいて生成されてもよい。対話記録から特定されるユーザの習熟度に応じて異なる内容のレッスンが提供されるように、レッスンデータは生成されてもよい。
この他、録音装置10は、マイクロフォン11からの入力音声を、録音データとして記憶部17に保存せずに、逐次、ユーザ端末装置30に提供するように構成されてもよい。この場合、ユーザ端末装置30は、マイクロフォン11からの入力音声を、自己の記憶部32に録音データとして保存することができる。制御部31は、S110において記憶部32に保存された録音データを読み出して、S120以降の処理を実行することができる。録音装置10は、ユーザ端末装置30とは別の転送装置に有線又は無線により接続可能に構成されてもよい。この場合、録音装置10は、転送装置を通じて、録音データをユーザ端末装置30及び/又はサーバ装置50に送信するように構成され得る。
転送装置は、録音装置10用のドッキングステーション/ドックであり得る。転送装置は、接続された録音装置10からの録音データを有線又は無線通信によりサーバ装置50に送信し得る。
学習支援システム1は、ユーザによりレッスン終了の意思表示がなされるまでレッスンを提供し、終了の意思表示がなされた時点で、レッスンの提供を終了するように構成されてもよい。
ユーザ端末装置30は、S120において録音データからユーザの性別および年齢層等のユーザ属性を判別するように構成されてもよい。ユーザ端末装置30は、判別したユーザ属性の情報を、第一言語の単語リストと共にサーバ装置50に送信してもよい。
ユーザ端末装置30は、録音データから識別されるユーザの発話トーンに基づき重要語を判別し、重要語を第一言語の単語リストに登録するように構成されてもよい。重要語は、均衡コーパスから特定される単語の一般的な使用頻度と、ユーザ個人の単語使用頻度とに基づいて判別されてもよい。
コーパスデータベースは、ユーザ属性毎に用意されてもよい。サーバ装置50の処理部51は、第一言語の単語リストを送信してきたユーザ端末装置30に対応するユーザ属性に関連付けられたコーパスデータベースを参照して、第一言語の単語リストからユーザ属性に合致する単語群を、第二言語に翻訳して第二言語の単語リストを生成してもよい。処理部51は、このコーパスデータベースが有する例文を参照して、レッスンデータを生成してもよい。
ユーザ端末装置30は、ユーザ属性に基づき、録音データから、対応するユーザのユーザ属性に関連するキーワード群を抽出して、第一言語の単語リストを生成してもよい。
ユーザ端末装置30は、録音データの内、ユーザにより指定された時間帯の録音データに含まれるキーワードに基づいて、第一言語の単語リストを生成するように構成されてもよい。ユーザにより指定された時間帯の録音データのみがユーザ端末装置30、サーバ装置50、又は音声認識サーバ80に提供されてもよい。即ち、学習支援システム1は、特定の時間帯の録音データに基づいてレッスンを提供するように構成されてもよい。
ユーザ端末装置30は、録音データの内、ユーザにより指定された時間帯の録音データに含まれるキーワードに基づいて、第一言語の単語リストを生成するように構成されてもよい。ユーザにより指定された時間帯の録音データのみがユーザ端末装置30、サーバ装置50、又は音声認識サーバ80に提供されてもよい。即ち、学習支援システム1は、特定の時間帯の録音データに基づいてレッスンを提供するように構成されてもよい。
ユーザ端末装置30は、発話履歴から特定されるユーザの口癖を考慮して、ユーザの口癖に合致するキーワードを抽出するように構成されてもよい。サーバ装置50は、この口癖に合致するキーワードに基づいて、レッスンデータを生成するように構成されてもよい。
録音データには、ユーザ以外の音声が含まれる場合がある。このため、ユーザ端末装置30又はサーバ装置50は、ユーザの特徴と一致しない音声に対応するキーワードを、第一言語の単語リストに登録しないように構成されてもよい。録音データから、ユーザの音声以外の音情報を削除して、録音データ又はテキストデータのデータ量を抑制してもよい。発話者を識別する技術が既に知られている。この技術に基づいて、ユーザ端末装置30又はサーバ装置50は、録音データに含まれるユーザの音声から第一言語の単語リストを適切に作成し得る。ユーザ端末装置30又はサーバ装置50は、ユーザの会話の特徴を発話履歴から特定して、特徴に合致するキーワードを、ユーザが発話したキーワードとして第一言語の単語リストに登録するように構成されてもよい。特徴に合致するキーワードである否かは、会話履歴から特定されるユーザの各単語の発話頻度に基づいて判定することができる。
上述したキーワードの抽出、第一言語の単語リストの生成、及び、第二言語の単語リストの生成に関する処理は、第三変形例と同様に、サーバ装置50により実行されてもよい。
サーバ装置50が保持するシナリオテンプレート群の一部又は全部は、ユーザ端末装置30に保持されてもよい。サーバ装置50は、レッスンデータを生成するために必要なシナリオテンプレートをユーザ端末装置30から取得して、取得したシナリオテンプレートにおける可変部分に設定する例文及び/又は関連語を、コーパスデータベース70を参照して決定し、ユーザ端末装置30に提供するレッスンデータを生成してもよい。
サーバ装置50が保持するシナリオテンプレート群の一部は、可変部分を含まないシナリオテンプレート、即ち、何ら編集なしにユーザ端末装置30にレッスンデータとして提供可能なデータであってもよい。このようなシナリオテンプレートは、レッスンデータとして、ユーザ端末装置30に保持されてもよい。
ユーザ端末装置30が有する機能及びデータの一部は、サーバ装置50に設けられてもよく、サーバ装置50が有する機能及びデータの一部は、ユーザ端末装置30に設けられてもよい。ユーザ端末装置30は、上述したサーバ装置50が有する機能を含むレッスンの提供に必要な全ての機能及びデータを備えていてもよい。
上記実施形態における1つの構成要素が有する機能は、複数の構成要素に分散して設けられてもよい。複数の構成要素が有する機能は、1つの構成要素に統合されてもよい。上記実施形態の構成の一部は、省略されてもよい。上記実施形態の構成の少なくとも一部は、他の上記実施形態の構成に対して付加又は置換されてもよい。特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
最後に用語間の対応関係を説明する。ユーザ端末装置30の制御部31が実行するS110、又は、サーバ装置50の処理部51が実行するS710の処理は、取得ユニットが実行する処理の一例に対応する。制御部31が実行するS120-S190の処理及び処理部51が実行するS210-S270の処理、又は、処理部51が実行するS715-S770の処理は、提供ユニットが実行する処理の一例に対応する。制御部31が実行するS130の処理、又は、処理部51が実行するS720の処理は、抽出ユニットが実行する処理の一例に対応する。制御部31がS160又はS660において表示部34に単語選択画面を表示させる処理は、表示制御ユニットが実行する処理の一例に対応する。制御部31がS170又はS670において単語選択画面に対する操作を受け付ける処理は、選択情報取得ユニットが実行する処理の一例に対応する。
Claims (17)
- 言語学習を支援するための学習支援システムであって、
ユーザの会話データを取得するように構成される取得ユニットと、
前記取得ユニットにより取得された前記会話データが示す会話の内容に基づき、前記会話で用いられる第一言語とは異なる第二言語を学習するためのレッスンを提供するように構成される提供ユニットと、
を備え、前記提供されるレッスンの内容が、前記会話の内容に応じて異なる学習支援システム。 - 請求項1記載の学習支援システムであって、
前記取得ユニットは、前記ユーザの日常会話が記録された音声データを、前記会話データとして取得し、
前記提供ユニットは、前記音声データに記録された日常会話の内容に基づき、提供するレッスンの内容を決定する学習支援システム。 - 請求項1又は請求項2記載の学習支援システムであって、
前記提供ユニットは、前記会話データ及び予め登録されたユーザの属性を表すデータの一方に基づき前記ユーザの属性を判別し、前記判別した前記ユーザの属性及び前記会話の内容に基づき、提供するレッスンの内容を決定する学習支援システム。 - 請求項3の学習支援システムであって、
前記ユーザの属性には、前記ユーザの性別、年齢、年齢層、職業、及び趣味の少なくとも一つが含まれる学習支援システム。 - 請求項1~請求項4のいずれか一項記載の学習支援システムであって、
前記提供ユニットは、前記ユーザの第二言語の習熟度を判別し、判別した前記ユーザの習熟度及び前記会話の内容に基づき、提供するレッスンの内容を決定する学習支援システム。 - 請求項1~請求項5のいずれか一項記載の学習支援システムであって、
前記提供ユニットは、前記会話の内容から判別される会話環境の種類及び前記ユーザから指定された会話環境の種類の一方に応じたレッスンを提供する学習支援システム。 - 請求項1~請求項6のいずれか一項記載の学習支援システムであって、
前記提供ユニットは、前記会話に含まれる1以上の単語に応じたレッスンを提供する学習支援システム。 - 請求項7記載の学習支援システムであって、
前記会話から1以上のキーワードを抽出するように構成される抽出ユニット
を備え、前記提供ユニットは、前記抽出ユニットにより抽出された前記1以上のキーワードに少なくとも部分的に基づいて、提供するレッスンの内容を決定する学習支援システム。 - 請求項1~請求項8のいずれか一項記載の学習支援システムであって、
前記提供ユニットは、前記会話の内容に応じた前記第二言語の1以上の単語を題材としたレッスンを提供するように構成される学習支援システム。 - 請求項8記載の学習支援システムであって、
前記提供ユニットは、前記抽出ユニットにより抽出された前記1以上のキーワードと少なくとも部分的に対応する前記第二言語の1以上の単語を題材としたレッスンを提供する学習支援システム。 - 請求項10記載の学習支援システムであって、
前記抽出ユニットは、前記1以上のキーワードとして、複数のキーワードを抽出し、
前記提供ユニットは、前記抽出ユニットにより抽出された前記複数のキーワードの内、ユーザにより選択されたキーワードに対応する前記第二言語の1以上の単語を題材としたレッスンを提供する学習支援システム。 - 請求項11記載の学習支援システムであって、
前記第二言語の1以上の単語は、前記ユーザにより選択されたキーワードに対応する類義語及び対義語の少なくとも一方を含む学習支援システム。 - 請求項11又は請求項12記載の学習支援システムであって、
前記複数のキーワードを、表示デバイスに表示させるように構成される表示制御ユニットと、
前記表示デバイスにより表示された前記複数のキーワードの内、前記ユーザにより選択されたキーワードを表す選択情報を、入力デバイスを通じて取得するように構成される選択情報取得ユニットと、
を備え、前記提供ユニットは、前記選択情報が表す前記ユーザにより選択されたキーワードに対応する前記第二言語の1以上の単語を題材としたレッスンを提供するように構成される学習支援システム。 - 請求項1~請求項13のいずれか一項記載の学習支援システムであって、
前記提供ユニットは、前記第二言語のコーパスデータを参照して、前記コーパスデータに含まれる前記第二言語の例文を用いたレッスンを提供するように構成される学習支援システム。 - 請求項1~請求項14のいずれか一項記載の学習支援システムであって、
前記提供ユニットは、マイクロフォン及びスピーカを通じた音声による前記第二言語の対話形式のレッスンを提供し、前記マイクロフォンを通じて得られたユーザの発話内容に応じて、前記レッスンの進行を制御するように構成される学習支援システム。 - 請求項1~請求項7のいずれか一項記載の学習支援システムにおける前記取得ユニット及び前記提供ユニットとして、コンピュータを機能させるためのコンピュータプログラム。
- 言語学習を支援するための学習支援方法であって、
コンピュータが、ユーザの会話データを取得することと、
前記コンピュータが、前記取得した前記会話データが示す会話の内容に基づき、前記会話で用いられる第一言語とは異なる第二言語を学習するためのレッスンを提供することと、
を含み、前記提供されるレッスンの内容が、前記会話の内容に応じて異なる学習支援方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018567522A JP6878472B2 (ja) | 2017-02-09 | 2018-02-09 | 学習支援システム及び方法、並びにコンピュータプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-022001 | 2017-02-09 | ||
JP2017022001 | 2017-02-09 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018147435A1 true WO2018147435A1 (ja) | 2018-08-16 |
Family
ID=63106916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/004700 WO2018147435A1 (ja) | 2017-02-09 | 2018-02-09 | 学習支援システム及び方法、並びにコンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6878472B2 (ja) |
WO (1) | WO2018147435A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7466251B1 (ja) | 2023-12-01 | 2024-04-12 | 株式会社フォーサイト | 学習支援システムおよび学習支援方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001194985A (ja) * | 2000-01-12 | 2001-07-19 | Nec Corp | 教材難易度動的調節方式 |
JP2002351305A (ja) * | 2001-05-23 | 2002-12-06 | Apollo Seiko Ltd | 語学研修用ロボット |
JP2012215645A (ja) * | 2011-03-31 | 2012-11-08 | Speakglobal Ltd | コンピュータを利用した外国語会話練習システム |
JP2013097311A (ja) * | 2011-11-04 | 2013-05-20 | Zenrin Datacom Co Ltd | 学習支援装置、学習支援方法および学習支援プログラム |
JP2013109360A (ja) * | 2006-03-09 | 2013-06-06 | Konica Minolta Medical & Graphic Inc | 学習支援システム、及び学習支援方法 |
US20160104261A1 (en) * | 2014-10-08 | 2016-04-14 | Zoomi, Inc. | Systems and methods for integrating an e-learning course delivery platform with an enterprise social network |
US20160117954A1 (en) * | 2014-10-24 | 2016-04-28 | Lingualeo, Inc. | System and method for automated teaching of languages based on frequency of syntactic models |
-
2018
- 2018-02-09 JP JP2018567522A patent/JP6878472B2/ja active Active
- 2018-02-09 WO PCT/JP2018/004700 patent/WO2018147435A1/ja active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001194985A (ja) * | 2000-01-12 | 2001-07-19 | Nec Corp | 教材難易度動的調節方式 |
JP2002351305A (ja) * | 2001-05-23 | 2002-12-06 | Apollo Seiko Ltd | 語学研修用ロボット |
JP2013109360A (ja) * | 2006-03-09 | 2013-06-06 | Konica Minolta Medical & Graphic Inc | 学習支援システム、及び学習支援方法 |
JP2012215645A (ja) * | 2011-03-31 | 2012-11-08 | Speakglobal Ltd | コンピュータを利用した外国語会話練習システム |
JP2013097311A (ja) * | 2011-11-04 | 2013-05-20 | Zenrin Datacom Co Ltd | 学習支援装置、学習支援方法および学習支援プログラム |
US20160104261A1 (en) * | 2014-10-08 | 2016-04-14 | Zoomi, Inc. | Systems and methods for integrating an e-learning course delivery platform with an enterprise social network |
US20160117954A1 (en) * | 2014-10-24 | 2016-04-28 | Lingualeo, Inc. | System and method for automated teaching of languages based on frequency of syntactic models |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7466251B1 (ja) | 2023-12-01 | 2024-04-12 | 株式会社フォーサイト | 学習支援システムおよび学習支援方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6878472B2 (ja) | 2021-05-26 |
JPWO2018147435A1 (ja) | 2020-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102582291B1 (ko) | 감정 정보 기반의 음성 합성 방법 및 장치 | |
Plauche et al. | Speech recognition for illiterate access to information and technology | |
EP3824462B1 (en) | Electronic apparatus for processing user utterance and controlling method thereof | |
US20150370780A1 (en) | Predictive conversion of language input | |
EP4086897A2 (en) | Recognizing accented speech | |
Michael | Automated Speech Recognition in language learning: Potential models, benefits and impact | |
KR102644992B1 (ko) | 교육 컨텐츠 주제 기반의 대화형 인공지능 아바타 영어 말하기 교육 방법, 장치 및 이에 대한 시스템 | |
KR102545666B1 (ko) | 페르소나에 기반하여 문장을 제공하는 방법 및 이를 지원하는 전자 장치 | |
JP2016057986A (ja) | 音声翻訳装置、方法およびプログラム | |
Winke et al. | Taking a closer look at vocabulary learning strategies: A case study of a Chinese foreign language class | |
KR20090058320A (ko) | 외국어 회화 교육을 위한 예제기반 대화 시스템 및 방법 | |
JP5586754B1 (ja) | 情報処理装置及びその制御方法、コンピュータプログラム | |
de Vargas et al. | Speaking haptically: from phonemes to phrases with a mobile haptic communication system | |
KR20220039679A (ko) | 개인화된 발음 평가 문제 제공 방법 | |
Dumitrescu et al. | Crowd-sourced, automatic speech-corpora collection–Building the Romanian Anonymous Speech Corpus | |
Alharthi | Siri as an interactive pronunciation coach: its impact on EFL learners | |
JP6878472B2 (ja) | 学習支援システム及び方法、並びにコンピュータプログラム | |
KR101709936B1 (ko) | 시사 토픽 기사의 핵심 아이디어를 소정의 단문으로 재구성하여 토픽의 개념화 능력 및 문장 구사력을 증진시키는 영어 학습 장치 및 방법 | |
JP2007065291A (ja) | 語学学習支援方法 | |
Li et al. | Speech interaction of educational robot based on Ekho and Sphinx | |
León-Montaño et al. | Design of the architecture for text recognition and reading in an online assessment applied to visually impaired students | |
WO2022249221A1 (ja) | 対話装置、対話方法、およびプログラム | |
US20220245344A1 (en) | Generating and providing information of a service | |
EP4181120A1 (en) | Electronic device for generating response to user input and operation method of same | |
KR102112059B1 (ko) | 청음 기반 중국어 발음 한글 표기 형성 방법, 청음 기반 중국어 발음 한글 표기 표시 방법 및 이것을 이용한 외국어 학습 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18752072 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2018567522 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18752072 Country of ref document: EP Kind code of ref document: A1 |