WO2023095222A1 - 情報処理システム、情報処理方法及びプログラム - Google Patents

情報処理システム、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2023095222A1
WO2023095222A1 PCT/JP2021/043059 JP2021043059W WO2023095222A1 WO 2023095222 A1 WO2023095222 A1 WO 2023095222A1 JP 2021043059 W JP2021043059 W JP 2021043059W WO 2023095222 A1 WO2023095222 A1 WO 2023095222A1
Authority
WO
WIPO (PCT)
Prior art keywords
sentence
voice
information processing
processing system
user
Prior art date
Application number
PCT/JP2021/043059
Other languages
English (en)
French (fr)
Inventor
邦嘉 酒井
雅晴 天野
奈穂子 ホール
アリーシャ ワグスタッフ
Original Assignee
国立大学法人 東京大学
株式会社ギャビーアカデミー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人 東京大学, 株式会社ギャビーアカデミー filed Critical 国立大学法人 東京大学
Priority to PCT/JP2021/043059 priority Critical patent/WO2023095222A1/ja
Priority to TW110145821A priority patent/TW202322073A/zh
Publication of WO2023095222A1 publication Critical patent/WO2023095222A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/04—Speaking
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied

Definitions

  • the present invention relates to an information processing system, an information processing method, and a program.
  • Patent Literature 1 discloses an online English learning method performed by connecting a student's smartphone and a teacher's personal computer via a network.
  • the present invention provides an information processing system that can efficiently improve language skills, especially for beginners.
  • an information processing system that supports language acquisition.
  • This information processing system includes a control unit.
  • the controller is configured to perform the following steps.
  • the receiving step receives a training start request from the first user.
  • the voice control step when the start request is received, the voice of the first sentence and the voice of the first cue for modifying the first sentence can be recognized by the first user as at least part of the training. to occur.
  • the first sentence is a sentence composed of two or three words.
  • FIG. 1 is a configuration diagram showing an information processing system 1 according to this embodiment
  • FIG. 2 is a block diagram showing the hardware configuration of the first user terminal 2
  • FIG. 3 is a block diagram showing the hardware configuration of the server 3
  • FIG. 3 is a block diagram showing the hardware configuration of a second user terminal 4
  • FIG. 3 is a block diagram showing functions realized by a control unit 33 and the like in the server 3.
  • FIG. 10 is an activity diagram showing the flow of information processing regarding training performed by the first user; It is an example of a display screen D displayed on the first user terminal 2 when the first user makes a start request.
  • FIG. 4 is a schematic diagram showing an outline of training conducted by a student STU; It is an example of a display screen D during training displayed on the first user terminal 2 .
  • 3 is a display screen D for training confirmation displayed on the first user terminal 2.
  • FIG. It is a conceptual diagram showing training which incorporated visual recognition information.
  • the program for realizing the software appearing in this embodiment may be provided as a non-transitory computer-readable medium (Non-Transitory Computer-Readable Medium), or may be downloaded from an external server. It may be provided as possible, or may be provided so that the program is activated on an external computer and the function is realized on the client terminal (so-called cloud computing).
  • the term “unit” may include, for example, a combination of hardware resources implemented by circuits in a broad sense and software information processing that can be specifically realized by these hardware resources.
  • various information is handled in the present embodiment, and these information are, for example, physical values of signal values representing voltage and current, and signal values as binary bit aggregates composed of 0 or 1. It is represented by high and low, or quantum superposition (so-called quantum bit), and communication and operation can be performed on a circuit in a broad sense.
  • a circuit in a broad sense is a circuit realized by at least appropriately combining circuits, circuits, processors, memories, and the like. That is, Application Specific Integrated Circuit (ASIC), programmable logic device (for example, Simple Programmable Logic Device (SPLD), Complex Programmable Logic Device (CPLD), and field It includes a programmable gate array (Field Programmable Gate Array: FPGA)).
  • ASIC Application Specific Integrated Circuit
  • SPLD Simple Programmable Logic Device
  • CPLD Complex Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • FIG. 1 is a configuration diagram showing an information processing system 1 according to this embodiment.
  • the information processing system 1 supports language learning.
  • the information processing system 1 includes a first user terminal 2 , a server 3 and a second user terminal 4 , which are connected through a network 11 . These components are further described. Note that the system exemplified by the information processing system 1 is composed of one or more devices or components. Therefore, even the server 3 alone is an example of a system.
  • the information processing system 1 accepts a training start request from the first user and executes voice control for generating a predetermined voice so that the first user can recognize it. , this start request and voice generation need not necessarily be performed by one first user terminal 2 . For example, it is also possible to receive only a request to start training from the first user terminal 2 and generate a predetermined sound from another audio device or the like (not shown).
  • FIG. 2 is a block diagram showing the hardware configuration of the first user terminal 2.
  • the first user terminal 2 has a communication unit 21, a storage unit 22, a control unit 23, a display unit 24, an input unit 25, and an audio output unit 26, and these components are the first They are electrically connected via a communication bus 20 inside the user terminal 2 .
  • Descriptions of the communication unit 21, the storage unit 22, and the control unit 23 are omitted because they are substantially the same as those of the communication unit 31, the storage unit 32, and the control unit 33 in the server 3, which will be described later.
  • the display unit 24 may be included in the housing of the first user terminal 2, or may be externally attached.
  • the display unit 24 displays a screen of a graphical user interface (GUI) that can be operated by the user.
  • GUI graphical user interface
  • the display unit 24 will be described as being included in the housing of the first user terminal 2 .
  • the input unit 25 may be included in the housing of the first user terminal 2, or may be externally attached.
  • the input unit 25 may be integrated with the display unit 24 and implemented as a touch panel. With a touch panel, the user can input a tap operation, a swipe operation, or the like.
  • a switch button, a mouse, a QWERTY keyboard, or the like may be employed instead of the touch panel. That is, the input unit 25 receives an operation input made by the user. The input is transferred as a command signal to the control unit 23 via the communication bus 20, and the control unit 23 can execute predetermined control and calculation as necessary.
  • the audio output unit 26 may be, for example, included in the housing of the first user terminal 2, or may be externally attached.
  • the voice output unit 26 outputs voice that can be recognized by the user.
  • the audio output unit 26 may be an omnidirectional speaker, a directional speaker, or both. Here, the audio output unit 26 will be described as being included in the housing of the first user terminal 2 .
  • FIG. 3 is a block diagram showing the hardware configuration of the server 3. As shown in FIG. The server 3 has a communication section 31 , a storage section 32 and a control section 33 , and these constituent elements are electrically connected inside the server 3 via a communication bus 30 . Each component will be further described.
  • the communication unit 31 preferably uses wired communication means such as USB, IEEE1394, Thunderbolt, wired LAN network communication, etc., but wireless LAN network communication, mobile communication such as 3G/LTE/5G, Bluetooth (registered trademark) communication, etc. is necessary. may be included depending on That is, it is more preferable to implement as a set of these communication means. That is, the server 3 communicates various information with the first user terminal 2 and the second user terminal 4 via the network 11 via the communication unit 31 .
  • wired communication means such as USB, IEEE1394, Thunderbolt, wired LAN network communication, etc.
  • wireless LAN network communication mobile communication such as 3G/LTE/5G, Bluetooth (registered trademark) communication, etc. may be included depending on That is, it is more preferable to implement as a set of these communication means. That is, the server 3 communicates various information with the first user terminal 2 and the second user terminal 4 via the network 11 via the communication unit 31 .
  • the storage unit 32 stores various information defined by the above description. For example, it can be used as a storage device such as a solid state drive (SSD) for storing various programs related to the server 3 executed by the control unit 33, or as a temporary storage device related to program calculation. It can be implemented as a memory such as a random access memory (RAM) that stores various information (arguments, arrays, etc.). A combination of these may also be used. In particular, the storage unit 32 stores various programs related to the server 3 that are executed by the control unit 33 .
  • SSD solid state drive
  • RAM random access memory
  • the control unit 33 processes and controls overall operations related to the server 3 .
  • the control unit 33 is, for example, a central processing unit (CPU) (not shown).
  • the control unit 33 implements various functions related to the server 3 by reading a predetermined program stored in the storage unit 32 . That is, information processing by software stored in the storage unit 32 can be specifically realized by the control unit 33 which is an example of hardware, and can be executed as each functional unit included in the control unit 33 . For these, see 2. Further details are provided in the section. Note that the control unit 33 is not limited to a single unit, and may be implemented to have a plurality of control units 33 for each function. A combination thereof may also be used.
  • FIG. 4 is a block diagram showing the hardware configuration of the second user terminal 4. As shown in FIG. The second user terminal 4 has a communication unit 41, a storage unit 42, a control unit 43, a display unit 44, an input unit 45, and an audio output unit 46, and these components are the second They are electrically connected via a communication bus 40 inside the user terminal 4 .
  • the details of the communication unit 41, the storage unit 42, the control unit 43, the display unit 44, the input unit 45, and the audio output unit 46 are the communication unit 21, the storage unit 22, the control unit 23, Since the display section 24, the input section 25 and the audio output section 26 are substantially the same, the description thereof will be omitted.
  • FIG. 5 is a block diagram showing functions realized by the control unit 33 and the like in the server 3.
  • the server 3 which is an example of the information processing system 1 , includes a reception section 331 and a voice control section 332 .
  • FIG. 5 shows a mode in which a display control unit 333 and a storage management unit 334 are provided as functions provided in the server 3 .
  • the reception unit 331 receives a training start request from the first user. This will be explained in more detail later.
  • the audio control unit 332 controls the configuration (hardware, etc.) capable of audio output to generate various sounds.
  • the voice control unit 332 changes the voice of the first sentence and the voice of the first signal to modify the first sentence. , is recognizably generated by the first user as at least part of the training.
  • this first sentence is a sentence composed of two or three words.
  • the display control unit 333 is configured to generate various types of display information and control display content that can be visually recognized by the user.
  • the display information may be visual information itself generated in a form that can be visually recognized by the user, such as screens, images, icons, texts, etc.
  • visual information such as screens, images, icons, texts, etc. may be displayed on various terminals. It may be rendering information for display.
  • the storage management unit 334 is configured to manage various information including training related to the information processing system 1 of this embodiment.
  • the storage management unit 334 is configured to store the training participation history in the storage area.
  • This storage area is, for example, the storage unit 32 of the server 3, but may be the storage unit 22 provided in the first user terminal 2 or the storage unit 42 provided in the second user terminal 4. . That is, according to the function of the storage management unit 334, the attendance history can be configured to be viewable not only by the first user but also by the second user who instructs the training of the first user. Note that this storage area does not necessarily have to be in the system of the information processing system 1, and the storage management unit 334 can also manage so as to store various information in an external storage device or the like.
  • each step of the information processing method executed by the information processing system 1 described above will be described using an activity diagram.
  • the information processing system 1 of the present embodiment is used to support learning of various languages by generating the voice of the first sentence and the voice of the first cue as described above.
  • the spoken language of the first sentence and the spoken first cue is English. Therefore, the following description shows the case of applying when learning English.
  • the scope of application of the information processing system 1 is not limited to acquisition of English, but also Japanese, German, French, Russian, Spanish, Italian, Dutch, Chinese, Korean, Arabic, and Persian. , or may be used to learn other languages.
  • FIG. 6 is an activity diagram showing the flow of information processing regarding training performed by the first user.
  • FIG. 7 is an example of the display screen D displayed on the first user terminal 2 when the first user makes a start request. That is, the details of the training given to the first user by the information processing system 1 can be determined by inputting various input forms on the display screen D of FIG. Specifically, it is possible to select the type of question using the input form IF1, the level of the question using the input form IF2, the time to tackle the question using the input form IF3, and the topic related to the question using the input form IF4. Note that these forms have a plurality of candidates as options, and the first user may select the desired content from these options.
  • This time can be appropriately selected according to the degree of progress of learning by the first user, but for example, , 230, 220, 210, 200, 190, 180, 170, 160, 150, 140, 130, 120, 110, 100, 90, 80, 70, 60, 50, 40, 30 seconds or less, Also, it may be set within a range between any two of the numerical values exemplified here.
  • the reception unit 331 of the server 3 receives the information for training of the first user. It will be accepted as a start request (activity A102).
  • the display control unit 333 of the server 3 outputs the training screen to the first user terminal 2, and the voice control unit 332 of the server 3 outputs a predetermined Sound will be generated (activities A103 and A104).
  • FIG. 8 is a schematic diagram showing an outline of training conducted by the student STU.
  • FIG. 9 is an example of a display screen D during training displayed on the first user terminal 2 . It should be noted that in the explanation of the training below, the explanation is given assuming that the first user is the student STU.
  • training is performed as follows. First, as shown in FIG. 8, the first user terminal 2 generates the voice of the first sentence (see SS11 in FIG. 8). Subsequently, the first user terminal 2 generates a first cue voice to modify the first sentence (see S-Q11 in FIG. 8). These audio outputs of the first user terminal 2 are realized by the audio control unit 332 of the server 3, and typically each audio is output from the audio output unit 26 provided in the first user terminal 2. be.
  • the student STU facing the first user terminal 2 listens to the voice of the first sentence and the voice of the first signal to modify the first sentence, and then repeats the first sentence. The content of the modified second sentence is uttered according to the first cue (see S-R11 in FIG. 8).
  • Fig. 8 shows a schematic diagram of when this training was adopted as a method to support the acquisition of English. It can be said that this kind of methodology can be applied to the acquisition of Japanese language.
  • Patent Document 1 Furthermore, since language beginners often have only limited conversational ability, the method of having a conversation with a teacher as disclosed in the above-mentioned Patent Document 1 establishes a conversation that contributes to effective language acquisition. often not. In addition, such methods tend to result in insufficient student speech volume and speech time. On the other hand, in this training, a considerable amount of repetitive practice is possible in line with the target language learning process, and it can be said that a user who aspires to learn a language can obtain the effect of language learning more easily than the prior art.
  • this first cue typically consists of (1) replacing some words in the first sentence with other words or sets of words; (2) replacing other words or words in the first sentence; (3) converting a first sentence type consisting of two or three words; and (4) deleting some words of the first sentence.
  • One command selected from the group That is, as shown in FIG. 8, when trying to replace a part of the first sentence with the word "these" under the command "Use", the part "The” is replaced with the word "these" in the first sentence. reasonable to replace. Also, in this case, since the subject becomes plural when the words are replaced as described above, it is necessary to change the word inflection for the "student" part and the "Speaks” part as well.
  • the speech of the first sentence and the speech of the first cue are generated as described above, during training, the text associated with the speech of the first sentence and the speech of the first cue is the first speech. is preferably not displayed on the user terminal 2 of In other words, in such training, it is required to modify sentences without referring to the language text (print). It is possible to permeate the syntactic structure of the language into In addition, as described above, since the first sentence is a sentence composed of two or three words, it becomes easier to implement training focusing on the process of penetrating such a syntactic structure.
  • the "Use" instruction is the above-mentioned "(1) Replace some words in the first sentence with other words or a set of words", but under the "Add” instruction "( 2) adding another word or group of words to the first sentence, or ⁇ (3) the type of the first sentence consisting of two or three words under the command of ⁇ Change''; It is also possible to incorporate the contents of "(4) delete some words in the first sentence" under the instruction of "Remove” into the training.
  • ⁇ converting the type of sentence'' means ⁇ converting into an imperative sentence'', ⁇ converting into a negative sentence'', or ⁇ converting into an interrogative sentence''. Examples include a mode of issuing a command (conversely, including a mode of converting a negative sentence into an affirmative sentence, etc.).
  • the display control unit 333 of the server 3 causes the first user terminal 2 to display the message shown in FIG. Since the display screen D as shown is displayed, this point will be described.
  • the object OBJ1 is a button-type object that can be intuitively played by the student STU, and the object OBJ1 plays back the first sentence voice and the first cue voice.
  • the object OBJ2 is a button-shaped object that allows the student STU to intuitively proceed to the next question. It is configured to be able to generate a cue voice.
  • the sentence different from the first sentence generated as voice by the object OBJ2 is the second sentence obtained by modifying the first sentence along the first cue, and is a cue different from the first cue. is the second cue to further modify the second sentence. That is, if the first question is to modify the first sentence, then by operating this object OBJ2, it is possible to shift to the question of the second question, which is the next question after the first question. can.
  • An object OBJ3 shown on the display screen D in FIG. 9 is an object that moves while the first sentence and the first cue voice are being output.
  • "S” in FIG. 9 indicates the timing at which the first sentence starts to be output
  • "Q" clearly indicates the timing at which the voice of the first cue starts to be output. That is, when S-S11 in FIG. 8 starts, object OBJ3 starts moving to the right from "S” in FIG. 9, and at the timing when S-Q11 in FIG. The end point is reached when "Q" is reached and the output of the first cue voice ends.
  • the student STU facing such an object OBJ3 is less likely to make a mistake such as confusing the content of the first sentence with the content of the first cue.
  • a mode of moving from left to right is taken, but the direction of movement and the speed of movement can be arbitrarily set.
  • the object OBJ4 is a button-type object that allows the student STU to intuitively know to stop the training, and the student STU can stop the training by pressing this object OBJ4.
  • the object OBJ5 is an object that is operated to check problems to which the student STU pays attention and target problems. That is, by pressing the "+" portion in the figure, a check is entered in the box to the right of it. Note that the method of this check is not limited to this, and it is also possible to employ a mode such as performing a slide operation on the "+" portion.
  • the student STU After the student STU utters the content of the second sentence, which is the first sentence modified according to the first signal, the student STU operates the object OBJ2 to move on to the next question. can be done. That is, the voice control unit 332 of the server 3, according to the operation of the student STU, generates the voice of the second sentence, which is the first sentence modified according to the first signal, so that the student STU can recognize it. (See S-S12 in FIG. 8). Further, following this, the voice control unit 332 generates a voice of a second cue for further modifying the second sentence so that the student STU can recognize it (see S-Q12 in FIG. 8).
  • the student STU facing the first user terminal 2 listens to the voice of the second sentence and the voice of the second signal to modify the second sentence, and then reads the second sentence. Following the second cue, utter the content of another sentence (third sentence) modified (see S-R12 in FIG. 8).
  • the series of steps S-S12, S-Q12, and S-R12 follow the flow of converting the first sentence according to the first cue.
  • this series of S-S12, S-Q12 and S-R12 will be executed, further deepening the penetration of the syntactic structure of the above language.
  • the training may be continued by giving a signal to further modify the third sentence (the third signal), or the training may be continued by giving a signal to further modify the third sentence (the third signal), or by revising the first sentence consisting of two or three words. It may be configured such that corresponding content is presented. Also, the training is configured to end at the time entered in the input form IF3.
  • the second signal and the third signal are similar to the above-mentioned first signal, (x1) replacing some words in the sentence with other words or a set of words; (x3) convert the sentence type; and (x4) delete some words of the sentence. can.
  • this "(x4) Delete some words in the sentence” it is possible to delete the words that made up the first sentence, and to delete the words added by the first cue and the second cue.
  • a deletion mode can also be adopted.
  • the server 3 stores the information in this database.
  • a mode can be adopted in which the sound to be generated from within is selected. Specifically, voice data corresponding to sentences and cues are recorded in advance, the recorded contents are stored in the storage unit 32 of the server 3, and the stored voice is read out at the start of training. good.
  • sentences and signals may be stored as text data in the storage unit 32 of the server 3, and the sentences and signals necessary for training may be read out by a narration program. Generation of this database is exemplified by the server 3 .
  • the user who creates the database may directly operate the server 3, or may remotely operate the server 3 using a terminal or the like by various methods represented by remote desktop or the like.
  • the information necessary for the above-described training may be a trained model in which the correlation of multiple pieces of information is machine-learned in advance.
  • the first user terminal 2 displays an arbitrary training completion screen, while the server 3 displays the training attendance history based on the function of the memory management unit 334 thereof. etc. is stored in the storage area (activities A105 to A107).
  • FIG. 10 shows a training confirmation display screen D displayed on the first user terminal 2 .
  • the storage management unit 334 of the server 3 is configured to store the training attendance history in the storage area. 2, etc., to be visible to the student STU or the like.
  • the display control unit 333 of the server 3 displays at least one of the first sentence speech and the first cue speech as text for the student STU to visually recognize after the training is finished. It is possible to display Here, as shown in FIG. 10, on the display screen D of the first user terminal 2, the details of the training (including the level, time, and topic) are displayed. Comments can be added.
  • this predetermined comment is stored.
  • the storage area is appropriately set, but may be the storage unit 32 of the server 3 .
  • sentences first sentence, second sentence, etc.
  • signals for modifying these sentences are displayed as text on the screen. It is a mode displayed in D.
  • the student STU can also mark the contents of the sentences and signals that he or she wants to mark by operating the objects OBJ6 to OBJ11.
  • the attendance history can be configured to be viewable not only by the first user who is the student STU, but also by the second user who instructs the student STU in training.
  • the instructor who is the second user, can regularly conduct lessons through conversation with the student STU, and can improve the quality of the lesson by viewing the training participation history in advance in this way. can be done.
  • This conversation-based lesson may be conducted face-to-face, or may be conducted online.
  • training may adopt a configuration that incorporates visual information.
  • FIG. 11 is a conceptual diagram showing training incorporating visual recognition information.
  • This training is generally similar to the training shown in the flow of FIG. 8 above, but visual information relating to the content of the first sentence and the content of the second sentence is displayed so that the student STU can see it. be. Even in this case, it is preferable that the text relating to the voice of the first sentence and the voice of the first cue is not displayed on the terminal visible to the student STU, but if necessary, this text can also be adopted.
  • FIG. 11 shows the third sentence, which is a further modification of the second sentence. (See S-S23 in FIG. 11).
  • the first visual information and the second visual information may be divided according to the sentence to be generated, but the same visual information may be used as appropriate.
  • “Basic" was selected as the question level selected by the input form IF2, but other question levels can be selected separately. That is, in the above embodiment, the first sentence is a sentence consisting of two or three words, but depending on the degree of language proficiency of the student STU, a sentence consisting of four or more words may be used. Training may be provided where the first sentence is , and the level of such questions may be selected.
  • the student STU utters the modified sentence
  • the first user terminal 2 or the like may be configured to recognize the voice of the uttered content.
  • AI artificial intelligence
  • the student STU utters the modified sentence
  • the first user terminal 2 or the like may be configured to recognize the voice of the uttered content.
  • adopt a mode in which artificial intelligence (AI) evaluates the pronunciation accuracy of the student STU based on this recognized voice, and a mode in which training, lessons, etc. recommended for the student STU are selected. is also possible.
  • the first user who is the student STU and the second user who instructs the student STU are connected online to conduct a lesson. It is also possible to conduct training of the embodiments. For example, it is also possible for a second user, who teaches training, to conduct a lesson in which the first sentence and the first cue are read aloud in real time in response to the object manipulation of the first user who is the student STU. be. This lesson is typically performed as shown in (L1) to (L5) below.
  • the second user terminal 4 displays information that enables the object operation performed by the student STU to be recognized.
  • a second user who recognizes this display utters a voice related to the first sentence or the like.
  • (L3) Information related to the uttered voice is input to the second user terminal 4 .
  • (L4) Information related to the input voice is transmitted to the first user terminal 2 via the server 3 .
  • (L5) The voice uttered by the second user is output from the first user terminal 2 .
  • the first user who is the student STU and the second user who instructs the student STU are connected online to conduct a lesson.
  • the information processing system 1 may be configured so as to be able to contact a person.
  • server 3 performs various types of storage and control in the above embodiment, a plurality of external devices may be used instead of the server 3. That is, block chain technology or the like may be used to disperse and store the information about the attendance history in a plurality of external devices.
  • voice of a second sentence obtained by modifying the first sentence along with the first cue is generated so that the first user can recognize it.
  • voice of a second cue for further modifying the second sentence is generated in a manner recognizable by the first user.
  • the control unit is further configured to execute a display control step, wherein the display control step displays visual information related to the content of the first sentence and the content of the second sentence. visibly displayed by the first user.
  • the display control step displays the first visual information is displayed while the voice of the first sentence is being generated, and the voice of the second sentence is being generated.
  • the first cue includes: (1) replacing the word in part of the first sentence with another word or set of words; (2) replacing the first sentence with another adding a word or set of words; (3) transforming the type of said first sentence consisting of two or three of said words; and (4) said words that are part of said first sentence.
  • the control unit is further configured to execute a display control step, in which the generated speech of the first sentence and the first sentence are displayed after the training is completed. at least one of the voices of the cue is displayed as text so as to be visible to the first user.
  • the voice control step causes the terminal of the first user to generate the voice of the first sentence and the voice of the first cue, and during the training, the voice of the first sentence is generated. not displaying the text associated with the voice of one sentence and the voice of the first cue on the terminal of the first user.
  • the control unit is further configured to execute a display control step, wherein the display control step generates the voice of the first sentence and the voice of the first cue.
  • the control unit is further configured to execute a storage management step, and in the storage management step, the history of attendance of the training is stored in a storage area.
  • the attendance history is configured to be viewable by a second user who instructs the training to the first user.
  • the language of the speech of the first sentence and the speech of the first cue is English.
  • a method of information processing comprising steps of the information processing system.
  • Reference Signs List 1 information processing system 2: first user terminal 3: server 4: second user terminal 11: network 20: communication bus 21: communication section 22: storage section 23: control section 24: display section 25: input section 26 : Audio output unit 30 : Communication bus 31 : Communication unit 32 : Storage unit 33 : Control unit 40 : Communication bus 41 : Communication unit 42 : Storage unit 43 : Control unit 44 : Display unit 45 : Input unit 46 : Audio output unit 331 : Reception unit 332 : Voice control unit 333 : Display control unit 334 : Storage management units BT1, BT2: Button BT2: Button D: Display screen IF1-IF5: Input form OBJ1-OBJ11: Object PC1-PC3: Picture STU: Student

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

【課題】とくに初学者に対して効率的に語学能力を向上させることができる情報処理システム等を提供すること。 【解決手段】本発明の一態様によれば、言語の習得を支援する情報処理システムが提供される。この情報処理システムは、制御部を備える。制御部は、次の各ステップを実行するように構成される。受付ステップでは、第１のユーザからトレーニングの開始要求を受け付ける。音声制御ステップでは、開始要求を受け付けた場合に、第１の文の音声と、第１の文を改変させる第１の合図の音声とを、トレーニングの少なくとも一部として第１のユーザが認識可能に発生させる。第１の文は、２語または３語の単語から構成される文である。

Description

情報処理システム、情報処理方法及びプログラム
　本発明は、情報処理システム、情報処理方法及びプログラムに関する。
　近年、英会話等の語学の能力を向上させるニーズが増大してきており、これに伴って様々な技術開拓がなされている。たとえば、特許文献１には、生徒のスマートフォンと、教師側のパソコンとをネットワークを介して接続することで行われるオンライン英語学習方法が開示されている。
特開２０１６－４０５９１号公報
　しかしながら、語学の初学者は、教師とオンラインで接続して会話に取り組んでもその効果が不十分な場合があり、依然として効率的に語学の能力を向上させることができる技術が望まれている。
　本発明では上記事情に鑑み、とくに初学者に対して効率的に語学能力を向上させることができる情報処理システム等を提供することとした。
　本発明の一態様によれば、言語の習得を支援する情報処理システムが提供される。この情報処理システムは、制御部を備える。制御部は、次の各ステップを実行するように構成される。受付ステップでは、第１のユーザからトレーニングの開始要求を受け付ける。音声制御ステップでは、開始要求を受け付けた場合に、第１の文の音声と、第１の文を改変させる第１の合図の音声とを、トレーニングの少なくとも一部として第１のユーザが認識可能に発生させる。第１の文は、２語または３語の単語から構成される文である。
　上記態様によれば、とくに初学者に対して効率的に語学能力を向上させることができる情報処理システム等を提供することができる。
本実施形態に係る情報処理システム１を表す構成図である。 第１のユーザ端末２のハードウェア構成を示すブロック図である。 サーバ３のハードウェア構成を示すブロック図である。 第２のユーザ端末４のハードウェア構成を示すブロック図である。 サーバ３における制御部３３等によって実現される機能を示すブロック図である。 第１のユーザの行うトレーニングに関する情報処理の流れを示すアクティビティ図である。 第１のユーザが開始要求を行う際に、第１のユーザ端末２に表示される表示画面Ｄの一例である。 受講者ＳＴＵの行うトレーニングの概要を示す概略図である。 第１のユーザ端末２に表示されるトレーニング中の表示画面Ｄの一例である。 第１のユーザ端末２に表示されるトレーニング確認用の表示画面Ｄである。 視認情報を取り入れたトレーニングを表す概念図である。
　以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
　ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ　Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ　Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。
　また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。
　また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。
１．ハードウェア構成
　本節では、本実施形態のハードウェア構成について説明する。
１．１　情報処理システム１
　図１は、本実施形態に係る情報処理システム１を表す構成図である。本情報処理システム１は、言語の習得を支援するものである。情報処理システム１は第１のユーザ端末２と、サーバ３と、第２のユーザ端末４とを備え、これらがネットワーク１１を通じて接続されている。これらの構成要素についてさらに説明する。なお、情報処理システム１に例示されるシステムとは、１つ又はそれ以上の装置又は構成要素からなるものである。したがって、サーバ３単体であってもシステムの一例となる。また、本実施形態に係る情報処理システム１は、第１のユーザによるトレーニングの開始要求の受け付けと、所定の音声を第１のユーザが認識可能に発生させる音声制御とを実行するものであるが、この開始要求と、音声の発生は必ずしも１つの第１のユーザ端末２で行われていなくても構わない。たとえば、トレーニングの開始要求のみを第１のユーザ端末２から受け付け、図示しない他の音響機器等から所定の音声を発生させるように構成することも可能である。
１．２　第１のユーザ端末２
　第１のユーザ端末２は、典型的にはトレーニングを受講する受講者の所有する端末である。図２は、第１のユーザ端末２のハードウェア構成を示すブロック図である。
　第１のユーザ端末２は、通信部２１と、記憶部２２と、制御部２３と、表示部２４と、入力部２５と、音声出力部２６とを有し、これらの構成要素が第１のユーザ端末２の内部において通信バス２０を介して電気的に接続されている。通信部２１、記憶部２２及び制御部２３の説明は、後述の、サーバ３における通信部３１、記憶部３２及び制御部３３と略同様のため省略する。
　表示部２４は、例えば、第１のユーザ端末２の筐体に含まれるものであってもよいし、外付けされるものであってもよい。表示部２４は、ユーザが操作可能なグラフィカルユーザインターフェース（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）の画面を表示する。これは例えば、ＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ及びプラズマディスプレイ等の表示デバイスを、第１のユーザ端末２の種類に応じて使い分けて実施することが好ましい。ここでは、表示部２４は、第１のユーザ端末２の筐体に含まれるものとして説明する。
　入力部２５は、第１のユーザ端末２の筐体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部２５は、表示部２４と一体となってタッチパネルとして実施されてもよい。タッチパネルであれば、ユーザは、タップ操作、スワイプ操作等を入力することができる。もちろん、タッチパネルに代えて、スイッチボタン、マウス、ＱＷＥＲＴＹキーボード等を採用してもよい。すなわち、入力部２５がユーザによってなされた操作入力を受け付ける。当該入力が命令信号として、通信バス２０を介して制御部２３に転送され、制御部２３が必要に応じて所定の制御や演算を実行しうる。
　音声出力部２６は、例えば、第１のユーザ端末２の筐体に含まれるものであってもよいし、外付けされるものであってもよい。音声出力部２６は、ユーザが認識可能な音声を出力する。音声出力部２６は、無指向性スピーカであってもよいし、指向性スピーカであってもよいし、これらの両方を有していてもよい。ここでは、音声出力部２６は、第１のユーザ端末２の筐体に含まれるものとして説明する。
１．３　サーバ３
　図３は、サーバ３のハードウェア構成を示すブロック図である。サーバ３は、通信部３１と、記憶部３２と、制御部３３とを有し、これらの構成要素がサーバ３の内部において通信バス３０を介して電気的に接続されている。各構成要素についてさらに説明する。
　通信部３１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、３Ｇ／ＬＴＥ／５Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。すなわち、サーバ３は、通信部３１を介して、第１のユーザ端末２や第２のユーザ端末４とネットワーク１１を介して種々の情報を通信する。
　記憶部３２は、前述の記載により定義される様々な情報を記憶する。これは、例えば、制御部３３によって実行されるサーバ３に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。特に、記憶部３２は、制御部３３によって実行されるサーバ３に係る種々のプログラム等を記憶している。
　制御部３３は、サーバ３に関連する全体動作の処理・制御を行う。制御部３３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ：ＣＰＵ）である。制御部３３は、記憶部３２に記憶された所定のプログラムを読み出すことによって、サーバ３に係る種々の機能を実現する。すなわち、記憶部３２に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部３３によって具体的に実現されることで、制御部３３に含まれる各機能部として実行されうる。これらについては、２．節においてさらに詳述する。なお、制御部３３は単一であることに限定されず、機能ごとに複数の制御部３３を有するように実施してもよい。またそれらの組合せであってもよい。
１．４　第２のユーザ端末４
　第２のユーザ端末４は、典型的には受講者を指導する者（たとえば講師、コーチ、トレーナーと称してもよい）の所有する端末である。図４は、第２のユーザ端末４のハードウェア構成を示すブロック図である。
　第２のユーザ端末４は、通信部４１と、記憶部４２と、制御部４３と、表示部４４と、入力部４５と、音声出力部４６とを有し、これらの構成要素が第２のユーザ端末４の内部において通信バス４０を介して電気的に接続されている。通信部４１、記憶部４２、制御部４３、表示部４４、入力部４５および音声出力部４６の詳細は、前述の、第１のユーザ端末２における通信部２１、記憶部２２、制御部２３、表示部２４、入力部２５および音声出力部２６と略同様のため省略する。
２．機能構成
　本節では、本実施形態の機能構成について説明する。前述の通り、記憶部３２に記憶されているソフトウェアによる情報処理がハードウェアの一例である制御部３３によって具体的に実現されることで、制御部３３に含まれる各機能部として実行されうる。
　図５は、サーバ３における制御部３３等によって実現される機能を示すブロック図である。具体的には、情報処理システム１の一例であるサーバ３は、受付部３３１と、音声制御部３３２とを備えるものである。なお、図５にはサーバ３に備えられた機能として、表示制御部３３３と記憶管理部３３４を備えた態様を示している。
　受付部３３１は、第１のユーザからトレーニングの開始要求を受け付ける。これについては後にさらに詳述する。
　音声制御部３３２は、音声出力が可能な構成（ハードウェア等）に対して、種々の音声を発生させるように制御する。本実施形態の情報処理システム１においては、音声制御部３３２は、上述の開始要求を受け付けた場合に、第１の文の音声と、第１の文を改変させる第１の合図の音声とを、トレーニングの少なくとも一部として第１のユーザが認識可能に発生させる。ここで、この第１の文は、２語または３語の単語から構成される文である。本実施形態の情報処理システム１において、これ以外にも出力させることが可能な音声があるが、この点については後にさらに詳述する。
　表示制御部３３３は、種々の表示情報を生成して、ユーザが視認可能な表示内容を制御するように構成される。なお、表示情報とは、画面、画像、アイコン、テキスト等といった、ユーザが視認可能な態様で生成された視覚情報そのものでもよいし、例えば各種端末に画面、画像、アイコン、テキスト等の視覚情報を表示させるためのレンダリング情報であってもよい。
　記憶管理部３３４は、本実施形態の情報処理システム１に係るトレーニングを包含する種々の情報について管理するように構成される。典型的には、記憶管理部３３４は、トレーニングの受講履歴を記憶領域に記憶させるように構成される。この記憶領域は、たとえばサーバ３の記憶部３２が例示されるが、その他、第１のユーザ端末２に備えられる記憶部２２、第２のユーザ端末４に備えられる記憶部４２であってもよい。すなわち、この記憶管理部３３４の機能によれば、受講履歴は、第１のユーザに加え、第１のユーザのトレーニングの指導を行う第２のユーザにも閲覧可能に構成することができる。なお、この記憶領域は必ずしも情報処理システム１のシステム内である必要はなく、記憶管理部３３４は、種々の情報を外部記憶装置などに記憶するように管理することもできる。
３．情報処理方法
　本節では、前述した情報処理システム１の実行する情報処理方法の各ステップについてアクティビティ図を用いて説明する。なお、本実施形態の情報処理システム１は、上述のように第１の文の音声と、第１の合図の音声を発生させることで、種々の言語の習得を支援するために用いられるが、典型的にはこの第１の文の音声と、第１の合図の音声の言語は英語である。そこで、以下の説明は、英語を習得する際に適用した場合を示している。　もちろん、情報処理システム１の適用範囲は、英語の習得には限られず、日本語、ドイツ語、フランス語、ロシア語、スペイン語、イタリア語、オランダ語、中国語、韓国語、アラビア語、ペルシャ語、あるいはその他の言語の習得に用いられてもよい。
　図６は、第１のユーザの行うトレーニングに関する情報処理の流れを示すアクティビティ図である。
　まず、第１のユーザは、第１のユーザ端末２に対しての操作を行うことにより、トレーニングの開始要求を行う（アクティビティＡ１０１）。図７は、第１のユーザが開始要求を行う際に、第１のユーザ端末２に表示される表示画面Ｄの一例である。すなわち、図７の表示画面Ｄにおける、各種入力フォームへの入力により情報処理システム１が第１のユーザに与えるトレーニングの詳細を定めることができる。具体的に、入力フォームＩＦ１により問題の種類、入力フォームＩＦ２により問題のレベル、入力フォームＩＦ３により問題に取り組む時間、入力フォームＩＦ４により問題に係るトピックを選択することができる。なお、これらのフォームは複数の候補を選択肢として有しており、第１のユーザがこの選択肢の中から、自身の求める内容を選択する態様としてもよい。
　本実施形態の情報処理システム１においては、入力フォームＩＦ１により選択される問題の種類について「ＵＧ－ｂａｓｅｄ　ｃｏｎｖｅｒｓｉｏｎ　ｑｕｅｓｔｉｏｎ」との内容を選択可能である。この「ＵＧ－ｂａｓｅｄ　ｃｏｎｖｅｒｓｉｏｎ　ｑｕｅｓｔｉｏｎ」は本発明者らが命名したもので、本実施形態に特徴的なものである。具体的には、第１の文の音声と、この第１の文を改変させる第１の合図の音声とを受講者である第１のユーザに投げかけるものであり、これによって語学の能力の向上に資することができる。より詳細な内容については追って説明することとする。
　また、本実施形態の情報処理システム１においては、入力フォームＩＦ２により選択される問題のレベルについて「Ｂａｓｉｃ」との内容を選択可能である。この「Ｂａｓｉｃ」を選択することにより、上述の第１の文について、２語または３語の単語から構成される文となるように出題レベルを調整することができる。すなわち、これにより語学の初学者が取り組みやすいトレーニングを実現することができる。
　また、本実施形態の情報処理システム１においては、入力フォームＩＦ３により問題に取り組む時間を選択可能である。この時間は第１のユーザの習得の進捗度合い等に応じ、適宜選択することができるが、たとえば３６０，３５０，３４０，３３０，３２０，３１０，３００，２９０，２８０，２７０，２６０，２５０，２４０，２３０，２２０，２１０，２００，１９０，１８０，１７０，１６０，１５０，１４０，１３０，１２０，１１０，１００，９０，８０，７０，６０，５０，４０，３０秒以内の数値に設定され、また、ここで例示した数値の何れか２つの間の範囲内に設定してもよい。
　また、本実施形態の情報処理システム１においては、入力フォームＩＦ４により問題に係るトピックを選択することができる。このトピックの例としては、図８に例示される「Ｔｒａｖｅｌ　＆　Ｉｍｍｉｇｒａｔｉｏｎ（旅行＆移住）」のほか、「Ｃｕｒｒｅｎｔ　Ｅｖｅｎｔｓ（時事）」、「Ｂｕｓｉｎｅｓｓ　＆　Ｆｉｎａｎｃｅ（事業＆金融）」、「Ａｔ　ｔｈｅ　Ｏｆｆｉｃｅ（オフィス内）」、「Ｆｒｉｅｎｄｓ　＆　Ｆａｍｉｌｙ（友人＆家族）」、「Ｄｉｎｉｎｇ（食事）」、「Ｔｅｃｈｎｏｌｏｇｙ（技術）」など、様々な場面を選択することができる。また、「Ａｌｌ」との選択肢を設け、この選択肢を選択させることによって、これらの場面を制限することなくトレーニングを行うことも可能である。なお、このトピックを選択した場合、これらの場面に即した語彙により構成される文が、上述の第１の文として音声出力されることとなる。
　これらの各入力フォーム（入力フォームＩＦ１～ＩＦ４）に種々の情報が入力され、最後にボタンＢＴ１が押下されることにより、サーバ３の受付部３３１が、これらの情報を第１のユーザのトレーニングの開始要求として受け付けることとなる（アクティビティＡ１０２）。
　このようにして、サーバ３の受付部３３１が開始要求を受け付けると、サーバ３の表示制御部３３３が第１のユーザ端末２にトレーニング画面を出力しつつ、サーバ３の音声制御部３３２が所定の音声を発生させることとなる（アクティビティＡ１０３～Ａ１０４）。
　本実施形態のトレーニングについては、図８と図９とを用いて詳細の説明をする。図８は、受講者ＳＴＵの行うトレーニングの概要を示す概略図である。図９は、第１のユーザ端末２に表示されるトレーニング中の表示画面Ｄの一例である。
　なお、以下のトレーニングの説明においては、第１のユーザが受講者ＳＴＵであるものとして説明を行っている。
　すなわち、トレーニングは以下のように行われる。
　まず、図８に示されるように、第１のユーザ端末２が第１の文の音声を発生させる（図８中Ｓ－Ｓ１１参照）。続いて、第１のユーザ端末２がこの第１の文を改変させる第１の合図の音声を発生させる（図８中Ｓ－Ｑ１１参照）。
　これらの第１のユーザ端末２の音声出力は、サーバ３の音声制御部３３２によって実現されるものであり、典型的には第１のユーザ端末２の備える音声出力部２６から各音声が出力される。一方、この第１のユーザ端末２に対峙する受講者ＳＴＵは、第１の文の音声と、第１の文を改変させる第１の合図の音声とを聞いた上で、第１の文を第１の合図に沿って改変した第２の文の内容を発声する（図８中Ｓ－Ｒ１１参照）。
　ここで、本トレーニングのコンセプトについて説明する。
　従来、言語を習得しようとする際には、文法規則や語彙、イディオム等を明示的かつ意識的に記憶することに重点が置かれてきたが、このような知識ベースの学習は、読み書き能力の向上には比較的有効であるものの、言語を用いた会話の能力を向上させる効果は乏しい側面があった。
　これに対し、本発明者らは、言語学の生成文法の概念である普遍文法（ＵＧ；　Ｕｎｉｖｅｒｓａｌ　Ｇｒａｍｍａｒ）に着目し、上記のような知識ベースの学習とは異なるトレーニングの開拓に至っている。
　すなわち、本発明者らは、上記の普遍文法の考え方によれば、すべての人間は生得的に普遍的な言語機能を備えていることに着目した。加えて、人間の脳の中に存在する「文法中枢」と呼ばれる重要な領域を働かせることこそ、言語習得に効果的であるとの知見に着目し、本トレーニングの完成に至っている。
　具体的に、上記の「文法中枢」を働かせるためには、音声による質問（改変の合図）に沿って、その場で、スピーディーに文章を構築していく過程が有効であることを見出している。すなわち、言語学の分野においては、すべての人間の言語を木構造で分析すると、基本的な文の構造は同じであることが知られているが、上述の過程は、この木構造の瞬発的な組み換え操作に慣れる効果を奏する。そのため、この過程を取り入れた本トレーニングは瞬間的なコミュニケーション能力を向上させる効果が高いものとなる。なお、図８には、英語の習得を支援する方法として本トレーニングを取り入れた際の概略図を示しているが、上述の通り、各言語においても文構造に共通性があることから、英語以外の言語の習得に対してもこのような方法論を適用できるものといえる。
　さらに、語学の初学者は、限定された会話能力しかない場合が多いため、前述の特許文献１に開示されるような教師と会話する手法では、効果的な語学習得に寄与できるだけの会話が成立しない場合が多い。加えて、このような手法では生徒の発話量や発話時間が不十分になりがちである。これに対し、本トレーニングでは、狙った言語習得の過程に沿った、相当量の反復練習が可能であり、語学習得を志すユーザは先行技術以上に言語習得の効果を得やすいといえる。
　ここで、この第１の合図は、典型的には（１）第１の文の一部の単語を他の単語または単語の集合に置換する；（２）第１の文に他の単語または単語の集合を追加する；（３）２語または３語の単語から構成される第１の文の種類を変換する；および（４）第１の文の一部の単語を削除する、からなる群から選択される１つの指令である。
　すなわち、図８に示されるように「Ｕｓｅ」との指令のもと、第１の文の一部を「ｔｈｅｓｅ」という単語に置き換えようとすると、第１の文の中では「Ｔｈｅ」部分を置き換えることが妥当となる。また、この場合では、上述のように単語を置き換えた際に主語が複数形となるので、「ｓｔｕｄｅｎｔ」部分や「Ｓｐｅａｋｓ」部分についても語形変化を行う必要がある。
　なお、上述のように第１の文の音声と第１の合図の音声が発生される一方で、トレーニングの間は、第１の文の音声および第１の合図の音声に係るテキストが第１のユーザ端末２に表示されないことが好ましい。
　すなわち、このようなトレーニングにおいては言語のテキスト（活字）を参照することなく、文の改変を行うことが要求されるが、このようなトレーニングを繰り返し行うことにより、受講者ＳＴＵの脳に効率的に言語の構文構造を浸透させることが可能となる。また、前述の通り、第１の文は、２語または３語の単語から構成される文であるため、このような構文構造を浸透させるプロセスに焦点をあててのトレーニングが実現しやすくなる。
　その他、「Ｕｓｅ」の指令は上述の「（１）第１の文の一部の単語を他の単語または単語の集合に置換する」ものであるが、「Ａｄｄ」の指令のもと「（２）第１の文に他の単語または単語の集合を追加する」内容や、「Ｃｈａｎｇｅ」の指令のもと「（３）２語または３語の単語から構成される第１の文の種類を変換する」内容や、「Ｒｅｍｏｖｅ」の指令のもと「（４）第１の文の一部の単語を削除する」内容をトレーニングに組み入れることも可能である。
　なお、「文の種類を変換する」とは、例えばある肯定文が第１の文であるときに「命令文に変換する」、「否定文に変換する」、「疑問文に変換する」といった指令（逆に否定文から肯定文に変換する等の態様も含む。）を行うような態様が挙げられる。
　また、上述の第１の文の音声と、第１の合図の音声とを発生させている途中および発生させた後において、サーバ３の表示制御部３３３は第１のユーザ端末２に図９に示されるような表示画面Ｄが表示されるのでこの点について説明する。この表示画面Ｄには、受講者ＳＴＵが視認可能な各オブジェクトが表示されている。具体的に、オブジェクトＯＢＪ１は、受講者ＳＴＵが直観的に再生することがわかるボタン型のオブジェクトであり、このオブジェクトＯＢＪ１は、第１の文の音声と、第１の合図の音声とを再生させることを可能に構成される。オブジェクトＯＢＪ２は、受講者ＳＴＵが直観的に次の問題に進むことがわかるボタン型のオブジェクトであり、このオブジェクトＯＢＪ２は、第１の文とは異なる文の音声と、第１の合図とは異なる合図の音声とを発生させることを可能に構成される。ここで、オブジェクトＯＢＪ２によって音声として発生される第１の文とは異なる文は、第１の文を第１の合図に沿って改変した第２の文であり、第１の合図とは異なる合図は、第２の文をさらに改変させる第２の合図である。すなわち、第１の文を改変するものを第１の問題とするのであれば、このオブジェクトＯＢＪ２を操作することにより、第１の問題の次問となる第２の問題の出題に移行することができる。
　また、図９の表示画面Ｄに示されるオブジェクトＯＢＪ３は、第１の文と第１の合図の音声が出力されている最中に動作するオブジェクトである。このオブジェクトＯＢＪ３は、いわゆる「シークバー」と称されることもあるが、トレーニング中においては第１の文と第１の合図の音声の出力に伴い、図中における左から右に移動する。図９中の「Ｓ」は第１の文が出力され始めるタイミングを示し、「Ｑ」は第１の合図の音声が出力され始めるタイミングを明示することとなる。すなわち、図８のＳ－Ｓ１１が開始されるときに、オブジェクトＯＢＪ３が図９の「Ｓ」から右に移動を始め、図８のＳ－Ｑ１１が開始されるタイミングで、オブジェクトＯＢＪ３は図９の「Ｑ」に到達し、第１の合図の音声が出力され終わるところで終点に達する。すなわち、このようなオブジェクトＯＢＪ３に対峙した受講者ＳＴＵは第１の文と、第１の合図の内容を取り違えるような間違いを起こしにくくなる。
　なお、図９に示される表示画面Ｄにおいては、左から右に移動する態様が取られているが、移動方向や移動のスピードは任意に設定することも可能である。
　また、オブジェクトＯＢＪ４は、受講者ＳＴＵが直観的にトレーニングを中止することがわかるボタン型のオブジェクトであり、このオブジェクトＯＢＪ４を受講者ＳＴＵが押下することによってトレーニングを中止することができる。オブジェクトＯＢＪ５は、受講者ＳＴＵが注意する問題や、ターゲットとする問題をチェックするために操作するオブジェクトである。すなわち、図中の「＋」部分を押すことにより、その右にあるボックスにチェックが入る。なお、このチェックの仕方はこれには限られず、「＋」部分をスライド操作することによって行う等の態様を採用することもできる。
　ここで、図８のＳ－Ｒ１１の後のトレーニングの内容について話を戻す。受講者ＳＴＵが第１の文を第１の合図に沿って改変した第２の文の内容を発声したあと、受講者ＳＴＵは、前述のオブジェクトＯＢＪ２を操作することで、次の問題に移ることができる。すなわち、サーバ３の音声制御部３３２は、受講者ＳＴＵの操作に従い、第１の文を第１の合図に沿って改変した第２の文の音声を、受講者ＳＴＵが認識可能に発生させることとなる（図８中Ｓ－Ｓ１２参照）。また、これに続いて、音声制御部３３２は、第２の文をさらに改変させる第２の合図の音声を、受講者ＳＴＵが認識可能に発生させる（図８中Ｓ－Ｑ１２参照）。ここで、第１のユーザ端末２に対峙する受講者ＳＴＵは、第２の文の音声と、第２の文を改変させる第２の合図の音声とを聞いた上で、第２の文を第２の合図に沿って改変した他の文（第３の文）の内容を発声する（図８中Ｓ－Ｒ１２参照）。
　すなわち、このＳ－Ｓ１２、Ｓ－Ｑ１２およびＳ－Ｒ１２を行う一連の流れは、概ね第１の文を第１の合図に沿って変換する流れに準ずるものではあるが、受講者ＳＴＵは、このＳ－Ｓ１１、Ｓ－Ｑ１１およびＳ－Ｒ１１を実行した直後に、このＳ－Ｓ１２、Ｓ－Ｑ１２およびＳ－Ｒ１２の一連を実行することとなるので、上述の言語の構文構造の浸透をさらに深化させることが可能となる。
　なお、トレーニングはこの第３の文をさらに改変させるような合図（第３の合図）を出すように継続してもよいし、改めて２語または３語の単語から構成される第１の文に相当する内容を出題するように構成されていてもよい。また、トレーニングは入力フォームＩＦ３で入力した時間をもって終了するように構成される。
　ここで、第２の合図や第３の合図は、前述の第１の合図と同様に、（ｘ１）文の一部の単語を他の単語または単語の集合に置換する；（ｘ２）文に他の単語または単語の集合を追加する；（ｘ３）文の種類を変換する；および（ｘ４）文の一部の単語を削除する、からなる群から選択される１つの指令を採用することができる。この「（ｘ４）文の一部の単語を削除する」の場合は、第１の文を構成していた単語を削除することも、第１の合図や第２の合図で追加された単語を削除する態様も採用することができる。
　なお、上述の第１の文、第１の合図等のトレーニングに必要な情報については、事前に問題のレベルに応じた内容をデータベースに格納し、トレーニングを行う際に、サーバ３がこのデータベースの中から発生させる音声を選択する態様を取ることができる。具体的には、文や合図に対応した音声データを予め録音しておき、サーバ３の記憶部３２にこの録音内容を記憶させておき、トレーニングの開始にあわせて記憶された音声を読み出してもよい。また、文や合図をテキストデータとしてサーバ３の記憶部３２に記憶させておき、ナレーションプログラムによって、トレーニングに必要な文や合図を読み上げるように構成してもよい。このデータベースの生成は、サーバ３によって行われることが例示される。この際、データベースを生成するユーザは、サーバ３を直接操作してもよいし、端末等を用いて、リモートデスクトップ等に代表される種々の手法で遠隔でサーバ３を操作してもよい。
　なお、上述のトレーニングに必要な情報は、複数の情報の相関性を予め機械学習させた学習済みモデルであってもよい。
　このようにしてトレーニングが終了した後、第１のユーザ端末２には任意のトレーニングの終了画面が表示され、一方、サーバ３においては、その記憶管理部３３４の機能に基づき、このトレーニングの受講履歴等の情報を記憶領域に記憶するよう制御される（アクティビティＡ１０５～Ａ１０７）。
　なお、トレーニングの終了後、受講者ＳＴＵは行ったトレーニングについて確認を行うことができる。図１０は、第１のユーザ端末２に表示されるトレーニング確認用の表示画面Ｄである。
　前述のように、サーバ３の記憶管理部３３４は、トレーニングの受講履歴を記憶領域に記憶させるように構成されるが、この記憶された受講履歴について、表示制御部３３３が、第１のユーザ端末２等を介して受講者ＳＴＵ等に視認可能に示すことができる。
　図１０に示されるように、サーバ３の表示制御部３３３は、トレーニングの終了後に、発生された第１の文の音声および第１の合図の音声の少なくとも一方を、テキストとして受講者ＳＴＵが視認可能に表示させることが可能である。
　ここで、図１０に示されるように、第１のユーザ端末２の表示画面Ｄにおいて、行ったトレーニングの詳細（レベルや時間、トピックも含む。）が示され、このトレーニングについて、受講者ＳＴＵのコメントを付すことができる。具体的には、入力フォームＩＦ５に任意のコメントを入力した上で、「ｓａｖｅ」と表示されたボタンＢＴ２を押下することによって、この所定のコメントが記憶される。なお、記憶領域は適宜設定されるが、サーバ３の記憶部３２であってもよい。
　その他、実行したトレーニングについて、音声として発生された文（第１の文、第２の文等）と、この文を改変させる合図（第１の合図、第２の合図等）がテキストとして表示画面Ｄに表示される態様となっている。なお、受講者ＳＴＵは自己がマークしたい文や合図の内容について、オブジェクトＯＢＪ６～ＯＢＪ１１を操作することで、マーキングすることもできる。なお、このオブジェクトＯＢＪ６～ＯＢＪ１１は、前述のオブジェクトＯＢＪ５と同様に、図中の「＋」部分を押すことにより、その右にあるボックスにチェックが入る。なお、前述のオブジェクトＯＢＪ５と同様に、このチェックの仕方はこれには限られず、「＋」部分をスライド操作することによって行う等の態様を採用することもできる。
　また、受講履歴は、受講者ＳＴＵである第１のユーザに加え、受講者ＳＴＵのトレーニングの指導を行う第２のユーザにも閲覧可能に構成することができる。第２のユーザである指導者は、定期的に受講者ＳＴＵと会話を通じてのレッスンを行うことができるが、このようにトレーニングの受講履歴を予め閲覧することにより、このレッスンの質を向上させることができる。なお、この会話を通じてのレッスンは対面で行ってもよいし、オンラインで接続して行ってもよい。
　また、上述の態様に加え、トレーニングには視認情報を取り入れた構成を採用してもよい。図１１は、視認情報を取り入れたトレーニングを表す概念図である。
　このトレーニングは概ね前述の図８の流れで示したトレーニングと同様であるが、第１の文の内容および第２の文の内容に関連する視覚情報を受講者ＳＴＵが視認可能に表示させるものである。なお、この場合であっても、第１の文の音声および第１の合図の音声に係るテキストが受講者ＳＴＵの視認し得る端末に表示されないことが好ましいが、必要に応じては、このテキストを表示する態様も採用することができる。
　具体的に図１１を用いて説明すると、「Ｈｅ　ｉｓ　ｏｒｄｅｒｉｎｇ．」という第１の文の音声が発生されている間は、この「Ｈｅ　ｉｓ　ｏｒｄｅｒｉｎｇ．」に対応する絵ＰＣ１が第１のユーザ端末２の表示部２４に表示される（図１１中Ｓ－Ｓ２１参照）。図示はしていないが、この第１の文を改変させる第１の合図は"Ａｄｄ　ｓｏｕｐ"であり、この指令に即して改変された第２の文を音声として発生させる場合は、「Ｈｅ　ｉｓ　ｏｒｄｅｒｉｎｇ　ｓｏｕｐ．」という第２の文に対応する絵ＰＣ２が第１のユーザ端末２の表示部２４に表示されることとなる（図１１中Ｓ－Ｓ２２参照）。このように、第１の文の音声を発生させている間に第１の視覚情報を表示させ、第２の文の音声を発生させている間に第２の視覚情報を表示させることにより、必ずしもテキストに拠らない視覚情報を取り入れながら文章を改変するトレーニングを実現可能である。また、このような観点で、とくに語学の初学者が一段と効率のよいトレーニングを行うことが可能となる。
　なお、図１１には第２の文をさらに改変した第３の文が示されているが、この第３の文の音声が発生されている段階でも同様に絵ＰＣ３が示される態様を採用してもよい（図１１中Ｓ－Ｓ２３参照）。
　なお、上述の説明では、第１の視覚情報と第２の視覚情報とを、発生させる文に応じて分けてもよいが、適宜、同一の視覚情報を採用することもできる。
　以上に示したように、本実施形態の情報処理方法によれば、とくに初学者に対して効率的に語学能力を向上させることができる。
４．その他
　本実施形態に係る情報処理システム１に関して、以下のような態様を採用してもよい。
　以上の実施形態では、情報処理システム１の構成として説明したが、コンピュータに情報処理システム１の各ステップを実行させるプログラムが提供されてもよい。
　以上の実施形態では、入力フォームＩＦ１により選択される問題の種類について「ＵＧ－ｂａｓｅｄ　ｃｏｎｖｅｒｓｉｏｎ　ｑｕｅｓｔｉｏｎ」との内容を選択したが、これ以外の問題の種類を別途選択することもできる。たとえば、ある疑問文が音声出力され、それについてすべて「ＹＥＳ」または「ＮＯ」と受講者ＳＴＵが答えるトレーニングを取り入れることができる。また、ある説明文が音声出力された後に、この説明文に関する問が音声出力されるトレーニングも取り入れることができる。時間設定や受講履歴が記憶される等の態様は上述の実施形態と同様である。
　以上の実施形態では、入力フォームＩＦ２により選択される問題のレベルについて「Ｂａｓｉｃ」との内容を選択したが、これ以外の問題のレベルを別途選択することもできる。すなわち、以上の実施形態では、第１の文が２語または３語の単語から構成される文であったが、受講者ＳＴＵの語学の習熟度合いによって、４語以上の単語から構成される文を第１の文とするトレーニングを設け、かかる問題のレベルを選択できるように構成してもよい。
　以上の実施形態では、受講者ＳＴＵが、文を改変した内容を発声する態様を示したが、第１のユーザ端末２等が、この発声した内容を音声認識するように構成されてもよい。また、この認識した音声に基づいて人工知能（ＡＩ；　Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）が、受講者ＳＴＵの発音の精度を評価する態様や、受講者ＳＴＵ推奨されるトレーニングやレッスン等を選定する態様を採用することも可能である。
　以上の実施形態では受講者ＳＴＵである第１のユーザと受講者ＳＴＵの指導を行う第２のユーザとをオンラインで接続してレッスンを行う態様を示したが、このレッスンの中でも模擬的に本実施形態のトレーニングを行うことも可能である。たとえば、トレーニングの指導を行う第２のユーザが、受講者ＳＴＵである第１のユーザのオブジェクト操作に応じて、第１の文と第１の合図とをリアルタイムで読み上げるレッスンを行うことも可能である。
　このレッスンは典型的には以下に示す（Ｌ１）～（Ｌ５）のように行われる。
（Ｌ１）受講者ＳＴＵの行ったオブジェクト操作を認識することができる情報が第２のユーザ端末４に表示される。
（Ｌ２）この表示を認識した第２のユーザが第１の文等に係る音声を発する。
（Ｌ３）発した音声に係る情報が第２のユーザ端末４に入力される。
（Ｌ４）入力された音声に係る情報がサーバ３を経由して第１のユーザ端末２に送信される。
（Ｌ５）第１のユーザ端末２から第２のユーザの発した音声が出力される。
　以上の実施形態では、受講者ＳＴＵである第１のユーザと受講者ＳＴＵの指導を行う第２のユーザとをオンラインで接続してレッスンを行う態様を示したが、受講者ＳＴＵが他の受講者とコンタクトを取れるように情報処理システム１を構成してもよい。
　以上の実施形態では、サーバ３が種々の記憶や制御を行ったが、サーバ３に代えて、複数の外部装置が用いられてもよい。すなわち、ブロックチェーン技術等を用いて、受講履歴に関する情報等を分散して複数の外部装置に記憶させてもよい。
　さらに、次に記載の各態様で提供されてもよい。
　前記情報処理システムにおいて、前記音声制御ステップでは、前記第１の文を前記第１の合図に沿って改変した第２の文の音声を、前記第１のユーザが認識可能に発生させる、もの。
　前記情報処理システムにおいて、前記音声制御ステップでは、前記第２の文をさらに改変させる第２の合図の音声を、前記第１のユーザが認識可能に発生させる、もの。
　前記情報処理システムにおいて、前記制御部は、さらに表示制御ステップを実行するように構成され、前記表示制御ステップでは、前記第１の文の内容および前記第２の文の内容に関連する視覚情報を前記第１のユーザが視認可能に表示させる、もの。
　前記情報処理システムにおいて、前記表示制御ステップでは、前記第１の文の前記音声を発生させている間に第１の視覚情報を表示させ、前記第２の文の前記音声を発生させている間に第２の視覚情報を表示させる、もの。
　前記情報処理システムにおいて、前記第１の合図は、（１）前記第１の文の一部の前記単語を他の単語または単語の集合に置換する；（２）前記第１の文に他の単語または単語の集合を追加する；（３）２語または３語の前記単語から構成される前記第１の文の種類を変換する；および（４）前記第１の文の一部の前記単語を削除する、からなる群から選択される１つの指令である、もの。
　前記情報処理システムにおいて、前記制御部は、さらに表示制御ステップを実行するように構成され、前記表示制御ステップでは、前記トレーニングの終了後に、発生された前記第１の文の前記音声および前記第１の合図の前記音声の少なくとも一方を、テキストとして前記第１のユーザが視認可能に表示させる、もの。
　前記情報処理システムにおいて、前記音声制御ステップでは、前記第１のユーザの端末より前記第１の文の前記音声と、前記第１の合図の前記音声とを発生させ、前記トレーニングの間は前記第１の文の前記音声および前記第１の合図の前記音声に係るテキストを前記第１のユーザの端末に表示しない、もの。
　前記情報処理システムにおいて、前記制御部は、さらに表示制御ステップを実行するように構成され、前記表示制御ステップでは、前記第１の文の前記音声と、前記第１の合図の前記音声とを発生させている途中または発生させた後に、第１のオブジェクトと第２のオブジェクトとを前記第１のユーザが視認可能に表示させ、前記第１のオブジェクトは、前記第１の文の前記音声と、前記第１の合図の前記音声とを再生させることを可能に構成され、前記第２のオブジェクトは、前記第１の文とは異なる文の音声と、前記第１の合図とは異なる合図の音声とを発生させることを可能に構成される、もの。
　前記情報処理システムにおいて、前記第１の文とは異なる前記文は、前記第１の文を前記第１の合図に沿って改変した第２の文であり、前記第１の合図とは異なる前記合図は、前記第２の文をさらに改変させる第２の合図である、もの。
　前記情報処理システムにおいて、前記制御部は、さらに記憶管理ステップを実行するように構成され、前記記憶管理ステップでは、前記トレーニングの受講履歴を記憶領域に記憶させる、もの。
　前記情報処理システムにおいて、前記受講履歴は、前記第１のユーザに前記トレーニングの指導を行う第２のユーザに閲覧可能に構成される、もの。
　前記情報処理システムにおいて、前記第１の文の前記音声と、前記第１の合図の前記音声の言語は英語である、もの。
　情報処理方法であって、前記情報処理システムの各ステップを備える、方法。
　プログラムであって、コンピュータに前記情報処理システムの各ステップを実行させる、もの。
　もちろん、この限りではない。
　最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１　　　　　：情報処理システム
２　　　　　：第１のユーザ端末
３　　　　　：サーバ
４　　　　　：第２のユーザ端末
１１　　　　：ネットワーク
２０　　　　：通信バス
２１　　　　：通信部
２２　　　　：記憶部
２３　　　　：制御部
２４　　　　：表示部
２５　　　　：入力部
２６　　　　：音声出力部
３０　　　　：通信バス
３１　　　　：通信部
３２　　　　：記憶部
３３　　　　：制御部
４０　　　　：通信バス
４１　　　　：通信部
４２　　　　：記憶部
４３　　　　：制御部
４４　　　　：表示部
４５　　　　：入力部
４６　　　　：音声出力部
３３１　　　：受付部
３３２　　　：音声制御部
３３３　　　：表示制御部
３３４　　　：記憶管理部
ＢＴ１、ＢＴ２：ボタン
ＢＴ２　　　：ボタン
Ｄ　　　　　：表示画面
ＩＦ１～ＩＦ５：入力フォーム
ＯＢＪ１～ＯＢＪ１１：オブジェクト
ＰＣ１～ＰＣ３：絵
ＳＴＵ　　　：受講者

Claims (15)

  1. 言語の習得を支援する情報処理システムであって、
    　制御部を備え、
    　前記制御部は、次の各ステップを実行するように構成され、
    　受付ステップでは、第１のユーザからトレーニングの開始要求を受け付け、
    　音声制御ステップでは、前記開始要求を受け付けた場合に、第１の文の音声と、前記第１の文を改変させる第１の合図の音声とを、前記トレーニングの少なくとも一部として前記第１のユーザが認識可能に発生させ、ここで、前記第１の文は、２語または３語の単語から構成される文である、もの。
  2. 請求項１に記載の情報処理システムにおいて、
    　前記音声制御ステップでは、前記第１の文を前記第１の合図に沿って改変した第２の文の音声を、前記第１のユーザが認識可能に発生させる、もの。
  3. 請求項２に記載の情報処理システムにおいて、
    　前記音声制御ステップでは、前記第２の文をさらに改変させる第２の合図の音声を、前記第１のユーザが認識可能に発生させる、もの。
  4. 請求項２または請求項３に記載の情報処理システムにおいて、
    　前記制御部は、さらに表示制御ステップを実行するように構成され、
    　前記表示制御ステップでは、前記第１の文の内容および前記第２の文の内容に関連する視覚情報を前記第１のユーザが視認可能に表示させる、もの。
  5. 請求項４に記載の情報処理システムにおいて、
    　前記表示制御ステップでは、前記第１の文の前記音声を発生させている間に第１の視覚情報を表示させ、前記第２の文の前記音声を発生させている間に第２の視覚情報を表示させる、もの。
  6. 請求項１ないし請求項５のいずれか１項に記載の情報処理システムにおいて、
    　前記第１の合図は、
    （１）前記第１の文の一部の前記単語を他の単語または単語の集合に置換する；
    （２）前記第１の文に他の単語または単語の集合を追加する；
    （３）２語または３語の前記単語から構成される前記第１の文の種類を変換する；および
    （４）前記第１の文の一部の前記単語を削除する、
    からなる群から選択される１つの指令である、もの。
  7. 請求項１ないし請求項６のいずれか１項に記載の情報処理システムにおいて、
    　前記制御部は、さらに表示制御ステップを実行するように構成され、
    　前記表示制御ステップでは、前記トレーニングの終了後に、発生された前記第１の文の前記音声および前記第１の合図の前記音声の少なくとも一方を、テキストとして前記第１のユーザが視認可能に表示させる、もの。
  8. 請求項１ないし請求項７のいずれか１項に記載の情報処理システムにおいて、
    　前記音声制御ステップでは、前記第１のユーザの端末より前記第１の文の前記音声と、前記第１の合図の前記音声とを発生させ、
    　前記トレーニングの間は前記第１の文の前記音声および前記第１の合図の前記音声に係るテキストを前記第１のユーザの端末に表示しない、もの。
  9. 請求項１ないし請求項８のいずれか１項に記載の情報処理システムにおいて、
    　前記制御部は、さらに表示制御ステップを実行するように構成され、
    　前記表示制御ステップでは、前記第１の文の前記音声と、前記第１の合図の前記音声とを発生させている途中または発生させた後に、第１のオブジェクトと第２のオブジェクトとを前記第１のユーザが視認可能に表示させ、
    　前記第１のオブジェクトは、前記第１の文の前記音声と、前記第１の合図の前記音声とを再生させることを可能に構成され、
    　前記第２のオブジェクトは、前記第１の文とは異なる文の音声と、前記第１の合図とは異なる合図の音声とを発生させることを可能に構成される、もの。
  10. 請求項９に記載の情報処理システムにおいて、
    　前記第１の文とは異なる前記文は、前記第１の文を前記第１の合図に沿って改変した第２の文であり、前記第１の合図とは異なる前記合図は、前記第２の文をさらに改変させる第２の合図である、もの。
  11. 請求項１ないし請求項１０のいずれか１項に記載の情報処理システムにおいて、
    　前記制御部は、さらに記憶管理ステップを実行するように構成され、
    　前記記憶管理ステップでは、前記トレーニングの受講履歴を記憶領域に記憶させる、もの。
  12. 請求項１１に記載の情報処理システムにおいて、
    　前記受講履歴は、前記第１のユーザに前記トレーニングの指導を行う第２のユーザに閲覧可能に構成される、もの。
  13. 請求項１ないし請求項１２のいずれか１項に記載の情報処理システムにおいて、
    　前記第１の文の前記音声と、前記第１の合図の前記音声の言語は英語である、もの。
  14. 情報処理方法であって、
    　請求項１ないし請求項１３のいずれか１項に記載の情報処理システムの各ステップを備える、方法。
  15. プログラムであって、
    　コンピュータに請求項１ないし請求項１３のいずれか１項に記載の情報処理システムの各ステップを実行させる、もの。
PCT/JP2021/043059 2021-11-24 2021-11-24 情報処理システム、情報処理方法及びプログラム WO2023095222A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/043059 WO2023095222A1 (ja) 2021-11-24 2021-11-24 情報処理システム、情報処理方法及びプログラム
TW110145821A TW202322073A (zh) 2021-11-24 2021-12-08 資訊處理系統、資訊處理方法以及電腦程式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/043059 WO2023095222A1 (ja) 2021-11-24 2021-11-24 情報処理システム、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2023095222A1 true WO2023095222A1 (ja) 2023-06-01

Family

ID=86539099

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/043059 WO2023095222A1 (ja) 2021-11-24 2021-11-24 情報処理システム、情報処理方法及びプログラム

Country Status (2)

Country Link
TW (1) TW202322073A (ja)
WO (1) WO2023095222A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007248750A (ja) * 2006-03-15 2007-09-27 Casio Comput Co Ltd 音声再生装置
JP2013037401A (ja) * 2011-08-03 2013-02-21 Shiseido Co Ltd カウンセリングシステム、カウンセリング装置、クライアント端末、及びカウンセリングプログラム
JP2018031810A (ja) * 2016-08-22 2018-03-01 株式会社ウィルプランニング 語学学習支援システム
JP2018124845A (ja) * 2017-02-02 2018-08-09 ランゲージ ディスカバリー エルティーディー 多言語交流システムおよびメッセージ送信方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007248750A (ja) * 2006-03-15 2007-09-27 Casio Comput Co Ltd 音声再生装置
JP2013037401A (ja) * 2011-08-03 2013-02-21 Shiseido Co Ltd カウンセリングシステム、カウンセリング装置、クライアント端末、及びカウンセリングプログラム
JP2018031810A (ja) * 2016-08-22 2018-03-01 株式会社ウィルプランニング 語学学習支援システム
JP2018124845A (ja) * 2017-02-02 2018-08-09 ランゲージ ディスカバリー エルティーディー 多言語交流システムおよびメッセージ送信方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Added the first neuroscientific language training (NLT) drill jointly developed with the University of Tokyo to "Gabby"", ASCII.JP XDIGITAL. KADOKAWA ASCII RESEARCH LABORATORIES, INC., 30 September 2020 (2020-09-30), XP093068528, Retrieved from the Internet <URL:https://ascii.jp/elem/000/004/028/4028587/> [retrieved on 20230728] *
SATO: "What is the Callan Method? English learning method for beginners to improve their speaking.", CANADA SCHOOL, pages 1 - 12, XP009546754, Retrieved from the Internet <URL:https://ipa-mania.com/callan-method/> *

Also Published As

Publication number Publication date
TW202322073A (zh) 2023-06-01

Similar Documents

Publication Publication Date Title
Rogerson-Revell Computer-assisted pronunciation training (CAPT): Current issues and future directions
Bibauw et al. Discussing with a computer to practice a foreign language: Research synthesis and conceptual framework of dialogue-based CALL
US11354508B2 (en) Written word refinement system and method for truthful transformation of spoken and written communications
Tsai Beyond self-directed computer-assisted pronunciation learning: A qualitative investigation of a collaborative approach
Engwall et al. Pronunciation feedback from real and virtual language teachers
US5885083A (en) System and method for multimodal interactive speech and language training
Jeon et al. Beyond ChatGPT: A conceptual framework and systematic review of speech-recognition chatbots for language learning
JP6750804B2 (ja) 教師ロボットによるロボット動作プログラミング学習システム
Meskill et al. Managing synchronous polyfocality in new media/new learning: Online language educators' instructional strategies
Koulouri et al. Do (and say) as I say: Linguistic adaptation in human–computer dialogs
CN106991094A (zh) 外语口语说话学习系统、方法及电脑程序
Busà Sounding natural: Improving oral presentation skills
Muljono et al. Developing BacaBicara: An Indonesian lipreading System as an independent communication learning for the deaf and hard-of-hearing
Wagner et al. An empirical evaluation of a vocal user interface for programming by voice
KR102532763B1 (ko) 브릭을 활용한 영어 학습 교재 및 영어 학습 방법
WO2023095222A1 (ja) 情報処理システム、情報処理方法及びプログラム
Istrate Artificial Intelligence and Machine Learning–Future Trends in Teaching ESL and ESP
US10311864B2 (en) Written word refinement system and method for truthful transformation of spoken and written communications
Mitra et al. Data Analysis and Machine Learning in AI-Assisted Special Education for Students With Exceptional Needs
JP2016224283A (ja) 外国語の会話訓練システム
TWI780673B (zh) 多模態語言學習平台及用於多模態語言學習之方法
Tafazoli Critical Appraisal of Artificial Intelligence-Mediated Communication
Beals Remediation and assistive technologies for communication deficits in autistic spectrum disorders
He et al. ImmerseMe
Watanabe et al. Investigating the Effect of Chinese Pronunciation Teaching Materials Using Speech Recognition and Synthesis Functions.

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21965595

Country of ref document: EP

Kind code of ref document: A1