WO2014200223A1 - 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 방법 및 그것을 위한 장치 - Google Patents

외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 방법 및 그것을 위한 장치 Download PDF

Info

Publication number
WO2014200223A1
WO2014200223A1 PCT/KR2014/004928 KR2014004928W WO2014200223A1 WO 2014200223 A1 WO2014200223 A1 WO 2014200223A1 KR 2014004928 W KR2014004928 W KR 2014004928W WO 2014200223 A1 WO2014200223 A1 WO 2014200223A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
foreign language
voice
learning
foreign
Prior art date
Application number
PCT/KR2014/004928
Other languages
English (en)
French (fr)
Inventor
이장호
Original Assignee
Lee Jang Ho
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lee Jang Ho filed Critical Lee Jang Ho
Publication of WO2014200223A1 publication Critical patent/WO2014200223A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Definitions

  • the present invention relates to a method and an interactive learning apparatus for a user to learn a foreign language interactively with a learning apparatus using a foreign language video content of a foreign movie subtitle or a foreign movie video file provided with subtitles of both a foreign language and a native language.
  • an audio processing unit for processing a voice input from a microphone and a voice of a speaker output from a speaker, a screen display unit for displaying a video scene when the foreign language video content is played and displaying the corresponding caption text, and a user function command database
  • the voice inputted in contrast to the If the user's voice input during the foreign language learning process is recognized as a user function command, the user's voice is executed as a function stored in the video content DB.
  • the user's voice is not the expression stored in the DB unit, the user is treated as saying the expression that is not in the DB unit.
  • the present invention relates to an interactive foreign language learning method using a foreign language video content and an apparatus therefor, which improves the conversational ability of the child and adds new expressions to the video content DB so that a variety of expressions can be gradually learned.
  • a movie played on a video player such as a PC, a notebook, a tablet PC, a smartphone, and the like is AVI (Audio Video), which is a representative video format supported by all video players including the media player included in Windows. Interleaved) and the standard organization for video and audio compression, MPEG, and ASF (Advanced Streaming Format), MPEG4 V7 codec used for internet broadcasting, video lectures, etc.
  • video files such as small WMVs.
  • a foreign language video file in which a foreign language voice is output such as a foreign movie, a drama, or a news file
  • subtitles in the corresponding foreign language such as well as translated local language subtitles.
  • These files contain information on when the display of the subtitles corresponding to the scene starts and when the display of the subtitles ends, along with the information on the subtitles of the foreign language and the native language. It can be used as a great foreign language learning material.
  • the inventor of the present invention discloses an invention relating to the "subtitle display and subtitle audio output method when playing a video file" that can learn a foreign language using the foreign language video content having a foreign language and a native language subtitle as described in Korean Patent Application No. 10-2012-0091110 ( The application was filed on Aug. 1, 2012).
  • the patent application does not allow for interactive foreign language learning because only foreign language learning with foreign language and national language subtitles has spoken language only.
  • the conventional interactive foreign language learning device has a disadvantage that it is difficult to continue the conversation naturally because the rate of recognizing the user's voice is low.
  • the reason for the low speech recognition rate as described above is that it requires too much contrast expression and speech data because it does not limit the content of the expression to be learned and the speech material to be contrasted with.
  • the foreign language subtitles or subtitles of both foreign languages and native languages are provided in a video player that can play video contents such as a digital information terminal such as a PC, a notebook computer, a tablet PC, a smart phone, etc.
  • a digital information terminal such as a PC, a notebook computer, a tablet PC, a smart phone, etc.
  • foreign language video content is provided in the form of a file or a DVD, and how can it be used as a basic material of an interactive learning apparatus. This is because the above foreign language video contents are delivered to the user unilaterally, and thus, the interactive learning method cannot be developed using a special method unless a special method is devised.
  • the existing speech recognition unit may not be able to communicate naturally because the speech recognition rate is too low, and the recognition rate may be increased if the expressions and voice data that are the targets are large, but this has a disadvantage in that it requires too much cost and equipment.
  • a new method has to be devised to limit the expressions and voice data to be prepared and to increase the voice recognition rate while enabling natural conversation.
  • the present invention solves the problems as described above, because the use of foreign language video content with an interesting story basically does not need to develop a separate content, not only to induce user's interest, but also routinely in the country using the foreign language It is an object of the present invention to provide an interactive foreign language learning method using a foreign language video content that can improve learning efficiency by learning in a natural, interactive manner, rather than a one-way injection, while learning the exact foreign language used.
  • the present invention uses the following means.
  • the user has built a user function command DB that instructs the learning device to perform a function of the learning device with its own voice, and records the function commands with its own voice.
  • the voice tells the user the foreign language voice in the video content itself, and in addition, it is not an expression in the video content, and the functional language expressions that the learning device should speak to the learner are prepared in advance as the learning device function word DB and use the TTS function. Can also be delivered to the learner by voice. It was to be complete by the interactive learning is the point.
  • a method comprising: a user function command DB having stored therein foreign language texts for user function command expressions input from a user, or texts of both foreign languages and native languages, and functions to be performed by the learning apparatus when the respective expressions are input; Providing a video content DB storing information on a screen of a scene corresponding to a foreign language voice in a foreign language video content, subtitles of foreign language or subtitles of both foreign languages and native languages, and time information on the start time and end time of appearance of the subtitles; Wow; The learning apparatus receives a user voice for each of the user function command expressions, stores the recorded file as the user's voice file for the corresponding text in the user function command DB, and stores the foreign language voice in the video content.
  • the present invention further includes a learning device function word DB stored in a foreign language text or a text of both a foreign language and a native language as a learning device function word expression delivered to the user by the learning device to interactively proceed with foreign language learning.
  • the learning device function word representation is set in advance, characterized in that it comprises a voice to the user using a text-to-speech (TTS) function.
  • TTS text-to-speech
  • the present invention also provides that the learning apparatus updates and stores the user's voice stored in the user function command DB and the user function command DB periodically or as a new user's voice according to the user's selection. It features.
  • the present invention also provides a basic learning expression DB in which a foreign language text or text of both a foreign language and a native language for basic learning expressions, and a foreign language voice corresponding to the foreign language text are stored, and the foreign language voice in the basic learning expression DB is provided.
  • the user inputs the voice of each sentence and stores the recorded file in the basic learning expression DB as a user's voice file corresponding to a foreign language voice and a foreign language subtitle corresponding to the corresponding expression, or both a foreign language and a native language subtitle.
  • the user's voice corresponds to a foreign language. Characterized in that it further comprises the step of processing.
  • the interactive foreign language learning apparatus using the foreign language video content the interactive foreign language learning apparatus that can learn a foreign language interactively by using foreign language subtitles or foreign language video content having subtitles of both foreign languages and native languages
  • the device When matching the content of the function the device should perform Information on the scene of the scene corresponding to the user function command DB, the foreign language voice in the video content, and both the foreign language subtitles or the foreign and national language subtitles, and time information on the start time and end time of the appearance of the subtitles.
  • a control unit that controls the input / output and the inside of the learning apparatus as a whole.
  • the control unit includes a user's voice stored in the DB unit. Perform a voice recognition function for recognizing which expression is stored in the DB unit in contrast to the voices of the user, the user's voice input to the learning device during the foreign language learning process is stored in the user function command DB If it is recognized as a function command, the command assigned to the command is executed.
  • the user's voice is recognized as a representation stored in the video content DB, the user is treated as saying the expression. If the input user's speech is not a representation stored in the DB unit, the representation is referred to as an expression that is not in the DB unit. Characterized in that.
  • the present invention also provides a learning device function word DB that stores a learning device function word expression delivered by the learning device to a user as a foreign language text or a text of both a foreign language and a native language, and when the expression stored in the learning device function word DB is previously set. Further comprising a TTS unit for performing a text-to-speech (TTS) function to deliver a voice, and when the learning device is set in advance the expression representation of the learning device function to the user by using the TTS function another feature It is done.
  • TTS text-to-speech
  • the present invention also provides a basic learning method for matching and storing foreign language texts for basic learning expressions, texts of both foreign languages and native languages, and foreign language voices corresponding to the foreign language texts and voice files recorded with the user's voices.
  • the DB further includes an expression DB, and the control unit compares the input user's voice with the voices of the user stored in the DB unit and recognizes which expression is stored in the DB unit. If the voice of the user input to the learning device is recognized as a user function command stored in the user function command DB in the process of learning a foreign language, the command assigned to the command is executed.
  • the user is treated as saying the expression, and If the user's voice is recognized as a representation stored in the basic learning expression DB, the user processes the spoken language as a foreign language. If the input user's speech is not a representation stored in the DB unit, the DB unit Another feature is that it treats expressions that aren't in words.
  • An interactive foreign language learning method using foreign language subtitles or foreign language video contents having subtitles of both foreign languages and native languages, and an interactive learning apparatus therefor are provided by the user's voice.
  • the foreign language learning device user can listen to and speak in a conversational form, thereby improving the user's conversational ability and adding new expressions to the video content DB according to the improvement of the ability.
  • the present invention is to build a function command DB stored by matching the user function commands recorded by the user's foreign language or national language voice with the corresponding functions, and the user to the command phrase of the corresponding function during the foreign language learning process of the user
  • Speaking about the user's voice can greatly increase the speech recognition rate of the function command by considering the corresponding function as being commanded in comparison with the user function commands stored in the function command DB. There is an effect that can smoothly perform the function of the interactive learning apparatus.
  • the present invention is that the video content DB that the user reads the foreign language along with the recorded foreign language voice recorded in accordance with the corresponding scene is always up-to-date in the process of foreign language learning of the user or by the user's selection
  • the video content DB that the user reads the foreign language along with the recorded foreign language voice recorded in accordance with the corresponding scene is always up-to-date in the process of foreign language learning of the user or by the user's selection
  • the present invention further comprises a basic learning expression DB for storing the foreign language text or the text of both the foreign language and the native language for the basic learning expressions, and the foreign language speech material corresponding to the foreign language text, thereby using the basic learning expression DB.
  • the user can further learn basic learning expressions in parallel with the foreign language expressed in the video content.
  • FIG. 1 is an overall block diagram of an interactive foreign language learning apparatus according to the present invention.
  • FIG. 2 is a flowchart illustrating a process of constructing a DB unit in the present invention.
  • FIG. 3 is a diagram illustrating a process of processing according to a user's voice input in the present invention
  • FIG. 4 is a flowchart of a process associated with a user function command DB according to the present invention.
  • FIG. 5 is a flowchart of a process associated with a video content DB according to the present invention.
  • the interactive foreign language learning apparatus is a foreign movie with a subtitle of a foreign language or a subtitle of both a foreign language and a native language in a video player capable of playing a video such as a digital information terminal such as a PC, a notebook, a tablet PC, a smartphone, or the like.
  • the present invention relates to an interactive foreign language learning apparatus in which a user interactively learns a foreign language using a foreign language video content such as a video file.
  • the microphone 11 to which an external voice is input as shown in FIG.
  • a display unit 20 a DB unit 40 for storing data related to a function instruction and a video content of a learning apparatus, and an external input signal A is composed of a receiving input unit 50, a memory unit 60 configured by an internal memory such as an external memory such as a flash memory such as a USB, the control section 30, etc. for controlling the all of the configuration and the like.
  • the DB unit 40 has a user function command DB 41 for storing the user function command recorded in a foreign language or a native language voice of the user in correspondence with the corresponding functions, and the user reads and records the foreign language according to the foreign language. It consists of a video content DB (42) for storing the user's foreign language voice matching with the scene, and then updating and storing the user's foreign language voice according to the user's selection during the foreign language learning process of the user.
  • the interactive foreign language learning apparatus recognizes a voice when a user function command recorded in a foreign language or a native language voice and the user foreign language voice stored in the video content DB 42 are output.
  • a TTS (Text to Speech) unit 80 which reads the expression stored in the form of foreign subtitles or subtitle text of both foreign languages and native languages, can be read by human-recognized voice. Can be.
  • the voice recognition unit 70 and the TTS unit 80 may be made of hardware, but may be performed by software.
  • the interactive foreign language learning apparatus compares the user function commands stored in the user function command DB (41) with the user's voice when the user speaks with respect to the phrase of the corresponding function during the foreign language learning process of the user. It considers the corresponding function as commanded and performs the function to enable interactive foreign language learning.
  • the foreign language or national language expressions of the user function command expressions and the respective expressions of the user function command expressions instructing the user to perform the functions provided by the learning device for the interactive foreign language learning process must be performed.
  • a user function command DB 41 for matching and storing the contents of the function to be performed step S11
  • receiving a user voice for each of the user function command expressions, recording it step S12
  • corresponding text and its contents step S11
  • the learning apparatus matches the functions to be performed and stores them in the user function command DB 41 (step S13) to build the DB unit 40 (step S30).
  • a video for storing the foreign language voice in the foreign language video content by matching the information on the screen of the scene corresponding to the foreign language subtitles or both the foreign language and the national language subtitles with time information on the start time and end time of the appearance of the subtitles.
  • a content DB 42 (step S21), the learning apparatus receives a foreign language voice in the video content as a user's voice for each subtitle unit, and records it (step S22), and foreign language voice and screen information of the scene; And matching with both the foreign language subtitles or the foreign language and the native language subtitles to be stored in the video content DB 42 to construct the DB unit 40 (step S30).
  • step S41 When the user's voice is input to the learning device (step S41), the controller 30 of the learning device uses the voice recognition function of the voice recognition function unit 70 to input the user's voice into the DB unit 40. Contrast with the voices of the user stored in step (S42).
  • step S43 if the voice of the input user is recognized as the user voice stored in the user function command DB 41 (step S43), the function command assigned to the user voice is performed (step S44).
  • step S45 When the voice of the user is recognized as the user voice stored in the video content DB 42 (step S45), the voice of the foreign language corresponding to the voice is recognized (step S46), and the input voice is input to the user function command DB 41. If it is recognized that neither the stored user voice nor the user voice stored in the video content DB 42, that is, the user voice stored in the DB unit 40 (step S47), the DB unit 40 The expression that does not exist is treated as said (step S48).
  • the contents can be configured in various ways such as showing a subtitle of the native language on the screen or asking whether the native language text is to be read by the TTS function.
  • the user function command DB is to input, record and store a user function command in a foreign language or a native language as a user's voice in order to increase the speech recognition rate in the voice recognition unit 70.
  • the user receives a foreign language or a native language voice of the user through a microphone with respect to a command phrase in a word or sentence for each function to be performed in order to proceed with foreign language learning and records it as a user function command (step S51).
  • a foreign language or a native language voice may be used depending on the foreign language ability of the user. However, it is preferable to use a foreign language voice rather than the native language voice for foreign language learning.
  • the user function command in text is recorded by the user's voice.
  • the user function command can be spoken to the user by using the TTS function of the TTS unit 80, and the user can be recorded accordingly.
  • the user function command word is repeatedly matched with the corresponding functions and stored in the user function command DB 41 to construct a user function command DB. (Step S52).
  • the function of the interactive foreign language learning apparatus is controlled using the user function command stored in the user function command DB 41 (step S53).
  • the user inputs a new function command through a microphone for the function command and records the updated user function command (S54). ), And changes the existing function command (voice input of a word or sentence) previously recorded (step S55) and stores it in the user function command DB 41.
  • the user can change the function command according to the user's foreign language ability, thereby improving the user's conversational ability and adding new expressions to the function command expression DB as the ability is improved. Will be.
  • the voice recognition unit 70 recognizes the voice and stores the user function command words stored in the user function command DB 41. It is possible to perform the corresponding function in consideration of the corresponding function in preparation for, in this case, because the target for the voice recognition of the voice recognition unit 70 is limited to the voice data recorded by the user's voice Speech recognition rate is greatly improved.
  • the user function command may be matched to a corresponding function in singular or plural number so that various expressions correspond to one function so that the user can use a plurality of function commands to express various expressions for one function. In this way, speaking the functional commands in various ways and listening to the functional language expressions spoken by the learning device can achieve the learning effect of foreign language conversation.
  • the foreign language subtitle or native language subtitle is displayed on the screen display. It is displayed along with the video screen (step S61), and the user views the foreign language subtitles or the native language subtitles of the specific scene with the foreign language voice and inputs and records the foreign language voice of the user through the microphone 11 (step S62).
  • the learning apparatus may record the foreign language voice recorded by the user's voice and listen to the foreign language voice stored in the video content DB, and speak accordingly.
  • Step S63 When the user's foreign language voice for the foreign language voice of the specific scene is recorded as the user's foreign language voice, the user's foreign language voice is matched with the specific scene and stored in the video content DB 42, and the video content DB 42 is repeated. (Step S63).
  • the video content DB 42 is constructed primarily, when the interactive learning function is performed, when the foreign language video content including the foreign language text or the text of both the foreign language and the native language is played, the user outputs a foreign language voice. In this case, the user may hear a foreign language voice of the corresponding user already stored in the video content DB 42. In this way, the foreign language voice recorded by the user and the current foreign language voice can be prepared so that the user can feel the progress of his / her own learning, and thus can significantly help foreign language learning.
  • the foreign language voice of the current user is compared with the foreign language voice of the user previously recorded. If good, the user records the foreign language voice of the current user as the foreign language voice of the current user (step S64), and changes the foreign language voice of the existing user previously recorded by the user to the foreign language voice of the current user (step S65). Stored in the DB 42.
  • the video content DB 42 may change (update) the foreign language voice of the current user to a foreign language voice of an existing user, but may be periodically selected as the learning progresses.
  • a method of matching a foreign language voice of a user corresponding to a specific scene to the video content DB 42 may include a presentation time of subtitle text set in a foreign language video content including a foreign movie subtitle or a foreign movie video file including subtitles of both a foreign language and a native language.
  • the user inputs the voice of the user corresponding to the foreign language voice using the following function, which reads and records the foreign language as the user's voice for each scene where the foreign language voice is output based on the information, and records the same. ).
  • the learning device and the user can talk to each other alternately (crossing method), and the learning device first speaks singular or plural expressions, and the user follows it (following method).
  • the learning apparatus and the user may decide in advance the expressions in the foreign language video content, and determine a singular or plural learning pattern such as a method of conducting a conversation according to the defined role (role play method), and learn according to this pattern. Proceed.
  • the present invention may further use a learning device function word DB 43 for storing a learning device function word expression that the learning device needs to deliver to a user for interactive foreign language learning progress as a foreign language text or a text of both a foreign language and a native language.
  • a learning device function word DB 43 for storing a learning device function word expression that the learning device needs to deliver to a user for interactive foreign language learning progress as a foreign language text or a text of both a foreign language and a native language.
  • the learning device function word DB 43 is a database in which the learning device stores representations other than the representations in the video content DB in order for the learning to proceed in a fully interactive manner. These are expressions that the learning device delivers to the user for the purpose of natural interactive learning as opposed to the user function command expressions seen above.
  • the learning device function word DB 43 basically stores a function word representation composed of a foreign language subtitle or subtitle text of both a foreign language and a native language, and the learning device uses the TTS function of the TTS unit 80.
  • the expressions stored in 43 are spoken to the user in a foreign language or a native language voice according to the contents set in the learning apparatus. In order to enhance the foreign language learning effect, it is preferable to speak a foreign language voice, but a native language voice may be used for beginners.
  • the control unit of the learning device may simply answer before performing the commanded function or retell the content of the command being executed, and the learner may express an expression that is not in the user function command DB 41 or the video content DB 42. If it is recognized that such an expression is not in the DB unit 40, it is requested to say it again, or the user is asked whether he wants a hint, and the content of the hint also shows a national subtitle on the screen or reads a foreign language text or a national language text with the TTS function. Various configurations, such as asking whether you want to hear the content Can.
  • Examples of what may be included in the content of the learning device function word expression stored in the learning device function word DB 43 are as follows.
  • the learning device function word expressions can be matched with a singular or plural case in such a way that various expressions can be corresponded to one situation so that the user can hear various expressions for one situation. Listening to the language itself can produce the learning effect of foreign language conversation.
  • the interactive foreign language learning apparatus further includes a basic learning expression DB 44 for storing foreign language text or texts of both foreign languages and native languages for basic learning expressions to be provided, and foreign language speech material corresponding to the foreign language text. And the basic learning expression DB 44 to allow the user to learn basic learning expressions.
  • video information corresponding to the expression may be included together or only voice and text may be displayed without the video information.
  • the contents of the foreign language video content and the contents of the basic learning expressions may be crossed or mixed with each other.
  • a foreign language subtitle or a foreign movie movie file including a subtitle of both a foreign language and a native language is provided in a video player capable of playing video content such as a digital information terminal such as a PC, a notebook computer, a tablet PC, a smartphone, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명은 마이크로부터 입력되는 음성입력과 스피커로부터 출력되는 스피커의 음성을 처리하는 오디오처리부와, 상기 외국어 동영상 컨텐츠 재생시 동영상 장면을 표시하고 해당 자막 텍스트를 표시하는 화면 표시부와, 사용자 기능명령어 데이터베이스(DB)와 동영상 컨텐츠 DB등으로 구성된 DB부 등을 구비한 대화형 학습장치를 이용하여, 사용자가 학습장치와 대화형식으로 듣고 말하면서 사용자의 대화능력을 향상시키고 능력 향상에 따라 새로운 표현들을 동영상 컨텐츠 DB에 추가하여 점차 다양한 표현을 학습할 수 있도록 하는 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 방법 및 그것을 위한 장치에 관한 것이다.

Description

외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 방법 및 그것을 위한 장치
본 발명은 외국어 자막 또는 외국어와 자국어 모두의 자막이 구비된 외국 영화 동영상 파일로 된 외국어 동영상 컨텐츠를 이용하여 사용자가 학습장치와 대화형으로 외국어를 학습하는 방법 및 대화형 학습장치에 관한 것으로서, 더욱 상세하게는 마이크로부터 입력되는 음성입력과 스피커로부터 출력되는 스피커의 음성을 처리하는 오디오처리부와, 상기 외국어 동영상 컨텐츠 재생시 동영상 장면을 표시하고 해당 자막 텍스트를 표시하는 화면 표시부와, 사용자 기능명령어 데이터베이스(Database, 이하 ‘DB'라 함)와 동영상 컨텐츠 DB등으로 구성된 DB부 등을 구비한 대화형 학습장치를 이용하여, 입력되는 사용자의 음성을 상기 사용자 기능명령어 DB와 동영상 컨텐츠 DB내에 저장된 사용자의 음성들과 대비하여 입력된 음성이 위 DB부에 저장된 어느 표현에 해당하는지를 인식하는 음성인식기능과, 외국어 학습 진행과정에서 입력되는 사용자의 음성이 사용자 기능 명령어로 인식되면 그 명령에 할당된 명령을 수행하고 입력되는 사용자의 음성이 동영상 컨텐츠 DB에 저장된 표현으로 인식되면 사용자가 해당 표현을 말한 것으로 처리하며, 사용자의 음성이 상기 DB부에 저장된 표현이 아닌 경우는 사용자가 DB부에 없는 표현을 말한 것으로 처리하도록 함으로써, 사용자가 학습장치와 대화형식으로 듣고 말하면서 사용자의 대화능력을 향상시키고 능력 향상에 따라 새로운 표현들을 동영상 컨텐츠 DB에 추가하여 점차 다양한 표현을 학습할 수 있도록 하는 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 방법 및 그것을 위한 장치에 관한 것이다.
일반적으로 PC, 노트북, 타블렛 PC, 스마트폰 등의 동영상이 재생되는 동영상 재생장치에서 재생되는 영화 등은 윈도우에 포함되는 미디어 플레이어를 비롯하여 모든 동영상 플레이어에서 기본적으로 지원되는 대표적인 동영상 포맷인 AVI(Audio Video Interleaved)와 영상과 오디오 압축에 관한 표준기구에서 제정한 형식으로 MPEG, 그리고, 인터넷방송, 동영상 강좌 등에 사용되는 ASF(Advanced Streaming Format), MPEG4 V7 코덱을 사용하여 mp3와 비슷한 음질에도 불구하고 용량이 작은 WMV 등의 다양한 형태의 동영상 파일이 있다. 이러한 동영상 파일에서 외국 영화, 드라마, 뉴스 등과 같이 외국어 음성이 출력되는 외국어 동영상 파일인 경우 그 해당 외국어로 된 자막은 물론이고 번역된 자국어 자막도 함께 제공되는 것들이 있다. 이러한 파일에는 해당 장면에 맞는 자막의 표시가 시작되는 시점과 자막의 표시가 종료되는 시점에 관한 정보가 외국어와 자국어의 자막 내용에 대한 정보와 함께 들어 있어서 이들 정보들을 화면을 구성하는 시청각 정보와 함께 활용하는 경우 매우 훌륭한 외국어 학습 자료로 활용할 수 있다.
본 발명인은 위와 같은 외국어 및 자국어 자막을 구비한 외국어 동영상 컨텐츠를 이용하여 외국어 학습을 할 수 있는 “동영상 파일 재생시 자막 표시 및 자막 음성 출력 방법”에 관한 발명을 특허출원 10-2012-0091110호(2012. 8.21. 출원)로 출원한 바 있다.
상기 특허출원은 외국어 및 자국어 자막을 구비한 외국어 동영상 컨텐츠에 있는 음성 표현만을 가지고 외국어 학습을 하기 때문에 대화형 외국어 학습을 할 수 없었다.
한편, 종래의 대화형 외국어 학습장치들은 사용자의 음성을 인식하는 비율이 낮아 자연스럽게 대화를 이어나가기 어려운 단점이 있었다. 상기와 같이 음성 인식률이 낮은 이유는 학습 대상이 되는 표현의 내용과 대비 대상이 되는 음성자료를 제한하지 않아 너무 많은 대비 대상 표현과 음성자료를 요구하였기 때문이다.
현재 음성인식 기능과 TTS (텍스트 음성 변환) 기능을 이용하여 외국어 학습을 할 수 있도록 하는 시도들이 제시되고 있으나 이 또한 그 인식 대상을 한정하지 않아서 인식률이 너무 떨어져서 제대로 대화를 이어나갈 수 없는 단점이 있다.
상기와 같은 종래기술의 문제점 등을 해소하여 PC, 노트북, 타블렛 PC, 스마트폰, 등의 디지털 정보단말기와 같이 동영상 컨텐츠를 재생할 수 있는 동영상 재생장치에서 외국어 자막 또는 외국어와 자국어 모두의 자막이 구비된 외국 영화 동영상 파일로 된 외국어 동영상 컨텐츠를 이용하여 사용자가 학습장치와 대화형으로 원활하게 외국어 학습을 진행시킬 수 있도록 하기 위하여서는 다음과 같은 과제들이 해결되어야 한다.
첫째로는 외국어 동영상 컨텐츠는 파일 또는 DVD 등의 형태로 제공되는데 이를 어떻게 대화형 학습장치의 기본 소재로 삼을 수 있는가 하는 것이다. 위 외국어 동영상 컨텐츠는 재생장치가 사용자에게 일방적으로 정해진 내용을 전달하는 것이기 때문에 특별한 방법을 강구하지 않으면 이를 이용하여 대화형의 학습방법을 개발할 수 없기 때문이다.
다음으로는 학습장치와 사용자가 완전한 대화형의 학습을 하기 위하여서는 동영상 컨텐츠 내에 있는 표현들만으로는 사용자가 학습장치와 서로 대화를 나누면서 외국어 학습을 하기 어려우므로 학습장치와 사용자 사이에 기본적인 의사소통 방법이 강구되어야 한다.
또한 기존의 음성인식부들은 음성인식률이 너무 저조하여 자연스러운 대화가 불가능하고 대비대상이 되는 표현들과 음성자료들를 방대하게 하는 경우 인식률이 높아질 수 있으나 이는 너무 많은 비용과 장치가 소요되는 단점이 있었기 때문에 이러한 문제점을 해결하기 위하여서는 대비대상이 되는 표현들과 음성자료들을 제한하여 음성인식률을 획기적으로 높이면서도 자연스러운 대화가 가능하도록 하기 위한 새로운 방법을 안출하지 않으면 안되었다.
본 발명은 상기와 같은 과제들을 해결하여, 기본적으로 재미있는 스토리가 있는 외국어 동영상 컨텐츠를 사용하기 때문에 별도의 컨텐츠를 따로 개발할 필요도 없고 사용자의 흥미를 유발할 뿐만 아니라, 해당 외국어를 사용하는 나라에서 일상적으로 사용되는 정확한 외국어를 대상으로 학습을 하면서도 일방 주입식이 아닌 자연스러운 대화형으로 학습을 진행함으로써 학습효율을 높일 수 있는 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 방법 및 그것을 위한 장치를 제공하는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위하여 본 발명은 다음과 같은 수단을 사용하였다.
첫째는 종래 기술의 가장 큰 문제점인 음성인식률의 저하를 막기 위하여 학습장치에 입력되는 사용자의 음성과 대비대상이 되는 표현과 음성자료 자체를 대폭 제한하여 음성인식률을 획기적으로 높이는 수단을 사용하였다. 즉 대비대상이 되는 음성정보를 사용자가 학습장치에게 명령하는 표현을 담는 사용자 기능 명령어 DB내의 표현과 동영상 컨텐츠 내의 외국어의 각 표현에 대하여 미리 사용자의 음성을 입력받아 이를 녹음하여 동영상 컨텐츠 DB에 저장하여 두고 이들 음성자료들만을 대비대상으로 하였다. 이렇게 함으로써 대비대상이 되는 표현자체가 매우 제한되게 되었고, 음성정보 또한 사용자가 자신의 음성으로 녹음하여 둔 것과 대비를 하기 때문에 입력된 음성정보와 유사한 음성정보를 찾는 것이 훨씬 용이하게 되었다.
둘째는, 대화형 학습이 가능하도록 하기 위하여, 사용자는 학습장치에게 자신의 음성으로 학습장치가 가지는 기능을 수행할 것을 명령하는 사용자 기능명령어 DB를 구축하여 두고 그 기능명령어들을 자신의 음성으로 녹음하여 저장한 후 실제 상황에서 음성으로 사용자 기능 명령어를 학습장치에게 말하면 학습장치가 DB에 저장된 음성자료와 대비하여 사용자의 명령을 이해하고 그 기능을 수행할 수 있도록 하고, 학습장치는 동영상 컨텐츠 내에 있는 외국어 음성은 동영상 컨텐츠 자체 내에 있는 외국어 음성을 사용자에게 들려주고, 여기에 더하여 동영상 컨텐츠 내의 표현이 아닌 것으로서 학습장치가 학습자에게 말하여야 하는 기능어 표현들은 이를 미리 학습장치 기능어 DB로 준비하고 이를 TTS 기능을 사용하여 음성으로 학습자에게 전달할 수도 있게 함으로써 완전한 대화형 학습이 가능하도록 하였다는 점이다.
위와 같은 기본적인 과제해결수단을 사용하는 본 발명에 따른 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 방법은, 외국어 자막 또는 외국어 및 자국어 모두의 자막을 구비한 외국어 동영상 컨텐츠를 이용하여 대화형으로 외국어를 학습시키는 방법에 있어서, 사용자로부터 입력되는 사용자 기능 명령어 표현들에 대한 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트들과 그 각 표현들이 입력되는 경우 학습장치가 수행할 기능이 저장된 사용자 기능명령어 DB를 구비하고, 상기 외국어 동영상 컨텐츠에 있는 외국어 음성을 그에 대응되는 장면의 화면에 관한 정보 및 외국어 자막 또는 외국어 및 자국어 모두의 자막과 그 자막의 출현 시작 시간과 종료 시점에 관한 시간정보가 저장된 동영상 컨텐츠 DB를 구비하는 단계와; 상기 학습장치가, 상기 사용자 기능 명령어 표현들 각각에 대하여 사용자 음성을 입력받아 이를 녹음한 파일을 해당 텍스트에 대한 사용자의 음성파일로 상기 사용자 기능명령어 DB에 저장하고, 상기 동영상 컨텐츠에 있는 외국어 음성을 자막 단위별로 사용자의 음성으로 입력받아 이를 녹음한 파일을 해당 장면의 외국어 음성과 화면 정보 및 그에 대응되는 외국어 자막 또는 외국어 및 자국어 자막 모두와 대응되는 사용자의 음성파일로 상기 동영상 컨텐츠 DB에 저장하는 단계와; 상기 학습장치에 입력되는 사용자의 음성을 음성인식기능에 의하여 상기 DB부에 저장된 사용자의 음성들과 대비하고. 대비 결과, 입력된 음성이 상기 사용자 기능 명령어 DB에 저장된 사용자 음성으로 인식되면 그 사용자 음성에 할당된 기능명령을 수행하고, 상기 입력된 음성이 상기 동영상 컨텐츠 DB에 저장된 사용자 음성으로 인식되면 그에 대응되는 외국어 음성을 말한 것으로 처리하며, 상기 입력된 음성이 상기 DB부에 저장된 사용자 음성으로 인식되지 않는 경우에는 DB부에 없는 표현을 말한 것으로 처리하는 단계;를 포함하는 것을 특징으로 한다.
또한, 본 발명은 대화형으로 외국어 학습을 진행시키기 위해 상기 학습장치가 사용자에게 전달하는 학습장치 기능어 표현을 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트로 저장된 학습장치 기능어 DB를 더 구비하고, 상기 학습장치가 상기 학습장치 기능어 표현을 미리 설정된 경우에 사용자에게 텍스트음성변환(TTS)기능을 사용하여 음성으로 전달하는 것을 포함하는 것을 특징으로 한다.
또한, 본 발명은 상기 학습장치가 상기 사용자 기능명령어 DB 및 상기 사용자 기능명령어 DB에 저장된 사용자의 음성에 대하여 학습의 진행에 따라 주기적으로 또는 사용자의 선택에 의하여 새로운 사용자의 음성으로 갱신하여 저장시키는 것을 특징으로 한다.
또한, 본 발명은 기본학습 표현들에 대한 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트와, 그 외국어 텍스트에 대응되는 외국어 음성이 저장된 기본학습표현 DB를 구비하고, 상기 기본학습표현 DB에 있는 외국어 음성을 그 문장별로 사용자의 음성으로 입력받아 이를 녹음한 파일을 해당 표현에 대응되는 외국어 음성과 외국어 자막 또는 외국어 및 자국어 자막 모두와 대응되는 사용자의 음성파일로 상기 기본학습표현 DB에 저장하며, 상기 학습장치에 입력되는 사용자의 음성을 음성인식기능에 의하여 상기 기본학습표현 DB에 저장된 사용자의 음성들과 대비하여 입력된 음성이 상기 기본학습표현 DB에 저장되어 있는 음성으로 인식되면 사용자가 그에 대응되는 외국어 음성을 말한 것으로 처리하는 단계를 더 포함하는 것을 특징으로 한다.
한편, 본 발명에 따른 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 장치는, 외국어 자막 또는 외국어 및 자국어 모두의 자막을 구비한 외국어 동영상 컨텐츠를 이용하여 대화형으로 외국어를 학습할 수 있는 대화형 외국어 학습장치에 있어서, 마이크로부터 입력되는 음성입력과 스피커로부터 출력되는 스피커의 음성을 처리하는 오디오처리부와, 상기 외국어 동영상 컨텐츠 재생시 동영상 장면을 표시하고 해당 자막 텍스트를 표시하는 화면 표시부와, 대화형 외국어 학습 진행을 위해 학습장치가 구비한 기능들을 수행할 것을 사용자가 명령하는 사용자 기능 명령어 표현들에 대한 외국어 또는 자국어 표현들과 그 표현들을 사용자의 음성으로 녹음한 음성파일 및 그 각 표현이 입력된 경우에 학습장치가 수행하여야 하는 기능의 내용을 매칭시켜 저장한 사용자 기능명령어 DB와, 동영상 컨텐츠에 있는 외국어 음성을 그에 대응되는 장면의 화면에 관한 정보 및 외국어 자막 또는 외국어 및 자국어 자막 모두와 그 자막의 출현 시작 시간과 종료 시점에 관한 시간정보와 각 매칭시켜 저장한 동영상 컨텐츠 DB를 포함하여 구성하는 DB부와, 상기 학습장치의 입출력 및 내부를 전체적으로 제어하는 제어부를 포함하여 구성하고, 상기 제어부는, 입력되는 사용자의 음성을 상기 DB부에 저장된 사용자의 음성들과 대비하여 입력된 음성이 상기 DB부에 저장된 어느 표현에 해당하는지를 인식하는 음성인식기능을 수행하고, 외국어 학습 진행과정에서 학습장치에 입력되는 사용자의 음성이 사용자 기능명령어 DB에 저장된 사용자 기능 명령어로 인식되면 그 명령에 할당된 명령을 수행하며, 상기 입력되는 사용자의 음성이 동영상 컨텐츠 DB에 저장된 표현으로 인식되면 사용자가 해당 표현을 말한 것으로 처리하며, 상기 입력되는 사용자의 음성이 상기 DB부에 저장된 표현이 아닌 경우에는 상기 DB부에 없는 표현을 말한 것으로 처리하는 것을 특징으로 한다.
또한, 본 발명은 학습장치가 사용자에게 전달하는 학습장치 기능어 표현을 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트로 저장한 학습장치 기능어 DB와, 상기 학습장치 기능어 DB에 저장된 표현을 미리 설정된 경우에 사용자에게 음성으로 전달하는 텍스트음성변환(TTS)기능을 수행하는 TTS부를 더 구비하고, 상기 학습장치가 상기 학습장치 기능어 표현을 미리 설정된 경우에 사용자에게 상기 TTS 기능을 사용하여 음성으로 전달하는 것을 또 다른 특징으로 한다.
또한, 본 발명은 기본학습 표현들에 대한 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트와, 그 외국어 텍스트에 대응되는 외국어 음성 및 그 표현들을 사용자의 음성으로 녹음한 음성파일을 서로 매칭시켜 저장하는 기본학습표현 DB를 상기 DB부에 더 구비하고, 상기 제어부는, 입력되는 사용자의 음성을 상기 DB부에 저장된 사용자의 음성들과 대비하여 입력된 음성이 상기 DB부에 저장된 어느 표현에 해당하는지를 인식하는 음성인식기능을 수행하고, 외국어 학습 진행과정에서 학습장치에 입력되는 사용자의 음성이 사용자 기능명령어 DB에 저장된 사용자 기능 명령어로 인식되면 그 명령에 할당된 명령을 수행하며, 상기 입력되는 사용자의 음성이 동영상 컨텐츠 DB에 저장된 표현으로 인식되면 사용자가 해당 표현을 말한 것으로 처리하며, 상기 입력되는 사용자의 음성이 상기 기본학습표현 DB에 저장된 표현으로 인식되면 사용자가 그에 대응되는 외국어 음성을 말한 것으로 처리하며, 상기 입력되는 사용자의 음성이 상기 DB부에 저장된 표현이 아닌 경우에는 상기 DB부에 없는 표현을 말한 것으로 처리하는 것을 또 다른 특징으로 한다.
본 발명에 따른 외국어 자막 또는 외국어 및 자국어 모두의 자막을 구비한 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습방법 및 그것을 위한 대화형 학습장치는 사용자의 음성으로 입력된 기능명령어에 의하여 상기 외국어 학습장치의 기능을 실행할 수 있고, 상기 외국어 학습장치 사용자가 대화형식으로 듣고 말하면서 사용자의 대화능력을 향상시키고 능력 향상에 따라 새로운 표현들을 동영상 컨텐츠 DB에 추가하여 점차 다양한 표현을 학습할 수 있는 효과가 있다.
또한, 본 발명은 상기 사용자의 외국어 또는 자국어 음성으로 녹음한 사용자 기능명령어를 해당 기능들과 매칭시켜 저장한 기능명령어 DB를 구축하고, 사용자의 외국어 학습 진행과정에서 상기 사용자가 해당 기능의 명령 문구에 대하여 음성으로 말하면 기능명령어 DB에 저장되어 있는 사용자 기능명령어들과 대비하여 대응되는 기능을 명령한 것으로 간주하여 해당 기능이 수행되도록 함으로써, 기능명령어에 대한 음성 인식률을 획기적으로 높일 수 있어 사용자의 음성으로 대화형 학습장치의 기능을 원활히 수행할 수 있는 효과가 있다.
이와 같이 사용자 기능명령어를 사용자의 음성으로 녹음하고 녹음된 기능명령어를 실제로 사용하는 과정에서도 외국어 학습효과를 높일 수 있고 같은 기능을 수행하는 다양한 기능명령어를 저장하여 두고 그 중 어느 하나를 말하더라도 같은 기능을 수행하게 함으로써 보다 많은 표현들을 익힐 수 있는 효과가 있다.
또한, 본 발명은 상기 사용자가 해당 외국어를 따라 읽고 이를 녹음한 사용자 외국어 음성을 상기 해당 장면과 매칭시켜 저장하는 동영상 컨텐츠 DB가 상기 사용자의 외국어 학습 진행과정에서 항상 최신의 것으로 또는 사용자의 선택에 의하여 상기 사용자가 녹음한 외국어 음성으로 갱신하여 저장할 수 있게 함으로써, 사용자가 학습을 원하는 내용을 자연스럽게 대화형으로 학습하면서 학습이 진행됨에 따라 점차 표현의 내용을 다양화할 수 있는 효과가 있다.
또한, 본 발명은 기본학습 표현들에 대한 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트와, 그 외국어 텍스트에 대응되는 외국어 음성자료를 저장하는 기본 학습표현 DB를 더 구비함으로써, 상기 기본 학습표현 DB를 사용하여 상기 사용자가 상기 동영상 컨텐츠에서 표현되는 외국어에 병행하여 기본학습 표현들을 더 학습할 수 있는 효과가 있다.
도 1은 본 발명에 따른 대화형 외국어 학습장치의 전체 블럭도
도 2는 본 발명에서 DB부를 구축하는 과정을 도시한 흐름도
도 3은 본 발명에서 입력된 사용자의 음성에 따라 처리하는 과정을 도시한 도면
도 4는 본 발명에 따른 사용자 기능명령어 DB와 관련된 과정의 흐름도
도 5는 본 발명에 동영상 컨텐츠 DB와 관련된 과정의 흐름도
이하, 본 발명에 따른 외국어 또는 외국어 및 자국어 모두의 자막을 구비한 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습방법 및 그것을 위한 대화형 외국어 학습장치에 대하여 도면을 참고로 설명하면 다음과 같다.
본 발명에 따른 대화형 외국어 학습장치는 PC, 노트북, 타블렛 PC, 스마트폰, 등의 디지털 정보단말기와 같이 동영상을 재생할 수 있는 동영상 재생장치에서 외국어 자막 또는 외국어와 자국어 모두의 자막이 구비된 외국 영화 등의 동영상 파일로 된 외국어 동영상 컨텐츠를 이용하여 사용자가 대화형으로 외국어를 학습하는 대화형 외국어 학습장치에 관한 것으로서, 도 1에 도시된 바와 같이 외부 음성이 입력되는 마이크(11)와 음성이 외부로 출력되는 스피커(12)와 상기 마이크(11)와 스피커(12)로부터 입출력되는 음성을 처리하는 오디오처리부(10)와, 상기 외국어 동영상 컨텐츠 재생시 동영상 장면을 표시하고 해당 자막 텍스트를 표시하는 화면 표시부(20)와, 학습장치의 기능명령어 및 동영상 컨텐츠와 관련된 데이터를 저장하는 DB부(40)와, 외부 입력신호를 입력받는 입력부(50)와, USB와 같은 외부메모리와 플래시메모리 등으로 된 내부메모리 등으로 구성된 메모리부(60)와, 상기 모든 구성 등을 제어하는 제어부(30) 등으로 구성되어 있다.
상기 DB부(40)는, 상기 사용자의 외국어 또는 자국어 음성으로 녹음한 사용자 기능명령어를 해당 기능들과 매칭시켜 저장한 사용자 기능명령어 DB(41)와, 상기 사용자가 해당 외국어를 따라 읽고 이를 녹음한 사용자 외국어 음성을 상기 해당 장면과 매칭시켜 저장하고 그 후에도 상기 사용자의 외국어 학습 진행과정에서 사용자의 선택에 의하여 상기 사용자 외국어 음성을 갱신하여 저장하는 동영상 컨텐츠 DB(42) 등으로 구성되어 있다.
또한, 상기 대화형 외국어 학습장치는 사용자가 외국어 또는 자국어 음성으로 녹음된 사용자 기능명령어와 상기 동영상 컨텐츠 DB(42)에 저장된 상기 사용자 외국어 음성 등이 출력될 때 그 음성을 인식하는 음성인식부(70)를 포함하고, 여기에 더하여 외국어 자막 또는 외국어 및 자국어 모두의 자막 텍스트 형태로 저장된 표현을 사람이 인식할 수 있는 음성으로 읽어 들려주는 티티에스(TTS, Text to Speech)부(80) 등이 포함될 수 있다. 상기 음성인식부(70) 및 TTS부(80)는 하드웨어로 할 수 있지만 소프트웨어로 그 기능을 수행하게 할 수 있다.
상기 대화형 외국어 학습장치는 상기 사용자의 외국어 학습 진행과정에서 상기 사용자가 해당 기능의 명령문구에 대하여 음성으로 말하면 사용자 기능명령어 DB(41)에 사용자의 음성으로 저장되어 있는 사용자 기능명령어들과 대비하여 대응되는 기능을 명령한 것으로 간주하여 해당 기능을 수행하여 대화형 외국어 학습을 할 수 있게 한다.
한편, 본 발명에 따른 외국어 자막 또는 외국어 및 자국어 모두의 자막을 구비한 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습방법에 대하여 도 2내지 도 5를 참고로 설명하면 다음과 같다.
본 발명에서 DB부를 구축하는 과정을 도 2를 참고로 설명하면 다음과 같다.
먼저 대화형 외국어 학습 진행을 위해 상기 학습장치가 구비한 기능들을 수행할 것을 사용자가 명령하는 사용자 기능 명령어 표현들에 대한 외국어 또는 자국어 표현들과 그 각 표현이 입력된 경우에 상기 학습장치가 수행하여야 할 기능의 내용과 매칭시켜 저장하는 사용자 기능명령어 DB(41)를 구비하고(S11 단계), 상기 사용자 기능 명령어 표현들 각각에 대하여 사용자 음성을 입력받아 이를 녹음하며(S12 단계), 해당 텍스트 및 그 텍스트의 표현들이 입력된 경우에 상기 학습장치가 수행하여야 기능들과 매칭시켜 상기 사용자 기능명령어 DB(41)에 저장하여(S13 단계) DB부(40)를 구축한다(S30 단계).
또한, 상기 외국어 동영상 컨텐츠에 있는 외국어 음성을 그에 대응되는 장면의 화면에 관한 정보 및 외국어 자막 또는 외국어 및 자국어 자막 모두와 그 자막의 출현 시작 시간과 종료 시점에 관한 시간정보와 각 매칭시켜 저장하는 동영상 컨텐츠 DB(42)를 구비하고(S21 단계), 상기 학습장치가 상기 동영상 컨텐츠에 있는 외국어 음성을 자막 단위별로 사용자의 음성으로 입력받아 이를 녹음하며(S22 단계), 해당 장면의 외국어 음성과 화면 정보 및 그에 대응되는 외국어 자막 또는 외국어 및 자국어 자막 모두와 매칭시켜 상기 동영상 컨텐츠 DB(42)에 저장하여 DB부(40)를 구축한다(S30 단계).
다음으로 본 발명에서 입력된 사용자의 음성에 따라 처리하는 과정을 도 3을 참고로 설명하면 다음과 같다.
상기 학습장치에 사용자의 음성이 입력되면(S41 단계), 상기 학습장치의 제어부(30)는 상기 입력되는 사용자의 음성을 음성인식기능부(70)의 음성인식기능을 이용하여 상기 DB부(40)에 저장된 사용자의 음성들과 대비한다(S42 단계).
대비한 결과, 상기 입력된 사용자의 음성이 상기 사용자 기능 명령어 DB(41)에 저장된 사용자 음성으로 인식되면(S43단계) 그 사용자 음성에 할당된 기능명령을 수행하고(S44단계), 상기 입력된 사용자의 음성이 상기 동영상 컨텐츠 DB(42)에 저장된 사용자 음성으로 인식되면(S45 단계) 그에 대응되는 외국어 음성을 말한 것으로 인식하며(S46 단계), 상기 입력된 음성이 상기 사용자 기능 명령어 DB(41)에 저장된 사용자 음성도 아니고 상기 동영상 컨텐츠 DB(42)에 저장된 사용자 음성도 아닌 것으로 인식되면 즉, 상기 DB부(40)에 저장된 사용자 음성으로 인식되지 않는 경우(S47 단계)에는 상기 DB부(40)에 없는 표현을 말한 것으로 처리하게 된다(S48 단계).
상기 DB부(40)에 없는 표현을 말한 것으로 처리하는 방법으로는 상기 입력된 사용자의 음성에 대한 표현이 DB부(40)에 없으니 다시 말할 것을 요구하거나, 사용자에게 힌트를 원하는지를 묻고 그 힌트의 내용도 자국어 자막을 화면에 보여 주거나 또는 자국어 텍스트를 TTS 기능으로 읽은 내용을 들려 줄 것을 원하는지를 묻는 내용 등으로 다양하게 구성할 수 있다.
다음으로 본 발명에서 사용자 기능명령어 DB 구축 등과 관련된 과정을 도 4를 참고로 설명하면 다음과 같다.
상기 사용자 기능명령어 DB는 음성인식부(70)에서 음성 인식률을 높이기 위하여 사용자의 음성으로 사용자 기능명령어를 외국어 또는 자국어로 입력하고 녹음하여 저장하는 것이다. 사용자가 외국어 학습 진행을 위해 수행해야 할 각 기능들에 대한 단어 또는 문장으로 된 명령 문구에 대하여 상기 사용자의 외국어 또는 자국어 음성을 마이크를 통하여 입력받아 사용자 기능명령어로 녹음한다(S51 단계). 이 경우 사용자의 외국어 능력에 따라 외국어 또는 자국어 음성으로 할 수 있지만 외국어 학습을 위해서도 자국어 음성보다는 외국어 음성으로 하는 것이 바람직하다.
상기 사용자 기능명령어를 사용자의 음성으로 녹음을 함에 있어서는 텍스트로 되어 있는 사용자 기능명령어를 사용자의 음성으로 녹음한다. 이 때 사용자 기능명령어를 TTS부(80)의 TTS기능을 이용하여 사용자에게 음성으로 들려주고 사용자가 이를 따라서 말하도록 하여 그 음성을 녹음할 수도 있다. 상기 사용자의 기능명령어에 대한 외국어 또는 자국어 음성이 사용자 기능명령어로 녹음되면, 상기 사용자 기능명령어를 해당 기능들과 매칭시켜 사용자 기능명령어 DB(41)에 저장하는 것을 반복하여 사용자 기능명령어 DB를 구축한다(S52단계).
사용자 기능명령어 DB(41)에 저장된 상기 사용자 기능명령어를 사용하여 대화형 외국어 학습장치의 기능을 제어한다(S53 단계).
대화형 외국어 학습장치에서 외국어 학습을 진행하다가 특정 사용자 기능명령어에 대하여 변경하고 싶은 것이 있으면 해당 기능명령에 대하여 사용자가 새로운 기능명령어를 마이크를 통하여 입력한 뒤 갱신된 사용자 기능명령어로 녹음하고(S54 단계), 이전에 녹음되었던 기존의 기능명령어(단어 또는 문장의 음성입력)를 변경(S55 단계)하여 사용자 기능명령어 DB(41)에 저장한다.
상기와 같이 함으로써. 사용자의 외국어 학습 진행과정에서 상기 사용자가 기능명령어를 사용자의 외국어 능력에 따라 변경 가능하여 사용자의 대화능력을 향상시키고 능력 향상에 따라 새로운 표현들을 기능명령어 표현 DB에 추가하여 점차 다양한 표현을 학습할 수 있게 된다.
상기 사용자의 외국어 학습 진행과정에서 상기 사용자가 해당 기능의 명령 문구에 대하여 음성으로 말하면 음성인식부(70)에서 그 음성을 인식하여 상기 사용자 기능명령어 DB(41)에 저장되어 있는 사용자 기능명령어들과 대비하여 대응되는 기능을 명령한 것으로 간주하여 해당 기능을 수행할 수 있게 되고, 이 경우 상기 음성인식부(70)의 음성인식을 위한 대비 대상을 사용자의 음성으로 녹음된 음성자료에 한정하고 있기 때문에 음성 인식률이 크게 향상된다.
상기 사용자 기능명령어의 내용에 포함될 수 있는 것들을 예시하면 다음과 같다.
(1) 대화를 시작할 것인지를 학습장치에게 묻고 학습장치가 그러한 질문을 하는 경우 이에 답하는 내용
예) Would you like to have a conversation?
Yes, I would like that.
(2) 학습장치의 표현을 학습자가 다시, 또는 반복하여 들려주거나 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트로 보여 줄 것, 또는 자국어로 말해줄 것을 요구하는 내용
예) Would you talk to me again?
Please repeat it. Would you repeat it?
Would you show me the english text of it?
Would you show me the korean text of it?
Would you tell me in korean?
(3) DB부(40)의 표현 내용을 순서에 따라 플레이하면서 역할극을 할 수 있도록 할 것을 명령하는 내용
예) Let’s say it in turns.
Let’s enjoy the conversation by the roll play.
(4) 특정 시점(5분전, 10분전, 처음 등)이나 직전 대화, 다음 대화, 직전 p터(또는 북마크), 다음 쳅터 등으로 이동할 것을 명령하는 내용
예) Let’s move to previous sentence.
Let’s move to next sentence.
Let’s move to previous chapter.
Let’s move to next chapter.
Let’s move to previous bookmark.
Let’s move to next bookmark.
(5) 특정 단어나 문장 표현이 들어 있는 곳을 찾아서 이동할 것을 명령하는 내용
예) Let’s search and move to the express “ ”.
(6) 대화를 마치고 끝낼 것을 명령하는 내용
예) OK, That is it. Let’s finish.
(7) 학습자가 요구하지 않더라도 정해진 시간에 또는 임의의 시간에 학습장치가 학습을 시작하겠는지를 묻는 내용,
예) Please start talking with me after 30 minutes.
상기 사용자 기능명령어는 단수 또는 복수로 해당 기능에 매칭시켜 하나의 기능에 여러 가지 표현이 대응될 수 있도록 하여 사용자가 하나의 기능에 대하여 다양한 표현을 할 수 있도록 다수개의 기능명령어를 사용할 수 있게 하며, 이와 같이 기능명령어를 다양하게 말하고 학습장치가 말하는 기능어 표현을 듣는 것 자체로도 외국어 회화의 학습효과를 거둘 수 있다.
다음으로 본 발명에서 동영상 컨텐츠 DB와 관련된 과정을 도 5를 참고로 설명하면 다음과 같다.
먼저 외국어 자막 또는 외국어와 자국어 모두의 자막이 구비된 외국 영화 동영상 파일로 된 외국어 동영상 컨텐츠를 재생하면 상기 동영상 컨텐츠 재생과정에서 각 장면에서 외국어 음성이 있는 장면은 외국어 자막 또는 자국어 자막이 상기 화면표시부에 동영상 화면과 함께 표시되는데(S61 단계), 사용자는 외국어 음성이 있는 특정 장면의 외국어 자막 또는 자국어 자막을 보고 마이크(11)를 통하여 사용자의 외국어 음성으로 입력하여 녹음한다(S62 단계). 이 때 학습장치는 사용자의 음성으로 녹음한 외국어 음성을 동영상 컨텐츠 DB에 저장된 외국어 음성을 들려주고 이를 따라서 말하도록 하여 녹음을 할 수도 있다.
상기 특정 장면의 외국어 음성에 대한 사용자의 외국어 음성이 사용자의 외국어 음성으로 녹음되면, 사용자의 외국어 음성을 해당 특정 장면과 매칭시켜 동영상 컨텐츠 DB(42)에 저장하고, 이를 반복하여 동영상 컨텐츠 DB(42)를 구축한다(S63 단계).
상기 동영상 컨텐츠 DB(42)가 일차적으로 구축되면, 대화형 학습 기능을 진행할 경우, 상기 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트를 구비한 외국어 동영상 컨텐츠를 재생할 때, 상기 사용자가 외국어 음성이 출력되는 장면에서 상기 동영상 컨텐츠 DB(42)에 이미 저장된 대응되는 상기 사용자의 외국어 음성을 사용자에게 들려줄 수도 있다. 이렇게 함으로써 이전에 사용자가 녹음하였던 사용자의 외국어 음성과 현재의 외국어 음성을 대비할 수 있어 사용자 스스로 자신의 학습의 진행 상황을 느끼게 되어 외국어 어학 학습에 상당한 도움을 줄 수 있게 된다.
상기와 같이 상기 사용자가 외국어 음성이 출력되는 장면에서 외국어 음성을 따라하거나 외국어 자막을 읽어 마이크(11)를 통하여 입력하면서 이전에 사용자가 녹음하였던 사용자의 외국어 음성과 대비하여 현재의 사용자의 외국어 음성이 좋은 경우 사용자는 현재의 사용자의 외국어 음성을 현재 사용자의 외국어 음성으로 녹음하고(S64 단계), 이전에 사용자가 녹음하였던 기존 사용자의 외국어 음성을 현재 사용자의 외국어 음성으로 변경하여(S65단계) 동영상 컨텐츠 DB(42)에 저장한다.
상기 동영상 컨텐츠 DB(42)에서 상기 현재 사용자의 외국어 음성을 기존 사용자의 외국어 음성으로 변경(갱신)하는 것은 상기 사용자의 선택에 의하여 할 수 있지만 학습의 진행에 따라 주기적으로 할 수도 있다
상기 동영상 컨텐츠 DB(42)에 특정 장면에 대응되는 사용자의 외국어 음성을 매칭시키는 방법은 외국어 자막 또는 외국어와 자국어 모두의 자막이 구비된 외국 영화 동영상 파일로 된 외국어 동영상 컨텐츠에 설정된 자막 텍스트의 표출 시간 정보에 의하여 외국어 음성이 출력되는 장면별로 사용자의 음성으로 외국어를 따라 읽고 이를 녹음하였다가 들려주는 따라하기 기능을 이용하여 외국어 음성에 대응되는 사용자의 음성을 입력받아 이를 녹음하여 상기 동영상 컨텐츠 DB(42)에 저장하면 된다.
상기 대화형 외국어 학습장치를 사용하여 학습을 진행하는 방법으로서 외국어 동영상 컨텐츠의 내용을 사용자에게 단순히 순서대로 들려주는 방법(단순 들려주기 방법)이 있고, 외국어 동영상 컨텐츠의 정해진 시간정보에 따라 자막이 표현되는 한 대사씩을 순서대로 학습장치와 사용자가 교대로 대화를 진행하게 할 수 있고(교차진행 방법), 학습장치가 단수 또는 복수의 표현을 먼저 들려주고 사용자가 이를 따라서 하는 방법(따라하기 방법)이 있으며, 외국어 동영상 컨텐츠 내의 표현들을 학습장치와 사용자 중 누가 말할 것인지를 미리 정해두고 그 정해진 역할에 따라 대화를 진행하는 방법(역할극 방법) 등 단수 또는 복수의 학습패턴을 정해두고 이 패턴에 따라 학습을 진행한다.
다음으로 본 발명은 대화형 외국어 학습 진행을 위해 학습장치가 사용자에게 전달할 필요가 있는 학습장치 기능어 표현을 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트로 저장하는 학습장치 기능어 DB(43)를 추가로 사용할 수도 있는데 그와 관련된 과정을 설명하면 다음과 같다.
상기 학습장치 기능어 DB(43)는 학습이 완전한 대화형으로 진행되도록 하기 위하여 학습장치가 동영상 컨텐츠 DB 내에 있는 표현을 들려주는 것 이외의 표현들을 저장한 데이터베이스이다. 이는 앞에서 본 사용자 기능명령어 표현이 사용자가 학습장치에 전달하는 것과 반대로 자연스러운 대화형 학습의 진행을 위하여 학습장치가 사용자에게 전달하는 표현들이다. 상기 학습장치 기능어 DB(43)는 기본적으로 외국어 자막 또는 외국어 및 자국어 모두의 자막 텍스트로 구성된 기능어 표현들을 저장한 것으로서, 학습장치는 TTS부(80)의 TTS 기능을 이용하여 상기 학습장치 기능어 DB(43)에 저장된 표현들을 학습장치에 설정된 내용에 따라서 외국어 또는 자국어 음성으로 사용자에게 들려주게 된다. 외국어 학습효과를 높이기 위하여서는 외국어 음성으로 들려주는 것이 바람직하나 초보자 등을 위하여 자국어 음성을 사용할 수도 있다.
상기 학습장치 기능어 표현이 언제 음성으로 사용자에게 전달되는가 하는 것은 대화형 학습의 원활하고 재미있는 진행을 위하여 필요에 따라 미리 설정할 수 있는데, 가령 사용자가 사용자 기능명령어 표현을 말한 것으로 인식되면 학습장치의 제어부(30)는 그 명령 받은 기능을 수행하기에 앞서 간단하게 대답을 하도록 하거나 수행되는 명령의 내용을 다시 말하게 할 수 있고, 학습자가 사용자 기능어명령어 DB(41)나 동영상 컨텐츠 DB(42)에 없는 표현을 말한 것으로 인식되는 경우 그러한 표현은 DB부(40)에 없으니 다시 말할 것을 요구하거나, 사용자에게 힌트를 원하는지를 묻고 그 힌트의 내용도 자국어 자막을 화면에 보여 주거나 외국어 텍스트 또는 자국어 텍스트를 TTS 기능으로 읽은 내용을 들려 줄 것을 원하는지를 묻는 내용 등으로 다양하게 구성할 수 있다.
상기 학습장치 기능어 DB(43)에 저장되는 상기 학습장치 기능어 표현의 내용에 포함될 수 있는 것들을 예시하면 다음과 같다.
(1) 대화를 시작할 것인지를 묻고 답하는 내용
예) Would you like to have a convestation?
Yes, I would like that.
(2) 학습장치의 표현을 학습자가 다시, 또는 반복하여 들려주거나 외국어 텍스트 또는 자국어 텍스트로 보여 줄 것, 또는 자국어로 말해줄 것을 요구하는 내용
예) Would you talk to me again?
Please repeat it. Would you repeat it?
Would you like to show me the english text of it?
Would you to see the korean text of it?
Would you like to say it in korean?
(3) DB부(40)의 표현 내용을 순서에 따라 플레이하면서 역할극을 할 수 있도록 할 것을 명령하는 내용
예) Let’s say it in turns.
Let’s enjoy the conversation by the roll play.
(4) 특정 시점(5분전, 10분전, 처음 등)이나 직전 대화, 다음 대화, 직전 p터(또는 북마크), 다음 쳅터 등으로 이동하라는 명령을 받은 경우 그 내용을 음성으로 들려 주는 내용
예) O.K., I will move to the previous sentence.
O.K., I will move to the next sentence.
O.K., I will move to the previous chapter.
O.K., I will move to the next chapter.
O.K., I will move to the previous bookmark.
O.K., I will move to the next bookmark.
(5) 특정 단어나 문장 표현이 들어 있는 곳을 찾아서 이동할 것을 명령받은 경우에 이에 답하는 내용
예) Yes, I will search and move to the express “ ”.
(6) 상기 각 명령을 수행하는 과정에서 학습자의 선택이 필요한 경우 그 선택지들을 제시하고 선택할 것을 요구하는 내용
예) Do you want one of this list?
(7) 대화를 마치고 끝낼 것을 명령받고 응답하는 내용
예) OK, I will finish.
(8) 학습장치가 학습자가 말하는 표현과 일치하는 것이 없으면 학습자에게 못 알아들었으니 다시 말할 것을 요구하는 기능어 표현을 음성으로 들려주어 학습자가 다시 말하도록 유도하는 내용.
예) I could not catch your meaning. Please tell me again.
(9) 학습장치는 학습자가 말하는 것과 일치하는지가 불명확하지만 매우 가까운 표현이 복수로 있는 경우에는 이들을 제시하고 그 중의 어떤 것인지를 학습자에게 묻는 내용.
예) I am not sure what do you mean. Did you tell me one of these?
Please tell me which one is your meaning.
(10) 학습자가 요구하지 않더라도 정해진 시간에 또는 임의의 시간에 학습장치가 학습을 시작하겠는지를 묻는 내용,
예) Would you like me to start talking after 30 minutes?
상기 학습장치 기능어 표현은 단수 또는 복수로 해당 경우에 매칭시켜 하나의 상황에 여러 가지 표현이 대응될 수 있도록 하여 사용자가 하나의 상황에 대하여 다양한 표현을 들을 수 있도록 하여 학습장치가 말하는 학습장치 기능어 표현을 듣는 것 자체로도 외국어 회화의 학습효과를 거둘 수 있다.
또한, 상기 대화형 외국어 학습장치는 제공하고자 하는 기본학습 표현들에 대한 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트와, 그 외국어 텍스트에 대응되는 외국어 음성자료를 저장하는 기본 학습표현 DB(44)를 더 구비하고, 상기 기본 학습표현 DB(44)를 사용하여 상기 사용자가 기본학습 표현들을 학습하도록 할 수 있다. 이 기본학습표현들의 경우에는 그 표현에 대응되는 비디오 정보가 함께 포함될 수도 있고 비디오 정보 없이 음성과 텍스트만 표시될 수도 있다.
*이와 같이 기본학습 대상표현들이 추가로 저장된 경우에는 그 저장된 표현들에 대하여 외국어 동영상 컨텐츠의 내용과 기본 학습대상 표현들에 대한 학습은 서로 교차되거나 내용을 섞어서 진행할 수도 있다.
상기에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 아래의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
본 발명은 PC, 노트북, 타블렛 PC, 스마트폰, 등의 디지털 정보단말기와 같이 동영상 컨텐츠를 재생할 수 있는 동영상 재생장치에서 외국어 자막 또는 외국어와 자국어 모두의 자막이 구비된 외국 영화 동영상 파일로 된 외국어 동영상 컨텐츠를 이용하여 사용자가 학습장치와 대화형으로 원활하게 외국어 학습을 진행시킬 수 있도록 한 것으로써, 어학 학습기 산업에 유용하게 활용될 수 있다.

Claims (7)

  1. 외국어 자막 또는 외국어 및 자국어 모두의 자막을 구비한 외국어 동영상 컨텐츠를 이용하여 대화형으로 외국어를 학습시키는 방법에 있어서,
    사용자로부터 입력되는 사용자 기능 명령어 표현들에 대한 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트들과 그 각 표현들이 입력되는 경우 학습장치가 수행할 기능이 저장된 사용자 기능명령어 DB를 구비하고,
    상기 외국어 동영상 컨텐츠에 있는 외국어 음성을 그에 대응되는 장면의 화면에 관한 정보 및 외국어 자막 또는 외국어 및 자국어 모두의 자막과 그 자막의 출현 시작 시간과 종료 시점에 관한 시간정보가 저장된 동영상 컨텐츠 DB를 구비하는 단계와;
    상기 학습장치가, 상기 사용자 기능 명령어 표현들 각각에 대하여 사용자 음성을 입력받아 이를 녹음한 파일을 해당 텍스트에 대한 사용자의 음성파일로 상기 사용자 기능명령어 DB에 저장하고,
    상기 동영상 컨텐츠에 있는 외국어 음성을 자막 단위별로 사용자의 음성으로 입력받아 이를 녹음한 파일을 해당 장면의 외국어 음성과 화면 정보 및 그에 대응되는 외국어 자막 또는 외국어 및 자국어 자막 모두와 대응되는 사용자의 음성파일로 상기 동영상 컨텐츠 DB에 저장하는 단계와;
    상기 학습장치에 입력되는 사용자의 음성을 음성인식기능에 의하여 상기 DB부에 저장된 사용자의 음성들과 대비하고.
    대비 결과, 입력된 음성이 상기 사용자 기능 명령어 DB에 저장된 사용자 음성으로 인식되면 그 사용자 음성에 할당된 기능명령을 수행하고, 상기 입력된 음성이 상기 동영상 컨텐츠 DB에 저장된 사용자 음성으로 인식되면 그에 대응되는 외국어 음성을 말한 것으로 처리하며, 상기 입력된 음성이 상기 DB부에 저장된 사용자 음성으로 인식되지 않는 경우에는 DB부에 없는 표현을 말한 것으로 처리하는 단계;
    를 포함하는 것을 특징으로 하는 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 방법.
  2. 제1항에 있어서,
    대화형으로 외국어 학습을 진행시키기 위해 상기 학습장치가 사용자에게 전달하는 학습장치 기능어 표현을 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트로 저장된 학습장치 기능어 DB를 더 구비하고,
    상기 학습장치가 상기 학습장치 기능어 표현을 미리 설정된 경우에 사용자에게 텍스트음성변환(TTS)기능을 사용하여 음성으로 전달하는 것을 포함하는 것
    을 특징으로 하는 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 방법.
  3. 제1항에 있어서,
    상기 학습장치가 상기 사용자 기능명령어 DB 및 상기 사용자 기능명령어 DB에 저장된 사용자의 음성에 대하여 학습의 진행에 따라 주기적으로 또는 사용자의 선택에 의하여 새로운 사용자의 음성으로 갱신하여 저장시키는 것
    을 특징으로 하는 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 방법.
  4. 제1항에 있어서,
    기본학습 표현들에 대한 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트와, 그 외국어 텍스트에 대응되는 외국어 음성이 저장된 기본학습표현 DB를 구비하고,
    상기 기본학습표현 DB에 있는 외국어 음성을 그 문장별로 사용자의 음성으로 입력받아 이를 녹음한 파일을 해당 표현에 대응되는 외국어 음성과 외국어 자막 또는 외국어 및 자국어 자막 모두와 대응되는 사용자의 음성파일로 상기 기본학습표현 DB에 저장하며,
    상기 학습장치에 입력되는 사용자의 음성을 음성인식기능에 의하여 상기 기본학습표현 DB에 저장된 사용자의 음성들과 대비하여 입력된 음성이 상기 기본학습표현 DB에 저장되어 있는 음성으로 인식되면 사용자가 그에 대응되는 외국어 음성을 말한 것으로 처리하는 단계를 더 포함하는 것
    을 특징으로 하는 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 방법.
  5. 외국어 자막 또는 외국어 및 자국어 모두의 자막을 구비한 외국어 동영상 컨텐츠를 이용하여 대화형으로 외국어를 학습할 수 있는 대화형 외국어 학습장치에 있어서,
    마이크로부터 입력되는 음성입력과 스피커로부터 출력되는 스피커의 음성을 처리하는 오디오처리부와,
    상기 외국어 동영상 컨텐츠 재생시 동영상 장면을 표시하고 해당 자막 텍스트를 표시하는 화면 표시부와,
    대화형 외국어 학습 진행을 위해 학습장치가 구비한 기능들을 수행할 것을 사용자가 명령하는 사용자 기능 명령어 표현들에 대한 외국어 또는 자국어 표현들과 그 표현들을 사용자의 음성으로 녹음한 음성파일 및 그 각 표현이 입력된 경우에 학습장치가 수행하여야 하는 기능의 내용을 매칭시켜 저장한 사용자 기능명령어 DB와, 동영상 컨텐츠에 있는 외국어 음성을 그에 대응되는 장면의 화면에 관한 정보 및 외국어 자막 또는 외국어 및 자국어 자막 모두와 그 자막의 출현 시작 시간과 종료 시점에 관한 시간정보 및 상기 외국어 자막의 내용을 사용자의 음성으로 녹음한 음성파일을 각 매칭시켜 저장한 동영상 컨텐츠 DB를 포함하여 구성하는 DB부와,
    상기 학습장치의 입출력 및 내부를 전체적으로 제어하는 제어부를 포함하여 구성하고,
    상기 제어부는,
    입력되는 사용자의 음성을 상기 DB부에 저장된 사용자의 음성들과 대비하여 입력된 음성이 상기 DB부에 저장된 어느 표현에 해당하는지를 인식하는 음성인식기능을 수행하고,
    외국어 학습 진행과정에서 학습장치에 입력되는 사용자의 음성이 사용자 기능명령어 DB에 저장된 사용자 기능 명령어로 인식되면 그 명령에 할당된 명령을 수행하며,
    상기 입력되는 사용자의 음성이 동영상 컨텐츠 DB에 저장된 표현으로 인식되면 사용자가 해당 표현을 말한 것으로 처리하며,
    상기 입력되는 사용자의 음성이 상기 DB부에 저장된 표현이 아닌 경우에는 상기 DB부에 없는 표현을 말한 것으로 처리하는 것
    을 특징으로 하는 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 장치.
  6. 제5항에 있어서,
    학습장치가 사용자에게 전달하는 학습장치 기능어 표현을 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트로 저장한 학습장치 기능어 DB와,
    상기 학습장치 기능어 DB에 저장된 표현을 미리 설정된 경우에 사용자에게 음성으로 전달하는 텍스트음성변환(TTS)기능을 수행하는 TTS부를 더 구비하고,
    상기 학습장치가 상기 학습장치 기능어 표현을 미리 설정된 경우에 사용자에게 상기 TTS 기능을 사용하여 음성으로 전달하는 것
    을 특징으로 하는 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 장치.
  7. 제5항에 있어서,
    기본학습 표현들에 대한 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트와, 그 외국어 텍스트에 대응되는 외국어 음성 및 그 외국어 텍스트의 내용을 사용자의 음성으로 녹음한 음성파일을 서로 매칭시켜 저장하는 기본학습표현 DB를 상기 DB부에 더 구비하고,
    상기 제어부는,
    입력되는 사용자의 음성을 상기 DB부에 저장된 사용자의 음성들과 대비하여 입력된 음성이 상기 DB부에 저장된 어느 표현에 해당하는지를 인식하는 음성인식기능을 수행하고,
    상기 입력되는 사용자의 음성이 동영상 컨텐츠 DB에 저장된 표현으로 인식되면 사용자가 해당 표현을 말한 것으로 처리하며,
    상기 입력되는 사용자의 음성이 상기 기본학습표현 DB에 저장된 표현으로 인식되면 사용자가 그에 대응되는 외국어 음성을 말한 것으로 처리하는 것,
    을 특징으로 하는 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 장치.
PCT/KR2014/004928 2013-06-10 2014-06-03 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 방법 및 그것을 위한 장치 WO2014200223A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0065926 2013-06-10
KR1020130065926A KR101427528B1 (ko) 2013-06-10 2013-06-10 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 방법 및 그것을 위한 장치

Publications (1)

Publication Number Publication Date
WO2014200223A1 true WO2014200223A1 (ko) 2014-12-18

Family

ID=51749800

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/004928 WO2014200223A1 (ko) 2013-06-10 2014-06-03 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 방법 및 그것을 위한 장치

Country Status (2)

Country Link
KR (1) KR101427528B1 (ko)
WO (1) WO2014200223A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108305629A (zh) * 2017-12-25 2018-07-20 广东小天才科技有限公司 一种场景学习内容获取方法、装置、学习设备及存储介质
CN111312220A (zh) * 2019-12-02 2020-06-19 西安冉科信息技术有限公司 一种基于学习机对话交流的学习方法
US11875698B2 (en) 2022-05-31 2024-01-16 International Business Machines Corporation Language learning through content translation

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102498172B1 (ko) 2019-01-09 2023-02-09 이장호 단말기의 음성인식 기능과 tts 기능을 이용한 상호 음성전달에 의한 대화형 외국어 학습방법
KR20220022822A (ko) * 2020-08-19 2022-02-28 (주)헤이스타즈 단말기의 음성인식 기능과 tts 기능을 이용한 한국어 학습방법
KR20220161977A (ko) 2021-05-31 2022-12-07 이장호 단말기의 음성인식 기능과 tts 기능을 이용한 상호 음성전달에 의한 대화 형 외국어 학습방법
KR102483668B1 (ko) 2021-12-21 2023-01-03 (주)웅진씽크빅 영상을 이용한 언어 학습 지원 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100703047B1 (ko) * 2004-03-20 2007-04-05 이동수 사용자가 실제 장면의 화면 안에서 연기하며 주도하는능동적인 외국어 말하기 학습 시스템 및 방법
KR100742408B1 (ko) * 2003-03-25 2007-07-24 지멘스 악티엔게젤샤프트 화자 종속 음성 인식 방법 및 음성 인식 시스템
KR20100005177A (ko) * 2008-07-05 2010-01-14 임영희 맞춤형 학습 시스템, 맞춤형 학습 방법, 및 학습기
KR20100040045A (ko) * 2008-10-09 2010-04-19 주식회사 엔씨소프트 가상공간에서의 외국어 학습을 위한 음성 대화 처리 방법 및 음성 대화 상대방 지정 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100742408B1 (ko) * 2003-03-25 2007-07-24 지멘스 악티엔게젤샤프트 화자 종속 음성 인식 방법 및 음성 인식 시스템
KR100703047B1 (ko) * 2004-03-20 2007-04-05 이동수 사용자가 실제 장면의 화면 안에서 연기하며 주도하는능동적인 외국어 말하기 학습 시스템 및 방법
KR20100005177A (ko) * 2008-07-05 2010-01-14 임영희 맞춤형 학습 시스템, 맞춤형 학습 방법, 및 학습기
KR20100040045A (ko) * 2008-10-09 2010-04-19 주식회사 엔씨소프트 가상공간에서의 외국어 학습을 위한 음성 대화 처리 방법 및 음성 대화 상대방 지정 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108305629A (zh) * 2017-12-25 2018-07-20 广东小天才科技有限公司 一种场景学习内容获取方法、装置、学习设备及存储介质
CN111312220A (zh) * 2019-12-02 2020-06-19 西安冉科信息技术有限公司 一种基于学习机对话交流的学习方法
US11875698B2 (en) 2022-05-31 2024-01-16 International Business Machines Corporation Language learning through content translation

Also Published As

Publication number Publication date
KR101427528B1 (ko) 2014-08-07

Similar Documents

Publication Publication Date Title
WO2014200223A1 (ko) 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 방법 및 그것을 위한 장치
US10741089B2 (en) Interactive immersion system for movies, television, animation, music videos, language training, entertainment, video games and social networking
WO2012046901A1 (ko) 음악기반 언어 학습방법과 이를 활용한 학습장치
CN107403011B (zh) 虚拟现实环境语言学习实现方法和自动录音控制方法
US10629223B2 (en) Fast playback in media files with reduced impact to speech quality
WO2001045088A1 (en) Electronic translator for assisting communications
JP2012128378A (ja) 長期記憶刺激による外国語学習方法
JP2003216012A (ja) 思考単位と連結質問を用いる言語教育システム及び言語教育方法
WO2020159073A1 (ko) 단말기의 음성인식 기능과 tts 기능을 이용한 상호 음성전달에 의한 대화형 외국어 학습방법
CN1937002A (zh) 一种智能人机对话的系统及其实现方法
KR20190083532A (ko) 학습자가 선택한 동영상을 학습 콘텐츠로 활용하는 외국어 학습시스템 및 이의 학습 콘텐츠 생성방법
KR20190130791A (ko) 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 장치
CN104572081B (zh) 一种控制应用切换的方法及装置
KR100405061B1 (ko) 언어 학습장치 및 그것의 언어 분석방법
KR101066651B1 (ko) 자막정보가 포함된 디지털 동영상으로 부터 추출된 언어학습용 데이터를 이용한 언어학습방법
WO2018074658A1 (ko) 하이브리드 자막 효과 구현 단말 및 방법
WO2023096274A1 (ko) 다국어 동시 학습 시스템
WO2011162508A2 (ko) 비교 영상을 이용한 발음 학습 방법 및 장치
CN115171645A (zh) 一种配音方法、装置、电子设备以及存储介质
KR101920653B1 (ko) 비교음 생성을 통한 어학학습방법 및 어학학습프로그램
CN110111640B (zh) 练字学习方法、练字笔及终端设备
JP2873830B2 (ja) 自動会話練習装置
WO2018155807A1 (ko) 전자 장치, 그의 문서 표시 방법 및 비일시적 컴퓨터 판독가능 기록매체
KR20160121217A (ko) 이미지 기반의 팝업영상을 이용한 외국어학습시스템
WO2021256614A1 (ko) 화자가 표지된 텍스트 생성 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14810500

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14810500

Country of ref document: EP

Kind code of ref document: A1