WO2019124575A1 - 음성 더빙을 이용한 어학 학습 지원 방법 및 어학 학습 지원서버 - Google Patents

음성 더빙을 이용한 어학 학습 지원 방법 및 어학 학습 지원서버 Download PDF

Info

Publication number
WO2019124575A1
WO2019124575A1 PCT/KR2017/014985 KR2017014985W WO2019124575A1 WO 2019124575 A1 WO2019124575 A1 WO 2019124575A1 KR 2017014985 W KR2017014985 W KR 2017014985W WO 2019124575 A1 WO2019124575 A1 WO 2019124575A1
Authority
WO
WIPO (PCT)
Prior art keywords
dubbing
user
information
image
language learning
Prior art date
Application number
PCT/KR2017/014985
Other languages
English (en)
French (fr)
Inventor
구도영
Original Assignee
(주)투미유
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)투미유 filed Critical (주)투미유
Priority to PCT/KR2017/014985 priority Critical patent/WO2019124575A1/ko
Publication of WO2019124575A1 publication Critical patent/WO2019124575A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education

Definitions

  • the present invention relates to a language learning support method and a language learning support server using voice dubbing. More specifically, the present invention enables the user to compare the original voice and his / her own dubbing voice from time to time in the course of language learning, and to check the objective evaluation information about the similarity between the original voice and the dubbing voice in real time, And a method of supporting language learning using voice dubbing, which can improve the convenience of the user in relation to language learning.
  • the prior art has various complaints about the prior art, in particular, the prior art provides a one-sided way to the learner who is the consumer, the contents determined by the service provider, and the learner learns the one-sided Learning method, it is not possible to provide a service suited to the taste and characteristics of individual learners, thereby deteriorating the learning efficiency of the learner.
  • the present invention provides a method of supporting language learning using voice dubbing, which can greatly improve the efficiency of language learning and improve the convenience of users in relation to language learning.
  • the present invention utilizes an advertisement image provided by an advertiser (company) as a language learning material, so that an advertiser obtains a reliable advertising effect and a language learning support server operator can provide a language learning support method using voice dubbing
  • the technical problem is to provide.
  • a method of supporting language learning using voice dubbing comprising: displaying, by a service management unit of a user terminal, service information including original image information and additional information received from a language learning support server on a display unit A service information providing step for, when a dubbing request command is input from the user to the original image, the service management unit including a dubbing interface for allowing the user to select the dubbing of the original image and the dubbing of the original voice included in the original image, A dubbing interface screen display step of displaying a screen; a dubbing image generating unit of the user terminal synthesizing a dubbing voice of a user input by sentence on the original image divided by the sentence to generate a dubbing image for each sentence, Synthesized to generate a dubbing image And a rime and the image generation step, image dubbing public request step of dubbing video management unit of the user terminal requests the disclosure of the dubbed image to the language learning-enabled server.
  • the dubbing interface screen includes a sentence-based viewing selection button for the user to select the viewing of the original video by sentence, a sentence for selecting the dubbing of the original video by the sentence A dubbing selection button, and text information for each sentence of the original voice included in the original image.
  • a dubbing interface screen allows a user to select And a dubbing reproduction button for performing a dubbing operation.
  • each time a viewing selection button for each sentence is selected by the user the reproduction of the original image corresponding to the viewing selection button for each sentence is repeated, The dubbing of the original image corresponding to the dubbing selection button for each sentence is repeated each time the dubbing selection button for each sentence is selected.
  • the service management unit in the service information providing step, provides original image information corresponding to a user's interest field as interest recommendation information.
  • the service management unit in the service information providing step, provides original image information corresponding to the user's rating as rating recommendation information.
  • the language learning support server transmits membership admission guide information to a user terminal or an advertiser terminal that desires to use the language learning support service and when the access information and the personal information are input from the user terminal or the advertiser terminal,
  • a member registration processing unit for storing member information including personal information and access information of an authenticated user after personal authentication using the personal information registered in the storage unit;
  • An original image processing unit for storing the original image information input from the external device or the advertiser terminal into the storage unit by category or difficulty level;
  • a dubbing image processing unit for storing the dubbing image information requested to be registered from the user terminal and the name, provider, category, and difficulty level of the dubbed original image;
  • An evaluation information processing unit for determining a user class based on the dubbing image information requested to be registered from the user terminal and information about the dubbed original image and storing the user class information in a storage unit;
  • the number of the dubbing images registered by the user, the list of the dubbing images registered by the user, the statistical information of the user for the dubbing image registration act, the number of the follower, the number of following, and the accumulated points are generated and stored And an additional information processing unit for storing the additional information.
  • the membership processing unit of the language learning support server may be configured to transmit information for guiding membership of a public membership and information for guiding a change from a general member to a premium membership through paid settlement,
  • the additional information processing unit generates advertisement status information on the original image of the advertiser and calculates the advertisement cost based on the advertisement status information, .
  • the user can compare the original voice with his / her own dubbing voice at any time in the language learning process, and can confirm the objective evaluation information about the similarity between the original voice and the dubbing voice in real time, And provides a method of supporting language learning using voice dubbing, which can improve user's convenience in language learning.
  • the present invention it is possible to communicate with an unspecified number of persons in the course of dubbing a language learning using audio dubbing for original image information provided for a plurality of categories (for example, movies, lectures, advertisements, etc.) It is possible to improve the learner's language learning efficiency by providing an original image that can satisfy the characteristics of the learner.
  • an advertiser can obtain a reliable advertising effect by using an advertisement image provided by an advertiser (company) as a language learning material, and a language learning support server operator can generate operating profit.
  • FIG. 1 is a diagram illustrating a system configuration in which a language learning support method using voice dubbing is performed according to an embodiment of the present invention
  • FIG. 2 is a diagram illustrating a configuration of a language learning support server according to an exemplary embodiment of the present invention
  • FIG. 3 is a diagram illustrating a method of supporting language learning using voice dubbing according to an embodiment of the present invention
  • FIG. 4 is a diagram for explaining a specific operation of a language learning support method using voice dubbing according to an embodiment of the present invention
  • 5 to 13 illustrate exemplary user interface screens provided to a user through a user terminal in an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating a system configuration in which a language learning support method using voice dubbing is performed according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a configuration of a language learning support server according to an embodiment of the present invention.
  • the user terminal 1 may be a desktop PC, a notebook, a tablet PC, a smart phone, or a wearable PC.
  • the user terminal 1 may be implemented by including a language learning support module 10, a communication unit 20, a display unit 30, a microphone 40, and a speaker 50.
  • the network includes wired and wireless Internet networks and wireless networks using 3G, LTE and LTE-A.
  • the communication unit 20 transmits and receives data to and from the language learning support server 2 connected to the network.
  • the display unit 30 may be implemented as an LCD, an OLED, or an LED display.
  • the user terminal 1 may be embodied including a storage unit and a user input unit for receiving user operation commands and data, for example, a mouse, a keyboard, a voice input means, or a touch screen.
  • the storage unit may be a computer-readable medium configured to store executable computer code and human-readable code, for example removable hard disks, optical storage media (e.g. CD-ROM, DVD), semiconductor memory Flash memory, read-only memory (ROM), battery-backed volatile memory), or networked storage devices.
  • executable computer code and human-readable code for example removable hard disks, optical storage media (e.g. CD-ROM, DVD), semiconductor memory Flash memory, read-only memory (ROM), battery-backed volatile memory), or networked storage devices.
  • the language learning support module 10 installed in the user terminal 1 may include a service management unit 110, a dubbing image generation unit 120, a dubbing evaluation unit 130, and a dubbing image management unit 140 have.
  • the language learning support module 10 can be downloaded from the language learning support server 2 and installed.
  • the user inputs the access information (e.g., ID and password) and the personal information (address, telephone number, name, birthday, e-mail address to be contacted) in accordance with the membership registration procedure guided by the language learning support server 2, Members are registered through the certification process.
  • the language learning support server 2 can be used for a general member through a public membership, a public member joining guide, and a paying payment (for example, a card settlement, a cash settlement, You can guide the change to a premium membership.
  • a public membership can only receive a service for creating a dubbing image using an original image.
  • Premium membership can be extended to additional services including pronunciation of the original video and dubbed video, provision of dubbing score according to the similarity of the accent, voice modulation, recording and background volume adjustment, and recorded voice download.
  • the service management unit 110 receives the service information including the original image information and the additional information from the language learning support server 2.
  • the service management unit 110 can be implemented to display the original image information on the display unit 30 as an initial screen classified into a plurality of categories such as MOVIE, DRAMA, Lecture, and AD have.
  • the service management unit 110 may divide the original image information into difficulty levels (e.g., beginner, intermediate, advanced, and superlative).
  • the service management unit 110 notifies the premium membership of the original image information corresponding to the user's interest field, the original image information corresponding to the user's rating, or the original image information including the desired vocabulary or sentence Can be provided separately.
  • the service management unit 110 requests the language learning support server 2 to request an original image including a vocabulary or a sentence desired by the user, and transmits the original image information including the vocabulary or sentence from the language learning support server 2 Can be input.
  • the vocabulary and the sentence play a role of specifying the advertisement image and increase the cognitive power of the user's advertisement image, thereby increasing the advertisement effect.
  • the additional information includes profile screen information indicating a profile of the user.
  • the profile screen information includes a number of dubbing images registered by the user, a list of dubbing images registered by the user, statistical information by period for the user's dubbing image registration act, the number of followers, the number of following, And accumulation points.
  • the service management unit 110 may provide a list of original images belonging to the selected category when the user selects any one of the plurality of categories provided through the initial screen. At this time, the list may be provided in an ordered state according to the information upload order, or popularity.
  • the service management unit 110 displays the title, category, difficulty, number of users who have dubbed the original image, information on users who dubbed the original image, Description information on the original image can be displayed on the display unit 30.
  • the information about the users who have dubbed the selected original image can be provided by arranging the profile photograph of the user in the order of evaluation information of other users.
  • the service management unit 110 may be implemented to provide a dubbing interface screen for allowing the user to select the dubbing of the original image and the dubbing of the original voice included in the original image when the dubbing request command is inputted to the original image have.
  • the dubbing image generating unit 120 generates a dubbing image for each sentence by synthesizing the user's dubbing voice input by sentence into the original image divided for each sentence, and synthesizes the dubbing image for each sentence to generate a dubbing image.
  • the dubbing evaluating unit 130 is executed when the user is a premium member, and provides a dubbing score according to the similarity between the pronunciation of the original image and the dubbing image and the intonation.
  • the dubbing evaluation score may include a dubbing evaluation score per sentence and an overall dubbing evaluation score obtained by averaging the dubbing evaluation score per sentence.
  • the dubbing evaluation unit 130 receives evaluation information on the degree of difficulty of the original image dubbed from the user and stores the evaluation information.
  • the service management unit 110 may be configured to recommend and provide an original image suitable for the user based on the evaluation information on the degree of difficulty of the original image.
  • the dubbing image management unit 140 requests the language learning support server 2 to release the dubbing image.
  • the service management unit 110 receives the badge information acquired through dubbing of the original image from the language learning support server 2. For example, a user may acquire a badge if there are ten or more dubbings in the movie category.
  • the language learning support server 2 includes a communication unit 210 for transmitting and receiving data to and from the user terminal 1 and the advertiser terminal 3 via the network, a storage unit 220, a control unit 230, May be implemented.
  • the storage unit 220 stores a program executed by the control unit 230, a language learning support module to be provided to the user terminal 1, original image information, access information (e.g., an ID and a password)
  • original image information e.g., an ID and a password
  • access information e.g., an ID and a password
  • the control unit 230 executes a program stored in the storage unit 220 to provide a service for a user and an advertiser and includes a membership subscription processing unit 231, an interest processing unit 232, an original image processing unit 233, A processing unit 234, an evaluation information processing unit 235, a lecturer registration processing unit 236, a point processing unit 237, a push message processing unit 238, and a side information processing unit 239.
  • the membership subscription processing unit 231 transmits the membership subscription information to the user terminal 1 that desires to use the language learning support service.
  • the membership subscription processing unit 231 can guide the change from the general membership to the premium membership through the public membership and public membership subscription guidance and paid settlement.
  • a public membership can only receive a service for creating a dubbing image using an original image.
  • Premium membership can also provide additional services including dubbing scores according to pronunciation and intonation similarity of the original video and dubbing video, voice modulation, recording and background volume control, and recorded voice download.
  • the change from a general member to a premium member through paid payment can be implemented by various methods such as cash settlement, card settlement, gift settlement or point settlement.
  • the membership processing unit 231 receives connection information (e.g., an ID and a password) and personal information (an address, a telephone number, a name, a birthday, and an e-mail address to be contacted) from the user terminal 1.
  • the membership registration processing unit 231 can process member registration through a personal authentication process as an example.
  • the membership subscription processing unit 231 stores the advertiser information in the storage unit 220 that wants to expose the publicity video through the language learning support server 2.
  • the advertiser information includes contact information (e.g., ID and password) and personal information (contact address, phone number, name, birthday, e-mail address).
  • the interest field processing unit 232 determines the user interest field using the dubbing image information input through the user terminal 1 or registered by the user and stores the user interest field information in the storage unit 220.
  • the original image processing unit 233 converts the original image information inputted from the external device or the advertiser terminal 3 into a plurality of images by categories (for example, a movie, a drama, lecture, an advertisement) or a degree of difficulty (e.g., beginner, intermediate, And stores them in the storage unit 220.
  • the category or difficulty level of the original image can be set by the language learning support server operator.
  • the original image processing unit 233 stores the vocabulary or sentence included in the original image information in the storage unit 220. [ When the original image request information including a vocabulary or a sentence desired by the user is input from the user terminal 1, the original image processing unit 233 reads the original image information including the vocabulary or sentence from the storage unit 220 To the user terminal 1. Also, the original image processing unit 233 supplies the original image information, which is repeated the number of times equal to or slightly identical to the individual sentences included in the dubbing image requested for registration from the user terminal 1, Can be transmitted as information.
  • the dubbing image processing unit 234 stores the dubbing image information requested to be registered from the user terminal 1 and information about the dubbed original image, such as the name, provider, category, and difficulty level of the original image in the storage unit 220.
  • the evaluation information processing unit 235 may be configured to generate a level point based on the dubbing image information requested to be registered from the user terminal 1 and information about the dubbed original image, and determine the user's rating.
  • the evaluation information processing unit 235 can determine the user rating according to the number of times the high difficulty dubbing image is registered.
  • the evaluation information processing unit 235 can determine the user rating based on the difficulty evaluation information on the original image input by the user.
  • the evaluation information processing unit 235 may determine the user's rating according to the evaluation information of other users who watched the user's dubbing image.
  • the evaluation information processing unit 235 determines whether or not the acquisition of the badge is accomplished based on the dubbing image information requested to be registered from the user terminal 1 and the information about the dubbed original image. For example, the evaluation information processing unit 235 can judge that the badge is acquired if the number of dubbing is 10 or more in the movie category.
  • the lecturer registration processing unit 236 may register the user as an authentication lecturer and disclose it to other users when the level according to the user's level point is equal to or higher than the lecture registration reference level.
  • the lecturer registration processing unit 236 may be configured to perform a function of matching lectures between the public lecturers and the users so that they can listen to lectures or communicate with each other.
  • the point processing unit 237 generates a point (aka, buzz) used for dubbing and stores it in the storage unit 220.
  • the point processing unit 237 generates, for example, a buzz when the user joins the learner support server, a buzz with the buzz, a '3' buzz, for example, (220). All the original images provided to the user terminal are locked, and the locked state of the original image can be canceled by subtracting the buzz. The purpose of using this buzz is to increase communication between users who use the language learning support server.
  • the point processing unit 237 generates a level point used for raising the user's rating when the user generates a dubbing image, and stores the level point in the storage unit 220.
  • the level points are paid differently according to the difficulty of the user's dubbing image.
  • the point processing unit 237 may generate a cashable point that can be obtained when the user views the image dubbed by the user, and store the generated point in the storage unit 220. These cashable points can be used as a means to enhance the advertising effect.
  • the push message processing unit 238 notifies the user terminal 1 of the occurrence of a corresponding event when another user following the user registers a new dubbing image or when the other user registers evaluation information on a dubbing image registered by the user And transmits a push message.
  • the additional information processing unit 239 may include a number of the dubbing images registered by the user, a list of the dubbing images registered by the user, statistical information by the user for the dubbing image registration act, the number of followers, the number of following, And accumulation points are generated and stored in the storage unit 220.
  • the additional information processing unit 239 generates advertisement information on the original image of the advertiser and transmits the advertisement information to the advertiser terminal 3.
  • the PR status information may include the number of times the original image was reproduced, the number of views, the number of dubbed dubbed original images, the number of times the dubbed image was reproduced, and the number of views.
  • the advertiser company can check the promotion status information for a certain period of time and provide the promotion expenses to the language learning support server operator.
  • the language learning support server operator provides a part of the promotion cost to a user who registers the dubbing image according to the time or the number of views reproduced by another user as a benefit (for example, a point where a cash can be made, a gift certificate, or a bit coin) can do.
  • the point processing unit 237 may calculate a point (for example, a point that can be changed into a cashable point or a gift point) to be provided to a user who registers a dubbing image according to the time or number of views reproduced by another user, And store it in the storage unit 220.
  • the publicity cost is determined based on a period of time during which the original image is reproduced, the number of original image views, the number of dubbed dubbed original images, the time of reproducing the dubbed image, Can be calculated according to the number.
  • the promotional cost may be a commitment fee to post the original video.
  • the additional information processing unit 239 stores the advertisement cost according to the time of reproducing the original image, the number of original image views, the number of dubbed dubbed original images, the time of reproducing the dubbed images, or the number of dubbed image views .
  • the language learning support server provides the advertisement image to the user terminal until the contract cost is exhausted.
  • the advertiser company can make a banner or pop-up advertisement through the agreement with the language learning support server operator, and the language learning support server operator can generate the operating profit by receiving the advertisement cost related to the banner or pop-up advertisement from the company.
  • the additional information processing unit 239 may receive the dubbing participation room creation request information including the number of persons, the deadline, and the room name from the user terminal 1 to create a dubbing participation room. If the participation request information including the dubbing participating room information is input from the user terminal 1, the additional information processing unit 239 determines whether participation in the corresponding dubbing participating room is possible, and transmits the dubbing participating room information to the user terminal 1 . ≪ / RTI > Accordingly, a plurality of persons can select a role or an ambassador to dub an original image. Participants can chat with each other in the dubbing room.
  • the additional information processing unit 239 may generate and store a dubbing image by synthesizing the dubbing image information for each sentence input from the user terminal participating in the dubbing participating room and delete the corresponding dubbing participating room when dubbing is completed.
  • FIG. 3 is a diagram illustrating a method of supporting language learning using voice dubbing according to an embodiment of the present invention.
  • the method for supporting language learning using voice dubbing includes providing service information S10, providing a dubbing interface screen S20, generating a dubbing image S30, And a point management step S50.
  • the service management unit 110 of the user terminal 1 provides the user with service information including the original image information and the additional information received from the language learning support server 2 .
  • the service managing unit 110 classifies, as illustrated in FIG. 5, into categories such as movies, dramas, shows, advertisements, and YouTube
  • the initial screen can be provided.
  • list information on the original images belonging to this category may be provided as illustrated in FIG.
  • the image list may be provided in an ordered state according to information uploading order or popularity.
  • a screen for providing information of the selected original image is provided, as illustrated in FIG. 7, in which the title, category, degree of difficulty, Information indicating the number of users who have dubbed the video, information on the user who has dubbed the video, explanatory information on the video, and the like can be displayed.
  • the information about the user who dubbed the video can be provided by arranging the profile photograph of the user in the order of the evaluation information of the other users.
  • the service management unit 110 may provide the original image information corresponding to the user's interest field as interest recommendation information.
  • the area of interest of the user can be determined according to information including information directly input by the user, history of the user's connection collected by the language learning support server 2, and the like.
  • the service management unit 110 may provide the original image information corresponding to the user's rating as the rating recommendation information.
  • the user's rating can be determined according to the degree of difficulty of the original image dubbed by the user. More specifically, the rating of the user can be determined according to the number of times the high-difficulty dubbing image generated by dubbing the original image of high difficulty level and the evaluation information of other users about the dubbing image of high difficulty level. With this configuration, it is possible to prevent unauthorized dubbing and indiscriminate dubbing image registration by users.
  • the rating of the user is determined by evaluation information of other users who watched the user's dubbing video, and when the rating of the user is equal to or higher than the instructor registration reference rating, the language learning support server 2 sends the user And can be configured to be disclosed to other users.
  • a user when a user is registered as an authentication instructor, a student user can pay a fee and listen to a lecture or talk to a desired authentication instructor.
  • the cost may be a charge or a point through actual settlement.
  • a user who is registered as an authentication instructor can conduct a lecture in a manner of 1: 1 conversation with other users in an online environment provided by the language learning support server 2 within a limited time.
  • the service management unit 110 may provide the original image information, which is repeated more than the set number of words included in the dubbing image of the user, as learning recommendation information.
  • the service management unit 110 stores the original image information, which is repeated the number of times that the same or a part of the same sentence as the individual sentence included in the dubbing image of the user is repeated, .
  • the service management unit 110 can provide the original image information classified by category and degree of difficulty.
  • the service managing unit 110 determines whether the user views and dubs the original image, A process of providing a dubbing interface screen for selecting each sentence is performed.
  • a user who is provided with the original image information screen illustrated in FIG. 7 can input a dubbing request command by clicking a dubbing selection button in this screen.
  • the dubbing interface screen may include a viewing selection button for each sentence for the user to view the original video by sentence, a dubbing selection for each sentence Button, and information including text information for each sentence of the original voice included in the original image.
  • the dubbing interface screen may be configured to display a dubbing playback button for the user to select the reproduction of the dubbing image for each sentence have.
  • This dubbing playback button is not displayed when the user does not dub, but is generated and displayed after dubbing.
  • the dubbing playback button When the user presses the dubbing playback button, the dubbed sound of the user can be viewed together with the image.
  • the reproduction of the original image corresponding to the sentence-based view selection button is repeated, and every time the user selects the above- The dubbing of the original image corresponding to the dubbing selection button may be repeated.
  • the dubbing image generating unit 120 of the user terminal 1 synthesizes the dubbing voice of the user input by sentence into the original image classified by sentence A dubbing image for each sentence is generated, and a dubbing image for each sentence is synthesized to generate a dubbing image.
  • the dubbing image management unit 140 of the user terminal 1 requests the language learning support server 2 to release the dubbing image Is performed.
  • the user can select whether to transmit the dubbing image disclosure request information to the language learning support server 2 through the interface screen as illustrated in FIG. 10, or to perform dubbing again. If the user requests presentation of the dubbing image through the screen illustrated in Fig. 10, the dubbing image dubbed by the user is posted by the language learning support server 2 and is shared with other users , And is also posted to the user's profile.
  • the user can view the image dubbed by another user through the screen illustrated in FIG.
  • the user can input rating information, i.e., 'like', or input a comment, to the corresponding image. If the user desires to dub the original image, the user can switch to the screen illustrated in FIG.
  • the screens illustrated in FIGS. 12 and 13 are user profile screens, and the number of images dubbed through the profile screen, the likes received, and the list of dubbed images can be displayed. In addition to this, it is possible to switch to screens providing additional information by user selection, and the user can select a language or the like to be learned through the screens, perform member information modification, point management .
  • the additional information provided by the service management unit 110 includes profile screen information indicating a profile of the user
  • the profile screen information includes a number of dubbing images registered by the user, a list of dubbing images registered by the user, A number of followers, a number of following, a cumulative point, a user picture, a nickname, brief introduction information, and the like.
  • the language learning support server 2 transmits the evaluation information to the user terminal 1 < / RTI >
  • the language learning support server 2 provides the user with a different level point according to the difficulty level of the user's dubbing image.
  • the language learning support server 2 generates a cashable point when the user views the image dubbed by the user and provides the user with the point. These cashable points can be used as a means to enhance the advertising effect.
  • the language learning support server 2 provides buzz to the user when the user receives a 'liking' from another person or a 'liking' is received for a comment on a video dubbed by the user.
  • FIG. 4 is a diagram for explaining a specific operation of a method of supporting language learning using voice dubbing according to an embodiment of the present invention.
  • step S100 the user executes the language learning support module installed in the user terminal, and the user terminal accesses the language learning support server at the remote location according to the input of the user.
  • the communication unit of the user terminal supports communication between the language learning support module installed in the user terminal and the language learning support server.
  • step S110 the language learning support server checks whether the user is a member, and provides a response corresponding to the result to the user terminal.
  • step S120 if the user is a member having a legitimate right, the language learning support server provides data for constituting an initial screen to the user terminal. More specifically, the service management unit of the language learning support module installed in the user terminal provides the user with service information including the original image information and the additional information, using the data transmitted from the language learning support server.
  • step S130 the user terminal requests original image information to be dubbed by the user to the language learning support server, and receives the original image information from the language learning support server and displays the original image information on the screen.
  • step S140 the user terminal reproduces the original image. The user performs a process of inputting a dubbing request command after viewing an original image.
  • step S150 the service management unit of the language learning support module of the user terminal transmits the dubbing request information to the language learning support server with respect to the original image information to be dubbed, when the dubbing request command by the user is input.
  • the language learning support server transmits information related to the dubbing related information of the original image to be dubbed by the user, for example, a dubbing sentence, a script, a dubbing start point and an end point to the user terminal.
  • step S160 the service management section of the language learning support module provides the user with a dubbing interface screen for allowing the user to view and dub the original video by the sentence of the original voice included in the original video through the user terminal screen section Is performed.
  • step S170 the dubbing evaluation unit of the language learning support module may perform a process of providing a dubbing evaluation score according to the similarity of pronunciation and intonation of the user's dubbing voice input by the original image and sentence. Step S170 is executed only in the case of a premium member, and the general member is not executed.
  • step S180 the dubbing image generating unit of the language learning support module generates a dubbing image for each sentence by synthesizing the dubbing voice of the user on the original image divided for each sentence, and synthesizes the dubbing image for each sentence to generate a dubbing image .
  • step S190 when the user inputs a dubbing image registration command, the dubbing image management unit of the language learning support module requests the language learning support server to release the dubbing image.
  • the language learning support server publishes the image dubbed by the user on the network. Accordingly, other users can view the image dubbed by the user, and can create evaluation information, comments, and the like for the dubbed image.
  • step S220 a process of providing a user with a level point for raising a rating of a user according to the difficulty level of the dubbing image of the user is performed.
  • the language learning support server When another user views a video image dubbed by the user, the language learning support server generates a cashable point and provides it to the user. Also, when the user receives a 'liking' from another person about the video image dubbed or receives 'likes' about the comment, the language learning support server provides the user with the buzz.
  • the language learning support method using voice dubbing may include sets of instructions (e.g., codes) implemented on a computer-readable recording medium.
  • the instructions may be configured to be executed in a sequential order, or in parallel (e.g., under different processing threads), or a combination thereof.
  • the technique according to the present specification is available in a language learning support device.

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 음성 더빙을 이용한 어학 학습 지원 방법 및 어학 학습 지원서버에 관한 것으로, 어학 학습 효율을 크게 향상시키고 어학 학습과 관련한 사용자의 편의성을 향상시킬 수 있으며, 광고주(기업)가 제공하는 광고 영상을 어학 학습 자료로 활용함으로써 광고주는 확실한 광고효과를 얻고 어학 학습 지원서버 운영자는 운영 수익을 창출할 수 있다.

Description

음성 더빙을 이용한 어학 학습 지원 방법 및 어학 학습 지원서버
본 발명은 음성 더빙을 이용한 어학 학습 지원 방법 및 어학 학습 지원서버에 관한 것이다. 보다 구체적으로, 본 발명은 어학 학습 과정에서 사용자가 원본 음성과 자신의 더빙 음성을 수시로 비교할 수 있고, 원본 음성과 더빙 음성 간의 유사도에 대한 객관적인 평가 정보를 실시간으로 확인할 수 있도록 함으로써, 어학 학습 효율을 크게 향상시키고 어학 학습과 관련한 사용자의 편의성을 향상시킬 수 있는 음성 더빙을 이용한 어학 학습 지원 방법에 관한 것이다.
일반적으로, 보다 효과적인 어학 학습 방식에 대한 수요자 요구가 존재하며, 이에 대응하여 매우 다양한 방식의 어학 학습 툴들이 소개되고 있으나, 종래의 어학 학습 방식들은 수요자의 요구를 충분히 충족시키지 못하고 있는 현실이다.
종래 기술에 대한 수요자의 불만은 여러 가지가 있지만, 특히, 종래 기술은 서비스 공급자에 의해 정해진 콘텐츠를 수요자인 학습자들에게 일방적으로 제공하고, 학습자는 서비스 공급자에 의해 정해진 방식으로 학습을 수행하는 일방적인 학습 방식을 취하기 때문에, 학습자 개개인의 취향과 특성에 맞는 서비스를 제공하지 못하며, 이에 따라, 학습자의 학습 능률이 저하되는 등의 문제점이 있다.
본 발명은 어학 학습 효율을 크게 향상시키고 어학 학습과 관련한 사용자의 편의성을 향상시킬 수 있는 음성 더빙을 이용한 어학 학습 지원 방법을 제공하는 것을 기술적 과제로 한다.
또한, 본 발명은 광고주(기업)가 제공하는 광고 영상을 어학 학습 자료로 활용함으로써 광고주는 확실한 광고효과를 얻고 어학 학습 지원서버 운영자는 운영 수익을 창출할 수 있는 음성 더빙을 이용한 어학 학습 지원 방법을 제공하는 것을 기술적 과제로 한다.
본 발명의 다른 목적들은 이하의 실시예에 대한 설명을 통해 쉽게 이해될 수 있을 것이다.
이러한 기술적 과제를 해결하기 위한 본 발명에 따른 음성 더빙을 이용한 어학 학습 지원 방법은, 사용자 단말의 서비스 관리부가 어학 학습 지원서버로부터 전송받은 원본 영상 정보와 부가 정보를 포함하는 서비스 정보를 표시부에 표시하는 서비스 정보 제공단계와, 사용자로부터 상기 원본 영상에 대해 더빙 요청 명령이 입력되는 경우 상기 서비스 관리부는 사용자가 원본 영상의 시청과 더빙을 상기 원본 영상에 포함된 원본 음성의 문장별로 선택할 수 있도록 하는 더빙 인터페이스 화면을 표시하는 더빙 인터페이스 화면 제공단계와, 사용자 단말의 더빙 영상 생성부가 문장별로 입력되는 사용자의 더빙 음성을 상기 문장별로 구분된 원본 영상에 합성하여 문장별 더빙 영상을 생성하고 상기 문장별 더빙 영상을 합성하여 더빙 영상을 생성하는 더빙 영상 생성단계와, 상기 사용자 단말의 더빙 영상 관리부가 상기 어학 학습 지원서버로 상기 더빙 영상의 공개를 요청하는 더빙 영상 공개 요청단계를 포함한다.
본 발명에 따른 음성 더빙을 이용한 어학 학습 지원 방법에 있어서, 더빙 인터페이스 화면에는 사용자가 원본 영상의 시청을 문장별로 선택하기 위한 문장별 시청 선택버튼, 상기 원본 영상의 더빙을 상기 문장별로 선택하기 위한 문장별 더빙 선택버튼, 및 상기 원본 영상에 포함된 원본 음성의 문장별 텍스트 정보를 포함하는 것을 특징으로 한다.
본 발명에 따른 음성 더빙을 이용한 어학 학습 지원 방법에 있어서, 사용자가 원본 영상의 더빙을 문장별로 수행하여 문장별 더빙 영상이 생성된 이후, 더빙 인터페이스 화면에는 사용자가 상기 문장별 더빙 영상의 재생을 선택하기 위한 더빙 재생버튼을 더 포함하는 것을 특징으로 한다.
본 발명에 따른 음성 더빙을 이용한 어학 학습 지원 방법에 있어서, 사용자에 의해 문장별 시청 선택버튼이 선택될 때마다, 상기 문장별 시청 선택버튼에 대응하는 원본 영상의 재생이 반복되고, 사용자에 의해 상기 문장별 더빙 선택버튼이 선택될 때마다, 상기 문장별 더빙 선택버튼에 대응하는 원본 영상의 더빙이 반복되는 것을 특징으로 한다.
본 발명에 따른 음성 더빙을 이용한 어학 학습 지원 방법에 있어서, 서비스 정보 제공단계에서는, 서비스 관리부가 사용자의 관심 분야에 해당하는 원본 영상 정보를 관심분야 추천 정보로 제공하는 것을 특징으로 한다.
본 발명에 따른 음성 더빙을 이용한 어학 학습 지원 방법에 있어서, 서비스 정보 제공단계에서는, 서비스 관리부가 사용자의 등급에 해당하는 원본 영상 정보를 등급 추천 정보로 제공하는 것을 특징으로 한다.
본 발명에 따른 어학 학습 지원서버는, 어학 학습 지원 서비스를 이용하고자 하는 사용자 단말 또는 광고주 단말로 회원가입 안내정보를 전송하고, 사용자 단말 또는 광고주 단말로부터 접속 정보와 개인정보가 입력되면 상기 개인정보를 이용하여 개인 인증을 한 후 인증된 사용자의 접속정보와 개인정보를 포함하는 회원정보를 저장부에 저장하는 회원가입 처리부와;
외부장치 또는 광고주 단말로부터 입력되는 원본 영상 정보를 카테고리별 또는 난이도별로 구분하여 저장부에 저장하는 원본 영상 처리부와; 사용자 단말로부터 등록 요청된 더빙 영상 정보와 더빙된 원본 영상의 이름, 제공자, 카테고리, 난이도를 저장부에 저장하는 더빙 영상 처리부와; 사용자 단말로부터 등록 요청된 더빙 영상 정보와 더빙된 원본 영상에 관한 정보를 기초로 사용자 등급을 판단하고, 사용자 등급 정보를 저장부에 저장하는 평가정보 처리부와;
사용자가 등록한 더빙 영상의 숫자, 사용자가 등록한 더빙 영상의 리스트, 사용자의 더빙 영상 등록 행위에 대한 기간별 통계정보, 팔로워(follower)의 숫자, 팔로잉(following)의 숫자, 및 누적 포인트를 생성하여 저장부에 저장하는 부가정보 처리부를 포함한다.
본 발명에 따른 어학 학습 지원서버의 회원가입 처리부는, 일반회원(Public membership) 가입을 안내하는 정보와 유료결제를 통한 일반회원에서 프리미엄회원(Premium membership)으로의 변경을 안내하는 정보를 사용자 단말 또는 광고주 단말로 전송하고, 일반회원정보와 프리미엄회원정보를 구분하여 저장부에 저장하며, 부가정보 처리부는 광고주의 원본 영상에 대한 홍보 현황 정보를 생성하고, 상기 홍보 현황 정보를 기초로 홍보비용을 산출하도록 구현된다.
본 발명에 따르면, 어학 학습 과정에서 사용자가 원본 음성과 자신의 더빙 음성을 수시로 비교할 수 있고, 원본 음성과 더빙 음성 간의 유사도에 대한 객관적인 평가 정보를 실시간으로 확인할 수 있도록 함으로써, 어학 학습 효율을 크게 향상시키고 어학 학습과 관련한 사용자의 편의성을 향상시킬 수 있는 음성 더빙을 이용한 어학 학습 지원 방법이 제공되는 효과가 있다.
또한, 본 발명에 따르면 복수의 카테고리(예: 영화, 강의, 광고 등)별로 제공되는 원본 영상 정보에 대한 음성 더빙을 이용한 어학 학습 더빙 과정에서 불특정 다수인과 소통을 하며, 개인의 어학 실력과 취향과 특성을 만족시킬 수 있는 원본 영상을 제공함으로써, 학습자의 어학 학습 능률을 향상시킬 수 있는 효과가 있다.
또한, 본 발명에 따르면 원본 영상을 더빙하고 다른 사람이 동일한 원본 영상을 더빙한 영상을 시청한 후 평가정보(예컨대, 좋아요)를 입력하는 과정을 통해 불특정인들 간의 사회적인 관계망을 형성할 수 있는 효과가 있다.
또한, 본 발명에 따르면 광고주(기업)가 제공하는 광고 영상을 어학 학습 자료로 활용함으로써 광고주는 확실한 광고효과를 얻고 어학 학습 지원서버 운영자는 운영 수익을 창출할 수 있다.
도 1은 본 발명의 일실시예에 따른 음성 더빙을 이용한 어학 학습 지원 방법이 수행되는 시스템 구성을 예시적으로 나타낸 도면이고,
도 2는 본 발명의 일실시예에 따른 어학 학습 지원서버의 구성을 예시적으로 나타낸 도면이고,
도 3은 본 발명의 일실시예에 따른 음성 더빙을 이용한 어학 학습 지원 방법을 나타낸 도면이고,
도 4는 본 발명의 일실시예에 따른 음성 더빙을 이용한 어학 학습 지원 방법의 구체적인 동작을 예시적으로 설명하기 위한 도면이고,
도 5 내지 도 13은 본 발명의 일실시예에 있어서, 사용자 단말을 통해 사용자에게 제공되는 사용자 인터페이스 화면들을 예시적으로 나타낸 도면들이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
이하에서는, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 음성 더빙을 이용한 어학 학습 지원 방법이 수행되는 시스템 구성을 예시적으로 나타낸 도면이고, 도 2는 본 발명의 일 실시 예에 따른 어학 학습 지원서버의 구성을 예시적으로 나타낸 도면이다.
사용자 단말(1)은 데스크탑 PC, 노트북, 태블릿 PC, 스마트폰, 또는 웨어러블 PC 일 수 있다. 사용자 단말(1)은 어학 학습 지원 모듈(10)과 통신부(20)와 표시부(30)와 마이크(40)와 스피커(50)를 포함하여 구현될 수 있다. 네트워크는 유무선 인터넷망과 3G, LTE, LTE-A를 사용하는 무선망을 포함한다.
통신부(20)는 네트워크로 연결된 어학 학습 지원서버(2)와 데이터를 송수신한다. 표시부(30)는 LCD, OLED, 또는 LED 디스플레이로 구현될 수 있다. 도 1에 도시하지 않았지만, 사용자 단말(1)은 저장부 및 사용자 조작명령과 데이터를 입력받는 사용자 입력부, 예를 들어, 마우스, 키보드, 음성 입력수단, 또는 터치스크린을 포함하여 구현될 수 있다.
저장부는 실행 가능한 컴퓨터 코드 및 인간-판독 가능한 코드를 저장하도록 구성된 컴퓨터-판독 가능한 매체, 예를 들어 제거 가능한 하드 디스크들, 광학 저장 매체들(예: CD-ROM, DVD), 반도체 메모리(예: 플래시 메모리, 판독-전용 메모리(ROM), 배터리-백킹(battery-backed) 휘발성 메모리), 또는 네트워킹된 저장 디바이스로 구현될 수 있다.
사용자 단말(1)에 설치되어 실행되는 어학 학습 지원 모듈(10)은 서비스 관리부(110), 더빙 영상 생성부(120), 더빙 평가부(130), 및 더빙 영상 관리부(140)를 포함할 수 있다. 어학 학습 지원 모듈(10)은 어학 학습 지원서버(2)로부터 다운로드 되어 설치될 수 있다. 사용자는 어학 학습 지원서버(2)에서 안내하는 회원가입 절차에 따라 접속 정보(예: 아이디와 패스워드)와 개인정보(연락할 주소, 전화번호, 이름, 생일, 이-메일 주소)를 입력 후 개인 인증 과정을 거쳐 회원등록을 한다.
일례로, 어학 학습 지원서버(2)는 일반회원(Public membership)과 일반회원(Public membership) 가입 안내와 유료결제(예: 카드결제, 현금결제, 상품권 결제, 포인트 결제 등)를 통한 일반회원에서 프리미엄회원(Premium membership)으로의 변경을 안내할 수 있다. 일반회원(Public membership)은 원본 영상을 이용하여 더빙 영상을 생성하는 서비스만 받을 수 있다. 프리미엄회원(Premium membership)은 원본 영상과 더빙 영상의 발음, 억양의 유사도에 따른 더빙 평가점수 제공, 음성변조, 녹음 및 배경 음량 조절, 그리고 녹음된 음성 다운로드를 포함하는 추가 서비스까지 받을 수 있다.
서비스 관리부(110)는 어학 학습 지원서버(2)로부터 원본 영상 정보와 부가 정보를 포함하는 서비스 정보를 입력받는다. 서비스 관리부(110)는 원본 영상 정보를 복수의 카테고리 예컨대 영화(MOVIE), 드라마(DRAMA), 강의(lecture), 및 광고(AD)로 분류된 초기 화면을 표시부(30)에 표시하도록 구현될 수 있다. 다른 예로, 서비스 관리부(110)는 원본 영상 정보를 난이도(예: 초급, 중급, 상급, 최상급)로 구분하여 제공할 수 있다.
서비스 관리부(110)는 프리미엄회원(Premium membership)에게 추가 서비스로 사용자의 관심 분야에 해당하는 원본 영상정보, 사용자의 등급에 해당하는 원본 영상 정보, 또는 사용자가 원하는 어휘나 문장을 포함하는 원본 영상 정보를 구분하여 제공할 수 있다. 일례로, 서비스 관리부(110)는 어학 학습 지원서버(2)로 사용자가 원하는 어휘나 문장을 포함하는 원본 영상 요청을 하여, 어학 학습 지원서버(2)로부터 해당 어휘나 문장을 포함하는 원본 영상 정보를 입력받을 수 있다. 어휘나 문장은 광고 영상을 특정하는 역할을 하며, 사용자들의 광고 영상에 대한 인지력을 높여주어 결과적으로 광고 효과를 높여준다.
부가 정보는 사용자의 프로필을 나타내는 프로필 화면 정보를 포함한다. 일례로, 프로필 화면 정보는 사용자가 등록한 더빙 영상의 숫자, 사용자가 등록한 더빙 영상의 리스트, 사용자의 더빙 영상 등록 행위에 대한 기간별 통계정보, 팔로워(follower)의 숫자, 팔로잉(following)의 숫자, 및 누적 포인트를 포함할 수 있다.
서비스 관리부(110)는 사용자가 초기 화면을 통해 제공하는 복수의 카테고리 중 어느 하나를 선택하는 경우, 선택된 카테고리에 속하는 원본 영상들의 리스트를 제공할 수 있다. 이때, 리스트는 정보 업로드 순서, 또는 인기도에 따라 정렬된 상태로 제공될 수 있다. 서비스 관리부(110)는 사용자가 원본 영상들의 리스트 중에서 임의의 하나를 선택하면, 선택된 원본 영상의 제목, 카테고리, 난이도, 원본 영상을 더빙한 사용자의 수, 원본 영상을 더빙한 사용자들에 대한 정보, 원본 영상에 대한 설명정보를 표시부(30)에 표시할 수 있다. 또한, 선택한 원본 영상을 더빙한 사용자들에 대한 정보는 해당 사용자의 프로필 사진이 타사용자들의 평가 정보 순으로 정렬되어 제공될 수 있다. 서비스 관리부(110)는 원본 영상에 대해 더빙 요청 명령이 입력되면, 사용자가 원본 영상의 시청과 더빙을, 원본 영상에 포함된 원본 음성의 문장별로 선택할 수 있도록 하는 더빙 인터페이스 화면을 제공하도록 구현될 수 있다.
더빙 영상 생성부(120)는 문장별로 입력되는 사용자의 더빙 음성을 상기 문장별로 구분된 원본 영상에 합성하여 문장별 더빙 영상을 생성하고, 상기 문장별 더빙 영상을 합성하여 더빙 영상을 생성한다. 더빙 평가부(130)는 사용자가 프리미엄회원(Premium membership)인 경우 실행되며, 원본 영상과 더빙 영상의 발음과 억양의 유사도에 따른 더빙 평가점수를 제공한다. 더빙 평가점수는 문장별 더빙 평가점수 및 상기 문장별 더빙 평가점수를 평균한 전체 더빙 평가점수를 포함할 수 있다. 더빙 평가부(130)는 사용자로부터 더빙한 원본 영상의 난이도에 대한 평가정보를 입력받아 저장한다. 서비스 관리부(110)는 원본 영상의 난이도에 대한 평가정보를 기초로 사용자에게 맞는 원본 영상을 추천 및 제공하도록 구현될 수 있다.
더빙 영상 관리부(140)는 사용자에 의해 더빙 영상 등록 명령이 입력되는 경우, 어학 학습 지원서버(2)로 더빙 영상 공개를 요청한다. 서비스 관리부(110)는 어학 학습 지원서버(2)로부터 원본 영상의 더빙을 통해 획득한 뱃지정보를 입력받는다. 예를 들어, 사용자는 영화 카테고리에서 더빙을 10개 이상하면 뱃지를 획득할 수 있다.
어학 학습 지원서버(2)는 도 2에 도시한 바와 같이, 네트워크를 통해 사용자 단말(1) 및 광고주 단말(3)과 데이터를 송수신하는 통신부(210)와 저장부(220)와 제어부(230)를 포함하여 구현될 수 있다.
저장부(220)는 제어부(230)에서 실행되는 프로그램, 사용자 단말(1)에 제공할 어학 학습 지원 모듈, 원본 영상 정보, 사용자가 입력한 접속 정보(예: 아이디와 패스워드)와 개인정보(연락할 주소, 전화번호, 이름, 생일, 이-메일 주소), 사용자 단말(1)에서 입력받은 더빙 영상, 사용자 관심분야 정보, 사용자 등급 정보, 더빙 영상의 난이도에 따라 사용자에게 부과된 레벨 포인트 정보, 더빙에 따른 현금화 가능한 포인트 정보, 사용자의 팔로워(follower) 및 팔로잉(following) 정보, 원본 영상에 대한 사용자 난이도 평가 정보, 광고주가 등록한 광고 영상과 광고주 정보를 저장한다.
제어부(230)는 저장부(220)에 저장된 프로그램을 실행하여 사용자와 광고주를 위한 서비스를 제공하는 것으로, 회원가입 처리부(231)와 관심분야 처리부(232)와 원본 영상 처리부(233)와 더빙 영상 처리부(234)와 평가정보 처리부(235)와 강사등록 처리부(236)와 포인트 처리부(237)와 푸쉬메시지 처리부(238)와 부가정보 처리부(239)를 포함하여 구현될 수 있다.
회원가입 처리부(231)는 어학 학습 지원 서비스를 이용하고자 하는 사용자 단말(1)로 회원가입 안내정보를 전송한다. 회원가입 처리부(231)는 일반회원(Public membership)과 일반회원(Public membership) 가입 안내와 유료결제를 통한 일반회원에서 프리미엄회원(Premium membership)으로의 변경을 안내할 수 있다. 일반회원(Public membership)은 원본 영상을 이용하여 더빙 영상을 생성하는 서비스만 받을 수 있다. 프리미엄회원(Premium membership)은 원본 영상과 더빙 영상의 발음과 억양의 유사도에 따른 더빙 평가점수 제공, 음성변조, 녹음 및 배경 음량 조절, 및 녹음된 음성 다운로드를 포함하는 추가 서비스까지 받을 수 있다. 유료결제를 통한 일반회원에서 프리미엄회원(Premium membership)으로의 변경은 현금 결제, 카드 결제, 상품권 결제 또는 포인트 결제 등 다양한 방법으로 구현될 수 있다.
회원가입 처리부(231)는 사용자 단말(1)로부터 접속 정보(예: 아이디와 패스워드)와 개인정보(연락할 주소, 전화번호, 이름, 생일, 이-메일 주소)를 입력받는다. 회원가입 처리부(231)는 일례로 개인 인증 과정을 거쳐 회원등록을 처리할 수 있다. 회원가입 처리부(231)는 어학 학습 지원서버(2)를 통해 홍보 영상을 노출하기 원하는 광고주 정보를 저장부(220)에 저장한다. 광고주 정보는 접속 정보(예: 아이디와 패스워드)와 개인정보(연락할 주소, 전화번호, 이름, 생일, 이-메일 주소)를 포함한다.
관심분야 처리부(232)는 사용자 단말(1)을 통해 입력되거나 사용자가 등록한 더빙 영상 정보를 이용하여 사용자 관심분야를 판단하고 저장부(220)에 사용자 관심분야 정보를 저장한다.
원본 영상 처리부(233)는 외부장치 또는 광고주 단말(3)로부터 입력되는 원본 영상 정보를 카테고리별(예컨대: 영화, 드라마, 강의, 광고)로 또는 난이도(예: 초급, 중급, 상급, 최상급)로 구분하여 저장부(220)에 저장한다. 원본 영상의 카테고리 또는 난이도는 어학 학습 지원서버 운영자에 의해 설정될 수 있다.
원본 영상 처리부(233)는 원본 영상 정보에 포함된 어휘 또는 문장을 구분하여 저장부(220)에 저장한다. 또한, 원본 영상 처리부(233)는 사용자 단말(1)로부터 사용자가 원하는 어휘나 문장을 포함하는 원본 영상 요청정보가 입력되면, 저장부(220)로부터 해당 어휘나 문장을 포함하는 원본 영상 정보를 읽어들여 사용자 단말(1)로 전송할 수 있다. 또한, 원본 영상 처리부(233)는 사용자 단말(1)로부터 등록 요청된 더빙 영상에 포함된 개별 문장과 완전 동일하거나 일부 동일한 문장이 설정된 횟수 이상 반복되는 원본 영상 정보를 사용자 단말(1)로 학습 추천 정보로서 전송할 수 있다.
더빙 영상 처리부(234)는 사용자 단말(1)로부터 등록 요청된 더빙 영상 정보와 더빙된 원본 영상에 관한 정보 예컨대 원본 영상의 이름, 제공자, 카테고리, 난이도를 저장부(220)에 저장한다.
평가정보 처리부(235)는 사용자 단말(1)로부터 등록 요청된 더빙 영상 정보와 더빙된 원본 영상에 관한 정보를 기초로 레벨 포인트를 생성하고 사용자 등급을 판단하도록 구현될 수 있다. 평가정보 처리부(235)는 고 난이도 더빙 영상을 등록한 횟수에 따라 사용자 등급을 판단할 수 있다. 평가정보 처리부(235)는 일례로, 사용자가 입력한 원본 영상에 대한 난이도 평가정보를 기초로 사용자 등급을 판단할 수 있다. 평가정보 처리부(235)는 다른 예로 사용자의 더빙 영상을 시청한 타 사용자들의 평가 정보에 따라 사용자 등급을 판단할 수 있다. 평가정보 처리부(235)는 사용자 단말(1)로부터 등록 요청된 더빙 영상 정보와 더빙된 원본 영상에 관한 정보를 기초로 뱃지 획득달성 여부를 판단한다. 예를 들어, 평가정보 처리부(235)는 영화 카테고리에서 더빙을 10개 이상이면 뱃지를 획득한 것으로 판단할 수 있다.
강사등록 처리부(236)는 사용자의 레벨 포인트에 따른 등급이 강사등록 기준등급 이상이면 사용자를 인증 강사로 등록하여 타 사용자들에게 공개하도록 구성될 수 있다. 강사등록 처리부(236)는 공개된 인증 강사와 사용자 간의 강의를 듣거나 대화를 나눌 수 있도록 매칭하는 기능이 구현될 수 있다.
포인트 처리부(237)는 더빙을 하기 위해 사용되는 포인트(일명, 버즈)를 생성하여 저장부(220)에 저장한다. 포인트 처리부(237)는 사용자가 어학 학습 지원 서버에 회원가입 시 예컨대 50버즈, 더빙 영상에‘좋아요’를 주거나 받을 경우 예컨대 1버즈, 댓글에 ‘좋아요’를 받은 경우 예컨대 3버즈를 생성하여 저장부(220)에 저장한다. 사용자 단말에 제공된 모든 원본 영상은 잠겨있는 상태이며, 버즈를 차감하여 원본 영상의 잠김 상태를 해제할 수 있다. 이러한 버즈 사용의 목적은 어학 학습 지원 서버를 이용하는 사용자간의 커뮤니케이션 증대를 위함이다.
포인트 처리부(237)는 사용자가 더빙 영상을 생성하면 사용자의 등급을 올리기 위해 사용되는 레벨 포인트를 생성하여 저장부(220)에 저장한다. 레벨 포인트는 사용자의 더빙 영상의 난이도에 따라 차등적으로 지급된다. 다른 예로 포인트 처리부(237)는 사용자가 더빙한 영상을 타 사용자가 봤을 때 얻을 수 있는 현금화 가능한 포인트를 생성하여 저장부(220)에 저장할 수 있다. 이러한 현금화 가능한 포인트는 광고 효과를 높이기 위한 수단으로 활용될 수 있다.
푸쉬메시지 처리부(238)는 사용자가 팔로잉하는 타 사용자가 신규 더빙 영상을 등록하거나, 타 사용자가 사용자가 등록한 더빙 영상에 대한 평가 정보를 등록하는 경우, 사용자 단말(1)로 해당 이벤트 발생을 알리는 푸쉬(push) 메시지를 전송한다.
부가정보 처리부(239)는 사용자가 등록한 더빙 영상의 숫자, 사용자가 등록한 더빙 영상의 리스트, 사용자의 더빙 영상 등록 행위에 대한 기간별 통계정보, 팔로워(follower)의 숫자, 팔로잉(following)의 숫자, 및 누적 포인트를 생성하여 저장부(220)에 저장한다.
다른 예로, 부가정보 처리부(239)는 광고주의 원본 영상에 대한 홍보 현황 정보를 생성하여 광고주 단말(3)로 전송한다. 일례로, 홍보 현황 정보에는 원본 영상을 재생한 시간 및 뷰(view)수, 원본 영상을 더빙한 더빙 수와 더빙 영상을 재생한 시간 및 뷰(view)수를 포함할 수 있다. 광고주인 기업은 일정 기간동의 홍보 현황 정보를 확인하고 어학 학습 지원서버 운영자에게 홍보비용을 제공할 수 있다.
어학 학습 지원서버 운영자는 더빙 영상을 타 사용자가 재생한 시간 또는 뷰(view)수에 따라 더빙 영상을 등록한 사용자에게 홍보비용 중 일부를 혜택(예컨대: 현금화가 가능한 포인트, 상품권, 비트코인)으로서 제공할 수 있다. 예를 들어, 포인트 처리부(237)는 더빙 영상을 타 사용자가 재생한 시간 또는 뷰(view)수에 따라 더빙 영상을 등록한 사용자에게 제공할 포인트(예: 현금화가 가능한 포인트 또는 기프티콘으로 변경 가능한 포인트)를 생성하여 저장부(220)에 저장하도록 구현될 수 있다.
일례로, 홍보비용은 일정 기간을 정하고 그 기간에 원본 영상을 재생한 시간, 원본 영상 뷰(view)수, 원본 영상을 더빙한 더빙 수, 더빙 영상을 재생한 시간, 또는 더빙 영상 뷰(view)수에 따라 계산될 수 있다.
다른 예로, 홍보비용은 원본 영상을 게시할 수 있는 약정 비용일 수 있다. 부가정보 처리부(239)는 원본 영상을 재생한 시간, 원본 영상 뷰(view)수, 원본 영상을 더빙한 더빙 수, 더빙 영상을 재생한 시간, 또는 더빙 영상 뷰(view)수에 따라 홍보비용을 계산한다. 어학 학습 지원서버는 약정 비용이 모두 소진될 때까지 광고 영상을 사용자 단말기로 제공한다.
광고주인 기업은 어학 학습 지원서버 운영자와 협약을 통해 배너 또는 팝업 광고를 할 수 있으며, 어학 학습 지원서버 운영자는 배너 또는 팝업 광고에 따른 홍보비용을 기업으로부터 받아 운영 수익을 창출할 수 있다.
부가정보 처리부(239)는 사용자 단말(1)로부터 인원 수와 마감일자와 방 이름을 포함하는 더빙 참여방 생성 요청정보를 입력받아 더빙 참여방을 생성할 수 있다. 부가정보 처리부(239)는 사용자 단말(1)로부터 더빙 참여방 정보를 포함하는 참가요청정보가 입력되면 해당 더빙 참여방에 참여할 수 있는지 판단하고 가능한 경우 더빙 참여방 정보를 사용자 단말(1)로 전송하도록 구현될 수 있다. 이에 따라 하나의 원본 영상을 여러 명이 역할 혹은 대사를 선택하여 더빙할 수 있다. 더빙 참여방 내에서 참여자들은 서로 채팅이 가능하다.
부가정보 처리부(239)는 더빙 참여방에 참여한 사용자 단말로부터 입력되는 문장별 더빙 영상 정보를 합성하여 더빙 영상을 생성 및 저장하고, 더빙이 완료되면 해당 더빙 참여방을 삭제하도록 구현될 수 있다.
도 3은 본 발명의 일 실시 예에 따른 음성 더빙을 이용한 어학 학습 지원 방법을 나타낸 도면이다.
본 발명의 일 실시 예에 따른 음성 더빙을 이용한 어학 학습 지원 방법은, 서비스 정보 제공단계(S10), 더빙 인터페이스 화면 제공단계(S20), 더빙 영상 생성단계(S30), 더빙 영상 공개 요청단계(S40) 및 포인트 관리단계(S50)를 포함한다.
서비스 정보 제공단계(S10)에서는, 사용자 단말(1)의 서비스 관리부(110)가, 어학 학습 지원서버(2)로부터 전송받은 원본 영상 정보와 부가 정보를 포함하는 서비스 정보를 사용자에게 제공하는 과정이 수행된다.
예를 들어, 서비스 정보 제공단계(S10)에서는, 서비스 관리부(110)는, 원본 영상 정보 제공과 관련하여, 도 5에 예시된 바와 같이, 영화, 드라마, 쇼, 광고, 유튜브 등의 카테고리로 분류된 초기 화면을 제공할 수 있다. 사용자가 초기 화면을 통해 제공하는 특정 카테고리를 선택하는 경우, 도 6에 예시된 바와 같이, 이 카테고리에 속하는 원본 영상들에 대한 리스트 정보가 제공될 수 있다. 이때, 영상 리스트는 정보 업로드 순서, 또는 인기도에 따라 정렬된 상태로 제공될 수 있다.
또한, 사용자가 이 원본 영상들 중에서 임의의 하나를 선택하면, 도 7에 예시된 바와 같이, 선택된 원본 영상의 정보를 제공하는 화면이 제공되며, 이 화면에는 원본 영상의 제목, 카테고리, 난이도, 이 영상을 더빙한 사용자의 수를 나타내는 정보, 이 영상을 더빙한 사용자에 대한 정보, 영상에 대한 설명 정보 등이 표시될 수 있다. 또한, 이 영상을 더빙한 사용자에 대한 정보는 해당 사용자의 프로필 사진이 타사용자의 평가 정보 순으로 정렬되어 제공될 수 있다.
예를 들어, 서비스 정보 제공단계(S10)에서는, 서비스 관리부(110)가, 사용자의 관심 분야에 해당하는 원본 영상 정보를 관심분야 추천 정보로 제공할 수 있다. 예를 들어, 사용자의 관심 분야는, 사용자에 의해 직접 입력되거나, 어학 학습 지원서버(2)에 의해 수집된 사용자의 접속 이력 등을 포함하는 정보에 따라 결정될 수 있다. 예를 들어, 서비스 정보 제공단계(S10)에서는, 서비스 관리부(110)가, 사용자의 등급에 해당하는 원본 영상 정보를 등급 추천 정보로 제공할 수 있다.
예를 들어, 사용자의 등급은 사용자가 더빙한 원본 영상의 난이도에 따라 결정될 수 있다. 보다 구체적인 예로, 사용자의 등급은 고 난이도의 원본 영상을 더빙하여 생성된 고 난이도 더빙 영상을 등록한 횟수 및 고 난이도의 더빙 영상에 대한 타 사용자들의 평가 정보에 따라 결정될 수 있다. 이러한 구성을 통해, 사용자들에 의한 성의없는 더빙 및 무분별한 더빙 영상 등록을 방지할 수 있다.
예를 들어, 사용자의 등급은, 사용자의 더빙 영상을 시청한 타 사용자들의 평가 정보에 의해 결정되고, 사용자의 등급이 강사등록 기준등급 이상인 경우, 어학 학습 지원서버(2)는, 사용자를 인증 강사로 등록하여 타 사용자들에게 공개하도록 구성될 수 있다. 이러한 구성을 통해, 예를 들어, 사용자가 인증 강사로 등록되면, 학생인 타 사용자가 비용을 지불하고 원하는 인증 강사에게 강의를 듣거나 대화를 나눌 수 있다. 여기서, 비용은 실제 결제를 통한 요금 혹은 포인트일 수 있다. 인증 강사로 등록된 사용자는 어학 학습 지원서버(2)가 제공하는 온라인 환경에서, 제한된 시간 내에서 타 사용자와 1:1 대화를 하는 방식으로 강의를 진행할 수 있다.
예를 들어, 서비스 정보 제공단계(S10)에서는, 서비스 관리부(110)가, 사용자의 더빙 영상에 포함되어 있는 어휘가 설정된 횟수 이상 반복되는 원본 영상 정보를 학습 추천 정보로 제공할 수 있다.
예를 들어, 서비스 정보 제공단계(S10)에서는, 서비스 관리부(110)가, 사용자의 더빙 영상에 포함되어 있는 개별 문장과 완전 동일하거나 일부 동일한 문장이 설정된 횟수 이상 반복되는 원본 영상 정보를 학습 추천 정보로 제공할 수 있다.
예를 들어, 서비스 정보 제공단계(S10)에서는, 서비스 관리부(110)가, 원본 영상 정보를 카테고리별 및 난이도별로 구분하여 제공할 수 있다.
더빙 인터페이스 화면 제공단계(S20)에서는, 원본 영상 정보를 제공받은 사용자로부터 더빙 요청 명령이 입력되는 경우, 서비스 관리부(110)가, 사용자가 원본 영상의 시청과 더빙을 원본 영상에 포함된 원본 음성의 문장별로 선택할 수 있도록 하는 더빙 인터페이스 화면을 제공하는 과정이 수행된다.
예를 들어, 도 7에 예시된 원본 영상 정보 화면을 제공받은 사용자가 이 화면에서 더빙 선택 버튼을 클릭함으로써 더빙 요청 명령을 입력할 수 있다.
예를 들어, 도 8 및 도 9를 참조하면, 더빙 인터페이스 화면에는, 사용자가 원본 영상의 시청을 문장별로 선택하기 위한 문장별 시청 선택버튼, 원본 영상의 더빙을 문장별로 선택하기 위한 문장별 더빙 선택버튼, 원본 영상에 포함된 원본 음성의 문장별 텍스트 정보를 포함하는 정보가 표시될 수 있다.
예를 들어, 사용자가 원본 영상의 더빙을 문장별로 수행하여 문장별 더빙 영상이 생성된 이후, 더빙 인터페이스 화면에는, 사용자가 문장별 더빙 영상의 재생을 선택하기 위한 더빙 재생버튼이 표시되도록 구성될 수 있다. 이 더빙 재생버튼은 사용자가 더빙하지 않았을 경우에는 표시되지 않고, 더빙을 한 후에 생성되어 표시되고, 사용자가 이 더빙 재생버튼을 누르면 본인이 더빙한 음성을 영상과 함께 볼 수 있다.
예를 들어, 사용자에 의해 문장별 시청 선택버튼이 선택될 때마다, 문장별 시청 선택버튼에 대응하는 원본 영상의 재생이 반복되고, 사용자에 의해 상기 문장별 더빙 선택버튼이 선택될 때마다, 문장별 더빙 선택버튼에 대응하는 원본 영상의 더빙이 반복되도록 구성될 수 있다.
더빙 영상 생성단계(S30)에서는, 사용자에 의해 더빙이 선택되는 경우, 사용자 단말(1)의 더빙 영상 생성부(120)가, 문장별로 입력되는 사용자의 더빙 음성을 문장별로 구분된 원본 영상에 합성하여 문장별 더빙 영상을 생성하고, 문장별 더빙 영상을 합성하여 더빙 영상을 생성하는 과정이 수행된다.
더빙 영상 공개 요청단계(S40)에서는, 사용자에 의해 더빙 영상 등록 명령이 입력되는 경우, 사용자 단말(1)의 더빙 영상 관리부(140)가, 어학 학습 지원서버(2)로 더빙 영상의 공개를 요청하는 과정이 수행된다. 예를 들어, 도 10에 예시된 바와 같은 인터페이스 화면을 통해 사용자는 더빙 영상 공개 요청 정보를 어학 학습 지원서버(2)로 전송하거나, 더빙 다시 하기를 선택할 수 있다. 만약, 사용자가 도 10에 예시된 화면을 통해, 제출하기 즉, 더빙 영상의 공개를 요청하는 경우, 사용자가 더빙한 더빙 영상은 어학 학습 지원서버(2)에 의해 게시되어 타사용자들에게 공유되고, 사용자의 프로필에도 게시된다.
사용자는 도 11에 예시된 화면을 통해 다른 사용자가 더빙한 영상을 볼 수 있다. 사용자는 해당 영상에 평가 정보 입력 즉,‘좋아요’를 선택하거나 댓글을 입력할 수 있으며, 더빙하고 싶은 경우 원본 영상을 선택하면 도 7에 예시된 화면으로 전환되어 더빙을 할 수도 있다.
도 12 및 도 13에 예시된 화면은 사용자의 프로필 화면으로서, 이 프로필 화면을 통해 더빙한 영상 숫자, 받은 좋아요 숫자, 더빙한 영상 리스트가 표시될 수 있다. 이 외에도, 사용자 선택에 의해 부가적인 정보를 제공하는 화면들로 전환될 수 있으며, 이 화면들을 통해 사용자가 학습하고자 하는 언어 등을 선택하거나, 회원 정보 수정, 후술하는 포인트 관리 등에 대한 동작을 수행할 수 있다.
예를 들어, 서비스 관리부(110)에 의해 제공되는 부가 정보는 사용자의 프로필을 나타내는 프로필 화면 정보를 포함하고, 프로필 화면 정보는, 사용자가 등록한 더빙 영상의 숫자, 사용자가 등록한 더빙 영상의 리스트, 사용자의 더빙 영상 등록 행위에 대한 기간별 통계정보, 팔로워(follower)의 숫자, 팔로잉(following)의 숫자, 누적 포인트, 사용자 사진, 닉네임, 간단한 소개 정보 등을 포함하도록 구성될 수 있다.
또한, 예를 들어, 사용자가 팔로잉하는 타 사용자가 신규 더빙 영상을 등록하거나, 타 사용자가 사용자가 등록한 더빙 영상에 대한 평가 정보를 등록하는 경우, 어학 학습 지원서버(2)는, 사용자 단말(1)로 해당 이벤트 발생을 푸쉬(push)하도록 구성될 수 있다.
또한, 사용자가 사용자 단말(1)의 화면부(30)에 표시되는 더빙 영상에 대한 좋아요 숫자를 누르면, 이 더빙 영상을 좋아한 사람들의 리스트가 표시되도록 구성될 수 있다.
포인트 관리단계(S50)에서, 어학 학습 지원서버(2)는 사용자의 더빙 영상의 난이도에 따라 차등적인 레벨 포인트를 사용자에게 제공한다. 어학 학습 지원서버(2)는 사용자가 더빙한 영상을 타 사용자가 봤을 때 현금화 가능한 포인트를 생성하여 사용자에게 제공한다. 이러한 현금화 가능한 포인트는 광고 효과를 높이기 위한 수단으로 활용될 수 있다. 또한, 어학 학습 지원서버(2)는 사용자가 더빙한 영상에 대해 다른 사람으로부터‘좋아요’를 받았을 경우 또는 댓글에 대해 ‘좋아요’를 받았을 경우 버즈를 사용자에게 제공한다.
도 4는 본 발명의 일 실시 예에 따른 음성 더빙을 이용한 어학 학습 지원 방법의 구체적인 동작을 예시적으로 설명하기 위한 도면이다.
도 4를 추가적으로 참조하면, 단계 S100에서는, 사용자가 사용자 단말에 설치된 어학 학습 지원 모듈을 실행시키고, 사용자 단말이 사용자의 입력에 따라 원격지의 어학 학습 지원서버에 접속하는 과정이 수행된다. 사용자 단말의 통신부는 사용자 단말에 설치된 어학 학습 지원 모듈과 어학 학습 지원서버와의 통신을 지원한다.
단계 S110에서는, 어학 학습 지원서버가 사용자가 회원인지 여부를 확인하고, 그 결과에 상응하는 응답을 사용자 단말에 제공하는 과정이 수행된다.
단계 S120에서는, 사용자가 정당한 권한을 가진 회원인 경우, 어학 학습 지원서버는 사용자 단말로 초기 화면을 구성하기 위한 데이터를 제공한다. 보다 구체적으로, 사용자 단말에 설치된 어학 학습 지원 모듈의 서비스 관리부는, 어학 학습 지원서버로부터 전송받은 데이터를 이용하여 원본 영상 정보와 부가 정보를 포함하는 서비스 정보를 사용자에게 제공한다.
단계 S130에서는, 사용자 단말은 어학 학습 지원서버로 사용자가 선택한 더빙하고자 하는 원본 영상 정보를 요청하고, 어학 학습 지원서버로부터 원본 영상 정보를 제공받아 화면에 표시한다. 단계 S140에서, 사용자 단말은 원본 영상을 재생한다. 사용자는 원본 영상을 시청한 후 더빙 요청 명령을 입력하는 과정을 수행한다.
단계 S150에서 사용자 단말의 어학 학습 지원 모듈의 서비스 관리부는 사용자에 의한 더빙 요청 명령이 입력되면, 더빙하고자 하는 원본 영상 정보에 대해 더빙 요청 정보를 어학 학습 지원서버로 전송한다. 어학 학습 지원서버는 사용자가 더빙하고자 하는 원본 영상의 더빙 관련 정보, 예를 들어, 더빙 문장, 스크립트, 더빙 시작점과 종료점 등에 관한 정보를 사용자 단말로 전송한다.
단계 S160에서는, 어학 학습 지원 모듈의 서비스 관리부가, 사용자가 원본 영상의 시청과 더빙을 원본 영상에 포함된 원본 음성의 문장별로 선택할 수 있도록 하는 더빙 인터페이스 화면을 사용자 단말 화면부를 통해 사용자에게 제공하는 과정이 수행된다. 단계 S170에서는, 어학 학습 지원 모듈의 더빙 평가부가, 원본 영상과 문장별로 입력되는 사용자의 더빙 음성의 발음과 억양의 유사도에 따른 더빙 평가점수를 제공하는 과정이 수행될 수 있다. 단계 S170은 프리미엄 회원의 경우에만 실행되고, 일반회원은 실행되지 않는다. 단계 S180에서 어학 학습 지원 모듈의 더빙 영상 생성부는 문장별로 구분된 원본 영상에 사용자의 더빙 음성을 합성하여 문장별 더빙 영상을 생성하고, 문장별 더빙 영상을 합성하여 더빙 영상을 생성하는 과정이 수행된다.
단계 S190에서 어학 학습 지원 모듈의 더빙 영상 관리부는, 사용자에 의해 더빙 영상 등록 명령이 입력되는 경우, 어학 학습 지원서버로 더빙 영상의 공개를 요청한다. 단계 S200, 단계 S210에서는, 어학 학습 지원서버가 사용자에 의해 더빙된 영상을 네트워크에 게시하는 과정이 수행된다. 이를 통해, 타 사용자들은 사용자에 의해 더빙된 영상을 열람하고, 이에 대한 평가 정보, 댓글 등을 작성할 수 있다. 단계 S220에서는, 사용자의 더빙 영상의 난이도에 따라 차등적인 포인트, 즉 사용자의 등급을 올리기 위한 레벨 포인트를 사용자에게 제공하는 과정이 수행된다. 사용자가 더빙한 영상을 타 사용자가 봤을 때 어학 학습 지원서버는 현금화 가능한 포인트를 생성하여 사용자에게 제공한다. 또한, 사용자가 더빙한 영상에 대해 다른 사람으로부터‘좋아요’를 받았을 경우 또는 댓글에 대해 ‘좋아요’를 받았을 경우 어학 학습 지원서버는 버즈를 사용자에게 제공한다.
본 발명에 따른 음성 더빙을 이용한 어학 학습 지원 방법은 컴퓨터 판독 가능한 기록매체상에 실현되는 명령들(예를 들어 코드들)의 세트들을 포함할 수 있다. 명령들은 순차적인 순서로, 또는 병렬로(예컨대, 상이한 프로세싱 스레드들 하에서), 또는 이들의 결합으로 실행되게 구성될 수 있다.
<부호의 설명>
1: 사용자 단말
2: 어학 학습 지원서버
10: 어학 학습 지원 모듈
110: 서비스 관리부
120: 더빙 영상 생성부
130: 더빙 평가부
140: 더빙 영상 관리부
20: 통신부
30: 화면부
40: 마이크
50: 스피커
발명의 실시를 위한 형태는 전술한 바와 같이, 발명의 실시를 위한 최선의 형태로 상술되었다.
본 명세서에 따른 기술은 어학 학습 지원장치에서 이용 가능하다.

Claims (22)

  1. 원격지에 설치된 어학 학습 지원 서버와 사용자 단말을 포함하는 어학 학습 지원 시스템에서 실행되는 음성 더빙을 이용한 어학 학습 지원 방법으로서,
    상기 사용자 단말의 서비스 관리부가, 상기 어학 학습 지원서버로부터 전송받은 원본 영상 정보와 부가 정보를 포함하는 서비스 정보를 사용자에게 제공하는 서비스 정보 제공단계;
    상기 원본 영상 정보를 제공받은 사용자로부터 더빙 요청 명령이 입력되는 경우, 상기 서비스 관리부가, 상기 사용자가 원본 영상의 시청과 더빙을 상기 원본 영상에 포함된 원본 음성의 문장별로 선택할 수 있도록 하는 더빙 인터페이스 화면을 제공하는 더빙 인터페이스 화면 제공단계;
    상기 사용자에 의해 상기 더빙이 선택되는 경우, 상기 사용자 단말의 더빙 영상 생성부가, 상기 문장별로 입력되는 상기 사용자의 더빙 음성을 상기 문장별로 구분된 원본 영상에 합성하여 문장별 더빙 영상을 생성하고, 상기 문장별 더빙 영상을 합성하여 더빙 영상을 생성하는 더빙 영상 생성단계; 및
    상기 사용자에 의해 더빙 영상 등록 명령이 입력되는 경우, 상기 사용자 단말의 더빙 영상 관리부가, 상기 어학 학습 지원서버로 상기 더빙 영상의 공개를 요청하는 더빙 영상 공개 요청단계를 포함하는, 음성 더빙을 이용한 어학 학습 지원 방법.
  2. 청구항 1에 있어서,
    상기 더빙 인터페이스 화면에는,
    상기 사용자가 상기 원본 영상의 시청을 상기 문장별로 선택하기 위한 문장별 시청 선택버튼, 상기 원본 영상의 더빙을 상기 문장별로 선택하기 위한 문장별 더빙 선택버튼, 상기 원본 영상에 포함된 원본 음성의 문장별 텍스트 정보를 포함하는 정보가 표시되는 것을 특징으로 하는, 음성 더빙을 이용한 어학 학습 지원 방법.
  3. 청구항 1에 있어서,
    상기 사용자가 상기 원본 영상의 더빙을 상기 문장별로 수행하여 문장별 더빙 영상이 생성된 이후,
    상기 더빙 인터페이스 화면에는,
    상기 사용자가 상기 문장별 더빙 영상의 재생을 선택하기 위한 더빙 재생버튼이 표시되는 것을 특징으로 하는, 음성 더빙을 이용한 어학 학습 지원 방법.
  4. 청구항 2에 있어서,
    상기 사용자에 의해 상기 문장별 시청 선택버튼이 선택될 때마다, 상기 문장별 시청 선택버튼에 대응하는 원본 영상의 재생이 반복되고,
    상기 사용자에 의해 상기 문장별 더빙 선택버튼이 선택될 때마다, 상기 문장별 더빙 선택버튼에 대응하는 원본 영상의 더빙이 반복되는 것을 특징으로 하는, 음성 더빙을 이용한 어학 학습 지원 방법.
  5. 청구항 1에 있어서,
    상기 서비스 정보 제공단계에서는,
    상기 서비스 관리부가, 상기 사용자의 관심 분야에 해당하는 원본 영상 정보를 관심분야 추천 정보로 제공하는 것을 특징으로 하는, 음성 더빙을 이용한 어학 학습 지원 방법.
  6. 청구항 1에 있어서,
    상기 서비스 정보 제공단계에서는,
    상기 서비스 관리부가, 상기 사용자의 등급에 해당하는 원본 영상 정보를 등급 추천 정보로 제공하는 것을 특징으로 하는, 음성 더빙을 이용한 어학 학습 지원 방법.
  7. 청구항 1에 있어서,
    상기 서비스 정보 제공단계에서는,
    상기 서비스 관리부가, 상기 사용자의 더빙 영상에 포함되어 있는 어휘가 설정된 횟수 이상 반복되는 원본 영상 정보를 학습 추천 정보로 제공하는 것을 특징으로 하는, 음성 더빙을 이용한 어학 학습 지원 방법.
  8. 청구항 1에 있어서,
    상기 서비스 정보 제공단계에서는,
    상기 서비스 관리부가, 상기 사용자의 더빙 영상에 포함되어 있는 개별 문장과 완전 동일하거나 일부 동일한 문장이 설정된 횟수 이상 반복되는 원본 영상 정보를 학습 추천 정보로 제공하는 것을 특징으로 하는, 음성 더빙을 이용한 어학 학습 지원 방법.
  9. 청구항 1에 있어서,
    상기 더빙 영상 생성단계 이후,
    상기 사용자 단말의 더빙 평가부가, 상기 원본 영상과 상기 더빙 영상의 발음과 억양의 유사도에 따른 더빙 평가점수를 제공하는 더빙 평가정보 제공단계를 더 포함하는 것을 특징으로 하는, 음성 더빙을 이용한 어학 학습 지원 방법.
  10. 청구항 9에 있어서,
    상기 더빙 평가정보 제공단계에서 제공되는 더빙 평가점수는,
    문장별 더빙 평가점수 및 상기 문장별 더빙 평가점수를 평균한 전체 더빙 평가점수를 포함하는 것을 특징으로 하는, 음성 더빙을 이용한 어학 학습 지원 방법.
  11. 청구항 1에 있어서,
    상기 서비스 정보 제공단계에서는,
    상기 서비스 관리부가, 상기 원본 영상 정보를 카테고리별 및 난이도별로 구분하여 제공하는 것을 특징으로 하는, 음성 더빙을 이용한 어학 학습 지원 방법.
  12. 청구항 1에 있어서,
    상기 서비스 관리부에 의해 제공되는 부가 정보는 상기 사용자의 프로필을 나타내는 프로필 화면 정보를 포함하고,
    상기 프로필 화면 정보는,
    상기 사용자가 등록한 더빙 영상의 숫자, 상기 사용자가 등록한 더빙 영상의 리스트, 상기 사용자의 더빙 영상 등록 행위에 대한 기간별 통계정보, 팔로워(follower)의 숫자, 팔로잉(following)의 숫자, 누적 포인트를 포함하는 것을 특징으로 하는, 음성 더빙을 이용한 어학 학습 지원 방법.
  13. 청구항 1에 있어서,
    상기 더빙 영상 생성단계에서는,
    상기 더빙 영상을 생성한 후 사용자로부터 해당 원본 영상의 난이도 평가정보를 입력받아 저장하고,
    상기 서비스 정보 제공단계에서는,
    상기 난이도 평가정보에 맞는 원본 영상 정보를 추천 정보로 제공하는,
    음성 더빙을 이용한 어학 학습 지원 방법.
  14. 사용자 단말 및 광고주 단말과 네트워크를 통해 연결되는 어학 학습 지원서버로서, 상기 어학 학습 지원서버는:
    어학 학습 지원 서비스를 이용하고자 하는 사용자 단말 또는 광고주 단말로 회원가입 안내정보를 전송하고, 사용자 단말 또는 광고주 단말로부터 접속 정보와 개인정보가 입력되면 상기 개인정보를 이용하여 개인 인증을 한 후 인증된 사용자의 접속정보와 개인정보를 포함하는 회원정보를 저장부에 저장하는 회원가입 처리부와;
    외부장치 또는 광고주 단말로부터 입력되는 원본 영상 정보를 카테고리별 또는 난이도별로 구분하여 저장부에 저장하는 원본 영상 처리부와;
    사용자 단말로부터 등록 요청된 더빙 영상 정보와 더빙된 원본 영상의 이름, 제공자, 카테고리, 난이도를 저장부에 저장하는 더빙 영상 처리부와;
    사용자 단말로부터 등록 요청된 더빙 영상 정보와 더빙된 원본 영상에 관한 정보를 기초로 사용자 등급을 판단하고, 사용자 등급 정보를 저장부에 저장하는 평가정보 처리부와;
    사용자가 등록한 더빙 영상의 숫자, 사용자가 등록한 더빙 영상의 리스트, 사용자의 더빙 영상 등록 행위에 대한 기간별 통계정보, 팔로워(follower)의 숫자, 팔로잉(following)의 숫자, 및 누적 포인트를 생성하여 저장부에 저장하는 부가정보 처리부;
    를 포함하는 어학 학습 지원서버.
  15. 청구항 14에 있어서,
    상기 회원가입 처리부는,
    일반회원(Public membership) 가입을 안내하는 정보와 유료결제를 통한 일반회원에서 프리미엄회원(Premium membership)으로의 변경을 안내하는 정보를 사용자 단말 또는 광고주 단말로 전송하고, 일반회원정보와 프리미엄회원정보를 구분하여 저장부에 저장하는 것,
    을 특징으로 하는 어학 학습 지원서버.
  16. 청구항 14에 있어서,
    상기 부가정보 처리부는,
    광고주의 원본 영상에 대한 홍보 현황 정보를 생성하고, 상기 홍보 현황 정보를 기초로 홍보비용을 산출하는 것,
    을 특징으로 하는 어학 학습 지원서버.
  17. 청구항 14에 있어서,
    사용자의 등급이 강사등록 기준등급 이상이면 사용자를 인증 강사로 등록하여 타 사용자들에게 공개하고, 사용자 단말의 요청에 따라 공개된 인증 강사와 사용자 간의 강의를 듣거나 대화를 나눌 수 있도록 매칭하는 강사등록 처리부;
    를 더 포함하는 어학 학습 지원서버.
  18. 청구항 14에 있어서,
    사용자의 더빙 영상의 난이도에 따라 사용자의 등급을 올리기 위한 레벨 포인트를 생성하여 저장부에 저장하는 포인트 처리부;
    를 더 포함하는 어학 학습 지원서버.
  19. 청구항 18에 있어서,
    상기 포인트 처리부는,
    더빙 영상을 타 사용자가 재생한 시간 또는 뷰(view)수에 따라 더빙 영상을 등록한 사용자에게 제공할 현금화가 가능한 포인트 또는 기프티콘으로 변경 가능한 포인트를 생성하여 저장부에 저장하며,
    사용자가 회원가입 시, 더빙 영상에‘좋아요’를 주거나 받을 경우, 댓글에 ‘좋아요’를 받은 경우 더빙을 하기 위해 사용되는 포인트를 생성하여 저장부에 저장하는 것,
    을 특징으로 하는 어학 학습 지원서버.
  20. 청구항 14에 있어서,
    사용자가 팔로잉하는 타 사용자가 신규 더빙 영상을 등록하거나, 타 사용자가 사용자가 등록한 더빙 영상에 대한 평가 정보를 등록하는 경우, 사용자 단말로 해당 이벤트 발생을 알리는 푸쉬(push) 메시지를 전송하는 푸쉬메시지 처리부;
    를 더 포함하는 어학 학습 지원서버.
  21. 청구항 14에 있어서,
    사용자 단말로부터 입력되거나 사용자가 등록한 더빙 영상 정보를 이용하여 사용자 관심분야를 판단하여 사용자 관심분야 정보를 저장부에 저장하는 관심분야 처리부;
    를 더 포함하는 어학 학습 지원서버.
  22. 청구항 14에 있어서,
    상기 부가정보 처리부는,
    사용자 단말로부터 인원 수와 마감일자와 방 이름을 포함하는 더빙 참여방 생성 요청정보를 입력받아 더빙 참여방을 생성하고,
    사용자 단말로부터 더빙 참여방 정보를 포함하는 참가요청정보가 입력되면 해당 더빙 참여방에 참여할 수 있는지 판단하고 가능한 경우 더빙 참여방 정보를 사용자 단말로 전송하며,
    상기 더빙 참여방에 참여한 사용자 단말로부터 입력되는 문장별 더빙 영상 정보를 합성하여 더빙 영상을 생성하고, 더빙이 완료되면 해당 더빙 참여방을 삭제하는 것,
    을 특징으로 하는 어학 학습 지원서버.
PCT/KR2017/014985 2017-12-19 2017-12-19 음성 더빙을 이용한 어학 학습 지원 방법 및 어학 학습 지원서버 WO2019124575A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2017/014985 WO2019124575A1 (ko) 2017-12-19 2017-12-19 음성 더빙을 이용한 어학 학습 지원 방법 및 어학 학습 지원서버

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2017/014985 WO2019124575A1 (ko) 2017-12-19 2017-12-19 음성 더빙을 이용한 어학 학습 지원 방법 및 어학 학습 지원서버

Publications (1)

Publication Number Publication Date
WO2019124575A1 true WO2019124575A1 (ko) 2019-06-27

Family

ID=66994768

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/014985 WO2019124575A1 (ko) 2017-12-19 2017-12-19 음성 더빙을 이용한 어학 학습 지원 방법 및 어학 학습 지원서버

Country Status (1)

Country Link
WO (1) WO2019124575A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022161328A1 (zh) * 2021-01-26 2022-08-04 北京有竹居网络技术有限公司 视频处理方法、装置、存储介质及设备
US11594226B2 (en) 2020-12-22 2023-02-28 International Business Machines Corporation Automatic synthesis of translated speech using speaker-specific phonemes

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040065593A (ko) * 2003-01-15 2004-07-23 박창근 음성인식을 이용한 온라인 외국어학습 방법 및 그 시스템
KR20150043904A (ko) * 2013-10-15 2015-04-23 주식회사 케이티 학습 컨텐츠를 제공하는 방법 및 장치
KR20150115590A (ko) * 2014-04-14 2015-10-14 심상근 따라 하기 외국어교육 인터넷 운영시스템 및 그 응용
KR20170089103A (ko) * 2016-01-26 2017-08-03 (주)네오팝콘 방송 컨텐츠를 이용한 한국어 교육 제공 시스템 및 방법
KR101781458B1 (ko) * 2016-04-29 2017-09-26 (주)웅진컴퍼스 언어 학습 서비스 제공 시스템 및 언어 학습 서비스 제공 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040065593A (ko) * 2003-01-15 2004-07-23 박창근 음성인식을 이용한 온라인 외국어학습 방법 및 그 시스템
KR20150043904A (ko) * 2013-10-15 2015-04-23 주식회사 케이티 학습 컨텐츠를 제공하는 방법 및 장치
KR20150115590A (ko) * 2014-04-14 2015-10-14 심상근 따라 하기 외국어교육 인터넷 운영시스템 및 그 응용
KR20170089103A (ko) * 2016-01-26 2017-08-03 (주)네오팝콘 방송 컨텐츠를 이용한 한국어 교육 제공 시스템 및 방법
KR101781458B1 (ko) * 2016-04-29 2017-09-26 (주)웅진컴퍼스 언어 학습 서비스 제공 시스템 및 언어 학습 서비스 제공 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11594226B2 (en) 2020-12-22 2023-02-28 International Business Machines Corporation Automatic synthesis of translated speech using speaker-specific phonemes
WO2022161328A1 (zh) * 2021-01-26 2022-08-04 北京有竹居网络技术有限公司 视频处理方法、装置、存储介质及设备

Similar Documents

Publication Publication Date Title
US10334301B2 (en) Providing content responsive to multimedia signals
KR101899921B1 (ko) 온라인 한국어 학습 시스템 및 온라인 한국어 학습 방법
KR101301127B1 (ko) 콘텐츠 시청 확인 장치 및 그 방법
KR101670824B1 (ko) 광고 영상 감독과 광고주 중개방법
WO2020159001A1 (ko) 인스턴트 메신저 기반의 광고 및 리워드 시스템
WO2019124575A1 (ko) 음성 더빙을 이용한 어학 학습 지원 방법 및 어학 학습 지원서버
Wosick Pornography
WO2022145946A1 (ko) 학습 영상 및 예문의 인공지능 추천기반 언어학습 시스템 및 방법
WO2014025095A1 (ko) 인터랙티브 방송 프로그램의 힌트 정보 제공을 위한 시스템 및 방법
JP2007200210A (ja) コンテンツ配信システム、コンテンツ配信プログラム及びコンテンツ配信方法
WO2020111637A1 (ko) 몰입도 운용 방법 및 이를 지원하는 전자 장치
KR102101817B1 (ko) 인터넷 상에 공개된 동영상을 이용한 어학 학습 지원 장치
WO2014178498A1 (ko) 광고 영상 제작방법 및 이를 위한 제작 시스템과 광고영상이 포함된 영화 파일 제작 시스템 및 영화 파일 제공방법
KR100610276B1 (ko) 인터넷 강의 시스템 및 그것을 이용한 강의방법
KR20000050086A (ko) 인터넷을 이용한 실시간 외국어 회화 학습 시스템 및 그방법
Bartneck et al. An electronic museum guide in real use.
Borchers et al. Revisiting audio observations to collect qualitative data during the COVID-19 pandemic
KR101923130B1 (ko) Ｓｎｓ 제공시스템
KR20160142188A (ko) 음악 레슨 서비스 제공 시스템, 서버 및 방법
WO2020096084A1 (ko) 게임 전문 소셜 네트워크 서비스 시스템 및 방법
KR20090025441A (ko) 동영상 팁 서비스 방법, 사용자 단말 및 기록매체
KR20140110557A (ko) 영상피드백을 활용한 이러닝 시스템
WO2023090565A1 (ko) 플랫폼 앨범 서비스 제공 방법 및 장치
KR101605781B1 (ko) 온라인 상영관 서비스 제공 시스템
WO2020256531A1 (ko) 프로젝트 업무 및 참여 경력 자동 추가에 기반한 온라인 사용자 프로필 관리 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17935331

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17935331

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 20/01/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 17935331

Country of ref document: EP

Kind code of ref document: A1