WO2022149661A1 - Method and apparatus for providing language-learning content using avatar generated from portrait - Google Patents

Method and apparatus for providing language-learning content using avatar generated from portrait Download PDF

Info

Publication number
WO2022149661A1
WO2022149661A1 PCT/KR2021/005121 KR2021005121W WO2022149661A1 WO 2022149661 A1 WO2022149661 A1 WO 2022149661A1 KR 2021005121 W KR2021005121 W KR 2021005121W WO 2022149661 A1 WO2022149661 A1 WO 2022149661A1
Authority
WO
WIPO (PCT)
Prior art keywords
image window
user
server
present
image
Prior art date
Application number
PCT/KR2021/005121
Other languages
French (fr)
Korean (ko)
Inventor
송진주
Original Assignee
주식회사 헤이스타즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 헤이스타즈 filed Critical 주식회사 헤이스타즈
Publication of WO2022149661A1 publication Critical patent/WO2022149661A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40Business processes related to the transportation industry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/50Business processes related to the communications industry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/06Foreign languages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages

Definitions

  • the present invention relates to a method and apparatus for providing language content providing a display object corresponding to each of a user input message and a response message thereto, and an image window in which a single sound image of the response message is displayed together.
  • foreign language education has been achieved by selecting content suitable for one from among pre-generated language content.
  • the user accesses the language education system and selects and makes a reservation for the language content deemed suitable for him in consideration of the name of the language content, lecture level, instructor, etc. I had to go through a consultation visit.
  • the present invention is to solve the above-mentioned problems, and by generating a monophonic image for messages using an avatar model generated based on a user's selection, arouse the user's interest in language learning and improve the continuity of learning want to do
  • a method for providing language content includes: obtaining a user input message; receiving a response message to the input message from a server; generating one or more display objects corresponding to each of the input message and the response message; receiving, from the server, a first image window in which an image of a monologue of the response message by an avatar model is displayed; and displaying the one or more display objects and the first image window.
  • a method for providing language content includes: before acquiring the input message, acquiring at least one avatar image for generating the avatar model from the user; and transmitting the at least one avatar image to the server, and transmitting a request for generating the avatar model to the server.
  • the displaying may include dividing the first image window into a first area including the face of the avatar model and a second area excluding the first area; and displaying the one or more display objects on the second area.
  • Displaying the one or more display objects on the second area includes displaying the one or more display objects on the second area in chronological order so that the most recent display object is displayed at a predetermined position. can do.
  • the displaying may further include displaying the one or more display objects in chronological order on the first image window.
  • the displaying may include: identifying a display object selected by a user from among one or more display objects displayed on the first image window; checking a selection message corresponding to the identified display object; transmitting, to the server, a request for generating a second image window in which identification information of the selection message and a reading image of the selection message by the avatar model are displayed; receiving the second image window from the server; and displaying the second image window in place of the first image window.
  • the method for providing language content includes: obtaining a response message from the user to a query received from the server; transmitting the response message to the server, and receiving an effect selection menu corresponding to the score of the response message from the server; transmitting a user's selection input for the menu to the server; receiving a third image window to which an effect according to the selection input is applied from the server; and displaying the third image window.
  • the effect may include an effect of adding a first image including the user's face to the first image window.
  • the effect may include an effect of applying the item selected by the user to the avatar on the first image window.
  • a language content providing apparatus includes a control unit, wherein the control unit obtains a user input message, receives a response message to the input message from a server, and each of the input message and the response message generates one or more display objects corresponding to , and receives a first image window in which a reading image of the response message by an avatar model is displayed from the server, and displays the one or more display objects and the first image window. can be displayed
  • the controller may obtain at least one avatar image for generating the avatar model from the user, transmit the at least one avatar image to the server, and transmit a request for generating the avatar model to the server.
  • the control unit may divide the first image window into a first area, which is an area including the face of the avatar model, and a second area, excluding the first area, and display the one or more display objects in the second area. have.
  • the control unit may display the one or more display objects on the second area in chronological order, and display the most recent display object at a predetermined position.
  • the controller may display the one or more display objects on the first image window in chronological order.
  • the control unit identifies a display object selected by a user from among one or more display objects displayed on the first image window, checks a selection message corresponding to the identified display object, and provides identification information of the selection message to the server and Transmitting a request for generating a second image window in which an image of the selected message by the avatar model is displayed, receiving the second image window from the server, and replacing the first image window with the second image window A video window can be displayed.
  • the control unit obtains the user's response message to the query received from the server, transmits the response message to the server, receives an effect selection menu corresponding to the score of the response message from the server, and the menu may transmit a user's selection input to the server, receive a third image window to which an effect according to the selection input is applied from the server, and display the third image window.
  • the effect may include an effect of adding a first image including the user's face to the first image window. Also, the effect may include an effect of applying the item selected by the user to the avatar on the first image window.
  • the user's learning effect can be improved by differentially providing the number of effects that the user can apply to the avatar model according to the user's response score.
  • FIG. 1 is a diagram schematically illustrating the configuration of a language content providing system according to an embodiment of the present invention.
  • FIG. 2 is a diagram schematically illustrating a configuration of a user terminal 100 according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a process in which the user terminal 100 provides one or more display objects and a first image window according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a process in which the user terminal 100 provides a second image window according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a process in which the user terminal 100 provides a third image window according to an embodiment of the present invention.
  • FIG. 6 is an example of a screen 600 on which an interface 610 for selecting an avatar model is displayed on the user terminal 100 according to an embodiment of the present invention.
  • FIG. 7 is a diagram for explaining a process of generating the display object 730 and the first image window 740 from the response message 710 .
  • FIG. 8 is an example of a screen 800 on which one or more display objects and a first image window are displayed on the user terminal 100 according to an embodiment of the present invention.
  • control unit 120 control unit
  • FIG. 1 is a diagram schematically illustrating the configuration of a language content providing system according to an embodiment of the present invention.
  • the system for providing language content provides a response message to a user's input message, but also provides a monologue image by the avatar model selected by the user to arouse interest in language learning and achieve user achievement can improve
  • the present invention can provide a more realistic language content by allowing the avatar to make a mouth shape, facial expression, and action corresponding to a response message in providing a monologue video using the avatar model.
  • the language content providing system may include a user terminal 100 , a content providing server 200 , and a chatbot server 300 .
  • a system configuration is exemplary, and the spirit of the present invention is not limited thereto.
  • the content providing server 200 and the chatbot server 300 may be implemented integrally.
  • the content providing server 200 may be implemented to drive a chatbot model or a chatbot agent.
  • the content providing server 200 may provide a response message to a user's input message, and may also provide a monologue image based on an avatar model selected by the user.
  • such a content providing server 200 may include a communication unit (not shown), a control unit (not shown), and a memory (not shown).
  • the communication unit (not shown) is a device including hardware and software necessary for the content providing server 200 to transmit and receive signals such as control signals or data signals through wired/wireless connection with other network devices such as the user terminal 100 to be described later. can be
  • the controller may include all kinds of devices capable of processing data, such as a processor.
  • the 'processor' may refer to a data processing device embedded in hardware having a physically structured circuit to perform a function expressed by, for example, a code or a command included in a program.
  • a microprocessor a central processing unit (CPU), a processor core, a multiprocessor, an ASIC (Application-Specific Integrated) Circuit) and a processing device such as an FPGA (Field Programmable Gate Array) may be included, but the scope of the present invention is not limited thereto.
  • the memory (not shown) performs a function of temporarily or permanently storing data processed by the content providing server 200 .
  • the memory may include a magnetic storage medium or a flash storage medium, but the scope of the present invention is not limited thereto.
  • the memory (memory) may temporarily and/or permanently store an input message received from the user terminal 100 .
  • the chatbot server 300 may generate a response message to the received message according to the request of the above-described content providing server 200 .
  • the chatbot server 300 may include an artificial neural network learned for each scenario, and may generate a response message to a message received from the content providing server 200 using the artificial neural network.
  • the generated response message may be provided to the content providing server 200 and finally delivered to the user terminal 100 . A detailed description thereof will be given later.
  • this chatbot server may also include a communication unit (not shown), a control unit (not shown), and a memory (not shown). A detailed description of each configuration is replaced with a description of each configuration of the content providing server 200 .
  • the user terminal 100 may receive a response message and/or an image window from the content providing server 200 and provide it to the user. Also, the user terminal 100 may obtain the user's input and provide it to the content providing server 200 .
  • FIG. 2 is a diagram schematically illustrating a configuration of a user terminal 100 according to an embodiment of the present invention.
  • the user terminal 100 may include a communication unit 110 , a control unit 120 , a memory 130 , and a display unit 140 . Also, although not shown in the drawings, the user terminal 100 according to an embodiment of the present invention may further include an input/output unit, a program storage unit, and the like.
  • the communication unit 110 is a device including hardware and software necessary for the user terminal 100 to transmit and receive signals such as control signals or data signals through wired/wireless connection with other network devices such as the aforementioned content providing server 200 . can
  • the controller 120 may include all kinds of devices capable of processing data, such as a processor.
  • the 'processor' may refer to a data processing device embedded in hardware having a physically structured circuit to perform a function expressed by, for example, a code or a command included in a program.
  • a microprocessor a central processing unit (CPU), a processor core, a multiprocessor, an ASIC (Application-Specific Integrated) Circuit) and a processing device such as an FPGA (Field Programmable Gate Array) may be included, but the scope of the present invention is not limited thereto.
  • the memory 130 performs a function of temporarily or permanently storing data processed by the user terminal 100 .
  • the memory may include a magnetic storage medium or a flash storage medium, but the scope of the present invention is not limited thereto.
  • the memory 130 may temporarily and/or permanently store image windows received from the content providing server 200 .
  • the display unit 140 may perform a function of displaying a display object and image windows corresponding to the message to the user.
  • the display unit 140 may display one or more display objects corresponding to the input message and the response message, respectively, and an image window including an avatar model.
  • Such a user terminal 100 may mean an electronic device implemented in various forms.
  • the user terminal 100 may refer to the portable terminals 101 to 103 or the fixed terminal (or the computer 104 ).
  • FIG. 3 is a flowchart illustrating a process in which the user terminal 100 provides one or more display objects and a first image window according to an embodiment of the present invention.
  • the user terminal 100 may obtain or receive at least one item for generating an avatar model from the user.
  • the user terminal 100 may acquire at least one image for generating an avatar model.
  • the image obtained at this time may be, for example, an image of a celebrity.
  • the user may obtain an image by using the image acquisition unit provided in the user terminal 100 and use it as at least one image for generating an avatar model, or download an image on a web page to generate an avatar model by downloading an image.
  • the user terminal 100 may obtain user selection information to generate an avatar model.
  • the user terminal 100 may receive a plurality of selectable avatar models from the content providing server 200 .
  • the user terminal 100 may display a plurality of received avatar models on the interface 610 for generating an avatar model, such as the screen 600 shown in FIG. 6 , so that the user can select a desired avatar model. .
  • the user terminal 100 may acquire a video for generating an avatar model.
  • the user terminal 100 may transmit avatar information for generating an avatar to the content providing server 200 (S511). At this time, the user terminal 100 transmits the avatar model creation request with the avatar information. It may be transmitted together with the content providing server 200 .
  • the 'avatar information' transmitted to the content providing server 200 may include at least one image for generating an avatar model, at least one video for generating an avatar model, and/or avatar model selection information.
  • the content providing server 200 may generate an avatar model with reference to the avatar information received from the user terminal 100 (S512).
  • an 'avatar model' is a three-dimensional (or two-dimensional) model of a specific person, and may refer to a model configured to perform (or act) an expression, an action, a mouth shape, etc. according to a provided message.
  • such an avatar model may be generated by the content providing server 200 based on the avatar information provided by the user.
  • the user can create an avatar depicting a person he or she wants by including an image of a celebrity he or she prefers, or an image of his or her family, his or her lover, etc. in the avatar information.
  • the already created avatar model is stored in the content providing server 200 , and the user may create (or select) an avatar depicting a desired person by selecting the already created avatar model.
  • the content providing server 200 may generate an avatar model from avatar information by using various well-known technologies.
  • the content providing server 200 may generate an avatar model by extracting landmark information from the image of a celebrity received from the user terminal 100 and modifying the appearance of the sample model by referring to the extracted landmark information.
  • an avatar model by extracting landmark information from the image of a celebrity received from the user terminal 100 and modifying the appearance of the sample model by referring to the extracted landmark information.
  • the user terminal 100 may obtain a user input message (S521) and transmit it to the content providing server 200 (S522).
  • the user terminal 100 may obtain an input message in the form of a text according to the user's manipulation of the keypad, and transmit it to the content providing server 200 .
  • the user terminal 100 may obtain the user's voice, generate text from the voice, and transmit the text and the voice to the content providing server 200 .
  • the content providing server 200 transmits the input message received from the user terminal 100 to the chatbot server 300 (S523), and receives the response message generated by the chatbot server 300 (S525), it can be provided to the user terminal 100 again.
  • the chatbot server 300 may generate a response message to the input message received from the content providing server 200.
  • the user terminal 100 may receive a response message to the input message from the content providing server 200 (S526).
  • FIG. 7 is a diagram for explaining a process of generating the display object 730 and the first image window 740 from the response message 710 .
  • the content providing server 200 may generate a first image window using the response message received from the chatbot server 300 in step S525 (S531).
  • the 'image window' such as the first image window, the second image window, and the third image window may mean a window (or window) in which a predetermined operation process and/or operation sound of the avatar model is displayed.
  • the first image window may mean a window in which a single sound image of the response message of the avatar model is displayed.
  • the second image window may mean a window in which a single sound image of the avatar model for the message selected by the user is displayed.
  • the third image window may refer to a window in which an image of an avatar model to which a predetermined effect is applied is displayed.
  • the content providing server 200 displays a response message by the avatar model 720 (in this case, the response message is received from the chatbot server 300 in step S525, 710).
  • a first image window 740 may be generated.
  • the user terminal 100 has one or more display objects corresponding to each of the input message (obtained in step S521) and the response message (received in step S526).
  • the user terminal 100 may generate a display object 730 in the form of a speech bubble from the response message 710 as shown in FIG. 7 .
  • the text inside the display object 730 may be generated based on the response message 710 .
  • the shape of the display object 730 shown in FIG. 7 is illustrative and the spirit of the present invention is not limited thereto, and the user terminal 100 may generate a display object for each of a plurality of messages.
  • the user terminal 100 may receive the first image window from the content providing server 200 (S532).
  • the user terminal 100 may display the one or more display objects generated in step S541 and the first image window received in step S532 together (S551).
  • FIG. 8 is an example of a screen 800 on which one or more display objects and a first image window are displayed on the user terminal 100 according to an embodiment of the present invention.
  • the user terminal 100 may display one or more display objects 802 on the first image window 801 as shown in FIG. 8 .
  • the user terminal 100 sets the first image window 801 to a first area 810 that is an area including the face of the avatar model, and a second area excluding the first area 810 . (820).
  • the user terminal 100 may display one or more display objects 802 only in the second area 820 .
  • the user terminal 100 displays one or more display objects 802 in the second area 820 in chronological order, and the most recent display object is located at a predetermined position (eg, the lowermost ) can be displayed.
  • a predetermined position eg, the lowermost
  • the user terminal 100 may move the position of the existing display object according to the addition of the latest display object, and according to the addition of the new display object, it leaves the second area 820 and enters the first area 810. Objects can be made invisible.
  • the present invention provides the first image window and a display object corresponding to each message, but prevents the display object from being displayed in the region where the mouth of the avatar model is displayed in the image window, thereby improving the learning efficiency of the user. have.
  • the present invention provides learning content in the form of chatting that the user is familiar with, but provides an image related to a message in the background, in particular, an image in which an avatar model pronounces a message, so that the user can engage in learning without a psychological burden.
  • FIG. 4 is a flowchart illustrating a process in which the user terminal 100 provides a second image window according to an embodiment of the present invention. Hereinafter, it will be described with reference to FIG. 8 .
  • the user terminal 100 may display one or more display objects and a first image window. (S551) Since step S551 has been described in detail with reference to FIG. 3, a detailed description thereof will be omitted. do.
  • the user terminal 100 may obtain a user's selection input for selecting any one of the one or more display objects 802 displayed on the first image window 801 ( S561)
  • the user may select a second display object 821 among one or more display objects 802 .
  • the user may select the second object 821 itself, or may select the second object 821 by selecting a separate object 822 related to the object.
  • the user terminal 100 may check a selection message corresponding to the identified display object (or the selected display object). (S562) For example, in FIG. is selected, the user terminal 100 may confirm "Korean teacher, this is Ham Eun-jung" as a selection message.
  • the user terminal 100 may transmit the checked selection message or identification information of the message to the content providing server 200 (S563).
  • the content providing server 0200 uses the selection message to A second image window may be generated ( S564 ).
  • the second image window may be a window in which a single sound image of a selection message by the avatar model is displayed.
  • the user terminal 100 may receive the second image window from the content providing server 200 (S565), and display it together with one or more display objects 802 (S566).
  • the present invention enables effective repetitive learning of the message selected by the user. That is, according to the present invention, not only messages according to the current conversation, but also video windows for past messages can be repeatedly provided in the same interface, so that effective repetitive learning is achieved.
  • FIG. 5 is a flowchart illustrating a process in which the user terminal 100 provides a third image window according to an embodiment of the present invention.
  • the content providing server 200 may determine the question and answer content (S571).
  • the content providing server 200 refers to the question and answer field selection information received from the user terminal 100.
  • the question and answer content may be determined.
  • the content providing server 200 may pre-store a plurality of question and answer content for each field.
  • the content providing server 200 may transmit a query included in the question answering content to the chatbot server 300 (S572) and receive a corresponding query message (S574).
  • the content providing server 200 may use the chatbot server 300 to generate a modified query message in a form suitable for providing a query to a user.
  • the chatbot server 300 may generate a query message using the query received from the content providing server 200 (S573).
  • the content providing server 200 may transmit a query message to the user terminal 100 .
  • the user terminal 100 may receive a query message from the content providing server 200 (S575).
  • the user terminal 100 may obtain a response message including the user's response to the query message (S581), and transmit the response message to the content providing server 200 (S582).
  • the content providing server 200 may calculate a score by comparing the response included in the question and answer content determined in step S571 with the response according to the response message received in step S582 (S583). For example, the content providing server 200 may calculate a score based on a similarity between a response included in the question and answer content and a received response.
  • the response message received from the user terminal 100 includes the user's voice
  • the content providing server 200 calculates a score based on the similarity between the response voice included in the question and answer content and the user's voice. You may. More specifically, the content providing server 200 according to an embodiment of the present invention converts the voice received from the user terminal 100 into text, and based on the similarity between the generated text and the response text included in the question and answer content. so that the score can be calculated.
  • this is an example, and the spirit of the present invention is not limited thereto.
  • the content providing server 200 may check the type of effect that the user can select according to the calculated score, and provide an effect selection menu including the checked effect to the user terminal 100 . (S584) For example, the content providing server 200 may provide an effect selection menu to the user terminal 100 by increasing the number of types of selectable effects as the score increases.
  • the user terminal 100 may receive an effect selection menu corresponding to the score of the response message from the content providing server 200 (S584).
  • the user terminal 100 may receive the received menu It is possible to transmit the user's selection input to the content providing server 200 (S585).
  • the content providing server 200 may generate a third image window to which the selected effect is applied to the first image window (S591).
  • the effect may be an effect of adding the first image including the user's face to the first image window.
  • the user terminal 100 may transmit the first image including the user's face together with the effect selection information to the content providing server 200 in step S585.
  • the third video window may include a video (especially, a video having a conversation) captured by the celebrity and the user.
  • the effect may be an effect of applying the item selected by the user to the avatar on the first image window.
  • the effect may be an effect of applying the clothes selected by the user or the accessories selected by the user to the avatar on the first image window.
  • the user terminal 100 may receive the third image window generated in step S591 (S592) and display it together with one or more display objects (S593).
  • the user's learning effect can be improved by differentially providing the number of effects that the user can apply to the avatar model according to the user's response score.
  • the embodiment according to the present invention described above may be implemented in the form of a computer program that can be executed through various components on a computer, and such a computer program may be recorded in a computer-readable medium.
  • the medium may be to store a program executable by a computer. Examples of the medium include a hard disk, a magnetic medium such as a floppy disk and a magnetic tape, an optical recording medium such as CD-ROM and DVD, a magneto-optical medium such as a floppy disk, and those configured to store program instructions, including ROM, RAM, flash memory, and the like.
  • the computer program may be specially designed and configured for the present invention, or may be known and used by those skilled in the computer software field.
  • Examples of the computer program may include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • connections or connecting members of the lines between the components shown in the drawings exemplarily represent functional connections and/or physical or circuit connections, and in an actual device, various functional connections, physical connections that are replaceable or additional may be referred to as connections, or circuit connections.
  • connections or circuit connections.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Operations Research (AREA)

Abstract

The method for providing language-learning content, according to one embodiment of the present invention, can provide both display entities corresponding to user input messages and response messages therefor, and an image window displaying an image of the response message being read audibly.

Description

인물 사진으로부터 생성된 아바타를 이용한 어학 콘텐츠 제공 방법 및 장치Method and apparatus for providing language content using avatars created from portraits
본 발명은 사용자의 입력 메시지 및 그에 대한 응답 메시지 각각에 대응되는 표시 개체와 상기 응답 메시지의 독음 영상이 표시되는 영상 윈도우를 함께 제공하는 어학 콘텐츠 제공 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for providing language content providing a display object corresponding to each of a user input message and a response message thereto, and an image window in which a single sound image of the response message is displayed together.
일반적으로 외국어 교육은 미리 생성된 어학 콘텐츠 중에서 자신에게 적합한 콘텐츠를 선택하는 방식으로 이루어져왔다.In general, foreign language education has been achieved by selecting content suitable for one from among pre-generated language content.
가령 사용자는 어학 교육 시스템에 접속하여 어학 콘텐츠의 이름, 강의 레벨, 강사 등을 고려하여 자신에게 적합하다고 판단되는 어학 컨텐츠를 선택하여 예약하는 과정을 거치거나, 필요한 경우에는 관리자나 담당자와 추가적으로 통화하거나 방문 상담하는 과정을 거쳐야 했다.For example, the user accesses the language education system and selects and makes a reservation for the language content deemed suitable for him in consideration of the name of the language content, lecture level, instructor, etc. I had to go through a consultation visit.
하지만 이와 같은 기존의 방법은 어학 교육 시스템의 운영 주체가 미리 등급별로 콘텐츠를 생성하여 업로드 하는 것을 기반으로 하기에, 개별 사용자의 흥미나 개별 사용자의 수준이 고려되지 못하는 문제점이 있었다. However, such an existing method has a problem in that the interests of individual users or the level of individual users are not taken into consideration because the operating entity of the language education system is based on previously generating and uploading contents by grade.
특히 어학 교육에 있어서는 사용자의 흥미가 어학의 성취도 향상에 큰 영향을 미침에도 불구하고, 종래기술은 보편적인 주제와 획일화된 내용의 교육 콘텐츠를 만을 제공하여 사용자가 어학의 학습에 흥미를 잃게 하는 문제점이 있었다.In particular, in language education, although the user's interest has a great influence on the improvement of language achievement, the prior art provides only educational content with a universal theme and uniform content so that the user loses interest in learning the language. There was a problem.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 사용자의 선택에 기반하여 생성된 아바타 모델을 이용하여 메시지들에대한 독음 영상을 생성함으로써 어학 학습에 있어서 사용자의 흥미를 유발시키고, 학습의 지속성을 향상시키고자 한다.The present invention is to solve the above-mentioned problems, and by generating a monophonic image for messages using an avatar model generated based on a user's selection, arouse the user's interest in language learning and improve the continuity of learning want to do
본 발명의 일 실시예에 따른 어학 콘텐츠 제공 방법은, 사용자의 입력 메시지를 획득하는 단계; 서버로부터 상기 입력 메시지에 대한 응답 메시지를 수신하는 단계; 상기 입력 메시지 및 상기 응답 메시지 각각에 대응되는 하나 이상의 표시 개체를 생성하는 단계; 상기 서버로부터 아바타 모델에 의한 상기 응답 메시지의 독음(讀音) 영상이 표시되는 제1 영상 윈도우를 수신하는 단계; 및 상기 하나 이상의 표시 개체 및 상기 제1 영상 윈도우를 표시하는 단계;를 포함할 수 있다.A method for providing language content according to an embodiment of the present invention includes: obtaining a user input message; receiving a response message to the input message from a server; generating one or more display objects corresponding to each of the input message and the response message; receiving, from the server, a first image window in which an image of a monologue of the response message by an avatar model is displayed; and displaying the one or more display objects and the first image window.
본 발명의 일 실시예에 따른 어학 콘텐츠 제공 방법은 상기 입력 메시지를 획득하는 단계 이전에, 상기 사용자로부터 상기 아바타 모델 생성을 위한 적어도 하나의 아바타 이미지를 획득하는 단계; 및 상기 적어도 하나의 아바타 이미지 상기 서버에 전송하고, 상기 서버에 상기 아바타 모델 생성 요청을 전송하는 단계;를 포함할 수 있다.According to an embodiment of the present invention, a method for providing language content includes: before acquiring the input message, acquiring at least one avatar image for generating the avatar model from the user; and transmitting the at least one avatar image to the server, and transmitting a request for generating the avatar model to the server.
상기 표시하는 단계는 상기 제1 영상 윈도우를 상기 아바타 모델의 얼굴을 포함하는 영역인 제1 영역과 상기 제1 영역을 제외한 제2 영역으로 구분하는 단계; 및 상기 제2 영역에 상기 하나 이상의 표시 개체를 표시하는 단계;를 포함할 수 있다.The displaying may include dividing the first image window into a first area including the face of the avatar model and a second area excluding the first area; and displaying the one or more display objects on the second area.
상기 제2 영역에 상기 하나 이상의 표시 개체를 표시하는 단계는 상기 제2 영역 상에 상기 하나 이상의 표시 개체를 시계열순으로 표시하되, 가장 최신의 표시 개체가 소정의 위치에 표시되도록 하는 단계;를 포함할 수 있다.Displaying the one or more display objects on the second area includes displaying the one or more display objects on the second area in chronological order so that the most recent display object is displayed at a predetermined position. can do.
상기 표시하는 단계는 상기 제1 영상 윈도우 상에 상기 하나 이상의 표시 개체를 시계열순으로 표시하는 단계;를 더 포함할 수 있다.The displaying may further include displaying the one or more display objects in chronological order on the first image window.
상기 표시하는 단계는 상기 제1 영상 윈도우 상에 표시된 하나 이상의 표시 개체 중 사용자에 의해 선택된 표시 개체를 식별하는 단계; 상기 식별된 표시 개체에 대응되는 선택 메시지를 확인하는 단계; 상기 서버에 상기 선택 메시지의 식별 정보 및 상기 아바타 모델에 의한 상기 선택 메시지의 독음(讀音) 영상이 표시되는 제2 영상 윈도우 생성 요청을 전송하는 단계; 상기 서버로부터 상기 제2 영상 윈도우를 수신하는 단계; 및 상기 제1 영상 윈도우에 갈음하여 상기 제2 영상 윈도우를 표시하는 단계;를 포함할 수 있다.The displaying may include: identifying a display object selected by a user from among one or more display objects displayed on the first image window; checking a selection message corresponding to the identified display object; transmitting, to the server, a request for generating a second image window in which identification information of the selection message and a reading image of the selection message by the avatar model are displayed; receiving the second image window from the server; and displaying the second image window in place of the first image window.
상기 어학 콘텐츠 제공 방법은 상기 서버로부터 수신된 질의에 대한 상기 사용자의 응답 메시지를 획득하는 단계; 상기 응답 메시지를 상기 서버에 전송하고, 상기 서버로부터 상기 응답 메시지의 스코어에 대응되는 이펙트 선택 메뉴를 수신하는 단계; 상기 메뉴에 대한 사용자의 선택 입력을 상기 서버로 전송하는 단계; 상기 선택 입력에 따른 이펙트가 적용된 제3 영상 윈도우를 상기 서버로부터 수신하는 단계; 및 상기 제3 영상 윈도우를 표시하는 단계;를 포함할 수 있다.The method for providing language content includes: obtaining a response message from the user to a query received from the server; transmitting the response message to the server, and receiving an effect selection menu corresponding to the score of the response message from the server; transmitting a user's selection input for the menu to the server; receiving a third image window to which an effect according to the selection input is applied from the server; and displaying the third image window.
이때 상기 이펙트는 상기 사용자의 얼굴을 포함하는 제1 영상을 상기 제1 영상 윈도우에 추가하는 이펙트를 포함할 수 있다. In this case, the effect may include an effect of adding a first image including the user's face to the first image window.
또한 상기 이펙트는 상기 사용자가 선택한 아이템을 상기 제1 영상 윈도우 상의 아바타에게 적용하는 이펙트를 포함할 수 있다.Also, the effect may include an effect of applying the item selected by the user to the avatar on the first image window.
본 발명의 일 실시예에 따른 어학 콘텐츠 제공 장치는 제어부를 포함하고, 상기 제어부는 사용자의 입력 메시지를 획득하고, 서버로부터 상기 입력 메시지에 대한 응답 메시지를 수신하고, 상기 입력 메시지 및 상기 응답 메시지 각각에 대응되는 하나 이상의 표시 개체를 생성하고, 상기 서버로부터 아바타 모델에 의한 상기 응답 메시지의 독음(讀音) 영상이 표시되는 제1 영상 윈도우를 수신하고, 상기 하나 이상의 표시 개체 및 상기 제1 영상 윈도우를 표시할 수 있다.A language content providing apparatus according to an embodiment of the present invention includes a control unit, wherein the control unit obtains a user input message, receives a response message to the input message from a server, and each of the input message and the response message generates one or more display objects corresponding to , and receives a first image window in which a reading image of the response message by an avatar model is displayed from the server, and displays the one or more display objects and the first image window. can be displayed
상기 제어부는 상기 사용자로부터 상기 아바타 모델 생성을 위한 적어도 하나의 아바타 이미지를 획득하고, 상기 적어도 하나의 아바타 이미지 상기 서버에 전송하고, 상기 서버에 상기 아바타 모델 생성 요청을 전송할 수 있다.The controller may obtain at least one avatar image for generating the avatar model from the user, transmit the at least one avatar image to the server, and transmit a request for generating the avatar model to the server.
상기 제어부는 상기 제1 영상 윈도우를 상기 아바타 모델의 얼굴을 포함하는 영역인 제1 영역과 상기 제1 영역을 제외한 제2 영역으로 구분하고, 상기 제2 영역에 상기 하나 이상의 표시 개체를 표시할 수 있다.The control unit may divide the first image window into a first area, which is an area including the face of the avatar model, and a second area, excluding the first area, and display the one or more display objects in the second area. have.
상기 제어부는 상기 제2 영역 상에 상기 하나 이상의 표시 개체를 시계열순으로 표시하되, 가장 최신의 표시 개체가 소정의 위치에 표시되도록 할 수 있다.The control unit may display the one or more display objects on the second area in chronological order, and display the most recent display object at a predetermined position.
상기 제어부는 상기 제1 영상 윈도우 상에 상기 하나 이상의 표시 개체를 시계열순으로 표시할 수 있다.The controller may display the one or more display objects on the first image window in chronological order.
상기 제어부는 상기 제1 영상 윈도우 상에 표시된 하나 이상의 표시 개체 중 사용자에 의해 선택된 표시 개체를 식별하고, 상기 식별된 표시 개체에 대응되는 선택 메시지를 확인하고, 상기 서버에 상기 선택 메시지의 식별 정보 및 상기 아바타 모델에 의한 상기 선택 메시지의 독음(讀音) 영상이 표시되는 제2 영상 윈도우 생성 요청을 전송하고, 상기 서버로부터 상기 제2 영상 윈도우를 수신하고, 상기 제1 영상 윈도우에 갈음하여 상기 제2 영상 윈도우를 표시할 수 있다.The control unit identifies a display object selected by a user from among one or more display objects displayed on the first image window, checks a selection message corresponding to the identified display object, and provides identification information of the selection message to the server and Transmitting a request for generating a second image window in which an image of the selected message by the avatar model is displayed, receiving the second image window from the server, and replacing the first image window with the second image window A video window can be displayed.
상기 제어부는 상기 서버로부터 수신된 질의에 대한 상기 사용자의 응답 메시지를 획득하고, 상기 응답 메시지를 상기 서버에 전송하고, 상기 서버로부터 상기 응답 메시지의 스코어에 대응되는 이펙트 선택 메뉴를 수신하고, 상기 메뉴에 대한 사용자의 선택 입력을 상기 서버로 전송하고, 상기 선택 입력에 따른 이펙트가 적용된 제3 영상 윈도우를 상기 서버로부터 수신하고, 상기 제3 영상 윈도우를 표시할 수 있다.The control unit obtains the user's response message to the query received from the server, transmits the response message to the server, receives an effect selection menu corresponding to the score of the response message from the server, and the menu may transmit a user's selection input to the server, receive a third image window to which an effect according to the selection input is applied from the server, and display the third image window.
이때 상기 이펙트는 상기 사용자의 얼굴을 포함하는 제1 영상을 상기 제1 영상 윈도우에 추가하는 이펙트를 포함할 수 있다. 또한 상기 이펙트는 상기 사용자가 선택한 아이템을 상기 제1 영상 윈도우 상의 아바타에게 적용하는 이펙트를 포함할 수 있다.In this case, the effect may include an effect of adding a first image including the user's face to the first image window. Also, the effect may include an effect of applying the item selected by the user to the avatar on the first image window.
본 발명에 따르면 사용자의 선택에 기반하여 생성된 아바타 모델을 이용하여 메시지들에대한 독음 영상을 생성함으로써, 어학 학습에 있어서 사용자의 흥미를 유발시키고 학습의 지속성을 향상시킬 수 있다.According to the present invention, it is possible to arouse a user's interest in language learning and to improve the continuity of learning by generating a monologue image for messages using an avatar model generated based on a user's selection.
또한 본 발명에 따르면 메시지에 대한 독음뿐만 아니라 아바타 모델을 통하여 독음 시 입모양까지 함께 제공하여, 사용자가 쉽게 외국어를 발음할 수 있도록 한다.In addition, according to the present invention, not only a single sound for a message but also a mouth shape is provided through an avatar model so that a user can easily pronounce a foreign language.
또한 본 발명에 따르면 사용자의 응답 스코어에 따라 사용자가 아바타 모델에 대해 적용 가능한 이펙트의 수를 차등적으로 제공함으로써, 사용자의 학습 효과를 향상시킬 수 있다.In addition, according to the present invention, the user's learning effect can be improved by differentially providing the number of effects that the user can apply to the avatar model according to the user's response score.
도 1은 본 발명의 일 실시예에 따른 어학 콘텐츠 제공 시스템의 구성을 개략적으로 도시한 도면이다.1 is a diagram schematically illustrating the configuration of a language content providing system according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따른 사용자 단말(100)의 구성을 개략적으로 도시한 도면이다.2 is a diagram schematically illustrating a configuration of a user terminal 100 according to an embodiment of the present invention.
도 3은 본 발명의 일 실시예에 따른 사용자 단말(100)이 하나 이상의 표시 개체와 제1 영상 윈도우를 제공하는 과정을 설명하기 위한 흐름도이다.3 is a flowchart illustrating a process in which the user terminal 100 provides one or more display objects and a first image window according to an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따른 사용자 단말(100)이 제2 영상 윈도우를 제공하는 과정을 설명하기 위한 흐름도이다.4 is a flowchart illustrating a process in which the user terminal 100 provides a second image window according to an embodiment of the present invention.
도 5는 본 발명의 일 실시예에 따른 사용자 단말(100)이 제3 영상 윈도우를 제공하는 과정을 설명하기 위한 흐름도이다.5 is a flowchart illustrating a process in which the user terminal 100 provides a third image window according to an embodiment of the present invention.
도 6은 본 발명의 일 실시예에 따른 사용자 단말(100)에 아바타 모델을 선택하기 위한 인터페이스(610)가 표시된 화면(600)의 예시이다.6 is an example of a screen 600 on which an interface 610 for selecting an avatar model is displayed on the user terminal 100 according to an embodiment of the present invention.
도 7은 응답 메시지(710)로부터 표시 개체(730) 및 제1 영상 윈도우(740)가 생성되는 과정을 설명하기 위한 도면이다.FIG. 7 is a diagram for explaining a process of generating the display object 730 and the first image window 740 from the response message 710 .
도 8은 본 발명의 일 실시예에 따른 사용자 단말(100)에 하나 이상의 표시 개체 및 제1 영상 윈도우가 표시된 화면(800)의 예시이다.8 is an example of a screen 800 on which one or more display objects and a first image window are displayed on the user terminal 100 according to an embodiment of the present invention.
[부호의 설명][Explanation of code]
100: 사용자 단말100: user terminal
110: 통신부110: communication department
120: 제어부120: control unit
130: 메모리130: memory
140: 디스플레이부140: display unit
200: 콘텐츠 제공 서버200: content providing server
300: 챗봇 서버300: chatbot server
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. Since the present invention can apply various transformations and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. Effects and features of the present invention, and a method for achieving them, will become apparent with reference to the embodiments described below in detail in conjunction with the drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various forms.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, and when described with reference to the drawings, the same or corresponding components are given the same reference numerals, and the overlapping description thereof will be omitted. .
이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 형태는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다. In the following embodiments, terms such as first, second, etc. are used for the purpose of distinguishing one component from another, not in a limiting sense. In the following examples, the singular expression includes the plural expression unless the context clearly dictates otherwise. In the following embodiments, terms such as include or have means that the features or components described in the specification are present, and the possibility that one or more other features or components may be added is not excluded in advance. In the drawings, the size of the components may be exaggerated or reduced for convenience of description. For example, since the size and shape of each component shown in the drawings are arbitrarily indicated for convenience of description, the present invention is not necessarily limited to the illustrated bar.
도 1은 본 발명의 일 실시예에 따른 어학 콘텐츠 제공 시스템의 구성을 개략적으로 도시한 도면이다.1 is a diagram schematically illustrating the configuration of a language content providing system according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 어학 콘텐츠 제공 시스템은 사용자의 입력 메시지에 대한 응답 메시지를 제공하되, 사용자에 의해 선택된 아바타 모델에 의한 독음 영상을 함께 제공함으로써 어학 학습의 흥미를 유발하고, 사용자의 성취도를 향상시킬 수 있다.The system for providing language content according to an embodiment of the present invention provides a response message to a user's input message, but also provides a monologue image by the avatar model selected by the user to arouse interest in language learning and achieve user achievement can improve
또한 본 발명은 아바타 모델에 의한 독음 영상을 제공함에 있어서, 아바타가 응답 메시지에 대응되는 입모양, 표정 및 동작 등을 하도록 함으로써, 보다 실감나는 어학 콘텐츠를 제공할 수 있다.In addition, the present invention can provide a more realistic language content by allowing the avatar to make a mouth shape, facial expression, and action corresponding to a response message in providing a monologue video using the avatar model.
본 발명의 일 실시예에 따른 어학 콘텐츠 제공 시스템은 도 1에 도시된 바와 같이 사용자 단말(100), 콘텐츠 제공 서버(200) 및 챗봇 서버(300)를 포함할 수 있다. 다만 이와 같은 시스템 구성은 예시적인것으로, 본 발명의 사상이 이에 한정되는 것은 아니다.As shown in FIG. 1 , the language content providing system according to an embodiment of the present invention may include a user terminal 100 , a content providing server 200 , and a chatbot server 300 . However, such a system configuration is exemplary, and the spirit of the present invention is not limited thereto.
본 발명의 선택적 실시예에서, 콘텐츠 제공 서버(200)와 챗봇 서버(300)는 일체로써 구현될 수도 있다. 이러한 경우 콘텐츠 제공 서버(200)는 챗봇 모델 또는 챗봇 에이전트를 구동하도록 구현될 수 있다.In an optional embodiment of the present invention, the content providing server 200 and the chatbot server 300 may be implemented integrally. In this case, the content providing server 200 may be implemented to drive a chatbot model or a chatbot agent.
본 발명의 또 다른 선택적 실시예에서, 사용자 단말(100)은 복수일 수도 있다.In another optional embodiment of the present invention, there may be a plurality of user terminals 100 .
본 발명의 일 실시예에 따른 콘텐츠 제공 서버(200)는 사용자의 입력 메시지에 대한 응답 메시지를 제공하며, 사용자에 의해 선택된 아바타 모델에 의한 독음 영상을 함께 제공할 수 있다.The content providing server 200 according to an embodiment of the present invention may provide a response message to a user's input message, and may also provide a monologue image based on an avatar model selected by the user.
도면에 도시되지는 않았지만, 이와 같은 콘텐츠 제공 서버(200)는 통신부(미도시), 제어부(미도시) 및 메모리(미도시)를 포함할 수 있다. Although not shown in the drawings, such a content providing server 200 may include a communication unit (not shown), a control unit (not shown), and a memory (not shown).
통신부(미도시)는 콘텐츠 제공 서버(200)가 후술하는 사용자 단말(100)과 같은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.The communication unit (not shown) is a device including hardware and software necessary for the content providing server 200 to transmit and receive signals such as control signals or data signals through wired/wireless connection with other network devices such as the user terminal 100 to be described later. can be
제어부(미도시)는 프로세서(Processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(Processor)'는 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(Microprocessor), 중앙처리장치(Central Processing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.The controller (not shown) may include all kinds of devices capable of processing data, such as a processor. Here, the 'processor' may refer to a data processing device embedded in hardware having a physically structured circuit to perform a function expressed by, for example, a code or a command included in a program. As an example of the data processing device embedded in the hardware as described above, a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, an ASIC (Application-Specific Integrated) Circuit) and a processing device such as an FPGA (Field Programmable Gate Array) may be included, but the scope of the present invention is not limited thereto.
메모리(미도시)는 콘텐츠 제공 서버(200)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 메모리는 자기 저장 매체(Magnetic Storage Media) 또는 플래시 저장 매체(Flash Storage Media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 가령 메모리(메모리)는 사용자 단말(100)로부터 수신된 입력 메시지를 일시적 및/또는 영구적으로 저장할 수 있다.The memory (not shown) performs a function of temporarily or permanently storing data processed by the content providing server 200 . The memory may include a magnetic storage medium or a flash storage medium, but the scope of the present invention is not limited thereto. For example, the memory (memory) may temporarily and/or permanently store an input message received from the user terminal 100 .
콘텐츠 제공 서버(200)의 동작에 대한 상세한 설명은 도 3 내지 도 5를 참조하여 후술한다.A detailed description of the operation of the content providing server 200 will be described later with reference to FIGS. 3 to 5 .
본 발명의 일 실시예에 따른 챗봇 서버(300)는 전술한 콘텐츠 제공 서버(200)의 요청에 따라 수신된 메시지에 대한 응답 메시지를 생성할 수 있다. 가령 챗봇 서버(300)는 시나리오 별로 학습된 인공 신경망을 구비하고, 인공 신경망을 이용하여 콘텐츠 제공 서버(200)로부터 수신된 메시지에 대한 응답 메시지를 생성할 수 있다. 이때 생성된 응답 메시지는 콘텐츠 제공 서버(200)로 제공되어 최종적으로 사용자 단말(100)에 전달될 수 있다. 이에 대한 상세한 설명은 후술한다.The chatbot server 300 according to an embodiment of the present invention may generate a response message to the received message according to the request of the above-described content providing server 200 . For example, the chatbot server 300 may include an artificial neural network learned for each scenario, and may generate a response message to a message received from the content providing server 200 using the artificial neural network. In this case, the generated response message may be provided to the content providing server 200 and finally delivered to the user terminal 100 . A detailed description thereof will be given later.
도면에 도시되지는 않았지만, 이와 챗봇 서버 역시 통신부(미도시), 제어부(미도시) 및 메모리(미도시)를 포함할 수 있다. 각 구성에 대한 상세한 설명은 콘텐츠 제공 서버(200)의 각 구성에 대한 설명으로 갈음한다.Although not shown in the drawings, this chatbot server may also include a communication unit (not shown), a control unit (not shown), and a memory (not shown). A detailed description of each configuration is replaced with a description of each configuration of the content providing server 200 .
본 발명의 일 실시예에 따른 사용자 단말(100)은 콘텐츠 제공 서버(200)로부터 응답 메시지 및/또는 영상 윈도우를 수신하여 사용자에게 제공할 수 있다. 또한 사용자 단말(100)은 사용자의 입력을 획득하여 콘텐츠 제공 서버(200)로 제공할 수도 있다.The user terminal 100 according to an embodiment of the present invention may receive a response message and/or an image window from the content providing server 200 and provide it to the user. Also, the user terminal 100 may obtain the user's input and provide it to the content providing server 200 .
도 2는 본 발명의 일 실시예에 따른 사용자 단말(100)의 구성을 개략적으로 도시한 도면이다.2 is a diagram schematically illustrating a configuration of a user terminal 100 according to an embodiment of the present invention.
도 2를 참조하면 본 발명의 일 실시예에 따른 사용자 단말(100)은 통신부(110), 제어부(120), 메모리(130) 및 디스플레이부(140)를 포함할 수 있다. 또한 도면에는 도시되지 않았으나, 본 발명의 일 실시예에 따른 사용자 단말(100)은 입/출력부, 프로그램 저장부 등을 더 포함할 수 있다. Referring to FIG. 2 , the user terminal 100 according to an embodiment of the present invention may include a communication unit 110 , a control unit 120 , a memory 130 , and a display unit 140 . Also, although not shown in the drawings, the user terminal 100 according to an embodiment of the present invention may further include an input/output unit, a program storage unit, and the like.
통신부(110)는 사용자 단말(100)이 전술한 콘텐츠 제공 서버(200)와 같은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다. The communication unit 110 is a device including hardware and software necessary for the user terminal 100 to transmit and receive signals such as control signals or data signals through wired/wireless connection with other network devices such as the aforementioned content providing server 200 . can
제어부(120)는 프로세서(Processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(Processor)'는 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(Microprocessor), 중앙처리장치(Central Processing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.The controller 120 may include all kinds of devices capable of processing data, such as a processor. Here, the 'processor' may refer to a data processing device embedded in hardware having a physically structured circuit to perform a function expressed by, for example, a code or a command included in a program. As an example of the data processing device embedded in the hardware as described above, a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, an ASIC (Application-Specific Integrated) Circuit) and a processing device such as an FPGA (Field Programmable Gate Array) may be included, but the scope of the present invention is not limited thereto.
메모리(130)는 사용자 단말(100)이 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 메모리는 자기 저장 매체(Magnetic Storage Media) 또는 플래시 저장 매체(Flash Storage Media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 가령 메모리(130)는 콘텐츠 제공 서버(200)로부터 수신한 영상 윈도우들을 일시적 및/또는 영구적으로 저장할 수 있다.The memory 130 performs a function of temporarily or permanently storing data processed by the user terminal 100 . The memory may include a magnetic storage medium or a flash storage medium, but the scope of the present invention is not limited thereto. For example, the memory 130 may temporarily and/or permanently store image windows received from the content providing server 200 .
디스플레이부(140)는 사용자에게 메시지에 대응되는 표시 개체 및 영상 윈도우 들을 표시하는 기능을 수행할 수 있다. 가령 디스플레이부(140)는 입력 메시지 및 응답 메시지 각각에 대응되는 하나 이상의 표시 개체와 아바타 모델을 포함하는 영상 윈도우를 표시할 수 있다.The display unit 140 may perform a function of displaying a display object and image windows corresponding to the message to the user. For example, the display unit 140 may display one or more display objects corresponding to the input message and the response message, respectively, and an image window including an avatar model.
이와 같은 사용자 단말(100)은 다양한 형태로 구현된 전자 기기를 의미할 수 있다. 가령 사용자 단말(100)은 휴대용 단말(101 내지 103)을 의미할 수도 있고, 고정형 단말(또는 컴퓨터 104)을 의미할 수도 있다.Such a user terminal 100 may mean an electronic device implemented in various forms. For example, the user terminal 100 may refer to the portable terminals 101 to 103 or the fixed terminal (or the computer 104 ).
이하에서는 사용자 단말(100)의 동작을 중심으로, 본 발명의 일 실시예에 따른 어학 콘텐츠 제공 방법을 설명한다.Hereinafter, a method for providing language content according to an embodiment of the present invention will be described with a focus on the operation of the user terminal 100 .
도 3은 본 발명의 일 실시예에 따른 사용자 단말(100)이 하나 이상의 표시 개체와 제1 영상 윈도우를 제공하는 과정을 설명하기 위한 흐름도이다.3 is a flowchart illustrating a process in which the user terminal 100 provides one or more display objects and a first image window according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 사용자 단말(100)은 사용자로부터 아바타 모델 생성을 위한 적어도 하나의 항목을 획득하거나 입력 받을 수 있다.The user terminal 100 according to an embodiment of the present invention may obtain or receive at least one item for generating an avatar model from the user.
가령 사용자 단말(100)은 아바타 모델 생성을 위한 적어도 하나의 이미지를 획득할 수 있다. 이때 획득되는 이미지는 예를 들어 유명인의 이미지 일 수 있다. 사용자는 사용자 단말(100)에 구비되는 영상 획득부를 이용하여 영상을 획득하여 이를 아바타 모델 생성을 위한 적어도 하나의 이미지로 사용할 수도 있고, 웹 페이지 상의 이미지를 다운로드하여 아바타 모델 생성을 위한 적어도 하나의 이미지로 사용할 수도 있다. 다만 이와 같은 방식은 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.For example, the user terminal 100 may acquire at least one image for generating an avatar model. The image obtained at this time may be, for example, an image of a celebrity. The user may obtain an image by using the image acquisition unit provided in the user terminal 100 and use it as at least one image for generating an avatar model, or download an image on a web page to generate an avatar model by downloading an image. can also be used as However, such a method is exemplary and the spirit of the present invention is not limited thereto.
또한 사용자 단말(100)은 아바타 모델 생성을 위해 사용자의 선택 정보를 획득할 수도 있다. 이러한 경우 사용자 단말(100)은 콘텐츠 제공 서버(200)로부터 선택 가능한 복수의 아바타 모델을 수신할 수 있다. 또한 사용자 단말(100)은 도 6에 도시된 화면(600)과 같이 수신된 복수의 아바타 모델을 아바타 모델 생성을 위한 인터페이스(610)에 표시함으로써 사용자가 자신이 원하는 아바타 모델을 선택하도록 할 수 있다.Also, the user terminal 100 may obtain user selection information to generate an avatar model. In this case, the user terminal 100 may receive a plurality of selectable avatar models from the content providing server 200 . In addition, the user terminal 100 may display a plurality of received avatar models on the interface 610 for generating an avatar model, such as the screen 600 shown in FIG. 6 , so that the user can select a desired avatar model. .
또한 사용자 단말(100)은 아바타 모델 생성을 위한 동영상을 획득할 수도 있다.Also, the user terminal 100 may acquire a video for generating an avatar model.
다만 상술한 방식들은 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.However, the above-described methods are exemplary and the spirit of the present invention is not limited thereto.
본 발명의 일 실시예에 따른 사용자 단말(100)은 아바타 생성을 위한 아바타 정보를 콘텐츠 제공 서버(200)로 전송할 수 있다.(S511) 이때 사용자 단말(100)은 아바타 모델 생성 요청을 아바타 정보와 함께 콘텐츠 제공 서버(200)로 전송할 수 있다. 이때 콘텐츠 제공 서버(200)로 전송되는 '아바타 정보'는 아바타 모델 생성을 위한 적어도 하나의 이미지, 아바타 모델 생성을 위한 적어도 하나의 동영상 및/또는 아바타 모델 선택 정보를 포함할 수 있다.The user terminal 100 according to an embodiment of the present invention may transmit avatar information for generating an avatar to the content providing server 200 (S511). At this time, the user terminal 100 transmits the avatar model creation request with the avatar information. It may be transmitted together with the content providing server 200 . In this case, the 'avatar information' transmitted to the content providing server 200 may include at least one image for generating an avatar model, at least one video for generating an avatar model, and/or avatar model selection information.
본 발명의 일 실시예에 따른 콘텐츠 제공 서버(200)는 사용자 단말(100)로부터 수신된 아바타 정보를 참조하여 아바타 모델을 생성할 수 있다.(S512)The content providing server 200 according to an embodiment of the present invention may generate an avatar model with reference to the avatar information received from the user terminal 100 (S512).
본 발명에서 '아바타 모델'은 특정 인물을 3차원(또는 2차원)으로 모델링한 것으로, 제공된 메시지에 따른 표정, 동작, 입모양 등을 행하도록(또는 행동하도록) 구성된 모델을 의미할 수 있다.In the present invention, an 'avatar model' is a three-dimensional (or two-dimensional) model of a specific person, and may refer to a model configured to perform (or act) an expression, an action, a mouth shape, etc. according to a provided message.
본 발명에서 이와 같은 아바타 모델은 사용자가 제공한 아바타 정보에 기초하여 콘텐츠 제공 서버(200)에 의해 생성될 수 있다. 사용자는 자신이 선호하는 유명인의 이미지나, 자신의 가족, 자신의 연인 등의 이미지가 아바타 정보에 포함되도록 함으로써, 자신이 원하는 인물을 묘사한 아바타를 생성할 수 있다.In the present invention, such an avatar model may be generated by the content providing server 200 based on the avatar information provided by the user. The user can create an avatar depicting a person he or she wants by including an image of a celebrity he or she prefers, or an image of his or her family, his or her lover, etc. in the avatar information.
물론 콘텐츠 제공 서버(200)에는 이미 생성된 아바타 모델이 저장되어있고, 사용자는 이미 생성된 아바타 모델을 선택하는 방식으로 자신이 원하는 인물을 묘사한 아바타를 생성(또는 선택)할 수도 있다.Of course, the already created avatar model is stored in the content providing server 200 , and the user may create (or select) an avatar depicting a desired person by selecting the already created avatar model.
본 발명의 일 실시예에 따른 콘텐츠 제공 서버(200)는 다양한 공지의 기술을 활용하여 아바타 정보로부터 아바타 모델을 생성할 수 있다.The content providing server 200 according to an embodiment of the present invention may generate an avatar model from avatar information by using various well-known technologies.
가령 콘텐츠 제공 서버(200)는 사용자 단말(100)로부터 수신된 유명인의 이미지에서 랜드마크 정보를 추출하고, 추출 된 랜드마크 정보를 참조하여 샘플 모델의 외형을 변형시키는 방식으로 아바타 모델을 생성할 수 있다. 다만 이와 같은 방식은 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.For example, the content providing server 200 may generate an avatar model by extracting landmark information from the image of a celebrity received from the user terminal 100 and modifying the appearance of the sample model by referring to the extracted landmark information. have. However, such a method is exemplary and the spirit of the present invention is not limited thereto.
본 발명의 일 실시예에 따른 사용자 단말(100)은 사용자의 입력 메시지를 획득하고(S521), 이를 콘텐츠 제공 서버(200)에 전송할 수 있다.(S522)The user terminal 100 according to an embodiment of the present invention may obtain a user input message (S521) and transmit it to the content providing server 200 (S522).
가령 사용자 단말(100)은 사용자의 키패드 조작에 따른 텍스트 형태의 입력 메시지를 획득하고, 이를 콘텐츠 제공 서버(200)에 전송할 수 있다.For example, the user terminal 100 may obtain an input message in the form of a text according to the user's manipulation of the keypad, and transmit it to the content providing server 200 .
본 발명의 선택적 실시예에서, 사용자 단말(100)은 사용자의 음성을 획득하여 음성으로부터 텍스트를 생성하고, 텍스트와 음성을 콘텐츠 제공 서버(200)에 전송할 수도 있다.In an optional embodiment of the present invention, the user terminal 100 may obtain the user's voice, generate text from the voice, and transmit the text and the voice to the content providing server 200 .
본 발명의 일 실시예에 따른 콘텐츠 제공 서버(200)는 사용자 단말(100)로부터 수신된 입력 메시지를 챗봇 서버(300)에 전달하고(S523), 챗봇 서버(300)가 생성한 응답 메시지를 수신하여(S525), 다시 사용자 단말(100)로 제공할 수 있다.(S526) 이때 챗봇 서버(300)는 콘텐츠 제공 서버(200)로부터 수신된 입력 메시지에 대한 응답 메시지를 생성할 수 있다.(S524)The content providing server 200 according to an embodiment of the present invention transmits the input message received from the user terminal 100 to the chatbot server 300 (S523), and receives the response message generated by the chatbot server 300 (S525), it can be provided to the user terminal 100 again. (S526) In this case, the chatbot server 300 may generate a response message to the input message received from the content providing server 200. (S524) )
바꾸어말하면 본 발명의 일 실시예에 따른 사용자 단말(100)은 콘텐츠 제공 서버(200)로부터 입력 메시지에 대한 응답 메시지를 수신할 수 있다.(S526)In other words, the user terminal 100 according to an embodiment of the present invention may receive a response message to the input message from the content providing server 200 (S526).
도 7은 응답 메시지(710)로부터 표시 개체(730) 및 제1 영상 윈도우(740)가 생성되는 과정을 설명하기 위한 도면이다.FIG. 7 is a diagram for explaining a process of generating the display object 730 and the first image window 740 from the response message 710 .
본 발명의 일 실시예에 따른 콘텐츠 제공 서버(200)는 단계 S525에서 챗봇 서버(300)로부터 수신된 응답 메시지를 이용하여 제1 영상 윈도우를 생성할 수 있다.(S531)The content providing server 200 according to an embodiment of the present invention may generate a first image window using the response message received from the chatbot server 300 in step S525 (S531).
본 발명에서 제1 영상 윈도우, 제2 영상 윈도우 및 제3 영상 윈도우와 같은 '영상 윈도우'는 아바타 모델의 소정의 동작 과정 및/또는 동작 소리가 표시되는 창(또는 윈도우)을 의미할 수 있다. In the present invention, the 'image window' such as the first image window, the second image window, and the third image window may mean a window (or window) in which a predetermined operation process and/or operation sound of the avatar model is displayed.
가령 제1 영상 윈도우는 아바타 모델의 응답 메시지의 독음 영상이 표시되는 창을 의미할 수 있다. 이와 유사하게 제2 영상 윈도우는 사용자 선택한 메시지에 대한 아바타 모델의 독음 영상이 표시되는 창을 의미할 수 있다. 또한 제3 영상 윈도우는 소정의 이펙트가 적용된 아바타 모델의 영상이 표시되는 창을 의미할 수도 있다.For example, the first image window may mean a window in which a single sound image of the response message of the avatar model is displayed. Similarly, the second image window may mean a window in which a single sound image of the avatar model for the message selected by the user is displayed. Also, the third image window may refer to a window in which an image of an avatar model to which a predetermined effect is applied is displayed.
본 발명의 일 실시예에 따른 콘텐츠 제공 서버(200)는 아바타 모델(720)에 의한 응답 메시지(이때 응답 메시지는 단계 S525에서 챗봇 서버(300)로부터 수신된 것, 710)의 독음 영상이 표시되는 제1 영상 윈도우(740)를 생성할 수 있다.The content providing server 200 according to an embodiment of the present invention displays a response message by the avatar model 720 (in this case, the response message is received from the chatbot server 300 in step S525, 710). A first image window 740 may be generated.
상술한 단계 S531과 병렬적으로, 본 발명의 일 실시예에 따른 사용자 단말(100)은 입력 메시지(단계 S521에서 획득된) 및 응답 메시지(단계 S526에서 수신된) 각각에 대응되는 하나 이상의 표시 개체를 생성할 수 있다.(S541) 가령 사용자 단말(100)은 도 7에 도시된 바와 같이 응답 메시지(710)로부터 말풍선 형태의 표시 개체(730)를 생성할 수 있다. 이때 표시 개체(730) 내부의 텍스트는 응답 메시지(710)에 기초하여 생성되는 것 일 수 있다. In parallel with the above-described step S531, the user terminal 100 according to an embodiment of the present invention has one or more display objects corresponding to each of the input message (obtained in step S521) and the response message (received in step S526). (S541) For example, the user terminal 100 may generate a display object 730 in the form of a speech bubble from the response message 710 as shown in FIG. 7 . In this case, the text inside the display object 730 may be generated based on the response message 710 .
다만 도 7에 도시된 표시 개체(730)의 형태는 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니며, 사용자 단말(100)은 복수의 메시지 각각에 대해서 표시 개체를 생성할 수 있다.However, the shape of the display object 730 shown in FIG. 7 is illustrative and the spirit of the present invention is not limited thereto, and the user terminal 100 may generate a display object for each of a plurality of messages.
본 발명의 일 실시예에 따른 사용자 단말(100)은 콘텐츠 제공 서버(200)로부터 제1 영상 윈도우를 수신할 수 있다.(S532)The user terminal 100 according to an embodiment of the present invention may receive the first image window from the content providing server 200 (S532).
또한 본 발명의 일 실시예에 따른 사용자 단말(100)은 단계 S541에서 생성된 하나 이상의 표시 개체 및 단계 S532에서 수신된 제1 영상 윈도우를 함께 표시할 수 있다.(S551)Also, the user terminal 100 according to an embodiment of the present invention may display the one or more display objects generated in step S541 and the first image window received in step S532 together (S551).
도 8은 본 발명의 일 실시예에 따른 사용자 단말(100)에 하나 이상의 표시 개체 및 제1 영상 윈도우가 표시된 화면(800)의 예시이다.8 is an example of a screen 800 on which one or more display objects and a first image window are displayed on the user terminal 100 according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 사용자 단말(100)은 도 8에 도시된 바와 같이 제1 영상 윈도우(801) 상에 하나 이상의 표시 개체(802)를 표시할 수 있다.The user terminal 100 according to an embodiment of the present invention may display one or more display objects 802 on the first image window 801 as shown in FIG. 8 .
이때 본 발명의 일 실시예에 따른 사용자 단말(100)은 제1 영상 윈도우(801)를 아바타 모델의 얼굴을 포함하는 영역인 제1 영역(810)과 제1 영역(810)을 제외한 제2 영역(820)으로 구분할 수 있다. In this case, the user terminal 100 according to an embodiment of the present invention sets the first image window 801 to a first area 810 that is an area including the face of the avatar model, and a second area excluding the first area 810 . (820).
또한 사용자 단말(100)은 제2 영역(820)에만 하나 이상의 표시 개체(802)를 표시할 수 있다.Also, the user terminal 100 may display one or more display objects 802 only in the second area 820 .
본 발명의 일 실시예에 따른 사용자 단말(100)은 제2 영역(820)에 하나 이상의 표시 개체(802)를 시계열순으로 표시하되, 가장 최신의 표시 개체가 소정의 위치(예를 들어 가장 하단)에 표시되도록 할 수 있다. 물론 사용자 단말(100)은 최신의 표기 개체의 추가에 따라 기존 표시 개체의 위치를 이동시킬 수 있고, 새로운 표시 개체의 추가에 따라 제2 영역(820)을 벗어나 제1 영역(810)으로 진입하는 개체는 표시되지 않도록 할 수 있다.The user terminal 100 according to an embodiment of the present invention displays one or more display objects 802 in the second area 820 in chronological order, and the most recent display object is located at a predetermined position (eg, the lowermost ) can be displayed. Of course, the user terminal 100 may move the position of the existing display object according to the addition of the latest display object, and according to the addition of the new display object, it leaves the second area 820 and enters the first area 810. Objects can be made invisible.
이와 같이 본 발명은 제1 영상 윈도우와 각 메시지에 대응되는 표시 개체를 제공하되, 영상 윈도우에서 아바타 모델의 입모양이 표시되는 영역에 대해서는 표시 개체가 표시되지 않도록 함으로써 사용자의 학습 효율성을 향상시킬 수 있다.As described above, the present invention provides the first image window and a display object corresponding to each message, but prevents the display object from being displayed in the region where the mouth of the avatar model is displayed in the image window, thereby improving the learning efficiency of the user. have.
또한 본 발명은 사용자가 익숙한 채팅 형태로 학습 콘텐츠를 제공하되, 그 배경에 메시지와 관련된 영상, 특히 아바타 모델이 메시지를 발음하는 영상을 제공함으로써 사용자가 심리적 부담 없이 학습에 임하도록 할 수 있다.In addition, the present invention provides learning content in the form of chatting that the user is familiar with, but provides an image related to a message in the background, in particular, an image in which an avatar model pronounces a message, so that the user can engage in learning without a psychological burden.
도 4는 본 발명의 일 실시예에 따른 사용자 단말(100)이 제2 영상 윈도우를 제공하는 과정을 설명하기 위한 흐름도이다. 이하에서는 도 8을 함께 참조하여 설명한다.4 is a flowchart illustrating a process in which the user terminal 100 provides a second image window according to an embodiment of the present invention. Hereinafter, it will be described with reference to FIG. 8 .
본 발명의 일 실시예에 따른 사용자 단말(100)은 하나 이상의 표시 개체 및 제1 영상 윈도우를 표시할 수 있다.(S551) 단계 S551에 대해서는 도 3을 통하여 상세히 설명하였으므로, 이에 대한 상세한 설명은 생략한다.The user terminal 100 according to an embodiment of the present invention may display one or more display objects and a first image window. (S551) Since step S551 has been described in detail with reference to FIG. 3, a detailed description thereof will be omitted. do.
본 발명의 일 실시예에 따른 사용자 단말(100)은 제1 영상 윈도우(801) 상에 표시된 하나 이상의 표시 개체(802) 중 어느 하나의 개체를 선택하는 사용자의 선택 입력을 획득할 수 있다.(S561) The user terminal 100 according to an embodiment of the present invention may obtain a user's selection input for selecting any one of the one or more display objects 802 displayed on the first image window 801 ( S561)
가령 사용자는 하나 이상의 표시 개체(802) 중 두 번째 표시 개체(821)를 선택할 수 있다. 이때 사용자는 두 번째 개체(821) 그 자체를 선택할 수도 있고, 해당 개체와 관련된 별도의 개체(822)를 선택하는 방식으로 두 번째 개체(821)를 선택할 수도 있다.For example, the user may select a second display object 821 among one or more display objects 802 . In this case, the user may select the second object 821 itself, or may select the second object 821 by selecting a separate object 822 related to the object.
본 발명의 일 실시예에 따른 사용자 단말(100)은 식별된 표시 개체(또는 선택된 표시 개체)에 대응되는 선택 메시지를 확인할 수 있다.(S562) 가령 도 8에서 사용자가 두 번째 표시 개체(821)를 선택한 경우, 사용자 단말(100)은 "한국어 선생님, 함은정이에요."를 선택 메시지로 확인할 수 있다.The user terminal 100 according to an embodiment of the present invention may check a selection message corresponding to the identified display object (or the selected display object). (S562) For example, in FIG. is selected, the user terminal 100 may confirm "Korean teacher, this is Ham Eun-jung" as a selection message.
본 발명의 일 실시예에 따른 사용자 단말(100)은 확인된 선택 메시지 또는 메시지의 식별 정보를 콘텐츠 제공 서버(200)로 전송할 수 있다.(S563) 콘텐츠 제공 서버(0200)는 선택 메시지를 이용하여 제2 영상 윈도우를 생성할 수 있다.(S564) 이때 제2 영상 윈도우는 아바타 모델에 의한 선택 메시지의 독음 영상이 표시되는 윈도우 일 수 있다.The user terminal 100 according to an embodiment of the present invention may transmit the checked selection message or identification information of the message to the content providing server 200 (S563). The content providing server 0200 uses the selection message to A second image window may be generated ( S564 ). In this case, the second image window may be a window in which a single sound image of a selection message by the avatar model is displayed.
본 발명의 일 실시예에 따른 사용자 단말(100)은 콘텐츠 제공 서버(200)로부터 제2 영상 윈도우를 수신하고(S565), 이를 하나 이상의 표시 개체(802)와 함께 표시할 수 있다.(S566)The user terminal 100 according to an embodiment of the present invention may receive the second image window from the content providing server 200 (S565), and display it together with one or more display objects 802 (S566).
이로써 본 발명은 사용자가 선택한 메시지에 대한 효과적 반복 학습이 이루어질 수 있도록 한다. 즉 본 발명은 현재 대화에 따른 메시지뿐만 아니라, 과거 메시지에 대한 영상 윈도우를 동일한 인터페이스 내에서 반복하여 제공 받을 수 있도록 하여, 효과적 반복 학습이 이루어지도록 한다.Accordingly, the present invention enables effective repetitive learning of the message selected by the user. That is, according to the present invention, not only messages according to the current conversation, but also video windows for past messages can be repeatedly provided in the same interface, so that effective repetitive learning is achieved.
도 5는 본 발명의 일 실시예에 따른 사용자 단말(100)이 제3 영상 윈도우를 제공하는 과정을 설명하기 위한 흐름도이다.5 is a flowchart illustrating a process in which the user terminal 100 provides a third image window according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 콘텐츠 제공 서버(200)는 질의 응답 콘텐츠를 결정할 수 있다.(S571) 가령 콘텐츠 제공 서버(200)는 사용자 단말(100)로부터 수신된 질의응답 분야 선택 정보를 참조하여, 질의 응답 콘텐츠를 결정할 수 있다. 이때 콘텐츠 제공 서버(200)에는 분야 별로 복수의 질의 응답 콘텐츠가 미리 저장되어 있을 수 있다.The content providing server 200 according to an embodiment of the present invention may determine the question and answer content (S571). For example, the content providing server 200 refers to the question and answer field selection information received from the user terminal 100. , the question and answer content may be determined. In this case, the content providing server 200 may pre-store a plurality of question and answer content for each field.
본 발명의 일 실시예에 따른 콘텐츠 제공 서버(200)는 질의 응답 콘텐츠에 포함되는 질의를 챗봇 서버(300)로 전달하고(S572) 그에 대응되는 질의 메시지를 수신할 수 있다.(S574) 바꾸어말하면 콘텐츠 제공 서버(200)는 챗봇 서버(300)를 이용하여 질의가 사용자에게 제공하기 적합한 형태로 변형된 질의 메시지를 생성할 수 있다. 이때 챗봇 서버(300)는 콘텐츠 제공 서버(200)로부터 수신된 질의를 이용하여 질의 메시지를 생성할 수 있다.(S573)The content providing server 200 according to an embodiment of the present invention may transmit a query included in the question answering content to the chatbot server 300 (S572) and receive a corresponding query message (S574). In other words, The content providing server 200 may use the chatbot server 300 to generate a modified query message in a form suitable for providing a query to a user. In this case, the chatbot server 300 may generate a query message using the query received from the content providing server 200 (S573).
본 발명의 일 실시예에 따른 콘텐츠 제공 서버(200)는 사용자 단말(100)로 질의 메시지를 전송할 수 있다. 바꾸어말하면 본 발명의 일 실시예에 따른 사용자 단말(100)은 콘텐츠 제공 서버(200)로부터 질의 메시지를 수신할 수 있다.(S575)The content providing server 200 according to an embodiment of the present invention may transmit a query message to the user terminal 100 . In other words, the user terminal 100 according to an embodiment of the present invention may receive a query message from the content providing server 200 (S575).
사용자 단말(100)은 질의 메시지에 대한 사용자의 응답을 포함하는 응답 메시지를 획득하고(S581), 응답 메시지를 콘텐츠 제공 서버(200)로 전송할 수 있다.(S582)The user terminal 100 may obtain a response message including the user's response to the query message (S581), and transmit the response message to the content providing server 200 (S582).
본 발명의 일 실시예에 따른 콘텐츠 제공 서버(200)는 단계 S571에서 결정된 질의 응답 콘텐츠에 포함된 응답과 단계 S582에서 수신된 응답 메시지에 따른 응답을 비교하여 스코어를 산출할 수 있다.(S583) 가령 콘텐츠 제공 서버(200)는 질의 응답 콘텐츠에 포함된 응답과 수신된 응답 간의 유사도에 기반하여 스코어를 산출할 수 있다.The content providing server 200 according to an embodiment of the present invention may calculate a score by comparing the response included in the question and answer content determined in step S571 with the response according to the response message received in step S582 (S583). For example, the content providing server 200 may calculate a score based on a similarity between a response included in the question and answer content and a received response.
선택적 실시예에서, 사용자 단말(100)로부터 수신된 응답 메시지는 사용자의 음성을 포함하고, 콘텐츠 제공 서버(200)는 질의 응답 콘텐츠에 포함된 응답 음성과 사용자의 음성 간의 유사도에 기반하여 스코어를 산출할 수도 있다. 보다 구체적으로, 본 발명의 일 실시예에 따른 콘텐츠 제공 서버(200)는 사용자 단말(100)로부터 수신된 음성을 텍스트화 하고, 생성된 텍스트와 질의 응답 콘텐츠에 포함된 응답 텍스트와의 유사도에 기초하여 스코어를 산출할 수 있다. 다만 이는 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.In an optional embodiment, the response message received from the user terminal 100 includes the user's voice, and the content providing server 200 calculates a score based on the similarity between the response voice included in the question and answer content and the user's voice. You may. More specifically, the content providing server 200 according to an embodiment of the present invention converts the voice received from the user terminal 100 into text, and based on the similarity between the generated text and the response text included in the question and answer content. so that the score can be calculated. However, this is an example, and the spirit of the present invention is not limited thereto.
본 발명의 일 실시예에 따른 콘텐츠 제공 서버(200)는 산출된 스코어에 따라 사용자가 선택 가능한 이펙트의 종류를 확인하고, 확인된 이펙트가 포함된 이펙트 선택 메뉴를 사용자 단말(100)에 제공할 수 있다.(S584) 가령 콘텐츠 제공 서버(200)는 스코어가 높을수록 선택 가능한 이펙트의 종류의 수를 증가시켜 이펙트 선택 메뉴를 사용자 단말(100)에 제공할 수 있다.The content providing server 200 according to an embodiment of the present invention may check the type of effect that the user can select according to the calculated score, and provide an effect selection menu including the checked effect to the user terminal 100 . (S584) For example, the content providing server 200 may provide an effect selection menu to the user terminal 100 by increasing the number of types of selectable effects as the score increases.
본 발명의 일 실시예에 따른 사용자 단말(100)은 콘텐츠 제공 서버(200)로부터 응답 메시지의 스코어에 대응되는 이펙트 선택 메뉴를 수신할 수 있다.(S584) 또한 사용자 단말(100)은 수신된 메뉴에 대한 사용자의 선택 입력을 콘텐츠 제공 서버(200)로 전송할 수 있다.(S585)The user terminal 100 according to an embodiment of the present invention may receive an effect selection menu corresponding to the score of the response message from the content providing server 200 (S584). In addition, the user terminal 100 may receive the received menu It is possible to transmit the user's selection input to the content providing server 200 (S585).
이에 따라 본 발명의 일 실시예에 따른 콘텐츠 제공 서버(200)는 제1 영상 윈도우에 선택된 이펙트가 적용된 제3 영상 윈도우를 생성할 수 있다.(S591)Accordingly, the content providing server 200 according to an embodiment of the present invention may generate a third image window to which the selected effect is applied to the first image window (S591).
이때 이펙트는 사용자의 얼굴을 포함하는 제1 영상을 제1 영상 윈도우에 추가하는 이펙트일 수 있다. 이를 위해 사용자 단말(100)은 단계 S585에서 이펙트 선택 정보와 함께 사용자의 얼굴을 포함하는 제1 영상을 콘텐츠 제공 서버(200)에 전송할 수 있다. 아바타 모델이 유명인의 이미지에 기초하여 생성되는 예시에서, 제3 영상 윈도우는 유명인과 사용자가 함께 촬영한 동영상(특히 대화를 하는 동영상)을 포함할 수 있다.In this case, the effect may be an effect of adding the first image including the user's face to the first image window. To this end, the user terminal 100 may transmit the first image including the user's face together with the effect selection information to the content providing server 200 in step S585. In an example in which the avatar model is generated based on an image of a celebrity, the third video window may include a video (especially, a video having a conversation) captured by the celebrity and the user.
한편 이펙트는 사용자가 선택한 아이템을 제1 영상 윈도우 상의 아바타에게 적용하는 이펙트일 수도 있다. 가령 이펙트는 제1 영상 윈도우 상의 아바타에게 사용자가 선택한 의상, 사용자가 선택한 액세서리를 적용하는 이펙트 일 수 있다.Meanwhile, the effect may be an effect of applying the item selected by the user to the avatar on the first image window. For example, the effect may be an effect of applying the clothes selected by the user or the accessories selected by the user to the avatar on the first image window.
다만 상술한 2 가지의 이펙트는 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.However, the two effects described above are exemplary and the spirit of the present invention is not limited thereto.
본 발명의 일 실시예에 따른 사용자 단말(100)은 단계 S591에서 생성된 제3 영상 윈도우를 수신하고(S592) 이를 하나 이상의 표시 개체와 함께 표시할 수 있다.(S593)The user terminal 100 according to an embodiment of the present invention may receive the third image window generated in step S591 (S592) and display it together with one or more display objects (S593).
이와 같이 본 발명은 사용자의 응답 스코어에 따라 사용자가 아바타 모델에 대해 적용 가능한 이펙트의 수를 차등적으로 제공함으로써, 사용자의 학습 효과를 향상시킬 수 있다.As described above, according to the present invention, the user's learning effect can be improved by differentially providing the number of effects that the user can apply to the avatar model according to the user's response score.
이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 저장하는 것일 수 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. The embodiment according to the present invention described above may be implemented in the form of a computer program that can be executed through various components on a computer, and such a computer program may be recorded in a computer-readable medium. In this case, the medium may be to store a program executable by a computer. Examples of the medium include a hard disk, a magnetic medium such as a floppy disk and a magnetic tape, an optical recording medium such as CD-ROM and DVD, a magneto-optical medium such as a floppy disk, and those configured to store program instructions, including ROM, RAM, flash memory, and the like.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.Meanwhile, the computer program may be specially designed and configured for the present invention, or may be known and used by those skilled in the computer software field. Examples of the computer program may include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.The specific implementations described in the present invention are only examples, and do not limit the scope of the present invention in any way. For brevity of the specification, descriptions of conventional electronic components, control systems, software, and other functional aspects of the systems may be omitted. In addition, the connections or connecting members of the lines between the components shown in the drawings exemplarily represent functional connections and/or physical or circuit connections, and in an actual device, various functional connections, physical connections that are replaceable or additional may be referred to as connections, or circuit connections. In addition, unless there is a specific reference such as "essential", "importantly", etc., it may not be a necessary component for the application of the present invention.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the above-described embodiments, and the scope of the spirit of the present invention is not limited to the scope of the scope of the present invention. will be said to belong to

Claims (5)

  1. 어학 콘텐츠 제공 방법에 있어서,In the method of providing language content,
    사용자의 입력 메시지를 획득하는 단계;obtaining a user's input message;
    서버로부터 상기 입력 메시지에 대한 응답 메시지를 수신하는 단계;receiving a response message to the input message from a server;
    상기 입력 메시지 및 상기 응답 메시지 각각에 대응되는 하나 이상의 표시 개체를 생성하는 단계;generating one or more display objects corresponding to each of the input message and the response message;
    상기 서버로부터 아바타 모델에 의한 상기 응답 메시지의 독음(讀音) 영상이 표시되는 제1 영상 윈도우를 수신하는 단계; 및receiving, from the server, a first image window in which an image of a monologue of the response message by an avatar model is displayed; and
    상기 하나 이상의 표시 개체 및 상기 제1 영상 윈도우를 표시하는 단계;를 포함하는, 어학 콘텐츠 제공 방법.Displaying the one or more display objects and the first image window; Containing, language content providing method.
  2. 청구항 1에 있어서The method according to claim 1
    상기 표시하는 단계는The step of displaying
    상기 제1 영상 윈도우를 상기 아바타 모델의 얼굴을 포함하는 영역인 제1 영역과 상기 제1 영역을 제외한 제2 영역으로 구분하는 단계; 및dividing the first image window into a first area including the face of the avatar model and a second area excluding the first area; and
    상기 제2 영역에 상기 하나 이상의 표시 개체를 표시하는 단계;를 포함하는, 어학 콘텐츠 제공 방법.Displaying the one or more display objects in the second area; Containing, language content providing method.
  3. 청구항 1에 있어서The method according to claim 1
    상기 표시하는 단계는The step of displaying
    상기 제1 영상 윈도우 상에 상기 하나 이상의 표시 개체를 시계열순으로 표시하는 단계;를 더 포함하는, 어학 콘텐츠 제공 방법.Displaying the one or more display objects in chronological order on the first image window; further comprising, a method for providing language content.
  4. 청구항 3에 있어서4. The method of claim 3
    상기 표시하는 단계는The step of displaying
    상기 제1 영상 윈도우 상에 표시된 하나 이상의 표시 개체 중 사용자에 의해 선택된 표시 개체를 식별하는 단계;identifying a display object selected by a user from among one or more display objects displayed on the first image window;
    상기 식별된 표시 개체에 대응되는 선택 메시지를 확인하는 단계;checking a selection message corresponding to the identified display object;
    상기 서버에 상기 선택 메시지의 식별 정보 및 상기 아바타 모델에 의한 상기 선택 메시지의 독음(讀音) 영상이 표시되는 제2 영상 윈도우 생성 요청을 전송하는 단계;transmitting, to the server, a request for generating a second image window in which identification information of the selection message and a reading image of the selection message by the avatar model are displayed;
    상기 서버로부터 상기 제2 영상 윈도우를 수신하는 단계; 및receiving the second image window from the server; and
    상기 제1 영상 윈도우에 갈음하여 상기 제2 영상 윈도우를 표시하는 단계;를 포함하는, 어학 콘텐츠 제공 방법.Displaying the second image window in place of the first image window; Containing, language content providing method.
  5. 청구항 1에 있어서The method according to claim 1
    상기 어학 콘텐츠 제공 방법은How to provide the language content
    상기 서버로부터 수신된 질의에 대한 상기 사용자의 응답 메시지를 획득하는 단계;obtaining a response message from the user to the query received from the server;
    상기 응답 메시지를 상기 서버에 전송하고, 상기 서버로부터 상기 응답 메시지의 스코어에 대응되는 이펙트 선택 메뉴를 수신하는 단계;transmitting the response message to the server, and receiving an effect selection menu corresponding to the score of the response message from the server;
    상기 메뉴에 대한 사용자의 선택 입력을 상기 서버로 전송하는 단계;transmitting a user's selection input for the menu to the server;
    상기 선택 입력에 따른 이펙트가 적용된 제3 영상 윈도우를 상기 서버로부터 수신하는 단계; 및receiving a third image window to which an effect according to the selection input is applied from the server; and
    상기 제3 영상 윈도우를 표시하는 단계;를 포함하는, 어학 콘텐츠 제공 방법.Displaying the third image window; Containing, language content providing method.
PCT/KR2021/005121 2021-01-06 2021-04-22 Method and apparatus for providing language-learning content using avatar generated from portrait WO2022149661A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0001471 2021-01-06
KR1020210001471A KR20220099344A (en) 2021-01-06 2021-01-06 Method and apparatus for providing language learning contents using an avatar generated from portrait photos

Publications (1)

Publication Number Publication Date
WO2022149661A1 true WO2022149661A1 (en) 2022-07-14

Family

ID=82357433

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/005121 WO2022149661A1 (en) 2021-01-06 2021-04-22 Method and apparatus for providing language-learning content using avatar generated from portrait

Country Status (2)

Country Link
KR (1) KR20220099344A (en)
WO (1) WO2022149661A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090022755A (en) * 2007-08-31 2009-03-04 (주)에프엑스기어 The system which provide a specialized picture contents where the face image/voice data which the user designates is reflected
KR101597286B1 (en) * 2009-05-07 2016-02-25 삼성전자주식회사 Apparatus for generating avatar image message and method thereof
KR20170062089A (en) * 2015-11-27 2017-06-07 주식회사 매니아마인드 Method and program for making the real-time face of 3d avatar
KR20180084582A (en) * 2017-01-16 2018-07-25 주식회사 케이티 Public device and method for providing service in response to voice command, and public device for providing moving character in response to voice command
KR20200009332A (en) * 2018-07-18 2020-01-30 주식회사 케이티 Common device, method and computer program for providing service based on voice command

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090022755A (en) * 2007-08-31 2009-03-04 (주)에프엑스기어 The system which provide a specialized picture contents where the face image/voice data which the user designates is reflected
KR101597286B1 (en) * 2009-05-07 2016-02-25 삼성전자주식회사 Apparatus for generating avatar image message and method thereof
KR20170062089A (en) * 2015-11-27 2017-06-07 주식회사 매니아마인드 Method and program for making the real-time face of 3d avatar
KR20180084582A (en) * 2017-01-16 2018-07-25 주식회사 케이티 Public device and method for providing service in response to voice command, and public device for providing moving character in response to voice command
KR20200009332A (en) * 2018-07-18 2020-01-30 주식회사 케이티 Common device, method and computer program for providing service based on voice command

Also Published As

Publication number Publication date
KR20220099344A (en) 2022-07-13

Similar Documents

Publication Publication Date Title
WO2019156332A1 (en) Device for producing artificial intelligence character for augmented reality and service system using same
WO2021020667A1 (en) Method and program for providing remote rehabilitation training
WO2013085320A1 (en) Method for providing foreign language acquirement and studying service based on context recognition using smart device
CN206209894U (en) Realization of High School Teaching Managing System
WO2020214316A1 (en) Artificial intelligence-based generation of event evaluation report
JP2010224042A (en) Teaching system, teaching method, and program
KR102263154B1 (en) Smart mirror system and realization method for training facial sensibility expression
WO2015126022A1 (en) Method for providing toy assembly video
WO2022149661A1 (en) Method and apparatus for providing language-learning content using avatar generated from portrait
WO2017082647A1 (en) Push message-based writing and voice information transfer and playback method, and system therefor
WO2022182064A1 (en) Conversation learning system using artificial intelligence avatar tutor, and method therefor
WO2024101754A1 (en) Ai math tutoring service providing system capable of automatic unit and difficulty level classification and re-editing of math question , and method for implementing same
CN110852073A (en) Language learning system and learning method for customizing learning content for user
WO2014104620A1 (en) Method and apparatus for managing learning contents
WO2015088173A1 (en) Smart device having a teaching material reproduction app installed therein, which reproduces information of book-type teaching material using code recognition pen capable of performing bluetooth communication
WO2023022406A1 (en) Learning ability evaluation method, learning ability evaluation device, and learning ability evaluation system
WO2014088133A1 (en) System and method for explaining questions using image codes
WO2011157239A2 (en) Method, device and terminal equipment for message generation and processing
WO2022114323A1 (en) Control method for lecture providing system using keypad device
WO2020171283A1 (en) Automatic scoring system using qr code
CN113485567A (en) Motion trajectory synchronization method
WO2009154380A2 (en) Iterative learning terminal using page index, and system and method
JP6939128B2 (en) Data transmission method, data transmission device, and program
CN112215973A (en) Data display method, multimedia platform and electronic equipment
WO2019074136A1 (en) Artificial intelligence-based online self-learning device and method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21917823

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 23/11/2023)