WO2024010236A1 - 온라인 학습 시스템 및 방법 - Google Patents

온라인 학습 시스템 및 방법 Download PDF

Info

Publication number
WO2024010236A1
WO2024010236A1 PCT/KR2023/008174 KR2023008174W WO2024010236A1 WO 2024010236 A1 WO2024010236 A1 WO 2024010236A1 KR 2023008174 W KR2023008174 W KR 2023008174W WO 2024010236 A1 WO2024010236 A1 WO 2024010236A1
Authority
WO
WIPO (PCT)
Prior art keywords
learner
instructor
textbook
terminal
mapping function
Prior art date
Application number
PCT/KR2023/008174
Other languages
English (en)
French (fr)
Inventor
나기운
Original Assignee
주식회사 모랑스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모랑스 filed Critical 주식회사 모랑스
Publication of WO2024010236A1 publication Critical patent/WO2024010236A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/12—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Definitions

  • the present invention relates to an online learning system and an online learning method.
  • the image quality is significantly lower than that of face-to-face education.
  • Figure 1 shows the configuration of a general distance education system.
  • the required bandwidth increases exponentially.
  • the transmitted video in order to perform the service without interruption within the reserved bandwidth, the transmitted video must be This will be responded to by lowering the quality of the video, ultimately leading to a decrease in the quality of the video the learner is watching and causing a time delay between the instructor and the learner. This increases the learner's sense of distance from the instructor and hinders their concentration in learning, and this also applies to the instructor who receives the videos from the learners.
  • videos generated by the instructor are unilaterally transmitted to students. Because it is a method of watching videos created by the instructor, as if watching a drama or movie on TV, the learner's concentration decreases.
  • the purpose of the present invention is to provide an online learning system and method that can reduce required bandwidth.
  • the purpose of the present invention is to provide an online learning system and method that can further improve learners' concentration.
  • An online learning method includes a first step in which a learner's terminal receives display position information, which is information indicating a position to point or mark a specific part of a physical textbook, from a learning server; A second step in which the learner terminal displays an image captured in real time of an actual textbook held by the learner, and displays it together by overlaying a pointer or marker at a position according to the display location information received in the first step. It is characterized by:
  • the second step is the difference between the coordinates when the real textbook is unfolded in a perfect plane and the coordinates in the real-time image of the real textbook held by the learner.
  • the learner mapping function generated in step 2-1 is generated for each learner terminal, and the learner mapping function is generated for each learner terminal from the same display location information.
  • the correction positions generated may be different for each learner terminal.
  • the display location information is generated by the instructor's instructor terminal and transmitted to the learning server, and the instructor's instructor terminal displays real-time captured images of the actual textbook held by the instructor.
  • the instructor generates the display location information from an input of pointing or marking a specific part of the physical textbook and transmits it to the learning server.
  • a page code in which information representing the page number is digitally coded is printed on the physical textbook, and after the page number according to the page code is recognized in a real-time video of the physical textbook held by the instructor, , is transmitted to the learner terminal through the learning server, and the learner terminal can display the received page number together when displaying a video captured in real time of the actual textbook held by the learner.
  • the printed page number is recognized in a real-time video of the actual textbook held by the instructor and then transmitted to the learner terminal through the learning server, and the learner terminal is When displaying a video captured in real time of an actual textbook, the received page number can be displayed together.
  • the third step is to create an instructor mapping function that represents the correspondence between the coordinates when the actual textbook is unfolded in a perfect plane and the coordinates in the real-time captured image of the actual textbook held by the instructor.
  • symbols of a certain shape are printed at a certain location on each page of the physical textbook, and when generating the learner mapping function in the 2-1 step, or in the 3-1 step When creating an instructor mapping function, the above symbols can be used.
  • the printed symbols may be identified by an infrared camera when irradiated with an infrared lamp.
  • the result of recognizing the outline of the page is used,
  • the result of recognizing the virtual envelope surrounding the letter row can be used.
  • An online learning system includes a learning server that transmits display position information, which is information indicating a position to point or mark a specific part of an actual textbook; A learner terminal that receives the display location information from the learning server and displays a real-time image of an actual textbook held by the learner by overlaying a pointer or marker at a location according to the received display location information and displaying it together. can do.
  • the learner terminal generates a learner mapping function that represents the correspondence between the coordinates when the real textbook is unfolded in a complete plane and the coordinates in the real-time captured image of the real textbook held by the learner.
  • the learner mapping function can be used to obtain a corrected position by correcting the position according to the display position information, and the learner terminal can overlay and display a pointer or marker according to the corrected position.
  • the display location information is generated from an input where the instructor points or marks a specific part of the actual textbook and is sent to the learning server. It may further include a transmitting instructor terminal.
  • the present invention only small-capacity overlay information (display position information) and audio information can be transmitted, which has the effect of reducing the required bandwidth during online learning. Since there is no need to transmit videos to each other, a small communication bandwidth is used and there are no problems such as transmission quality degradation or time delay. In the existing conventional method, the image quality had to be intentionally lowered due to the communication traffic load, and if the number of people participating online was large, the image quality was inevitably degraded seriously. However, according to the present invention, instead of watching the transmitted video, you can watch the video input from your terminal. Since you learn by watching videos, the high resolution of the videos has the advantage.
  • the instructor's pointer or marker moves and learning audio is played in the textbook (and the learning environment) that the learner feels as his/her own, so the learner has the advantage of feeling as if the instructor is directly teaching him/her ('professor'). It has a realistic feel) and has the effect of increasing the learner's concentration and learning efficiency.
  • a pointer or marker is displayed in accordance with the distorted textbook image for each learner's terminal, thereby improving the realism of teaching for all learners even when multiple learners are learning at the same time.
  • Figure 1 shows the configuration of a general distance education system.
  • Figure 2 is a block diagram showing an online learning system according to an embodiment of the present invention.
  • Figure 3 is a block diagram showing the internal configuration of the terminal 20 according to an embodiment of the present invention.
  • Figure 4 shows an example of a screen displayed on a learner terminal in an online learning system according to an embodiment of the present invention.
  • Figure 5 shows an example in which additional printing portions (symbols) are additionally printed on the physical textbook according to an embodiment of the present invention.
  • Figure 6(a) is an example of an image taken of a textbook with symbols printed on it and spread out in a perfect plane
  • Figure 6(b) is an example of a virtual grid network formed on the image of Figure 6(a).
  • Figure 7(a) is an example of an image taken of a curvature when the physical textbook with symbols printed on it is unfolded
  • Figure 7(b) is an example of a virtual grid network formed on the image of Figure 7(a).
  • Figure 8(a) is an example of a virtual grid and markers configured on the image of the actual textbook
  • Figure 8(b) is the image of Figure 8(a) converted to a standard image (a flat image with distortion corrected). This is an example of a virtual grid and markers.
  • Figure 9(a) is an example of configuring a virtual grid and markers on a flat image
  • Figure 9(b) is an example of configuring a virtual grid and markers on a distorted image of an actual textbook.
  • instructors e.g. teachers, professors, lecturers
  • learners e.g. students, students
  • instructors use separately created materials (for example, PowerPoint materials) or electronic textbooks, and while the contents of these materials or electronic textbooks are displayed during learning, the display images and the instructor's actions (mouse movements) are displayed as videos. Then, the video is transmitted and displayed on the learner's terminal.
  • this method has the problem of traffic overload due to video transmission, but it was analyzed by the inventor of the present invention that it is a factor that reduces learning participation and concentration from the learner's perspective.
  • the online learning system and method according to the present invention starts from not sharing real-time video, and furthermore, the feeling that the learner receives, specifically, the instructor teaching directly or side by side to the learner.
  • the goal is to increase learners' concentration and learning efficiency by improving the feeling of what is being done (hereinafter referred to as 'teaching realism').
  • FIG. 2 is a block diagram showing an online learning system according to an embodiment of the present invention
  • FIG. 3 is a block diagram showing the internal configuration of the terminal 20 according to an embodiment of the present invention.
  • An online learning system is comprised of a learning server (10) and two or more terminals (20).
  • One of the two or more terminals may be an instructor terminal used by the instructor, and the other may be a learner terminal used by the learner, but this configuration is not necessarily limited.
  • the instructor is not specified and a number of learners form a group. Therefore, it can also be applied to group studies where random learners give presentations or lectures. In this case, in the following description of the present invention, the learner giving the presentation or lecture is considered to be the instructor.
  • one terminal is the instructor's instructor terminal and the other terminal is the learner's learner terminal.
  • the scope of equality also includes the instructor's instructor terminal being the learner's learner terminal.
  • the learning server 10 and the terminal 20 can perform mutual data communication through a communication network such as the Internet.
  • a communication network such as the Internet.
  • the terminal 20 When used by an instructor, the terminal 20 becomes an instructor terminal, and when used by a learner, the terminal 20 becomes a learner terminal.
  • the learning server 10 performs all functions for operating a typical online learning system, such as registration of instructors and learners, member management, login, and payment. Furthermore, it receives overlay information from some terminal(s) and connects the remaining terminals ( s) can transmit the received overlay information. For example, overlay information is received from the instructor terminal and the received overlay information is transmitted to the learner terminal(s). Of course, the learning server may configure overlay information to be transmitted by reformatting, modifying, correcting, adding, or partially deleting the received overlay information. Details of the overlay information will be described later.
  • Each terminal 20 includes a monitor 22, a control unit 23, an operation input unit 24, an audio input unit 27, an audio output unit 26, a communication unit 25, and a camera 21. ), and can be implemented using ordinary PCs, tablets, smartphones, etc.
  • the communication unit 25 performs a transmission and reception function for Internet communication, the camera 21 performs a function of photographing actual textbooks held by users (instructors and learners), and the monitor 22 functions to display captured images, etc. Perform.
  • the audio output unit 26 performs the function of outputting an audio signal, but mainly outputs an audio signal input from a remote instructor terminal (or another learner terminal) and transmitted through the learning server 10.
  • the manipulation input unit 24 performs input from the user, and may be, for example, a mouse, an electronic pen, a touch pad integrated with the touch screen, or a digitizer.
  • the audio input unit 27 is mainly used to input the user's voice.
  • the control unit 23 is equipped with software required by the terminal 20 and performs various functions thereby, including a monitor 22, an operation input unit 24, a communication unit 25, an audio input unit 27, and an audio output unit. (26) and camera (21) are controlled.
  • the learner terminal displays an image captured in real time of an actual textbook held by the learner, and displays a pointer 33 or a marker linked to the instructor's operation (input) on the image of the actual textbook displayed in real time. It's characteristic is to do something.
  • the instructor's terminal displays images captured in real time using the camera 21 of the actual textbook held by the instructor, generates overlay information and transmits it to the learning server 10.
  • the overlay information includes owner ID, display location information, It can include pointer/marker tags, deletion tags, and page number information.
  • the instructor terminal receives the instructor's voice (lecture voice) using the audio input unit 27 and transmits it to each learner terminal through the learning server 10.
  • Display location information is information generated from the input of the instructor pointing or marking a specific part of the physical textbook, and indicates the location of the pointer or marker in the physical textbook.
  • a pointer or marker is input from an operation input unit 24 such as a mouse, an electronic pen, a touch pad integrated with a touch screen, or a digitizer.
  • a pointer is something that points to a specific part, such as the pointer 33 in FIG. 4, and may have the shape of an arrow, a pointing hand, an indicator, a mouse picture, or a small circle.
  • a marker marks a specific part and is mainly displayed in the form of a line or a dot, for example, 51, 52, and 53 in FIGS. 8 and 9.
  • the pointer/marker tag is a tag that distinguishes whether the display location information is the location information of a pointing pointer or the location information of a marking marker. For example, if the instructor does not press the mouse button, it is in the pointer state, and when the mouse is moved in that state, the display position information of the pointer is continuously generated and transmitted to the learning server. When the instructor clicks the left button of the mouse, it enters the marking state, and when the mouse is moved in that state, the display position information of the marker is continuously generated and transmitted to the learning server.
  • a single display position information becomes specific position information at a specific sampled point in time, and one marker is a set of continuous display position information. It could be.
  • the delete tag is a tag that instructs the deletion of a displayed marker, and is information transmitted when the instructor displays a marker using the manipulation input unit 24 and then inputs a command to delete the displayed marker.
  • the owner ID is information that identifies the terminal or user transmitting the overlay information. For example, when displaying pointers or markers of multiple users on a specific learner terminal (or instructor terminal), the user ID is displayed next to these pointers or markers. It can be used to display information that can identify the user.
  • the owner ID can also be implemented in a way that it is first created in the learning server and added to the overlay information.
  • the page number recognizes the page number of the physical textbook being photographed through the camera 21 of the instructor's terminal.
  • the page number is automatically recognized as the number printed on the physical textbook, or the digitally coded page code is printed separately. It may be that it automatically recognizes what is in place.
  • the page number transmitted from the instructor's terminal is transmitted and displayed on each learner's terminal, allowing each learner to easily know which page the instructor has placed the physical textbook on, and can be used to allow each learner to open the corresponding page accordingly. there is.
  • the learning server 10 receives overlay information from the instructor terminal and transmits the received overlay information to the learner terminal(s). At this time, the learning server may configure overlay information to be transmitted by reformatting, modifying, or correcting the received overlay information, or adding or partially deleting the received overlay information.
  • the learner terminal receives overlay information including display position information from the learning server and displays a pointer or marker using the received overlay information.
  • the learner's terminal displays images captured in real time of the actual textbook held by the learner, and displays it together with a pointer or marker overlaid at the location according to the received display location information.
  • the learner terminal generates a learner mapping function that indicates the correspondence between the coordinates when the physical textbook is unfolded in a completely flat plane and the coordinates in the real-time captured video of the physical textbook held by the learner, and uses the learner mapping function to determine the display position.
  • a corrected position is obtained by correcting the position according to the information, and the learner terminal overlays and displays a pointer or marker according to the corrected position. Specific details will be described later.
  • a pointer is displayed or a marker is displayed according to the pointer/marker tag, and when a delete command is received by the delete tag, the marker being displayed is deleted.
  • the instructor terminal additionally generates and transmits a delete marker identifier in addition to the delete tag, and the learner terminal selectively selects one of the two or more markers being displayed based on this delete marker identifier. You can also delete it.
  • Figure 4 shows an example of a screen displayed on a learner's terminal in an online learning system according to an embodiment of the present invention.
  • the camera 21 of the learner's terminal is used to photograph the area containing the learner's actual textbooks.
  • the image at this time is captured together with the desk top image 35 and the writing instrument image 36, etc. to enhance the learner's own learning.
  • the environment can also be displayed.
  • the actual textbook image 32 is displayed to reflect the state in which the user placed the actual textbook.
  • the display image 31 the real-time area where the learner's actual textbook is filmed is displayed as it is unfolded by the learner, and along with this, the learner's actual learning environment coming into the shooting angle is also filmed and displayed. Accordingly, the image 31 displayed to the learner becomes his or her own teaching materials and learning environment completely under the control of the learner.
  • the pointer 33 or marker displayed on the actual textbook image 32 among the display images 31 is displayed at a location designated by the instructor in real time in conjunction with the remote instructor's manipulation (input).
  • the audio signal input through the instructor terminal is output from the audio output unit 26 of the learner terminal through the learning server 10.
  • the instructor conducts remote online learning by having the learner display the pointer 33 or a marker at a desired location and play audio to the learner.
  • the page number image 34 is displayed on the display image 31 using the page number information included in the overlay information, so that the learner knows the page of the actual textbook laid out by the instructor (or the actual textbook the instructor is lecturing on). It helps the learner to specify the page accordingly.
  • the instructor's pointer (33) or marker moves and learning audio is played in the teaching materials (your learning environment) that you feel are your own, so you have the effect of feeling as if the instructor is directly teaching you (beside you).
  • Learners have the feeling that the instructor is teaching them directly or next to them ('teacher realism'), which has the effect of increasing the learner's concentration and learning efficiency.
  • the position (area position) of the textbook image 32 in the display image 31 is usually different.
  • the outline, viewing angle, and size of the textbook image displayed on each monitor are different and distorted depending on the shooting conditions, such as the degree of proximity between the textbook and the camera, the angle at which the textbook is photographed, and the degree of curvature of the unfolded textbook. Even if the physical textbook is in the same location, it will be displayed in different locations on the monitor of the instructor's terminal and the monitor of the learner's terminal.
  • a simple way to solve this problem is to send the video captured by the learner's terminal to the instructor's terminal and have the instructor point or mark the video in the learner's textbook to solve the problem of the above-mentioned inconsistency.
  • this method causes three major problems. First, if there are two or more simultaneous learners, one learner's video must be selected, and other learners, excluding the learner, learn by watching other people's textbook videos and environment videos. Therefore, there is a problem in that the realism of teaching for other learners is not improved. Second, since the instructor must teach (lecture) while watching the learning material remotely through video, there is a problem that the instructor cannot see the notes made in the textbook and conversely, it reduces the instructor's sense of reality.
  • mapping function and position correction are used.
  • Figure 5 shows an example in which symbols, etc. are additionally printed on an actual textbook according to an embodiment of the present invention.
  • an additional printing part is included that is additionally printed on the margin area other than the textbook contents, mainly the border area surrounding the entire contents of the textbook.
  • the additional printing unit has page number information and is printed in the form of a barcode 41 printed long from border to border (see FIG. 5(a)), so that the user's terminal recognizes the barcode 41 and prints the corresponding page. It automatically determines the page number and allows it to be used to extract the mapping function for the page.
  • the additional printing unit prints a QR code 42 with page number information and a number of symbols 43 at regular intervals along the border from the border (see FIG. 5(b)), so that the user's terminal can print the QR
  • the page number can be automatically determined, and the symbol (43) can be used to extract the mapping function of the page.
  • a digitally coded page code such as a barcode or QR code, which is information indicating the page number, is printed on the physical document.
  • Each page of the physical textbook has symbols of a certain shape printed at a certain location, and these symbols are used when creating a mapping function, which will be described later.
  • the mapping function represents the correspondence relationship between the coordinates when the actual textbook is unfolded in a complete plane and the coordinates in a real-time captured image of the actual textbook, and may be composed of, for example, a mapping table.
  • the user's terminal constructs a virtual grid using additional printing parts (barcodes, symbols) from images of actual textbooks captured by a camera.
  • additional printing parts barcodes, symbols
  • Figure 6(a) if the actual textbook is perpendicular to the optical axis of the camera, perfectly aligned horizontally and vertically, and spread out in a perfect plane, the additional printing unit can be used as shown in Figure 6(b).
  • a perfectly square lattice network hereinafter referred to as an 'ideal lattice' will be constructed.
  • the user's terminal After receiving the image of the textbook as shown in FIG. 7(a), the user's terminal constructs a virtual grid as shown in FIG. 7(b) using the additional printing unit (barcode, symbol), and then prints the actual textbook on a completely flat surface. It is possible to construct a mapping function that represents the correspondence between the coordinates when unfolded and the coordinates in the real-time captured image of the actual textbook.
  • the mapping function can be implemented, for example, as a mapping table.
  • intersection point P ij of the grid network and the intersection point Q ij of the grid network (which is a distorted grid network) in the real-time captured image of the actual textbook of an actual user have the same pixels in each image. When doing so, you can obtain the coordinates of two intersection points in the image.
  • intersection coordinate value is a two-dimensional value that indicates the location of the intersection in the image.
  • a pair of intersection coordinate values, V(P ij ) and V(Q ij ), can be expressed as, for example, [(214, 51),(214, 38)], and these coordinate value pairs represent all intersection points of the grid.
  • a mapping table is formed by being created in .
  • the mapping table M can be displayed as shown below, for example, and the number of intersections (number of horizontal and vertical lines) and maximum value (range) can be set considering the resolution of the image.
  • n and m are natural numbers and are the number of horizontal and vertical lines in the grid
  • P ij and Q ij are the intersection points where the ith horizontal line and jth vertical line meet, respectively
  • V(P ij ) and V(Q ij ) are This is the intersection coordinate value of the intersection points P ij and Q ij and is a two-dimensional value indicating the location of the intersection point in the image.
  • the page number is automatically recognized from the page code included in the barcode 41 or QR code 42 captured by the instructor terminal, and the recognized page number is used as overlay information. It is included in and transmitted to each learner terminal through the learning server 10, and when a real-time captured video of the actual textbook held by the learner is displayed on the monitor of the learner terminal, the page number is displayed as a page number image (see 34 in FIG. 4). It is displayed.
  • the instructor terminal automatically recognizes the printed page number in the captured video, the recognized page number is included in the overlay information and is transmitted to each learner terminal through the learning server 10, and the learner displays the page number on the monitor of the learner terminal.
  • the page number is displayed as a page number image (see 34 in FIG. 4).
  • the learner terminal can automatically recognize the page number of the learner's textbook, compare it with the page number of the instructor's textbook received, and send an alarm when they are different.
  • an alarm method such as blinking the instructor's page number displayed on the monitor of the learner's terminal can be used.
  • a mapping function is generated on each user's terminal, and on the instructor's terminal, there is a correspondence relationship between the coordinates when the physical textbook is unfolded in a complete plane and the coordinates in the real-time captured video of the physical textbook held by the instructor.
  • each learner terminal also generates a learner mapping function(s) that represents the correspondence between the coordinates when the physical textbook is unfolded in a complete plane and the coordinates in the real-time captured video of the physical textbook held by each learner. .
  • the learner mapping function generated at each learner's terminal is naturally different. do.
  • the learner mapping function is generated for each learner terminal, and the correction position, which will be described later, from the same display position information may be different for each learner terminal.
  • the instructor's terminal displays real-time images of the actual textbook held by the instructor, generates display location information from the input of the instructor pointing or marking a specific part of the physical textbook, and includes this in the overlay information to be sent to the learning server. send to At this time, the instructor terminal uses the instructor mapping function to obtain a correction position that corrects the position where the instructor points or marks a specific part of the physical textbook, and generates the display position information based on the correction position.
  • the marker 51 shown by the instructor over a certain period of time is shown in Figure 8(a).
  • the instructor recognizes the location (coordinates) of the point where the actual textbook is being marked at that timing, and the recognized location (coordinates) is used to map the actual textbook using the instructor mapping function described above.
  • the position (coordinates) is corrected. This correction position is included in the overlay information as display position information and is transmitted to each learner terminal through the learning server. If the instructor draws the marker 51 as shown in FIG. 8(a) for a certain period of time, the marker 52 is drawn at the same position as shown in FIG. 8(b) on the virtual standard image (flat image with correction for distortion). Information (more precisely, a set of continuous location information) is transmitted to each learner.
  • the coordinate values in the actual grid reflecting the distortion are converted to coordinate values in the ideal grid.
  • the coordinate value of the intersection point Q ij is converted to the coordinate value of the intersection P ij , and at a position other than the intersection point, the coordinate value is converted to the coordinate value of the ideal grid network. If it is a coordinate value, it can be converted by a known interpolation method. Therefore, the display location information transmitted to each learner terminal through the learning server is transmitted as coordinate values according to an ideal grid (that is, coordinates when the physical textbook is unfolded in a complete plane and coordinate values in the ideal state).
  • each learner's learner terminal receives display position information, which is information indicating the position to point or mark a specific part of the physical textbook, from the learning server, and overlays a pointer or marker at a position according to the received display position information. Display.
  • the learner terminal displays an image captured in real time of the actual textbook held by the learner, and extracts a displacement value (dx, dy) indicating the starting position of the textbook image (page image) (32; see Figure 4) from the display image.
  • a displacement value dx, dy
  • this can also be created when creating a learner mapping function.
  • the learner terminal obtains a corrected position by correcting the position according to the display position information using its own learner mapping function, shifts the corrected position by the displacement value, and displays a pointer or marker overlaid on the textbook image.
  • overlay information is displayed through the learning server.
  • display position information of the included marker display position information when the pointer/marker tag indicates that it is a marker
  • the virtual marker 52 shown in Figure 9(a) is displayed like the marker 53 shown in Figure 9(b) according to the position correction according to the learner mapping function. If any part has already been drawn so far, It may be displayed in an additional form.
  • Additional printing parts such as barcodes, QR codes and symbols are printed on the textbook, but can be made invisible to the user by being printed, for example, with infrared fluorescent ink, which is identified by an infrared camera when irradiated by an infrared lamp. there is.
  • a mapping function can be created without having to configure an additional printing part in the textbook, and the result of recognizing the outline of the page can be used.
  • the outline of a page reflects the curvature of the page, so a mapping function can be created by recognizing the outlines that make up the four sides of the page.
  • each page of each textbook usually consists of a number of character lines, there is a virtual envelope surrounding each character line (or a virtual envelope that surrounds only one direction from the top or bottom of each character line).
  • a mapping function can be created using the result of recognizing the virtual envelope.
  • a pointer or marker operated by an instructor is provided to the learner terminal, but simultaneously or separately, a pointer or marker operated by one learner is displayed on the instructor terminal and another learner terminal in a similar manner. For example, if a learner (student) wants to ask the instructor a question about a specific part of the textbook and underlines a specific part of the textbook with his or her mouse, a line will be drawn at the same location on the instructor's textbook screen.
  • each pointer/marker can be tagged with the user's name, nickname, or ID and displayed together.
  • a pointer or marker is displayed in accordance with the distorted teaching material image for each learner's terminal, so that the learner feels as if the instructor is teaching by directly looking at his/her teaching material.
  • multiple learners Even when students are learning at the same time, the realism of teaching is improved for all learners.
  • as an instructor there is an advantage in being able to teach while watching your own textbook rather than teaching (lecturing) by watching a video of a remote learning material. Since there is no need to transmit videos to each other, the communication bandwidth is used small, reducing transmission quality and time. It has the effect of eliminating problems such as delay. Additionally, since instructors and learners learn by watching videos input from their own terminals, there is an advantage in that the video resolution is high.
  • a clear online learning material screen can be secured.
  • image quality had to be intentionally degraded due to communication traffic load, and if the number of people participating online was large, image quality deterioration was bound to occur seriously.
  • you can view a locally created video in high definition on your PC screen.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명에 따른 온라인 학습 시스템은, 실물교재의 특정부분을 포인팅하거나 마킹할 위치를 나타내는 정보인 표시위치정보를 전송하는 학습 서버; 상기 학습 서버로부터 상기 표시위치정보를 수신하며, 학습자가 보유한 실물교재를 실시간 촬영한 영상을 디스플레이 하되, 상기 수신된 표시위치정보에 따른 위치에 포인터 또는 마커를 오버레이하여 함께 디스플레이하는 학습자 단말;을 포함할 수 있다.

Description

온라인 학습 시스템 및 방법
본 발명은 온라인 학습 시스템과 온라인 학습 방법에 관한 것이다.
전세계적인 호흡기 전염병으로 인하여 비대면 온라인 학습에 대한 요구가 커졌다. 과거에는 글로벌 기업체에서 주로 사용하던 원격 화상회의 시스템이 비대면 온라인 학습에도 도입되어 사용되고 있다. 이런 현상은 공교육 뿐만 아니라 학원, 개인과외 같은 사교육 시장에서도 확대되었다.
전세계적인 호흡기 전염병이 사라졌지만, 비대면 온라인 학습에 대한 요구는 여전히 존재하고 있다. 그 이유는, 전통적인 대면학습에 비해 시간과 비용에 있어서 효율적이고 경제적이기 때문이다.
하지만, 교육 효과에 대해서는 여전히 의견이 분분한 상태이다. 온라인 비대면 교육의 가장 큰 문제점으로 지적되고 있는 것은, 학생의 적극적인 참여를 이끌어내기 어렵다는 점이다. 현재 기술로 행해지는 온라인 비대면 교육은 대부분 교수자가 강의 자료를 만들고 그 내용을 온라인으로 학생들에게 전달하여 가르치는 형태이다. 교수자와 학생들은 서로의 얼굴을 볼 수 있어서, 구조적으로 볼 때 대면 교육과 온라인 비대면 교육은 완전 동일한 것처럼 보이지만 2가지 큰 차이가 있다.
첫번째는, 대면 교육에 비해 화질이 현저하게 떨어지는 점인데, 온라인 학습 교실에 참여하는 학생수가 많으면 많을수록 화질이 떨어진다.
도 1은 일반적인 원격 교육 시스템의 구성을 도시한 것이다.
원활한 원격 학습을 위해선 트래픽 과부하에 따른 버퍼링이나 끊김 현상이 없어야 하는데, 요구되는 트래픽이 얼마인지 간단히 계산해 보면 다음과 같다. 교수자는 자신의 모습을 실시간 동영상으로 활영해 학습서버에 올리고, 학생 n명은 실시간으로 이러한 동영상을 스트리밍으로 받아야 한다. 일반적인 데스트탑 환경에서 흔히 볼 수 있는 표준 고화질 720p는 3~4Mbps 속도를 요구하며, 표준 고화질로 교육하기 위해서 학습서버는 4xn Mbps(표준 고화질이 4Mbps인 경우)의 통신 대역폭이 필요하며, 예를 들어 한 학급이 40명이라면 선생님을 포함하여 대략 4x41 = 164 Mbps의 대역폭이 필요하다.
나아가 학습 서버를 통하여 동일 시간대에 학습하는 학습방수(예를 들면, 학급수)가 증가할 수록 요구 대역폭은 기하급수적으로 증가하며, 결국 보유 대역폭내에서 서비스를 중단없이 수행하기 위해서는, 전송되는 동영상의 화질을 떨어뜨리는 방법으로 대응될 것이어서 결국 학습자가 시청하는 동영상의 품질저하로 이어지며, 교수자와 학습자 사이의 타임 딜레이를 유발하게 된다. 이로 인해 학습자는 교수자와의 거리감이 증가되고 학습 집중도가 저해되며, 이는 학습자들로부터의 동영상을 수신하는 교수자쪽도 마찬가지다.
두번째는, 현재 비대면 온라인 교육에서는 교수자쪽에서 생성된 영상을 학생들에게 일방적으로 전송하고 있다. 마치 TV로 드라마나 영화를 시청하듯이 교수자쪽에서 생성된 영상을 시청하는 방식이므로, 학습자의 집중도가 떨어지게 된다.
비대면 온라인 교육이 경제적으로, 그리고 시간적으로 효율적이긴 하나 상기와 같은 이유로 부정적인 효과의 문제도 크다.
본 발명의 목적은 요구 대역폭을 저감할 수 있는 온라인 학습 시스템 및 방법을 제공하기 위한 것이다.
또한, 본 발명의 목적은 학습자의 집중도를 보다 향상시킬 수 있는 온라인 학습 시스템 및 방법을 제공하기 위한 것이다.
본 발명의 일 양상에 따른 온라인 학습 방법은, 학습자의 학습자 단말이, 학습서버로부터 실물교재의 특정부분을 포인팅하거나 마킹할 위치를 나타내는 정보인 표시위치정보를 수신하는 제 1 단계; 상기 학습자 단말이, 상기 학습자가 보유한 실물교재를 실시간 촬영한 영상을 디스플레이 하되, 상기 제 1 단계에서 수신된 상기 표시위치정보에 따른 위치에 포인터 또는 마커를 오버레이하여 함께 디스플레이하는 제 2 단계;를 포함하는 것을 특징으로 한다.
상기한 온라인 학습 방법에 있어서, 상기한 온라인 학습 방법에 있어서, 상기 제 2 단계는, 실물교재가 완전한 평면으로 펼쳐졌을 때 좌표와, 상기 학습자가 보유한 실물교재를 실시간 촬영한 영상에서의 좌표 사이의 대응 관계를 나타내는 학습자 맵핑함수를 생성하는 제 2-1 단계; 상기 학습자 맵핑함수를 이용하여 상기 표시위치정보에 따른 위치를 보정한 보정 위치를 얻고, 상기 보정 위치에 상기 학습자 단말이 포인터 또는 마커를 오버레이하여 디스플레이하는 제 2-2 단계;를 포함할 수 있다.
상기한 온라인 학습 방법에 있어서, 2 이상의 학습자가 동일 교수자와 학습하는 경우, 상기 제 2-1 단계에서 생성되는 학습자 맵핑함수는 학습자 단말별로 각각 생성되며, 동일한 표시위치정보로부터 상기 제 2-1 단계에서 생성되는 보정 위치가 학습자 단말별로 서로 상이할 수 있다.
상기한 온라인 학습 방법에 있어서, 상기 표시위치정보는, 교수자의 교수자 단말이 생성하여 상기 학습서버로 전송한 것으로서, 교수자의 교수자 단말이, 상기 교수자가 보유한 실물교재를 실시간 촬영한 영상을 디스플레이하는 상태에서, 상기 교수자가 실물교재의 특정부분을 포인팅하거나 마킹하는 입력으로부터 상기 표시위치정보를 생성하여 상기 학습서버로 전송하는 제 3 단계;를 더 포함할 수 있다.
상기한 온라인 학습 방법에 있어서, 실물교제에는 페이지 번호를 나타내는 정보가 디지털 코드화된 페이지코드가 인쇄되어 있으며, 상기 교수자가 보유한 실물교재를 실시간 촬영한 영상에서 상기 페이지코드에 따른 페이지 번호가 인식된 후, 상기 학습서버를 통해 상기 학습자 단말로 전송되며, 상기 학습자 단말은, 상기 학습자가 보유한 실물교재를 실시간 촬영한 영상을 디스플레이 할 때 상기 수신된 페이지 번호를 함께 디스플레이할 수 있다.
상기한 온라인 학습 방법에 있어서, 상기 교수자가 보유한 실물교재를 실시간 촬영한 영상에서 인쇄된 페이지 번호가 인식된 후, 상기 학습서버를 통해 상기 학습자 단말로 전송되며, 상기 학습자 단말은, 상기 학습자가 보유한 실물교재를 실시간 촬영한 영상을 디스플레이 할 때 상기 수신된 페이지번호를 함께 디스플레이할 수 있다.
상기한 온라인 학습 방법에 있어서, 상기 제 3 단계는, 실물교재가 완전한 평면으로 펼쳐졌을 때 좌표와, 상기 교수자가 보유한 실물교재를 실시간 촬영한 영상에서의 좌표 사이의 대응 관계를 나타내는 교수자 맵핑함수를 생성하는 제 3-1 단계; 상기 교수자 맵핑함수를 이용하여 상기 교수자가 실물교재의 특정부분을 포인팅하거나 마킹하는 위치를 보정한 보정 위치를 얻고, 상기 보정 위치에 의해 상기 표시위치정보를 생성하는 제 3-2 단계;를 포함할 수 있다.
상기한 온라인 학습 방법에 있어서, 상기 실물교재의 각 페이지에는 정해진 위치에 정해진 모양의 기호들이 인쇄되어 있으며, 상기 제 2-1 단계에서 상기 학습자 맵핑함수를 생성할 때, 또는 상기 제 3-1 단계에서 교수자 맵핑함수를 생성할 때, 상기 기호들이 이용될 수 있다.
상기한 온라인 학습 방법에 있어서, 상기 인쇄된 기호들은 적외선 램프의 조사시 적외선 카메라에 의해 식별되는 것일 수 있다.
상기한 온라인 학습 방법에 있어서, 상기 제 2-1 단계 상기 학습자 맵핑함수를 생성할 때, 또는 상기 제 3-1 단계에서 교수자 맵핑함수를 생성할 때, 페이지의 외곽선을 인식한 결과를 이용하거나, 상기 글자행을 감싸는 가상의 포락선을 인식한 결과를 이용할 수 있다.
본 발명의 일 양상에 따른 온라인 학습 시스템은, 실물교재의 특정부분을 포인팅하거나 마킹할 위치를 나타내는 정보인 표시위치정보를 전송하는 학습 서버; 상기 학습 서버로부터 상기 표시위치정보를 수신하며, 학습자가 보유한 실물교재를 실시간 촬영한 영상을 디스플레이 하되, 상기 수신된 표시위치정보에 따른 위치에 포인터 또는 마커를 오버레이하여 함께 디스플레이하는 학습자 단말;을 포함할 수 있다.
상기한 온라인 학습 시스템에 있어서, 상기 학습자 단말은, 실물교재가 완전한 평면으로 펼쳐졌을 때 좌표와, 상기 학습자가 보유한 실물교재를 실시간 촬영한 영상에서의 좌표 사이의 대응 관계를 나타내는 학습자 맵핑함수를 생성하며, 상기 학습자 맵핑함수를 이용하여 상기 표시위치정보에 따른 위치를 보정한 보정 위치를 얻고, 상기 보정 위치에 따라 상기 학습자 단말이 포인터 또는 마커를 오버레이하여 디스플레이할 수 있다.
상기한 온라인 학습 시스템에 있어서, 교수자가 보유한 실물교재를 실시간 촬영한 영상을 디스플레이하는 상태에서, 상기 교수자가 실물교재의 특정부분을 포인팅하거나 마킹하는 입력으로부터 상기 표시위치정보를 생성하여 상기 학습서버로 전송하는 교수자 단말;을 더 포함할 수 있다.
본 발명에 따르면 용량이 작은 오버레이정보(표시위치정보)와 오디오 정보를 전송하면 되므로 온라인 학습시 요구 대역폭을 저감할 수 있는 효과가 있다. 동영상을 상호간에 전송할 필요가 없으므로 통신 대역폭을 작게 사용하고 전송품질저하와 타임 딜레이와 같은 문제가 없다. 기존 종래 방식은 통신 트래픽 부하 때문에 화질을 고의로 저하시켜야 하였고, 온라인에 참여한 사람 수가 많으면 화질 저하가 심각하게 일어날 수 밖에 없었으나, 본 발명에 따르면 전송받은 동영상을 보는 것이 아니고, 자신의 단말에서 입력한 영상을 보면서 학습하게 되므로 영상의 해상도가 높은 장점이 있다.
또한, 본 발명에 따르면 학습자로서는 자신의 것으로 실감되는 교재(및 자신의 학습 환경)에서 교수자의 포인터 또는 마커가 움직이고 학습 오디오가 재생되므로, 마치 교수자가 직접 자신을 가르치고 있는 것처럼 느끼게 되는 장점('교수 실감성')이 있으며, 학습자의 집중도와 학습 효율성을 높일 수 있는 효과가 있다.
또한, 본 발명에 따르면 각 학습자 단말별로 왜곡된 교재영상에 맞추어져(순응하여) 포인터 또는 마커가 표시되므로, 복수의 학습자가 동시에 학습하고 있는 경우에도 모든 학습자의 교수 실감성이 제고된다.
또한, 교수자로서도 원격의 학습교재를 영상으로 보면서 교수(강의)하지 않고 자신의 교재를 보면서 교수할 수 있는 장점이 있다.
또한, 본 발명에 따르면 실물 교재를 그대로 이용하면 되므로, 별도의 자료나 전자파일을 만들지 않아되 되는 장점이 있다.
도 1은 일반적인 원격 교육 시스템의 구성을 도시한 것이다.
도 2는 본 발명의 일 실시에에 따른 온라인 학습 시스템을 도시한 블럭도이다.
도 3은 본 발명의 일 실시에에 따른 단말(20)의 내부구성을 도시한 블럭도이다.
도 4는 본 발명의 일 실시예에 따른 온라인 학습 시스템에서 학습자 단말에 디스플레이되는 화면의 예를 도시한 것이다.
도 5는 본 발명의 일 실시예에 따라 실물교재에 부가인쇄부(기호)가 추가 인쇄된 예를 도시한 것이다.
도 6(a)는 기호가 인쇄되고 완전한 평면으로 펴진 교재를 촬영한 영상의 예이며 도 6(b)는 도 6(a)의 영상에 가상의 격자망을 구성한 예이다.
도 7(a)는 기호가 인쇄된 실물교재를 펼쳤을 때 굴곡을 가진 것을 촬영한 영상의 예이며, 도 7(b)는 도 7(a)의 영상에 가상의 격자망을 구성한 예이다.
도 8(a)는 실물교재의 영상에 가상의 격자망과 마커가 구성된 예이며, 도 8(b)는 도 8(a)의 영상에 대한 표준영상(왜곡을 보정한 평면영상)으로 변환하고 이에 가상의 격자망과 마커가 구성된 예이다.
도 9(a)는 평면영상에 가상의 격자망과 마커를 구성한 예이며, 도 9(b)는 실물교재를 촬영한 왜곡 영상에 가상의 격자망과 마커를 구성한 예이다.
보통 교수자(예를 들면 교사, 교수, 강사)와 학습자(예를 들면 학생, 수강생)들은 실물 교재를 가지고 있지만, 온라인 비대면 학습을 하는 도중엔 사실 학습자의 실물 교재가 사용되지 않는다. 보통 교수자는 별로도 만든 자료(예를 들면 파워포인트 자료)나 전자화된 교재를 이용하는데, 학습중 이러한 자료 또는 전자교재의 내용이 디스플레이되는 상태에서 디스플레이 영상과 교수자의 액션(마우스 움직임)을 동영상으로 하여 전송하고 학습자의 단말에서는 이러한 동영상을 보여 주게 된다. 그런데, 이러한 방법은 동영상 전송으로 인한 트래픽 과부하의 문제도 있지만, 학습자의 입장에서 볼 때 학습 참여도와 집중도를 저하시키는 요인이 되는 것으로, 본 발명의 발명자에 의해 분석되었다.
통신 트래픽 과부하를 불러일으키는 주범은 실시간 동영상 공유이므로, 본 발명에 따른 온라인 학습 시스템 및 방법에서는 실시간 동영상을 공유하지 않는 것에서 출발하며, 나아가 학습자가 받는 느낌, 구체적으로 교수자가 자신에게 직접 또는 옆에서 교수하고 있는 듯한 느낌(이하, '교수 실감성'이라고 한다)을 향상시킴으로써 학습자의 집중도와 학습 효율성을 높이고자 한다.
도 2는 본 발명의 일 실시에에 따른 온라인 학습 시스템을 도시한 블럭도이며, 도 3은 본 발명의 일 실시에에 따른 단말(20)의 내부구성을 도시한 블럭도이다.
본 발명의 일 실시예에 따른 온라인 학습 시스템은 학습서버(10)와 2이상의 단말(20)을 포함하여 구성된다. 2 이상의 단말들중 하나는 교수자가 사용하는 교수자 단말이고 나머지는 학습자가 사용하는 학습자 단말일 수 있으나, 꼭 이러한 구성에 한정되는 것이 아니며, 예를 들면 교수자가 특정되지 않고 다수의 학습자가 그룹을 구성하여 임의 학습자가 발표하거나 강의하는 그룹 스터디의 경우에도 적용될 수 있다. 이러한 경우, 본 발명의 하기 설명에서는 발표 또는 강의하는 학습자가 교수자가 되는 것으로 간주된다.
이하에서는 이해의 편의상 하나의 단말이 교수자의 교수자 단말이고 나머지 단말이 학습자의 학습자 단말인 것을 상정하여 설명하나, 교수자의 교수자 단말이 학습자의 학습자 단말인 것도 균등의 범위에 포함된다.
학습 서버(10)와 단말(20)은 인터넷 등의 통신망을 통하여 상호 데이터통신을 수행할 수 있다. 교수자가 사용하는 경우 단말(20)은 교수자 단말이 되며, 학습자가 사용하는 경우 단말(20)은 학습자 단말이 된다.
학습서버(10)는 교수자 및 학습자의 등록, 회원관리, 로그인, 결제 등 통상의 온라인 학습 시스템을 운영하기 위한 제반 기능을 수행하며, 나아가, 어떤 단말(들)로부터 오버레이 정보를 수신하고 나머지 단말(들)에게 수신된 오버레이 정보를 전송할 수 있다. 예를 들어, 교수자 단말로부터 오버레이 정보를 수신하고 수신된 오버레이 정보를 학습자 단말(들)로 전송한다. 물론, 학습서버는 수신된 오버레이 정보를 리포맷, 변형 또는 보정하거나 추가 또는 일부삭제하여 전송할 오버레이 정보를 구성할 수도 있으며, 오버레이 정보의 구체적 사항에 대해서는 후술한다.
각 단말(20)(교수자 단말 및 학습자 단말)은 모니터(22), 제어부(23), 조작 입력부(24), 오디오 입력부(27), 오디오 출력부(26), 통신부(25) 및 카메라(21)를 포함하여 구성되는 것으로서, 통상의 PC, 태블릿, 스마트폰 등을 이용하여 구현될 수 있다.
통신부(25)는 인터넷 통신을 위한 송수신 기능을 수행하며, 카메라(21)는 사용자(교수자 및 학습자)가 가진 실물 교재를 촬영하는 기능을 수행하고 모니터(22)는 촬영된 영상 등을 디스플레이하는 기능을 수행한다. 오디오 출력부(26)는 오디오 신호를 출력하는 기능을 수행하되, 주로 원격지의 교수자 단말(또는 다른 학습자 단말)에서 입력되어 학습서버(10)를 통하여 전송받은 오디오 신호를 출력한다.
조작 입력부(24)는 사용자로부터의 입력을 수행하는데, 예를 들면 마우스, 전자펜, 터치스크린에 일체로 구성된 터치패드, 디지타이저 등일 수 있다. 오디오 입력부(27)는 주로 사용자의 음성을 입력하는데 이용된다. 제어부(23)는 단말(20)이 필요로 하는 소프트웨어를 탑재하고 이에 의해 각종 기능을 수행하며, 모니터(22), 조작 입력부(24), 통신부(25), 오디오 입력부(27), 오디오 출력부(26) 및 카메라(21)를 제어한다.
본 발명에 따른 학습자 단말에서는 학습자가 보유한 실물교재를 실시간 촬영한 영상을 디스플레이하며, 이와 같이 실시간 디스플레이되는 실물교재의 영상위에 교수자의 조작(입력)에 연동하는 포인터(33) 또는 마커를 오버레이하여 디스플레이하는 것을 일 특징으로 한다.
교수자 단말은 교수자가 보유한 실물교재를 카메라(21)를 이용하여 실시간 촬영한 영상을 디스플레이하는 상태에서, 오버레이 정보를 생성하여 학습서버(10)로 전송하는데, 오버레이 정보는 오너ID, 표시위치정보, 포인터/마커 태그, 삭제태그 및 페이지번호 정보를 포함할 수 있다. 또한, 교수자 단말은 오디오 입력부(27)를 이용하여 교수자의 음성(강의 음성)을 입력받아 학습서버(10)를 통하여 각 학습자 단말로 전송한다.
표시위치정보는 교수자가 실물교재의 특정부분을 포인팅하거나 마킹하는 입력으로부터 생성한 정보로서, 실물교재에서 포인터 또는 마커가 위치하는 정보를 나타낸다. 포인터 또는 마커는 마우스, 전자펜, 터치스크린에 일체로 구성된 터치패드, 디지타이저 등의 조작 입력부(24)에서 입력된다. 포인터는 특정부분을 포인팅하는 것으로서 예를 들면 도 4의 포인터(33)와 같은 것로서, 화살표, 가르키는 손모양표시, 지시자, 마우스그림, 작은 원 등의 모양을 하는 것일 수 있다. 마커는 특정부분을 마킹하는 것으로서 주로 선의 형태로 표시되거나 점의 형태로 표시되는데, 예를 들면 도 8 및 도 9의 51, 52, 53과 같은 것이다.
포인터/마커 태그는 표시위치정보가 포인팅하는 포인터의 위치정보인지 아니면 마킹하는 마커의 위치정보인지를 구별하는 태그이다. 예를 들어, 교수자가 마우스의 버턴을 누리지 않으면 포인터 상태이고 그 상태로 마우스를 움직이면 포인터의 표시위치정보가 연속적으로 생성되어 학습서버로 전송된다. 그리고 교수자가 마우스 왼쪽 버튼을 클릭하면 마킹 상태로 되며, 그 상태에서 마우스를 움직이면 마커의 표시위치정보가 연속적으로 생성되어 학습서버로 전송된다. 예를 들어, 마커의 표시위치정보는 교수자의 입력에 맞추어 실시간 전송되는 것이 바람직하므로, 단일의 표시위치정보는 샘플링된 특정 시점에서 특정 위치정보가 되며, 연속하는 표시위치정보의 집합으로서 하나의 마커가 될 수도 있다.
삭제태그는 표시된 마커의 삭제를 지시하는 태그로서, 교수자가 조작 입력부(24)를 이용하여 마커를 표시한 후, 이와 같이 표시된 마커를 삭제하는 명령을 입력한 경우 전송되는 정보이다. 오너ID는 해당 오버레이 정보를 전송하는 단말이나 사용자를 식별하는 정보로서, 예를 들어, 특정 학습자 단말(또는 교수자 단말)에 복수 사용자의 포인터 또는 마커를 표시하는 경우, 이러한 포인터 또는 마커의 옆에 사용자를 식별할 수 있는 정보를 함께 표시하는 데 이용하기 위하여 사용될 수 있다. 오너 ID는 학습서버에서 최초로 생성되어 오버레이 정보에 추가되는 방식으로 구현될 수도 있다.
페이지번호는 교수자 단말의 카메라(21)를 통하여 촬영되고 있는 실물교재의 페이지 번호를 인식한 것으로서, 실물교재에 인쇄되어 있는 숫자와 같은 페이지번호를 자동 인식한 것이거나 디지털 코드화된 페이지코드가 별도 인쇄되어 있는 것을 자동 인식한 것일 수 있다. 교수자 단말이 전송하는 페이지번호는 각 학습자 단말에 전송되어 표시됨으로써, 교수자가 실물교재를 펼쳐 놓은 페이지를 각 학습자가 쉽게 알 수 있도록 하며, 이에 맞추어서 각 학습자가 해당 페이지를 열 수 있도록 하는데 이용될 수 있다.
학습 서버(10)는 교수자 단말로부터 오버레이 정보를 수신하고, 수신된 오버레이 정보를 학습자 단말(들)로 전송한다. 이때 학습서버는 수신된 오버레이 정보를 리포맷, 변형 또는 보정하거나 추가 또는 일부삭제하여 전송할 오버레이 정보를 구성할 수도 있다.
학습자 단말은 학습서버로부터 표시위치정보를 포함하는 오버레이 정보를 수신하고 수신된 오버레이 정보를 이용하여 포인터 또는 마커등을 표시한다. 학습자 단말은 학습자가 보유한 실물교재를 실시간 촬영한 영상을 디스플레이 하되, 수신된 표시위치정보에 따른 위치에 포인터 또는 마커를 오버레이하여 함께 디스플레이한다. 학습자 단말은, 실물교재가 완전한 평면으로 펼쳐졌을 때 좌표와, 학습자가 보유한 실물교재를 실시간 촬영한 영상에서의 좌표 사이의 대응 관계를 나타내는 학습자 맵핑함수를 생성하며, 학습자 맵핑함수를 이용하여 표시위치정보에 따른 위치를 보정한 보정 위치를 얻고, 보정 위치에 따라 학습자 단말이 포인터 또는 마커를 오버레이하여 디스플레이하는데, 구체적인 사항에 대해서는 후술한다.
그리고, 포인터/마커 태그에 따라 포인터를 표시하거나 마커를 표시하며, 삭제태그에 의해 삭제 명령을 수신하는 경우 표시중인 마커를 삭제를 한다. 학습자 단말에 동시 표시될 수 있는 마커가 2이상인 경우, 삭제태크와 아울러 교수자 단말이 삭제 마커 식별자를 추가 생성하여 전송하며, 학습자 단말은 이러한 삭제 마커 식별자에 의해 표시중인 2이상의 마커중 하나를 선택적으로 삭제할 수도 있다.
도 4는 본 발명의 일 실시예에 따른 온라인 학습 시스템에서 학습자의 학습자 단말에 디스플레이되는 화면의 예를 도시한 것이다.
학습자 단말의 카메라(21)를 이용하여 학습자의 실물교재를 포함하는 영역을 촬영하는데, 예를 들면 이때의 영상은 책상상면 영상(35)과 필기구 영상(36) 등이 함께 촬영되어 학습자 자신의 학습 환경도 같이 디스플레이될 수 있다. 또한, 실물교재 영상(32)은 사용자가 실물교재를 놓아둔 상태를 그대로 반영하여 디스플레이된다. 디스플레이 영상(31)에는 학습자의 실물교재를 촬영한 실시간 영역이 학습자가 펼쳐놓은 상태대로 표시되고 이와 함께 촬영각도에 들어오는 학습자의 실제 학습 환경들도 촬영되어 디스플레이된다. 이에 따라 학습자에게 디스플레이되는 영상(31)은 온전히 학습자의 통제하에 있는 자신의 교재와 자신의 학습환경이 된다.
이러한 상황에서 디스플레이 영상(31)중 실물교재 영상(32) 위에 표시되는 포인터(33) 또는 마커는 원격에 있는 교수자의 조작(입력)에 연동하여 교수자가 실시간 지정한 위치에 표시되도록 한다. 아울러, 교수자 단말(또는 다른 학습자 단말)을 통해 입력된 오디오 신호는 학습서버(10)를 통하여 학습자 단말의 오디오 출력부(26)에서 출력된다. 예를 들면, 교수자는 학습자에게 포인터(33) 또는 마커를 원하는 위치에 표시토록 하고 이와 함께 오디오 음성을 학습자에게 들려주는 방식으로 원격의 온라인 학습을 진행한다.
그리고, 오버레이 정보에 포함된 페이지번호 정보를 이용하여 디스플레이 영상(31)에 페이지번호 영상(34)를 표시함으로써, 교수자가 펼쳐놓은 실물교재(또는 교수자가 강의중인 실물교재)의 페이지를 학습자가 알 수 있도록 하며, 이에 맞추어서 학습자가 해당 페이지를 특정하는데 도움을 준다.
학습자로서는 자신의 것으로 실감되는 교재(자신의 학습 환경)에서 교수자의 포인터(33) 또는 마커가 움직이고 학습 오디오가 재생되므로, 마치 교수자가 (옆에서) 직접 자신을 가르치고 있는 것처럼 느끼게 되는 효과가 있다. 학습자는 교수자가 자신에게 직접 또는 옆에서 교수하고 있는 듯한 느낌('교수 실감성')을 가지게 됨으로써 학습자의 집중도와 학습 효율성을 높일 수 있는 효과가 있다.
그런데, 교수자와 학습자가 동일한 교재의 동일 페이지를 펼치더라도 디스플레이 영상(31)에서 교재 영상(32)의 위치(영역 위치)는 서로 상이한 것이 대부분이다. 또한, 교재와 카메라 사이의 근접 정도, 교재를 촬영하는 각도, 및 펼쳐진 교재의 굴곡정도 등 촬영 조건에 따라 각 모니터에서 표시되는 교재영상의 아우트라인, 보는 각도 및 크기 등이 다르고, 또한 왜곡되어 있으므로, 실물교재의 동일 위치이더라도 교수자 단말의 모니터와 학습자 단말의 모니터에서 서로 다른 위치에 디스플레이될 것이다.
이러한 문제를 해결하는 간단한 방법은 학습자 단말이 촬영한 영상을 교수자 단말로 보내고 이러한 학습자 교재의 영상에 대하여 교수자가 포인팅하거나 마킹하도록 하면 상기한 불일치의 문제를 해결할 수 있다. 그러나, 이러한 방식은 크게 3 가지 문제를 야기하는데, 첫번째로, 동시 학습자가 2 이상인 경우 어느 한 학습자의 영상을 선택하여야 하고, 해당 학습자를 제외한 기타 학습자들은 다른 사람의 교재 영상과 환경 영상을 보면서 학습하여야 하므로, 기타 학습자들의 교수 실감성은 제고되지 않는 문제가 있다. 두번째로, 교수자로서도 원격의 학습교재를 영상으로 보면서 교수(강의)하여야 하므로, 자신의 교재에 해두었던 메모 등을 볼 수 없고 반대로 교수자의 실감성을 떨어뜨리는 문제가 있다. 세번째로, 동영상을 상호간에 전송하여 하므로, 교수자와 특히 기타 학습자가 보는 동영상의 품질저하와 타임 딜레이를 유발할 요인이 되는 문제가 있다. 전송 영상의 해상도는 자신의 단말에 의한 직접입력 영상보다 해상도가 떨어지므로 교수자와 기타 학습자가 보는 영상의 해상도가 떨어지게 되는 문제가 있다.
상기한 문제점들을 해결하기 위하여 본 발명에 따르면 맵핑함수와 위치 보정을 이용한다.
도 5는 본 발명의 일 실시예에 따라 실물교재에 기호등이 추가 인쇄된 예를 도시한 것이다.
맵핑함수의 생성을 위하여 교재내용이외의 여백부분, 주로 교재의 전체 내용을 감싸는 테두리 부분에 추가로 인쇄된 부가인쇄부를 포함한다. 부가인쇄부는 페이지 번호 정보를 가지며 테두리 부분에서 테두리부분을 따라 길게 인쇄된 바코드(41)의 형태로 인쇄됨으로써(도 5(a) 참조), 사용자의 단말이 바코드(41)를 인식하여 해당 페이지의 페이지 번호를 자동으로 알 수 있도록 하며, 해당 페이지의 맵핑함수를 추출하는 데 이용할 수 있도록 한다.
또한, 부가인쇄부는 페이지 번호 정보를 가진 QR 코드(42)와, 테두리 부분에서 테두리부분을 따라 일정 간격으로 다수의 기호(43)가 인쇄됨으로써(도 5(b) 참조), 사용자의 단말이 QR 코드(42)를 인식하여 페이지 번호를 자동으로 알 수 있도록 하며, 기호(43)를 이용하여 해당 페이지의 맵핑함수를 추출하는 데 이용할 수 있도록 한다. 실물교제에는 페이지 번호를 나타내는 정보인 바코드 또는 QR코드와 같이 디지털 코드화된 페이지코드가 인쇄되어 있다. 실물교재의 각 페이지에는 정해진 위치에 정해진 모양의 기호들이 인쇄되어 있으며, 후술할 맵핑함수를 생성할 때, 이러한 기호들이 이용된다.
맵핑함수는 실물교재가 완전한 평면으로 펼쳐졌을 때 좌표와, 실물교재를 실시간 촬영한 영상에서의 좌표 사이의 대응 관계를 나타내는 것으로서, 예를 들면, 맵핑 테이블로 구성될 수 있다.
사용자의 단말은 카메라로 촬영된 실물교재의 영상에서 부가인쇄부(바코드, 기호)를 이용하여 가상의 격자망을 구성한다. 예를 들어 도 6(a)에 도시된 것과 같이 실물교재가 카메라의 광축에 수직하고 가로 세로로 완벽하게 정렬되며 완전한 평면으로 펴져 있다면, 부가인쇄부를 이용하여 도 6(b)에 도시된 것과 같이 완전한 정방형인 격자망(이하 '이상적 격자망'이라 한다)이 구성될 것이다. 그러나, 실제에 있어서는 실물교재가 카메라의 광축에 수직하지 않거나 가로 세로로 완벽하게 정렬되지 않아서 회전되어 있을 수 있으며, 완전한 평면으로 펴져 있지 않고 도 7(b)에 도시된 것처럼 책장의 탄력으로 굴곡져 있는 것이 대부분이다. 이러한 상황에서 부가인쇄부(바코드, 기호)를 이용하여 가상의 격자망을 구성한다.
사용자의 단말은 도 7(a)와 같은 교재의 영상을 입력받은 후, 부가인쇄부(바코드, 기호)를 이용하여 도 7(b)와 같이 가상의 격자망을 구성한 후, 실물교재가 완전한 평면으로 펼쳐졌을 때 좌표와, 실물교재를 실시간 촬영한 영상에서의 좌표 사이의 대응 관계를 나타내는 맵핑함수를 구성할 수 있다. 맵핑함수는 예를 들어 맵핑 테이블로 구현될 수 있다.
실물교재가 완전한 평면으로 펼쳐졌을 때 격자망의 교차점 Pij와, 실제 사용자의 실물교재를 실시간 촬영한 영상에서 격자망(왜곡된 격자망이다)의 교차점 Qij에, 각각 영상의 동일픽셀이 있을 때, 영상에서 두 교차점의 좌표값을 얻을 수 있다.
실물교재가 완전한 평면으로 펼쳐졌을 때 영상에서 교차점 좌표값 V(Pij)와, 실제 사용자의 실물교재를 실시간 촬영한 영상에서 교차점 좌표값 V(Qij)로 구성되는 두 교차점 좌표값을 대응시킬 수 있다(교차점 좌표값은 영상에서 교차점의 위치를 나타내는 2차원값이다).
교차점 좌표값의 쌍인 V(Pij)와 V(Qij)은 예를들면 [(214, 51),(214, 38)]와 같이 표시할 수 있고, 이러한 좌표값 쌍은 격자망의 모든 교차점에서 생성됨으로써 맵핑 테이블을 구성한다. 맵핑 테이블 M은 예를 들어 아래와 같이 표시될 수 있으며, 영상의 해상도를 고려하여 교차점의 갯수(가로선 및 세로선의 갯수)와 최대값(범위)을 설정할 수 있다.
M = {s|s=(V(Pij) V(Qij)), i= 1,...,n, j=1,..,m}
단, n과 m은 자연수로서 격자망에서 가로선 및 세로선의 갯수이며, Pij 및 Qij은 각각 i번째 가로선 및 j번째 세로선이 만다는 교차점이며, V(Pij) 및 V(Qij)은 교차점 Pij 및 Qij의 교차점 좌표값으로서 영상에서 교차점의 위치를 나타내는 2차원값이다.
이하, 본 발명의 일 실시예에 따른 온라인 학습 시스템에서 수행되는 온라인 학습 방법에 대하여 설명하되, 이미 전술한 내용과 동일한 내용에 대해서는 생략될 수 있다.
먼저, 사용자들(교수자와 학습자(들))은 모두 교재의 동일한 페이지를 펼쳐서 자신이 보유한 카메라(21)로 촬영한다. 동일한 페이지를 펴는데 도움을 주도록 하기 위하여, 전술한 바와 같이 교수자 단말이 촬영한 바코드(41) 또는 QR 코드(42)에 포함된 페이지코드로부터 페이지 번호를 자동 인식하고, 인식된 페이지 번호는 오버레이정보에 포함되어 학습서버(10)를 통하여 각 학습자 단말로 전송되고, 학습자 단말의 모니터에 학습자가 보유한 실물교재를 실시간 촬영한 영상을 디스플레이 할 때 페이지번호 영상(도 4의 34 참조)으로서 페이지 번호가 디스플레이 된다. 또는, 교수자 단말이 촬영한 영상에서 인쇄된 페이지 번호를 자동 인식하고, 인식된 페이지 번호는 오버레이정보에 포함되어 학습서버(10)를 통하여 각 학습자 단말로 전송되고, 학습자 단말의 모니터에 학습자가 보유한 실물교재를 실시간 촬영한 영상을 디스플레이 할 때 페이지번호 영상(도 4의 34 참조)으로서 페이지 번호가 디스플레이 된다.
또한 학습자 단말에서는 학습자 교재에 대하여 페이지 번호를 자동 인식한 후, 전송받은 교수자 교재의 페이지 번호와 비교하며, 서로 상이할 때 알람토록 할 수 있다. 예를 들면, 학습자 단말의 모니터에 표시되는 교수자의 페이지 번호를 깜빡이는 등의 알람 방법이 사용될 수 있다.
그리고, 전술한 바와 같이, 각 사용자의 단말에서는 맵핑함수가 생성되는데, 교수자 단말에서는 실물교재가 완전한 평면으로 펼쳐졌을 때 좌표와, 교수자가 보유한 실물교재를 실시간 촬영한 영상에서의 좌표 사이의 대응 관계를 나타내는 교수자 맵핑함수를 생성한다. 그리고 각 학습자 단말에서도 학습자 단말별로, 실물 교재가 완전한 평면으로 펼쳐졌을 때 좌표와, 각 학습자가 보유한 실물교재를 실시간 촬영한 영상에서의 좌표 사이의 대응 관계를 나타내는 학습자 맵핑함수(들)를 생성한다. 각 학습자 별로, 교재가 차지하는 영역의 범위, 교재와 카메라 사이의 근접 정도, 교재를 촬영하는 각도, 및 펼쳐진 교재의 굴곡정도 등이 다양하므로, 각 학습자 단말에서 생성되는 학습자 맵핑함수는 당연히 서로 상이하게 된다.
2 이상의 학습자가 동일 교수자와 학습하는 경우에도, 학습자 맵핑함수는 학습자 단말별로 각각 생성되며, 동일한 표시위치정보로부터 후술할 보정 위치가 학습자 단말별로 서로 상이할 수 있다.
교수자의 교수자 단말은 교수자가 보유한 실물교재를 실시간 촬영한 영상을 디스플레이하는 상태에서, 교수자가 실물교재의 특정부분을 포인팅하거나 마킹하는 입력으로부터 표시위치정보를 생성하며, 이를 오버레이정보에 포함시켜 학습서버로 전송한다. 이때, 교수자 단말은 교수자 맵핑함수를 이용하여 교수자가 실물교재의 특정부분을 포인팅하거나 마킹하는 위치를 보정한 보정 위치를 얻고, 보정 위치에 의해 상기 표시위치정보를 생성한다.
교수자 단말이 교수자가 보유한 실물교재를 실시간 촬영한 영상이 예를 들어 도 8(a)에 도시된 것(격자망을 제외한 것임)과 같다고 할 때, 교수자가 일정시간동안에 걸쳐서 도시된 마커(51)를 그리면 마커(51)를 그리는 동안 각 샘플링 주기마다 교수자가 해당 타이밍에서 실물교재를 마킹하고 있는 지점의 위치(좌표)를 인식하며, 인식된 위치(좌표)는 상기한 교수자 맵핑함수를 이용하여 실물교재가 완전한 평면으로 펼쳐졌을 때 위치(좌표)로 보정된다. 이러한 보정 위치가 표시위치정보로서 오버레이정보에 포함되어 학습서버를 거쳐서 각 학습자 단말로 전송된다. 교수자가 일정시간동안 도 8(a)와 같이 마커(51)를 그리면, 마치 도 8(b)와 같이 가상의 표준영상(왜곡을 보정한 평면영상)위에 마커(52)를 도시한 것과 같은 위치정보(정확히는 연속하는 위치정보의 집합)가 각 학습자에게 전송되는 것이다.
이와 같이, 왜곡을 반영한 실제 격자망에서의 좌표값은 이상적 격자망에서의 좌표값으로 변환되는데, 예를 들면 교차점 Qij의 좌표값은 교차점 Pij의 좌표값으로 변환되며, 교차점이 아닌 위치에서의 좌표값이라면 공지의 보간법에 의해서 변환될 수 있다. 따라서, 학습서버를 통하여 각 학습자 단말로 전송되는 표시위치정보는 이상적 격자망에 따른 좌표값(즉, 실물 교재가 완전한 평면으로 펼쳐졌을 때 좌표이고 이상적인 상태에서의 좌표값)으로 해서 전송된다.
그리고, 각 학습자의 학습자 단말은, 학습서버로부터 실물교재의 특정부분을 포인팅하거나 마킹할 위치를 나타내는 정보인 표시위치정보를 수신하며, 수신된 표시위치정보에 따른 위치에 포인터 또는 마커를 오버레이하여 함께 디스플레이한다.
학습자 단말은, 학습자가 보유한 실물교재를 실시간 촬영한 영상을 디스플레이 하면서, 디스플레이 영상에서 교재 영상(페이지의 영상)(32;도 4 참조)이 시작하는 위치를 나타내는 변위값(dx,dy)를 추출하는데, 이는 학습자 맵핑함수를 생성할 때 함께 생성될 수도 있다. 그리고 학습자 단말은 자신의 학습자 맵핑함수를 이용하여 표시위치정보에 따른 위치를 보정한 보정 위치를 얻으며, 상기 변위값만큼 보정 위치를 시프트하여 교재 영상의 위에 포인터 또는 마커를 오버레이하여 디스플레이한다.
예를 들어 도 9(b)에 도시된 것과 같이, 어느 한 학습자의 단말이 자신의 실물교재를 촬영한 영상을 디스플레이 하고 있는 상태(격자망은 제외함)에서, 학습서버를 개재하여 오버레이 정보에 포함된 마커의 표시위치정보(포인터/마커 태그가 마커임을 표시하는 경우의 표시위치정보)를 수신하면, 표시위치정보에 따른 마커(정확히는 마커의 일부분)을 표시하기 위하여, 우선 학습자 맵핑 함수를 이용하여 위치 보정을 수행한다. 도 9(a)에 도시된 것과 같은 가상의 마커(52)는 학습자 맵핑 함수에 따른 위치 보정에 따라 도 9(b)에 도시된 마커(53)와 같이 표시되는데, 지금까지 이미 그려진 부분이 있다면 이에 추가되는 형태로 표시될 수 있다.
바코드, QR코드 및 기호들과 같은 부가인쇄부는 교재에 인쇄되어 있으되, 적외선 램프의 조사시 적외선 카메라에 의해 식별되는, 예를 들면 적외선 형광잉크로 인쇄된 것으로 하여, 사용자의 눈에는 보이지 않도록 할 수도 있다.
또한, 교재에 부가인쇄부를 구성하지 않고도 맵핑함수를 생성할 수 있는데, 페이지의 외곽선을 인식한 결과를 이용할 수 있다. 보통 페이지의 외곽선은 페이지의 굴곡을 반영하고 있으므로 페이지의 4개변을 구성하는 외곽선을 인식함으로써 맵핑함수를 생성할 수 있다. 또한, 보통 각 교재의 각 페이지는 다수의 글자행으로 구성되므로, 각 글자행을 감싸는 가상의 포락선(또는 각 글자행의 상부 또는 하부에서 한쪽방향에서만 감싸는 가상의 포락선)이 있는 것으로 하여, 이와 같은 가상의 포락선을 인식한 결과를 이용하여 맵핑함수를 생성할 수 있다.
상기에서는 교수자가 조작하는 포인터 또는 마커를 학습자 단말로 제공하는 것으로 하였으나, 이와 동시에, 또는 별도로 어느 한 학습자가 조작하는 포인터 또는 마커를 교수자 단말 및 다른 학습자 단말로 표시되게 하는 것도 유사하게 구현된다. 예를 들면, 학습자(학생)가 교수자에게 교재의 특정 부분에 대해서 질문하고 싶어서, 자신의 마우스로 자기 교재의 특정 부분에 밑줄을 그으면, 교수자의 교재 화면에서도 동일한 위치에 선이 그어지게 된다.
그리고, 사용자의 단말에 복수의 포인터 또는 마커가 동시에 표시되게 할 수 있으며, 이 경우 각 포인터/마커에는 사용자의 성명, 별칭 또는 ID가 태킹되어 함께 표시되도록 할 수도 있다.
본 발명에 따르면 각 학습자 단말별로 왜곡된 교재영상에 맞추어져(순응하여) 포인터 또는 마커가 표시되므로, 학습자로서는 교수자가 직접 자신의 교재를 보고서 교수하고 있는 듯한 느낌을 받게 되며, 특히, 복수의 학습자가 동시에 학습하고 있는 경우에도 모든 학습자의 교수 실감성이 제고된다. 또한, 교수자로서도 원격의 학습교재를 영상으로 보면서 교수(강의)하지 않고 자신의 교재를 보면서 교수할 수 있는 장점이 있으며, 동영상을 상호간에 전송할 필요가 없으므로 통신 대역폭을 작게 사용함으로써 전송품질저하와 타임 딜레이와 같은 문제가 없는 효과가 있다. 그리고, 교수자 및 학습자는 자신의 단말에서 입력한 영상을 보면서 학습하게 되므로 영상의 해상도가 높은 장점이 있다. 본 발명에 따르면, 선명한 온라인 학습 자료 화면을 확보할 수 있다. 기존 방식은 통신 트래픽 부하 때문에 화질을 고의로 저하시켜야 하였고, 온라인에 참여한 사람 수가 많으면 화질 저하는 심각하게 일어날 수 밖에 없었다. 하지만, 본 발명에 따르면 동영상을 전송하는 것이 아니고, 로컬로 생성한 동영상을 자신의 PC 화면에 고화질로 볼 수 있게 된다.
또한, 본 발명에 따르면 실물 교재를 그대로 이용하면 되므로, 별도의 자료나 전자파일을 만들지 않아도 된다. 교과서나 참고서는 이미 세밀한 집필 및 편집 과정을 거친 것이므로, 그대로 사용해도 되는 것이다. 그럼에도 불구하고 종래 대부분의 원격 화상 교육 시스템에서 교수자들은 파워포인트 등을 사용해서 따로 교재를 작성했으며, 그 이유는, 교과서를 캡쳐한 영상을 전송하면 해상도 저하가 컸기 때문이다. 그런 이유로 교과서를 두고도 따로 파워포인트등으로 강의 자료를 만드는 수고를 하였다. 문제는, 이러한 추가 노력에도 불구하고 학습자(학생)들에게 교육효과가 적다는 데 있다. 팬데믹 시절에 대학교 뿐만 아니라 중고등학교도 이런 식으로 원격 수업을 했는데, 학생들은 교과서와 다른 파워포인트를 보면서 수업을 듣게 되어서 학습효과가 떨어졌다고 하였다.

Claims (13)

  1. 온라인 학습 방법에 있어서,
    학습자의 학습자 단말이, 학습서버로부터 실물교재의 특정부분을 포인팅하거나 마킹할 위치를 나타내는 정보인 표시위치정보를 수신하는 제 1 단계;
    상기 학습자 단말이, 상기 학습자가 보유한 실물교재를 실시간 촬영한 영상을 디스플레이 하되, 상기 제 1 단계에서 수신된 상기 표시위치정보에 따른 위치에 포인터 또는 마커를 오버레이하여 함께 디스플레이하는 제 2 단계;를 포함하는 것을 특징으로 하는,
    온라인 학습 방법.
  2. 청구항 1에 있어서,
    상기 제 2 단계는,
    실물교재가 완전한 평면으로 펼쳐졌을 때 좌표와, 상기 학습자가 보유한 실물교재를 실시간 촬영한 영상에서의 좌표 사이의 대응 관계를 나타내는 학습자 맵핑함수를 생성하는 제 2-1 단계;
    상기 학습자 맵핑함수를 이용하여 상기 표시위치정보에 따른 위치를 보정한 보정 위치를 얻고, 상기 보정 위치에 기초하여 상기 학습자 단말이 포인터 또는 마커를 오버레이하여 디스플레이하는 제 2-2 단계;를 포함하는,
    온라인 학습 방법.
  3. 청구항 2에 있어서,
    2 이상의 학습자가 동일 교수자와 학습하는 경우,
    상기 제 2-1 단계에서 생성되는 학습자 맵핑함수는 학습자 단말별로 각각 생성되며, 동일한 표시위치정보로부터 상기 제 2-1 단계에서 생성되는 보정 위치가 학습자 단말별로 서로 상이할 수 있는 것을 특징으로 하는,
    온라인 학습 방법.
  4. 청구항 1에 있어서,
    상기 표시위치정보는, 교수자의 교수자 단말이 생성하여 상기 학습서버로 전송한 것으로서,
    교수자의 교수자 단말이, 상기 교수자가 보유한 실물교재를 실시간 촬영한 영상을 디스플레이하는 상태에서, 상기 교수자가 실물교재의 특정부분을 포인팅하거나 마킹하는 입력으로부터 상기 표시위치정보를 생성하여 상기 학습서버로 전송하는 제 3 단계;를 더 포함하는,
    온라인 학습 방법.
  5. 청구항 4에 있어서,
    실물교제에는 페이지 번호를 나타내는 정보가 디지털 코드화된 페이지코드가 인쇄되어 있으며,
    상기 교수자가 보유한 실물교재를 실시간 촬영한 영상에서 상기 페이지코드에 따른 페이지 번호가 인식된 후, 상기 학습서버를 통해 상기 학습자 단말로 전송되며,
    상기 학습자 단말은, 상기 학습자가 보유한 실물교재를 실시간 촬영한 영상을 디스플레이 할 때 상기 수신된 페이지 번호를 함께 디스플레이하는,
    온라인 학습 방법.
  6. 청구항 4에 있어서,
    상기 교수자가 보유한 실물교재를 실시간 촬영한 영상에서 인쇄된 페이지 번호가 인식된 후, 상기 학습서버를 통해 상기 학습자 단말로 전송되며,
    상기 학습자 단말은, 상기 학습자가 보유한 실물교재를 실시간 촬영한 영상을 디스플레이 할 때 상기 수신된 페이지번호를 함께 디스플레이하는,
    온라인 학습 방법.
  7. 청구항 4에 있어서,
    상기 제 3 단계는,
    실물교재가 완전한 평면으로 펼쳐졌을 때 좌표와, 상기 교수자가 보유한 실물교재를 실시간 촬영한 영상에서의 좌표 사이의 대응 관계를 나타내는 교수자 맵핑함수를 생성하는 제 3-1 단계;
    상기 교수자 맵핑함수를 이용하여 상기 교수자가 실물교재의 특정부분을 포인팅하거나 마킹하는 위치를 보정한 보정 위치를 얻고, 상기 보정 위치에 의해 상기 표시위치정보를 생성하는 제 3-2 단계;를 포함하는,
    온라인 학습 방법.
  8. 청구항 2 또는 청구항 7에 있어서,
    상기 실물교재의 각 페이지에는 정해진 위치에 정해진 모양의 기호들이 인쇄되어 있으며,
    상기 제 2-1 단계에서 상기 학습자 맵핑함수를 생성할 때, 또는 상기 제 3-1 단계에서 교수자 맵핑함수를 생성할 때, 상기 기호들이 이용되는,
    온라인 학습 방법.
  9. 청구항 8에 있어서,
    상기 인쇄된 기호들은 적외선 램프의 조사시 적외선 카메라에 의해 식별되는 것인,
    온라인 학습 방법.
  10. 청구항 2 또는 청구항 7에 있어서,
    상기 제 2-1 단계 상기 학습자 맵핑함수를 생성할 때, 또는 상기 제 3-1 단계에서 교수자 맵핑함수를 생성할 때,
    페이지의 외곽선을 인식한 결과를 이용하거나, 상기 글자행을 감싸는 가상의 포락선을 인식한 결과를 이용하는,
    온라인 학습 방법.
  11. 실물교재의 특정부분을 포인팅하거나 마킹할 위치를 나타내는 정보인 표시위치정보를 전송하는 학습 서버;
    상기 학습 서버로부터 상기 표시위치정보를 수신하며, 학습자가 보유한 실물교재를 실시간 촬영한 영상을 디스플레이 하되, 상기 수신된 표시위치정보에 따른 위치에 포인터 또는 마커를 오버레이하여 함께 디스플레이하는 학습자 단말;을 포함하는 것을 특징으로 하는,
    온라인 학습 시스템.
  12. 청구항 11에 있어서,
    상기 학습자 단말은,
    실물교재가 완전한 평면으로 펼쳐졌을 때 좌표와, 상기 학습자가 보유한 실물교재를 실시간 촬영한 영상에서의 좌표 사이의 대응 관계를 나타내는 학습자 맵핑함수를 생성하며,
    상기 학습자 맵핑함수를 이용하여 상기 표시위치정보에 따른 위치를 보정한 보정 위치를 얻고, 상기 보정 위치에 기초하여 상기 학습자 단말이 포인터 또는 마커를 오버레이하여 디스플레이하는,
    온라인 학습 시스템
  13. 청구항 11에 있어서,
    교수자가 보유한 실물교재를 실시간 촬영한 영상을 디스플레이하는 상태에서, 상기 교수자가 실물교재의 특정부분을 포인팅하거나 마킹하는 입력으로부터 상기 표시위치정보를 생성하여 상기 학습서버로 전송하는 교수자 단말;을 더 포함하는,
    온라인 학습 시스템.
PCT/KR2023/008174 2022-07-06 2023-06-14 온라인 학습 시스템 및 방법 WO2024010236A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0082905 2022-07-06
KR1020220082905A KR20240006171A (ko) 2022-07-06 2022-07-06 온라인 학습 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2024010236A1 true WO2024010236A1 (ko) 2024-01-11

Family

ID=89453664

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/008174 WO2024010236A1 (ko) 2022-07-06 2023-06-14 온라인 학습 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR20240006171A (ko)
WO (1) WO2024010236A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090132049A (ko) * 2008-06-20 2009-12-30 (주)조은캠프 워드 파일과 동영상 강의용 칠판을 동기 시킨 동영상 강의방법
KR20140131087A (ko) * 2013-05-03 2014-11-12 에스케이플래닛 주식회사 학습 컨텐츠 제공 방법, 이를 위한 시스템 및 장치
KR20150000595A (ko) * 2013-06-25 2015-01-05 (주)유파콤 지능형 영상 분석을 이용한 강의 저장 시스템
JP2016138995A (ja) * 2015-01-27 2016-08-04 Kddi株式会社 学習映像からその学習に費やされた学習項目を推定するプログラム、装置及び方法
KR20220067402A (ko) * 2020-11-17 2022-05-24 조찬기 쌍방향 인터넷 실시간 강의 시스템 및 강의 방법
KR20220074396A (ko) * 2020-11-27 2022-06-03 울산과학기술원 원격 수업용 학습 보조 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090132049A (ko) * 2008-06-20 2009-12-30 (주)조은캠프 워드 파일과 동영상 강의용 칠판을 동기 시킨 동영상 강의방법
KR20140131087A (ko) * 2013-05-03 2014-11-12 에스케이플래닛 주식회사 학습 컨텐츠 제공 방법, 이를 위한 시스템 및 장치
KR20150000595A (ko) * 2013-06-25 2015-01-05 (주)유파콤 지능형 영상 분석을 이용한 강의 저장 시스템
JP2016138995A (ja) * 2015-01-27 2016-08-04 Kddi株式会社 学習映像からその学習に費やされた学習項目を推定するプログラム、装置及び方法
KR20220067402A (ko) * 2020-11-17 2022-05-24 조찬기 쌍방향 인터넷 실시간 강의 시스템 및 강의 방법
KR20220074396A (ko) * 2020-11-27 2022-06-03 울산과학기술원 원격 수업용 학습 보조 장치

Also Published As

Publication number Publication date
KR20240006171A (ko) 2024-01-15

Similar Documents

Publication Publication Date Title
CN202584466U (zh) 信息交互系统的终端
CN110263041B (zh) 一种运动轨迹信息的单界面显示方法及系统
CN102810265A (zh) 信息交互系统及信息交互方法
CN112331001A (zh) 一种基于虚拟现实技术的教学系统
WO2016190493A1 (ko) 투명 디스플레이를 이용한 상호작용 기반의 원격 화상 통신 및 강의 시스템
WO2024010236A1 (ko) 온라인 학습 시스템 및 방법
JP2004333525A (ja) 双方向通信システム、サーバ、電子講義方法、ならびに、プログラム
KR101753731B1 (ko) 전자칠판에서 문서공유를 위한 파일변환장치
US20030202004A1 (en) System and method for providing a low-bit rate distributed slide show presentation
Mühlhäuser et al. Digital lecture halls keep teachers in the mood and learners in the loop
KR20170073187A (ko) 차세대 이러닝 실시간 쌍방향 화상 강의 시스템 및 그 방법
CN111050111A (zh) 一种在线互动学习交流平台及其学习装置
Quinn et al. Online synchronous audio and video environments for education, training, and human service delivery: A review of three products
WO2020122445A1 (ko) 증강현실 기반의 심리유형 분석 방법 및 스마트 기기
WO2019117495A1 (ko) 증강현실이 적용된 교육 서비스 제공방법
RU68162U1 (ru) Интерактивный учебный кабинет
TWI827033B (zh) 兼具遠距教學與現場教學雙重教學模式之主題式虛實整合共學協作互動教學方法
KR20010112561A (ko) 인터넷 방송을 이용한 원격 교육 시스템 및 방법
CN214707839U (zh) 图像采集及显示系统
JP2002156894A (ja) 遠隔教育方法及び遠隔教育システム
JP2000321968A (ja) リモート学習システム及び教育ビデオコンテンツ作成方法
WO2024101488A1 (ko) 강의 녹화 파일의 재생 방법
KR19990037877A (ko) 양방향교육시스템과그제어방법
JP3222042U (ja) 学習指導システム
WO2022259375A1 (ja) 情報共有システム、映像処理装置、情報共有方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23835705

Country of ref document: EP

Kind code of ref document: A1