WO2020045837A1 - Method for smart-remote lecturing using automatic scene-transition technology having artificial intelligence function in virtual and augmented reality lecture room - Google Patents

Method for smart-remote lecturing using automatic scene-transition technology having artificial intelligence function in virtual and augmented reality lecture room Download PDF

Info

Publication number
WO2020045837A1
WO2020045837A1 PCT/KR2019/009449 KR2019009449W WO2020045837A1 WO 2020045837 A1 WO2020045837 A1 WO 2020045837A1 KR 2019009449 W KR2019009449 W KR 2019009449W WO 2020045837 A1 WO2020045837 A1 WO 2020045837A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual
instructor
lecture
scene
classroom
Prior art date
Application number
PCT/KR2019/009449
Other languages
French (fr)
Korean (ko)
Inventor
김영대
Original Assignee
김영대
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김영대 filed Critical 김영대
Publication of WO2020045837A1 publication Critical patent/WO2020045837A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance
    • G06Q50/2057Career enhancement or continuing education service
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Definitions

  • the present invention relates to a smart-remote lecture method and apparatus using an automatic scene change technology of an artificial intelligence function in virtual and augmented reality classrooms, and more particularly, instructors can use the AR chroma key in comparison with a conventional lecture apparatus.
  • Smart lecture apparatus and method using automatic scene change technology that can greatly improve the efficiency of space and time by realizing a similar VR environment that can automatically switch scenes to highlight areas that you want to emphasize
  • the present invention relates to a method and apparatus for real-time lecture recording and remote lecture, which is used in conjunction with a conventional video conference.
  • FIG. 1 shows an example of a conventional lecture recording apparatus.
  • the first method is to record lecture data only, screen or PPT screen and record voice. More than 80% of the Internet lectures are invisible in this way. It consists of a simple material screen and a greening lecture of a pen. Khan's Academy is a prime example. This is a simple and comfortable way to learn extracurricular meals focused on how to understand the problem rather than the motivation of the instructor's facial training.
  • the e-learning method in which the instructor such as the USB camera of the instructor is shown in the corner on the first screen, which is a method such as WebEx and Connect Pro, which are frequently used in webinars. This method secures the first part, but the small part of the material screen and the instructor continue to exist in the same position, and eventually they do not see the instructor.
  • the third method which requires a broadcast technician rather than a self-shooting technique, is a multi-camera switching method based on a so-called switcher mixer that alternates lecture materials, sometimes lecture boards, sometimes composite screens.
  • a switcher mixer that alternates lecture materials, sometimes lecture boards, sometimes composite screens.
  • the lecture synthesis scene method through the lecture synthesizer and the existing switcher mixer lecture system has a problem in the switching of the recording screen and the scene configuration. Therefore, in the classroom, problems such as teachers and blackboard projectors need to be distracted to determine where the students are concentrated.
  • the present invention aims to solve the problems of the prior art as described above and the technical problems that have been requested from the past.
  • the smart lecture apparatus and the remote lecture method and apparatus according to the present invention have similar effects by combining special effects and multiple layers of 2D / 3D as described below.
  • Scenes showing the lecturer in a virtual or augmented reality classroom or scenes centered on presentation materials are automatically converted into scenes that students should see by recognizing the speaker's voice, gesture, location, and pointer environment.
  • the device of the present invention solves the problem of broadcasting equipment, which requires the operator of the equipment by inventing a smart PD function that allows the device to change scenes like a broadcasting PD function for selecting a broadcast scene without a separate equipment operator.
  • a smart PD function that allows the device to change scenes like a broadcasting PD function for selecting a broadcast scene without a separate equipment operator.
  • the instructor focuses on the lecture and the automatic scene transition that students should see automatically creates the VR classroom scene where the instructor highlights and the virtual monitor or virtual copyboard in the virtual classroom that simultaneously performs the function of the virtual copyboard.
  • Real-time VR / AR lecture device using automatic scene change technology that integrates the technology to make a video
  • real-time lecture recording device to record the output screen of the device
  • smart-remote lecture method and device that sends the screen to a remote place for lecture To provide.
  • the lecture method for showing the lecturer and the lecture material in the virtual classroom of the VR / AR technology according to the present invention, the lecture recording device for recording it, the real-time remote VR / AR lecture method and apparatus for showing these scenes to the remote place Is a new teaching method and a new teaching device that radically changes the teaching method of the classroom, which makes classroom teaching more efficient using the blackboards, tables, electronic blackboards, and electronic teaching tables used in the existing classrooms.
  • the real-time recombination screen of the VR / AR virtual classroom is shown on the screen instead of the PPT screen on the screen of the past method as a lecture showing the VR / AR virtual classroom lecture scene of the main unit of the classroom where the real teacher lectures.
  • Virtual desks, floors, blackboards, ceilings, and classrooms are created by constructing virtual classrooms of 2D and 3D graphics that enable the synthesis of lecturers and lecture materials in virtual classrooms by means of graphics and VR for AR.
  • a plurality of virtual cameras for selectively outputting a plurality of virtual classroom scenes by arranging a plurality of virtual cameras in which at least one of position, rotation, and field of view (FOV) is freely defined in the virtual classroom;
  • FOV field of view
  • Switcher button setting that defines a plurality of cameras as virtual switcher buttons like buttons of general broadcast switcher and arranges them as tile button GUI, and defines ICON of these buttons as preview button to show the scene. Arranging such that the instructor can intuitively switch scenes using only a mouse or pointer button without looking at the GUI switching screen with only a mouse button through the process;
  • An artificial intelligence PD function that remotely or automatically switches the function of the broadcasting PD that presses the selection switching buttons of the GUIs arranged in the plurality of virtual cameras according to the lecture situation, so that the instructor gestures, pointers, sounds, language, Various scene changes and virtual copyboards automatically by the automatic PD function that recognizes the scene by recognizing at least one or more of the voice, the direction of the gazing of the instructor's motion, and the students' voice and direction. It may include a step of automatically performing the content conversion to provide a function to output the lecture scene in real time.
  • the virtual camera track moves to each virtual camera position as the actual tracking camera (or like the camera movement of the crane) when the output scene is changed to the required scene while the set scenes of the plurality of virtual cameras are selected as the necessary scenes during the lecture.
  • the track size of the instructor image set in each virtual camera and the position size of the virtual copyboards are synchronized with the camera movement to automatically track each track. Or create a preset track so that each virtual camera change track movement and each instructor image and virtual copyboard are transitioned to a natural animation together.
  • Student with transition of screen Steps are provided automatically or manually track generation feature that allows the furnace to concentrate without hitting the scene to look natural and see; And
  • the judgment of selecting a camera scene is a function of PD, and at least one or more recognition methods of a gesture, a pointer, a sound, a language, and a voice of an instructor It automatically performs various scene changes and virtual copyboard contents conversion by AI PD function that recognizes the scene by gazing direction instructor's view and students' sound and direction recognition.
  • Providing a function to output the lecture scene in real time may include.
  • the mouse or the pointer is displayed on the output screen when the content output to the virtual copyboard is at least one of the plurality of cameras, notebooks, video lists and picture lists.
  • the list is predefined so that external cameras, images, and images placed on the copyboard's contents list can be switched in order, and the following contents are selected through the mouse or the pointer to view the switcher menu.
  • the playlist control can be performed for each corresponding virtual copyboard without having to change the contents or slides such as PPT; and the virtual virtual blackboard selection, characterized in that it further comprises One-touch access to copyboard content scenes with mouse / pointer controls
  • the switching technology may include a function of automatically switching the scene to the corresponding scene while the pictures of the pointer drawn during the content switching are automatically deleted.
  • the automatic scene change that is, the automatic PD in the function of switching to automatically detect the stop if there is no movement of the pointer to increase the size of the instructor
  • PPT slide is changed
  • the virtual copyboard is spontaneously highlighted and becomes a phone in a scene that appears to be large, if the mouse or the pointer is constantly moving the presentation, the virtual copyboard grows somewhat or in a way that is time consuming on a boring screen.
  • the method may further include providing and setting a timer function provided with a function for changing to a similar scene.
  • the presenter in addition to the above-described automatic and pointer position or gesture recognition, the presenter can easily change the scene of each virtual camera while the presenter wants the scene easily by forcing the presenter to lecture.
  • a device such as a control panel is a broadcasting device that requires an expert.
  • the standard template is provided to make it easy for the instructor to change this.
  • anyone can see this template by intuitively changing the scenes with the mouse button. If you press the right button, you can click the butt (virtual camera) in that row, and turn the wheel.
  • Three virtual copyboards that can be used in general through the function of changing up and down to be manually adjusted only by clicking the mouse without looking at the menu are added to the virtual camera switcher, that is, the graphic control panel provided in the GUI of the present invention. Allows three or four scene layouts for each virtual copyboard to show virtual copyboards of varying sizes, automatically or manually change scenes, give lectures, change required virtual copyboards, and other presentations. In order to easily switch the function to show a lecture and show the lecturer, it is possible to provide a function to freely arrange the switcher scene, that is, the virtual cameras, with the switcher button of the graphical GUI.
  • the scene of each virtual camera is captured and shown as an icon on the virtual switcher button.
  • the preview button is provided on the button itself, and the output is immediately output without pressing the preview of the general switcher to check and output.
  • Real-time lectures can be provided by providing the function to program out.
  • the arrangement of the virtual cameras of the virtual control panel can be freely determined and arranged on the icons of the switcher GUI in each scene setting step. It is natural that the function is provided.
  • the virtual camera is arranged in the virtual classroom as if the cameras are placed left and right, and back and forth.
  • the tiles can be arranged as tiles 1x4, 2x3, 3x4, 4x5, etc.
  • the position of the camera that is, the instructor is shown large or small, but the instructor is large.
  • a 3D object in addition to the instructor and the virtual copyboard shown in the virtual camera in the virtual classroom, a 3D object is called to display the virtual object animation using real-time 3D render technology. It can be freely placed in each virtual camera scene to adjust its size and position, and its animation and interactive controls allow real-time 3D virtual experiments and experiences of heavy and large objects or very small DNS-like objects that cannot be experimented or experienced in actual classrooms.
  • the method may further include controlling the learning using a joystick or a keyboard.
  • the virtual copyboard 3D is adapted to adjust the distortion of the virtual screen to a curved curve screen as well as adjusting the size of the virtual copyboard and cropping of unnecessary portions.
  • the ability to adjust the degree of curvature of each virtual copyboard to show beautiful immersive virtual copyboards so that they can be placed in the scene of each virtual camera and the size of the frames of these virtual copyboards together Providing a function of allowing a curved surface and adjusting a frame color and size so that a beautiful virtual camera output screen can be created.
  • each virtual copyboard constitutes a main scene of the output screen, and provides a virtual frame, that is, the outer frame of the copyboard as a variety of external graphics so that it can be beautifully displayed in the virtual classroom. It can be selected and used, and the ability to adjust the thickness, color, and transparency of these frames to provide the ability to adjust in real time to match the virtual classroom.
  • such a frame function and the outer cropping (cutting) function are provided not only for the virtual blackboard, but also for the instructor's image, and the cropping of the instructor's image frame and the virtual blackboard is performed.
  • Various shapes such as rectangle or ellipse can be selected, and the AR function is processed through the transparency function of the outer border area even if the frame is not selected so that the background and the virtual copyboard or the lecturer's image are infused.
  • the virtual electronic blackboard includes an electronic pen function capable of marking by a mouse or a pointer, wherein at least one of thickness, color and transparency of the electronic pen is controlled and drawn by the pen function.
  • a function may be provided that allows the part to be automatically erased when the copyboard content is changed or the PowerPoint scene is switched.
  • the virtual electronic blackboard like a pointer used in a general classroom to increase the concentration of lectures in the present invention, includes a virtual electronic pen function that can be marked by a mouse or a pointer, and among the thickness, color, and transparency of the electronic pen.
  • a virtual graphics pointer that allows at least one to be controlled so that the mouse or gyro pointer can be visualized on the virtual copyboard, allowing the size of the virtual pointer graphic to be scaled and colored externally. Providing is an important function of the present invention of the virtual teaching method.
  • the slide notes of the presentation contents may include a function of automatically providing a caption function that is provided as a caption on the virtual camera output screen so that the presentation and the caption are output together.
  • using the camera to recognize the instructor tracking and the face rotation angle through at least one of the instructor's face recognition, direction recognition and facial expression recognition it is used for switching of the virtual camera, and shown in the virtual camera The ability to automatically display the corresponding content, such as blackboard writing, projector images, or students asking questions, on the virtual copyboard.
  • the virtual camera scene switching and the instructor facial image expression extracted from the camera may include a function of generating and using an instructor image without a chroma key by allowing the character to be used in place of the instructor camera image in real time.
  • the application provides a change screen of a virtual camera scene and a change of material to show lecture material, in particular a change of a PPT file, to a PPT file of an external input notebook or a virtual copyboard of a PPT file.
  • a remote lecture controller to watch the remote scene transmitted through the video conferencing function and control the device of the invention through a remote controller that can be controlled remotely using a smart phone linked with a wireless signal
  • the image of the instructor is input to a Tele Precence system in which the instructor sends a lecturer video and a lecture notebook at a remote location using a remote camera image received through a remote camera.
  • the smart-remote lecture method which is received and output, is natural, and the instructor does not come to the apparatus of the present invention and transmits his image to the apparatus of the invention by video conferencing and receives the image of the apparatus by video conferencing.
  • the cloud service may be provided to a remote presenter lecture device that uses and transmits ppt presentations to and from the device.
  • the function of automatically operating the device of the present invention only by using the pointer used in the actual lecture to move the PPT page to the next or previous page.
  • the button When the button is selected, the function of enabling the virtual switcher to select the virtual camera showing the scene at the same time as switching the PPT screen and the pen function for drawing the virtual pointer in conjunction with the function of the pointer, the pointer or the mouse Allows you to control the function of intuitively selecting a button according to the position of the virtual switcher of the virtual camera by using the left mouse button, the right mouse button, and the rotation wheel provided to the user, and by rotating the rotation wheel on the mouse or the pointer Scenes that cause the switcher to switch up and down
  • This function which enables a straightforward Switching with just all the various scenes, such as 12, 16 are provided are important to the ability to be a ring only a pointer without a control panel, such as a particular broadcast switcher one button is provided.
  • the instructor when using a general blackboard or a real electronic blackboard, notebook, TV, etc. in the classroom during lectures, the instructor indicates the position, posture, and the angle and body position of the instructor to select and describe them.
  • Tracking image processing Considering the information of the camera, the direction that the face looks through the instructor's face recognition, and the position pointed by the hand through the gesture, the corresponding content, that is, the contents of the projector screen, the writing on the blackboard, and the student's question scene camera It is possible to add various artificial intelligence information so that the automatic switching of virtual camera selection switching and the function to intelligently and automatically set the contents of the corresponding virtual copyboard can be used. Switching is provided precisely and precisely. Image processing for measuring angles of various sensors, video cameras, and instructors, and automatic scenes using actual rotation sensors may be switched.
  • the apparatus of the present invention through the step of receiving an image of a camera of the present invention in a lecture room is automatically provided with a function of allowing a lecture recording device, a remote lecture device, and a lecture broadcasting device to broadcast it on the Internet.
  • video lectures record the same lectures used in actual classrooms. Unlike the previous video recording methods, lectures recorded in the lecture room are recorded as they are, and are shown in the classrooms. TelePresentation devices that have been shown to be impossible It can be configured.
  • the apparatus of the present invention is used to set up the cameras of these video conferencing programs using existing video conferencing S / W, that is, Skype of Microsoft or Hangout of Google, for the function of making a two-way question and answer with a remote place.
  • the lecture device which makes the lecture efficient in the classroom, is a lecture device that allows students to take the same lesson outside the classroom with water. Lecture hall to become smart classroom lecturer to hear In the meantime, the class will be a smart lecture device that allows students to take the same class even if they are not in class.
  • the instructor when the public presenting the device of the present invention, such as a general presentation room, a large lecture room, a conference hotel, etc., the instructor will show the virtual classroom composite screen of the method in the conference room.
  • the lecture scene of the synthesizer is synthesized in a conference scene where only the material is displayed on a relatively large screen and the material is not large.
  • the instructor can be used as a large lecture room or conference lecture device that can be used to change the lecture scenes with a single pointer, so that complicated broadcasting devices for large lecture halls or hotel conferences cannot be relayed on the large screen.
  • a large conference / conference relay system used as a device to create a site, and even a remote conference device, so that you can see a conference that goes beyond the field conference without having to go to the venue conference.
  • a relay device, and even a virtual camera from a remote location can be used for remote conferences, which can be seen in other conference venues, so that the cost of attending the conference can be seen remotely and simultaneously in multiple locations, cities and countries. It will be used as the remote VR conference technology of the new BM model that enables charging.
  • the business field can be made by a bi-directional multi-regional / classroom conference relaying model where the Q & A discussion will be conducted simultaneously with the remote site and the field, and these presentations will be recorded to resell the content after the conference. Losing ways can be included.
  • the smart-remote teaching method is provided as a system mounted inside the electronic teaching board or electronic blackboard that makes it easy for the direct lecturer to lecture in the classroom,
  • chroma key function can be provided so that the lecture can be shown in a way that shows the composite scene of the lecture with the lecturer and the presentation material. It can be recorded or watched in a remote lecture.
  • the present invention using the above method, the lecturer at the remote site to the lecture through the Tele Presence (Tele Presence), and synthesized the lecturer and the lecture materials and send to the lecturer, where the lecture in real time, the lecture in the remote location Provides a remote lecture device using TelePresentation.
  • Tele Presence Tele Presence
  • the lecturer and the presentation material by interlocking the camera of the instructor tracking function by providing the function to the device mounted inside the electronic teaching table or copyboard, and to provide a chroma key function if necessary
  • It may be a smart lecture apparatus electronic table or an electronic blackboard to be a classroom lesson of the electronic teaching table or electronic blackboard equipped with the lecture apparatus function of the present invention shown together.
  • the remote lecture apparatus may be placed in any position in the classroom, for example, the students behind the classroom not only in the classroom method in front of the classroom,
  • the teacher or teacher looks upside down and sees the students together, and the class is held upside down so that the teacher can always use it as a teaching device.
  • the teacher's eye is looking at the camera from the instructor tracking camera so that the students in the classroom can see each other at the same time with the teacher.
  • Classes and methods that maximize lecture concentration Even in remote classrooms may be two concurrent virtual lessons eyes Justify how the teaching method that simultaneously Justify eyes with infinite students.
  • more screen space is secured in front of the classroom so that an additional screen or projector screen is mounted in the additional space and the plurality of remote classrooms are located on the screen or projector screen. Shows the listeners together and allows the instructor and the listeners to conduct lectures in synchronizing the lecturer's lecture screen and the remote listeners with each other. You can proceed.
  • the instructor camera uses a chroma key environment, which is extracted only by the instructor, at the back of the instructor to use a virtual screen synthesis method or when the instructor is not a chroma key environment.
  • AR or VR to make a graphic 3D character look like an instructor using the instructor face recognition method, which can be used as a virtual lecturer or a remote class lecturer.
  • the lecturer is teaching in front of the lecture device, when the instructor looks at the presentation material screen, the virtual electronic blackboard showing the material screen becomes larger and the screen becomes smaller so that the instructor is smaller. Automatic inversion of the instructor's camera is possible while looking at the blackboard It is easy to provide a feature that allows the instructor's face orientation to take a look at the lecture material together, by providing the ability to make the teacher's eyes look.
  • the remote lecture apparatus is configured as a lecture studio of an All in One studio apparatus that provides a camera, which is equipped with a camera, which is equipped with a background, lighting, and a monitor.
  • a lecture-only broadcasting station By providing a package, users can provide a lecture-only broadcasting station as a DIY within 1 hour without difficulty, such as construction.
  • the smart-remote lecture method and apparatus using the automatic scene change technology is a method of producing a virtual classroom in a more specific and convenient manner, such as a special effect, a method of generating a similar effect by combining multiple layers of 2D,
  • the above techniques can be used as a way to create a feeling of a similar VR environment without using AR-type chroma key, and above all, the transition of these methods is automatically converted so that the instructor does not need an operator.
  • Smart-remote teaching method and apparatus using automatic scene change technology is a new teaching method and classroom to more efficiently use classroom teaching using blackboards, teaching tables, electronic blackboards and electronic teaching tables used in the existing classrooms
  • the classroom as well as the remote class will be able to watch the lecture like the real classroom and will be able to listen to the lectures on the smart devices around the world in the same way.
  • the limitation of being able to take the class correctly and listening to remote video lectures that everyone knows has the effect of providing a better environment than the lecture of the instructor in the classroom.
  • Fig. 3 are conventional online lecture recording scenes and synthesis screens
  • 2 is a virtual classroom authoring tool concept and component-specific studio production screen according to an embodiment of the present invention
  • 3 to 5 are screens showing arrangement scenes for virtual cameras in a virtual classroom according to an embodiment of the present invention.
  • FIG. 6 is a screen switching and screen highlighting method using the direction keys according to an embodiment of the present invention.
  • FIGS. 10 are screens illustrating automatic scene change according to artificial intelligence according to an embodiment of the present invention.
  • FIG. 11 is a screen illustrating a flip teaching method according to an embodiment of the present invention.
  • FIG. 12 is a screen showing a remote presentation according to an embodiment of the present invention.
  • FIG. 13 is a scene of a tele presentation system according to an embodiment of the present invention.
  • FIG. 14 is a screen illustrating a scene through a multi-screen configuration using a video will according to an embodiment of the present invention
  • 15 is a conceptual view illustrating a configuration capable of bidirectional simultaneous lessons according to an embodiment of the present invention.
  • FIG. 16 is a conceptual diagram of a VR and AR classroom presentation apparatus operating according to an embodiment of the present invention.
  • 17 to 18 illustrate an implementation of AR studio according to an embodiment of the present invention
  • 19 is a lecture recording function screen according to an embodiment of the present invention.
  • 20 is a block diagram of a self-learning mobile assembled studio device according to an embodiment of the present invention.
  • 21 is a block diagram of an all-in-one mobile server using a studio device according to an embodiment of the present invention.
  • 22 is a conceptual diagram of a virtual output screen capture driver technique according to an embodiment of the present invention.
  • FIG. 23 is a block diagram of a classroom lecture scene according to an embodiment of the present invention.
  • a method of creating a virtual classroom in a more specific and convenient manner such as a method of generating a similar effect by combining special effects and multiple layers of 3D / 2D, and a method of creating a feeling of a similar VR environment without using an AR method chroma key.
  • the lecturer in the virtual classroom to show the scene to emphasize the lecture material when the lecturer needs to show the necessary lecture material when the instructor knows the intention of the instructor in the device of the invention without such a professional broadcast technician
  • virtual classroom shots (3D space / or 2D layered composite virtual compositing), which relocate the lecture materials and show the necessary scenes with virtual cameras in this virtual classroom and automatically select various scenes for them.
  • the AI PD function provides a way to automatically create the required screen without the need for equipment operators.
  • the VR / AR method of using the broadcasting technology in the classroom in real time, and furthermore, the MR recording technology can be used to improve the recorded video of the classroom than the actual classroom, which is more than the actual lecture. If it is improved, it is impossible to make eye contact, which is a problem of existing classroom lectures, because the classroom is used as a lecture device to show the lecture in the classroom by the invention method instead of the existing lecture method, and the classroom is not enough for students to see the lecturer. It can be a new lecture device that solves the problems of such a big case, the problem of not being able to decorate the room beautifully and the limitation of taking a class from a remote place.
  • Instructors can output larger than they actually are and sometimes the material screens are made in beautiful virtual or augmented reality spaces for lectures, and the same screens can be recorded and sent to remote locations, giving lecture videos beautiful and real-time immersion.
  • the device of the invention first synthesizes a lecture room into a virtual or augmented reality to create a beautiful lecture room, and assembles a desk, a wall, and a floor directly in a virtual space.
  • Lectures of floors, walls, desks and ornaments are arranged in a multi-layered manner, or in a multi-layered manner, in the form of classroom studios that are given in various ways.
  • the instructor and the virtual chariot blackboards output by the virtual cameras various scenes can be freely configured into beautifully necessary scenes.
  • a lecture device that uses a blackboard, a projector, and the like to synthesize lecturers and lecture materials and displays the composite screen on the screen of a projector, which shows lecture materials in real time. Students alternate between lecturers and lecture materials. It is a device that lectures by watching a composite screen instead of listening to lectures. The lecture recording, remote lectures, two-way simultaneous classes, presentation meetings, etc. do not have to be taken by the actual instructor, and do not see the class from the classroom. It allows students in the classroom to take lectures more intensively than in the traditional way,
  • the present invention is invented so that the lecturer and the lecture material can be shown to show the lecturer largely when the student needs to see the lecturer, and sometimes the lecture material is sometimes shown together when viewing the lecture material.
  • the lecturer synthesizes the lecture screen in such a way that the students can show the scenes by using the artificial intelligence function judged by the device of the invention as the students judge the scenes to be shown through the lecturer's gesture, voice, etc.
  • Lecture materials, and beautiful classroom background-Real time synthesis and scene switching can be done by synthesizing it into virtual classroom.
  • camera images and lecture material screens (PPT, notebook, blackboard, electronic blackboard, question student, real imager, etc.) that take lecturers are input to show the composite screen of the lecture.
  • a layer composition method VR instructor removes the background and extracts only the instructor image, or VR classroom method using edge recognition, or edge method
  • the virtual classroom can be virtually photographed through a virtual camera that can be freely placed in a virtual classroom, such as an AR classroom that synthesizes a part of the background and synthesizes a part of the background and synthesizes a real classroom image and a virtual space.
  • Virtual classroom screens moving these cameras to different positions, Freely place virtual blackboards or instructor images for each virtual camera location so you can place virtual blackboards, virtual desks, and lecturer sizes in the virtual classroom to show lectures that students can focus on on the virtual shooting screen. Automatically output their virtual cameras and show them as projectors or smart devices.
  • the apparatus of the present invention enables a virtual classroom to be composed of 2D multi-layer or 3D graphics, and allows a plurality of virtual cameras that can be freely positioned at various positions in the virtual classroom of the graphic, For each virtual camera, a camera image of a real lecturer is placed along with a virtual desk, and a virtual copyboard showing the lecturer's image and the lecture material image to be displayed from the virtual camera is placed on the virtual camera. Freely create scenes that the composite screen displays to the students to show, and virtual switchers that select these scenes, or multiple virtual cameras (placed in a virtual classroom as shown by switching multiple cameras into real switchers in a real classroom).
  • One virtual cameras in the device of the invention Switch to the virtual switcher function to show the lecture scene, but the device of the invention automatically recognizes the instructor's gesture, voice, writing, pointer position, and student's question.
  • the AI feature allows the optimal virtual camera scene to be shown to the students. This switching can be activated by the instructor or operations assistant as needed.
  • one virtual camera is set to a desired position, that is, a position where the instructor and the classroom are shown in a required size (ie, a keyframe position), and for each camera position.
  • a desired position that is, a position where the instructor and the classroom are shown in a required size (ie, a keyframe position)
  • the free placement of the virtual copyboards on which the virtual copyboards to be displayed are placed and the tracks that set their settings and automatically display in real time in the size or angle set to the corresponding position
  • the number of camera tracks is 132 (12x11), and two corresponding virtual copyboards are additional 2x132, it is impossible to manually set the tracks of them in real time.
  • This simultaneous function is important, in which case various cases of track generation As to the form and time, and freely set to generate a variety of animation effects beautify the image and make the Amy animation, and is also provided with a function that allows to be able to see such as students grow blackboard or instructor's face to focus the lecture.
  • the program input function of the screen is provided so that the image of the student in the remote classroom is displayed on the virtual electronic board.
  • the screen showing the presenter and the questioner together is provided as another classroom.
  • the various output screens of the plurality of virtual cameras are pre-arranged to show the instructor and the virtual copyboards in various VR cameras as shown in Fig. 4 by setting the necessary main scenes in advance and defining them as key frames of the virtual cameras.
  • the location of the virtual camera and the corresponding virtual camera to focus on one of the instructor scenes and lecture materials that the instructor focuses on, and to show various virtual scenes of the scenes that make the corresponding virtual copyboard scene larger and make the instructor relatively less visible.
  • the scenes are set to a certain rule and the virtual cameras are tiled and the instructor is upward.
  • the virtual camera setting switcher is arranged so that even the beginner can understand the scenes output by the virtual cameras intuitively by using the alignment method that makes the virtual blackboard 1 on the left and 2,3 on the right.
  • You can see the switcher button without looking at it, and you can see the current scene and intuitively move the necessary scene by pressing the set button, or by pressing the left, middle, or right button to move the mouse Includes a feature that allows the instructor to simply move the wheel by moving the wheel or move the scene with simple arrow key buttons, etc.
  • the scene transition basically recognizes the movement of the mouse pointer so that the mouse pointer moves as illustrated in Figure 6. When you go up to the virtual copyboard on the output screen, you create a scene that enlarges the chalkboard.
  • the upper camera button is operated automatically, and if the mouse / pointer does not move for a certain time on the virtual blackboard, the instructor is automatically moved to the upper direction button, which makes the instructor larger.
  • the instructor shows the entire studio scene again, and when the mouse moves with the pointer over a specific virtual copyboard, it causes the virtual copyboard to move to the largely placed scene. If the mouse pointer moves on the virtual copyboard for a long time, the virtual copyboard moves to a larger scene and then moves to a different scene again after a certain amount of time.
  • Auto chapter in way to the scene The ability to make this transition, it is important that the ability to be a pointer to how the artificial intelligence built-in progress.
  • the function of the mouse pointer and pen is sensed as in the case of claim 5, and the network is sensed by the device of the invention to change the scene. It includes losing.
  • the instructor When the instructor does not use the pointer and is not recognized by the device of the invention as a laser pointer, the instructor is greatly instructed when the instructor's viewing direction is through the image processing of the instructor's face and gaze direction that enters the instructor camera / or instructor tracking camera.
  • the instructor looks at the blackboard or projector screen, he uses the method of enlarging the projector screen, and the position sensor (xyx) reads the direction of the instructor's face and the position of the lecturer's classroom to know the instructor's position in the classroom.
  • the tracking of the instructor can be precise and the multi-position sensor is attached to each microphone to move the virtual camera scene using the microphone voice and the position of the questioner's tracking camera and to display the scene where the instructor looks.
  • Tracking camera displays instructor size and lecture materials by position and angle
  • when writing a blackboard by recognizing the direction of the instructor's position face through time and posture as in the case of claim 5 when viewing a projector screen, when viewing a student, when a student asks a question, Automatic lecture recording and automatic remote recording with the function of enabling camera tracking and scene switching at the same time by recognizing the voice, starting, ending, and viewing the scene. Make classes possible.
  • the students Like this, it is as if the students judge the place to see and see the teacher's gestures. Based on movement / gestures / questions, the students automatically select the virtual camera scenes that should be automatically output to the AI function of the device of the invention using the information as if they were looking at the lecturer, the blackboard, and the question student. It is a lecture device that allows the presenter's device to create a virtual camera screen of a scene for students to see in an artificial intelligence method once the speaker announces it. Remote classroom interactive lessons for meetings, It could be a tele-presentation conferencing device for video conferences, or a web conference / webinar for webinars that broadcast these lectures worldwide.
  • the device of the present invention in a general classroom so that lecturers and lecture materials can be seen in a remote classroom so that lectures can be automatically transferred to a remote location, and students can be seen in a classroom with an instructor.
  • the remote class method that is, the two-way class or the multi-class class, that is, the Tele-Class solution. It becomes the device that makes the teaching system.
  • the instructor When the instructor stares at the camera using the device of the present invention, the instructor stares at the camera and the instructor looks at the projector screen. The lecturer's eyes look at all the students in the classroom and the class becomes a simultaneous eye-catching lecture, maximizing the concentration of lectures, and further, the instructor teaches behind the classroom (Flipped Teaching). It's a class where the instructor sees the class scenes that the students see in the class that is taught after the class, and the virtual distance class where the students see the faces and gestures and the presentation materials and the remote class students together. And remote classrooms are the same as on-site classrooms with instructors. Sharing the ups and new remote classroom lessons joint that enables simultaneous multi-classroom lessons with students in multiple classrooms can be made. At this time, the use of a response system that allows a remote student to answer a smartphone via the Internet to perfect immersion is a high-tech VR classroom that maximizes immersion and enables perfect remote immersion class through the technology used together. To be.
  • the composite screen of the present invention is a video input to recognize the camera of the existing device to become a presentation conference, presentation webinar, or telepresentation system.
  • the videoconferencing scene is a feature that allows direct output from broadcasts such as YouTube or Facebook to be performed without additional encoder devices.
  • the output of the device of the invention to the existing TelePresence system is inputted to the notebook of the telepresence system.
  • the instructor camera of the existing telepresence system is used as the instructor camera of the device.
  • Present the presentation while viewing the output screen make the other team's meeting team visible on the additional screen, watch the same presentation on the other side, and watch the attendees on additional channels, perfect for the immersive presentation of the TelePresence device.
  • the video wall is used together to effectively view a plurality of participants and the presenter effectively configures the screen when multiple devices are used.
  • the output screen is displayed on the projector's projector screen so that the instructor's facial expressions can be shown effectively to multiple people. It can be viewed as another large classroom or classroom, enabling a large conference presentation device and a relay joint conference system that renews the way in which existing large conference venues are inefficient.
  • the virtual classroom is streamed to the 360 screen to view it remotely from the 360's HMD, and the 3D classroom of the virtual classroom is sent to each client in advance so that the client can stream instructor cameras and lecture materials, and downgrade their virtual camera locations together. It allows you to show the scene from the 360 reference point of the virtual camera scene, render it on the client at an additional HMD client position and angle, and have a high quality experience. It's no surprise that it's a 360 HMD device that provides a way to pre-provide and switch their scenes from the client rather than auto-switching.
  • This lecture device is mounted as a lecture table, cameras, lecture computers, and student tracking devices that track lecturers in the classroom are interlocked, and when the lecturer lectures with the device of claim 1, the lecture is automatically shown on the screen in a virtual lecture manner, and recorded. It becomes the electronic VR classroom which becomes the VR classroom which becomes the classroom with several external classrooms.
  • the lecture recording studio will be recorded when the lecturer is watching the screen outputted by the lecture apparatus in the classroom with the device of the present invention.
  • the slide notes of the presentation slide program such as PPT are seen.
  • the device of the present invention it is shown as the title subtitle so that the instructor can present the lecture while watching the subtitle, and when the pointer becomes the next slide, the slide is changed to the virtual camera screen where the lecture material becomes larger.
  • the slide notes While reading and presenting the slide notes, the slide notes are closed and the caption is finished, and the instructor turns the scenes so that the instructor looks larger when the instructor finishes the slide material.
  • the slide recorder, the scene change, and the presentation slide notes are automatically subtitled.
  • the subtitles when finished, it includes a function that makes the scene move to a scene that enlarges the instructor.
  • the subtitle scrolling speed recognizes the instructor's speech and automatically adjusts the subtitle speed, scrolling subtitle speed, and presenter presentation speed, and the instructor adds descriptions even after the slide notes.
  • it is natural to provide a function to make the voice recognition.
  • the text scroll of the framter is made transparent so that the background of the slide note subtitle is made larger on the screen so that the front of the output screen is visible and the note text is read aloud. It provides the ability to make lectures by automatically adjusting the time, such as the ability to make the lectures disappear automatically after scrolling, or to manually turn on and off the lectures.
  • the lecture scene will be automatically changed to the lecture and the lecture scene will be displayed in the lecture room.
  • the lecture using the present invention is automatically performed in a manner that shows the synthesis scene of the device of the invention by showing the synthesis scene by using the pointer on the screen and using the pointer on the screen to recognize the motion of the pointer mouse. You can make the composite screen switch.
  • Lecture recording system that provides studio as a system and provides lecture recording as a VR lecture device at any place without studio construction.
  • the studio provides a monitor-mounted and camera-mounted kit as shown in Figure 24.
  • the automatic function of the apparatus of the present invention includes a technology for providing a DIY studio installation that allows anyone to make advanced presentation lectures and a kit that enables a DIY lecture recording studio.
  • the technology of the present invention outputs the lecture scene directly to the scene by an automatic or manual simple operation to receive a real-time synthesis screen on the existing classroom projector by using a conventional projector and the presentation computer screen as input in a general lecture scene, such as a movie theater.
  • a general lecture scene such as a movie theater.
  • It is a device that can record high-quality recordings of high-quality recordings that solve difficult problems of the existing recording service and problems that recording lectures do not have much more than actual classroom classes by using the (Lecture Capture) device.
  • Such a device receives an instructor presentation computer input, a camera photographing an instructor, a camera photographing an instructor, and a camera photographing a student.
  • the lecturer's material is made of one-touch recording to show the virtual camera setting when the lecturer's material is enlarged.
  • the visible device is made. (See Figure 21)
  • the instructor's gestures and facial expressions instead of using the instructor's gestures and facial expressions to synthesize the camera image of the instructor, they express the face recognition as other characters to compose the actual face and hand movements into characters and use them on the composite screen instead of the instructor.
  • the facial expressions as well as the voices are generated similarly so that the actual camera expresses the expressions and gestures of the characters so that the actual instructor uses more than the characters moving on the lecture screen
  • the character replaces the facial expression with the character instead of the actual instructor's video, and creates a virtual character lecture through face recognition and gesture recognition instead of the actual instructor.
  • a lecture method that makes expressions appear in real time as characters.
  • the facial expression gesture recognition allows the expression of the character of the virtual lecturer by making the facial expression gesture of the Carrier instructor without the chroma key. It is possible to express it and use it as a virtual instructor so that it can be synthesized like a perfect chroma key without chroma key.In this case, if face recognition is difficult to process in real time, lecturer face recognition is lectured for post-editing and new precision recognition and processing You can make a lecture video with a more accurate look.
  • FIG. 23 illustrates a lecture apparatus environment in a general classroom environment in which the lecture apparatus is used. Tracking can be provided when the instructor moves the instructor camera to take the instructor first. Chroma key can be easily moved in the chroma key color area behind the instructor. The composition of the lecturer will be used on the lecture screen.
  • the PPT file or notebook input is used as the instructor's presentation. The two materials are screens made by resynthesizing a virtual camera placed in a space selected or created as a 2D or 3D graphic virtual classroom in a virtual classroom. It will be shown through the projector or TV in the classroom.
  • a variety of virtual camera scenes will be shown automatically or manually as the switcher scene specified in 4, and the lecture device draws or shows pointers and lectures on the virtual copyboard on the presentation screen.
  • the virtual copyboard that shows the data can be displayed simultaneously by using additional cameras that show additional students so that various inputs can be simultaneously displayed using multiple boards instead of just one. If necessary, a large number of scenes such as student questions will be enlarged to show a virtual camera scene to show their screen.
  • FIG. 2 is provided with a virtual classroom authoring tool for selecting and using a basic virtual classroom for lectures according to an embodiment of the present invention and allowing anyone to easily and conveniently make or use these modified virtual classrooms. This is very important and the concept of their authoring tools and studio production screens for each component are shown.
  • FIG. 2 as an example of the screen configuration of the device of the invention, a plurality of virtual (VR) copyboards to show virtual desks and lecture materials in a virtual classroom, and three virtual copyboards freely positioned in the above scene.
  • the lectures can be arranged by adjusting the angle and setting various scenes that allow the instructor to enlarge or enlarge the screen for each of these layouts, and arrange the virtual cameras to make various output screens in real time. It allows the instructor to make the instructor large or the material to be displayed large by sending the scene to the projector, recording, or remote location.These scenes can be explained using the pointer (virtual graphics) while viewing the screen and the instructor's gesture or hand.
  • 3 to 5 are screens showing the layout scenes for each virtual camera in the virtual classroom according to an embodiment of the present invention.
  • FIG. 3 illustrates an assembly studio method of a basic concept, which illustrates a concept of a classroom authoring tool that prefabricates a ceiling, a wall, and desks of a virtual classroom, and various studio productions by adjusting position colors of assembly components.
  • the existing patented technology gives the user the ability to easily change the color of the shader function and adjust the color of each shader for each component.
  • the free placement, size, and rotation of the virtual classroom walls, floors, and decoration 3D objects can be scaled with water so that they can be placed freely.
  • the color of each background or the surface of the 3D object is HSV. It provides color erection, or RGB color adjustment, which allows you to design according to your feeling and provides a shader function that allows you to make adjustments without any other program.
  • the board 4 is an example of scenes arranged for each of the 12 virtual cameras in the virtual lecture room of the device of the present invention.
  • the board is placed in such a way that it can be enlarged to make it easy to recognize where the scenes are switched intuitively, so that it is possible to intuitively switch things by button or mouse operation. Intuitive switching comes with the ability to adjust with the mouse button.
  • FIG. 4 is a scene in which the scenes of each of the twelve virtual cameras are represented in the form of tile switcher buttons in the device of the present invention.
  • the virtual blackboard is relatively small and large so that when the instructor sees the instructor, the lecturer makes the lecture material larger and the virtual copyboard 1 on the left side is 3 on the right side and 2 virtual electronics on the center.
  • the scenes can be arranged in such a way that the board can show them, allowing the instructor to move to another scene from the scene as soon as necessary, allowing intuitive scene selection with mouse or keyboard buttons. This is an important feature that enables without the need to learn special device operation during lectures, where scene selection is manual without operator.
  • the scene of the switch button of the device of the invention in which 12 scenes are arranged in this way is automatically set to the scene of the device of the invention
  • the scene of the button is displayed.
  • the intuitive button provides a way of pre-screening the scene to show the output scene without a free part.
  • FIG. 5 illustrates a function of detecting a mouse motion and a position of a function of automatically instructing the instructor to move the mouse / pointer to the corresponding virtual camera so that the corresponding virtual copyboard is made larger by viewing the output screen of the corresponding virtual camera scene.
  • the artificial intelligence function that automatically switches the scenes of each virtual camera to the instructor's pointers, postures, blackboards, etc., firstly detects the movement of the pointer or mouse during the lecturer's lecture to show the scene. Demonstrating the function.
  • the instructor's posture-the camera's posture tracks the writing of the blackboard by detecting the posture for writing, the position of the hand, the gesture, and the facial orientation of the face. It provides the ability of artificial intelligence to show scenes that are synthesized.
  • the scene change setting can automatically move to various scenes when the mouse pointer is not moving.
  • the output scene is displayed without looking at the operation menu, and the scene is arranged as shown in FIG. 3 by pressing the mouse wheel or button or using the arrow direction on the keyboard. It can be operated with a mouse or keyboard button that allows the instructor to operate directly while viewing the bay.
  • FIG. 6 is a screen illustrating a screen change and screen emphasis method using a direction key according to an embodiment of the present invention.
  • the instructor can intuitively determine the necessary scene manually even during AI switching, and use the mouse to use as a pointer or the arrow keys on the keyboard and the key button arrangement for the left hand used in the game to view the current scene and other scenes.
  • To position the virtual camera in a tiled arrangement highlighting the virtual copyboard to the left and right, and placing the switcher buttons in a manner such that the instructor size and the virtual blackboard size are adjusted up and down. You can change scenes with only mouse button or arrow button.
  • This method of manual switching is a function that utilizes the functions of the previous patent together to enable manual switching with a single mouse click even when automatic.
  • the contents of the virtual copyboard of the scene that is, the external input, the video list, and the pictures are defined in order so that they can be switched to the next or previous contents. It adds the ability to rotate or use the special F1, F2 keys to automatically modify the contents of the copyboard during lectures, and allows the user to look at the scene switching of this function by voice or gestures, as a student looking at the virtual electronics.
  • the chalkboard content will be provided in an AI way that will automatically display it.
  • the number of virtual cameras is three or four, eight, twelve, etc., if necessary, and the necessary buttons are created and arranged in the left and right up and down directions of FIG. 4 so that their arrangement is tiled in the virtual classroom.
  • the position of the tiled virtual camera and the switcher mixer's buttons that make it possible to predict the placement scene by recognizing it as if it is placed with the switcher are the functions that allow the instructor to manually operate the menu when the operation is required without knowing the equipment. It is important.
  • the virtual copyboards can be edited to be automatically placed in the corresponding scene so that the virtual cameras can be placed at the most camera position and the corresponding virtual camera. If you set the key frame, the various speeds and tracks are generated so that each virtual camera scene, that is, each keyframe, is automatically generated as a virtual camera movement track of the virtual camera cutaway by animation instead of switching.
  • the blackboards also automatically generate animation time and tracks so that students can focus on the scenes that they need to see slowly when switching scenes. very important.
  • the device of the invention is a 3D object that can display real-time interactive 3D animation objects that provide the ability to perform real-time 3D animation, not just 2D images and PPTs, which are seen as external presentation materials, but to move to a virtual experiment or space. It is a function that can load the data of the data and place them in each scene and show them the actual experiment. It overcomes physical constraints, namely size and weight, and shows 3D objects or animations in real time. Providing is a way of becoming an important virtual / or augmented reality presentation. To do this, 3D editors such as 3D Max and Maya read data of animated objects and place them in a virtual classroom (see FIG. 8).
  • FIG. 8 shows an AR / VR presentation scene showing a 3D object and an animation scene / virtual interactive experiment, and a scene that is effectively shown by showing differently in 12 scenes for each virtual camera.
  • This method of displaying 3D virtual objects will enable new lecture apparatuses that enable the 3D virtual classroom lecture apparatus to make impossible part of lecture recording or lecture apparatus.
  • 132 camera tracks are moved from 12 virtual camera tracks to 11 different virtual camera positions, respectively. If 3 copyboards are used and 1 virtual 3D object is used, the total tracking passes will be 132x 6 total, and 792 paths will be generated automatically.
  • the onset device provides the ability to automatically animate each scene with the location of the virtual carema, the location of the virtual copyboards, and the virtual 3D object.
  • FIG. 5 is a scene of a classroom in which a device of such a method is arranged in a classroom to display a screen output through a projector in a manner in which each virtual camera scene is displayed.
  • FIG. 9 shows a virtual classroom in which the instructor and the lecture material are synthesized in a virtual or augmented reality technology in real time in a device of the present invention, in which the instructor shows the material when the instructor looks large when the teacher looks large.
  • the device of the invention judges the lectures in a cool virtual classroom on the screen. This composite screen is recorded and transmitted in such a way as to show the scene to be shown so that the class can be made like the classroom in the classroom as well as in the remote classroom.
  • a posture recognition function as a function of an artificial intelligence that allows the scene to be automatically changed to the scene and the contents of the virtual electronic board to show the projector or the blackboard with the gesture of the instructor, the attitude of the instructor, the angle of view, and the voice recognition. It shows the scene that is automatically converted to scene by enabling the location recognition to use an image or an external sensor.
  • two virtual copyboards are used to cut out the outer part of the part that the instructor sees by using an ellipse rather than the chroma key method, and gradually process the transparent part of the part of the cut out part.
  • An instructor's input is a combination of an area and a virtual electronic blackboard-graphic frame with a real instructor's camera input. The following shows an example of switching scenes that are variously arranged and displayed in virtual cameras that are arranged freely.
  • a virtual camera scene is output that enlarges the laptop screen shown in the projector, and relatively small instructor's video while composing the background scene with AR concept on the background. This allows the switching of the laptop's screen to be displayed on the virtual copyboard automatically.
  • the tracking camera on the blackboard screen captures that portion. Move the camera and show the screen on the virtual copyboard, using a technique that automatically displays the virtual camera scene.
  • the instructor places the instructor's camera on the table or in the direction of the student in the classroom, or places the instructor camera at the back of the classroom and sees the output screen in this area. If you take a lecture while staring at the output screen, you will be able to make eye contact with the entire class at the same time as the instructor's eyes always look at the students.
  • classroom lessons become virtual eye-catching virtual classroom lessons with maximum immersion.
  • the class that the lecturer makes the lecturer behind the scenes becomes the actual lecture video class, and when the class is recorded, the video can be played after the class or in another classroom class.
  • the lecture screen in the remote classroom is the same as the field class with the instructor.
  • the remote classroom will be a remote classroom that completely solves the problem of technology that is worse than the field class.
  • the screen shows a flipped teaching screen in which a lecturer looks at a lecture scene and a student and a remote classroom behind a lecture room in which a lecturer looks at a virtual classroom screen of the invention.
  • an output screen camera for linking a two-way interactive video conferencing function to the device of the present invention to recognize an output screen camera that sets the composite screen of the device of the present invention as a video conference input so that the output screen acts as an instructor camera during the video conference.
  • Driver mode is provided so that any videoconferencing or direct output from broadcasts like YouTube or Facebook can be performed without additional encoder devices, allowing you to use existing webinar programs like WebEx or ConnectPro, video conferencing programs like Skype and Zoom.
  • the remote lecture meeting and presentation webinar is made in the virtual classroom method of VR / AR technology. Take a look at the synthesized virtual classroom screen This allows you remote classroom, Webinar, presentation broadcast of new virtual technologies. This approach allows the use of existing Tele-Presence video conferencing presentation systems together, enabling the TelePresentation system, or remote presentation, which has not been possible.
  • FIG. 12 shows a device that uses the apparatus of the present invention in conjunction with an existing internet conference, webinar, webconference and telepresence conference system so that an eye-taking lecture at a remote location feels like an instructor comes to the lecture.
  • FIG. 13 shows a scene of a tele presentation system in which a presenter and a presentation data are sent from a conventional TelePresence system and the presenter is synthesized by a device of the invention and sent to a single screen. .
  • the TelePreseence device displays two inputs, the instructor camera and the instructor notebook, respectively, on two remote monitors. Send it to a channel, or laptop input, and the instructor camera lets you show attendees and send them remotely so that both instructors and attendees are shown remotely.
  • the video conference output is made by using the video wall technology to display a plurality of remote screens in various ways. It enables a Tele-Presentation Multi-conference system.
  • FIG. 14 shows an example of using a scene through a multi-screen configuration using a video wall.
  • the remote relay class that uses the device of the present invention to the existing classroom can enable the effective class to be more immersed in the remote classroom than the field. Since the recording is performed by the device method of the AR method, even if the lecture is not well understood, the recording can be viewed again so that the lecture can be recorded as well as the actual classroom.
  • the remote virtual lecture system uses a projector screen in a large existing classroom, and if the instructor is small and the projector screen is large, the instructor does not brighten the room light by the brightness of the screen, and thus the instructor is dark and small, and only the presentation materials on the screen are raised.
  • Large classroom lecture equipment used in the lecture room enables lecturers and lecture materials to be effectively used as a device that can be seen in the large classroom.At the same time, large lecture lectures in the remote classroom where the lectures are sent to the remote classroom and the remote cameras are shown to each other in the classroom. As a device, the problems of the existing lecture room and the large lecture room can be linked to the classroom.
  • FIG. 15 shows a concept of using a lecturer, which is a problem of a large classroom lecture, to make a lecturer and lecture materials appear on a large screen in a dark and small lecture room, and to simultaneously record two-way classes with other large classrooms through recording and real-time transmission.
  • the video presentation system which sees each other for two-way question and answer during the remote class, enables the perfect remote class by interworking with the real-time participant question and answer system that asks questions on the laptop screen such as PowerPoint, receives the answers in real time, and displays them in a table. do.
  • This lecture device is used to make a stereoScopic image using two virtual cameras in a virtual classroom and to make a stereo lecture device that sees a stereoscopic 3D screen in each classroom, and in particular, to send a virtual classroom scene to a 360 screen through a 360-screen HMD. Students will be able to control the view from side to side or back and forth on their favorite VR screen.
  • the 3D data of the virtual classroom of the device of the present invention is downloaded in order to improve the quality of the actual 360 screen, and the lecture data and the instructor camera video are transmitted to the student HMD device for real-time rendering. It is possible to maximize the immersion by implementing the HMD linkage method with.
  • This type of lecture is a simultaneous eye-to-learn device that enables simultaneous eye contact with all students in the classroom, the Internet, and remote classrooms, and the output screen becomes a beautiful teacher lecture in a virtual classroom. Even if you do not judge the lecture materials with the lecturer, you can see the necessary scenes by looking at the projector screen, which becomes a state-of-the-art classroom that makes the existing classroom classes more immersive, and the lectures on the VR / AR composite screen are recorded in real time.
  • the instructor combines the chroma key processing of the instructor camera, the external input camera, and the student tracking cameras that capture the student's position according to the instructor's position and the instructor's position and the camera's position.
  • the teacher looks at the students and explains them, the teacher enlarges them.
  • the material screen is synthesized together.
  • frames are added to the instructor's camera output by cropping the edges of the cropped edges and providing them with transparency and color change functions to combine the screen with the background.
  • Fig. 17 shows the composition of the VR classroom, AR classroom scene and AR classroom by combining the background with the method of composing transparency and frame transparent parts on the elliptical crop (cut) and the edge (around the crop) of the instructor camera. A scene showing an AR studio is shown.
  • FIG. 18 illustrates an AR studio technique in which a peripheral frame (elliptical shape) of an instructor camera image and an elliptical frame at a cut edge of the instructor are smoothly combined with a background virtual classroom through transparency processing. After cutting the ellipse around the instructor's camera, add an edge frame at the edge and adjust the transparency and color of the part to make it look natural with the background.
  • a peripheral frame elliptical shape
  • FIG. 19 shows a function of recording a lecture while viewing a slide note such as a PPT with a prompt screen and subtitle scrolling. Specifically, when the instructor turns over the PPT slide, the slide notes automatically appear as subtitles and prompter screens, and the lectures are read with the subtitles as the subtitles (these screens are displayed on the output screen. Function included).
  • FIG. 20 shows an example of a DIY e-learning mobile prefabricated studio
  • FIG. 21 shows a lecture relay / recording / VR / AR switcher environment using the mobile prefabricated studio-a laptop mobile system and an all in one mobile server configuration diagram
  • FIG. 22 shows a virtual output screen capture driver that uses a plurality of applications such as video conferencing, youtube, and facebook at the same time so that the lecture composition screen of the invention can be used without additional devices for broadcasting a video conferencing program or YouTube.
  • the technique is shown as an example.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Computational Linguistics (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Architecture (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

Compared to a lecture apparatus according to the prior art, the present invention provides a feature, wherein an operation of an apparatus, that is, scene transition, is automatic and based on an artificial intelligence (AI) function so as to allow a lecturer to focus on a lecture, and a feature of an edge processing scheme based on AR composition without performing chroma keying in a studio environment confined to performing a chroma-keying technique, thereby providing a lecture apparatus based on an AR lecture room method. Accordingly, a scene for delivering a more immersive lecture compared to the existing lecture method may be created in any classroom or lecture location such that a technique may be provided of perfectly implementing a real-time lecture apparatus, a real-time lecture recording apparatus, a real-time remote lecture, and a lecture presentation conference apparatus, which allow a lecture to be delivered in a lecture location, based on the method of the present invention.

Description

가상 및 증강 현실 강의실에서 인공지능 기능의 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 그 장치Smart-remote lecture method and its device using automatic cutaway technology of AI function in virtual and augmented reality classrooms
본 발명은 가상 및 증강 현실 강의실에서 인공지능기능의 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 종래의 강의 장치와 대비하여 AR 크로마키를 쓰지 않고도 강사는 오직 강의만 집중하면서 강조하고 싶은 영역을 자동으로 장면이 전환될 수 있는 유사 VR환경을 구현하여 공간 및 시간적 측면의 효율성이 크게 향상될 수 있는 자동 장면 전환 기술을 이용한 스마트한 강의 장치 및 방법, 이를 이용한 실시간 강의 녹화 및 원격 강의 방법 및 장치에 관한 것으로 이 방법을 기존의 화상 회의와 함께 사용하는 원격 프리젠테이션 화상회의 장치이다. The present invention relates to a smart-remote lecture method and apparatus using an automatic scene change technology of an artificial intelligence function in virtual and augmented reality classrooms, and more particularly, instructors can use the AR chroma key in comparison with a conventional lecture apparatus. Smart lecture apparatus and method using automatic scene change technology that can greatly improve the efficiency of space and time by realizing a similar VR environment that can automatically switch scenes to highlight areas that you want to emphasize The present invention relates to a method and apparatus for real-time lecture recording and remote lecture, which is used in conjunction with a conventional video conference.
종래의 강의 장치는 교실에서 사용하는 프로젝터, 칠판, 그리고 강의자료를 제어하는 교탁과 전자 칠판을 연동하는 방식의 장치들이 개발되어 왔다. 최신 VR, AR, MR 기술들이 새롭게 발전하고, 와이파이 등 스마트 장치가 대중화 되면서 교실의 강의 녹화, 이러닝, 인터넷 강의의 MOOC 수업의 강의가 다양한 기존의 방송 기술을 사용하여 많은 강의 녹화가 이루어 지고 있다. 이러한 기술들을 사용하는 방법들은 아직도 녹화 편집된 강의가 실제 수업에 듣는 것 보다 집중도가 떨어지고 편집등 많은 시간이 필요하기도 하며, 이러한 이유로 실제 실시간 원격 강의, 즉 Tele Presentation 기술 또는 장치가 존재하지 않고 있는 것이 사실이다. Conventional lecture apparatuses have been developed in which a projector, a blackboard, and a classroom-based electronic board are used to control lecture materials. With the recent development of the latest VR, AR, and MR technologies, and the popularization of smart devices such as Wi-Fi, many lecture recordings are being made using various existing broadcasting technologies such as classroom lecture recording, e-learning, and internet lectures. The methods using these techniques still require less time and editing than recorded lectures in actual classes, which is why there is no real-time remote lecture, ie Tele Presentation technology or equipment. It is true.
도 1에는 종래의 강의 녹화 장치의 예시들이 도시되어 있다.1 shows an example of a conventional lecture recording apparatus.
도 1을 참조하면, 직접 카메라로 녹화 하는 경우에는 칠판이 깨끗하게 보이지 못하는 문제 및 합성화면을 만들 경우의 강사와 자료를 비디오를 보는 사람이 화면 중 보아야 할 장면에 집중하지 못하는 문제가 발생된다.Referring to FIG. 1, when directly recording with a camera, a problem in which a blackboard is not seen clearly and a viewer who views a video of a lecturer and a material when making a composite screen do not concentrate on a scene to be viewed on a screen are generated.
이러한 비디오를 통한 원격 수업-이러닝, MOOC 코스가 최근 스마트 장치 인터넷을 중심으로 이루어 지고 있고 이들의 기술은 다음의 3가지로 방식으로 만들어 지고 있다 The distance learning-e-learning and MOOC courses through these videos are recently focused on the smart device Internet, and their technology is being made in three ways.
첫 번째 방식으로 강의 자료 즉 스크린 또는 PPT 화면만을 녹화하며 음성을 녹음하는 방식의 강의 녹화 방식으로 80%이상의 인터넷 강의가 이러한 방식으로 강사가 보이지 않아 강사의 의지나 학습이 동기 부여등이 보여 지지 못하는 단순 자료 화면과 펜의 강의 녹화 강의로 이루어 지고 있다. Khan's Academy가 대표적인 사례이다. 이 방식은 강사의 표정 교육의 모티베이션을 주는 부분 보다 어떻게 문제를 이해해야 하나에 주로 집중된 과외식 학습이 가능한 방법으로 간단하고 편안한 방식으로 많이 사용되는 부분이다.The first method is to record lecture data only, screen or PPT screen and record voice. More than 80% of the Internet lectures are invisible in this way. It consists of a simple material screen and a greening lecture of a pen. Khan's Academy is a prime example. This is a simple and comfortable way to learn extracurricular meals focused on how to understand the problem rather than the motivation of the instructor's facial training.
두 번째 방식으로 첫 번째 화면에 강사의 USB 카메라 등의 강사가 코너에 보이는 방식의 이러닝 방식으로 Webinar등에 많이 사용되는 WebEx, Connect Pro 등의 방식이 이에 해당한다. 이 방식은 첫째의 부분을 보안하고 있지만 자료 화면이 작은 부분과 강사가 같은 위치에 계속 존재 하면서 결국 강사를 보지않게 되어 강사의 현존 느낌이 굳이 필요한가에 대한 느낌을 주는 부분이다. Secondly, the e-learning method in which the instructor such as the USB camera of the instructor is shown in the corner on the first screen, which is a method such as WebEx and Connect Pro, which are frequently used in webinars. This method secures the first part, but the small part of the material screen and the instructor continue to exist in the same position, and eventually they do not see the instructor.
세 번째 방법은 이러한 셀프(Self) 촬영 기법 보다 방송 기술자를 필요로 하는 방식으로 소위 스위처 믹서에 기반한 복수 카메라 스위칭 방식으로 강의 자료와 강사를 번갈아 보여 주면서 때론 강사, 때로는 강의 칠판, 때로는 합성 화면을 스위칭하는 방송 및 편집 방식을 사용하는 일반적인 방송기술로 전문가들과 전문 장비를 이용해 교실 수업을 찍는 방식이 사용되고 있다.The third method, which requires a broadcast technician rather than a self-shooting technique, is a multi-camera switching method based on a so-called switcher mixer that alternates lecture materials, sometimes lecture boards, sometimes composite screens. As a general broadcasting technology that uses broadcasting and editing methods, a classroom class is used by professionals and specialized equipment.
그러나, 이러한 강의 합성 장치 및 기존 스위처 믹서 방식의 강의 장치를 통한 강의 합성 장면 방식은 녹화 화면의 스위칭 및 장면 구성에 문제점 발생된다. 따라서, 교실에서는 선생님과 칠판 프로젝터 등 학생들이 집중된 곳을 산만하게 판단해 보아야 하는 문제가 발생된다.However, the lecture synthesis scene method through the lecture synthesizer and the existing switcher mixer lecture system has a problem in the switching of the recording screen and the scene configuration. Therefore, in the classroom, problems such as teachers and blackboard projectors need to be distracted to determine where the students are concentrated.
이는 교실에서 수업을 찍지 않고 스튜디오 세트를 만들어 찍는 강의 스튜디오 촬영 편집 방식으로 이용되는 일반적인 교육 방송 및 인터넷 강의 회사들의 강의 수업촬영 방식을 의미한다. 이러한 스튜디오는 실제 세트를 사용하거나 가상스튜디오 방식 또는 그린 스크린에서 촬영 후 편집을 통해 제작을 하는 방법이 폭넓게 사용이 되고 있다.This means that general education broadcasting and internet lecture companies take lecture class shooting methods, which are used as a lecture studio shooting editing method of making a studio set without taking classes in the classroom. These studios are widely used for production using actual sets, virtual studio methods, or editing after shooting in green screen.
최근에는 트랙리스 가상스튜디오 기술이 만들어 지면서 강의 녹화에 1개의 강사 카메라만으로도 다양한 카메라 효과를 만들어 내게 되는 방식으로 전세계 다수의 가상 스튜디오 회사 들이 이 기술을 이용한 강의 제작 방식을 사용하고 있다.In recent years, with the creation of Trackless Virtual Studio technology, many virtual studio companies around the world are using lecture production methods using this technology to create various camera effects with just one instructor camera.
또, 최근 방송 스위칭 기술을 교실 내에서 촬영을 자동으로 하기 위해 촬영 인력을 최소화 하도록 하기 위한 노력으로 강의실의 강사 트랙킹 카메라가 저렴하게 공급이 되면서 교실 수업 녹화가 많은 교실서 요구 되어 지게 되고 이를 위한 스위칭 믹서와 강사 트랙킹을 합성한 방식의 자동 수업 녹화 기술 - 강사와 강의 자료를 PIP 또는 믹서 방식으로 강의를 녹화하는 방식이 최근 많은 교실에 적용이 되어 가고 있다.In addition, in recent years, in order to minimize the number of shooting personnel in order to automatically shoot the broadcast switching technology in the classroom, the lecturer tracking camera in the classroom is inexpensively supplied, and the classroom recording is required in many classrooms. Automated class recording technology that combines mixer and instructor tracking-PIP or mixer method of recording lecturers and lecture materials has recently been applied to many classrooms.
그러나, 도 1의 전문 강사 트랙킹 및 합성 장치를 이용한 강의 녹화, 전송 방식으로 합성화면의 많은 부분을 사용하기 어려운 문제점과 강의자의 표정을 보이도록 하는 장면을 스위칭하는 장면의 스위칭을 위해 전문가가 판단 해야 하고, 대부분 한 장면으로 녹화를 하게 되고 현장 카메라가 강의실의 조명 문제 등으로 합성 장면이 아름답지 못하게 된다.However, it is difficult for an expert to judge the problem of switching a scene to display a lecturer's expression and a problem that a large portion of the synthesis screen is difficult to use as a recording and transmission method of a lecture using the professional instructor tracking and synthesizing apparatus of FIG. 1. Most of the time, the recording is done in one scene, and the scene camera is not beautiful because of lighting problems in the classroom.
이러한 강의를 인터넷을 통해 수업을 하고 강의를 듣는 원격수업 또는 강의는 최근 인터넷과 스마트폰이 전세계에 갑작스럽게 등장하면서 더욱 교실의 강의녹화, 실시간 원격 수업, 공동 교실, 원격 과외 및 지도 등이 실시간으로 이동되고 있고 이러한 실시간 원격 수업, 실시간 원격 강의 및 프리젠테이션 회의 등이 요구 되어 지게 되면서 위 방법들을 원격 비디오 전송기술과 접목한 다양한 방식의 화상회의에 스크린을 보내게 할 수 있게 하는 방식으로 대부분의 인터넷 화상회의 시스템인 Skype, Hangout, 등에서 컴퓨터화면과 강사를 번갈아 보내게 하는 방식이 사용되어 왔고, 도 1에서 화면을 이용한 WebEx등의 방식을 소위 Webinar방식으로 사용되어 지고, 이들을 더욱 전문적으로 하는 전용 프리젠테이션을 위한 소위 "TELE-Presence" 즉 원격 강사가 있는 TV 스크린과 프로젝터 발표자료를 2개의 다른 화면을 두고 강의를 하는 방식이 일반적 화상원격 강의/발표 시스템으로 일반적 기술로 사용되어져 오고 있다. The remote lessons or lectures that take these lectures through the Internet and take lectures have recently emerged suddenly on the Internet and smartphones all over the world. With the move and real-time tele-classes, real-time tele-lectures and presentation meetings being required, most of the Internet can be used to send screens to video conferencing in a variety of ways combined with remote video transmission technology. In the video conferencing system Skype, Hangout, etc., a method of alternately sending computer screens and instructors has been used. In FIG. 1, WebEx, which uses screens, is used as a so-called Webinar method, and a dedicated presentation that makes them more professional. TV with so-called "TELE-Presence" for presentation A screen and a projector presentation with two different screens in the way of teaching in general remote video lecture / presentation system has been used in general coming technologies.
그러나 이들의 모든 방식으로 원격지 수업을 듣는 방식들이 모두 실제 강의실 수업을 듣는 것보다 많은 차이가 있어서 실제 수업은 교실에 가서 들어야 하고 강의를 하는 강사도 항시 교실에서 수업을 해야 하는 것으로 인식되고 있다. However, all of the methods of taking a remote class are different from those of the actual classroom, so it is recognized that the actual class must go to the classroom and the instructor must always be in the classroom.
이러한 방송 장치들의 전문 방송장비를 사용해야 하고, 비록 이런 장비를 사용해도 스튜디오에서 특수하게 디자인된 강의장에서 전문가들이 동원되어야 하는 방식이어서 일반 강의실에서 사용이 가능하지 않게 된다.Professional broadcast equipment of these broadcasting devices should be used, and even though such equipment is used, it is not possible to use them in general classrooms because it is a way that professionals should be mobilized in a specially designed lecture hall in a studio.
따라서, 상기 전술한 종래의 강의 시스템이 가지고 있는 문제점들을 보완하여 보다 편리하고 기존의 AR 방식의 크로마키를 쓰지 않고도 유사한 VR 환경을 구현할 수 있는 방식의 가상 스튜디오의 구현이 개발이 요구되고 있는 실정이다.Accordingly, there is a need for development of a virtual studio that is more convenient and implements a similar VR environment without using a conventional AR key chroma by supplementing the problems of the conventional lecture system described above. .
본 발명은 상기와 같은 종래기술의 문제점과 과거로부터 요청되어온 기술적 과제를 해결하는 것을 목적으로 한다.The present invention aims to solve the problems of the prior art as described above and the technical problems that have been requested from the past.
본 출원의 발명자들은 심도 있는 연구와 다양한 실험을 거듭한 끝에, 이후 설명하는 바와 같이, 본 발명에 따른 스마트 강의 장치 및 원격 강의 방법 및 장치는 특수 효과 및 2D/3D 복수 레이어를 조합하여 유사한 효과를 발생하는 방법 등을 이용하여 더욱 구체적이고 편리한 방식의 가상 교실 제작 방법 및 AR 방식의 크로마키를 쓰지 않고도 유사 VR환경을 만드는 방법으로 이러한 기술들을 활용할 수 있게 하고 무엇보다 이들의 방법들의 다양한 장면 전환을 강사를 중점적으로 가상 또는 증강현실 교실속에 보여 지게 하는 장면 들 이나 발표자료를 중심으로 보여 주는 장면들을 강사의 음성, 제스쳐, 위치, 포인터의 환경을 인지하여 자동으로 학생들이 보아야 할 장면으로 자동으로 변환이 되도록 하는 인공지능 방식으로 장면을 선택하여 보여 지게 하는 방식으로 학생들이 합성 화면만 집중해 보면 되도록 하는 방식의 강의 장치 및 이를 녹화 또는 전송을 하는 원격 강의 장치가 되도록 한다. 이렇게 별도의 장비 작동자 없이도 본 발명의 장치가 마치 방송 장면을 선택하도록 하는 방송 PD 기능처럼 장치에서 알아서 장면 전환이 되게 하는 스마트 PD 기능을 발명하여 그동안의 장비 운영자가 있어야 했던 방송 장비의 문제를 해결하는 자동 강의 장치가 되도록 한다. 즉 강사는 강의만 집중하고 학생들이 보아야 하는 자동의 장면 전환으로 강사가 강조되는 장면과 가상 전자 칠판의 기능을 동시에 수행하는 가상 교실 속의 가상 모니터 또는 가상 전자칠판들이 강조되는 VR교실 장면을 자동 생성되게 하는 기술이 통합되어 있는 자동 장면 전환 기술을 이용한 실시간 VR/AR 강의 장치, 이 장치의 출력 화면을 녹화하는 실시간 강의 녹화 장치, 또 이화면을 원격지에 보내어 강의를 하는 스마트-원격 강의 방법 및 장치를 제공하는 것이다.After the inventors of the present application have conducted extensive research and various experiments, the smart lecture apparatus and the remote lecture method and apparatus according to the present invention have similar effects by combining special effects and multiple layers of 2D / 3D as described below. You can use these techniques to create a virtual classroom in a more specific and convenient way using the method that occurs, and to create a similar VR environment without using AR key chroma key, and above all, various scene transitions of these methods. Scenes showing the lecturer in a virtual or augmented reality classroom or scenes centered on presentation materials are automatically converted into scenes that students should see by recognizing the speaker's voice, gesture, location, and pointer environment. To select a scene in an AI way Manner so that students have a remote device to a lecture or a lesson recording device and sends it to look the way that focused only synthetic screen. Thus, the device of the present invention solves the problem of broadcasting equipment, which requires the operator of the equipment by inventing a smart PD function that allows the device to change scenes like a broadcasting PD function for selecting a broadcast scene without a separate equipment operator. To be an automatic lecturer. In other words, the instructor focuses on the lecture and the automatic scene transition that students should see automatically creates the VR classroom scene where the instructor highlights and the virtual monitor or virtual copyboard in the virtual classroom that simultaneously performs the function of the virtual copyboard. Real-time VR / AR lecture device using automatic scene change technology that integrates the technology to make a video, real-time lecture recording device to record the output screen of the device, and smart-remote lecture method and device that sends the screen to a remote place for lecture To provide.
또한, 본 발명에 따른 VR/AR 기술의 가상 교실속에 강사와 강의 자료를 보여 주게 하는 강의 방식, 이를 녹화 하는 강의 녹화 장치, 이들 장면을 원격지에 보이며 강의를 하는 실시간 원격 VR/AR 강의 방법 및 장치는 기존의 교실에서 사용되는 칠판, 교탁, 전자 칠판, 전자 교탁 등을 사용하는 교실 수업을 더욱 효율적으로 하도록 하는 새로운 강의 방법 및 교실의 수업 방식을 근본적으로 바꾸는 새로운 강의 장치로써, 교실은 물론 원격지 수업도 실제 선생님이 강의 하는 교실의 본장치의 VR/AR 가상 교실 강의 장면을 보여주는 강의 방식으로 과거 방식의 스크린에 PPT화면을 보여 주는 방식이 아닌 화면에 VR/AR 가상 교실의 실시간 재 합성 화면을 보여 주는 강의 방식으로 더 몰입감이 높은 화면, 선생님과 전체 학생들이 동시 눈마춤이 되게 하는 강의로 강의 집중도가 높아 지게 되어 지는 화면을 원격지에 같은 강의를 시청하게 되고 같은 방식으로 전세계 스마트 장치로 청취할 수 있는 강의 방송이 되도록 하여 그 동안의 한계인 교실에 가야만 수업을 바르게 들을 수 있다는 한계 및 그 동안 모두가 알고 있는 원격지 동영상 강의를 듣는 것이 교실에서 강사의 강의를 듣는 것보다 나을 수 없다는 근본적인 문제를 해결하는 새로운 강의 방법 및 장치를 제공하는 것이다.In addition, the lecture method for showing the lecturer and the lecture material in the virtual classroom of the VR / AR technology according to the present invention, the lecture recording device for recording it, the real-time remote VR / AR lecture method and apparatus for showing these scenes to the remote place Is a new teaching method and a new teaching device that radically changes the teaching method of the classroom, which makes classroom teaching more efficient using the blackboards, tables, electronic blackboards, and electronic teaching tables used in the existing classrooms. In addition, the real-time recombination screen of the VR / AR virtual classroom is shown on the screen instead of the PPT screen on the screen of the past method as a lecture showing the VR / AR virtual classroom lecture scene of the main unit of the classroom where the real teacher lectures. Lectures are given in a more immersive way, giving the teacher and the whole class eye contact. In the same way, you will be able to watch the same lecture on the remote place and be able to listen to smart devices around the world in the same way. To provide a new method and device for solving the fundamental problem that listening to remote video lessons that everyone knows is no better than listening to an instructor in the classroom.
이러한 목적을 달성하기 위한 본 발명에 따른 자동 장면 전환 기술을 이용한 스마트 원격 강의 방법은,Smart remote lecture method using the automatic scene change technology according to the present invention for achieving this object,
(a) 강의 영상 합성을 위해 그래픽으로 VR 및 AR 방식으로 가상의 교실에 강사 및 강의 자료를 합성할 수 있도록 하는 2D 및 3D 그래픽의 가상 강의실을 구성하여 가상의 책상, 바닥, 칠판, 천장, 교실 장식품 중 적어도 하나를 출력할 수 있게 하는 가상교실 제작 및 선정단계;(a) Virtual desks, floors, blackboards, ceilings, and classrooms are created by constructing virtual classrooms of 2D and 3D graphics that enable the synthesis of lecturers and lecture materials in virtual classrooms by means of graphics and VR for AR. A virtual classroom making and selecting step of outputting at least one of the ornaments;
(b) 상기 가상 강의실에 선택적으로 위치, 회전 및 FoV(Field of View) 중 적어도 하나가 자유로이 정의되는 복수의 가상 카메라를 배치하여 복수의 가상 강의실 장면의 출력 화면들이 만들어지게 하는 복수의 가상 카메라들의 배치 기능을 제공하는 단계; (b) a plurality of virtual cameras for selectively outputting a plurality of virtual classroom scenes by arranging a plurality of virtual cameras in which at least one of position, rotation, and field of view (FOV) is freely defined in the virtual classroom; Providing a deployment function;
(c) 상기 가상 카메라에 보여지는 상기 가상 강의실 장면에 실제 강사를 촬영한 영상에서 크로마키-Depth 방식으로 강사만을 추출을 하거나 AR 합성을 위한 강사 카메라의 크롭, 에지 프레임-투명도 처리 방식의 가장자리 처리를 통한 합성, 또는 강사의 얼굴인식등을 통해 강사 캐릭터를 실제 처럼 실시간으로 만들어 이들 강사 영상을 필요한 위치에 배치하여 해당 가상 카메라의 출력 화면에 필요한 크기 위치에 강사가 보여지게 하도록 강사영상을 배치할 수 있는 기능이 제공되어 상기 해당 가상 카메라를 통해 촬영되는 출력 화면이 시청자에게 보여 줄 장면에 강사가 필요한 크기로 필요한 위치에 보여지게 되도록 하는 단계;(c) Cropping, edge frame-transparency processing method of the instructor camera to extract only the instructor by chroma key-depth method in the image of the real lecturer in the virtual classroom scene shown in the virtual camera or AR synthesis Create instructor characters in real time through composition, or face recognition of the instructor, and place the instructor images so that the instructor images are displayed in the required position on the output screen of the corresponding virtual camera. Providing a function capable of displaying the output screen photographed through the corresponding virtual camera so that the instructor is shown in the required position in the required size in a scene to be shown to the viewer;
(d) 강사의 영상, 책상, 칠판 중 적어도 하나가 상기 가상 강의실 장면에 독립적으로 함께 보여 주어야 할 복수의 발표자료 영상/이미지들을 상기 가상 강의실에 복수의 가상 전자 칠판들이 각각 크기 위치를 자유로이 배치되도록 하여 상기 가상 카메라의 강사 영상과 가상 칠판들이 필요한 장면으로 해당 가상 카메라에서 보여지게 만들어 지도록 자유롭게 상기 가상 전자 칠판을 배치할 수 있게 하는 기능이 제공되는 단계;(d) A plurality of presentation images / images in which at least one of an instructor's image, a desk, and a blackboard are to be independently displayed in the virtual classroom scene, so that the plurality of virtual copyboards can be freely positioned in the virtual classroom. Providing a function of freely arranging the virtual copyboard so that the instructor image of the virtual camera and the virtual chalkboards are displayed on the virtual camera as necessary scenes;
(e) 상기 복수의 가상 카메라의 설정된 장면들이 강의를 하면서 필요한 장면으로 선택되어 보여지는 출력 장면 전환 시 각 가상 카메라 위치로 카메라 트랙이 이동이 되는 시간 및 경로 중 적어도 하나 이상의 이동을 설정할 수 있게 하는 기능이 제공되는 과정으로, 상기 각 가상 카메라에 설정된 강사영상 배치 및 가상 전자 칠판들의 위치 크기가 카메라 이동과 동기 되어 각각의 트랙이 자동으로 생성이 되게 하여 이들 가상 카메라 변화 트랙 이동과 함께 각각의 강사영상 및 가상 전자 칠판이 함께 자연스러운 애니메이션으로 장면 전환이 되도록 하는 자동 또는 수동 트랙 발생 기능이 제공되는 단계;(e) setting the movement of at least one or more of a time and a path at which a camera track is moved to each virtual camera position when an output scene is changed and displayed as a necessary scene while the set scenes of the plurality of virtual cameras are lectured; In the process of providing the function, the instructor image arrangement and the position size of the virtual blackboards set in each virtual camera are synchronized with the camera movement so that each track is automatically generated so that each instructor with these virtual camera change track movements. Providing an automatic or manual track generation function such that the image and the virtual copyboard are transitioned together by natural animation;
(f) 이들의 복수의 카메라들을 일반 방송 스위처의 버튼 처럼 가상 스위처 버튼으로 정의하여 바둑판식의 버튼 GUI로 배치하고 이들 버튼의 ICON을 해당 장면을 보여 주게 하는 Preview 버튼으로 정의하여 주게 하는 스위처 버튼 설정 과정을 통해 선택저으로 강사가 마우스 버튼만으로 GUI 스위칭 화면을 보지 않고도 장면 전환을 마우스 또는 포인터의 버튼 만으로 직관적 장면을 스위칭할 수 있도록 배치 하는 단계;(f) Switcher button setting that defines a plurality of cameras as virtual switcher buttons like buttons of general broadcast switcher and arranges them as tile button GUI, and defines ICON of these buttons as preview button to show the scene. Arranging such that the instructor can intuitively switch scenes using only a mouse or pointer button without looking at the GUI switching screen with only a mouse button through the process;
(g) 상기 버튼 GUI 스위처 설정과 함께 각 가상 전자 칠판에 보여질 컨텐트 또는 외부 입력 카메라들을 설정하고 해당 가상 전자 칠판의 컨텐트를 용이하게 스위칭하여 보여 지게 하는 가상 전자 칠판 컨텐트 들의 스위칭 GUI 버튼 설정 단계; 및(g) setting GUI button switching of virtual copyboard contents to set content or external input cameras to be displayed on each virtual copyboard together with the button GUI switcher setting and to easily switch and display the contents of the corresponding copyboard; And
(h) 상기 복수의 가상 카메라의 배치된 GUI의 선택 스위칭 버튼을 강의 상황에 따라 누르는 방송 PD의 기능을 원격 또는 자동으로 스위칭이 되는 인공지능 PD 기능으로써, 강사의 제스쳐, 포인터, 소리, 언어, 음성 중 적어도 하나 이상의 인식 방식, 강사모션의 시각이 바라보는(Gazing) 방향 인식과 학생들의 질문 소리 및 방향인식을 인식하여 장면을 판단하는 인공지능 PD 기능에 의해 자동으로 다양한 장면 전환 및 가상 전자 칠판 컨텐츠 변환을 자동으로 수행하여 강의 장면을 실시간으로 출력할 수 있게 하는 기능을 제공하는 단계;를 포함할 수 있다.(h) An artificial intelligence PD function that remotely or automatically switches the function of the broadcasting PD that presses the selection switching buttons of the GUIs arranged in the plurality of virtual cameras according to the lecture situation, so that the instructor gestures, pointers, sounds, language, Various scene changes and virtual copyboards automatically by the automatic PD function that recognizes the scene by recognizing at least one or more of the voice, the direction of the gazing of the instructor's motion, and the students' voice and direction. It may include a step of automatically performing the content conversion to provide a function to output the lecture scene in real time.
또한, 본 발명은,In addition, the present invention,
(a) 교실에서 학생들이 보는 강사, PPT등과 같은 강의 자료를 카메라 등 입력 장치로 받아 들여 이들을 가상의 그래픽 교실 속에서 합성되어 보여 지도록 하는 영상 합성을 위해 2D, 또는 3D 그래픽의 가상의 교실에 합성화면으로 하는 VR 또는 AR 방식의 가상의 교실에 강사 및 강의 자료를 합성할 수 있도록 하는 2D 및 3D 그래픽의 가상 강의실을 구성하여 가상의 책상, 바닥, 칠판, 천장 이나 배경들을 아름답게 만들수 있게 하는 가상 또는 증강 교실 제작 및 선정단계;(a) Synthesis of 2D or 3D graphics into a virtual classroom for video compositing where lecture materials such as lecturers, PPTs, etc. viewed by students in the classroom are received by input devices such as cameras and displayed in a virtual graphics classroom. Virtual or beautiful virtual desks, floors, blackboards, ceilings, or backgrounds created by creating virtual classrooms with 2D and 3D graphics that allow instructors and lecture materials to be synthesized in virtual classrooms using screen or VR. Augmentation classroom production and selection;
(b) 상기 가상 강의실에 다양한 장면을 촬영하는 가상 카메라들이 자유롭게 위치, 회전 및 FoV(Field of View)를 정의되는 복수의 가상 카메라를 배치하여 복수의 가상 강의실 장면의 출력 화면들이 만들어지게 하는 가상 카메라들의 배치 및 설정을 하는 단계; (b) a virtual camera in which virtual cameras for photographing various scenes are arranged in the virtual classroom so that output screens of a plurality of virtual classroom scenes are created by arranging a plurality of virtual cameras freely defining a position, rotation, and a field of view (FoV). Placing and setting the field;
(c) 상기 복수의 각 가상 카메라에 보여지는 상기 가상 강의실 장면에 학생들이 교실서 강사와 강의 자료를 보듯 각 가상 카메라가 장면별로 보아야할 강사 및 강의 자료들을 가상 카메라에서 필요한 크기 및 위치에 보여 지도록 가상 강의실내 실제 강사의 카메라 장면과, 발표자료 장면을 각 가상 카메라 마다 배치하여 해당 가상 카메라의 출력 화면에 필요한 크기 위치에 강사가 보여지게 하도록 강사영상을 배치할 수 있는 기능이 제공되어 상기 해당 가상 카메라를 통해 촬영되는 출력 화면을 실제 교실 또는 원격지의 시청자/학생들이 본 발명의 장치의 실시간 합성 장면만 보며 강의를 듣게 하면 필요한 장면이 다양하게 보여지도록 하는 각 복수 카메라별 장면 설정 단계;(c) In the virtual classroom scene shown in each of the plurality of virtual cameras, the lecturers and lecture materials that each virtual camera should see for each scene are shown in the size and position required by the virtual camera as the students view the classroom lecturer and the lecture materials. The virtual lecturer's camera scene and the presentation material scene are arranged for each virtual camera so that the instructor image can be arranged so that the instructor can be shown at the required size on the output screen of the virtual camera. A scene setting step of each of the plurality of cameras, which allows the viewers / students of the actual classroom or the remote place to view the real-time synthesis scene of the device of the present invention and listen to the lecture, so that the necessary scenes are variously displayed;
(d) 각 가상교실의 강의 자료들 즉 PPT, 동영상, 그림, 카메라 영상, 실물 화상기 카메라등을 가상 교실내에 배치하는 가상 전자 칠판의 화면으로 배치하고, 가상의 포인터를 제공하여 강의시 포인터를 마우스 또는 실제 포인터를 움직이면 이 포인터가 실제 강의 장면에 보여 지게 하면서 동시에 필요시 그리기, 지우기를 할수 있도록 하는 가상 펜을 제공하는 가상 전자 칠판과 이들 복수의 가상 전자 칠판들이 복수의 가상 카메라별로 독립 되게 외부 입력 강의 자료들을 자유롭게 배치 변경 설정하도록 하는 각 가상 전자 칠판별 강의 자료 설정 단계 (d) The lecture materials of each virtual classroom, namely PPT, video, picture, camera image, real imager camera, etc. are placed on the screen of the virtual copyboard which is placed in the virtual classroom, and the virtual pointer is provided to provide a virtual pointer. Or a virtual copyboard that provides a virtual pen that allows the pointer to be shown in the actual lecture scene while drawing and erasing when the actual pointer is moved and the plurality of virtual copyboards are independently inputted by a plurality of virtual cameras. Steps to set up lecture materials for each virtual copyboard to freely change and set up lecture materials
(e) 상기 복수의 가상 카메라의 설정된 장면들이 강의를 하면서 필요한 장면으로 선택되어 보여지는 출력 장면 전환 시 각 가상 카메라 위치로 가상 카메라 트랙이 이동이 마치 실제 트랙킹 카메라 처럼 (또는 크레인의 카메라 이동 처럼) 가상 공간에서 이동이 자연스럽게 되는 시간 및 경로 이동을 설정할 수 있게 하는 기능이 제공되는 과정으로, 상기 각 가상 카메라에 설정된 강사영상 배치 및 가상 전자 칠판들의 위치 크기가 카메라 이동과 동기 되어 각각의 트랙이 자동 또는 미리 설정된 트랙으로 생성이 되게 하여 이들 가상 카메라 변화 트랙 이동과 함께 각각의 강사영상 및 가상 전자 칠판이 함께 자연스러운 애니메이션으로 장면 전환이 되도록 하여 본 장치의 출력 화면을 보면 자동적으로 보아야 할 장면으로 브드러운 화면의 전환으로 학생들이 자연스럽게 보아야 할 장면을 노치지 않고 집중을 하며 볼수 있도록 하는 자동 또는 수동 트랙 발생 기능이 제공되는 단계; 및 (e) The virtual camera track moves to each virtual camera position as the actual tracking camera (or like the camera movement of the crane) when the output scene is changed to the required scene while the set scenes of the plurality of virtual cameras are selected as the necessary scenes during the lecture. In this process, it is possible to set the time and path movement that the movement becomes natural in the virtual space. The track size of the instructor image set in each virtual camera and the position size of the virtual copyboards are synchronized with the camera movement to automatically track each track. Or create a preset track so that each virtual camera change track movement and each instructor image and virtual copyboard are transitioned to a natural animation together. Student with transition of screen Steps are provided automatically or manually track generation feature that allows the furnace to concentrate without hitting the scene to look natural and see; And
(f) 상기 복수의 가상 카메라의 장면들을 강의중 상황에 따라 필요한 카메라의 장면을 보여 주도록 해당 가상 카메라를 선택 하는 판단, 즉 일반 방송 스위처에 연결된 카메라 신호를 선택하는 스위처 처럼 가상 교실에 배치된 가상 카메라 장면을 선택해 주는 판단을 사람, 즉 방송 PD 가 하는 것 처럼 본 발명의 장치에서 인공 지능기능으로 PD 역활을 하는 기능으로써, 강사의 제스쳐, 포인터, 소리, 언어, 음성 중 적어도 하나 이상의 인식 방식, 강사가 바라보는 시각이 바라보는(Gazing) 방향 인식과 학생들의 질문 소리 및 방향인식을 인식하여 장면을 판단하는 인공지능 PD 기능에 의해 자동으로 다양한 장면 전환 및 가상 전자 칠판 컨텐츠 변환을 자동으로 수행하여 강의 장면을 실시간으로 출력할 수 있게 하는 기능을 제공하는 단계;를 포함할 수 있다.(f) a decision to select a corresponding virtual camera to show the necessary camera scene according to the situation of the plurality of virtual cameras, that is, a virtual disposed in the virtual classroom like a switcher that selects a camera signal connected to a general broadcast switcher; As a function of artificial intelligence function in the device of the present invention as a person, that is, a broadcast PD, the judgment of selecting a camera scene is a function of PD, and at least one or more recognition methods of a gesture, a pointer, a sound, a language, and a voice of an instructor It automatically performs various scene changes and virtual copyboard contents conversion by AI PD function that recognizes the scene by gazing direction instructor's view and students' sound and direction recognition. Providing a function to output the lecture scene in real time; may include.
본 발명의 하나의 바람직한 예에서, 상기 단계 (d)에서, 상기 가상 전자 칠판에 출력되는 내용이 상기 복수의 카메라, 노트북, 동영상 리스트 및 그림 리스트 중 적어도 하나인 경우에 마우스 또는 포인터가 출력 화면상의 가상 전자 칠판을 지시하면 해당 전자 칠판의 내용 리스트에 올려놓은 외부 카메라, 영상들, 이미지들을 순서대로 스위칭할 수 있도록 해당 리스트를 미리 정의하고 상기 마우스 또는 포인터를 통해 다음 내용을 선택하여 스위처 메뉴를 보지 않고도 재생 리스트 제어가 각 해당 가상 전자 칠판 별로 수행할 수 있는 기능을 제공하고 이들 컨텐트의 변경 또는 PPT등 슬라이드를 변경할수 있는 단계;를 더 포함하는 것을 특징으로 하는 자동 가상 전자 칠판 선정에 의한 해당 가상 전자 칠판 컨텐트 장면을 마우스/포인터 컨트롤로 원터치 전환 기술을 이용하고, 이때 컨텐트 전환시 그려놓은 포인터의 그림들이 자동으로 지워지면서 해당 장면으로 장면 전환이 이루어 지도록 하는 기능을 포함할 수 있다.In one preferred embodiment of the present invention, in the step (d), the mouse or the pointer is displayed on the output screen when the content output to the virtual copyboard is at least one of the plurality of cameras, notebooks, video lists and picture lists. When the virtual copyboard is instructed, the list is predefined so that external cameras, images, and images placed on the copyboard's contents list can be switched in order, and the following contents are selected through the mouse or the pointer to view the switcher menu. It provides a function that the playlist control can be performed for each corresponding virtual copyboard without having to change the contents or slides such as PPT; and the virtual virtual blackboard selection, characterized in that it further comprises One-touch access to copyboard content scenes with mouse / pointer controls In this case, the switching technology may include a function of automatically switching the scene to the corresponding scene while the pictures of the pointer drawn during the content switching are automatically deleted.
여기서, 본 발명의 하나의 바람직한 예에서, 자동의 장면 전환 즉 스마트 PD 기능에서 자동으로 전환이 됨에 있어 포인터의 움직임이 없이 정지된 경우 이를 감지하여 강사의 크기가 커지게 하는 기능, PPT 슬라이드가 변경될때 해당 가상 전자 칠판이 저절로 강조되어 커지게 보이는 장면의 전화으로 되게 하는 기능, 마우스 또는 포인터가 해당 발표자료를 지속적으로 움직이는 경우 해당 가상 전자 칠판이 다소 커지거나 하는방식으로 지루한 화면에 일정 시간이 지나면 유사 장면으로 변경이 되게 하는 기능 등이 제공되는 타이머 기능을 제공하고 이를 설정하는 단계를 더 포함할 수 있다.Here, in one preferred embodiment of the present invention, in the automatic scene change, that is, the automatic PD in the function of switching to automatically detect the stop if there is no movement of the pointer to increase the size of the instructor, PPT slide is changed When the virtual copyboard is spontaneously highlighted and becomes a phone in a scene that appears to be large, if the mouse or the pointer is constantly moving the presentation, the virtual copyboard grows somewhat or in a way that is time consuming on a boring screen. The method may further include providing and setting a timer function provided with a function for changing to a similar scene.
또, 본 발명의 하나의 바람직한 예에서, 전술한 자동 및 포인터 위치에 따른 또는 제스쳐 인식등이 제공되는 것 외에 각 가상 카메라들의 장면들의 전환을 강제적으로 발표자가 강의를 하면서 쉽게 장면을 원하는 경우 스스로 원 터치로 설정하도록 하기 위해서, 각 장면별로 컨트폴 팬널을 통해 제어 되게 하는 것은 당연하고, 컨트롤 팬널과 같은 장치를 써서 하는 것은 전문가가 있어야 하는방송 장치여서 이를 사용하지 않고, 간단한 마우스 또는 포인터를 통해 장면을 변경이 강사에의해 손쉽게 하기 위한 표준 템플릿을 제공하여 누구나 이 템플릿을 보면 지관적으로 장면 전환을 마우스 버튼 만으로 좌측 중심 우측의 버튼들과 마우스 휠을 통해 4x3의 버튼 12를 마우스의 좌, 중심, 우측 버튼을 누르면 해당 열의 버트( 가상 카메라 )을, Wheel을 돌리면 위아래로 변경이 되게 하여 특별히 메뉴를 보지 않고도 마우스 클릭만으로 수동 조정이 되게 하는 기능을 통해 일반 적으로 사용할수 있는 3개의 가상 전자 칠판을 가상 카메라 스위쳐 즉 본 발명의 GUI에 제공되는 그래픽 컨트롤 팬널에 3개의 가상 전자 칠판 별로 각 3개 또는 4개의 장면 배치를 할수 있게 하여 다양한 크기의 가상 전자 칠판을 보여 주게 하고 이를 자동 또는 수동으로 장면을 변경하며 강의를 하게 하고 필요한 가상 전자 칠판들을 변경하며 다른 발표 자료를 보여주며 강의를 하도록 하는 기능을 손쉽게 스위칭 할수 있도록 스위처 장면 즉 가상 카메라들을 그래픽 GUI의 스위처 버튼으로 자유로이 배치 할수 있게 하는 기능을 제공할 수 있다.In addition, in one preferred embodiment of the present invention, in addition to the above-described automatic and pointer position or gesture recognition, the presenter can easily change the scene of each virtual camera while the presenter wants the scene easily by forcing the presenter to lecture. In order to set it as a touch, it is natural to control each scene through a control panel, and using a device such as a control panel is a broadcasting device that requires an expert. The standard template is provided to make it easy for the instructor to change this. Anyone can see this template by intuitively changing the scenes with the mouse button. If you press the right button, you can click the butt (virtual camera) in that row, and turn the wheel. Three virtual copyboards that can be used in general through the function of changing up and down to be manually adjusted only by clicking the mouse without looking at the menu are added to the virtual camera switcher, that is, the graphic control panel provided in the GUI of the present invention. Allows three or four scene layouts for each virtual copyboard to show virtual copyboards of varying sizes, automatically or manually change scenes, give lectures, change required virtual copyboards, and other presentations. In order to easily switch the function to show a lecture and show the lecturer, it is possible to provide a function to freely arrange the switcher scene, that is, the virtual cameras, with the switcher button of the graphical GUI.
이때 각 가상 카메라의 장면을 캡쳐 하여 해당 가상 스위처 버튼에 아이콘으로 보여 지므로서 일반 스위처에 버튼과 달리 버튼 자체에 Preview 기능이 제공되어 특별히 Preview를 눌러 확인하고 출력을 시키는 일반 스위처의 프리뷰 누르기 없이 바로 출력 Program Out을 할수 있게 하는 기능을 제공하는 것을 통해 실시간 강의를 할 수 있게 된다.At this time, the scene of each virtual camera is captured and shown as an icon on the virtual switcher button. Unlike the buttons on the general switcher, the preview button is provided on the button itself, and the output is immediately output without pressing the preview of the general switcher to check and output. Real-time lectures can be provided by providing the function to program out.
또한, 본 발명의 하나의 바람직한 예에서, 상기 가상 컨트롤 팬널의 가상 카메라들의 배치, 즉 본 발명의 GUI배치를 자유롭게 해당 가상 카메라들을 정해 각 장면 설정단계에서 해당 스위처 GUI의 아이콘들에 배치 할수 있게 하는 기능이 제공되는 것은 당연하며 이때 해당 가상 카메라의 배치를 마치 가상 강의실에 카메라들이 좌우, 앞뒤로 배치 하듯 바둑 판식 1x4, 2x3, 3x4, 4x5등과 같이 배열이 가능하게 제공하고 이들이 횡방향으로 가상 전자 칠판 별로, 종 방향으로 카메라의 위치 즉 강사를 크게 또는 작게 보이되 강사가 크게 보이는 위치에서는 해당 가상 전자 칠판이 반대로 작게 또는 크게 배치하여 해당 가상 카메라에 강사가 크면 가상 전자 칠판이 적게 반대로 강사가 적게 되면 가상전자 칠판들이 크게 배치가 되는 화면구성이 되게 하는 장면들을 배치 시키게 하여 직관적으로 현재 장면에서 다음 장면으로 변경을 하는 스위쳐 작동시 마우스의 왼쪽 또는 오른편 마우스를 클릭으로 좌우 방향의 가상 카메라들을 선택 조정하고, 마우스 휠로 해당 가상 전자 칠판의 열에서 수직 방향으로 가상 카메라변경이 이루어 지게 하는 방식으로 복수의 전자 칠판과 해당 전자 칠판 부분의 강사와 칠판 크기 변경이 이루어 지는 카메라들이 변경되도록 하는 장면 전환을 마우스 클릭 또는 포인터에 부탁된 마우스 버튼 기능으로 자유로운 제어가 필요시 인공 지능 기능이 아니어도 선택할수 있는 기능을 제공하는 것이 중요하다.Further, in one preferred embodiment of the present invention, the arrangement of the virtual cameras of the virtual control panel, that is, the GUI arrangement of the present invention, can be freely determined and arranged on the icons of the switcher GUI in each scene setting step. It is natural that the function is provided. At this time, the virtual camera is arranged in the virtual classroom as if the cameras are placed left and right, and back and forth. The tiles can be arranged as tiles 1x4, 2x3, 3x4, 4x5, etc. In the vertical direction, the position of the camera, that is, the instructor is shown large or small, but the instructor is large. The scenes that make the boards largely arranged When the switcher operates to intuitively change from the current scene to the next scene, select and adjust the left and right virtual cameras by clicking the left or right mouse of the mouse, and use the mouse wheel to vertically move the virtual camera in the column of the corresponding copyboard. Changes can be made in a way that allows changes to be made in a plurality of copyboards, instructors of the copyboard part, and cameras that change the size of the copyboard. It is important to provide a selectable feature that is not intelligent.
또, 본 발명의 하나의 바람직한 예에서, 상기 장면 스위칭 컨트롤 버튼을 GUI에 배치 하는 기능외에 해당 가상 전자 칠판에 보여지는 내용을 변경하는 컨텐트 스위칭 기능이 제공되는 것이 중요하며 이를 위해 각 가상 전자 칠판 별로 강의에 사용할 다양한 외부 입력 즉 학생 카메라들, 실물화상기 입력 (Document 카메라), PPT 와 같은 화일들, 비디오, 사진 은 물론 다양한 프로그램 화면 캡쳐, 화상회의시 상대방의 비디오등을 선택하여 보여 지도록 하고 이들의 내용을 각 해당 가상 카메라 들 별로 선택하여 순서를 정해 배치 하는 컨텐트 스위쳐 아이콘들을 자유로이 선택 배치 하는 기능을 제공하고 이들의 컨넨트를 마우스의 클릭 버튼 즉 왼쪽 마우스를 누른 상태에서 휠을 돌리거나 오른쪽 마우스를 누르면 해당 가상 전자 칠판의 컨텐트 스위칭이 일어 나게 하는 방식등으로 해당 컨텐트를 스위칭 할수 있도록 하는 기능을 제공하는 컨텐트 스위칭 전환의 원터치 기능을 제공할 수 있다.In addition, in one preferred embodiment of the present invention, in addition to the function of arranging the scene switching control button in the GUI, it is important to provide a content switching function for changing the contents shown on the corresponding virtual copyboard. Various external inputs to be used in the lecture, such as student cameras, document camera inputs, files such as PPT, video and pictures, as well as various program screen captures, video of the other party can be selected and displayed. Provides the ability to freely select and place content switcher icons that select and order contents by each corresponding virtual camera and rotate their wheels by clicking the mouse's click button, left mouse button, or right mouse button. Press to wake up the content switching on that virtual copyboard It is possible to provide a one-touch function of content switching switching that provides a function for switching the corresponding content in a manner such as to remind.
본 발명의 하나의 바람직한 예에서, 상기 단계 (b)에서, 가상 강의실에서 가상 카메라에 보여 주는 강사와 가상 전자 칠판 외에 실시간 3D 렌더 기술을 이용하여 가상 물체애니메이션을 보여 줄 수 있도록 하는 3D 물체를 불러 들여 이를 자유로이 각 가상 카메라 장면에 크기 및 위치를 조정할수 있도록 배치하고 애니메이션 및 인터렉티브 제어가 되도록 하여 실제 교실서 실험이나 체험을 할 수 없는 무겁고 큰 물체나 매우 작은 DNS같은 물체의 실시간 3D가상 실험 및 체험학습을 조이스틱(Joystic) 또는 키보드로 제어 할 수 있도록 하는 단계;를 더 포함할 수 있다.In one preferred embodiment of the present invention, in step (b), in addition to the instructor and the virtual copyboard shown in the virtual camera in the virtual classroom, a 3D object is called to display the virtual object animation using real-time 3D render technology. It can be freely placed in each virtual camera scene to adjust its size and position, and its animation and interactive controls allow real-time 3D virtual experiments and experiences of heavy and large objects or very small DNS-like objects that cannot be experimented or experienced in actual classrooms. The method may further include controlling the learning using a joystick or a keyboard.
본 발명의 하나의 바람직한 예에서, 상기 단계 (a)에서, 상기 가상 전자 칠판의 크기, 불필요한 부분의 크롭핑 조정과 더불어 가상 스크린을 곡면의 커브스크린으로 왜곡을 조정하도록 하는 상기 가상 전자 칠판을 3D 로 제작하여 각 가상 전자 칠판의 구부림의 정도를 조정할 수 있게 하여 아름다운 몰입 가상 전자 칠판을 보여 지게 하는 기능을 제공하여 각 가상 카메라의 장면에 배치되도록 하는 기능과 이들 가상 전자 칠판의 프레임을 함께 크기 및 곡면이 될수 있도록 하고, 프레임 칼라 및 크기를 조절하게 하여 아름다운 가상 카메라 출력 화면이 만들어 질수 있게 하는 기능을 제공하는 단계;를 더 포함할 수 있다.In one preferred embodiment of the present invention, in step (a), the virtual copyboard 3D is adapted to adjust the distortion of the virtual screen to a curved curve screen as well as adjusting the size of the virtual copyboard and cropping of unnecessary portions. The ability to adjust the degree of curvature of each virtual copyboard to show beautiful immersive virtual copyboards so that they can be placed in the scene of each virtual camera and the size of the frames of these virtual copyboards together Providing a function of allowing a curved surface and adjusting a frame color and size so that a beautiful virtual camera output screen can be created.
또, 본 발명의 하나의 바람직한 예에서, 각 가상 전자 칠판이 출력 화면의 주요한 장면 구성을 하게 되어 이를 아름답게 가상 교실속에 보여 지게 하기 위한 가상의 프레임 즉 전자 칠판 외곽 프레임을 다양하게 외부 그래픽으로 제공하여 선택하여 사용할수 있게 하고, 이들 프레임의 두께, 색상, 투명도를 조절하여 해당 가상 교실에 어울리게 조절을 실시간으로 할수 있는 기능을 제공하는 기능을 포함할 수 있다.In addition, in one preferred embodiment of the present invention, each virtual copyboard constitutes a main scene of the output screen, and provides a virtual frame, that is, the outer frame of the copyboard as a variety of external graphics so that it can be beautifully displayed in the virtual classroom. It can be selected and used, and the ability to adjust the thickness, color, and transparency of these frames to provide the ability to adjust in real time to match the virtual classroom.
또, 본 발명의 하나의 바람직한 예에서, 이와 같은 프레임 기능과 외곽 크롭핑 (잘라내기) 기능은 가상 전자 칠판은 물론 강사의 영상에 대해 서도 제공되며 강사의 영상 프레임및 가상 전자 칠판의 크롭핑을 사각형 또는 타원형등 다양한 모양을 선택할수 있도록 하고, 이때 프레임이 선택이 아니어도 외곽 테두리 영역을 서서히 투명도 처리를 하여 배경과 가상 전자 칠판 또는 강사 영상이 스며들듯 합성이 되게 하는 처리기능을 통해 특별히 AR 가상 교실이나, 강사의 카메라 입력 화면과 가상 책상등과 합성시 자연스런 일체감을 만들어 주도록 할 수 있다.In addition, in one preferred embodiment of the present invention, such a frame function and the outer cropping (cutting) function are provided not only for the virtual blackboard, but also for the instructor's image, and the cropping of the instructor's image frame and the virtual blackboard is performed. Various shapes such as rectangle or ellipse can be selected, and the AR function is processed through the transparency function of the outer border area even if the frame is not selected so that the background and the virtual copyboard or the lecturer's image are infused. When combined with a virtual classroom or the instructor's camera input screen and virtual desk can be created to create a natural sense of unity.
본 발명의 하나의 바람직한 예에서, 상기 가상 전자 칠판은 마우스 또는 포인터에 의해 마킹이 가능한 전자 펜 기능을 포함하되, 상기 전자 펜의 두께, 색상 및 투명도 중 적어도 하나가 제어되며 상기 펜 기능으로 그려놓은 부분이 전자 칠판 컨텐트가 변경 되거나 파워포인트 장면이 전환시 자동으로 지워 지도록 하는 기능이 제공될 수 있다.In one preferred embodiment of the present invention, the virtual electronic blackboard includes an electronic pen function capable of marking by a mouse or a pointer, wherein at least one of thickness, color and transparency of the electronic pen is controlled and drawn by the pen function. A function may be provided that allows the part to be automatically erased when the copyboard content is changed or the PowerPoint scene is switched.
즉, 본 발명의 있어 강의의 집중도를 높이기 위해 일반 강의실에 사용되는 포인터처럼 상기 가상 전자 칠판은 마우스 또는 포인터에 의해 마킹이 가능한 가상 전자 펜 기능을 포함하되, 상기 전자 펜의 두께, 색상 및 투명도 중 적어도 하나가 제어될 수 있도록 하여 마우스 또는 자이로 포인터가 해당 가상 전자 칠판에서 가시화 되도록 하는 가상 그래픽 포인터로 크기 모양을 외부에서 그래픽으로 제공할수 있게 하고 이들 가상 포인터 그래픽의 크기, 칼라를 조정할수 있게 하는 기능을 제공하는 것은 가상 강의방식의 본발명에 중요한 기능이다.That is, the virtual electronic blackboard, like a pointer used in a general classroom to increase the concentration of lectures in the present invention, includes a virtual electronic pen function that can be marked by a mouse or a pointer, and among the thickness, color, and transparency of the electronic pen. A virtual graphics pointer that allows at least one to be controlled so that the mouse or gyro pointer can be visualized on the virtual copyboard, allowing the size of the virtual pointer graphic to be scaled and colored externally. Providing is an important function of the present invention of the virtual teaching method.
본 발명의 하나의 바람직한 예에서, 자이로 기능이 탑재된 상기 마우스 또는 포인터를 사용하여 교실 및 발표장에서 본 발명의 장치를 이용하여 PPT만을 가져와 발표하는 경우에 PPT의 장면의 전환시 PPT 슬라이드 노트의 내용이 추가의 스크린에 보여 지게 하여 강사의 교탁 스크린에 보여 지게 하거나 강사 카메라에 프람프터 또는 모니터에 보여 지게 하여 강사가 이를 보며 발표할 내용을 읽게 하여 강의나 발표를 할수 있게 하는 자동 프람프터 기능을 제공하고, 이러한 발표 내용의 슬라이드 노트가 자동으로 가상 카메라 출력 화면에 자막으로 제공되는 자막 기능을 제공하여 발표와 자막이 함께 출력되게 하는 기능을 포함할 수 있다.In one preferred embodiment of the present invention, the contents of the PPT slide notes when the scene of the PPT is switched when the PPT scene is imported and released using the device of the present invention in the classroom and the presentation room using the mouse or the pointer equipped with the gyro function. Provides an auto-lamper function that can be shown on this additional screen to be shown on the instructor's classroom screen or on the instructor's camera on a lamp or monitor, allowing the instructor to read and present what is being presented. In addition, the slide notes of the presentation contents may include a function of automatically providing a caption function that is provided as a caption on the virtual camera output screen so that the presentation and the caption are output together.
본 발명의 하나의 바람직한 예에서, 강사의 얼굴 인식, 방향 인식 및 표정인식 중 적어도 하나를 통해 강사 추적과 얼굴 회전 각도를 인식하는 카메라를 이용하여 가상 카메라의 스위칭에 사용하고, 해당 가상 카메라에 보여 지는 가상 전자 칠판에 해당 컨텐트, 즉 칠판 판서, 프로젝터 영상, 또는 질문 하는 학생를 자동으로 보여 지게 하는 기능을 포함하고,In one preferred embodiment of the present invention, using the camera to recognize the instructor tracking and the face rotation angle through at least one of the instructor's face recognition, direction recognition and facial expression recognition, it is used for switching of the virtual camera, and shown in the virtual camera The ability to automatically display the corresponding content, such as blackboard writing, projector images, or students asking questions, on the virtual copyboard.
상기 가상 카메라 장면 스위칭 및 카메라로부터 추출된 강사 안면 이미지 표정을 실시간으로 케릭터가 강사 카메라 영상 대신 사용이 되게 하여 크로마키 없이도 강사 이미지를 생성해 사용하는 기능을 포함할 수 있다.The virtual camera scene switching and the instructor facial image expression extracted from the camera may include a function of generating and using an instructor image without a chroma key by allowing the character to be used in place of the instructor camera image in real time.
본 발명의 하나의 바람직한 예에서, 상기 전자 칠판 및 프로젝터 스크린이 동시에 사용되는 경우 강사의 위치 추적 외에 강사의 회전 각도 추적이 되는 핸드폰의 모션 센서를 사용하여 무선 신호 전송을 통해 강사의 회전 각도에 따른 자동 장면이 전환될 수 있다.In one preferred embodiment of the present invention, when the copyboard and the projector screen are used at the same time according to the rotation angle of the instructor through the wireless signal transmission using the motion sensor of the mobile phone to track the rotation angle of the instructor in addition to tracking the position of the instructor Auto scenes can be switched.
본 발명의 하나의 바람직한 예에서, 강의 자료, 특히 PPT 화일의 변경을 외부 입력 노트북의 PPT 파일 또는 PPT 파일의 가상 전자 칠판의 보여줄 자료들의 변경과 가상 카메라 장면의 스위칭 화면을 앱스(application)로 제공하여 무선 신호로 연동된 스마트 폰을 이용하여 원격지에서 제어할 수 있는 원격 제어기를 통해 화상회의 기능을 통해 전송되는 원격 장면을 보며 발명의 장치를 제어하도록 하는 원격 강의 제어기를 사용하는 방식을 사용해 누구나 원격지에서 PPT를 Upload하고 이를 원격 제어를 인터넷으로 하는 현장에 강사가 없는 원격 강의를 하는 tele-Lecture장치가 되도록 하는 기능을 포함할 수 있다.In one preferred embodiment of the present invention, the application provides a change screen of a virtual camera scene and a change of material to show lecture material, in particular a change of a PPT file, to a PPT file of an external input notebook or a virtual copyboard of a PPT file. Anyone who uses a remote lecture controller to watch the remote scene transmitted through the video conferencing function and control the device of the invention through a remote controller that can be controlled remotely using a smart phone linked with a wireless signal Can include a function to upload a PPT and make it a tele-lecture device for instructor-free remote lectures in the field of remote control over the Internet.
본 발명의 하나의 바람직한 예에서, 상기 강사의 영상은 원격지에서의 카메라를 통해 수신되는 원격 카메라 영상을 사용하여 원격지에서 강사가 강사 비디오와 강의 노트북을 보내는 텔레 프레슨스 (Tele Precence) 시스템을 입력으로 받아 출력되는 것을 특징으로 하는 스마트-원격 강의 방법은 당연 하며, 강사가 본 발명의 장치에 오지 않고 화상 회의 등으로 자신의 영상을 발명의 장치로 전송하고 본 장치의 영상을 화상회의로 받아 보며 자신의 ppt 발표 자료를 원격으로 본 장치에 보내 사용하며 발표를 하는 원격 발표자 강의 장치로 클라우드 서비스가 제공될 수 있다.In one preferred embodiment of the present invention, the image of the instructor is input to a Tele Precence system in which the instructor sends a lecturer video and a lecture notebook at a remote location using a remote camera image received through a remote camera. The smart-remote lecture method, which is received and output, is natural, and the instructor does not come to the apparatus of the present invention and transmits his image to the apparatus of the invention by video conferencing and receives the image of the apparatus by video conferencing. The cloud service may be provided to a remote presenter lecture device that uses and transmits ppt presentations to and from the device.
여기서, 본 발명의 하나의 바람직한 예에서, 상기 가상 포인터를 사용함에 있어 실제 강의에 사용하는 포인터만으로 본 발명의 장치를 자동으로 작동이 되게 하는 기능으로 PPT 페이지를 다음장 또는 이전 페이지를 이동하게 하는 버튼을 선택시 PPT화면 전환과 동시에 해당 장면을 보이는 가상 카메라를 선택하도록 가상 스위쳐가 작동이 되게 하는 기능과, 가상 포인터의 그리기를 하는 펜기능을 포인터의 기능과 연동하여 제어 가는 기능, 포인터 또는 마우스에 제공되는 왼쪽 마우스, 오른쪽 마우스 버튼 및 회전 휠을 누르는 기능을 이용한 가상 카메라의 가상 스위처의 배치에 따른 버튼 선택을 직관적으로 하도록 하는 기능을 제어 할수 있게 하고, 마우스 또는 포인터에 있는 회전 휠을 돌려 가상 스위처의 위아래 방향으로 스위칭이 되게 하는 장면 전환을 포인터로만 할수 있도록 하는 기능이 중요하게 제공되어 특별한 방송 스위쳐와 같은 컨트롤 판넬이 없이 12개, 16개 등 다양한 장면들을 모두 버튼 하나로만으로도 직관적 스위칭이 가능하게 하는 기능이 제공된다. Here, in one preferred example of the present invention, in using the virtual pointer, the function of automatically operating the device of the present invention only by using the pointer used in the actual lecture to move the PPT page to the next or previous page. When the button is selected, the function of enabling the virtual switcher to select the virtual camera showing the scene at the same time as switching the PPT screen and the pen function for drawing the virtual pointer in conjunction with the function of the pointer, the pointer or the mouse Allows you to control the function of intuitively selecting a button according to the position of the virtual switcher of the virtual camera by using the left mouse button, the right mouse button, and the rotation wheel provided to the user, and by rotating the rotation wheel on the mouse or the pointer Scenes that cause the switcher to switch up and down This function which enables a straightforward Switching with just all the various scenes, such as 12, 16 are provided are important to the ability to be a ring only a pointer without a control panel, such as a particular broadcast switcher one button is provided.
본 발명의 하나의 바람직한 예로서, 실제 강의시 일반 칠판 또는 실제 전자 칠판, 노트북, TV 등을 강의실서 사용하는 경우 이들을 선택하고 설명하는 강사의 위치, 자세, 그리고 얼굴의 각도와 몸의 위치를 강사 추적 영상 처리 카메라의 정보와 해당 영상 즉 강사의 얼굴 인식을 통해 얼굴이 바라보는 방향, 제스쳐를 통해 손이 가르키는 위치를 고려하여 해당 내용 즉 프로젝터 화면 내용, 칠판의 판서 내용, 학생의 질문 장면 카메라를 연동하여 선택하여 자동으로 보여 지게 하는 가상 카메라 선택 스위칭의 자동 스위칭 및 해당 가상 전자 칠판의 컨텐트 설정이 지능적으로 자동으로 이루어 지게 하는 기능이 제공 되는 것이 사용될어 지도록 다양한 인공 지능의 정보를 추가하여 더욱 정확하고 정밀하게 스위칭들이 이루어 지게 제공되고 이러한 기능의 다양한 센서및 영상 카메라 및 강사의 각도 측정을 위한 영상 처리 방식과 실제 회전 센서를 사용하는 자동 장면이 전환되는 방식일 수 있다.As one preferred embodiment of the present invention, when using a general blackboard or a real electronic blackboard, notebook, TV, etc. in the classroom during lectures, the instructor indicates the position, posture, and the angle and body position of the instructor to select and describe them. Tracking image processing Considering the information of the camera, the direction that the face looks through the instructor's face recognition, and the position pointed by the hand through the gesture, the corresponding content, that is, the contents of the projector screen, the writing on the blackboard, and the student's question scene camera It is possible to add various artificial intelligence information so that the automatic switching of virtual camera selection switching and the function to intelligently and automatically set the contents of the corresponding virtual copyboard can be used. Switching is provided precisely and precisely. Image processing for measuring angles of various sensors, video cameras, and instructors, and automatic scenes using actual rotation sensors may be switched.
여기서, 본 발명의 강의시 가상 카메라 장면을 실시간으로 강의실에서 사용하는 강의 방식으로 사용하는 것과, 이 장면을 실시간으로 녹화 하여 저장하는 강의 녹화장치, 이렇게 합성한 화면을 원격지로 실시간 전송하는 단계, 원격지의 카메라를 영상을 받아 강의실에 보여 주는 단계를 통한 본 발명의 장치가 강의 녹화 장치, 원격 강의 장치, 및 이를 인터넷등에 방송을 하는 강의 방송 장치로 사용되도록 하는 기능이 자동 제공되는 것은 당연하며, 이러한 방식의 강의 녹화 방식은 동영상 강의의 가 실제 강의실에 사용된 강의와 동일한 강의를 녹화 하므로서 그동안의 강의 녹화 방식과 달리 강의실에서 본 강의 그대로가 녹화 되고, 강의실에 보여 주며 강의한 내용 그대로가 원격 교실에 보여 지는 방식이 되어 그 동안 불가능했던 TelePresentation 장치로 구성될 수 있다.Here, the method of using the virtual camera scene in the lecture room in real time in the lecture of the present invention, the lecture recording device for recording and storing the scene in real time, the step of transmitting the synthesized screen to the remote site in real time, the remote site Naturally, the apparatus of the present invention through the step of receiving an image of a camera of the present invention in a lecture room is automatically provided with a function of allowing a lecture recording device, a remote lecture device, and a lecture broadcasting device to broadcast it on the Internet. In the method of video recording, video lectures record the same lectures used in actual classrooms. Unlike the previous video recording methods, lectures recorded in the lecture room are recorded as they are, and are shown in the classrooms. TelePresentation devices that have been shown to be impossible It can be configured.
여기서, 전술한 telepresenter에 기능에 있어서, 원격지와 양방향 질의 응답을 하는 기능을 위해 기존의 화상회의 S/W 즉 MS의 Skype 또는 Google의 Hangout을 사용하여 이들 화상회의 프로그램의 카메라 설정에 본 발명의 장치의 출력 가상 카메라를 선택하여 보여 지게 하는 가상 카메라 입력 기능을 표준 캡쳐 드라이버로 제공하여 어떠한 화상회의 프로그램에서도 특별한 h/w 설정없이 사용이 되게 하는 기능으로 화상회의는 물론 페이스북/유튜브 등과 같은 방송 플렛폼을 동시 사용이 되게 하는 기능을 제공하므로서 본 발명의 장치가 강의실안에서 강의를 효율적으로 하게 하는 강의 장치는 물로 교실 밖에서도 동일한 수업을 들을수 있는 강의 장치로 교실의 공간의 제약없이 전세계 어느 곳에서도 수업을 듣게 하는 스마트 교실 강의 장치가 되게 하는 강의 장치가 되게 하고, 그동안 수업이 수업 시간에만 들을수 있던 수업에서 수업 시간이 아니어도 동일한 수업을 들을수 있게 하는 스마트 강의 장치가 되게 한다. Here, in the above-described telepresenter function, the apparatus of the present invention is used to set up the cameras of these video conferencing programs using existing video conferencing S / W, that is, Skype of Microsoft or Hangout of Google, for the function of making a two-way question and answer with a remote place. Provides a virtual camera input function that selects and outputs a virtual camera to be displayed as a standard capture driver so that it can be used without any special h / w setting in any video conferencing program. By providing the function to make the simultaneous use of the device of the present invention, the lecture device, which makes the lecture efficient in the classroom, is a lecture device that allows students to take the same lesson outside the classroom with water. Lecture hall to become smart classroom lecturer to hear In the meantime, the class will be a smart lecture device that allows students to take the same class even if they are not in class.
여기서, 전술한 telepresenter에 기능에 있어서, 본 발명의 장치를 일반 발표장, 또는 대형 강의실, 컨퍼런스 호텔 등과 같이 대중이 모여 프리젠테이션을 하는 경우 상기 방법의 가상 교실 합성 화면을 컨퍼런스 장에서 보여 지게 하므로서 그동안 강사가 크게 보이지 않고 상대적으로 대형 화면에 자료만 보게 하는 컨퍼런스 현장에 합성된 화면의 강의 장면을 통해 강사와 강의 자료가 필요시마다 크고 작게 배치된 장면이 보여 지게 하고, 본 발명의 장치를 작동자가 하는 것은 물론, 작동자 없이도 강사가 포인터 하나로만 이러한 강의 장면 전환이 가능하게 하는 대형 강의실 또는 컨퍼런스 강의 장치로 사용이 되게 되게 하여 그동안 대형 강의실이나 호텔 컨퍼런스에 복잡한 방송 장치들이 대형 화면에 중계 하는 방식으로도 불가능한 집중도 높은 강의 현장이 만들어 지게 되는 장치로 사용되는 대형 강의실/컨퍼런스 중계 시스템, 더 나아가 원격 컨퍼런스 장치로 되어, 그동안 발표장 컨퍼런스에 가서 들어야 만 했던 발표회를 현장에 가지 않아도 현장에서 보는 것 이상의 컨퍼런스를 볼수 있게 되는 원격 컨퍼런스 중계 장치, 더 나아가 원격지에 현장에서 보여 지는 가상 카메라 장면 그대로 다른 컨퍼런스 장에서도 보여 지는 원격 컨퍼런스가 이루어져 유로 컨퍼런스의 경우와 같은 컨퍼런스 참가 비용을 원격지에서 그것도 동시에 여러 장소 도시, 국가에서 볼수 있게 하는 방식의 과금을 가능하게 하는 새로운 BM모델의 원격 VR컨퍼런스 기술로 사용이 되어 지게 된다. Here, in the function of the above-described telepresenter, when the public presenting the device of the present invention, such as a general presentation room, a large lecture room, a conference hotel, etc., the instructor will show the virtual classroom composite screen of the method in the conference room. The lecture scene of the synthesizer is synthesized in a conference scene where only the material is displayed on a relatively large screen and the material is not large. Of course, without the operator, the instructor can be used as a large lecture room or conference lecture device that can be used to change the lecture scenes with a single pointer, so that complicated broadcasting devices for large lecture halls or hotel conferences cannot be relayed on the large screen. Intensive lecture A large conference / conference relay system used as a device to create a site, and even a remote conference device, so that you can see a conference that goes beyond the field conference without having to go to the venue conference. A relay device, and even a virtual camera from a remote location, can be used for remote conferences, which can be seen in other conference venues, so that the cost of attending the conference can be seen remotely and simultaneously in multiple locations, cities and countries. It will be used as the remote VR conference technology of the new BM model that enables charging.
이때, 원격지와 현장과 화상 회의 방식으로 질의식 토의가 동시 이루어 지게 되는 양방향의 복수 지역/교실의 컨퍼런스 중계 모델로 사업 분야가 만들어 질 수 있고, 이들 발표 장면이 녹화 되어 컨퍼런스 이후 컨텐트를 재판매가 이루어 지는 방식을 포함할 수 있다.At this time, the business field can be made by a bi-directional multi-regional / classroom conference relaying model where the Q & A discussion will be conducted simultaneously with the remote site and the field, and these presentations will be recorded to resell the content after the conference. Losing ways can be included.
본 발명의 하나의 바람직한 예에서, 상기 스마트-원격 강의 방법을 교실서 강의시 직접 강사가 손쉽게 강의가 되게 하는 전자 교탁 또는 전자 칠판내부에 탑재된 시스템으로 제공하고, In one preferred embodiment of the present invention, the smart-remote teaching method is provided as a system mounted inside the electronic teaching board or electronic blackboard that makes it easy for the direct lecturer to lecture in the classroom,
필요시 크로마키 기능을 제공할 수 있도록 하여 강사와 발표 자료가 함께 보여지는 강의 합성 장면을 보여 지는 방식으로 강의를 하도록 하고, 실제 강의 장에 보여 지지 않는 일반 강의 방식을 하여도 이러한 방식을 자동 강의 녹화가 되게 하거나 원격 강의로 보여 지게할 수 있다.If necessary, chroma key function can be provided so that the lecture can be shown in a way that shows the composite scene of the lecture with the lecturer and the presentation material. It can be recorded or watched in a remote lecture.
또한, 본 발명은 상기 방법을 사용하여 원격지에서 강사가 상기 텔레 프레슨스(Tele Presence)를 통해 강의를 하고, 강사와 강의 자료를 합성하여 강사가 있는 곳에 송신함으로써, 실시간으로 강의를 보며 원격지에서 강의를 하는 텔레 프레젼테이션(TelePresentation)을 사용하는 원격 강의 장치를 제공한다.In addition, the present invention using the above method, the lecturer at the remote site to the lecture through the Tele Presence (Tele Presence), and synthesized the lecturer and the lecture materials and send to the lecturer, where the lecture in real time, the lecture in the remote location Provides a remote lecture device using TelePresentation.
본 발명의 하나의 바람직한 예에서, 상기 기능이 전자 교탁 또는 전자 칠판내부에 탑재된 장치로 제공하고, 필요시 크로마키 기능을 제공할 수 있도록 하여 강사 추적 기능의 카메라를 연동하여 강사와 발표 자료가 함께 보여지는 본 발명의 강의 장치 기능이 탑재된 전자 교탁 또는 전자 칠판의 교실 수업이 되게 하는 스마트 강의 장치 전자 교탁 또는 전자 칠판일 수 있다.In one preferred embodiment of the present invention, the lecturer and the presentation material by interlocking the camera of the instructor tracking function by providing the function to the device mounted inside the electronic teaching table or copyboard, and to provide a chroma key function if necessary It may be a smart lecture apparatus electronic table or an electronic blackboard to be a classroom lesson of the electronic teaching table or electronic blackboard equipped with the lecture apparatus function of the present invention shown together.
본 발명의 하나의 바람직한 예에서, 상기 원격 강의 장치는 강의실에서 임의의 위치에 배치될 수 있으며, 예를 들어, 교실 앞에 두고 하는 수업 방식에서만이 아닌 강의실 뒤에 학생들이 본 장치의 출력 화면에 보면서 수업을 듣는 교실에 강사 또는 선생님이 학생이 보는 장면을 함께 보며 수업을 하는 교실 뒤에서 하는 수업 장치로 사용할수 있게 하는 거꾸로 교실 수업을 하므로서 선생님이 항상 출력 화면을 응시하며 강의를 하므로서 프로젝터 또는 TV화면에 있는 강사 추적 카메라에서 선생님의 시선이 카메라를 바라 보게 하여 교실의 학생들이 각자 자신을 선생님이 항시 응시하며 강의를 하는 동시 눈마춤, 즉 가상의 강사 합성 방식에 의한 교실 학생들과 동시 눈마춤 강의 가 되게 하여 강의 집중도가 극대화 되게 하는 방식의 수업 과 이를 이용한 원격지 교실에서도 무한한 학생들과의 동시 눈마춤이 되는 수업 방식의 동시 가상 눈마춤 방식의 수업이 되게 할 수 있다.In one preferred embodiment of the present invention, the remote lecture apparatus may be placed in any position in the classroom, for example, the students behind the classroom not only in the classroom method in front of the classroom, In the classroom, the teacher or teacher looks upside down and sees the students together, and the class is held upside down so that the teacher can always use it as a teaching device. The teacher's eye is looking at the camera from the instructor tracking camera so that the students in the classroom can see each other at the same time with the teacher. Classes and methods that maximize lecture concentration Even in remote classrooms may be two concurrent virtual lessons eyes Justify how the teaching method that simultaneously Justify eyes with infinite students.
본 발명의 하나의 바람직한 예에서, 강사가 강의실 뒤에서 강의를 하는 경우 강의실 앞에 더 많은 스크린 공간이 확보되어 추가의 공간에 추가의 화면 또는 프로젝터 스크린을 장착하고 상기 화면 또는 프로젝터 스크린에 복수의 원격지 강의실의 청취자들을 함께 보여 주고 강사와 청취자들이 강사의 강의 합성 화면과 원격지 청취자들을 서로 보며 강의를 진행하는 원격 동시 강의 방식을 하게 하여 원격지에서도 강사의 강의 장면을 보면서 동시에 복수의 강의실의 청취자들이 함께 보여지는 강의를 진행할 수 있다.In one preferred embodiment of the present invention, when the instructor lectures behind the classroom, more screen space is secured in front of the classroom so that an additional screen or projector screen is mounted in the additional space and the plurality of remote classrooms are located on the screen or projector screen. Shows the listeners together and allows the instructor and the listeners to conduct lectures in synchronizing the lecturer's lecture screen and the remote listeners with each other. You can proceed.
본 발명의 하나의 바람직한 예에서, 강사가 강의실 앞에서 수업을 하는 경우 강사 카메라가 강사만 추출하는 크로마키 환경을 강사 뒷 부분에 하여 가상 화면의 합성 방식을 쓰게 하거나 크로마키 환경이 아닌 경우 Depth 카메라 방식이나 강사 얼굴 인식 방식으로 그래픽 3D 캐릭터를 강사와 같은 모습으로 만들어 실제 같은 캐릭터를 대신 사용하여 보이게 하는 방식의 가상 강사를 사용할수 있는 방식의 강의 장치 또는 원격 수업 방식의 강의 장치로 되게 하는 AR, VR강의 장치로 앞에서 수업을 하는 경우 강사가 발표 자료 화면을 바라 볼때 자료 화면을 보이는 가상 전자 칠판이 커지고 강사가 작아 지게 하는 화면으로 변환이 되고, 이때 강사의 위치에 따라 강사 바라보는 모습이 해당 가상 전자 칠판을 쳐다 보게 강사 카메라의 방향을 자동 반젼이 가능하게 하는 기능을 제공하여 강사 눈마춤이 필요하지 않는 강사 얼굴 방향이 강의자료를 함께 응시하게 하는 방식을 제공할 쉬 있다.In one preferred embodiment of the present invention, when the instructor is teaching in front of the classroom, the instructor camera uses a chroma key environment, which is extracted only by the instructor, at the back of the instructor to use a virtual screen synthesis method or when the instructor is not a chroma key environment. Or AR or VR to make a graphic 3D character look like an instructor using the instructor face recognition method, which can be used as a virtual lecturer or a remote class lecturer. If the lecturer is teaching in front of the lecture device, when the instructor looks at the presentation material screen, the virtual electronic blackboard showing the material screen becomes larger and the screen becomes smaller so that the instructor is smaller. Automatic inversion of the instructor's camera is possible while looking at the blackboard It is easy to provide a feature that allows the instructor's face orientation to take a look at the lecture material together, by providing the ability to make the teacher's eyes look.
본 발명의 하나의 바람직한 예에서, 상기 원격 강의 장치는 이동식으로 배경과 조명, 모니터를 탑재한 강의 스튜디오를 카메라까지 탑재하여 제공하는 All in One 스튜디오 장치의 강의 스튜디오로 구성함으로써, 하나의 방송국이 되도록 하는 팩키지를 제공하여 사용자들이 공사 등의 어려움이 없이 1시간 이내에 강의 전용 방송국을 DIY로 제공될 수 있다.In one preferred embodiment of the present invention, the remote lecture apparatus is configured as a lecture studio of an All in One studio apparatus that provides a camera, which is equipped with a camera, which is equipped with a background, lighting, and a monitor. By providing a package, users can provide a lecture-only broadcasting station as a DIY within 1 hour without difficulty, such as construction.
이상 설명한 바와 같이, 본 발명에 따른 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 장치는 특수 효과, 2D 복수 레이어를 조합하여 유사한 효과를 발생하는 방법 등 더욱 구체적이고 편리한 방식의 가상 교실 제작 방법, 그리고 AR 방식의 크로마키를 쓰지 않고도 유사 VR환경의 느낌을 만드는 방법으로 위 기술들을 활용할 수 있게 하고, 무엇보다 이들의 방법들의 장면 전환을 자동으로 변환이 되게 하여 작동자 없이도 강사가 강의만 하면 자동의 장면 전환으로 강사가 강조되는 장면과 가상 전자 칠판의 기능을 하는 가상 교실 속의 가상 모니터 또는 가상 전자칠판들이 강조되는 VR교실 장면을 자동 생성되게 하는 기술이 통합되어 있는 자동 장면 전환 기술을 적용시킬 수 있는 효과가 있다.As described above, the smart-remote lecture method and apparatus using the automatic scene change technology according to the present invention is a method of producing a virtual classroom in a more specific and convenient manner, such as a special effect, a method of generating a similar effect by combining multiple layers of 2D, In addition, the above techniques can be used as a way to create a feeling of a similar VR environment without using AR-type chroma key, and above all, the transition of these methods is automatically converted so that the instructor does not need an operator. You can apply automatic scene transition technology that integrates the technology to automatically create the scene where the instructor is highlighted and the VR classroom scene where the virtual monitor or virtual copyboards in the virtual classroom functioning as the virtual copyboard are highlighted. It has an effect.
본 발명에 따른 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 장치는 기존의 교실에서 사용되는 칠판, 교탁, 전자 칠판 및 전자 교탁 등을 사용하는 교실 수업을 더욱 효율적으로 하도록 하는 새로운 강의 방법 및 교실의 수업 방식을 근본적으로 바꾸는 새로운 강의 장치로써, 교실은 물론 원격지 수업도 실제 교실과 같은 강의를 시청하게 되고 같은 방식으로 전세계 스마트 장치로 청취할 수 있는 강의 방송이 되도록 하여 그 동안의 한계인 교실에 가야만 수업을 바르게 들을 수 있다는 한계 및 그 동안 모두가 알고 있는 원격지 동영상 강의를 듣는 것이 교실에서 강사의 강의를 듣는 것보다 우수한 환경을 제공할 수 있는 효과가 있다.Smart-remote teaching method and apparatus using automatic scene change technology according to the present invention is a new teaching method and classroom to more efficiently use classroom teaching using blackboards, teaching tables, electronic blackboards and electronic teaching tables used in the existing classrooms As a new lecture device that radically changes the teaching method of the class, the classroom as well as the remote class will be able to watch the lecture like the real classroom and will be able to listen to the lectures on the smart devices around the world in the same way. The limitation of being able to take the class correctly and listening to remote video lectures that everyone knows has the effect of providing a better environment than the lecture of the instructor in the classroom.
도 1 내도 도 3은 종래의 온라인 강의 녹화 장면 및 합성 화면이다;1 and Fig. 3 are conventional online lecture recording scenes and synthesis screens;
도 2는 본 발명의 일실시예에 따른 가상 강의실 저작도구 개념 및 컴포넌트별 스튜디오 제작 화면이다;2 is a virtual classroom authoring tool concept and component-specific studio production screen according to an embodiment of the present invention;
도 3 내지 도 5는 본 발명의 일실시예에 따른 가상 강의실에서 가상 카메라별 배치 장면들을 나타내는 화면이다;3 to 5 are screens showing arrangement scenes for virtual cameras in a virtual classroom according to an embodiment of the present invention;
도 6은 본 발명의 일실시예에 따른 방향키를 이용한 화면 전환 및 화면 강조 방식이다;6 is a screen switching and screen highlighting method using the direction keys according to an embodiment of the present invention;
도 7 내지 도 9는 본 발명의 일실시예에 따른 증강 현실기술을 이용한 다양한 화면의 합성 화면들이다;7 to 9 are composite screens of various screens using augmented reality technology according to an embodiment of the present invention;
도 10은 본 발명의 일실시예에 따른 인공지능에 따른 자동 장면 전환을 나타내는 화면들이다;10 are screens illustrating automatic scene change according to artificial intelligence according to an embodiment of the present invention;
도 11은 본 발명의 일실시예에 따른 플립트 티칭 방식을 나타내는 화면이다;11 is a screen illustrating a flip teaching method according to an embodiment of the present invention;
도 12는 본 발명의 일실시예에 따른 원격 프리젠테이션을 나타내는 화면이다;12 is a screen showing a remote presentation according to an embodiment of the present invention;
도 13은 본 발명의 일실시예에 따른 텔레 프리젠테이션 시스템의 장면이다;13 is a scene of a tele presentation system according to an embodiment of the present invention;
도 14는 본 발명의 일실시예에 따른 비디오 윌을 이용한 멀티 화면 구성을 통한 장면을 나타내는 화면이다;14 is a screen illustrating a scene through a multi-screen configuration using a video will according to an embodiment of the present invention;
도 15는 본 발명의 일실시예에 따른 양방향 동시 수업이 가능한 구성을 나타내는 활용 개념도이다;15 is a conceptual view illustrating a configuration capable of bidirectional simultaneous lessons according to an embodiment of the present invention;
도 16은 본 발명의 일실시예에 따른 VR 및 AR 강의실 발표 장치 운영 개념도이다;16 is a conceptual diagram of a VR and AR classroom presentation apparatus operating according to an embodiment of the present invention;
도 17 내지 도 18은 본 발명의 일실시예에 따른 AR 스튜디오를 구현한 구현예이다;17 to 18 illustrate an implementation of AR studio according to an embodiment of the present invention;
도 19는 본 발명의 일실시예에 따른 강의 녹화 기능 화면이다;19 is a lecture recording function screen according to an embodiment of the present invention;
도 20은 본 발명의 일실시예에 따른 셀프(DIY) 이러닝 이동식 조립형 스튜디오 장치의 구성도이다;20 is a block diagram of a self-learning mobile assembled studio device according to an embodiment of the present invention;
도 21은 본 발명의 일실시예에 따른 스튜디오 장치를 이용한 올인원 이동식 서버 구성도이다;21 is a block diagram of an all-in-one mobile server using a studio device according to an embodiment of the present invention;
도 22는 본 발명의 일실시예에 따른 가상 출력 화면 캡쳐 드라이버 기술의 개념도이다;22 is a conceptual diagram of a virtual output screen capture driver technique according to an embodiment of the present invention;
도 23은 본 발명의 일실시예에 따른 강의실 강의 장면의 구성도이다.23 is a block diagram of a classroom lecture scene according to an embodiment of the present invention.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세하게 설명한다. 다만, 실시예가 본 발명의 범위를 제한하는 것은 아니며, 이는 본 발명의 이해를 돕기 위한 것으로 해석되어야 할 것이다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. However, the examples are not intended to limit the scope of the present invention, which will be construed as to help the understanding of the present invention.
실시 예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 실시 예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of examples. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this specification, terms such as "comprise" or "have" are intended to indicate that there is a feature, number, step, action, component, part, or combination thereof described on the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시 예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.On the other hand, in describing the present invention, when it is determined that the detailed description of the related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. Terminology used herein is a term used to properly express an embodiment of the present invention, which may vary depending on a user, an operator's intention, or a custom in the field to which the present invention belongs. Therefore, the definitions of the terms should be made based on the contents throughout the specification.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시 예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art, and are not to be construed in ideal or excessively formal meanings unless expressly defined herein. Do not.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시 예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same components regardless of reference numerals will be given the same reference numerals and redundant description thereof will be omitted. In the following description of the embodiment, when it is determined that the detailed description of the related known technology may unnecessarily obscure the subject matter of the embodiment, the detailed description thereof will be omitted.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail so that those skilled in the art can easily implement the present invention.
상술한 바와 같이, 종래의 강의 장치에서는 원격지 수업을 듣는 방식들이 모두 실제 강의실 수업을 듣는 것보다 많은 차이가 있어서 실제 수업은 교실에 가서 들어야 할 뿐만 아니라, 이러한 방송 장치들의 전문 방송장비를 사용해야 하고, 비록 이런 장비를 사용해도 스튜디오에서 특수하게 디자인된 강의장에서 전문가들이 동원되어야 하는 등 공간 및 시간적인 측면에서 한계가 있었다.As described above, in the conventional lecture apparatus, all the methods of taking a remote class are different from those of a real classroom class, so the actual class has to go to the classroom and use the professional broadcasting equipment of these broadcasting devices. Even with this equipment, there were limitations in terms of space and time, such as the need for specialists to be mobilized in a specially designed lecture hall in the studio.
이에 본 발명에서는 특수 효과 및 3D / 2D 복수 레이어를 조합하여 유사한 효과를 발생하는 방법 등 더욱 구체적이고 편리한 방식의 가상 교실 제작 방법, 그리고 AR 방식의 크로마키를 쓰지 않고도 유사 VR환경의 느낌을 만드는 방법으로 위 기술들을 활용되도록 하여 전술한 문제점의 해결을 모색하였다.Therefore, in the present invention, a method of creating a virtual classroom in a more specific and convenient manner, such as a method of generating a similar effect by combining special effects and multiple layers of 3D / 2D, and a method of creating a feeling of a similar VR environment without using an AR method chroma key. As a result, the above-mentioned problems were sought by utilizing the above techniques.
본 발명에 따르면, 이러한 전문방송 기술자가 없이 발명의 장치에서 강사의 의도를 알아서 강사를 보아야 할 때는 강사를 필요한 강의 자료를 보여 줘야 할 때는 강의자료를 강조하도록 하는 장면을 보여 주기 위해 가상 강의실에 강사와 강의 자료를 재배치하고 이 가상 강의실에서 가상의 카메라로 필요한 장면을 보여 주게 되는 가상의 교실 촬영 ( 3D공간/또는 2D 레이어 방식의 합성 가상 합성)이 되게 하고 이들의 다양한 장면을 자동으로 선택해 보여 지게 하도록 하는 인공지능 PD 기능으로 장비 운영자가 없이도 필요한 화면을 자동으로 만들어 지게 하는 방식을 제공한다. According to the present invention, the lecturer in the virtual classroom to show the scene to emphasize the lecture material when the lecturer needs to show the necessary lecture material when the instructor knows the intention of the instructor in the device of the invention without such a professional broadcast technician And virtual classroom shots (3D space / or 2D layered composite virtual compositing), which relocate the lecture materials and show the necessary scenes with virtual cameras in this virtual classroom and automatically select various scenes for them. The AI PD function provides a way to automatically create the required screen without the need for equipment operators.
이러한 방식을 설명하면, 본 발명에서는 이러한 방송 기술을 실시간으로 강의실에서 사용하는 VR/AR 방식 나아가서 MR기술 활용을 통해 강의실 녹화 비디오가 실제 강의실에서 듣는 것 보다 더 향상될 수 있게 되고 이것이 실제 강의 보다 더 향상되면, 실제 강의실에서 기존의 강의 방식이 아닌 발명의 방식으로 강의를 교실에서도 보여 주게 하는 강의 장치로 사용하게 하여 기존 교실의 강의의 문제점인 동시 눈맞춤이 불가능하고, 학생들이 강사를 충분히 보기에 강의실이 큰 경우의 문제, 강의실이 아름답게 인테리어를 할 수 없는 문제 및 원격지에서 수업을 듣기 위한 한계 등의 문제를 해결하는 새로운 강의 장치로 될 수 있게 된다. In the present invention, in the present invention, the VR / AR method of using the broadcasting technology in the classroom in real time, and furthermore, the MR recording technology can be used to improve the recorded video of the classroom than the actual classroom, which is more than the actual lecture. If it is improved, it is impossible to make eye contact, which is a problem of existing classroom lectures, because the classroom is used as a lecture device to show the lecture in the classroom by the invention method instead of the existing lecture method, and the classroom is not enough for students to see the lecturer. It can be a new lecture device that solves the problems of such a big case, the problem of not being able to decorate the room beautifully and the limitation of taking a class from a remote place.
이러한 방식은 강사가 강의만 하면 장비 운영 및 복수의 카메라 작동자 없이도 마치 많은 카메라 장면들이 가상의 교실서 커지고 작아 지는 가상의 전자 칠판들을 이용해 자동으로 학생들이 보아야 할 장면이 화면에 만들어 보여 줌으로써, 때로는 강사가 실제 보다 더 크게 출력되고 때로는 자료화면이 아름다운 가상 또는 증강 현실 공간에 만들어 강의를 하게 되고, 같은 화면을 녹화 및 원격지에 보내져 강의비디오가 실시간으로 아름답고 시청자에게 높은 몰입감을 제공할 수 있다. This way, if the instructor only teaches, many camera scenes are automatically created and shown on the screen using virtual copyboards that grow and shrink in virtual classrooms without the need for equipment operation and multiple camera operators. Instructors can output larger than they actually are and sometimes the material screens are made in beautiful virtual or augmented reality spaces for lectures, and the same screens can be recorded and sent to remote locations, giving lecture videos beautiful and real-time immersion.
구체적으로, 방송에서 촬영 시 아름다운 스튜디오에서 강의를 하도록 하여 촬영을 하듯 발명의 장치는 먼저 강의실을 가상 또는 증강현실로 합성하여 아름다운 강의실을 만들게 하고 이를 위해 책상, 벽, 바닥 등을 가상 공간서 직접 조립 방식으로 다양하게 주어지는 강의실 스튜디오 모양에 바닥, 벽, 책상 및 장식품들을 레고 조립을 하듯이 배치하거나 멀티 레이어 방식으로 구성하고, 이러한 가상 공간서 강사, 가상 전자 칠판들 및 가상 카메라를 자유로이 배치하여 복수의 가상 카메라들에 의하여 출력되는 강사와 가상 전차 칠판들을 배치하도록 하여 다양한 장면을 아름답게 필요한 장면으로 자유로이 구성할 수 있다. In detail, the device of the invention first synthesizes a lecture room into a virtual or augmented reality to create a beautiful lecture room, and assembles a desk, a wall, and a floor directly in a virtual space. Lectures of floors, walls, desks and ornaments are arranged in a multi-layered manner, or in a multi-layered manner, in the form of classroom studios that are given in various ways. By arranging the instructor and the virtual chariot blackboards output by the virtual cameras, various scenes can be freely configured into beautifully necessary scenes.
예를 들어, 칠판, 프로젝터 등을 사용하는 강의를 강사와 강의 자료를 합성하여 실시간으로 강의 자료를 보여 주던 프로젝터등의 스크린에 합성화면을 보여 주게 하는 강의 장치로 학생들은 강사와 강의 자료를 번갈아 보며 강의를 듣는 것이 아닌 합성화면을 보게 하여 강의를 하는 장치로, 강의 녹화, 원격지 강의, 양방향 동시 수업, 프리젠테이션 회의 등이 실제 강사가 가지 않고도, 또 수업을 교실에서 와서 보지 않아도, 또 수업을 듣는 교실의 학생도 기존의 방식 보다 더 집중도 있게 강의를 들을 수 있게 하며, For example, a lecture device that uses a blackboard, a projector, and the like to synthesize lecturers and lecture materials and displays the composite screen on the screen of a projector, which shows lecture materials in real time. Students alternate between lecturers and lecture materials. It is a device that lectures by watching a composite screen instead of listening to lectures.The lecture recording, remote lectures, two-way simultaneous classes, presentation meetings, etc. do not have to be taken by the actual instructor, and do not see the class from the classroom. It allows students in the classroom to take lectures more intensively than in the traditional way,
프로젝터 또는 TV 스크린에 PPT를 보여 주는 대신, 본 발명은 강사와 강의자료를 학생들이 강사를 봐야 할 때 강사가 크게, 강의자료를 볼 때 강의자료가, 때로는 함께 보여 지는 장면을 보여 주게 하기 위해 발명의 장치에서 학생들이 강의실서 강사의 제스쳐, 음성 등을 통해 판단하듯 보여줘야 할 장면을 학생들이 판단하듯, 발명의 장치에서 판단하는 인공지능 기능으로 이들의 장면을 보여 주게 하는 방식으로 강의 합성 화면을 강사, 강의자료, 그리고 아름다운 강의실 배경 - 가상 강의실에 합성하여 아름다운 방송화면으로 실시간 합성 및 장면 스위칭을 할 수 있다. Instead of showing a PPT on a projector or TV screen, the present invention is invented so that the lecturer and the lecture material can be shown to show the lecturer largely when the student needs to see the lecturer, and sometimes the lecture material is sometimes shown together when viewing the lecture material. In the device of the lecturer, the lecturer synthesizes the lecture screen in such a way that the students can show the scenes by using the artificial intelligence function judged by the device of the invention as the students judge the scenes to be shown through the lecturer's gesture, voice, etc. , Lecture materials, and beautiful classroom background-Real time synthesis and scene switching can be done by synthesizing it into virtual classroom.
이때 강의 합성 화면을 보여 주기 위해 강사를 촬영하는 카메라 영상과 강의 자료 화면들 (PPT, 노트북 , 칠판, 전자 칠판, 질문 학생, 실물 화상기 등)을 실시간 영상/이미지로 입력 받아 이들을 그래픽 3D 또는 2D 멀티 레이어 합성방식의 가상 강의실에 강사 영상와 강의 자료를 가상 전자 칠판에 보여 지도록 자유롭게 배치하고(강사를 배경을 제거하고 강사 영상만을 추출하는 크로마키, 또는 Depth 인식 등의 방식으로 하는 VR 강의실 방식, 또는 엣지 등을 추출하고 일정부분의 배경을 합성하여 실제강의실 영상과 가상공간을 합성하는 AR 강의실 방식으로) 같은 가상 강의실 내에 자유로이 배치시킬 수 있는 가상 카메라를 통해 가상 강의실을 가상 촬영하는(가상 카메라로 보여 지는 가상 교실의) 화면, 이러한 카메라를 다양한 위치 별로, 움직이게 하고 이 가상 카메라위치 마다 가상 칠판들이나 강사 영상을 자유로이 배치시켜 가상 촬영 화면에 학생들이 집중하여 볼 수 있는 강의 장면을 보여 주도록 가상 교실의 가상 칠판들, 가상 책상, 가상위치의 강사의 크기들을 배치할 수 있게 하게 하고, 이들의 가상 카메라들을 자동으로 출력하여 이를 프로젝터 또는 스마트 장치로 보여준다.At this time, camera images and lecture material screens (PPT, notebook, blackboard, electronic blackboard, question student, real imager, etc.) that take lecturers are input to show the composite screen of the lecture. Freely arrange instructor images and lecture materials on the virtual copyboard in a virtual classroom with a layer composition method (VR instructor removes the background and extracts only the instructor image, or VR classroom method using edge recognition, or edge method) The virtual classroom can be virtually photographed through a virtual camera that can be freely placed in a virtual classroom, such as an AR classroom that synthesizes a part of the background and synthesizes a part of the background and synthesizes a real classroom image and a virtual space. Virtual classroom screens, moving these cameras to different positions, Freely place virtual blackboards or instructor images for each virtual camera location so you can place virtual blackboards, virtual desks, and lecturer sizes in the virtual classroom to show lectures that students can focus on on the virtual shooting screen. Automatically output their virtual cameras and show them as projectors or smart devices.
이와 같이 발명의 장치는 가상의 강의실을 2D 멀티 레이어, 또는 3D 그래픽으로 구성할 수 있게 하고 , 이 그래픽 가상의 강의실에 다양한 위치에 자유로이 배치할 수 있는 복수의 가상 카메라 들을 배치할 수 있게 하고, 이들 가상의 카메라 마다 실제 강사를 촬영하는 카메라 영상을 가상의 책상등과 함께 배치 하게 하고, 가상 카메라로부터 강사의 영상과 보여주어야 할 강의 자료 영상을 보여주는 가상 전자 칠판을 배치하여 해당하는 가상 카메라에서 보여 지는 합성 화면이 학생들에게 보여줄 장면이 나타내도록 하는 장면들을 자유로이 만들어 지게 하고, 이들 장면들 즉 복수의 가상 카메라들을 선택하는 가상 스위쳐(실제 강의실에서 복수의 카메라를 실제 스위쳐로 스위칭하며 보여 지듯 가상 교실에 배치한 가상 카메라 들이 발명의 장치에서 스위칭이 되게 하는 가상 스위처 기능)로 스위칭을 하며 강의 장면을 보여 지게 하되, 이 스위쳐의 스위칭 판단을 발명의 장치가 자동으로 강사의 제스쳐, 음성, 판서, 포인터 위치, 학생들의 질문을 인식하여 판단하는 인공지능 기능을 통해 학생들에게 보여 줄 최적의 가상 카메라 장면이 보여 지게 하는 것으로, 이 스위칭은 필요시 강사나 운영보조자가 필요시 작동 할 수 있다.As described above, the apparatus of the present invention enables a virtual classroom to be composed of 2D multi-layer or 3D graphics, and allows a plurality of virtual cameras that can be freely positioned at various positions in the virtual classroom of the graphic, For each virtual camera, a camera image of a real lecturer is placed along with a virtual desk, and a virtual copyboard showing the lecturer's image and the lecture material image to be displayed from the virtual camera is placed on the virtual camera. Freely create scenes that the composite screen displays to the students to show, and virtual switchers that select these scenes, or multiple virtual cameras (placed in a virtual classroom as shown by switching multiple cameras into real switchers in a real classroom). One virtual cameras in the device of the invention Switch to the virtual switcher function to show the lecture scene, but the device of the invention automatically recognizes the instructor's gesture, voice, writing, pointer position, and student's question. The AI feature allows the optimal virtual camera scene to be shown to the students. This switching can be activated by the instructor or operations assistant as needed.
본 발명에 따르면, 가상 교실에 자유로이 배치되는 복수의 가상 카메라 대신 한 대의 가상 카메라가 원하는 위치 즉 강사와 강의실이 필요한 크기로 보여주게 하는 위치 (즉 KeyFrame 위치)로 세팅을 하게 하고, 해당 카메라 위치 별로 보여 주어야 할 가상 전자 칠판들이 배치 되는 가상 전자 칠판들의 자유로운 배치 및 이들의 설정치를 세팅하고 해당 위치로 설정된 크기나 각도로 보여 지게 하는 트랙이 자동으로 실시간으로 생성되게 하여, 가상 카메라 위치가 12개인 경우 카메라 트랙수가 132 (12x11), 또 해당 가상 전자 칠판이 2개 인 경우 추가의 2x132가 되어 실제 이들의 트랙을 수동으로 설정하는 것은 불가능하게 되며 이를 자동으로 트랙 발생과 장면 전환시 마다 렌더와 트랙 발생이 동시에 되는 기능이 중요하며, 이때 트랙 발생의 다양한 경우 즉 커브의 모양과 시간 등을 자유로이 세팅하여 다양한 애니메이션 효과를 생성하게 하는 것으로 영상이 아름답게 애미메이션이 되게 하고, 또한 학생들이 커지는 칠판 또는 강사 얼굴등을 볼수 있게 하여 강의를 집중할 수 있도록 하는 기능이 제공된다. According to the present invention, instead of a plurality of virtual cameras freely arranged in a virtual classroom, one virtual camera is set to a desired position, that is, a position where the instructor and the classroom are shown in a required size (ie, a keyframe position), and for each camera position. When there are 12 virtual camera positions, the free placement of the virtual copyboards on which the virtual copyboards to be displayed are placed and the tracks that set their settings and automatically display in real time in the size or angle set to the corresponding position If the number of camera tracks is 132 (12x11), and two corresponding virtual copyboards are additional 2x132, it is impossible to manually set the tracks of them in real time. This simultaneous function is important, in which case various cases of track generation As to the form and time, and freely set to generate a variety of animation effects beautify the image and make the Amy animation, and is also provided with a function that allows to be able to see such as students grow blackboard or instructor's face to focus the lecture.
원격지의 학생들과 원격 수업을 함에 있어 원격지 학생들, 질문자의 영상을 본 발명의 장치에서 사용하는 화상회의 프로그램과 연동시 화면의 프로그램 입력 기능을 제공하여 원격지 교실의 학생의 영상이 가상 전자 칠판에 보여 지게 하여 복수의 교실이 수업을 하는 경우 발표자와 질문자가 함께 보여 지는 화면이 다른 교실로 보여지는 기능을 제공한다. In the remote class with the students of the remote site, when the video of the remote student, the interrogator is linked with the video conferencing program used in the device of the present invention, the program input function of the screen is provided so that the image of the student in the remote classroom is displayed on the virtual electronic board. Thus, when a plurality of classrooms are taught, the screen showing the presenter and the questioner together is provided as another classroom.
이러한 복수의 가상 카메라들의 다양한 출력 화면들은 필요한 주요 장면을 미리 설정하여 가상 카메라의 키 프레임으로 정의하여 주는 장면들을 그림 4와 같이 다양한 VR 카메라에 강사와 가상 전자 칠판들을 보여 주게 미리 배치하는 방식으로 즉 강사가 크게 집중하여 보게 하는 강사 장면과 강의자료들중 하나에 집중하여 해당 가상 전자 칠판장면을 크게 하고 강사를 상대적으로 적게 보이도록 하는 장면들의 다양한 가상 장면들을 보이도록 하는 가상 카메라의 위치 및 해당 가상 전자 칠판을 미리 배치하여 필요한 장면을 보여 주는 방식으로 강의 장면 설정을 미리 할수 있도록 하는 단계를 통해 필요한 장면을 생성 시킴에 있어 이들의 장면이 일정한 룰을 정해 가상 카메라들이 바둑판 식으로 배열하여 위로는 강사 크기가, 아래로는 가상 칠판이 커지게 하는 배치에서, 좌측으로는 가상 칠판 1, 우측으로 2,3이 되게 하는 정열 방식을 사용하게 하여 직관적으로 가상 카메라들이 출력할 장면을 초보자도 이해할수 있게 배치 하게 가상 카메라 설정 스위처 배치를 하는 방식을 통해 스위처 버튼을 보지 않고도 알수 있게 하고, 현재의 장면을 보며 필요한 장면을 직관적으로 이동하도록 설정 버튼을 누르거나, 이들의 이동을 마우스 좌,중,우측 버튼을 눌러 좌우이동, 상하 스위처 이동을 마우스 휠을 돌려 이동을 할수 있거나 단순 화살표 키 버튼등으로 장면 이동을 강의중 강사가 간단히 할수 있게 하는 기능을 포함하되, 장면 전환이 기본적으로 마우스 포인터의 이동을 인식하여 그림 6에 설명된 것처럼 마우스 포인터가 출력 화면의 가상 전자 칠판에 올라가면 해당 칠판을 크게 하는 장면을 만드는 가상카메라 버튼을 자동 작동하게 하고, 마우스/포인터가 해당 가상전자 칠판서 일정 시간 움직이지 않게 되면 다시 강사가 크게 되게 하는 상위 방향의 버튼으로 자동 이동되어 강사가 크게 보여 지게 하며, 이러한 강사의 크게 보이는 장면이 설정 시간 이상이 되면 전체 스튜디오장면을 보이다다시 강사가 크게 하고, 마우스가 특정 가상 전자 칠판에 포인터로 움직이면 이것이 다시 해당 가상 전자 칠판이 크게 배치된 장면으로 이동이 되게 하는 방식이 되게 하는 방식이 진행되고, 마우스 포인터등이 가상 전자 칠판에 오래 동안 움직이는 경우 해당 가상 전자 칠판이 더커지는 장면으로 이동을 하게 하고 다시 일정 시간이 되면 조금 다른 장면으로 이동이 되다 포인터 움직임이 없게 되면 강사의 크기가 커지는 장면으로 이동되는 방식으로 자동 장면전환이 되게 하는 기능으로 포인터 인공지능 방식이 진행이 되게 하는 기능이 기본 제공되는 것이 중요하다.The various output screens of the plurality of virtual cameras are pre-arranged to show the instructor and the virtual copyboards in various VR cameras as shown in Fig. 4 by setting the necessary main scenes in advance and defining them as key frames of the virtual cameras. The location of the virtual camera and the corresponding virtual camera to focus on one of the instructor scenes and lecture materials that the instructor focuses on, and to show various virtual scenes of the scenes that make the corresponding virtual copyboard scene larger and make the instructor relatively less visible. In order to create the necessary scenes by pre-positioning the copyboard to pre-set the lecture scene by displaying the necessary scenes, the scenes are set to a certain rule and the virtual cameras are tiled and the instructor is upward. Size down, virtual blackboard down In the layout, the virtual camera setting switcher is arranged so that even the beginner can understand the scenes output by the virtual cameras intuitively by using the alignment method that makes the virtual blackboard 1 on the left and 2,3 on the right. You can see the switcher button without looking at it, and you can see the current scene and intuitively move the necessary scene by pressing the set button, or by pressing the left, middle, or right button to move the mouse Includes a feature that allows the instructor to simply move the wheel by moving the wheel or move the scene with simple arrow key buttons, etc.The scene transition basically recognizes the movement of the mouse pointer so that the mouse pointer moves as illustrated in Figure 6. When you go up to the virtual copyboard on the output screen, you create a scene that enlarges the chalkboard. The upper camera button is operated automatically, and if the mouse / pointer does not move for a certain time on the virtual blackboard, the instructor is automatically moved to the upper direction button, which makes the instructor larger. When the scene is over the set time, the instructor shows the entire studio scene again, and when the mouse moves with the pointer over a specific virtual copyboard, it causes the virtual copyboard to move to the largely placed scene. If the mouse pointer moves on the virtual copyboard for a long time, the virtual copyboard moves to a larger scene and then moves to a different scene again after a certain amount of time. Auto chapter in way to the scene The ability to make this transition, it is important that the ability to be a pointer to how the artificial intelligence built-in progress.
강사가 노트북에 타블렛으로 펜을 그리거나, 전자 칠판의 판서 또는 노트북 마우스를 쓰는 경우 청구항 5의 경우처럼 이들의 마우스 포인터, 펜의 기능을 감지하여 네트웍으로 발명의 장치에 이를 감지하여 장면 전환이 이루어 지게 하는 것을 포함한다.When the instructor draws a pen on a notebook with a tablet, or writes on an electronic board or a notebook mouse, the function of the mouse pointer and pen is sensed as in the case of claim 5, and the network is sensed by the device of the invention to change the scene. It includes losing.
강사가 포인터를 쓰지 않고 레이저 포인터처럼 발명의 장치에서 인식이 안되는 경우 강사 카메라/또는 강사 추적 카메라에 들어오는 강사의 얼굴 방향 및 응시 방향 인식 영상 처리를 통해 강사가 보는 방향이 학생들 방향일때는 강사가 크게, 강사가 칠판 또는 프로젝터 화면을 볼때는 프로젝터 화면을 크게 하는 방법을 사용하는 방식을 이용하고, 강사 얼굴의 방향과, 강사의 강의실 위치를 읽어 내는 위치 센서 ( xyx)로 강의실에 강사의 위치를 알게 하고 이 경우 강사 트랙킹을 정밀하게 할수 있고 멀티 위치 센서를 장착하여 각 마이크 마다 이를 장착하여 질문자의 트랙킹카메라를 포함 마이크 음성과 위치를 이용하여 해당 가상 카메라 장면을 이동하고 강사가 바라보는 곳의 장면을 트랙킹 카메라가 위치와 각도를 통해 강사크기, 강의 자료를 보이는 가상 카메라 장면을 청구항 5의 경우처럼 시간과 자세를 통해 강사의 위치 얼굴의 방향을 인식하여 칠판을 쓰는 경우, 프로젝터 화면을 보는 경우, 학생을 보는 경우, 학생이 질문을 하는 경우들과 강사의 음성을 인식하여 시작, 끝, 화면을 보면, 등의 내용을 활용하여 장면 전환이 되게 하는 카메라 트랙킹 과 장면 전환을 동시에 하는 기능을 이용한 자동 강의 녹화 시스템이 가능하게 하는 기능으로 자동 강의 녹화, 자동 원격 수업이 가능하게 한다. When the instructor does not use the pointer and is not recognized by the device of the invention as a laser pointer, the instructor is greatly instructed when the instructor's viewing direction is through the image processing of the instructor's face and gaze direction that enters the instructor camera / or instructor tracking camera. When the instructor looks at the blackboard or projector screen, he uses the method of enlarging the projector screen, and the position sensor (xyx) reads the direction of the instructor's face and the position of the lecturer's classroom to know the instructor's position in the classroom. In this case, the tracking of the instructor can be precise and the multi-position sensor is attached to each microphone to move the virtual camera scene using the microphone voice and the position of the questioner's tracking camera and to display the scene where the instructor looks. Tracking camera displays instructor size and lecture materials by position and angle In the case of claim 5, when writing a blackboard by recognizing the direction of the instructor's position face through time and posture as in the case of claim 5, when viewing a projector screen, when viewing a student, when a student asks a question, Automatic lecture recording and automatic remote recording with the function of enabling camera tracking and scene switching at the same time by recognizing the voice, starting, ending, and viewing the scene. Make classes possible.
이렇게 자동으로 마치 학생들이 선생님의 제스쳐등을 보고 보아야 할 곳을 판단하듯, 강사의 강의 음성, 얼굴의 바라보는 각도, 제스쳐, 포인터 위치, 강사위치, 전자 칠판, 판서위치, 마이크 위치 및 소리 학생들의 움직임/제스쳐/질문들을 기준으로 마치 학생들이 강의실서 보아야 할 것을 판단해 강사와 칠판, 질문 학생을 바라 보듯 이러한 정보를 통해 발명의 장치의 인공지능 기능으로 자동으로 출력 해야할 가상 카메라 장면을 자동으로 선택하여 보여 주게 하여 발표자가 발표만 하면 본 발명의 장치가 알아서 인공지능 방식으로 학생들이 보아야 할 장면의 가상 카메라 화면을 생성 시키게 하는 방식의 강의 장치로 이 출력 화면을 실시간 녹화, 원격지 전송, 양방향 대화식 화상회의에 활용한 원격 교실 양방향 수업, 이러한 방식의 프리젠테이션을 비디오 컨퍼런스에 적용하는 텔레 프리젠테이션 (Tele-Presentation ) 회의 장치, 또 이러한 강의화면을 전세계로 방송을 하게 하는 Webinar 에 적용한 웹 컨퍼런스/웹세미나 가 되게 할 수 있다.Like this, it is as if the students judge the place to see and see the teacher's gestures. Based on movement / gestures / questions, the students automatically select the virtual camera scenes that should be automatically output to the AI function of the device of the invention using the information as if they were looking at the lecturer, the blackboard, and the question student. It is a lecture device that allows the presenter's device to create a virtual camera screen of a scene for students to see in an artificial intelligence method once the speaker announces it. Remote classroom interactive lessons for meetings, It could be a tele-presentation conferencing device for video conferences, or a web conference / webinar for webinars that broadcast these lectures worldwide.
가상 카메라의 위치, 가상 전자칠판들의 각 가상 카메라에 대한 배치, 그리고 3D 물체까지 위치 크기 각도가 각각에 대해 12개의 가상 카메라 에 대해 세팅을 하는 경우 800 여개의 트랙들이 정의 되어야 하므로 이들의 트랙이 자동으로 실시간 생성이 되도록 하는 자동 트랙 발생을 위해 각 가상 카메라 장면별로 애니메이션 시간, 트랙 발생 조건들을 변경하게 하여 다양한 애니메이션이 자동으로 생성되도록 하여 3D max등에서 이들의 트랙을 생성하지 않고도 다양한 카메라 액션과, 애니메이션 가상 전자 칠판 그리고 3D 물체 들의 애니메이션이 자연스럽게 발생하게 하는 것을 통해 화면만 집중하면 학생들이 보아야할 장면이 브드럽게 보이고 자연스럽게 집중을 할 수 있도록 할 수 있다.If the position of the virtual camera, the placement of the virtual copyboards for each virtual camera, and the position size angle to the 3D object are set for 12 virtual cameras for each of these, about 800 tracks have to be defined, and these tracks are automatically In order to automatically generate tracks in real time, various animations and animations are automatically generated by changing animation time and track generation conditions for each virtual camera scene so that various camera actions and animations are generated without creating their tracks in 3D max. The virtual copyboard and the animation of 3D objects naturally occur so that the students can focus on the screen smoothly and focus naturally.
원격지 강의실에 강사와 강의 자료가 보여 지도록 일반 강의실에서 본 발명의 장치를 설치하여 자동으로 원격지로 강의가 전송되게 하고 원격지의 학생들 카메라가 강사가 있는 교실에도 보여 지고 원격지에도 강사가 가르치는 교실 학생이 보이게 하는 방법으로 양방향 수업 내지는 멀티 교실 수업이 가능하게 하는 방식의 원격 수업 방식, 즉 Tele-Class 솔류션을 사용하는 것은 그동안 원격 수업장치가 불가능했던 원격지에서 현장 교실 수업 이상의 수업 몰입이 발생하는 AR/VR강의 수업 시스템이 되게 하는 장치가 된다. Install the device of the present invention in a general classroom so that lecturers and lecture materials can be seen in a remote classroom so that lectures can be automatically transferred to a remote location, and students can be seen in a classroom with an instructor. It is possible to use the remote class method, that is, the two-way class or the multi-class class, that is, the Tele-Class solution. It becomes the device that makes the teaching system.
본 발명의 장치를 활용하여 강사가 카메라를 응시하며 수업을 하게 되고 강사가 프로젝터 화면을 볼 때는 화면이 크게 강사가 학생을 볼 때는 강사가 크게 되며 강사의 눈이 카메라 방향 즉 학생 들 방향을 보게 되면 강사의 눈이 교실의 모든 학생들을 바라 보고 수업을 하게 되어 동시 눈마춤 방식의 강의가 되게 하므로서 강의 집중도가 극대화 되고, 더 나아가 강사가 교실 뒤에서 수업을 하며 ( Flipped Teaching ) 본 장치의 합성화면을 학생들과 같이 보면서 수업을 하는 뒤에서 가르치는 수업을 학생들이 보는 수업장면을 강사가 함께 보는 수업이 되고 학생들이 실제 선생님 보다 더 큰 얼굴과 제스쳐 그리고 발표자료 및 원격 지 수업학생까지 함께 보게 되는 가상 원격 공동 수업이 가능하게 되고 원격지 교실도 강사가 있는 현장 교실 과 같은 화면의 수업을 공유하고 복수의 교실의 학생들이 함께 하는 동시 멀티 교실 수업이 가능하게 하는 새로운 원격 교실 공동 수업이 가능하게 된다. 이때 몰입감을 완벽하게 하기 위해 원격지 학생들과 함께 인터넷을 통해 스마트 폰으로 대답을 하게 하는 응답 시스템을 함께 사용하는 것은 몰입감을 극대화 하여 이를 함께 사용하는 기술을 통해 완벽한 원격 몰입 수업이 가능하게 하는 첨단 VR 교실이 되게 한다. When the instructor stares at the camera using the device of the present invention, the instructor stares at the camera and the instructor looks at the projector screen. The lecturer's eyes look at all the students in the classroom and the class becomes a simultaneous eye-catching lecture, maximizing the concentration of lectures, and further, the instructor teaches behind the classroom (Flipped Teaching). It's a class where the instructor sees the class scenes that the students see in the class that is taught after the class, and the virtual distance class where the students see the faces and gestures and the presentation materials and the remote class students together. And remote classrooms are the same as on-site classrooms with instructors. Sharing the ups and new remote classroom lessons joint that enables simultaneous multi-classroom lessons with students in multiple classrooms can be made. At this time, the use of a response system that allows a remote student to answer a smartphone via the Internet to perfect immersion is a high-tech VR classroom that maximizes immersion and enables perfect remote immersion class through the technology used together. To be.
이는 기존의 화상회의, 웹비나, 텔레 프레슨스 시스템의 양방향 인터렉티브 화상회의 기능을 연동해 본 장치의 출력 화면이 화상회의 시스템의 카메라 입력으로 사용되도록 하는 출력 화면 카메라 드라이버로 제공하도록 하는 캡쳐 드라이버기능을 제공하거나 출력을 기존의 화상회의 장치의 입력을 제공하도록 하여 본 발명의 합성화면이 화상입력으로 되게 하여 기존 장치의 카메라를 인식하도록 하여 프리젠테이션 회의, 프리젠테이션 웹비나, 텔레 프리젠테션 시스템이 되게 하고 동시에 화상회의 장면이 유튜브나 페이스북 같은 방송에서 직접 출력이 추가의 엔코더 장치 없이 수행이 되게 하는 기능이 되게 한다. 이와 같은 기존의 WebEx또는 ConnectPro같은 Webinar 프로그램, Skype, Zoom 과 같은 화상회의 프로그램을 동시 연동하도록 하는 기술을 제공하여 원격 강의 회의, 프리젠테이션 Webinar가 VR/AR기술의 가상 교실 방식으로 이루어 지게 하여 기존의 화면에 강사가 작은 모습과 강의 자료가 주가 되던 수업 방식들에 강사와 강의 자료가 합성된 가상 강의실 화면을 보면서 수업을 받게 되는 새로운 가상 기술의 원격 교실, Webinar, 프리젠테이션 방송이 되게 한다. 이 방식은 기존의 Tele-Presence 방식의 화상 회의 프리젠테이션 시스템을 함께 사용하게 하여 그 동안 불가능한 TelePresentation 시스템 즉 원격 프리젠테이션 장치가 된다. It provides a capture driver function that links the existing video conferencing, webinar, or two-way interactive video conferencing functions of the telepresence system to an output screen camera driver that allows the output screen of the unit to be used as the camera input of the video conferencing system. By providing or outputting the input of the existing video conferencing device, the composite screen of the present invention is a video input to recognize the camera of the existing device to become a presentation conference, presentation webinar, or telepresentation system. At the same time, the videoconferencing scene is a feature that allows direct output from broadcasts such as YouTube or Facebook to be performed without additional encoder devices. By providing the technology to simultaneously connect existing webinar programs such as WebEx or ConnectPro, and video conferencing programs such as Skype and Zoom, remote lecture meetings and presentation webinars can be implemented in the virtual classroom method of VR / AR technology. Instructors will have a new virtual technology remote classroom, webinar, and presentation broadcast where the lecturer looks at the virtual classroom screen where the lecturer and lecture materials are synthesized in the teaching methods where the lecturer was small and the lecture material was the main method. This approach allows the use of existing Tele-Presence video conferencing presentation systems together, making the TelePresentation system, or remote presentation device, impossible.
기존의 TelePresence시스템에 발명의 장치의 출력을 텔레 프리젠스 시스템의 노트북 입력으로 기존의 텔레 프리젠스 시스템의 강사 카메라를 본 장치의 강사 카메라로 발표 자 노트북을 본 장치의 가상 전자 칠판 자료로 입력 받아 발표자가 출력 화면을 보면서 발표를 하고 , 추가의 화면에 상대방의 회의팀이 보이게 하고, 상대방에서도 같은 발표 장면을 보며 추가의 채널로 참석자 들을 보는 TelePresentation장치로 그동안 TelePresence장치의 몰입 발표가 불가능했던 부분을 완벽한 원격 프리젠테이션 회의가 되는 Tele-Presentation시스템이 되게 한다.The output of the device of the invention to the existing TelePresence system is inputted to the notebook of the telepresence system. The instructor camera of the existing telepresence system is used as the instructor camera of the device. Present the presentation while viewing the output screen, make the other team's meeting team visible on the additional screen, watch the same presentation on the other side, and watch the attendees on additional channels, perfect for the immersive presentation of the TelePresence device. Make Tele-Presentation system a remote presentation conference.
다수의 지역과 화상 프리젠테이션을 하는 경우 복수의 참석자들을 효과적으로 보게 하고 또 발표자가 본 발명의 장치를 여럿이 사용하는 경우 이를 효과적으로 화면에 구성하도록 하는 Video Wall을 함께 사용하고 이때 비디오월의 입력 장면들을 자유롭게 구성하고 발표 자들이 자동으로 크게 되는 비디오 월 스취처를 연동하여 비디오월 멀티 참석 발표 VR 회의 시스템을 통해 그 동안 다수 발표 회의를 몰입감 있게 하는 시스템이 되게 하는 기술을 포함한다. In the case of a video presentation with a large number of regions, the video wall is used together to effectively view a plurality of participants and the presenter effectively configures the screen when multiple devices are used. Freely configurable and include technology that allows presenters to automatically link video wall stretchers to become a large, immersive system for multi-presentation conferences through the videowall multi attendance presentation VR conference system.
이러한 장치를 대형 강의실과 같이 다수의 청중이 강의 수업을 들어야 하는 대형 컨퍼런스 룸의 경우 출력 화면을 강의실의 프로젝터 스크린에 보여 주어 대형 강의실에 강사의 얼굴 표정이 여러명에게 효율적으로 보여 지도록 하고 동시에 이 화면이 다른 대형 교실 또는 강의실로 보여 지게 하여 기존의 대형 컨퍼런스 장의 발표 가 비효율적인 방식을 새롭게 하는 대형 컨퍼런스 발표 장치 및 중계 공동 컨퍼런스 시스템이 가능하게 한다.In large conference rooms, where large audiences need to take a lecture, such as a large classroom, the output screen is displayed on the projector's projector screen so that the instructor's facial expressions can be shown effectively to multiple people. It can be viewed as another large classroom or classroom, enabling a large conference presentation device and a relay joint conference system that renews the way in which existing large conference venues are inefficient.
또한, 출력 화면을 stereo Scopic 3D 로 가상 카메라를 눈 넓이로 배치한 좌우 화면을 출력 시킬 수 있고 이를 원격지에 보내 원격지서도 같은 입체 강의를 다양한 입체 스크린 또는 HMD로 볼 수 있게 하는 것은 당연하다 In addition, it is possible to output the left and right screens with the virtual camera placed at the eye width in stereo Scopic 3D, and send them to a remote place so that the same stereoscopic lectures can be viewed on various stereo screens or HMDs even from a remote place.
가상 강의실을 360 화면으로 스트리밍하여 이를 원격지서 360의 HMD로 보게 하는 방식과, 가상 강의실의 3D강의실을 각 클라이언트에게 미리 보내 클라이언트가 강사 카메라 및 강의 자료를 스트리밍 받아 이들의 가상 카메라 위치를 함께 다운 시켜 가상 카메라 장면의 360 기준 점에서의 장면을 보여 주게 하고 추가의 HMD 클라이언트 위치 및 각도로 클라이언트에서 렌더링하여 보여 주게 하는 방식으로 고화질 환경을 각자 갖게 하는 방식이 사용되어 지게 하는 방식과 가상 카메라 설정 위치를 미리 제공하여 자동 스위칭 방식이 아닌 클라이언트에서 이들의 장면을 스위칭 하며 강의를 수강하게 하는 방식을 제공하는 360 HMD강의 장치가 되게 하는 것은 당연하다. The virtual classroom is streamed to the 360 screen to view it remotely from the 360's HMD, and the 3D classroom of the virtual classroom is sent to each client in advance so that the client can stream instructor cameras and lecture materials, and downgrade their virtual camera locations together. It allows you to show the scene from the 360 reference point of the virtual camera scene, render it on the client at an additional HMD client position and angle, and have a high quality experience. It's no surprise that it's a 360 HMD device that provides a way to pre-provide and switch their scenes from the client rather than auto-switching.
이러한 강의 장치가 교탁으로 장착되게 하여 교탁에 강사를 트랙킹하는 카메라, 강의 컴퓨터, 학생 트랙킹 장치가 연동되어 강사가 청구항 1의 장치로 강의를 하면 강의가 자동으로 화면에 가상 강의 방식으로 보여지고, 녹화 되고, 여러 외부 교실과 수업이 되는 VR 교실 수업이 되게 하는 전자 VR교탁이 되게 된다. This lecture device is mounted as a lecture table, cameras, lecture computers, and student tracking devices that track lecturers in the classroom are interlocked, and when the lecturer lectures with the device of claim 1, the lecture is automatically shown on the screen in a virtual lecture manner, and recorded. It becomes the electronic VR classroom which becomes the VR classroom which becomes the classroom with several external classrooms.
전술한 방식의 실제 전자 칠판으로 만들어져 칠판의 판서 화면이 강사의 얼굴과 함께 녹화 되고 전송되는 수업으로 원격지에서 볼 수 있게 하여 카메라와 연동 강사 트랙킹, 전자 칠판 판서가 실시간으로 합성 녹화가 되고 일반 강의 및 VR 강의가 자동으로 되는 VR 강의용 전자 칠판이 되는 것은 당연하다 It is made of the actual copyboard of the above-mentioned method, and the writing screen of the blackboard is recorded and transmitted along with the instructor's face so that it can be viewed from a remote place so that the camera and the linked instructor tracking and the copyboard writing are synthesized in real time. It's no surprise that VR lectures become automatic blackboards for VR lectures.
본 발명의 장치로 교실에서 강의 장치여 출력이 되는 화면을 보며 강의를 하면 녹화 되는 강의 녹화 스튜디오가 되는 것은 당연하며, 이때 강사가 프리젠테이션 자료를 사용할 경우 PPT와 같은 발표 슬라이드 프로그램의 슬라이드 노트 가 본 발명의 장치에서 인식되어 이를 타이틀 자막으로 보여 지게 하여 강사가 자막을 보며 강의 발표를 하게 하는 기능을 제공하고, 다음 슬라이드가 되는 포인터를 작동하면 슬라이드가 변경되면서 강의 자료가 커지는 가상 카메라 화면으로 자동 전환이 되고 이것을 읽고 발표하는 동안 슬라이드 노트가 스크롤 자막이 끝나면서 강사가 해당 슬라이드 자료 설명을 마치면 다시 강사가 커지게 보이도록 장면 자동 전환이 되게 하는 방식의 강의가 되게 하여, 강사는 슬라이드 변경 포인터 만으로 장면 전환과 프리젠테이션 슬라이드가 바뀌고 강사가 할 설명을 정확히 준비한 내용으로 정확한 발표를 하는 자동 강의 장치 가 되게 하여 슬라이드 변경과 장면 전환, 발표 슬라이드 노트가 자동으로 자막으로 처리 되도록 하는 기능의 강의 녹화기가 될수 있는 장치가 되어 누구나 아무런 조작 없이 USB등에 발표 자료를 PPT로만 가져와서 포인터로만 작동하면서 슬라이드 변경시 자동으로 화면이 발표자료가 커지고 자막에 슬라이드 노트가 보여 지고 자막의 스크롤 속도를 발표자 발표 속도와 연동되게 하여 이를 동기화 시키도록 하고, 자막이 끝나면 장면이 강사를 크게 하는 장면들로 이동이 되게 하는 방식의 강의장치가 되게 하는 기능을 포함하게 된다. It is natural that the lecture recording studio will be recorded when the lecturer is watching the screen outputted by the lecture apparatus in the classroom with the device of the present invention. In this case, when the lecturer uses the presentation material, the slide notes of the presentation slide program such as PPT are seen. It is recognized by the device of the present invention, and it is shown as the title subtitle so that the instructor can present the lecture while watching the subtitle, and when the pointer becomes the next slide, the slide is changed to the virtual camera screen where the lecture material becomes larger. While reading and presenting the slide notes, the slide notes are closed and the caption is finished, and the instructor turns the scenes so that the instructor looks larger when the instructor finishes the slide material. And presente It becomes a lecture recorder with the function of changing the slide and changing the contents of the lecturer, and providing the lecturer with the correct presentation. The slide recorder, the scene change, and the presentation slide notes are automatically subtitled. Anyone can bring the presentation material to the PPT and operate it as a pointer without any manipulation, and when the slide is changed, the screen automatically enlarges the presentation material, the slide notes are displayed in the subtitles, and the scrolling speed of the subtitles is synchronized with the presenter's presentation speed to synchronize them. And when the subtitles are finished, it includes a function that makes the scene move to a scene that enlarges the instructor.
여기서, 자막 스크롤의 속도가 강사의 발표 음성을 인식하여 자막 속도와 스크롤하는 자막 속도와 발표자 발표 속도를 자동 조정이 되게 하는 인공 지능 기능과, 슬라이드 노트가 끝나고 나서도 강사가 추가로 하는 설명이 자막으로 추가적으로 음성인식으로 보여 지게 하는 기능을 제공하는 것은 당연하다. Here, the subtitle scrolling speed recognizes the instructor's speech and automatically adjusts the subtitle speed, scrolling subtitle speed, and presenter presentation speed, and the instructor adds descriptions even after the slide notes. In addition, it is natural to provide a function to make the voice recognition.
여기서, 본 발명의 장치의 출력 화면을 프람프터의 스크린으로 쓰는 경우 프람프터의 글씨 스크롤을 슬라이드 노트 자막을 스크린에 크게 보이게 하도록 하는 배경을 투명하게 하여 출력 화면의 앞면에 보이게 하여 노트 글씨를 크게 읽으며 강의를 하게 하고 이 글씨가 스크롤이 끝나면 자동으로 없어 지게 하는 기능 등의 시간을 자동 조정 또는 수동으로 켜고 끄게 하여 강의를 하는 기능을 제공한다. Here, when the output screen of the device of the present invention is used as the screen of the framter, the text scroll of the framter is made transparent so that the background of the slide note subtitle is made larger on the screen so that the front of the output screen is visible and the note text is read aloud. It provides the ability to make lectures by automatically adjusting the time, such as the ability to make the lectures disappear automatically after scrolling, or to manually turn on and off the lectures.
또, 강의실에 자이로 센서를 이용한 포인터를 사용하게 하여 포인터가 마우스 기능과 슬라이드 변경을 가능하게 하는 경우 일반 강의실에 강의에 자동으로 장면 전환이 되게 하고 포인터 표시가 가능하게 되는 강의 장면이 나타나게 되어 일반 강의 시 자이로 마우스 포인터만으로 일반 강의를 하며 화면의 포인터를 사용하여 포인터 마우스의 모션을 인식하여 합성 장면을 보여 주게 하는 방식으로 발명의 장치의 강의 장면 합성을 만들어 보여 주는 방식으로 본 발명을 사용한 강의가 자동으로 합성화면 전환이 이루어 지게 할 수 있다.In addition, if the pointer uses the gyro sensor in the classroom to enable the mouse function and slide change, the lecture scene will be automatically changed to the lecture and the lecture scene will be displayed in the lecture room. The lecture using the present invention is automatically performed in a manner that shows the synthesis scene of the device of the invention by showing the synthesis scene by using the pointer on the screen and using the pointer on the screen to recognize the motion of the pointer mouse. You can make the composite screen switch.
이러한 전용 강의 녹화 장치로 간편한 스튜디오를 도 20과 같이 크로마키 스크린과 2개 또는 1개 등의 스크린을 이용하여 도 19의 기능을 이용하는 1인 강의 녹화 시스템으로 간편, 스튜디오로 강의를 녹화하는 1인 스튜디오를 시스템으로 제공하여 스튜디오 공사 없이 어느 곳에서나 강의 녹화를 VR 강의 장치로 제공하는 강의 녹화 시스템 스튜디오가 그림24와 같은 조립식으로 모니터 거치, 카메라 거치 방식의 키트를 함께 제공하여 누구나 키트를 DIY로 조립해 본 발명의 장치의 자동 기능으로 누구나 첨단 프리젠테이션 강의가 가능하게 하는 DIY 스튜디오 설치와 DIY 강의 녹화 스튜디오가 가능하게 하는 키트제공을 하는 기술을 포함한다 This is a one-person lecture recording system that uses the functions of FIG. 19 using a chroma key screen and two or one screen as shown in FIG. Lecture recording system that provides studio as a system and provides lecture recording as a VR lecture device at any place without studio construction.The studio provides a monitor-mounted and camera-mounted kit as shown in Figure 24. The automatic function of the apparatus of the present invention includes a technology for providing a DIY studio installation that allows anyone to make advanced presentation lectures and a kit that enables a DIY lecture recording studio.
본 발명의 기술은 일반 강의 현장에서 기존이 프로젝터와 발표 컴퓨터 화면을 입력 받아 사용하여 실시간 합성 화면을 기존의 교실 프로젝터에 보여 지도록 하는 자동 또는 수동의 간편 조작으로 강의 장면을 현장에 직접 출력하여 영화관 같은 강의 교실을 만들 수 있게 하는 강의실, 호텔, 컨퍼런스 현장을 중계, 녹화, 원격 지 강의를 하게 하는 장치로 사용이 되게 하는 것은 당연하며, 직접 강의실에 강의장치로 사용하지 않는 곳에서는 AR/VR 강의 녹화 (Lecture Capture) 장치로 이용하여 최첨단 녹화가 초보자도 만들 수 있게 하여 기존의 녹화 서비스의 어려웠던 문제와 녹화 강의가 실제 교실 수업 보다 많이 못한 문제를 해결하는 간편하면서 소중한 강의를 고화질로 녹화할수 있는 장치로 VR 강의 녹화 시스템으로 사용이 되는 장치가 되게 된다. The technology of the present invention outputs the lecture scene directly to the scene by an automatic or manual simple operation to receive a real-time synthesis screen on the existing classroom projector by using a conventional projector and the presentation computer screen as input in a general lecture scene, such as a movie theater. Naturally, it is natural to make the classroom, hotel, and conference site to be used as a device for relaying, recording, and remotely teaching lectures, and recording AR / VR lectures in places where the classrooms are not directly used as lecture devices. It is a device that can record high-quality recordings of high-quality recordings that solve difficult problems of the existing recording service and problems that recording lectures do not have much more than actual classroom classes by using the (Lecture Capture) device. It will be a device used as a VR lecture recording system.
이러한 장치는 본 발명의 기술과, 이동이 편리하게 하는 노트북에 외부 강사 발표 컴퓨터 입력, 강사를 촬영하는 카메라 , 학생등을 촬영하는 카메라를 입력 받아 본 발명의 장치의 가상 카메라 설정화면으로 강사가 학생들을 볼때는 강사를 크게 강사자 자료를 볼때는 강사가 크게 하는 가상 카메라 세팅을 보여 주게 원터치 작동을 하게 해서 녹화를 하는 장치로 만들어 져 강의 녹화 장치 및 강의실 특히 대형 강의실의 경우 강사와 강의 자료들을 효과적으로 보이는 장치가 만들어 지게 된다. (도 21 참조) Such a device receives an instructor presentation computer input, a camera photographing an instructor, a camera photographing an instructor, and a camera photographing a student. When you look at the lecturer's material, the lecturer's material is made of one-touch recording to show the virtual camera setting when the lecturer's material is enlarged. The visible device is made. (See Figure 21)
특히 강사의 제스쳐 및 얼굴 표정인식을 통해 실제 강사의 카메라 영상을 합성하는 데 사용하지 않고 이들 얼굴 인식을 다른 캐릭터 로 표현하여 실제 와 같은 얼굴 및 손동작을 캐릭터로 구성하고 이를 합성 화면에 강사 대신 특정 캐릭터가 (자기 자신일수도 있는 2D또는 3.D 강사로 얼굴 표정은 물론 목소리까지 유사하게 발생시켜 실제 카메라를 캐릭터의 표정, 제스처를 표현하도록 하여 실제 강사가 강의 화면에 움직이는 것 이상의 캐릭터를 사용하고, 캐릭터가 얼굴 표정을 실제 강사 영상대신 케릭터로 대체하는 방식으로 얼굴 인식, 제스쳐 인식을 통해 실제 모습이 아닌 가상의 캐릭터 강의를 만들게 하여 이를 합성화면에 실제 강사 대신 캐릭터 강사를 실제 강사대신 표현하게 하여 강사의표정을 캐릭터로 실시간으로 보이게 하는 강의방식으로 크로마키 없이 캐리터 강사의 표정 제스쳐를 만들어 보여 주게 하는 얼굴 표정 제스쳐 인식으로 가상 강의 캐릭터를 표현하게 하는 방식을 갖는다. 이때 캐릭터는 실제 강사의 얼굴을 3D로 표현하여 실제 얼굴 인식에서 얻은 표정을 같이 표현시켜 가상 강사로 사용하게 하여 크로마키 없이도 완벽한 크로마키 처럼 합성이 되게 하는 기능이 가능하고 이때 얼굴인식을 실시간 처리가 어려운 경우 후 편집을 위해 강사얼굴인식을 강의 후 새로 정밀 인식 및 이를 처리 하는 과정으로 더욱 정확한 표정을 넣는 강의 동영상을 제작하게 할수 있다.In particular, instead of using the instructor's gestures and facial expressions to synthesize the camera image of the instructor, they express the face recognition as other characters to compose the actual face and hand movements into characters and use them on the composite screen instead of the instructor. (As a 2D or 3.D instructor who may be himself, the facial expressions as well as the voices are generated similarly so that the actual camera expresses the expressions and gestures of the characters so that the actual instructor uses more than the characters moving on the lecture screen, The character replaces the facial expression with the character instead of the actual instructor's video, and creates a virtual character lecture through face recognition and gesture recognition instead of the actual instructor. In a lecture method that makes expressions appear in real time as characters. The facial expression gesture recognition allows the expression of the character of the virtual lecturer by making the facial expression gesture of the Carrier instructor without the chroma key. It is possible to express it and use it as a virtual instructor so that it can be synthesized like a perfect chroma key without chroma key.In this case, if face recognition is difficult to process in real time, lecturer face recognition is lectured for post-editing and new precision recognition and processing You can make a lecture video with a more accurate look.
이하에서는 첨부된 도면을 참조하여 보다 구체적으로 설명한다.Hereinafter, with reference to the accompanying drawings will be described in more detail.
먼저 도 23에서는 본 강의 장치가 사용되는 일반적인 교실의 환경에서의 강의 장치 환경을 보여 주고 있다. 먼저 강사를 찍는 강사 카메라를 강사가 이동시 트랙킹이 제공될수 있고, 강사 뒤에 크로마키 색상이 있는 영역에서는 크로마키가 손쉽게 될수 있고 강사가 다른 곳으로 크로마키 없는 곳으로 이동하면 본 장치의 AR 크롭 기능의 합성 방식으로 강의 화면에 강사 모습이 사용되게 된다. 두 번째로 강사의 발표 자료로 PPT화일 또는 노트북 입력을 하는 부분으로 이 두개의 자료가 가상 교실의 2D 또는 3D 그래픽 가상교실로 선택 또는 만들어진 공간에 배치된 가상 카메라로 재 합성된 화면으로 만들어진 화면이 강의실의 프로젝터 또는 TV를 통해 보여 지게 된다. 이떄 다양한 가상 카메라 장면들이 자동으로 또는 수동에 의해 4에 명시된 스위쳐 장면으로 보여 지게 하고, 이때 발표 자료 화면의 가상 전자 칠판에 포인터 나 마우스로 그림을 그리거나 포인터를 보이며 강의를 하는 강의 장치이며, 발표자료가 보이는 가상 전자 칠판은 한개만이 아닌 복수의 칠판을 사용하여 다양한 입력을 동시에 보일수 있게 하고 강의 현장의 현실감을 증대 하기 위해 추가의 학생들을 보이는 추가의 카메라 를 사용하여 이를 동시 합성화면으로 보여 필요히 학생의 질문등의 장면을 크게 하여 이들의 화면을 보이 도록 하는 가상 카메라 장면을 보여 가게 된다. First, FIG. 23 illustrates a lecture apparatus environment in a general classroom environment in which the lecture apparatus is used. Tracking can be provided when the instructor moves the instructor camera to take the instructor first. Chroma key can be easily moved in the chroma key color area behind the instructor. The composition of the lecturer will be used on the lecture screen. Secondly, the PPT file or notebook input is used as the instructor's presentation.The two materials are screens made by resynthesizing a virtual camera placed in a space selected or created as a 2D or 3D graphic virtual classroom in a virtual classroom. It will be shown through the projector or TV in the classroom. A variety of virtual camera scenes will be shown automatically or manually as the switcher scene specified in 4, and the lecture device draws or shows pointers and lectures on the virtual copyboard on the presentation screen. The virtual copyboard that shows the data can be displayed simultaneously by using additional cameras that show additional students so that various inputs can be simultaneously displayed using multiple boards instead of just one. If necessary, a large number of scenes such as student questions will be enlarged to show a virtual camera scene to show their screen.
도 2에는 본 발명의 일실시예에 따른 강의를 위한 기본적인 가상 강의실을 선정하여 사용하게 되고 이들 강의실을 누구나 쉽고 편리하게 만들거나 제공된 예제 가상 강의실을 수정 변경하여 사용하도록 하는 가상 강의실 저작도구가 제공되는 것이 매우 중요하며 이들의 저작 도구의 개념 및 컴포넌트별 스튜디오 제작 화면이 나타나 있다.2 is provided with a virtual classroom authoring tool for selecting and using a basic virtual classroom for lectures according to an embodiment of the present invention and allowing anyone to easily and conveniently make or use these modified virtual classrooms. This is very important and the concept of their authoring tools and studio production screens for each component are shown.
구체적으로, 도 2에 도시된 바와 같이, 발명의장치의 화면 구성의 예로 가상 강의실의 가상 책상과 강의자료를 보여줄 복수의 가상(VR) 전자 칠판으로 위 장면에는 3개의 가상 전자 칠판을 자유로이 크기 위치, 각도를 조정하여 배치 할수 있도록 하고 , 이들의 배치 별로 해당 화면을 강사가 크게 또는 자료가 크게 할수 있도록 하는 다양한 장면을 설정하고 이에 대한 가상 카메라를 배치 하여 실시간으로 출력 화면을 다양하게 만들어 주게 하여 강의 장면을 프로젝터 또는 녹화, 원격지로 전송하게 하는 방식으로 강사를 크게 또는 보여줄 자료를 크게 보여 지게 하며 이들의 장면은 포인터를 (가상그래픽) 사용해 설명을 화면을 보면서 할수 있게 하고 이를 보는 강사의 제스쳐 즉 손의방향, 포인터의 위치, 그리기 등을 감지하고, 음성의 소리에 따라 시작, 정지, 여기를 보세요등의음성을 인식하여 이들 장면에 노트북을 보일 경우, 학생을 보일경우를 판단해 보이고 학생의 제스쳐를 보고 이를 인식해 질문시 음성과, 제스쳐를 통해 학생을 해당 가상 전자 칠판에 보여 주어 강의실의 학생들은 물론 원격지에서도 볼수 있게 하는 방식을 사용하게 한다. Specifically, as shown in FIG. 2, as an example of the screen configuration of the device of the invention, a plurality of virtual (VR) copyboards to show virtual desks and lecture materials in a virtual classroom, and three virtual copyboards freely positioned in the above scene. The lectures can be arranged by adjusting the angle and setting various scenes that allow the instructor to enlarge or enlarge the screen for each of these layouts, and arrange the virtual cameras to make various output screens in real time. It allows the instructor to make the instructor large or the material to be displayed large by sending the scene to the projector, recording, or remote location.These scenes can be explained using the pointer (virtual graphics) while viewing the screen and the instructor's gesture or hand. The direction of the pointer, the position of the pointer, draw, etc., and start according to the sound of the voice If you show a notebook in these scenes by recognizing the voice, stop, look here, judge the case when you see the student, see the student's gesture and recognize it and ask the student through the voice and gesture to ask the corresponding virtual electronic board. To show students in the classroom as well as remotely.
이러한 가상 강의실은 3D Max등에서 제작할 수 있게 하지만, 강사들이 자유로이 자신의 강의실을 특별한 프로그램을 쓰지 않고서도 제작이 가능하도록 다양한 강의실을 스스로 만들수 있도록 레고 식으로 조립이 가능한 책상, 장식품들을 제공하여 스튜디오 제작이 가능하게 하는 다양한 미리 제작된 아이템들을 제공하고 이들을 웹을 통해 추가 하거나 구매 할수 있도록 제공한다. These virtual classrooms can be produced in 3D Max, etc., but studios provide desks and ornaments that can be assembled in lego style so that lecturers can freely create their own classrooms without using special programs. It offers a variety of pre-made items that make it possible and add them to the web for purchase or purchase.
도 3 내지 도 5에는 본 발명의 일실시예에 따른 가상 강의실에서 가상 카메라별 배치 장면들을 나타내는 화면이 나타나 있다.3 to 5 are screens showing the layout scenes for each virtual camera in the virtual classroom according to an embodiment of the present invention.
구체적으로, 도 3은 기본 개념의 조립 스튜디오 방식을 나타낸다, 가상 강의실의 천장, 벽, 책상들을 조립식으로 제작하는 강의실 저작도구 개념 및 조립 컴포넌트 별 위치 색상 크기 조정에 의한 다양한 스튜디오 제작을 나타는 것으로, 기존 특허 기술에 Shader기능의 색상을 각 구성품에 대해 택스튜어 변경 및 색상을 조절할수 있게 하는 기능을 주어 다양한 인테리어를 각 사용자가 손쉽게 만들 수 있게 하는 기능을 제공한다. In detail, FIG. 3 illustrates an assembly studio method of a basic concept, which illustrates a concept of a classroom authoring tool that prefabricates a ceiling, a wall, and desks of a virtual classroom, and various studio productions by adjusting position colors of assembly components. The existing patented technology gives the user the ability to easily change the color of the shader function and adjust the color of each shader for each component.
이때 가상 강의실의 벽, 바닥, 및 데코레이션 3D 물체들을 자유로이 배치 및 크기, 회전이 가능하게 함은 물로 사이즈조절이 되게 하여 자유롭게 배치 하게 하고, 특별히 이들의 색상들이 각 배경이나 3D 물체의 해당 표면들이 HSV 칼라 발기, 또는 RGB 색상 조정이 되어 느낌에 맞게 디자인을 할수 있는 기능을 제공하여 다른 프로그램 없이 이들의 조정을 하게 하는 Shader기능을 제공한다. In this case, the free placement, size, and rotation of the virtual classroom walls, floors, and decoration 3D objects can be scaled with water so that they can be placed freely. Especially, the color of each background or the surface of the 3D object is HSV. It provides color erection, or RGB color adjustment, which allows you to design according to your feeling and provides a shader function that allows you to make adjustments without any other program.
도 4는 발명의 장치의 가상 강의실에서 12개의 가상 카메라 별로 배치한 장면들의 예로 왼쪽은 가상전자 칠판 1을 중심으로 중심은 두 번째, 우측은 가상카메라 3을 배치하고 위로는 강사위주 아래로는 가상 전자 칠판이 커지게 하는 방식으로 배치하여 직관적으로 장면들의 스위칭이 어는 곳에 배치 하는 가를 쉽게 인식하게 하여 직관적으로 버튼이나 마우스 동작으로 일들을 스위칭이 필요시 할수 있게 하여 인공지능기능의 자동화면 전환과 더불어 직관적 스위칭이 포인터인 마우스의 버튼으로 조정이 가능하게 하는 기능을 함께 제공한다. 4 is an example of scenes arranged for each of the 12 virtual cameras in the virtual lecture room of the device of the present invention. The board is placed in such a way that it can be enlarged to make it easy to recognize where the scenes are switched intuitively, so that it is possible to intuitively switch things by button or mouse operation. Intuitive switching comes with the ability to adjust with the mouse button.
환언하면, 도 4는 발명의 장치에서 12개의 가상 카메라별로 장면들을 바둑판식 스위쳐 버튼형태로 표현하게 한 장면들로 발명의 장치에서 이들의 버튼을 바둑판식으로 하여 위아래로는 강사크기가 크고 작게 또 강사가 크면 가상 칠판이 상대적으로 작고 크게 해서 강사를 볼 때는 강사가, 강의 자료가 클 떄는 강의 자료가 커지도록 하는 방식과 촤측에서의 가상 전자 칠판 1이 우측에서는 3번이 중앙에는 2번의 가상 전자 칠판이 보여 주도록 하는 방식으로 장면을 배치할수 있게 하여 강사가 현장면에서 다른 장면으로 필요시 바로 이동이 가능하게 마우스 버튼이나 키보드 버튼으로 직관적 장면 선택이 가능하게 한다. 이 방식은 운영자 없이 장면 선택을 매뉴얼로 하는 경의 강의중 특별한 장치 운영 습득이 없이 가능하게 하는 중요한 기능이다. In other words, FIG. 4 is a scene in which the scenes of each of the twelve virtual cameras are represented in the form of tile switcher buttons in the device of the present invention. If the instructor is large, the virtual blackboard is relatively small and large so that when the instructor sees the instructor, the lecturer makes the lecture material larger and the virtual copyboard 1 on the left side is 3 on the right side and 2 virtual electronics on the center. The scenes can be arranged in such a way that the board can show them, allowing the instructor to move to another scene from the scene as soon as necessary, allowing intuitive scene selection with mouse or keyboard buttons. This is an important feature that enables without the need to learn special device operation during lectures, where scene selection is manual without operator.
즉, 12개의장면을 이러한 방식으로 배치한 발명의장치의 스위치 버튼의 장면을 발명의 장치에 자동으로 장면 세팅이 되면 버튼의 장면이 보여 지도록 하는 기능으로 일반 스위처의 프리부 장면을 보고 스위칭하는 일반 장비와 달리 직관적으로 버튼을 보면 장면을 예축하여 프리부 없이 바로 출력 장면을 보여 주게 하는 방식이 제공된다. In other words, when the scene of the switch button of the device of the invention in which 12 scenes are arranged in this way is automatically set to the scene of the device of the invention, the scene of the button is displayed. In contrast, the intuitive button provides a way of pre-screening the scene to show the output scene without a free part.
도 5에는 해당 가상 카메라 장면의 출력 화면에 강사가 마우스/포인터를 움직여 해당 가상 전자 칠판을 크게 보이도록 하는 해당 가상 카메라로 자동이동이 되게 하는 기능의 마우스 모션 과 위치를 감지하는 기능을 나타낸다.5 illustrates a function of detecting a mouse motion and a position of a function of automatically instructing the instructor to move the mouse / pointer to the corresponding virtual camera so that the corresponding virtual copyboard is made larger by viewing the output screen of the corresponding virtual camera scene.
구체적으로, 각 가상 카메라의 장면들을 강사의 포인터, 자세, 칠판 등에 대한 사용을 인식하여 자동 스위칭이 되게 하는 인공 지능의 기능으로 먼저 강의자의 강의 중 포인터 또는 마우스의 움직임을 감지하여 해당 장면을 보이게 하는 기능을 보여 주고 있다. Specifically, the artificial intelligence function that automatically switches the scenes of each virtual camera to the instructor's pointers, postures, blackboards, etc., firstly detects the movement of the pointer or mouse during the lecturer's lecture to show the scene. Demonstrating the function.
강사가 칠판을 쓰는 경우 강사의 자세 - 쓰기 위한 자세와 손의 위치, 제스쳐를 영상으로 감지하고 얼굴의 바라보는 얼굴 방향인식을 통해 칠판을 찍은 카메라가 칠판의 쓰는 장면을 트랙하고 이것을 강사와 칠판 카메라를 합성해 보여 주는 장면을 보여 주도록 하게 되는 인공 지능의 기능을 제공한다. When the instructor writes the blackboard The instructor's posture-the camera's posture tracks the writing of the blackboard by detecting the posture for writing, the position of the hand, the gesture, and the facial orientation of the face. It provides the ability of artificial intelligence to show scenes that are synthesized.
각 가상 모니터를 지적하거나 강사가 강의실서 프로젝터 또는 노트북, 또는 실물 화상기를 조작하는 경우 이들을 인식해 자동으로 해당 가상 전자 칠판의 장면이 크게 보이게 하는 가상 카메라 신을 보여 주도록 하는 인공 지능 기능의 장면 전환이 되게 하는 기능의 마우스 포인터 움직임을 감지하고 마우스 포인터가 해당 자료에 화면을 가르킬 때 해당 장면이 크게 보이게 하는 자동 장면 전환과, 포인터가 움직이지 않고 설명이 계속 될 때 다시 원위치를 하도록 하는 장면 전환이 되게 하는 강사 자세가 학생을 볼 때, 마우스 포인터가 안움직일 때 장면 변화 세팅을 통해 다양한 장면으로 자동 이동이 되게 할 수 있다. Point to each virtual monitor, or when the instructor manipulates a projector, notebook, or physical presenter in a classroom, it will be a transition of artificial intelligence that will recognize them and automatically show you a virtual camera scene that makes the virtual copyboard's scene look larger. Automatic transitions that detect the mouse pointer movement and make the scene appear larger when the mouse pointer moves over the screen, and revert to the original position when the explanation continues without the pointer moving. When the instructor posture is looking at the student, the scene change setting can automatically move to various scenes when the mouse pointer is not moving.
다양한 인공 지능 기능이 제공되어있는 경우에도 강사가 특별한 장면을 보여 주고 싶은 경우 초보자도 마음껏 장면 전환을 복잡하지 않게 마우스 만으로 원하는 장면을 손쉽게 기억하고 작동을 하도록 마우스 클릭의 신 변경기능을 제공한다. 이렇게 세팅 시에도 필요한 다른 장면을 직관적으로 변경하기 위해서 특별히 작동 메뉴를 보지 않고 출력 화면만 보고 해당 장면을 도 3과 같이 배치한 장면 속에서 마우스 휠, 버튼을 누르거나 키보드에서 화살표 방향을 이용해 출력 장면만을 보며 강사가 직접 작동이 가능하게 하는 마우스, 또는 키보드 버튼으로 작동시킬 수 있다. Even if a variety of artificial intelligence functions are provided, if the instructor wants to show a special scene, a new click function is provided so that even a beginner can easily memorize and operate a desired scene with a mouse without any complicated scene transition. In order to intuitively change other scenes required even when setting, the output scene is displayed without looking at the operation menu, and the scene is arranged as shown in FIG. 3 by pressing the mouse wheel or button or using the arrow direction on the keyboard. It can be operated with a mouse or keyboard button that allows the instructor to operate directly while viewing the bay.
도 6에는 본 발명의 일실시예에 따른 방향키를 이용한 화면 전환 및 화면 강조 방식을 나타내는 화면이 도시되어 있다.FIG. 6 is a screen illustrating a screen change and screen emphasis method using a direction key according to an embodiment of the present invention.
*구체적으로, 인공지능 스위칭 중에도 강사가 수동으로 필요한 장면을 직관적으로 판단하여 쉽게 포인터로 사용하는 마우스나 키보드의 방향키/게임시 사용하는 왼쪽 손사용시의 키버튼 배열을 이용하여 현재 장면을 보고 다른 장면을 바두판식의 배열로 가상 카메라의 위치를 배치하여 왼쪽으로 오른 쪽으로 가상 전자 칠판을 강조하는 장면들과, 위아래로 강사 크기, 가상 칠판 크기를 조정하게 배치하는 방식의 바둑판식 스위처 버튼의배치 방식과 이를 마우스 버튼 또는 화살표버튼 만으로 장면 전환을 할 수 있다.* Specifically, the instructor can intuitively determine the necessary scene manually even during AI switching, and use the mouse to use as a pointer or the arrow keys on the keyboard and the key button arrangement for the left hand used in the game to view the current scene and other scenes. To position the virtual camera in a tiled arrangement, highlighting the virtual copyboard to the left and right, and placing the switcher buttons in a manner such that the instructor size and the virtual blackboard size are adjusted up and down. You can change scenes with only mouse button or arrow button.
이 방식의 수동 전환 기능은 이전 특허의 기능을 함께 활용하여 자동시에도 수동 스위칭을 마우스클릭 하나 만으로도 가능하게 하는 기능이다. 본 발명에서는 이들의 장면전환시 해당 장면의 가상 전자 칠판의 내용 즉 외부 입력, 동영상 리스트, 사진들을 미리 순서대로 정의해 놓게 하여 이들이 다음 또는 이전의 내용으로 스위칭이 되도록 하는 것을 마우스의 중앙 휠을 눌러 회전하게 하거나 특수 F1, F2 키를 이용해 하는 방식으로 강의중 자동으로 해당 전자 칠판의 내용을 수정할수 있게 하는 기능을 첨가하고, 이 기능의 장면 스위칭을 음성 또는 제스쳐, 강사가 바라보는 학생으로 가상 전자 칠판 내용이 자동으로 보여 지게 하는 인공지능 방식으로 제공되게 된다. This method of manual switching is a function that utilizes the functions of the previous patent together to enable manual switching with a single mouse click even when automatic. In the present invention, the contents of the virtual copyboard of the scene, that is, the external input, the video list, and the pictures are defined in order so that they can be switched to the next or previous contents. It adds the ability to rotate or use the special F1, F2 keys to automatically modify the contents of the copyboard during lectures, and allows the user to look at the scene switching of this function by voice or gestures, as a student looking at the virtual electronics. The chalkboard content will be provided in an AI way that will automatically display it.
도 7에는 가상 전자 칠판의 출력이 강조되는 가상 카메라 장면이 선택되어 보일 때 해당 가상 전자 칠판에 보여줄 외부 입력 또는 영상등의 자료 내용은 인공지능에서 강사의 말이나 제스쳐의 방향/포인터 움직임으로 자동으로 스위칭이 되게 하며, 필요시 강사가 장면 전환을 마우스 휠을 눌러 변경하거나 Function키를 써서 스위칭이 가능하도록 메뉴 스크린을 보지 않아도 장면 전환이 가능하게 설계 되어져 장면 전환은 물론 해당 가상 전자 칠판의 내용도 변경이 가능하게 인공지능 또는 포인터 버튼 즉 마우스에 의해 스위칭이 되게 하는 것이 제공된다. In FIG. 7, when a virtual camera scene in which the output of the virtual blackboard is highlighted is selected, the external input or image content to be displayed on the virtual blackboard is automatically changed by the instructor's words or the direction / pointer movement of the instructor in artificial intelligence. It is designed to be switched, and if necessary, the instructor can change the scene change by pressing the mouse wheel or switch using the function key so that the scene can be changed without looking at the menu screen. This makes it possible to switch by means of an AI or pointer button i.e. a mouse.
가상 카메라의 수는 필요시 3개, 또는 4개, 8개, 12개 등 다양하게 사용하여 필요한 버튼을 만들어 이를 도 4의 좌우 위아래 식으로 배치하여 이들의 배치가 가상 강의실에서 가상 카메라가 바둑판식으로 배치 한것처럼 인식하게 하여 배치 장면을 예측할수 있게 하는 바둑판식 가상 카메라 위치와 이를 스위처 믹서의 버튼으로 배치 하는 방식은 강의자가 장비를 몰라도 메뉴를 직접 작동이 필요시 수동으로 할수 있게 하는 기능으로 매우 중요하다. The number of virtual cameras is three or four, eight, twelve, etc., if necessary, and the necessary buttons are created and arranged in the left and right up and down directions of FIG. 4 so that their arrangement is tiled in the virtual classroom. The position of the tiled virtual camera and the switcher mixer's buttons that make it possible to predict the placement scene by recognizing it as if it is placed with the switcher are the functions that allow the instructor to manually operate the menu when the operation is required without knowing the equipment. It is important.
또한 이들의 각 가상 카메라의 스위칭시 해당 장면에 가상 전자 칠판들이 자동으로 배치 되도록 하는 편집이 가능하도록 제공하여 이들 가장 카메라 위치, 해당 가상 카메라에 대한 가상 전자 칠판들의 배치를 하도록 하는 각 가상 카메라별 장면인 Key프레임을 세팅하면 각 가상카메라 장면 즉 각각의 키프레임이 스위칭만이 아닌 애니메이션으로 가상 카메라 장면전환의 가상 카메라 이동 트랙이 자동 생성이 되도록 다양한 속도 및 트랙이 생성이 되게 하고, 그때 해당 가상 전자 칠판들도 애니메이션 시간, 트랙을 자동으로 생성이 되게 하여 장면 전환시 서서히 보아야 할 가상 칠판 또는 강사의 얼굴이 커지고 작아지게 되는 애니메이션을 통해 학생들이 장면 전환시 서서히 보아야 할 장면에 집중을 하도록 하는 기능이 매우 중요하다. Also, by switching each of these virtual cameras, the virtual copyboards can be edited to be automatically placed in the corresponding scene so that the virtual cameras can be placed at the most camera position and the corresponding virtual camera. If you set the key frame, the various speeds and tracks are generated so that each virtual camera scene, that is, each keyframe, is automatically generated as a virtual camera movement track of the virtual camera cutaway by animation instead of switching. The blackboards also automatically generate animation time and tracks so that students can focus on the scenes that they need to see slowly when switching scenes. very important.
또한 발명의 장치에서는 외부 발표 자료로 보이는 2D 영상, PPT들만이 아닌 실시간 3D애니메이션을 실행하여 가상의 실험이나 공간으로 이동하여 보여 주게 하는 기능을 제공하는 실시간 인터렉티브 3D 애니메이션 물체를 보여 줄수 있게 하는 3D물체의 데이터를 불러 들일수 있는 기능으로 이들을 각 장면에 배치해 보여 주게 하는 기능을 가능하게 하여 실제 실험을 하는데 물리적 제약, 즉 크기, 무게 등을 극복하여 가상으로 실시간으로 3D 물체나 애니메이션을 보여 주는 기능을 제공하는 것이 중요한 가상/또는 증강 현실의 프리젠테이션이 되는 방식이 되게 된다. 이를 위해 3D Max나 Maya등의 3D편집기에서 애니메이션 물체의 데이터를 읽어 들여 이를 가상 강의실에 배치 할 수 있는 기능을 제공하게 한다(도 8 참조).In addition, the device of the invention is a 3D object that can display real-time interactive 3D animation objects that provide the ability to perform real-time 3D animation, not just 2D images and PPTs, which are seen as external presentation materials, but to move to a virtual experiment or space. It is a function that can load the data of the data and place them in each scene and show them the actual experiment. It overcomes physical constraints, namely size and weight, and shows 3D objects or animations in real time. Providing is a way of becoming an important virtual / or augmented reality presentation. To do this, 3D editors such as 3D Max and Maya read data of animated objects and place them in a virtual classroom (see FIG. 8).
도 8에는 3D 물체를 보여 주며 애니메이션 장면/가상 인터렉티브 실험을 보여 주는 방식의 AR/VR 프리젠테이션 장면 및 가상 카메라 별 12개의 장면에 다르게 보여 주어 효과적을 프리젠테이션을 하는 장면이 나타나 있다.8 shows an AR / VR presentation scene showing a 3D object and an animation scene / virtual interactive experiment, and a scene that is effectively shown by showing differently in 12 scenes for each virtual camera.
이러한 3D 가상 물체를 보여 주는 방식은 그동안의 강의 녹화 나 강의 장치에 불가능 한 부분을 3D 가상 교실 강의 장치에서 가능하게 하는 새로운 강의 장치가 가능하게 된다. This method of displaying 3D virtual objects will enable new lecture apparatuses that enable the 3D virtual classroom lecture apparatus to make impossible part of lecture recording or lecture apparatus.
이 방식은 도 4에 나타난 바와 같이, 12개 장면에 강사화면, 가상 전자 칠판 모니터 3개를 사용하는 경우 가상 카메라 트랙 12개에서 각각 11개 다른 가상카메라 위치로 이동하는 카메라 트랙 132가지 또 각 가상 전자 칠판이 3개 사용되고, 가상 3D object가 1개 사용되는 경우 총 트랙킹 패스가 총 132x 6 개가 되어 792개의 패스가 자동으로 생성이 되게 되어 이들이 자동으로 발생이 되지 않으면 디자이너들이 만들어 넣을 수 없는 양이 되는 것으로 본 발병의 장치에서는 각 장면들에 가상 카레마 위치, 가상 전자 칠판들의 위치, 그리고 가상 3D 물체를 치 하면 이들이 자동으로 애니메이션이 생성되게 하는 기능을 제공한다. As shown in FIG. 4, in case of using three instructor screens and three virtual copyboard monitors for 12 scenes, 132 camera tracks are moved from 12 virtual camera tracks to 11 different virtual camera positions, respectively. If 3 copyboards are used and 1 virtual 3D object is used, the total tracking passes will be 132x 6 total, and 792 paths will be generated automatically. The onset device provides the ability to automatically animate each scene with the location of the virtual carema, the location of the virtual copyboards, and the virtual 3D object.
이러한 방식의 장치가 강의실에 배치 되어 각 가상 카메라 장면이 보여 지는 방식으로 출력되는 화면을 프로젝터를 통해 보여 지게 하는 강의실의 장면이 도 5에 나타나 있다. 5 is a scene of a classroom in which a device of such a method is arranged in a classroom to display a screen output through a projector in a manner in which each virtual camera scene is displayed.
도 9에는 발명의 장치에서 실시간으로 강사와 강의 자료를 가상 또는 증강 현실기술로 합성하여 다양한 장면 즉 강사가 크게 보일 때는 강사가 자료가 크게 보일 때는 자료가 보이게 하는 방식의 장면을 가상교실에 가상의 카메라들을 다양하게 배치하여 이들을 인공지능 기능 즉 강사의 제스쳐, 음성, 포인터 등을 판단해 마치 학생이 선생님과 자료를 스스로 판단해 보듯 발명의 장치가 이를 판단해 화면에 멋진 가상 교실에서 강의가 이루어 지게 보이도록 하는 장면을 보여 주는 방식으로 수업이 되게 하는 방법으로 이 합성 화면이 녹화, 전송이 되어 강의실에서는 물론 원격지에서도 수업을 현장 강의실과 같게 수업이 될 수 있게 하는 방식이 되게 된다. FIG. 9 shows a virtual classroom in which the instructor and the lecture material are synthesized in a virtual or augmented reality technology in real time in a device of the present invention, in which the instructor shows the material when the instructor looks large when the teacher looks large. By arranging cameras in various ways, they judge artificial intelligence functions such as instructor gestures, voices, pointers, and the like. As the students judge themselves and their materials, the device of the invention judges the lectures in a cool virtual classroom on the screen. This composite screen is recorded and transmitted in such a way as to show the scene to be shown so that the class can be made like the classroom in the classroom as well as in the remote classroom.
도 10에는 강사의 제스처, 강사의 자세, 처다보는 각도, 음성인식으로 해당 프로젝터나 칠판을 보여 주려 하는 가상 전자 칠판 내용과 해당 장면이 자동으로 장면 전환이 되게 하는 인공지능의 기능으로 자세 인식 과 위치 인식을 영상 또는 외부 센서를 활용할수 있도록 하여 자동으로 장면전환이 되는 장면을 보여 주고 있다.10 is a posture recognition function as a function of an artificial intelligence that allows the scene to be automatically changed to the scene and the contents of the virtual electronic board to show the projector or the blackboard with the gesture of the instructor, the attitude of the instructor, the angle of view, and the voice recognition. It shows the scene that is automatically converted to scene by enabling the location recognition to use an image or an external sensor.
즉, 2개의 가상 전자 칠판을 이용해 크로마키 방식이 아닌 AR 방식으로 강사가 보이게 하는 부분 외의 바깥 부분을 타원으로 잘라내고 잘라내는 부분의 일정 부분을 투명처리를 점진적으로 시키고 이를 배경영상/이미지 및 가상 전자 칠판 화면들과 합성하는 AR 강의실 장면에 노트북 및 칠판 카메라를 보이는 장면의 예로 실제 강사의 카메라의 입력으로 강사 부분을 영역과 가상 전자 칠판 - 그래픽 프레임과, 노트북 입력을 합성하고 이를 크기 위치, 회전을 자유로이 시켜 배치하여 보여 주는 가상 카메라들에 다양하게 배치하여 보여 주는 장면의 전환 예를 나타내고 있다.In other words, two virtual copyboards are used to cut out the outer part of the part that the instructor sees by using an ellipse rather than the chroma key method, and gradually process the transparent part of the part of the cut out part. An example of a laptop and blackboard camera in an AR classroom scene that is composited with electronic blackboard screens. An instructor's input is a combination of an area and a virtual electronic blackboard-graphic frame with a real instructor's camera input. The following shows an example of switching scenes that are variously arranged and displayed in virtual cameras that are arranged freely.
즉 강사가 프로젝터 화면을 쳐다 보고 말을 하는 경우 프로젝터에 보여 지는 노트북의 화면을 크게 하고, 상대적으로 강사의 비디오를 작게 하면서 배경에 AR 개념으로 배경 장면을 합성하여 보여 주게 하는 가상 카메라 장면이 출력 되고, 가상 전자 칠판에 노트북의 화면이 보여 주게 하는 스위칭전환이 자동으로 되게 한다, 강사가 다시 칠판에 가서 칠판에 판서를 하는 자세가 되는 경우 칠판 화면에 트랙킹 카메라가 해당 부분을 촬영하게 PTZ 제어를 통해 해당 카메라를 이동시키고 이 화면을 가상 전자 칠판에 보여 주면서 해당 가상 카메라 장면을 자동으로 보여 지게 하는 기술을 사용하게 한다. In other words, when the instructor looks at the projector screen and speaks, a virtual camera scene is output that enlarges the laptop screen shown in the projector, and relatively small instructor's video while composing the background scene with AR concept on the background. This allows the switching of the laptop's screen to be displayed on the virtual copyboard automatically. When the instructor goes back to the blackboard and writes on the blackboard, the tracking camera on the blackboard screen captures that portion. Move the camera and show the screen on the virtual copyboard, using a technique that automatically displays the virtual camera scene.
이 발명의 방식을 교실에서 강사가 출력 화면을 교탁 위 또는 교탁에서 학생들을 바라 보는 방향으로 강사 카메라를 두게 되거나, 교실 뒤쪽에 강사 카메라를 배치하고 이 부분에 출력 화면을 보게 하여 강사가 강의시 이 출력 화면을 응시하며 강의를 하게 되면 강사의 눈이 항시 학생들을 처다 보듯 동시 교실 전체 학생들과 눈마춤이 되게 하는 동시 눈마춤 강의 방식이 되게 된다. In the classroom, the instructor places the instructor's camera on the table or in the direction of the student in the classroom, or places the instructor camera at the back of the classroom and sees the output screen in this area. If you take a lecture while staring at the output screen, you will be able to make eye contact with the entire class at the same time as the instructor's eyes always look at the students.
이 방식으로 강사가 강의실 뒤에서 앞의 프로젝터 화면을 보면서 강의를 하면 (도 11 참조) 강사가 이미 강의 화면의 아름다운 가상 강의실에 실제 보다 몇 배 큰 얼굴이 보여 지게 되고 일 장면을 보며 마우스 또는 포인터를 통해 강의를 하는 방식을 하게 되면 학생들이 보는 강의 장면을 강사도 보면서 수업을 하게 되고 강사 카메라가 프로젝터 상단에 배치 하면 자동으로 강사의 눈이 화면을 바라보고 이를 강사 카메라가 합성해 가상 교실 수업 장면을 프로젝터 화면에 보여 주게 되어 학생들은 모두 동시 눈마춤 수업으로 개인 지도를 받듣 몰입이 되게 되고 학생들이 보아야 할 장면이 자동으로 보여 주게 되어 일반 수업에서 학생들이 선생님을 보랴, 프로젝터 화면을 보랴 하지 않고 오직 출력 화면의 프로젝터 가상 교실 강의를 보게 되어 멋진 화면, 즉 가상 교실수업을 동시 눈마춤이 되는 수업이 되게 된다. 이때 교실 앞에 배치된 학생 카메라가 화면 옆 또는 가상 전자 칠판 중 1개에 보여 지게 하여 학생이 질문을 할때는 해당 장면으로 자동 전환이 되어 특정 질문 학생을 트랙킹 하게 하는 학생 트랙킹을 학생의 음성, 자세를 인식하여 자동으로 보여 지게 하여 수업에서 학생 얼굴을 보며 수업이 진행되게 되는 방식의 선생님이 학생들 제일 뒤에서 학생들과 같이 강의를 보며 강의를 하는 뒤에서 강의하는 방식의 수업 (Flipped Teaching )을 하게 하는 수업 방식이 되게 한다. In this way, when the lecturer lectures while looking at the projector screen in front of the classroom (see Fig. 11), the instructor already sees the face several times larger than it actually is in the beautiful virtual classroom on the lecture screen. If you do the lecture, the lecturer will be watching the lectures that the students see, and the lecturer's camera will be placed on top of the projector. The students will be immersed in the tutoring lessons at the same time, and the scenes they should see automatically will be shown automatically. In normal class, students will not see the teacher or the projector screen. Projector virtual classroom lectures , That is a lesson to be concurrent eyes Justify the virtual classroom. At this time, the student camera placed in front of the classroom is displayed on the side of the screen or on one of the virtual electronic boards. When a student asks a question, the student automatically switches to the scene and tracks the student's voice and posture. It is a class that allows the teacher to see the student's face in the class and the class proceeds to the class after the lecture with the students at the back of the class. do.
이러한 방식의 뒤에서 하는 수업으로 실제 강의실 수업에 강사가 학생들 앞에서 프로젝터 화면과 강사가 함께 공간을 차지 하지 않고 강의실 앞에는 큰 스크린의 강의실을 만들고 프로젝터시 조명을 낮게 해도 강사가 뒤에 있어 문제가 없게 되는 장점으로 강의실 수업이 몰입도가 극대화 되는 동시 눈마춤 가상 강의실 수업이 되게 된다. In this class, the instructor does not occupy the space between the projector screen and the instructor in front of the students, and creates a large screen classroom in front of the classroom. Classroom lessons become virtual eye-catching virtual classroom lessons with maximum immersion.
이렇게 강의실 수업이 강사가 뒤에서 하도록 하는 수업은 실제 강의 동영상 수업이 되게 하고 이수업이 녹화 되면 수업후에 또는 다른 교실 수업에 동영상을 재생해도 되게 되며 특히 원격지 교실의 수업을 강사가 있는 현장 수업과 동일한 강의 화면을 보여 주며 하게 되므로 그동안 원격 수업이 현장 수업 보다 못한 기술의 문제를 완전하게 해결하는 원격 교실이 되게 된다. In this way, the class that the lecturer makes the lecturer behind the scenes becomes the actual lecture video class, and when the class is recorded, the video can be played after the class or in another classroom class. Especially, the lecture screen in the remote classroom is the same as the field class with the instructor. In the meantime, the remote classroom will be a remote classroom that completely solves the problem of technology that is worse than the field class.
도 11에 나타난 바와 같이, 뒤에서 강사가 발명의 방식의 가상 교실 화면을 보며 수업을 하는 방식의 강의실 뒤에서 강의 장면 및 학생들 및 원격지 교실을 보며 수업을 하는 Flipped Teaching방식 화면을 나타내고 있다.As shown in FIG. 11, the screen shows a flipped teaching screen in which a lecturer looks at a lecture scene and a student and a remote classroom behind a lecture room in which a lecturer looks at a virtual classroom screen of the invention.
이를 위해 발명의 장치에 양방향 인터렉티브 화상회의 기능을 연동해 출력 화면이 화상회의시 강사 카메라 역할을 하도록 화상회의 입력으로 본 발명의 장치의 합성화면이 설정되게 하는 출력 화면 카메라를 인식하도록 하는 출력 화면 카메라 드라이버 모드를 제공하여 어떠한 화상회의 또는 유튜브나 페이스북 같은 방송에서 직접 출력이 추가의 엔코더 장치 없이 수행이 되게 하는 기능이 제공되어 기존의 WebEx또는 ConnectPro같은 Webinar 프로그램, Skype, Zoom 과 같은 화상회의 프로그램을 동시 연동하도록 하는 기술을 제공하여 원격 강의 회의, 프리젠테이션 Webinar가 VR/AR기술의 가상 교실 방식으로 이루어 지게 하여 기존의 화면에 강사가 작은 모습과 강의 자료가 주가 되던 수업 방식들에 강사와 강의 자료가 합성된 가상 강의실 화면을 보면서 수업을 받게 되는 새로운 가상 기술의 원격 교실, Webinar, 프리젠테이션 방송이 되게 한다. 이 방식은 기존의 Tele-Presence 방식의 화상 회의 프리젠테이션 시스템을 함께 사용하게 하여 그동안 불가능한 TelePresentation시스템 즉 원격 프리젠테이션이 가능하게 한다. To this end, an output screen camera for linking a two-way interactive video conferencing function to the device of the present invention to recognize an output screen camera that sets the composite screen of the device of the present invention as a video conference input so that the output screen acts as an instructor camera during the video conference. Driver mode is provided so that any videoconferencing or direct output from broadcasts like YouTube or Facebook can be performed without additional encoder devices, allowing you to use existing webinar programs like WebEx or ConnectPro, video conferencing programs like Skype and Zoom. By providing the technology that enables simultaneous interworking, the remote lecture meeting and presentation webinar is made in the virtual classroom method of VR / AR technology. Take a look at the synthesized virtual classroom screen This allows you remote classroom, Webinar, presentation broadcast of new virtual technologies. This approach allows the use of existing Tele-Presence video conferencing presentation systems together, enabling the TelePresentation system, or remote presentation, which has not been possible.
도 12에는 발명의 장치를 기존의 화상회의(internet conference), 웹비나 (Webinar, Webconference) , TelePresence 회의시스템과 함께 사용하게 하여 원격지에서 눈마춤 강의가 바로 앞에서 강사가 와서 강의를 하듯 느껴지게 하는 원격 프리젠테이션 Tele-Presentation이 되게 하는 장면이 나타나 있다.FIG. 12 shows a device that uses the apparatus of the present invention in conjunction with an existing internet conference, webinar, webconference and telepresence conference system so that an eye-taking lecture at a remote location feels like an instructor comes to the lecture. The scenes that make the presentation Tele-Presentation appear.
또, 도 13에서는 기존의 TelePresence 시스템에서 발표자, 발표자료를 보내 2개의 모니터로 보던 시스템에 발명의 장치로 발표자와 자료를 합성해 하나의 스크린으로 보내게 하는 방식의 텔레 프리젠테이션 시스템의 장면을 나타낸다.In addition, FIG. 13 shows a scene of a tele presentation system in which a presenter and a presentation data are sent from a conventional TelePresence system and the presenter is synthesized by a device of the invention and sent to a single screen. .
이러한 TelePreseence 장치가 2개의 입력 즉 강사 카메라, 강사 노트북이 각각 원격지의 2개의 모니터에 보여 지게 되는 방식으로 본 발명의 장치에서 강사 카메라와 강사 노트북을 VR/AR 강의실 합성화면을 텔레 프레슨스 장치의 한 채널 즉 노트북 입력으로 보내고, 강사 카메라는 참석자들을 보여 주게 하여 원격지로 보내 주게 하는 방식으로 하여 양쪽의 강사, 참석자가 원격지에 보여 지게 하는 방식을 사용하게 한다. In this way, the TelePreseence device displays two inputs, the instructor camera and the instructor notebook, respectively, on two remote monitors. Send it to a channel, or laptop input, and the instructor camera lets you show attendees and send them remotely so that both instructors and attendees are shown remotely.
출력 화면에 다수의 접속이 되는 경우 화상회의 출력을 비디오 월기술을 활용해 복수의 원격지 화면을 다양하게 보여 지게 하는 방식으로 Zoom등의 복수 환경과 발표자 확대 환경을 동시에 보여주게 하는 방식등을 사용해 새로운 Tele-Presentation Multi-conference 시스템이 가능하게 한다. When there are multiple connections to the output screen, the video conference output is made by using the video wall technology to display a plurality of remote screens in various ways. It enables a Tele-Presentation Multi-conference system.
도 14에는 비디오 월을 이용한 멀티 화면구성을 통한 장면 활용 예를 나타내고 있다.14 shows an example of using a scene through a multi-screen configuration using a video wall.
이렇게 여러 방식을 활용해 원격지 교실들을 연동해 수업을 하는 경우 기존의 강의실에 발명의 장치를 사용해 보내는 원격 중계 수업의 경우 원격지에서 현장 보다 더 몰입이 되도록 하는 효과적 수업이 가능하게 할수 있고 강의가 VR/AR방식의 발명의 장치 방식으로 녹화가 되므로 강의를 잘 이해 하지 못한 경우도 다시 볼수 있게 되어 강의가 실제 강의실 보다 못하지 않게 녹화가 되게 될 수 있게 된다. In this way, when the classrooms are connected to the remote classrooms using the various methods, the remote relay class that uses the device of the present invention to the existing classroom can enable the effective class to be more immersed in the remote classroom than the field. Since the recording is performed by the device method of the AR method, even if the lecture is not well understood, the recording can be viewed again so that the lecture can be recorded as well as the actual classroom.
본 발명에 따른 원격 가상 강의 시스템은 기존의 대형 강의실에서 프로젝터 스크린을 써서 강사가 작고 프로젝터 스크린이 큰 경우 스크린의 밝기로 실내 조명을 밝게 하지 못하여 강사가 어둡고 작아 보이지 않고 화면의 발표 자료만 키워 하는 대다수의 강의 실에서 사용하는 대형 강의실 강의 장치로 강사와 강의 자료를 효과적으로 대형 강의실에 보이는 장치로 사용이 가능하게 되며 동시에 이 강의를 원격지 강의실로 보내고 원격지의 카메라를 서로 교실에 보여 주게 하는 원격 대형 강의실 강의장치로서 기존의 강의 실의 문제점 및 대형강의실을 여러곳을 연동해 하는 수업기 가능하게 한다. The remote virtual lecture system according to the present invention uses a projector screen in a large existing classroom, and if the instructor is small and the projector screen is large, the instructor does not brighten the room light by the brightness of the screen, and thus the instructor is dark and small, and only the presentation materials on the screen are raised. Large classroom lecture equipment used in the lecture room enables lecturers and lecture materials to be effectively used as a device that can be seen in the large classroom.At the same time, large lecture lectures in the remote classroom where the lectures are sent to the remote classroom and the remote cameras are shown to each other in the classroom. As a device, the problems of the existing lecture room and the large lecture room can be linked to the classroom.
도 15에는 대형 강의실 강의의 문제점인 강사가 어둡고 작게 보이는 강의실에 강사와 강의 자료를 대형 스크린에 보이게 하고 이를 녹화 및 실시간 전송을 통해 다른 대형 강의실들과 동시 양방향 수업이 되게 하는 활용 개념도가 나타나 있다.FIG. 15 shows a concept of using a lecturer, which is a problem of a large classroom lecture, to make a lecturer and lecture materials appear on a large screen in a dark and small lecture room, and to simultaneously record two-way classes with other large classrooms through recording and real-time transmission.
원격 수업시 양방향 질의 응답을 위해 서로 보는 화상 발표 시스템은 파워포인트 등의 노트북 화면으로 질문을 내고 이를 실기간으로 답변을 받아 이를 표로 보이게 하는 실시간 참석자 질의 응답 시스템과 연동하여 완벽한 원격 수업을 가능하게 하게 된다. The video presentation system, which sees each other for two-way question and answer during the remote class, enables the perfect remote class by interworking with the real-time participant question and answer system that asks questions on the laptop screen such as PowerPoint, receives the answers in real time, and displays them in a table. do.
이 강의 장치는 가상 교실의 가상 카메라를 2개로 하여 StereoScopic이미지를 만들어 각 교실에 입체 3D 화면을 보는 입체 강의 장치로 하게 하는 사용하게 되고 특히 360화면의 HMD를 통해 가상 강의실 장면을 360화면으로 보내 보는 학생들이 자기 원하는 VR 화면에서 좌우 또는 앞뒤로 보는 장면을 조정하여 볼수 있게 하는 것이 지원되게 된다. 이때 실제 360화면을 화질이 좋게 하기 위해 본 발명의장치의 가상 교실의 3D데이터를 다운 시키고, 강의 자료와 강사 카메라 비디오를 전송시켜 이를 학생 HMD장치에서 실시간 렌더를 하도록 하는 프로그램을 각자 학생 HMD또는 컴퓨터와 HMD연동 방식을 으로 구현하게 하는 방식으로 몰입감을 극대화 할 수 있게 된다. This lecture device is used to make a stereoScopic image using two virtual cameras in a virtual classroom and to make a stereo lecture device that sees a stereoscopic 3D screen in each classroom, and in particular, to send a virtual classroom scene to a 360 screen through a 360-screen HMD. Students will be able to control the view from side to side or back and forth on their favorite VR screen. At this time, the 3D data of the virtual classroom of the device of the present invention is downloaded in order to improve the quality of the actual 360 screen, and the lecture data and the instructor camera video are transmitted to the student HMD device for real-time rendering. It is possible to maximize the immersion by implementing the HMD linkage method with.
이 방식의 강의는 전 교실 및 인터넷 수강 학생, 원격 교실의 모든 학생들과 동시 눈마춤이 가능하게 하는 동시 눈마춤 강의 장치가 되게 하고, 또한 출력 화면이 가상 강의실의 아름다운 선생님 강의 장면이 되게 하고, 학생이 강사와 강의자료를 판단하여 보지 않아도 프로젝터 화면만 보면 필요한 장면을 볼수 있게 되어 기존의 강의실 수업을 더욱 몰입한 수업이 되게 하는 첨단 강의실이 되고 이 VR/AR 합성 화면의 강의가 실시간으로 녹화 되고, 자동으로 전세계 어느곳에서도 실시간으로 볼수 있게 전송이 되게 하여 원격지 수업을 볼수 있고, 다수의 강의실에 카메라는 통해 양방향 질의 응답이 되며, 실시간 응답 시스템을 적용하여 완벽한 양방향 수업이 가능하게 하는 첨단 VR/AR 교실 수업 시스템이 되어 그동안 미국으로 가서 수업을 들어야 하는 유학, 해외 컨퍼런스 공간을 모두 원격교실과 연동하여 수업, 컨퍼런스가 되어 질의 응답 , 실시간 문제 응답이 되게 하는 VR/AR 교실이 되게 한다. This type of lecture is a simultaneous eye-to-learn device that enables simultaneous eye contact with all students in the classroom, the Internet, and remote classrooms, and the output screen becomes a beautiful teacher lecture in a virtual classroom. Even if you do not judge the lecture materials with the lecturer, you can see the necessary scenes by looking at the projector screen, which becomes a state-of-the-art classroom that makes the existing classroom classes more immersive, and the lectures on the VR / AR composite screen are recorded in real time. Advanced VR / AR that allows you to watch the class remotely by automatically transmitting it to the real-time view anywhere in the world, the two-way Q & A through the camera to a large number of classrooms, and the perfect two-way class by applying the real-time response system To become a classroom teaching system All the sciences, international conference space is the association with the remote classroom, conference and presented the VR / AR classroom so the Q & A, and real-time response to the problem.
이렇게 그 동안 수업은 교실을 가서 강의를 해야 했고 수업을 들어야 했던 그 동안의 강의/교실의 한계를 극복하여 더 이상 강의를 들으러 교실로, 강의실로, 컨퍼런스 장으로 가지 않아도 전세계 어느 곳에서도, 언제나 마치 현장에서 보는 것과 같이 또는 현장 보다 더 멋진 강의를 원격지에서 보고 들을 수 있게 하는 강의 장치가 되게 한다. In the meantime, the class had to go to the classroom and give lectures, and overcome the limitations of the lecture / classroom that had been required to take classes, and no longer have to go to the classroom, classroom, conference hall, Make it a teaching device that allows you to see and listen to lectures that are more spectacular than they are on site or even better than on site.
도 16에는 R 및 AR 강의실 발표 장치 운영 개념도가 도시되어 있다. 구체적으로, 강사 카메라의 크로마키 처리를 한 영상 및 외부 입력 카메라, 학생 트랙킹 카메라가 강사의 바라 보는 얼굴 방향 영상처리 각도와 강사 위치, 카메라 위치에 따른 학생 위치를 촬영하는 학생 트랙킹 카메라들이 합성 되어 강사가 학생들을 보고 설명을 할 때는 선생님이 크게 하고, 강사가 자료 화면을 볼떄 해당 자료 화면을 함께 합성해서 보여 주게 된다.16 is a conceptual diagram illustrating the operation of the R and AR classroom presentation apparatus. Specifically, the instructor combines the chroma key processing of the instructor camera, the external input camera, and the student tracking cameras that capture the student's position according to the instructor's position and the instructor's position and the camera's position. When the teacher looks at the students and explains them, the teacher enlarges them. When the teacher looks at the material screen, the material screen is synthesized together.
AR 모드 강의 장면생성을 위해 강사의 카메라 출력에 크롭 잘라내기후 잘나내는 에지 부분을 프레임을 첨가하고 이들에 투명 효과 및 색상 변경 기능을 제공하여 화면을 배경과 합성하도록 하는 기능을 제공한다. In order to create AR mode lecture scenes, frames are added to the instructor's camera output by cropping the edges of the cropped edges and providing them with transparency and color change functions to combine the screen with the background.
도 17에는 VR 강의실, AR 강의실 강의 장면과 AR강의실의 합성 화면제작에 강사 카메라의 타원형 크롭(잘라내기) 및 에지(크롭주변)에 투명도와 프레임 투명부분을 합성하는 방식의 배경과의 합성을 통해 AR스튜디오를 구현하는 장면이 나타나 있다.Fig. 17 shows the composition of the VR classroom, AR classroom scene and AR classroom by combining the background with the method of composing transparency and frame transparent parts on the elliptical crop (cut) and the edge (around the crop) of the instructor camera. A scene showing an AR studio is shown.
도 18에는 AR 합성시 강사 카메라영상의 주변 잘라내기(타원형)와 잘라낸 경계면 Edge에 타원형의 프레임을 투명도 처리를 통해 은은하게 배경 가상 교실과 어울리게 처리한 AR 스튜디오 기법이 예시되어 있다. 강사 카메라의 강사 주변을 타원 잘라 내기후 edge부분의 테두리 프레임을 추가하도록 하고 이 부분의 투명도, 색상을 조정해 배경과 자연스럽게 보이게 하여 합성하는 AR 가상 교실 발표 장면을 나타낸다.FIG. 18 illustrates an AR studio technique in which a peripheral frame (elliptical shape) of an instructor camera image and an elliptical frame at a cut edge of the instructor are smoothly combined with a background virtual classroom through transparency processing. After cutting the ellipse around the instructor's camera, add an edge frame at the edge and adjust the transparency and color of the part to make it look natural with the background.
도 19에는 PPT 등의 슬라이드 노트를 프람프트 화면과 자막 스크롤로 지원하여 이를 보며 강의를 녹화하는 기능을 나타낸다. 구체적으로, 강사가 PPT 슬라이드를 넘기면 자동으로 슬라이드 노트가 자막과 프람프터 화면으로 나타나게 하고 이화면을 자막으로 하여 이를 읽어 가며 강의를 하는 장면(이 프람프터 화면을 출력 화면에 프람프터로 보여 지게 하는 기능 포함)을 나타낸다.19 shows a function of recording a lecture while viewing a slide note such as a PPT with a prompt screen and subtitle scrolling. Specifically, when the instructor turns over the PPT slide, the slide notes automatically appear as subtitles and prompter screens, and the lectures are read with the subtitles as the subtitles (these screens are displayed on the output screen. Function included).
도 20에는 DIY 이러닝 이동식 조립형 스튜디오의 일예가 도시되어 있고, 도 21에는 이러한 이동식 조립형 스튜디오를 이용한 강의 중계/녹화/현장 VR/AR 스위처 환경- 노트북 이동식 시스템과 All in One 이동식 서버 구성도가 나타나 있으며, 도 22에는 화상회의, 유튜브, 페이스북 등 복수의 응용 프로그램을 동시에 사용하여 발명의 강의 합성 화면이 화상회의 프로그램이나 유투브 등의 방송에 추가의 장치 없이 사용이 되게 하는 가상 출력 화면 캡쳐 드라이버 기술이 일예로 나타나 있다.20 shows an example of a DIY e-learning mobile prefabricated studio, and FIG. 21 shows a lecture relay / recording / VR / AR switcher environment using the mobile prefabricated studio-a laptop mobile system and an all in one mobile server configuration diagram. FIG. 22 shows a virtual output screen capture driver that uses a plurality of applications such as video conferencing, youtube, and facebook at the same time so that the lecture composition screen of the invention can be used without additional devices for broadcasting a video conferencing program or YouTube. The technique is shown as an example.
이상, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예에는 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.Although the embodiments of the present invention have been described above with reference to the accompanying drawings, those skilled in the art to which the present invention pertains may implement the present invention in other specific forms without changing the technical spirit or essential features thereof. You will understand that there is. Therefore, it should be understood that the embodiments described above are exemplary in all respects and not restrictive.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 청구범위뿐만 아니라 이 청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the above-described embodiments, and all of the equivalents or equivalents of the claims, as well as the following claims, fall within the scope of the spirit of the present invention. will be.

Claims (14)

  1. (a) 강의 영상 합성을 위해 그래픽으로 VR 및 AR 방식으로 가상의 교실에 강사 및 강의 자료를 합성할 수 있도록 하는 2D 및 3D 그래픽의 가상 강의실을 구성하여 가상의 책상, 바닥, 칠판, 천장, 교실 장식품 중 적어도 하나를 출력할 수 있게 하는 가상교실 제작 및 선정단계;(a) Virtual desks, floors, blackboards, ceilings, and classrooms are created by constructing virtual classrooms of 2D and 3D graphics that enable the synthesis of lecturers and lecture materials in virtual classrooms by means of graphics and VR for AR. A virtual classroom making and selecting step of outputting at least one of the ornaments;
    (b) 상기 가상 강의실에 선택적으로 위치, 회전 및 FoV(Field of View) 중 적어도 하나가 자유로이 정의되는 복수의 가상 카메라를 배치하여 복수의 가상 강의실 장면의 출력 화면들이 만들어지게 하는 복수의 가상 카메라들의 배치 기능을 제공하는 단계; (b) a plurality of virtual cameras for selectively outputting a plurality of virtual classroom scenes by arranging a plurality of virtual cameras in which at least one of position, rotation, and field of view (FOV) is freely defined in the virtual classroom; Providing a deployment function;
    (c) 상기 가상 카메라에 보여지는 상기 가상 강의실 장면에 실제 강사를 촬영한 영상에서 크로마키/Depth 방식으로 강사만을 추출을 하거나 AR 합성을 위한 강사 카메라의 크롭, 에지 프레임/투명도 처리 방식의 가장자리 처리를 통한 합성, 또는 강사의 얼굴인식등을 통해 강사 캐릭터를 실제 처럼 실시간으로 만들어 이들 강사 영상을 필요한 위치에 배치하여 해당 가상 카메라의 출력 화면에 필요한 크기 위치에 강사가 보여지게 하도록 강사영상을 배치할 수 있는 기능이 제공되어 상기 해당 가상 카메라를 통해 촬영되는 출력 화면이 시청자에게 보여 줄 장면에 강사가 필요한 크기로 필요한 위치에 보여지게 되도록 하는 단계;(c) Cropping, edge frame / transparency processing method of instructor camera to extract only the instructor in chroma key / depth method from the image of the real lecturer in the virtual classroom scene shown in the virtual camera or AR synthesis Create instructor characters in real time through composition, or face recognition of the instructor, and place the instructor images so that the instructor images are displayed in the required position on the output screen of the corresponding virtual camera. Providing a function capable of displaying the output screen photographed through the corresponding virtual camera so that the instructor is shown in the required position in the required size in a scene to be shown to the viewer;
    (d) 강사의 영상, 책상, 칠판 중 적어도 하나가 상기 가상 강의실 장면에 독립적으로 함께 보여 주어야 할 복수의 발표자료 영상/이미지들을 상기 가상 강의실에 복수의 가상 전자 칠판들이 각각 크기 위치를 자유로이 배치되도록 하여 상기 가상 카메라의 강사 영상과 가상 칠판들이 필요한 장면으로 해당 가상 카메라에서 보여지게 만들어 지도록 자유롭게 상기 가상 전자 칠판을 배치할 수 있게 하는 기능이 제공되는 단계;(d) A plurality of presentation images / images in which at least one of an instructor's image, a desk, and a blackboard are to be independently displayed in the virtual classroom scene, so that the plurality of virtual copyboards can be freely positioned in the virtual classroom. Providing a function of freely arranging the virtual copyboard so that the instructor image of the virtual camera and the virtual chalkboards are displayed on the virtual camera as necessary scenes;
    (e) 상기 복수의 가상 카메라의 설정된 장면들이 강의를 하면서 필요한 장면으로 선택되어 보여지는 출력 장면 전환 시 각 가상 카메라 위치로 카메라 트랙이 이동이 되는 시간 및 경로 중 적어도 하나 이상의 이동을 설정할 수 있게 하는 기능이 제공되는 과정으로, 상기 각 가상 카메라에 설정된 강사영상 배치 및 가상 전자 칠판들의 위치 크기가 카메라 이동과 동기 되어 각각의 트랙이 자동으로 생성이 되게 하여 이들 가상 카메라 변화 트랙 이동과 함께 각각의 강사영상 및 가상 전자 칠판이 함께 자연스러운 애니메이션으로 장면 전환이 되도록 하는 자동 또는 수동 트랙 발생 기능이 제공되는 단계; 및 (e) setting the movement of at least one or more of a time and a path at which a camera track is moved to each virtual camera position when an output scene is changed and displayed as a necessary scene while the set scenes of the plurality of virtual cameras are lectured; In the process of providing the function, the instructor image arrangement and the position size of the virtual blackboards set in each virtual camera are synchronized with the camera movement so that each track is automatically generated so that each instructor with these virtual camera change track movements. Providing an automatic or manual track generation function such that the image and the virtual copyboard are transitioned together by natural animation; And
    (f) 이들의 복수의 카메라들을 일반 방송 스위처의 버튼 처럼 가상 스위처 버튼으로 정의하여 바둑판식의 버튼 GUI로 배치하고 이들 버튼의 ICON을 해당 장면을 보여 주게 하는 Preview 버튼으로 정의하여 주게 하는 스위처 버튼 설정 과정을 통해 선택저으로 강사가 마우스 버튼만으로 GUI 스위칭 화면을 보지 않고도 장면 전환을 마우스 또는 포인터의 버튼 만으로 직관적 장면을 스위칭할 수 있도록 배치 하는 단계;(f) Switcher button setting that defines a plurality of cameras as virtual switcher buttons like buttons of general broadcast switcher and arranges them as tile button GUI, and defines ICON of these buttons as preview button to show the scene. Arranging such that the instructor can intuitively switch scenes using only a mouse or pointer button without looking at the GUI switching screen with only a mouse button through the process;
    (g) 상기 버튼 GUI 스위처 설정과 함께 각 가상 전자 칠판에 보여질 컨텐트 또는 외부 입력 카메라들을 설정하고 해당 가상 전자 칠판의 컨텐트를 용이하게 스위칭하여 보여 지게 하는 가상 전자 칠판 컨텐트 들의 스위칭 GUI 버튼 설정 단계; 및(g) setting GUI button switching of virtual copyboard contents to set content or external input cameras to be displayed on each virtual copyboard together with the button GUI switcher setting and to easily switch and display the contents of the corresponding copyboard; And
    (h) 상기 복수의 가상 카메라의 배치된 GUI의 선택 스위칭 버튼을 강의 상황에 따라 누르는 방송 PD의 기능을 원격 또는 자동으로 스위칭이 되는 인공지능 PD 기능으로써, 강사의 제스쳐, 포인터, 소리, 언어, 음성 중 적어도 하나 이상의 인식 방식, 강사모션의 시각이 바라보는(Gazing) 방향 인식과 학생들의 질문 소리 및 방향인식을 인식하여 장면을 판단하는 인공지능 PD 기능에 의해 자동으로 다양한 장면 전환 및 가상 전자 칠판 컨텐츠 변환을 자동으로 수행하여 강의 장면을 실시간으로 출력할 수 있게 하는 기능을 제공하는 단계;를 포함하는 자동 장면 전환 기술을 이용하는 스마트-원격 강의 방법.(h) An artificial intelligence PD function that remotely or automatically switches the function of the broadcasting PD that presses the selection switching buttons of the GUIs arranged in the plurality of virtual cameras according to the lecture situation, so that the instructor gestures, pointers, sounds, language, Various scene changes and virtual copyboards automatically by the automatic PD function that recognizes the scene by recognizing at least one or more of the voice, the direction of the gazing of the instructor's motion, and the students' voice and direction. A smart-remote lecture method using an automatic scene change technology comprising the step of providing a function to automatically perform the content conversion to output the lecture scene in real time.
  2. 제 1 항에 있어서,The method of claim 1,
    상기 단계 (d)에서, 상기 가상 전자 칠판에 출력되는 내용이 상기 복수의 카메라, 노트북, 동영상 리스트 및 그림 리스트 중 적어도 하나인 경우에 마우스 또는 포인터가 출력 화면상의 가상 전자 칠판을 지시하면 해당 전자 칠판의 내용 리스트에 올려놓은 외부 카메라, 영상들, 이미지들을 순서대로 스위칭할 수 있도록 해당 리스트를 미리 정의하고 상기 마우스 또는 포인터를 통해 다음 내용을 선택하여 스위처 메뉴를 보지 않고도 재생 리스트 제어가 각 해당 가상 전자 칠판 별로 수행할 수 있는 기능을 제공하고 이들 컨텐트의 변경 또는 PPT등 슬라이드를 변경할수 있는 단계;를 더 포함하는 것을 특징으로 하는 자동 가상 전자 칠판 선정에 의한 해당 가상 전자 칠판 컨텐트 장면을 마우스/포인터 컨트롤로 원터치 전환 기술을 이용하고, 이때 컨텐트 전환시 그려놓은 포인터의 그림들이 자동으로 지워지면서 해당 장면으로 장면 전환이 이루어지도록 하는 기능을 포함하는 스마트-원격 강의 방법.In the step (d), when the content output on the virtual copyboard is at least one of the plurality of cameras, notebooks, video lists, and picture lists, when the mouse or the pointer points to the virtual copyboard on the output screen, the corresponding copyboard The list is defined in advance so that external cameras, images, and images placed on the contents list can be switched in order, and the following contents are selected through the mouse or the pointer to control the playlist without viewing the switcher menu. Mouse / pointer control of the corresponding virtual copyboard content scene by automatic virtual copyboard selection, further comprising the step of providing a function that can be performed for each blackboard and changing the contents or slides such as PPT. Using one-touch switching technology Smart-remote teaching method that includes the function to make the transition to the scene while the pictures of the pointer drawn on the transition is automatically erased.
  3. 제 1 항에 있어서,The method of claim 1,
    상기 단계 (b)에서, 가상 강의실에서 가상 카메라에 보여 주는 강사와 가상 전자 칠판 외에 실시간 3D 렌더 기술을 이용하여 가상 물체애니메이션을 보여 줄 수 있도록 하는 3D 물체를 불러 들여 이를 자유로이 각 가상 카메라 장면에 크기 및 위치를 조정할수 있도록 배치하고 애니메이션 및 인터렉티브 제어가 되도록 하여 실시간 3D가상 실험 및 체험학습을 조이스틱(Joystic) 또는 키보드로 제어 할 수 있도록 하는 단계;를 더 포함하는 것을 특징으로 하는 스마트-원격 강의 방법.In the step (b), in addition to the instructor and the virtual copyboard showing the virtual camera in the virtual classroom, 3D objects that can be used to show the virtual object animation using real-time 3D rendering technology are freely sized for each virtual camera scene. And arranging positions so as to be able to adjust the positions, and allowing animation and interactive control to control real-time 3D virtual experiments and hands-on learning with a joystick or a keyboard. Smart-remote teaching method further comprising: .
  4. 제 1 항에 있어서,The method of claim 1,
    상기 단계 (a)에서, 상기 가상 전자 칠판의 크기, 불필요한 부분의 크롭핑 조정과 더불어 가상 스크린을 곡면의 커브스크린으로 왜곡을 조정하도록 하는 상기 가상 전자 칠판을 3D 로 제작하여 각 가상 전자 칠판의 구부림의 정도를 조정할 수 있게 하여 몰입 가상 전자 칠판을 보여 지게 하는 기능을 제공하여 각 가상 카메라의 장면에 배치되도록 하는 기능과 이들 가상 전자 칠판의 프레임을 함께 크기 및 곡면이 될수 있도록 하고, 프레임 칼라 및 크기를 조절하게 하는 기능을 제공하는 단계;를 더 포함하는 것을 특징으로 하는 스마트-원격 강의 방법.In step (a), bending the virtual copyboard by making the virtual copyboard in 3D to adjust the size of the virtual copyboard and cropping of unnecessary portions, and to adjust the distortion of the virtual screen to a curved curve screen. Provides the ability to adjust the degree of display of immersive virtual copyboards so that they can be placed in the scene of each virtual camera, and the frames of these virtual copyboards can be sized and curved together, frame color and size Providing a function to control the smart-remote teaching method further comprising.
  5. 제 1 항에 있어서,The method of claim 1,
    상기 가상 전자 칠판은 마우스 또는 포인터에 의해 마킹이 가능한 전자 펜 기능을 포함하되, 상기 전자 펜의 두께, 색상 및 투명도 중 적어도 하나가 제어되며 상기 펜 기능으로 그려놓은 부분이 전자 칠판 컨텐트가 변경 되거나 파워포인트 장면이 전환시 자동으로 지워 지도록 하는 기능이 제공되는 스마트-원격 강의 방법.The virtual copyboard includes an electronic pen function that can be marked by a mouse or a pointer, wherein at least one of the thickness, color, and transparency of the electronic pen is controlled, and the portion drawn by the pen function changes or changes the content of the blackboard. Smart-remote teaching method with the ability to automatically erase point scenes during transition.
  6. 제 1 항 또는 제 5 항에 있어서,The method according to claim 1 or 5,
    자이로 기능이 탑재된 상기 마우스 또는 포인터를 사용하여 교실 및 발표장에서 PPT 파일을 사용하여 발표하는 경우에 PPT의 슬라이드 장면 전환시 각 슬라이드에 발표 내용을 써 놓는 슬라이드 노트의 내용이 발표 장치의 추가의 실제 모니터에 노트 내용이 큰 글씨로 보여 질수 있도록 글씨 크기 폰트 등을 정해 보여지게 하여 상기 슬라이드 노트 스크린을 방송 프람프터처럼 활용할수 있게 하고, 이를 강사가 보며 강의를 하도록 교탁에 배치하여 강사가 이를 보며 발표할 내용을 읽게 하여 강의나 발표를 할수 있게 하는 자동 프람프터 기능을 제공하고, 동시에 필요한 경우 슬라이드 노트가 자동으로 가상 카메라 출력 화면에 자막으로 제공되는 자막 기능을 제공하여 발표와 자막이 함께 출력되게 하는 기능을 포함하는 파워포인트 슬라이드 노트 자동 프람프터 및 자동자막 기능을 갖는 스마트-원격 강의 방법.When presenting using PPT files in the classroom and in the presentation room using the mouse or pointer equipped with the gyro function, the contents of the slide notes to write the presentation contents on each slide when the slide transition of the PPT is performed The size of the font can be displayed on the monitor so that the font size can be displayed in a large font so that the slide note screen can be used as a broadcast programmer, and the instructor looks at the lecture to present the lecture. It provides an auto-prompter function that allows you to read what you want to do and to give lectures or presentations.At the same time, if you need a subtitle function, slide notes are automatically provided as subtitles on the virtual camera output screen. PowerPoint slide note ruler with features How remote river - Fram printers and smart with automatic subtitles.
  7. 제 1 항에 있어서, The method of claim 1,
    강사의 위치 및 얼굴 인식, 방향 인식, 제스쳐 인식 및 표정인식 중 적어도 하나를 통해 강사 위치, 자세 추적과 얼굴 회전 각도를 인식하는 카메라를 이용하여 강사가 보는 방향이 프로젝터 화면이면 프로젝터 화면이 가상 전자 칠판에 학생이면 해당 학생이 연동된 PTZ 카메라의 해당 학생을 선택하도록 움직이게 하여 가상 전자 칠판에 보여 지게 하면서 이를 강사와 가상 전자 칠판이 함께 보여 지게 하는 가상 카메라의 스위칭에 사용하고, 해당 가상 카메라에 자동으로 보여 지게 지능형 자동 가상 전자 칠판의 학생, 프로젝터, 혹은 칠판을 보여 주고 자동 추적을 하는 기능을 포함하고, If the instructor's viewing direction is a projector screen using a camera that recognizes the instructor's position, posture tracking, and facial rotation angle through at least one of the instructor's position and face recognition, direction recognition, gesture recognition, and facial expression recognition, the projector screen is a virtual copyboard. If the student is a student, the student moves the selected PTZ camera to select the corresponding student so that it is displayed on the virtual copyboard, and is used for switching the virtual camera to show the instructor and the virtual copyboard together. Includes the ability to show and automatically track the student, projector, or blackboard of an intelligent automatic virtual electronic blackboard to be shown,
    상기 가상 카메라 장면 스위칭 및 카메라로부터 추출된 강사 안면 이미지 표정을 실시간으로 임의의 케릭터 혹은 실제 강사의 3d 이미지를 생성 시켜 강사 카메라 영상 대신 사용이 되게 하는 방식으로 강의 현장에 크로마키 없이도 강사 이미지를 생성해 VR방식으로 가상 강의실에 가상의 실제 같은 강사 캐릭터를 사용하는 기능을 포함하는 스마트-원격 강의 방법.By instructing the virtual camera scene switching and facial expression images extracted from the camera in real time to generate 3D images of a character or a real instructor to be used instead of the instructor camera image, the instructor image is generated without a chroma key in the lecture scene. Smart-remote teaching method that includes the ability to use virtual, real-life instructor characters in a virtual classroom in VR.
  8. 제 1 항에 있어서, The method of claim 1,
    상기 전자 칠판 및 프로젝터 스크린이 동시에 사용되는 경우 강사의 위치 추적 외에 강사의 회전 각도 추적이 되는 핸드폰의 위치, 자세 및 모션 센서 신호와 이를 처리한 위치, 방향 및 모션의 신호를 무선 신호 전송을 통해 강사의 회전 각도, 움직이는 방향 및 위치에 따른 자동 장면, 즉 가상 카메라 및 가상 전자 칠판 내용이 전환되는 것을 특징으로 하는 스마트-원격 강의 방법.When the copyboard and the projector screen are used at the same time, the lecturer's position, posture, and motion sensor signals and the position, direction, and motion signals of the mobile phone, which are tracked by the instructor's rotation angle, in addition to the instructor's position tracking, are transmitted through wireless signals. Smart scene, characterized in that the automatic scene according to the rotation angle, the moving direction and the position of the virtual camera and the virtual copyboard contents are switched.
  9. 제 1 항 내지 제 8 항 중 어느 한 항의 방법을 사용하여 강사가 강의실 앞에서 수업을 하는 방식이 아닌 강의실 뒤에 학생들과 함께 가상 카메라 방식의 합성 출력 화면에 보여 지는 강사와 강의 자료 합성 화면을 보면서 수업을 하는 강사가 강의실 교실 뒤에서 하는 수업 장치로 사용할 수 있게 하는 방식으로써, 강사가 학생들이 보는 출력 화면을 함께 응시하며 강의를 하므로서 출력 화면 부분에 강사 추적 카메라를 배치하게 한 강사의 시선이 강사 추적 카메라를 바라 보게 하여, 합성 화면에 항상 강사 영상이 정면을 보게 한 합성 강의 장면이 보여지게 되어, 이를 보는 교실의 학생들이 강사가 항시 학생들을 응시하며 강의를 하는 것처럼 되게 하는 스마트-원격 강의 방법.Using the method of any one of claims 1 to 8, the lecturer does not take the class in front of the classroom, but the class while watching the lecture materials and the lecture material synthesis screen shown on the virtual camera-type composite output screen with the students behind the classroom. The instructor's attention is that the instructor looks at the output screen that the instructor sees along with the lecturer's eyes while placing the instructor tracking camera on the output screen. A smart-remote teaching method whereby the composite screen always shows a composite lecture scene with the instructor video facing the front, so that the students in the classroom watching it look as if the lecturer is always staring at the students.
  10. 제 9 항에 있어서,The method of claim 9,
    상기 강사가 뒤에서 강의를 하는 경우 교실 앞에 더 많은 스크린 공간이 확보되어 추가의 공간에 추가의 화면 혹은 프로젝터 스크린을 장착하고 이곳에 복수의 원격지 교실의 학생들을 함께 보여 주고 강사와 학생들이 강사의 강의 합성 화면과, 원격지 학생들을 서로 보며 교실 수업을 하는 원격 동시 교실 수업 방식을 하게 하여 원격지도 강사의 수업 장면을 보면서 동시에 여러 교실의 학생들이 함께 보여 지는 수업을 하는 스마트-원격 강의 방법.If the instructor lectures behind the scenes, more screen space is secured in front of the classroom, with additional screens or projector screens in the additional space, where students from multiple remote classrooms are shown together, and the instructor and students synthesize the lecturer's lecture Smart-remote teaching method that allows students to see the screens and remote students at the same time.
  11. 제 1 항 있어서,The method of claim 1,
    강의 자료의 변경, 외부 입력 노트북의 PPT 파일의 가상 전자 칠판의 보여줄 자료들의 변경과 가상 카메라 장면의 스위칭 버튼 화면을 인터넷 연결이 가능한 스마트 장치의 앱스(application)로 제공하여 강의 현장의 네트웍은 물론 원격지 수업 교실에서서 자유로이 발표 자료 변경이나 가상 카메라 변경을 할수 있도록 제공하여 필요시 원격지에서 질문하는 학생이 필요한 장면의 가상 카메라 변경이나 ppt 슬라이드를 바꿀수 있도록 하는 기능을 제공하여 연동된 스마트 폰을 이용하여 원격지에서 제어할 수 있는 기능을 포함하는 스마트-원격 강의 방법.Change of course materials, change of material to be displayed on virtual copyboard of PPT file of external input notebook, and switching button screen of virtual camera scene as an application of smart device with internet connection. Provides the ability to freely change the presentation materials or change the virtual camera in the classroom so that students who ask questions from the remote site can change the virtual camera or ppt slides of the scenes as needed. Smart-remote instruction method with features that can be controlled in.
  12. 제 11 항에 있어서,The method of claim 11,
    상기 강사의 영상은 원격지에서의 카메라를 통해 수신되는 원격 카메라 영상을 사용하여 원격지에서 강사가 강사 비디오와 강의 노트북을 보내는 텔레 프레슨스 (Tele Precence) 시스템을 입력으로 받아 출력되는 것을 특징으로 하는 스마트-원격 강의 방법은 당연 하며, 강사가 본 발명의 장치에 오지 않고 화상 회의 등으로 자신의 영상을 발명의 장치로 전송하고 본 장치의 영상을 화상회의로 받아 보며 자신의 ppt 발표 자료를 원격으로 본 장치에 보내 사용하며 발표를 하는 원격 발표자 강의 장치로 클라우드 서비스가 가능하게 하는 스마트-원격 강의 방법.The video of the instructor is received using a remote camera image received through a camera at a remote location, the instructor video from the remote site (Tele Precence) system, which sends the lecturer video and lecture notebook as an input and outputs a smart- The method of remote lecture is natural, and the instructor does not come to the device of the present invention, but transmits his video to the device of the invention by video conferencing, receives the video of the device by video conferencing, and remotely views his ppt presentation material. A smart-remote teaching method that enables cloud services with remote presenter teaching devices to send and use.
  13. 제 1 항에 있어서, The method of claim 1,
    상기 스마트-원격 강의 방법을 교실서 강의시 직접 강사가 손쉽게 강의가 되게 하는 전자 교탁 또는 전자 칠판내부에 탑재된 시스템으로 제공하고, The smart-remote lecture method is provided as a system mounted inside the electronic teaching table or the electronic blackboard that makes it easy for the direct lecturer to lecture in the classroom,
    필요시 크로마키 기능을 제공할 수 있도록 하여 강사와 발표 자료가 함께 보여지는 강의 합성 장면을 보여 지는 방식으로 강의를 하도록 하고, 실제 강의 장에 보여 지지 않는 일반 강의 방식을 하여도 이러한 방식을 자동 강의 녹화가 되게 하거나 원격 강의로 보여 지게 하는 스마트-원격 강의 방법.By providing chroma key function if necessary, lectures are presented in a way that shows the composite scene of lectures with instructor and presentation materials. Smart-remote teaching method that allows recording or viewing by remote lecture.
  14. 제 1 항에 따른 강의 방법을 이용하는 시스템을 포함하는 스마트-원격 강의 장치.Smart-remote teaching device comprising a system using the teaching method according to claim 1.
PCT/KR2019/009449 2018-08-28 2019-07-29 Method for smart-remote lecturing using automatic scene-transition technology having artificial intelligence function in virtual and augmented reality lecture room WO2020045837A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0101119 2018-08-28
KR1020180101119A KR20200024441A (en) 2018-08-28 2018-08-28 Smart Realtime Lecture, Lecture Capture and Tele-Presentation-Webinar, VR Class room, VR Conference method using Virtual/Augmented Reality Class Room and Artificial Intelligent Virtual Camera Switching technologies

Publications (1)

Publication Number Publication Date
WO2020045837A1 true WO2020045837A1 (en) 2020-03-05

Family

ID=69642986

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/009449 WO2020045837A1 (en) 2018-08-28 2019-07-29 Method for smart-remote lecturing using automatic scene-transition technology having artificial intelligence function in virtual and augmented reality lecture room

Country Status (2)

Country Link
KR (1) KR20200024441A (en)
WO (1) WO2020045837A1 (en)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401244A (en) * 2020-03-16 2020-07-10 安博思华智能科技有限责任公司 Method, apparatus, medium, and electronic device for adaptively controlling multimedia blackboard
CN111860365A (en) * 2020-07-24 2020-10-30 中国平安人寿保险股份有限公司 Classroom light adjusting method and device, computer equipment and storage medium
CN112053085A (en) * 2020-09-16 2020-12-08 四川大学 Airport scene operation management system and method based on digital twin
CN112634467A (en) * 2021-01-05 2021-04-09 东方电气集团科学技术研究院有限公司 AR guidance method in equipment manufacturing and assembling process
CN112732075A (en) * 2020-12-30 2021-04-30 佛山科学技术学院 Virtual-real fusion machine teacher teaching method and system for teaching experiment
CN112802372A (en) * 2021-01-11 2021-05-14 中国人民解放军联勤保障部队第九〇〇医院 VR operation demonstration projection equipment
CN112908048A (en) * 2021-01-22 2021-06-04 唐山职业技术学院 Tourism management teaching device based on artificial intelligence
CN112969022A (en) * 2021-01-29 2021-06-15 新东方教育科技集团有限公司 Camera adjusting method and system, storage medium and electronic equipment
CN113286162A (en) * 2021-05-20 2021-08-20 成都威爱新经济技术研究院有限公司 Multi-camera live-broadcasting method and system based on mixed reality
CN113784077A (en) * 2021-09-24 2021-12-10 联想(北京)有限公司 Information processing method and device and electronic equipment
CN113965793A (en) * 2021-10-12 2022-01-21 上海赛连信息科技有限公司 Intelligent recording layout switching method and device
CN114173021A (en) * 2022-02-14 2022-03-11 中国传媒大学 Virtual broadcasting method and system based on high-definition multi-screen
CN114697755A (en) * 2022-03-31 2022-07-01 北京百度网讯科技有限公司 Virtual scene information interaction method, device, equipment and storage medium
CN114786032A (en) * 2022-06-17 2022-07-22 深圳市必提教育科技有限公司 Training video management method and system
CN114898409A (en) * 2022-07-14 2022-08-12 深圳市海清视讯科技有限公司 Data processing method and device
CN115086548A (en) * 2022-04-13 2022-09-20 中国人民解放军火箭军工程大学 Double-spectrum virtual camera synthesis method and device
CN115379278A (en) * 2022-03-31 2022-11-22 深圳职业技术学院 XR technology-based immersive micro-class recording method and system
US20230130528A1 (en) * 2021-10-27 2023-04-27 Wiseup Co., Ltd. Ai studio systems for online lectures and a method for controlling them
CN116469292A (en) * 2023-06-20 2023-07-21 长沙图灵教育科技有限公司 E-commerce simulation teaching management system and teaching training method
CN117055724A (en) * 2023-05-08 2023-11-14 华中师范大学 Generating type teaching resource system in virtual teaching scene and working method thereof
WO2024019608A3 (en) * 2022-07-21 2024-05-02 Doukkali Abdelali Digital schoolbag

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102382021B1 (en) * 2020-06-09 2022-04-01 주식회사 스마트아이디어 System for lecturing
KR102229715B1 (en) * 2020-07-06 2021-03-18 김상현 Personal broadcast system
KR102580354B1 (en) 2020-11-17 2023-09-20 하대석 Apparatus for providing video book service
KR102571677B1 (en) * 2020-12-08 2023-08-28 (주)와이즈업 AI Studio for Online Lectures
KR102359253B1 (en) * 2021-02-10 2022-02-28 (주)에듀슨 Method of providing non-face-to-face English education contents using 360 degree digital XR images
KR102387355B1 (en) * 2021-05-21 2022-04-18 주식회사 버드핸드 The method and apparatus for providing perpormance contents based on augmented reality
KR102398897B1 (en) 2021-08-24 2022-05-17 주식회사 소풍앤컴퍼니 Edutech educational content support system for using virtual reality (VR) and Lego and Drive method of the Same
KR20230127464A (en) 2022-02-25 2023-09-01 하대석 Apparatus for providing video service
KR102619761B1 (en) * 2022-04-27 2024-01-03 (주)다림시스템 Server for TelePresentation video Conference System
KR102517090B1 (en) * 2022-12-22 2023-04-03 (주) 아하 Presenter automatic recognition tracking method and apparatus using PTZ camera

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020196327A1 (en) * 2001-06-14 2002-12-26 Yong Rui Automated video production system and method using expert video production rules for online publishing of lectures
JP2012089092A (en) * 2010-10-22 2012-05-10 Nippon Telegr & Teleph Corp <Ntt> Portable terminal conference system and method
KR20120092921A (en) * 2011-02-14 2012-08-22 김영대 Virtual classroom teaching method and device
KR20150055862A (en) * 2013-11-14 2015-05-22 주식회사 다림비젼 Method and system for providing virtual space lecture, virtual studio contents
KR20170029725A (en) * 2015-09-07 2017-03-16 주식회사 다림비젼 Method and apparatus for generating video lecture by synthesizing multiple images

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100839953B1 (en) 2006-11-15 2008-06-20 삼성전자주식회사 Video wall display system and control method thereof
KR101037797B1 (en) 2009-04-03 2011-05-27 주식회사 다림비젼 Multiviewer system Showing Videos on 3D Virtual Monitors in a 3D Virtual Graphic video wall realizing Virtual Video Wall supporting unlimited number inputs of either Analog or Digital, IP videos

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020196327A1 (en) * 2001-06-14 2002-12-26 Yong Rui Automated video production system and method using expert video production rules for online publishing of lectures
JP2012089092A (en) * 2010-10-22 2012-05-10 Nippon Telegr & Teleph Corp <Ntt> Portable terminal conference system and method
KR20120092921A (en) * 2011-02-14 2012-08-22 김영대 Virtual classroom teaching method and device
KR20150055862A (en) * 2013-11-14 2015-05-22 주식회사 다림비젼 Method and system for providing virtual space lecture, virtual studio contents
KR20170029725A (en) * 2015-09-07 2017-03-16 주식회사 다림비젼 Method and apparatus for generating video lecture by synthesizing multiple images

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401244A (en) * 2020-03-16 2020-07-10 安博思华智能科技有限责任公司 Method, apparatus, medium, and electronic device for adaptively controlling multimedia blackboard
CN111401244B (en) * 2020-03-16 2023-06-02 安博思华智能科技有限责任公司 Method, device, medium and electronic equipment for adaptively controlling multimedia blackboard
CN111860365A (en) * 2020-07-24 2020-10-30 中国平安人寿保险股份有限公司 Classroom light adjusting method and device, computer equipment and storage medium
CN111860365B (en) * 2020-07-24 2024-02-06 中国平安人寿保险股份有限公司 Classroom light adjusting method and device, computer equipment and storage medium
CN112053085A (en) * 2020-09-16 2020-12-08 四川大学 Airport scene operation management system and method based on digital twin
CN112053085B (en) * 2020-09-16 2023-04-07 四川大学 Airport scene operation management system and method based on digital twin
CN112732075A (en) * 2020-12-30 2021-04-30 佛山科学技术学院 Virtual-real fusion machine teacher teaching method and system for teaching experiment
CN112732075B (en) * 2020-12-30 2023-06-02 佛山科学技术学院 Virtual-real fusion machine teacher teaching method and system for teaching experiments
CN112634467A (en) * 2021-01-05 2021-04-09 东方电气集团科学技术研究院有限公司 AR guidance method in equipment manufacturing and assembling process
CN112802372A (en) * 2021-01-11 2021-05-14 中国人民解放军联勤保障部队第九〇〇医院 VR operation demonstration projection equipment
CN112908048A (en) * 2021-01-22 2021-06-04 唐山职业技术学院 Tourism management teaching device based on artificial intelligence
CN112969022A (en) * 2021-01-29 2021-06-15 新东方教育科技集团有限公司 Camera adjusting method and system, storage medium and electronic equipment
CN112969022B (en) * 2021-01-29 2023-09-01 新东方教育科技集团有限公司 Camera adjustment method, system, storage medium and electronic equipment
CN113286162A (en) * 2021-05-20 2021-08-20 成都威爱新经济技术研究院有限公司 Multi-camera live-broadcasting method and system based on mixed reality
CN113784077A (en) * 2021-09-24 2021-12-10 联想(北京)有限公司 Information processing method and device and electronic equipment
CN113784077B (en) * 2021-09-24 2023-03-21 联想(北京)有限公司 Information processing method and device and electronic equipment
CN113965793A (en) * 2021-10-12 2022-01-21 上海赛连信息科技有限公司 Intelligent recording layout switching method and device
US20230130528A1 (en) * 2021-10-27 2023-04-27 Wiseup Co., Ltd. Ai studio systems for online lectures and a method for controlling them
CN114173021B (en) * 2022-02-14 2022-06-24 中国传媒大学 Virtual broadcasting method and system based on high-definition multi-screen
CN114173021A (en) * 2022-02-14 2022-03-11 中国传媒大学 Virtual broadcasting method and system based on high-definition multi-screen
CN115379278A (en) * 2022-03-31 2022-11-22 深圳职业技术学院 XR technology-based immersive micro-class recording method and system
CN114697755A (en) * 2022-03-31 2022-07-01 北京百度网讯科技有限公司 Virtual scene information interaction method, device, equipment and storage medium
CN115379278B (en) * 2022-03-31 2023-09-05 深圳职业技术学院 Recording method and system for immersion type micro lessons based on augmented reality (XR) technology
CN115086548A (en) * 2022-04-13 2022-09-20 中国人民解放军火箭军工程大学 Double-spectrum virtual camera synthesis method and device
CN114786032B (en) * 2022-06-17 2022-08-23 深圳市必提教育科技有限公司 Training video management method and system
CN114786032A (en) * 2022-06-17 2022-07-22 深圳市必提教育科技有限公司 Training video management method and system
CN114898409B (en) * 2022-07-14 2022-09-30 深圳市海清视讯科技有限公司 Data processing method and device
CN114898409A (en) * 2022-07-14 2022-08-12 深圳市海清视讯科技有限公司 Data processing method and device
WO2024019608A3 (en) * 2022-07-21 2024-05-02 Doukkali Abdelali Digital schoolbag
CN117055724A (en) * 2023-05-08 2023-11-14 华中师范大学 Generating type teaching resource system in virtual teaching scene and working method thereof
CN117055724B (en) * 2023-05-08 2024-05-28 华中师范大学 Working method of generating teaching resource system in virtual teaching scene
CN116469292B (en) * 2023-06-20 2023-08-25 长沙图灵教育科技有限公司 E-commerce simulation teaching management system and teaching training method
CN116469292A (en) * 2023-06-20 2023-07-21 长沙图灵教育科技有限公司 E-commerce simulation teaching management system and teaching training method

Also Published As

Publication number Publication date
KR20200024441A (en) 2020-03-09

Similar Documents

Publication Publication Date Title
WO2020045837A1 (en) Method for smart-remote lecturing using automatic scene-transition technology having artificial intelligence function in virtual and augmented reality lecture room
KR101270780B1 (en) Virtual classroom teaching method and device
KR101367260B1 (en) A virtual lecturing apparatus for configuring a lecture picture during a lecture by a lecturer
KR20170029725A (en) Method and apparatus for generating video lecture by synthesizing multiple images
KR101351085B1 (en) Physical picture machine
US8831505B1 (en) Method and apparatus for effectively capturing and broadcasting a traditionally delivered classroom or a presentation
US8300078B2 (en) Computer-processor based interface for telepresence system, method and computer program product
US20110123972A1 (en) System for automatic production of lectures and presentations for live or on-demand publishing and sharing
CN110349456B (en) Intelligent control system, remote control terminal and classroom terminal of interactive classroom
Zettl Television production handbook
US20070122786A1 (en) Video karaoke system
US11799677B2 (en) Annotation layer permissions
CN101827207A (en) Host visual three-dimensional virtual studio interactive control system
US20230328200A1 (en) Compositing Content From Multiple Users Of A Conference
KR20180052494A (en) Conference system for big lecture room
Agamanolis et al. Reflection of Presence: Toward more natural and responsive telecollaboration
KR102470050B1 (en) Method and device for moving picture device using projector
Fukaya et al. An effective interaction tool for performance in the virtual studio-invisible light projection system
KR101776839B1 (en) Portable lecture storage and broadcasting system
Chagas et al. Exploring Practices and Systems for Remote Teaching
KR102619761B1 (en) Server for TelePresentation video Conference System
BE1029675B1 (en) System for enriching an online meeting
Muench An Evening at the Ballroom: Whatever Happened to Televanilla?
JP4565855B2 (en) Broadcast program production equipment
CN109862311B (en) Real-time production method of video content

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19853778

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19853778

Country of ref document: EP

Kind code of ref document: A1